CN112925326A - 一种基于激光雷达和深度相机数据融合的agv避障方法 - Google Patents
一种基于激光雷达和深度相机数据融合的agv避障方法 Download PDFInfo
- Publication number
- CN112925326A CN112925326A CN202110130478.6A CN202110130478A CN112925326A CN 112925326 A CN112925326 A CN 112925326A CN 202110130478 A CN202110130478 A CN 202110130478A CN 112925326 A CN112925326 A CN 112925326A
- Authority
- CN
- China
- Prior art keywords
- laser radar
- data
- obstacle
- agv
- depth camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000004927 fusion Effects 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000033001 locomotion Effects 0.000 claims abstract description 21
- 230000009471 action Effects 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000008054 signal transmission Effects 0.000 claims abstract description 6
- 230000004888 barrier function Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 230000010354 integration Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 239000003814 drug Substances 0.000 claims description 9
- 238000003491 array Methods 0.000 claims description 6
- 230000001276 controlling effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012377 drug delivery Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种基于激光雷达和深度相机数据融合的AGV避障方法，包括：控制器；所述的控制器内设置有数据处理单元、决策单元和控制单元；以及安装在AGV前端的激光雷达和深度相机，和安装在AGV上的普通相机；所述的激光雷达、深度相机和普通相机分别与控制器信号连接进行信号传输。本发明采用了激光雷达数据和深度相机数据相结合的方式对AGV行进方向的障碍物进行扫描和追踪，通过将传感器数据进行预处理，在***中建立相应的数据节点进行数据传输，控制器与节点通信获取不同的数据，数据处理单元用以处理传感器数据并运行算法进行数据处理，处理结果通过决策单元决定AGV如何对现况进行规避，并将规避方法传输至底层的运动控制单元，用以完成规避动作。
Description
技术领域
本发明涉及自动药品配送***，具体涉及一种基于激光雷达和深度相机数据融合的AGV避障方法。
背景技术
智能机器人及其自动化技术作为最近几十年兴起的新兴技术，不断地发展壮大并走进了人们的生活中，为了让机器人更好地服务人类的生活，机器人的发展慢慢的从车间流水线上的装配机器人到室内的扫地机器人、餐馆的点餐机器人等等。机器人技术越来越成为人类生活中不可或缺的一部分。
然而，现有的智能机器人的避障方案具有单一性的缺陷，单一性导致机器人不能很好的应对复杂的环境，采集的数据不具有足够的信息量应对避障操作。若考虑采用多线激光雷达，虽然在数据包含多维度信息，有助于提高机器人的应变能力，但是硬件成本大大提高。
发明内容
针对上述的技术问题，本技术方案提供了一种基于激光雷达和深度相机数据融合的AGV避障方法，将自动驾驶技术融入室内环境，提高AGV对障碍物的应变能力和反应能力；能有效的解决上述问题。
技术方案
一种基于激光雷达和深度相机数据融合的AGV避障方法，包括：安装在AGV上用于数据处理的控制器，以及用于监测周围环境的并装在智能机器人上的激光雷达和可获得深度图像和点云图的硬件设备，激光雷达和可获得深度图像和点云图的硬件设备与控制器连接进行信号传输；所述的控制器内设置有数据处理单元、决策单元和控制单元；所述的可获得深度图像和点云图的硬件设备包括安装在AGV前端对AGV行进方向的障碍物进行扫描和追踪的深度相机，和安装在AGV 上用于采集门牌图像的普通相机；所述的激光雷达、深度相机和普通相机分别与控制器信号连接进行信号传输；所述控制器的数据处理单元在接收到激光雷达、深度相机和普通相机上传的数据后，对数据进行预处理和整合处理；将整合处理后得到的结果传输至决策单元，由决策单元决定控制AGV如何对现况进行规避，并将规避方案传输至底层的运动控制单元，运动控制单元控制节点完成规避动作。
进一步的，所述的激光雷达采用单线激光雷达或多线激光雷达；单线激光雷达可采用RPLIDAR S1单线激光雷达；
所述的RPLIDAR S1单线激光雷达用以判断障碍物的角度信息并结合深度相机判断障碍物的运动方位；所述的RPLIDAR S1单线激光雷达数据和深度相机数据用以完成对障碍物的实时跟踪。
进一步的，所述的深度相机为ZED深度相机；ZED深度相机用于获得一定视野范围内的物体距离信息，结合激光雷达对物体进行定位。
进一步的，所述的控制器采用的是NVIDIA Jetson TX2控制板， NVIDIA JetsonTX2控制板的建模平台为Ubuntu运行***。
进一步的，NVIDIA TX2控制板保留与下层控制***的通信， NVIDIA TX2控制板与下层控制***之间通过串口和/或无线方式进行信号连接，无线连接方式包括WIFI、蓝牙等其他无线连接方式。
进一步的，所述的控制器的数据处理单元在接收到激光雷达、深度相机和普通相机上传的数据后，对数据进行预处理和整合处理；将整合处理后得到的结果传输至决策单元，由决策单元决定控制AGV如何对现况进行规避，并将规避方案传输至底层的运动控制单元，运动控制单元控制节点完成规避动作；其具体步骤如下：
步骤一：由激光雷达和深度相机采集相应的数据，并将数据通过有线的方式传输至***中，在***中建立相应的节点用以接受和传递信息；
步骤二：数据处理单元寻找需要的数据节点并建立通信链路，接受传感器信息并进行处理；
步骤三：先通过深度相机传输的数据对一定视野内的物体进行障碍物判断，筛选出在行进方向上的障碍物并判断障碍物相对于AGV 的方位；
步骤四：将该障碍物的方位数据映射到激光雷达的相位，由激光雷达完成对障碍物的后续追踪；
步骤五：根据障碍物的运动方向和相对距离，综合判断是否进行规避动作；
步骤六：将规避动作信息传输至底层控制单元，完成对障碍物的规避。
进一步的，所述的步骤三的具体步骤为：数据处理单元在接收到激光雷达和深度相机上传的数据后，对数据进行预处理，其具体方式如下：先根据深度相机的视角参数知，深度相机的探测广角为110°，对图像使用1080P分辨率即图像大小为3840*1080，一度对应35个像素点；通过对场景内的深度图像进行识别，得到前方道路障碍物的情况。
进一步的，所述的步骤四的具体步骤为：激光雷达持续对周围环境进行扫描，激光雷的0°始终指向AGV前进的反方向，通过激光雷达 90°和270°的值，得到自身相对于左侧墙体的位置DL和相对于右侧的墙***置DR，设车身长度为h，宽度为l，当送药车在前进过程中要求车辆对前方1.5米内的物体做出判断和反应，此时根据车宽为l，得到探测张角α：
由此得到所需深度数据避障范围α为
则对该区域内的深度数据进行采集得到深度相机的数据，此时将数据按照距离进行分类，将图像中距离在d1±dσ范围内的点进行统计，将坐标存放在数组Ad1中；将图像中距离在d2±dσ范围内的点进行统计，将坐标存放在数组Ad2中,…,依此类推，便可得到一系列数组。
进一步的，所述的决策单元在进行避障判断时，仅对距离在1.5m 范围内的障碍物进行避障操作。
进一步的，步骤五中所述的根据障碍物的运动方向和相对距离，综合判断是否进行规避动作，具体的操作方式如下：决策单元在得到数据处理单元上传的深度数组之后，结合激光雷达数据进行避障操作；
首先得到深度数组的集合{Ad1,Ad2,…,Adn}以及对应的角度(激光雷达的125°对应深度相机视角的0°)和距离{d1,d2,…,dn}，下面对避障流程进行说明：
当障碍物出现在探测张角α内时，设点的集合为A，取A内的横坐标的均值xA，若xA>1980,则判断障碍物在相对送药车右侧，否则，障碍物出现在左侧；假设xA<1980，根据视角和像素点的对应关系可得障碍物相对AGV行进正方向的偏角αA：
αA＝(1980-xA)*35 (公式2)
规定服务车先向右进行避障操作，结合偏角和此时的距离dA可知， AGV需要向右行进的距离lA：
lA＝2tanαA+dsafe (公式3)
dsafe为设定的安全距离；
此时对激光雷达数据进行采集，在激光雷达探测角
内进行距离感知，根据激光雷达的角度数据判断在AGV右方lA范围内是否出现障碍物，判断依据为：
确保在该角度范围内的每一个激光雷达数据大于该角度所对应的 Llaser，才可判断AGV右方无障碍物，进行右行避障；当右侧无法进行避障时，根据左右对称性，不作推导，则在激光雷达
内进行感知，确保在AGV左方无障碍物时，才进行左行避障；通过调整送药车AGV的自身位置，将障碍物移出行进路线。
进一步的，当在所述的偏角αA，即偏角范围内出现多个障碍物时，则先对较近的障碍物进行避障，再对较远的障碍物进行避障。
(三)有益效果
本发明提出的一种基于激光雷达和深度相机数据融合的AGV避障方法，与现有技术相比较，其具有以下有益效果：
(1)本技术方案中通过结合激光雷达数据和深度相机数据，双目深度相机视野主要探测AGV行进方向上的障碍物，也是主要的判别方向；激光雷达建立环境的2D平面模型并判断自身在地图中的位置，同时对双目相机内检测到的前方障碍物进行跟踪，保障AGV准确的避开障碍物；提高AGV躲避障碍物的能力。将两者的数据进行融合后，得出最佳判断方案，在保证***流畅运行的同时，提高***的运行速度，保障任务的执行。
(2)本技术方案在降低硬件成本下，提高了AGV对障碍物的识别和躲避能力，保障了AGV在执行任务过程中的安全，同时多传感器数据融合技术和数据模块化技术可以帮助***在以后的工作中拓展更多的功能，对AGV的发展具有重要的意义。
附图说明
图1是本发明的***整体架构示意框图。
图2是本发明中硬件连接示意框图。
图3是本发明中避障***节点示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。在不脱离本发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均应落入到本发明的保护范围。
实施例1：
如图1-3所示，一种基于激光雷达和深度相机数据融合的AGV避障方法，包括安装在AGV上用于数据处理的控制器，控制器采用的是 NVIDIA Jetson TX2控制板，控制器内设置有数据处理单元、决策单元和控制单元；NVIDIA Jetson TX2控制板的建模平台为Ubuntu运行***。
还包括安装在AGV上用于监测周围环境的激光雷达和可获得深度图像和点云图的硬件设备，深度图像和点云图的硬件设备包括安装在 AGV前端对AGV行进方向的障碍物进行扫描和追踪的深度相机，和安装在AGV上用于采集门牌图像的普通相机；激光雷达、深度相机和普通相机分别与控制器信号连接进行信号传输；
控制器的数据处理单元在接收到激光雷达、深度相机和普通相机上传的数据后，对数据进行预处理和整合处理；将整合处理后得到的结果传输至决策单元，由决策单元决定控制AGV如何对现况进行规避，并将规避方案传输至底层的运动控制单元，运动控制单元控制节点完成规避动作。
在本实施例中，激光雷达采用RPLIDAR S1单线激光雷达；RPLIDAR S1单线激光雷达用以判断障碍物的角度信息并结合深度相机判断障碍物的运动方位；所述的RPLIDAR S1单线激光雷达数据和深度相机数据用以完成对障碍物的实时跟踪。
深度相机为ZED深度相机；ZED深度相机用于获得一定视野范围内的物体距离信息，结合激光雷达对物体进行定位。
控制器采用的是NVIDIA Jetson TX2控制板，NVIDIA Jetson TX2 控制板的建模平台为Ubuntu运行***。NVIDIA TX2控制板保留与下层控制***的通信，NVIDIA TX2控制板与下层控制***之间通过串口和/或无线方式进行信号连接，无线连接方式包括WIFI、蓝牙等其他无线连接方式。
控制器的数据处理单元在接收到激光雷达、深度相机和普通相机上传的数据后，对数据进行预处理和整合处理；将整合处理后得到的结果传输至决策单元，由决策单元决定控制AGV如何对现况进行规避，并将规避方案传输至底层的运动控制单元，运动控制单元控制节点完成规避动作；其具体步骤如下：
步骤一：由激光雷达和深度相机采集相应的数据，并将数据通过有线的方式传输至***中，在***中建立相应的节点用以接受和传递信息；
步骤二：数据处理单元寻找需要的数据节点并建立通信链路，接受传感器信息并进行处理；
步骤三：先通过深度相机传输的数据对一定视野内的物体进行障碍物判断，筛选出在行进方向上的障碍物并判断障碍物相对于AGV 的方位；
数据处理单元在接收到激光雷达和深度相机上传的数据后，首先处理景深图像，根据相机的探测广角和避障距离计算探测张角的大小；将张角范围内的数据按照距离进行分类，将距离相近的区域划分为一个数据的集合，通过遍历张角范围内的图像得到配送车行驶道路上的障碍物的数量；
根据深度相机的视角参数知，深度相机的探测广角为110°，对图像使用1080P分辨率即图像大小为3840*1080，一度对应35个像素点；通过对场景内的深度图像进行识别，得到前方道路障碍物的情况；
步骤四：将该障碍物的方位数据映射到激光雷达的相位，由激光雷达完成对障碍物的后续追踪；
按照先近后远的顺序对数据进行处理，通过计算得到数据集的横坐标均值，通过均值和距离得到障碍物相对于配送车中轴线的偏角；
激光雷达持续对周围环境进行扫描，激光雷的0°始终指向AGV 前进的反方向，通过激光雷达90°和270°的值，得到自身相对于左侧墙体的位置DL和相对于右侧的墙***置DR，设车身长度为h，宽度为l，当送药车在前进过程中要求车辆对前方1.5米内的物体做出判断和反应，此时根据车宽为l，得到探测张角α：
由此得到所需深度数据避障范围α为
则对该区域内的深度数据进行采集得到深度相机的数据，此时将数据按照距离进行分类，将图像中距离在d1±dσ范围内的点进行统计，将坐标存放在数组Ad1中；将图像中距离在d2±dσ范围内的点进行统计，将坐标存放在数组Ad2中,…,依此类推，便可得到一系列数组。在进行避障判断时，仅对距离在1.5m范围内的障碍物进行避障操作。
步骤五：根据障碍物的运动方向和相对距离，综合判断是否进行规避动作；
决策单元在得到数据处理单元上传的深度数组之后，结合激光雷达数据进行避障操作；首先得到深度数组的集合{Ad1,Ad2,…,Adn}以及对应的角度(激光雷达的125°对应深度相机视角的0°)和距离 {d1,d2,…,dn}，下面对避障流程进行说明：
当障碍物出现在探测张角α内时，设点的集合为A，取A内的横坐标的均值xA，若xA>1980,则判断障碍物在相对送药车右侧，否则，障碍物出现在左侧；假设xA<1980，根据视角和像素点的对应关系可得障碍物相对AGV行进正方向的偏角αA：
αA＝(1980-xA)*35 (公式2)
规定服务车先向右进行避障操作，结合偏角和此时的距离dA可知， AGV需要向右行进的距离lA：
lA＝2tanαA+dsafe (公式3)
dsafe为设定的安全距离；
此时对激光雷达数据进行采集，在激光雷达探测角
内进行距离感知，根据激光雷达的角度数据判断在AGV右方lA范围内是否出现障碍物，判断依据为：
确保在该角度范围内的每一个激光雷达数据大于该角度所对应的 llaser，才可判断AGV右方无障碍物，进行右行避障；当右侧无法进行避障时，根据左右对称性，不作推导，则在激光雷达
内进行感知，确保在AGV左方无障碍物时，才进行左行避障；通过调整送药车AGV的自身位置，将障碍物移出行进路线。
当在所述的偏角αA，即偏角范围内出现多个障碍物时，则先对较近的障碍物进行避障，再对较远的障碍物进行避障。
步骤六：将规避动作信息传输至底层控制单元，完成对障碍物的规避。
Claims (10)
1.一种基于激光雷达和深度相机数据融合的AGV避障方法，包括：安装在AGV上用于数据处理的控制器，以及用于监测周围环境的并装在智能机器人上的激光雷达和可获得深度图像和点云图的硬件设备，激光雷达和可获得深度图像和点云图的硬件设备与控制器连接进行信号传输；其特征在于：所述的控制器内设置有数据处理单元、决策单元和控制单元；所述的可获得深度图像和点云图的硬件设备包括安装在AGV前端对AGV行进方向的障碍物进行扫描和追踪的深度相机，和安装在AGV上用于采集门牌图像的普通相机；所述的激光雷达、深度相机和普通相机分别与控制器信号连接进行信号传输；所述控制器的数据处理单元在接收到激光雷达、深度相机和普通相机上传的数据后，对数据进行预处理和整合处理；将整合处理后得到的结果传输至决策单元，由决策单元决定控制AGV如何对现况进行规避，并将规避方案传输至底层的运动控制单元，运动控制单元控制节点完成规避动作。
2.根据权利要求1所述的一种基于激光雷达和深度相机数据融合的AGV避障方法,其特征在于：所述的激光雷达采用单线激光雷达或多线激光雷达；单线激光雷达可采用RPLIDARS1单线激光雷达；所述的RPLIDAR S1单线激光雷达用以判断障碍物的角度信息并结合深度相机判断障碍物的运动方位；所述的RPLIDAR S1单线激光雷达数据和深度相机数据用以完成对障碍物的实时跟踪。
3.根据权利要求1所述的一种基于激光雷达和深度相机数据融合的AGV避障方法,其特征在于：所述的深度相机为ZED深度相机；ZED深度相机用于获得一定视野范围内的物体距离信息，结合激光雷达对物体进行定位。
4.根据权利要求1所述的一种基于激光雷达和深度相机数据融合的AGV避障方法,其特征在于：所述的控制器采用的是NVIDIA Jetson TX2控制板，NVIDIA Jetson TX2控制板的建模平台为Ubuntu运行***。
5.根据权利要求1-4任一项所述的一种基于激光雷达和深度相机数据融合的AGV避障方法,其特征在于：所述的控制器的数据处理单元在接收到激光雷达、深度相机和普通相机上传的数据后，对数据进行预处理和整合处理；将整合处理后得到的结果传输至决策单元，由决策单元决定控制AGV如何对现况进行规避，并将规避方案传输至底层的运动控制单元，运动控制单元控制节点完成规避动作；其具体步骤如下：
步骤一：由激光雷达和深度相机采集相应的数据，并将数据通过有线的方式传输至***中，在***中建立相应的节点用以接受和传递信息；
步骤二：数据处理单元寻找需要的数据节点并建立通信链路，接受传感器信息并进行处理；
步骤三：先通过深度相机传输的数据对一定视野内的物体进行障碍物判断，筛选出在行进方向上的障碍物并判断障碍物相对于AGV的方位；
步骤四：将该障碍物的方位数据映射到激光雷达的相位，由激光雷达完成对障碍物的后续追踪；
步骤五：根据障碍物的运动方向和相对距离，综合判断是否进行规避动作；
步骤六：将规避动作信息传输至底层控制单元，完成对障碍物的规避。
6.根据权利要求5所述的一种基于激光雷达和深度相机数据融合的AGV避障方法,其特征在于：所述的步骤三的具体步骤为：数据处理单元在接收到激光雷达和深度相机上传的数据后，对数据进行预处理，其具体方式如下：先根据深度相机的视角参数知，深度相机的探测广角为110°，对图像使用1080P分辨率即图像大小为3840*1080，一度对应35个像素点；通过对场景内的深度图像进行识别，得到前方道路障碍物的情况。
7.根据权利要求5所述的一种基于激光雷达和深度相机数据融合的AGV避障方法,其特征在于：所述的步骤四的具体步骤为：激光雷达持续对周围环境进行扫描，激光雷的0°始终指向AGV前进的反方向，通过激光雷达90°和270°的值，得到自身相对于左侧墙体的位置DL和相对于右侧的墙***置DR，设车身长度为h，宽度为l，当送药车在前进过程中要求车辆对前方1.5米内的物体做出判断和反应，此时根据车宽为l，得到探测张角α：
由此得到所需深度数据避障范围α为
则对该区域内的深度数据进行采集得到深度相机的数据，此时将数据按照距离进行分类，将图像中距离在d1±dσ范围内的点进行统计，将坐标存放在数组Ad1中；将图像中距离在d2±dσ范围内的点进行统计，将坐标存放在数组Ad2中,…,依此类推，便可得到一系列数组。
8.据权利要求7所述的一种基于激光雷达和深度相机数据融合的AGV避障方法,其特征在于：所述的决策单元在进行避障判断时，仅对距离在1.5m范围内的障碍物进行避障操作。
9.根据权利要求5所述的一种基于激光雷达和深度相机数据融合的AGV避障方法,其特征在于：步骤五中所述的根据障碍物的运动方向和相对距离，综合判断是否进行规避动作，具体的操作方式如下：决策单元在得到数据处理单元上传的深度数组之后，结合激光雷达数据进行避障操作；
首先得到深度数组的集合{Ad1,Ad2,…,Adn}以及对应的角度(激光雷达的125°对应深度相机视角的0°)和距离{d1,d2,…,dn}，下面对避障流程进行说明：
当障碍物出现在探测张角α内时，设点的集合为A，取A内的横坐标的均值xA，若xA>1980,则判断障碍物在相对送药车右侧，否则，障碍物出现在左侧；假设xA<1980，根据视角和像素点的对应关系可得障碍物相对AGV行进正方向的偏角αA：
αA＝(1980-xA)*35 (公式2)
规定服务车先向右进行避障操作，结合偏角和此时的距离dA可知，AGV需要向右行进的距离lA：
lA＝2tanαA+dsafe (公式3)
dsafe为设定的安全距离；
此时对激光雷达数据进行采集，在激光雷达探测角
内进行距离感知，根据激光雷达的角度数据判断在AGV右方lA范围内是否出现障碍物，判断依据为：
确保在该角度范围内的每一个激光雷达数据大于该角度所对应的llaser，才可判断AGV右方无障碍物，进行右行避障；当右侧无法进行避障时，根据左右对称性，不作推导，则在激光雷达
内进行感知，确保在AGV左方无障碍物时，才进行左行避障；通过调整送药车AGV的自身位置，将障碍物移出行进路线。
10.根据权利要求9所述的一种基于激光雷达和深度相机数据融合的AGV避障方法,其特征在于：当在所述的偏角αA，即偏角范围内出现多个障碍物时，则先对较近的障碍物进行避障，再对较远的障碍物进行避障。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110130478.6A CN112925326B (zh) | 2021-01-29 | 2021-01-29 | 一种基于激光雷达和深度相机数据融合的agv避障方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110130478.6A CN112925326B (zh) | 2021-01-29 | 2021-01-29 | 一种基于激光雷达和深度相机数据融合的agv避障方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112925326A true CN112925326A (zh) | 2021-06-08 |
| CN112925326B CN112925326B (zh) | 2022-04-08 |
Family
ID=76168865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110130478.6A Active CN112925326B (zh) | 2021-01-29 | 2021-01-29 | 一种基于激光雷达和深度相机数据融合的agv避障方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112925326B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115690149A (zh) * | 2022-09-27 | 2023-02-03 | 江苏盛利智能科技有限公司 | 显示器的图像融合处理***及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100076599A1 (en) * | 2008-09-20 | 2010-03-25 | Steven Jacobs | Manually driven determination of a region of interest (roi) or a path of interest (poi) for a robotic device |
| CN104076363A (zh) * | 2014-06-26 | 2014-10-01 | 广东工业大学 | 基于多传感器的自动导引小车障碍物快速检测方法 |
| CN104965202A (zh) * | 2015-06-18 | 2015-10-07 | 奇瑞汽车股份有限公司 | 障碍物探测方法和装置 |
| CN107831777A (zh) * | 2017-09-26 | 2018-03-23 | 中国科学院长春光学精密机械与物理研究所 | 一种飞行器自主避障***、方法及飞行器 |
-
2021
- 2021-01-29 CN CN202110130478.6A patent/CN112925326B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100076599A1 (en) * | 2008-09-20 | 2010-03-25 | Steven Jacobs | Manually driven determination of a region of interest (roi) or a path of interest (poi) for a robotic device |
| CN104076363A (zh) * | 2014-06-26 | 2014-10-01 | 广东工业大学 | 基于多传感器的自动导引小车障碍物快速检测方法 |
| CN104965202A (zh) * | 2015-06-18 | 2015-10-07 | 奇瑞汽车股份有限公司 | 障碍物探测方法和装置 |
| CN107831777A (zh) * | 2017-09-26 | 2018-03-23 | 中国科学院长春光学精密机械与物理研究所 | 一种飞行器自主避障***、方法及飞行器 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115690149A (zh) * | 2022-09-27 | 2023-02-03 | 江苏盛利智能科技有限公司 | 显示器的图像融合处理***及方法 |
| CN115690149B (zh) * | 2022-09-27 | 2023-10-20 | 江苏盛利智能科技有限公司 | 显示器的图像融合处理***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112925326B (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3895238B2 (ja) | 障害物検出装置及びその方法 | |
| WO2020258721A1 (zh) | 智能巡航车导航方法及*** | |
| WO2021254367A1 (zh) | 机器人***及定位导航方法 | |
| WO2015024407A1 (zh) | 基于电力机器人的双目视觉导航***及方法 | |
| CN109263637B (zh) | 一种碰撞预测的方法及装置 | |
| CN113110451B (zh) | 一种深度相机与单线激光雷达融合的移动机器人避障方法 | |
| CN108873914A (zh) | 一种基于深度图像数据的机器人自主导航***及方法 | |
| CN113850102B (zh) | 基于毫米波雷达辅助的车载视觉检测方法及*** | |
| EP4148385A1 (en) | Vehicle navigation positioning method and apparatus, and base station, system and readable storage medium | |
| CN106569225A (zh) | 一种基于测距传感器的无人车实时避障方法 | |
| CN111258311A (zh) | 一种基于智能视觉的井下移动机器人避障方法 | |
| CN110162066A (zh) | 智能巡航车控制*** | |
| CN212515475U (zh) | 一种输变电站智能巡检机器人自主导航避障*** | |
| CN110865640A (zh) | 一种智能机器人的避障结构 | |
| CN112925326B (zh) | 一种基于激光雷达和深度相机数据融合的agv避障方法 | |
| CN115880368A (zh) | 一种电网巡检无人机障碍物检测方法、***及存储介质 | |
| CN113721615A (zh) | 一种基于机器视觉的海航路径规划方法及*** | |
| CN115223039A (zh) | 一种面向复杂环境的机器人半自主控制方法及*** | |
| CN113081525B (zh) | 一种智能助行设备及智能助行设备的控制方法 | |
| CN110888441A (zh) | 一种基于陀螺仪的轮椅车控制*** | |
| CN116352722A (zh) | 多传感器融合的矿山巡检救援机器人及其控制方法 | |
| CN110696003A (zh) | 基于slam技术和深度学习的水边救援机器人 | |
| CN216339758U (zh) | 一种滑移装载机 | |
| CN115755888A (zh) | 多传感器数据融合的agv障碍物检测***及避障方法 | |
| CN114690779A (zh) | 基于机器人视觉识别的定位方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |