CN110765922B - 一种agv用双目视觉物体检测障碍物*** - Google Patents
一种agv用双目视觉物体检测障碍物*** Download PDFInfo
- Publication number
- CN110765922B CN110765922B CN201910995010.6A CN201910995010A CN110765922B CN 110765922 B CN110765922 B CN 110765922B CN 201910995010 A CN201910995010 A CN 201910995010A CN 110765922 B CN110765922 B CN 110765922B
- Authority
- CN
- China
- Prior art keywords
- agv
- detection
- image
- obstacle
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种AGV用双目视觉物体检测障碍物***,包括:双目图像采集与校准模块,其安装在AGV车上,用于采集AGV车行进前方的左右图像对,并利用双目相机参数信息进行图像校正,获得校正后的左右图像对;图像检测处理模块,其由预先训练好的AGV检测专用网络来处理校正后的左右图像对,将左右图像对处理为左右感兴趣区,并于每帧图像中加入分类标签,对左右图像区进行立体匹配,得到分类检测结果;预警决策模块,其用于根据图像检测处理模块所得到的分类检测结果来进行阶梯预警,并根据相应的预警策略来控制AGV车。本***可以有效地控制AGV车,可以使得AGV车在面对不同的路况都能够进行有效的行进处理。
Description
技术领域
本发明涉及障碍物检测***,具体涉及一种AGV用双目视觉物体检测障碍物***。
背景技术
随着电商行业的迅速发展,物流行业在传统物流基础上快速发展,推动物流各个环节朝向高效率进步,无人仓储智能物流车车取代人力分拣方案孕育而生。
当前物流车还处于结构化路径为主的应用环境,在无人仓中对于意外落物与人机交互的过程还存在很大局限性。同时由于无人仓库的智能车(AGV)运行的高速要求,对于车体传感检测***提出了严苛的实时性的要求。因此如何控制AGV运行成为一个亟需解决的技术问题。
发明内容
针对现有技术的不足,本发明的目的旨在提供一种AGV用双目视觉物体检测障碍物***,以利于对AGV的控制。
为实现上述目的,本发明采用如下技术方案:
一种AGV用双目视觉物体检测障碍物***,包括:
双目图像采集与校准模块,其安装在AGV车上,用于采集AGV车行进前方的左右图像对,并利用双目相机参数信息进行图像校正,获得校正后的左右图像对;
图像检测处理模块,其由预先训练好的AGV检测专用网络来处理校正后的左右图像对,将左右图像对处理为左右感兴趣区,并于每帧图像中加入分类标签,对左右图像区进行立体匹配,得到分类检测结果;
预警决策模块,其用于根据图像检测处理模块所得到的分类检测结果来进行阶梯预警,并根据相应的预警策略来控制AGV车。
进一步地,所述利用双目相机参数信息进行图像校正的方式为:
设两个单目相机在同一个平面上,左、右单目相机的相机光心分别为Oa和Ob,左、右单目相机的光轴分别与图像平面的交点为Oa和Ob,左、右单目相机的基线距离为B,单目相机的焦距为f,空间里的特征点P(XC,YC,ZC)在左、右单目相机的投影点分别为Pa和Pb,其中Pa图像坐标为(Xa,Ya),Pb的图像坐标为(Xb,Yb),因两个单目相机在同一平面上,那么Pa和Pb的Y轴坐标一致,即Ya=Yb=Y:由三角关系得到如下关系:
由以上公式得知,在获得双目相机的基距和焦距参数后即得出目标的位置信息。
进一步地,所述由预先训练好的AGV检测专用网络来处理校正后的左右图像对,将左右图像对处理为左右感兴趣区,并于每帧图像中加入分类标签,对左右图像区进行分类检测和深度测算,得到分类检测结果和深度图,对左右图像区进行分类检测和深度测算,得到分类检测结果和深度图包括:
采集AGV车运行过程中的双目视频存储于本地***中,采集对象包括无障碍物、行人、行车、行车负重货架、货品散落;
首先制作训练数据、将以获取的内外参数用于上述采集视频的每一帧得到可用于训练的正确数据,将每一帧标定出障碍物的边框信息得到具有真值的训练数据;然后使用SSD网络训练检测器,SSD网络由特征提取、候选区域生成,目标位置输出三部分组成,其中特征提取利用卷积层与池化层交替组合而成的卷积神经网络进行,将输入图像组合成抽象的特征图,随后将特征图输入区域建议网络提取目标的候选区域再利用池化层将目标候选区域池化到同一个固定的尺度连接全连接层,最后使用回归算法对目标进行分类,并使用多任务损失函数得到目标边界框,网络的输出是一个包含目标类别和位置信息的维向量;将数据依次重复送给检测网络,在训练结果的正确率达到95%以上后结束训练并导出检测网络,得到最终的检测模型;
训练完成后的检测网络将运行得到的数目数据分为有障碍物和无障碍物,有障碍物包括行人、行车、货品散落,将上述检测结果设为标签属性S,将标签属性S值加入每一帧如片中,生成标签属性帧;
标签属性S共有四种属性,包括无障碍、行人、行车、落货;对应无人仓储仓库中的所有可能出现的情况。
进一步地,所述对左右图像区进行立体匹配,得到分类检测结果包括:
如果连续三帧均检测到具有障碍物属性的帧则开始进行立体匹配,车行驶速度为V(1m/s),相机采集频率为F(30f/s),则检测感应距离为DS=F/V*3(0.1m),以检测边框坐标为感兴趣生成条件,将整幅图片送入立体匹配算法,匹配算法只计算感兴趣内像素的视差,得到感兴趣区的视差图,并将视差图转换为深度图。将深度图中按照距离从近到远排序,将近距离的前10%的像素点求距离均值,作为该帧图像感兴趣中障碍物与双目相机的距离D。
进一步地,所述预警策略包括:行人避障策略、行车避障策略、落货避障策略。
进一步地,所述行人避障策略指的是:
当检测到帧属性为行人的情况下AGV车采取得避障策略,具体如下:当检测到帧属性为行人的情况下,***流程会跳到行人避障策略流程,首先判断障碍物距离D距离是否满足减速行驶距离D1最小要求,若不满足正常行驶,若满足则车子进入低速行驶状态;在进入低速行驶状态后,流程跳到检测障碍物距离D是否满足刹车距离D0,若满足则刹车制动,若不满足,则继续低速行驶;若车子进入刹车制动状态,则避障流程跳到等待时间判断,若等待时间T小于最低等待时间阈值T0,则AGV车继续刹车制动等待,若等待时间T大于最低等待时间,则进入等待超时状态,上报集成调度***请求新得路径规划。
进一步地,所述D1的值为5m,D0的值为1m。
本发明的有益效果在于:
本***主要是由双目图像采集与校准模块、图像检测处理模块以及预警决策模块,本***首先通过双目图像采集与校准模块来实时采集AGV车行进前方的环境障碍物情况,然后经由图像检测处理模块来对双目图像采集与校准模块所实时采集AGV车行进前方的视频图像进行分类匹配,最后由预警决策模块来根据分类的结果来采取不同的控制策略对AGV车进行控制,从而可以有效地控制AGV车,可以使得AGV车在面对不同的路况都能够进行有效的行进处理。
附图说明
图1为本发明实施例提供的AGV用双目视觉物体检测障碍物***的组成示意图;
图2为本发明实施例提供的AGV用双目视觉物体检测障碍物***的工作原理图;
图3为落货避障策略的流程逻辑原理图;
图4为行人避障策略的流程逻辑原理图;
图5为行车避障策略的流程逻辑原理图;
图6为AGV车行车负重货架示意图;
图7为AGV车行车示意图;
图8为AGV车有行人示意图;
图9为AGV车无障碍物示意图;
图10相机参数标定示意图;
图中:1、双目图像采集与校准模块;2、图像检测处理模块;3、预警决策模块。
具体实施方式
下面,结合附图以及具体实施方式,对本发明做进一步描述:
参阅图1所示,为本实施例提供的AGV用双目视觉物体检测障碍物***的组成示意图,该***包括双目图像采集与校准模块1、图像检测处理模块2以及预警决策模块3。
其中,该双目图像采集与校准模1块安装在AGV车上,用于采集AGV车行进前方的左右图像对,并利用双目相机参数信息进行图像校正,获得校正后的左右图像对。
该图像检测处理模块2则由预先训练好的AGV检测专用网络来处理校正后的左右图像对,将左右图像对处理为左右感兴趣区,并于每帧图像中加入分类标签,对左右图像区进行立体匹配,得到分类检测结果。
该预警决策模块3则用于根据图像检测处理模块所得到的分类检测结果来进行阶梯预警,并根据相应的预警策略来控制AGV车。
由此可知,本***主要是由双目图像采集与校准模块、图像检测处理模块以及预警决策模块,本***首先通过双目图像采集与校准模块来实时采集AGV车行进前方的环境障碍物情况,然后经由图像检测处理模块来对双目图像采集与校准模块所实时采集AGV车行进前方的视频图像进行分类匹配,最后由预警决策模块来根据分类的结果来采取不同的控制策略对AGV车进行控制,从而可以有效地控制AGV车,可以使得AGV车在面对不同的路况都能够进行有效的行进处理。
具体地,所述利用双目相机参数信息进行图像校正的方式为:
假设设两个单目相机在同一个平面上,左、右单目相机的相机光心分别为Oa和Ob,左、右单目相机的光轴分别与图像平面的交点为Oa和Ob,左、右单目相机的基线距离为B,单目相机的焦距为f,空间里的特征点P(XC,YC,ZC)在左、右单目相机的投影点分别为Pa和Pb,其中Pa图像坐标为(Xa,Ya),Pb的图像坐标为(Xb,Yb),因两个单目相机在同一平面上,那么Pa和Pb的Y轴坐标一致,即Ya=Yb=Y:由三角关系得到如下关系:
由以上公式得知,在获得双目相机的基距和焦距参数后即得出目标的位置信息,从而可以巧妙地算出目标的位置信息。
进一步地,所述由预先训练好的AGV检测专用网络来处理校正后的左右图像对,将左右图像对处理为左右感兴趣区,并于每帧图像中加入分类标签,对左右图像区进行分类检测和深度测算,得到分类检测结果和深度图,对左右图像区进行分类检测和深度测算,得到分类检测结果和深度图包括:
采集AGV运行过程中的双目视频存储于本地,采集对象包括无障碍物、行人、行车、行车负重货架、货品散落,图6-9为举例展示示意图。首先制作训练数据、将以获取的内外参数用于上述采集视频的每一帧得到可用于训练的正确数据,将每一帧由标定软件标定出障碍物的边框信息得到具有真值的训练数据;然后使用SSD快速检测网络训练检测器,SSD网络由特征提取、候选区域生成,目标位置输出三部分组成,其中特征提取利用卷积层与池化层交替组合而成的卷积神经网络进行,将输入图像组合成更抽象的特征图,随后将特征图输入区域建议网络提取目标的候选区域再利用池化层将目标候选区域池化到同一个固定的尺度连接全连接层,最后使用回归算法对目标进行分类,并使用多任务损失函数得到目标边界框,网络的输出是一个包含目标类别和位置信息的维向量。将数据依次重复送给检测网络,在训练结果的正确率达到95%以上后结束训练并导出检测网络,得到最终的检测模型;
训练完成后的检测网络将运行得到的数目数据分为有障碍物和无障碍物,有障碍物包括行人、行车(行车负重货架)、货品散落,将上述检测结果设为标签属性S,将标签属性S值加入每一帧如片中,生成标签属性帧;
标签属性S共有四种属性,包括无障碍、行人、行车、落货;对应无人仓储仓库中的所有可能出现的情况。由于仓储的特殊性,落货的地面位置与货物形状是任意的,在检测标签分类中,将非行车、行人、无物的情况均归属为落货,此种方法巧妙地将复杂的障碍物检测算法化简为高效高质量的图片检测算法。通过使用检测标签做障碍物划分的机制,考虑了上述问题充分考虑了仓储的特殊性基础上化简了解决问题的方法,加快了检测速度。
进一步地,所述对左右图像区进行立体匹配,得到分类检测结果包括:
如果连续三帧均检测到具有障碍物属性的帧则开始进行立体匹配,车行驶速度为V(1m/s),相机采集频率为F(30f/s),则检测感应距离为DS=F/V*3(0.1m),以检测边框坐标为感兴趣生成条件,将整幅图片送入立体匹配算法,匹配算法只计算感兴趣内像素的视差,从而只做必要的计算量,可以有效地压缩算法复杂程度,得到感兴趣区的视差图,并将视差图转换为深度图。将深度图中按照距离从近到远排序,将近距离的前10%的像素点求距离均值,作为该帧图像感兴趣中障碍物与双目相机的距离D。
而双目相机内外参数的方式为:使用软件MATLAB内嵌的标定工具箱:首先使用双目相机分别对标定板多个角度采集多幅图片,且要保证获取图片的清晰程度;其次运行标定工具箱中的单目相机标定工具箱,分别将左、右单目相机获取的多图片导入程序中,分别计算出左单目相机和右单目相机的内参数最后运行标定工具箱中的双目相机标定工具箱,将左、右单目相机的标定参数一起导入程序中,得到双目相机的左、右单目相机两者之间的标定参数。通过以上方法即可得到涉及双目相机的各种内外参数。具体地,双目视觉中,所用到的相机内参数有:(f/dx,f/dy,γ,u0,v0,kc)共六个,并且其中各自实际表达的含义分别如下:f为双目相机的焦距,f/dx,f/dy分别代表以x轴与y轴方向上图像的像素个数,即水平和垂直像素为单位表示的焦距;γ:代表像素点在x和y方向上尺度的偏差值(即通常相机的感光元不为标准正方形时的偏斜因子),γ=α*tanθ,θ是高精度相机CCD感光元轴向倾斜角度,即为x和y方向上的尺度偏差值。另外u0和v0表示的是相机图像中心坐标原点在像素坐标系下的坐标(即相机成像平面的主点位置);kc表示畸变系数在坐标变换时暂不参与计算,后面会对畸变单独处理。涉及的还有相机外参数为:相机图像(x,y,z)三个坐标轴的旋转参数(r1,r2,r3),以及其坐标轴的平移参数:(Tx,Ty,Tz)。采用张正友标定法,Matlab中带有立体相机标定的工具包。直接将多次采集的图像数据导入后按照步骤进行标定最后会输出相关的内参数和外参数,具体参见图10。
进一步地,所述预警策略包括:行人避障策略、行车避障策略、落货避障策略。如图3-5所示,图中,D为检测物与相机之间得距离;D0为刹车距离,当被检测物到相机得距离小于D0时,车子制动停车;D1为减速距离,当被检测物到相机得距离小于D0时,车子进入低速行驶状态。T为停车等待时间
T0为停车等待时间阈值,当等待时间T大于此阈值情况下,小车上报等待超时状态。
该行人避障策略指的是当检测到帧属性为行人的情况下AGV车采取得避障策略,具体如下。当检测到帧属性为行人的情况下,避障***流程会跳到行人避障策略流程,首先判断障碍物距离D距离是否满足减速行驶距离D1最小要求,若不满足正常行驶,若满足则车子进入低速行驶状态。在进入低速行驶状态后,流程跳到检测障碍物距离D是否满足刹车距离D0,若满足则刹车制动,若不满足,则继续低速行驶。若车子进入刹车制动状态,则避障流程跳到等待时间判断,若等待时间T小于最低等待时间阈值T0,则AGV车继续刹车制动等待,若等待时间T大于最低等待时间,则进入等待超时状态,上报集成调度***请求新得路径规划。在无人仓的人机共存场景中,由于人的活动性和随机性大,需要将减速阈值距离D1和刹车阈值距离D0调整较高,一般为5m、1m。
行车避障策略、落货避障策略流程同上,不同之处在于调节D0与D1。行车避障策略中为满足车子得正常运行,一般将车子D1设为0.5m,D0设为0.1m。落货避障策略D0、D1同行人避障策。
对本领域的技术人员来说,可根据以上描述的技术方案以及构思,做出其它各种相应的改变以及形变,而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
Claims (3)
1.一种AGV用双目视觉物体检测障碍物***,其特征在于,包括:
双目图像采集与校准模块,其安装在AGV车上,用于采集AGV车行进前方的左右图像对,并利用双目相机参数信息进行图像校正,获得校正后的左右图像对;
图像检测处理模块,其由预先训练好的AGV检测专用网络来处理校正后的左右图像对,将左右图像对处理为左右感兴趣区,并于每帧图像中加入分类标签,对左右图像区进行立体匹配,得到分类检测结果;
预警决策模块,其用于根据图像检测处理模块所得到的分类检测结果来进行阶梯预警,并根据相应的预警策略来控制AGV车;
所述利用双目相机参数信息进行图像校正的方式为:
设两个单目相机在同一个平面上,左、右单目相机的相机光心分别为Oa和Ob,左、右单目相机的光轴分别与图像平面的交点为Oa和Ob,左、右单目相机的基线距离为B,单目相机的焦距为f,空间里的特征点P(XC,YC,ZC)在左、右单目相机的投影点分别为Pa和Pb,其中Pa图像坐标为(Xa,Ya),Pb的图像坐标为(Xb,Yb),因两个单目相机在同一平面上,那么Pa和Pb的Y轴坐标一致,即Ya=Yb=Y:由三角关系得到如下关系:
由以上公式得知,在获得双目相机的基距和焦距参数后即得出目标的位置信息;
所述对左右图像区进行立体匹配,得到分类检测结果包括:
如果连续三帧均检测到具有障碍物属性的帧则开始进行立体匹配,车行驶速度为V,相机采集频率为F,则检测感应距离为DS=F/V*3,以检测边框坐标为感兴趣生成条件,将整幅图片送入立体匹配算法,匹配算法只计算感兴趣内像素的视差,得到感兴趣区的视差图,并将视差图转换为深度图,将深度图中按照距离从近到远排序,将近距离的前10%的像素点求距离均值,作为该帧图像感兴趣中障碍物与双目相机的距离D;
所述预警策略包括:行人避障策略、行车避障策略、落货避障策略;
所述行人避障策略指的是:
当检测到帧属性为行人的情况下AGV车采取得避障策略,具体如下:当检测到帧属性为行人的情况下,***流程会跳到行人避障策略流程,首先判断障碍物距离D距离是否满足减速行驶距离D1最小要求,若不满足正常行驶,若满足则车子进入低速行驶状态;在进入低速行驶状态后,流程跳到检测障碍物距离D是否满足刹车距离D0,若满足则刹车制动,若不满足,则继续低速行驶;若车子进入刹车制动状态,则避障流程跳到等待时间判断,若等待时间T小于最低等待时间阈值T0,则AGV车继续刹车制动等待,若等待时间T大于最低等待时间,则进入等待超时状态,上报集成调度***请求新得路径规划。
2.如权利要求1所述的AGV用双目视觉物体检测障碍物***,其特征在于,所述由预先训练好的AGV检测专用网络来处理校正后的左右图像对,将左右图像对处理为左右感兴趣区,并于每帧图像中加入分类标签,对左右图像区进行分类检测和深度测算,得到分类检测结果和深度图,对左右图像区进行分类检测和深度测算,得到分类检测结果和深度图包括:
采集AGV车运行过程中的双目视频存储于本地***中,采集对象包括无障碍物、行人、行车、行车负重货架、货品散落;
首先制作训练数据、将以获取的内外参数用于上述采集视频的每一帧得到可用于训练的正确数据,将每一帧标定出障碍物的边框信息得到具有真值的训练数据;然后使用SSD网络训练检测器,SSD网络由特征提取、候选区域生成,目标位置输出三部分组成,其中特征提取利用卷积层与池化层交替组合而成的卷积神经网络进行,将输入图像组合成抽象的特征图,随后将特征图输入区域建议网络提取目标的候选区域再利用池化层将目标候选区域池化到同一个固定的尺度连接全连接层,最后使用回归算法对目标进行分类,并使用多任务损失函数得到目标边界框,网络的输出是一个包含目标类别和位置信息的维向量;将数据依次重复送给检测网络,在训练结果的正确率达到95%以上后结束训练并导出检测网络,得到最终的检测模型;
训练完成后的检测网络将运行得到的数目数据分为有障碍物和无障碍物,有障碍物包括行人、行车、货品散落,将上述检测结果设为标签属性S,将标签属性S值加入每一帧如片中,生成标签属性帧;
标签属性S共有四种属性,包括无障碍、行人、行车、落货;对应无人仓储仓库中的所有可能出现的情况。
3.如权利要求1所述的AGV用双目视觉物体检测障碍物***,其特征在于,所述D1的值为5m,D0的值为1m。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910995010.6A CN110765922B (zh) | 2019-10-18 | 2019-10-18 | 一种agv用双目视觉物体检测障碍物*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910995010.6A CN110765922B (zh) | 2019-10-18 | 2019-10-18 | 一种agv用双目视觉物体检测障碍物*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110765922A CN110765922A (zh) | 2020-02-07 |
CN110765922B true CN110765922B (zh) | 2023-05-02 |
Family
ID=69332302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910995010.6A Active CN110765922B (zh) | 2019-10-18 | 2019-10-18 | 一种agv用双目视觉物体检测障碍物*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110765922B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111502671B (zh) * | 2020-04-20 | 2022-04-22 | 中铁工程装备集团有限公司 | 盾构激光标靶导向搭载双目相机的综合导向装置及方法 |
CN111552289B (zh) * | 2020-04-28 | 2021-07-06 | 苏州高之仙自动化科技有限公司 | 检测方法及虚拟雷达装置、电子设备、存储介质 |
CN111627057B (zh) * | 2020-05-26 | 2024-06-07 | 孙剑 | 一种距离测量方法、装置及服务器 |
CN111694333A (zh) * | 2020-06-10 | 2020-09-22 | 中国联合网络通信集团有限公司 | 一种agv协同管理方法及装置 |
CN112394690B (zh) * | 2020-10-30 | 2022-05-17 | 北京旷视机器人技术有限公司 | 仓库管理方法、装置、***及电子设备 |
CN112418040B (zh) * | 2020-11-16 | 2022-08-26 | 南京邮电大学 | 一种基于双目视觉的障碍物占用消防通道的检测与识别方法 |
CN112356815B (zh) * | 2020-12-01 | 2023-04-25 | 吉林大学 | 一种基于单目相机的行人主动避撞***及方法 |
CN112268548B (zh) * | 2020-12-14 | 2021-03-09 | 成都飞机工业(集团)有限责任公司 | 一种基于双目视觉的飞机局部外形测量方法 |
CN112651359A (zh) * | 2020-12-30 | 2021-04-13 | 深兰科技(上海)有限公司 | 障碍物检测方法、装置、电子设备和存储介质 |
CN113126631B (zh) * | 2021-04-29 | 2023-06-30 | 季华实验室 | Agv车的自动刹车控制方法、装置、电子设备和存储介质 |
CN113297939B (zh) * | 2021-05-17 | 2024-04-16 | 深圳市优必选科技股份有限公司 | 障碍物检测方法、***、终端设备及存储介质 |
CN113432644A (zh) * | 2021-06-16 | 2021-09-24 | 苏州艾美睿智能***有限公司 | 一种无人搬运车异常检测***及检测方法 |
CN113884090A (zh) * | 2021-09-28 | 2022-01-04 | 中国科学技术大学先进技术研究院 | 智能平台车环境感知***及其数据融合方法 |
CN113954986A (zh) * | 2021-11-09 | 2022-01-21 | 昆明理工大学 | 一种基于视觉的烟叶辅料运送小车 |
CN113821042B (zh) * | 2021-11-23 | 2022-02-22 | 南京冈尔信息技术有限公司 | 一种基于机器视觉的货物运送障碍识别***及方法 |
CN116164770B (zh) * | 2023-04-23 | 2023-07-25 | 禾多科技(北京)有限公司 | 路径规划方法、装置、电子设备和计算机可读介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105955259A (zh) * | 2016-04-29 | 2016-09-21 | 南京航空航天大学 | 基于多窗口实时测距的单目视觉agv的精确定位方法及*** |
CN107422730A (zh) * | 2017-06-09 | 2017-12-01 | 武汉市众向科技有限公司 | 基于视觉导引的agv运输***及其驾驶控制方法 |
CN108230392A (zh) * | 2018-01-23 | 2018-06-29 | 北京易智能科技有限公司 | 一种基于imu的视觉障碍物检测虚警剔除方法 |
CN109084724A (zh) * | 2018-07-06 | 2018-12-25 | 西安理工大学 | 一种基于双目视觉的深度学习障碍物测距方法 |
CN109269478A (zh) * | 2018-10-24 | 2019-01-25 | 南京大学 | 一种基于双目视觉的集装箱码头场桥障碍物检测方法 |
-
2019
- 2019-10-18 CN CN201910995010.6A patent/CN110765922B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105955259A (zh) * | 2016-04-29 | 2016-09-21 | 南京航空航天大学 | 基于多窗口实时测距的单目视觉agv的精确定位方法及*** |
CN107422730A (zh) * | 2017-06-09 | 2017-12-01 | 武汉市众向科技有限公司 | 基于视觉导引的agv运输***及其驾驶控制方法 |
CN108230392A (zh) * | 2018-01-23 | 2018-06-29 | 北京易智能科技有限公司 | 一种基于imu的视觉障碍物检测虚警剔除方法 |
CN109084724A (zh) * | 2018-07-06 | 2018-12-25 | 西安理工大学 | 一种基于双目视觉的深度学习障碍物测距方法 |
CN109269478A (zh) * | 2018-10-24 | 2019-01-25 | 南京大学 | 一种基于双目视觉的集装箱码头场桥障碍物检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110765922A (zh) | 2020-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110765922B (zh) | 一种agv用双目视觉物体检测障碍物*** | |
JP3895238B2 (ja) | 障害物検出装置及びその方法 | |
US10129521B2 (en) | Depth sensing method and system for autonomous vehicles | |
US11120280B2 (en) | Geometry-aware instance segmentation in stereo image capture processes | |
WO2020215194A1 (zh) | 用于移动目标物体检测的方法、***以及可移动平台 | |
JP6574611B2 (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
JP2009176087A (ja) | 車両用環境認識装置 | |
CN112097732A (zh) | 一种基于双目相机的三维测距方法、***、设备及可读存储介质 | |
JP4967758B2 (ja) | 物体移動の検出方法及び検出装置 | |
Rodriguez-Telles et al. | A fast floor segmentation algorithm for visual-based robot navigation | |
Marita et al. | Stop-line detection and localization method for intersection scenarios | |
US20220153259A1 (en) | Autonomous parking systems and methods for vehicles | |
Giosan et al. | Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information | |
CN115683109B (zh) | 基于cuda和三维栅格地图的视觉动态障碍物检测方法 | |
CN116403186A (zh) | 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法 | |
CN114661051A (zh) | 一种基于rgb-d的前置避障*** | |
CN114155257A (zh) | 一种基于双目相机的工业车辆预警及避障方法、*** | |
GB2605621A (en) | Monocular depth estimation | |
Gohilot et al. | Detection of pedestrian, lane and traffic signal for vision based car navigation | |
WO2021215199A1 (ja) | 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム | |
US20230252638A1 (en) | Systems and methods for panoptic segmentation of images for autonomous driving | |
Lu et al. | An Investigation on Accurate Road User Location Estimation in Aerial Images Collected by Drones | |
Chiang et al. | Driver assistance system based on monocular vision | |
Cui et al. | Task-attentive LiDAR Filter: Adaptive ROI and Semantic-based Ground Segmentation | |
Wu et al. | OTD: an Online Dynamic Traces Removal Method Based on Observation Time Difference |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |