CN110796103A - 基于Faster-RCNN的目标及其距离检测方法 - Google Patents
基于Faster-RCNN的目标及其距离检测方法 Download PDFInfo
- Publication number
- CN110796103A CN110796103A CN201911057836.4A CN201911057836A CN110796103A CN 110796103 A CN110796103 A CN 110796103A CN 201911057836 A CN201911057836 A CN 201911057836A CN 110796103 A CN110796103 A CN 110796103A
- Authority
- CN
- China
- Prior art keywords
- foreground
- target
- regression
- distance
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 107
- 238000012549 training Methods 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 40
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 27
- 238000011156 evaluation Methods 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 13
- 230000007935 neutral effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000005259 measurement Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000306 component Substances 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000012533 medium component Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于Faster‑RCNN的目标及其距离检测方法,包括***总方案、多任务卷积神经网络的设计及其训练、评估和预测算法。通过在检测网络的BB回归输出层增加距离回归节点,在不增加任何计算开销的情况下,将距离回归的损失和BB回归损失融合为回归损失。利用回归损失和分类损失,对RoI卷积特征进行深度学***衡,性能方面极佳,同时满足实时性、低成本要求。
Description
技术领域
本发明涉及辅助驾驶技术,尤其涉及人工智能、深度学习和基于计算机视觉技术的目标及其距离检测方法。
背景技术
汽车非常便捷,但带来严重的交通安全问题。随着汽车使用量的增加,安全问题也随之增加。根据2015年全球道路安全报告,每年有120多万人死于交通事故,还有数百万人受重伤。为改善交通安全,安全预警***、正向碰撞警告***、自适应巡航控制***、车道偏离预警***等辅助驾驶***应运而生,逐渐应用于汽车安全驾驶中。道路目标及其距离的实时检测是这些辅助驾驶***最核心部分。目标及其距离检测是图像处理和计算机视觉的一个重要分支,它融合了图像处理、模式识别、人工智能等许多领域的前沿技术。目前,针对辅助驾驶***,已经有一些车辆测距方法运用目标检测与测距等相关前沿技术。
CN201810314076.X公开了基于深度学***衡,速度方面极佳,完全满足实时性要求。
CN201811144951.0公开了一种基于激光点云与图像融合的前方车辆距离测量方法,属于多传感器信息融合领域。首先,利用激光点云与相机图像之间的映射关系,将3D激光点云映射为二维图像。其次,根据相机图像中所识别的车辆ROI,对激光点云映射的图像进行筛选。接着,经过图像—激光点云映射,得到筛选后车辆ROI对应的激光点云。利用双目图像检测的前方车辆距离进行约束,再次筛选对应车辆的激光点云。然后,对车辆点云进行聚类,进一步去除非车辆点云。最后,使用聚类出的车辆点云计算前方车辆的距离。测试结果表明,激光点云与图像融合方法测得的距离平均误差较之双目图像方法减小近一半,均方差也有所降低。因此,本发明方法较之双目图像方法测距更精确、更稳定。
CN201710084392.8公开了一种基于单目计算机视觉技术的目标对象距离测量方法与***,该方法包括以下步骤:通过摄像头实时采集车辆前方或后方的序列图像;根据采集的序列图像确定天际线的参考高度;以序列图像中物理尺寸不变的目标为目标对象,通过目标检测方法,确定用于距离测量的目标对象特征像素尺寸;通过光学几何模型,确定目标对象的物理尺寸;通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑,以输出稳定的物理尺寸,然后计算目标的真实特征尺寸;基于计算得到的真实特征尺寸,通过光学几何模型计算得到目标对象的距离。本发明较为全面的考虑了影响距离测量精度的多个因素,提高了计算的精度。
CN201510233157.3公开了一种双目图像中显著性目标的距离测量方法,本发明涉及一种双目图像中目标的距离测量方法。本发明的目的是提出一种双目图像中显著性目标的距离测量方法,以解决现有的目标距离测量方法处理速度慢的问题。步骤一、利用视觉显著性模型对双目图像进行显著性特征提取,并标出种子点和背景点;步骤二、对双目图像建立加权图;步骤三、利用步骤一中的种子点和背景点和步骤二中的加权图,通过随机游走图像分割算法将双目图像中的显著性目标分割出来;步骤四、通过SIFT算法将显著性目标单独进行关键点匹配;步骤五、将步骤四求出的视差矩阵K'代入双目测距的模型中求出显著性目标距离。本发明可应用于智能汽车行驶中对视野前方图像显著性目标的距离测量。
CN201710420538.1公开了一种目标距离测量方法及***,所述方法包括:通过预先设置于车辆前端的两个摄像头,同步采集所述车辆前方景象的图像,其中,所述两个摄像头前后设置;识别每一摄像头采集的图像中的待测目标,并获取每一待测目标的高度;根据获取到的待测目标的高度计算所述待测目标与所述车辆的距离。本发明采用目标检测和匹配的方式得到待测目标在两个相机中的高度差别,并根据所述待测目标绝对高度计算其与所述车辆的距离,这样不依赖于左右基线长度,测量过程简单、方便、性能稳定。
CN201811144951.0提出采用激光结合图像测距,精度虽高,但是融合算法复杂,且激光雷达成本极高。CN201510233157.3和CN201710420538.1提出的双目测距基于视差原理,需要对两个相机(或结构光)进行精确、复杂的标定,抗环境干扰能力差。CN201710084392.8提出的单目测距基于几何成像原理,依赖于目标的正确检测,当目标被局部遮挡时将无法正常工作,抗环境干扰能力差。目前最先进的目标检测算法可分为单步算法和两步算法。CN201810314076.X通过改进YOLO算法(单步算法)训练一个卷积神经网络,同时实现目标检测与测距;此算法虽然一步到位,获得非常快的速度,但牺牲一定的检测精度。本发明通过改进Faster-RCNN算法(两步算法)指导增加距离检测的多任务卷积神经网络,先用RPN提案感兴趣区域(RoI),再用检测网络精炼RoI的分类和定位,与此同时,检测网络还完成测距任务,实现端到端的多任务训练和预测。***内部两阶段共享特征图实现无缝衔接和参数传递,不存在误差累积且方便进行训练调优,获得非常高的检测精度,且达到可接受的检测速度,达到了性能和效率的平衡。
发明内容
本发明的目的是通过以下技术方案实现的。
一种基于Faster-RCNN算法的目标及其距离检测方法,包括以下步骤:
(1)数据准备:数据包括训练和评估数据以及预测数据;一个摄像头和一个激光雷达上、下安装在车顶,用摄像头获取道路场景中包含待检测目标的图像(Img),用激光雷达获取Img中待检测目标离相机的标记距离d*,作为原始训练和评估数据;只用一个型号和参数与上述相同的摄像头获取道路场景中包含待检测目标的Img作为预测数据;
(2)训练数据和评估数据制作:对Img中K类需检测的前景目标用边界框BB进行标记,每个目标的标记用GT表示;每个GT包括以下信息:Img的路径,Img上BB的中心点水平坐标和垂直坐标以及BB的宽和高(x*,y*,w*,h*),目标离相机的标记距离d*和目标的标记类别k*;通过程序随机挑选出约三分之一的Img及其GT作为评估数据,其余作为训练数据;
(3)网络训练:基于Faster-RCNN算法,用步骤(2)制作的训练数据,训练多任务卷积神经网络,使得网络具有对整幅Img中目标及其距离同时进行检测的能力;
(4)目标预测:用基于Faster-RCNN算法指导训练好的多任务卷积神经网络检测预测数据Img中的目标及其距离,同时完成对整幅Img中的目标进行定位、分类和测距的多重任务;
(5)网络评估:与步骤(4)目标预测过程一样,先用基于Faster-RCNN算法指导多任务卷积神经网络检测上述步骤(2)制作的评估数据中所有Img;再将检测结果与评估数据中的GT对比,用检测率Accuracy和距离绝对误差率均值AAER来评估多任务卷积神经网络的性能。
上述目标及其距离检测方法中的多任务卷积神经网络由基础网络、感兴趣区域(RoI)提案网络(RPN)和检测网络三部分组成;
其中基础网络由若干个卷积池化块串接而成,每个卷积池化块由若干个改变通道数的卷积层和一个缩小分辨率的池化层组成;Img通过整个基础网络后输出一张分辨率成倍缩小而通道数增加的特征图MAPF;
RPN由至少一个RPN卷积层,再加上并行的分类输出层和回归输出层组成;分类输出层输出对锚框分类为前、背景的概率的预测值PA=(pfg,pbg);回归输出层输出对前景锚框的BB回归偏移的预测值TA=(tx,ty,tw,th),为后续的检测网络提供RoI的边界框BB1 F做准备;
检测网络先后由RoI池化层、中间网络,再加上并行的目标细分类输出层和回归输出层组成;RoI池化层利用尺度各异的BB1 F从MAPF中截取出RoI,并将其转换成固定尺度的RoI;中间网络由若干个卷积层加上一个池化层组成;目标细分类输出层对每个RoI输出K+1类目标细分类概率的预测值PB=(p1,…,pK,pbg);回归输出层对每个RoI输出K类前景目标的BB回归偏移以及距离回归参数的预测值TB=(t1x,t1y,t1w,t1h,t1d,…,tKx,tKy,tKw,tKh,tKd)。
上述目标及其距离检测方法,所述的基于Faster-RCNN算法将所述多任务卷积神经网络前、后分成RoI提案和目标及其距离检测两个实施阶段;
RoI提案阶段包括基础网络和RPN,由RPN负责在MAPF上初步提案上述的BB1 F;
目标及其距离检测阶段对应检测网络,负责预测每个提案的BB1 F对K+1类目标的细分类概率PB,和对K类前景目标的BB回归偏移和距离回归参数TB。
上述的目标及其距离检测方法,(1)网络训练时,RoI提案阶段的具体步骤为:
对每次输入的训练数据中的一张Img及Img中每个GT的BB位置尺度信息(x*,y*,w*,h*)进行缩放处理,忽略GT中的标记距离d*等其他信息,得到缩放的图像ImgR和ImgR上每个前景目标的缩放的GT,用表示;
ImgR通过基础网络和RPN后,在MAPF上每个像素点预测M个锚框的前、背景分类和前景锚框的BB回归偏移,每个锚框的前、背景分类概率预测值为PA,每个分类为前景锚框的BB回归偏移预测值为TA;
通过AGT生成器,对上述锚框进行前、背景锚框标记,并产生Nrpn个用于训练基础网络和RPN的标记锚框AGT,其标记为用上述Nrpn个AGT的预测结果{PA,TA}和标记对比计算RoI提案阶段的损失Lrpn;再通过反向传播来更新基础网络和RPN的权重;
ImgR再次通过权重刚更新的基础网络和RPN后,在MAPF上每个像素点预测M个锚框,每个锚框的前、背景分类概率预测值为PA,每个分类为前景锚框的BB回归偏移预测值为TA;将预测的前景概率pfg≥0.9的每个锚框的BB回归偏移TA反算成ImgR上的预测边界框
通过非极大抑制算法NMS(IoU≥0.7)处理,优选出前NB个预测为前景类的BB1 R;
将所述的NB个BB1 R映射到MAPF上,并圆整为MAPF上的边界框同时将每个GT中的BB也映射到MAPF上,并进行圆整,加上标记距离d*和标记类别k*信息后,得到MAPF上的训练检测网络用的标记通过BBGT及其标记生成器,根据GTF从上述NB个BB1 F中挑出Ndet个作为训练检测网络的标记边界框BBGT,其标记为
(2)网络训练时,目标及其距离检测阶段的具体步骤为:
通过检测网络的RoI池化层,用每个BBGT在MAPF上截取一个RoI,并将其池化成固定尺度的RoI;
上述固定尺度的RoI再通过检测网络的中间网络和两个输出层,输出对上述BBGT的K+1类目标的细分类预测结果PB,同时输出每个预测为前景BBGT的K类前景目标的BB回归偏移以及距离回归参数预测值TB;
最后计算当前Img训练网络的总损失Ltotal=Lrpn+Ldet,如此循环计算N张Img的总损失后,取其平均值,判断此平均值是否小于目标损失,小于将停止训练,输出最优网络权重,否则继续用下一组N张Img训练多任务卷积神经网络。
上述目标及其距离检测方法,(1)在目标预测和网络评估时,RoI提案阶段的具体步骤为:
将每次输入的一张Img缩放成ImgR;ImgR通过基础网络和RPN后,在MAPF上每个像素点预测M个锚框,每个锚框的前、背景分类概率预测值为PA,每个预测为前景锚框的BB回归偏移预测值为TA;
将预测为前景概率pfg≥0.9的每个锚框的BB回归偏移TA反算成ImgR上的预测边界框BB1 R;通过非极大抑制算法NMS(IoU≥0.7)处理,优选出前NB个预测为前景类的BB1 R;
将上述NB个BB1 R映射到MAPF上,并圆整为MAPF上的边界框BB1 F;
对上述NB个BB1 F进行分组,每组Ndet个,最后一组不足Ndet个用pfg值最大的BB1 F补齐;(2)在目标预测和网络评估时,目标及其距离检测阶段的具体步骤为:
分组将BB1 F送入检测网络,对每个BB1 F在MAPF上包围的RoI进行K+1类目标的细分类预测,预测概率为PB,同时预测K类前景目标的BB回归偏移和距离回归参数TB;
根据对BB1 F的预测细分类概率PB中分量最大值确定该BB1 F的预测分类,假定pk取值最大,则将当前BB1 F的预测为第k类前景目标,从TB中取出第k类前景目标对应的BB回归偏移以及距离回归参数(tkx,tky,tkw,tkh,tkd);
接着将BB回归偏移(tkx,tky,tkw,tkh)反算成MAPF上目标及其距离检测阶段的预测边界框BB2 F的非圆整坐标,将距离回归参数tkd反算成目标预测距离d;再分别对每个预测为前景目标类的所有BB2 F进行NMS(IoU≥0.5)处理,优选出若干个最优的BB2 F,将这些BB2 F反向映射回Img,进行圆整后作为Img上的预测BB2=(x2,y2,w2,h2),连同预测细分类k和预测距离d作为最终输出结果。
上述目标及其距离检测方法,所述的AGT生成器具体步骤如下:
以基础网络输出的MAPF的每个像素点为中心设置M个不同尺度的BB,称之为锚框,注意这些锚框的坐标和尺度是在ImgR上进行定义的;
计算每个锚框与所有GTR的BB的相交面积和并集面积之比,简称交并比IoU;
IoU≥0.7的锚框定义为前景标记锚框AGT,IoU<0.3的锚框定义为背景AGT,0.3≤IoU<0.7的锚框定义为中性AGT;
如果还有GTR与任何锚框的IoU值都小于0.7,则从中性AGT中选出一个IoU最大的,将其定义更改为这个GTR的前景AGT;AGT的分类标记表示为每个前景AGT的分类标记取值为每个背景AGT的分类标记取值为每个中性AGT的分类标记取值为
从前、背景AGT中,随机挑选出Nrpn个作为RoI提案阶段训练用的AGT,其中Nreg_rpn个前景AGT,如果前景AGT数量充足,则Nreg_rpn=Nrpn/2,否则Nreg_rpn等于所有前景AGT的个数,其余Nrpn-Nreg_rpn个从背景AGT中随机挑选,中性AGT不参与训练。
上述目标及其距离检测方法,所述的BBGT及其标记生成器的具体步骤如下:
计算每一个BB1 F与所有GTF中的BB的IoU;
0.1≤IoU<0.5的BB1 F标记为训练检测网络用的背景标记边界框BBGT,类别标记为背景;
从所有BBGT中随机挑出Ndet个用来训练检测网络,其中前景BBGT占Nreg_det个,如果前景BBGT数量充足,则Nreg_det=Ndet/2,否则Nreg_det等于所有前景BBGT的个数,其余Ndet-Nreg_det个从背景BBGT中随机挑出。
上述目标及其距离检测方法,用所述基于Faster-RCNN算法训练一张Img的总损失LTotal包括RoI提案阶段的损失Lrpn和目标及其距离检测阶段的损失Ldet,由下式计算:
式(1)中,RoI提案阶段的损失Lrpn由Nrpn个AGT的前、背景分类损失Lcls_rpn的平均值和Nreg_rpn个标记为前景AGT的BB回归损失Lreg_rpn的平均值组成,由下式计算:
式(2)中,PAi为上述第i个AGT的分类预测概率,PAi=(pfg,pbg);为上述第i个AGT的分类标记;TAi为上述第i个前景AGT的BB回归偏移预测值,TAi=(tx,ty,tw,th);为上述第i个前景AGT的BB回归偏移标记值,TAi和由式(5)给出;λrpn为RoI提案阶段的坐标回归损失与分类损失的权衡系数,一般取λrpn=1;
式(2)中,第i个AGT的分类损失Lcls_rpn为二分类交叉商损失,由下式计算:
式(2)中,第i个前景AGT的BB回归偏移的预测损失Lreg_rpn由下式计算:
式(5)中,tx,ty,tw和th分别为当前前景AGT的中心水平坐标和垂直坐标及其宽和高的BB回归偏移预测值;和分别为当前前景AGT的中心水平坐标和、垂直坐标及其宽和高的BB回归偏移标记值;和分别为当前前景AGT的中心水平坐标和垂直坐标及其宽和高的预测值;xa,ya,wa和ha分别为当前前景AGT的中心水平坐标和垂直坐标及其宽和高;和分别为当前前景AGT对应的GTR的BB在ImgR上的中心水平坐标和垂直坐标及其宽和高的标记值;
式(1)中,目标及其距离检测阶段的损失Ldet由Ndet个BBGT的目标细分类预测损失Lcls_det的平均值和Nreg_det个前景BBGT的回归偏移的预测损失Lreg_det的平均值组成,由下式计算:
式(6)中,λdet为目标及其距离检测阶段的回归损失与目标细分类损失的权衡系数,一般取λdet=1;对上述第i个BBGT在MAPF上截取的RoI对K+1类细分类损失Lcls_det为多分类交叉商损失,由下式计算:
式(7)中,PBi=(p1,…,pK,pbg)为检测网络对上述第i个BBGT目标细分类预测概率;
式(6)中,第i个前景BBGT的BB回归偏移和距离回归的总回归损失Lreg_det由下式计算:
式(9)中,脚标k表示当前前景BBGT标记为第k类前景目标;tkx,tky,tkw和tkh分别为当前前景BBGT对第k类目标的中心水平坐标和垂直坐标及其宽和高的BB回归偏移预测值;tkd为当前前景BBGT的距离回归的预测值;和分别为当前前景BBGT对第k类目标的中心水平坐标和垂直坐标及其宽和高的BB回归偏移标记值,为当前前景BBGT的距离回归参数的标记值;和分别为将当前BBGT的预测回归偏移反算到MAPF上的中心水平坐标和垂直坐标及其宽和高,d为当前前景BBGT的距离的预测结果;和分别为上述的当前BBGT的中心水平坐标和垂直坐标及其宽和高,dm为所有GT的距离均值;和分别为当前前景BBGT在MAPF上的中心水平坐标和垂直坐标及其宽和高的标记值,d*为与当前前景BBGT对应的GTF的标记距离。
上述目标及其距离检测方法,步骤(5)所述对多任务卷积神经网络性能评估的目标检测率Accuracy和距离绝对误差率均值AAER的计算方法如下:
计算每个预测BB2与其对应Img中所有GT的IoU;同一张Img中,与任何BB2的IoU都小于0.5的GT定义为假反例FN,与GT的IoU不小于0.5的BB2定义为真正例TP,与GT的IoU小于0.5的BB2定义为假正例FP;
则,评估网络的目标检测率Accuracy根据下式计算:
式(10)中,NTP为所述的所有
TP的个数,NGT为评估数据中所有GT的个数,NFP为所述的所有FP的个数;
网络的距离估计误差定义为对所有TP的距离绝对误差率均值AAER根据下式计算:
式(11)中,d为所述TP的距离预测值;d*为所述TP对应的标记距离。
本发明通过改进Faster-RCNN算法(两步算法)指导增加距离检测的多任务卷积神经网络,先用RPN提案感兴趣区域(RoI),再用检测网络精炼RoI的分类和定位,与此同时,检测网络还完成测距任务,实现端到端的多任务训练和预测。***内部两阶段共享特征图实现无缝衔接和参数传递,不存在误差累积且方便进行训练调优,获得非常高的检测精度,且达到可接受的检测速度,达到了性能和效率的平衡。
附图说明
通过阅读下文具体实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出具体实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施方式的***总方案图;
图2为本发明实施方式的基于Faster-RCNN算法训练多任务神经网络的流程图;
图3为本发明实施方式的基于Faster-RCNN算法的多任务神经网络预测目标流程图;
图4为本发明实施方式的RoI提案阶段网络模型图;
图5为本发明实施方式的检测网络模型图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本发明的实施方式,提出基于Faster-RCNN的道路行人检测及其距离估计方法。首先利用相机和雷达获取19434张道路图像Img及Img中目标距离d*;然后对Img中行人(K=1类需检测的前景目标)用边界框BB进行标记,加上图像的绝对路径、目标离相机的标记距离d*和目标的标记类别k*,一共制作了84504个真实目标标记GT;用程序随机挑选出6668张Img以及Img中28959个GT作为评估数据,其余作为训练数据。***总体框架如图1所示,训练过程:每次利用一张Img及其GT,在Faster-RCNN算法指导下对多任务卷积神经网络进行一次训练,更新一次网络权重,并计算网络训练总损失LTotal,如此训练N=1000张图片计算一次平均总损失,如果平均总损失达到目标损失将停止训练,输出最优网络权重,否则继续下组N张图片训练。预测过程:首先利用相机获取道路Img;在Faster-RCNN算法指导下将Img送入训练好的多任务卷积神经网络进行目标定位、分类及测距。
所述对多任务卷积神经网络的具体训练过程如图2所示。整个训练过程分成RoI提案阶段和目标及其距离检测阶段。RoI提案阶段,对每次输入的一张Img及Img中每个目标的标记GT的BB进行缩放处理,得到缩放的ImgR和每个目标的缩放标记GTR。将ImgR送入多任务卷积神经网络的基础网络,得到一张尺寸缩小而通道增加的特征图MAPF;在MAPF的每个像素点上定义M=9个不同尺度的锚框;通过RPN,对MAPF上每个锚框进行前、背景分类预测,预测概率为PA=(pfg,pbg),同时预测每个前景锚框的BB回归偏移TA=(tx,ty,tw,th)(又如图4所示);通过AGT生成器,计算每个锚框与所有GTR的交并比IoU,根据IoU的取值将每一个锚框定义为前景AGT(IoU≥0.7)、背景AGT(IoU<0.3)和中性AGT(0.3≤IoU<0.7)之一;如果还有一个GTR的与任何锚框的IoU都小于0.7,则从IoU为0.3到0.7之间的锚框中选出一个IoU最大的锚框,定义为这个GTR的前景AGT;从所有的AGT中,随机挑选出Nrpn=256个AGT作为RoI提案阶段训练用的AGT,其中Nreg_rpn个前景AGT,如果前景AGT数量充足,则Nreg_rpn=Nrpn/2,否则Nreg_rpn等于所有前景AGT的个数,其余Nrpn-Nreg_rpn个从背景AGT中随机挑选,中性AGT不参与RoI提案阶段损失的计算;用这Nrpn个GTA和其预测结果来计算RoI提案阶段的损失函数Lrpn,再通过反向传播来更新基础网络和RPN的权重,从而完成对网络RoI提案阶段的一次训练。
目标及其距离检测阶段,ImgR再次通过刚训练过的基础网络和RPN预测MAPF上每个像素点M个不同尺度的锚框;将预测结果反算成ImgR上的BB1 R,对预测的前景概率pfg≥0.9的BB1 R进行NMS(IoU≥0.7)处理后,优选出NB=64个预测为前景目标的BB1 R;将BB1 R映射到MAPF上,并对其坐标进行圆整成BB1 F;同时将每个GT中的BB映射到到MAPF上,并对其坐标进行圆整,再加上分类和距离信息后,用表示;计算每一个BB1 F与所有GTF的BB的IoU;IoU≥0.5的BB1 F标记为训练检测网络用的前景BBGT,0.1≤IoU<0.5的BBF标记为训练检测网络用的背景BBGT;从BBGT中随机挑出Ndet=32个用来训练检测网络,其中前景BBGT占Nreg_det个,如果前景BBGT数量充足,则Nreg_det=16,否则Nreg_det等于所有前景BBGT的个数,其余Ndet-Nreg_det个从背景BBGT中随机挑出;通过检测网络的RoI池化层,用每个BBGT的从MAPF上截取出一个RoI,每个RoI的分类概率标记为例如当前BBGT标记为第k类前景目标,那么的分量为1,其余都为0;计算每个前景BBGT对K类目标的BB回归偏移以及距离回归参数标记为如果当前BBGT为第k类前景目标,那么只有存在取值,其余都为0;通过检测网络输出每个BBGT在MAPF上包围的RoI对K+1类目标的细分类预测结果为PB=(p1,…,pK,pbg),和每个预测为前景的RoI对K类前景目标的BB回归偏移以及距离回归参数预测值为TB=(t1x,t1y,t1w,t1h,t1d,…,tKx,tKy,tKw,tKh,tKd)(如图5所示);将BBGT的预测结果{PB,TB}和其标记对比计算目标及其距离检测阶段的损失Ldet,通过反向传播算法更新一次检测网络权重;最后计算当前图像训练网络的总损失Ltotal=Lrpn+Ldet,如此循环计算一组N=1000张图片的总损失后取其平均值,判断此平均值是否小于目标损失,小于将停止训练,输出最优网络权重,否则继续用下一组N张Img训练多任务卷积神经网络。
所述利用多任务卷积神经网络的预测过程如图3所示。在RoI提案阶段,将每次输入的一张Img缩放成ImgR;对被RPN预测的前景概率pfg≥0.9的每个锚框的BB回归偏移TA换算成ImgR上的BB1 R,通过NMS(IoU≥0.7)处理,优选出NB=64个BB1 R;将上述NB个BB1 R映射到MAPF上,并进行圆整为BB1 F;对上述NB个BB1 F进行分组(每组Ndet=32个)。在目标及其距离检测阶段,分组将BB1 F送入检测网络,预测每个BB1 F在MAPF上包围的RoI对K+1类目标的细分类PB,同时预测输出K类前景目标的BB回归偏移和距离回归参数TB;根据对BB1 F的预测细分类概率PB中分量最大值确定其预测分类;假定pk取值最大,则将当前BB1 F细分为第k类前景目标的边界框,从TB中取出第k类前景目标对应的BB回归偏移以及距离回归参数(tkx,tky,tkw,tkh,tkd);接着将(tkx,tky,tkw,tkh)反算成MAPF上的BB2 F(坐标值不进行圆整),将距离回归参数tkd反算成预测距离d;再对预测为前景目标的BB2 F按类分别进行NMS(IoU≥0.5)处理,优选出若干个最优的BB2 F,将这些BB2 F反向映射回Img,作为Img上的预测BB2,连同预测细分类k和预测距离d作为最终输出结果。
与上述预测过程一样,预测上述评估数据中所有Img;再将预测结果与上述评估数据的GT对比,用检测率Accuracy和距离绝对误差率均值AAER来评估多任务卷积神经网络性能。
本发明通过改进Faster-RCNN算法(两步算法)指导增加距离检测的多任务卷积神经网络,先用RPN提案感兴趣区域(RoI),再用检测网络精炼RoI的分类和定位,与此同时,检测网络还完成测距任务,实现端到端的训练和预测。***内部两阶段共享特征图实现无缝衔接和参数传递,不存在误差累积且方便进行训练调优,获得非常高的检测精度,且达到可接受的检测速度。在对行人及其距离检测的测试中,检测速率超过7.58帧每秒,20米以内行人检测率Accuracy和距离误差率均值AAER分别为98%和5.75%,60米以内的行人检测率和距离估计误差率分别为80%和4.64%;***达到了性能和效率的平衡,满足实时性要求。
以上,仅为本发明示例性的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.基于Faster-RCNN的目标及其距离检测方法,其特征在于,包括以下步骤:
(1)数据准备:数据包括训练和评估数据以及预测数据;一个摄像头和一个激光雷达上、下安装在车顶,用摄像头获取道路场景中包含待检测目标的图像(Img),用激光雷达获取Img中待检测目标离相机的标记距离d*,作为原始训练和评估数据;只用一个型号和参数与上述相同的摄像头获取道路场景中包含待检测目标的Img作为预测数据;
(2)训练数据和评估数据制作:对Img中K类需检测的前景目标用边界框BB进行标记,每个目标的标记用GT表示;每个GT包括以下信息:Img的路径,Img上BB的中心点水平坐标和垂直坐标以及BB的宽和高(x*,y*,w*,h*),目标离相机的标记距离d*和目标的标记类别k*;通过程序随机挑选出约三分之一的Img及其GT作为评估数据,其余作为训练数据;
(3)网络训练:基于Faster-RCNN算法,用步骤(2)制作的训练数据,训练多任务卷积神经网络,使得网络具有对整幅Img中目标及其距离同时进行检测的能力;
(4)目标预测:用基于Faster-RCNN算法指导训练好的多任务卷积神经网络检测预测数据Img中的目标及其距离,同时完成对整幅Img中的目标进行定位、分类和测距的多重任务;
(5)网络评估:与步骤(4)目标预测过程一样,先用基于Faster-RCNN算法指导多任务卷积神经网络检测上述步骤(2)制作的评估数据中所有Img;再将检测结果与评估数据中的GT对比,用检测率Accuracy和距离绝对误差率均值AAER来评估多任务卷积神经网络的性能。
2.根据权利要求1所述的目标及其距离检测方法,其特征是,所述的多任务卷积神经网络由基础网络、感兴趣区域(RoI)提案网络(RPN)和检测网络三部分组成;
其中基础网络由若干个卷积池化块串接而成,每个卷积池化块由若干个改变通道数的卷积层和一个缩小分辨率的池化层组成;Img通过整个基础网络后输出一张分辨率成倍缩小而通道数增加的特征图MAPF;
RPN由至少一个RPN卷积层,再加上并行的分类输出层和回归输出层组成;分类输出层输出对锚框分类为前、背景的概率的预测值PA=(pfg,pbg);回归输出层输出对前景锚框的BB回归偏移的预测值TA=(tx,ty,tw,th),为后续的检测网络提供RoI的边界框BB1 F做准备;
检测网络先后由RoI池化层、中间网络,再加上并行的目标细分类输出层和回归输出层组成;RoI池化层利用尺度各异的BB1 F从MAPF中截取出RoI,并将其转换成固定尺度的RoI;中间网络由若干个卷积层加上一个池化层组成;目标细分类输出层对每个RoI输出K+1类目标细分类概率的预测值PB=(p1,…,pK,pbg);回归输出层对每个RoI输出K类前景目标的BB回归偏移以及距离回归参数的预测值TB=(t1x,t1y,t1w,t1h,t1d,…,tKx,tKy,tKw,tKh,tKd)。
3.根据权利要求1和2所述的目标及其距离检测方法,其特征是,所述的基于Faster-RCNN算法将所述多任务卷积神经网络前、后分成RoI提案和目标及其距离检测两个实施阶段;
RoI提案阶段包括基础网络和RPN,由RPN负责在MAPF上初步提案权利要求2所述的BB1 F;目标及其距离检测阶段对应检测网络,负责预测每个提案的BB1 F对K+1类目标的细分类概率PB,和对K类前景目标的BB回归偏移和距离回归参数TB。
4.根据权利要求3所述的目标及其距离检测方法,其特征是,(1)网络训练时,RoI提案阶段的具体步骤为:
对每次输入的训练数据中的一张Img及Img中每个GT的BB位置尺度信息(x*,y*,w*,h*)进行缩放处理,忽略GT中的标记距离d*等其他信息,得到缩放的图像ImgR和ImgR上每个前景目标的缩放的GT,用表示;
ImgR通过基础网络和RPN后,在MAPF上每个像素点预测M个锚框的前、背景分类和前景锚框的BB回归偏移,每个锚框的前、背景分类概率预测值为PA,每个分类为前景锚框的BB回归偏移预测值为TA;
再通过反向传播来更新基础网络和RPN的权重;
ImgR再次通过权重刚更新的基础网络和RPN后,在MAPF上每个像素点预测M个锚框,每个锚框的前、背景分类概率预测值为PA,每个分类为前景锚框的BB回归偏移预测值为TA;将预测的前景概率pfg≥0.9的每个锚框的BB回归偏移TA反算成ImgR上的预测边界框
通过非极大抑制算法NMS(IoU≥0.7)处理,优选出前NB个预测为前景类的BB1 R;
将所述的NB个BB1 R映射到MAPF上,并圆整为MAPF上的边界框同时将每个GT中的BB也映射到MAPF上,并进行圆整,加上标记距离d*和标记类别k*信息后,得到MAPF上的训练检测网络用的标记通过BBGT及其标记生成器,根据GTF从上述NB个BB1 F中挑出Ndet个作为训练检测网络的标记边界框BBGT,其标记为
(2)网络训练时,目标及其距离检测阶段的具体步骤为:
通过检测网络的RoI池化层,用每个BBGT在MAPF上截取一个RoI,并将其池化成固定尺度的RoI;
上述固定尺度的RoI再通过检测网络的中间网络和两个输出层,输出对上述BBGT的K+1类目标的细分类预测结果PB,同时输出每个预测为前景BBGT的K类前景目标的BB回归偏移以及距离回归参数预测值TB;
将上述Ndet个的BBGT的预测结果{PB,TB}和其标记对比计算目标及其距离检测阶段的损失Ldet,通过反向传播算法更新一次检测网络权重;
最后计算当前Img训练网络的总损失Ltotal=Lrpn+Ldet,如此循环计算N张Img的总损失后,取其平均值,判断此平均值是否小于目标损失,小于将停止训练,输出最优网络权重,否则继续用下一组N张Img训练多任务卷积神经网络。
5.根据权利要求3所述的目标及其距离检测方法,其特征是,(1)在目标预测和网络评估时,RoI提案阶段的具体步骤为:
将每次输入的一张Img缩放成ImgR;ImgR通过基础网络和RPN后,在MAPF上每个像素点预测M个锚框,每个锚框的前、背景分类概率预测值为PA,每个预测为前景锚框的BB回归偏移预测值为TA;
将预测为前景概率pfg≥0.9的每个锚框的BB回归偏移TA反算成ImgR上的预测边界框BB1 R;通过非极大抑制算法NMS(IoU≥0.7)处理,优选出前NB个预测为前景类的BB1 R;
将上述NB个BB1 R映射到MAPF上,并圆整为MAPF上的边界框BB1 F;
对上述NB个BB1 F进行分组,每组Ndet个,最后一组不足Ndet个用pfg值最大的BB1 F补齐;(2)在目标预测和网络评估时,目标及其距离检测阶段的具体步骤为:
分组将BB1 F送入检测网络,对每个BB1 F在MAPF上包围的RoI进行K+1类目标的细分类预测,预测概率为PB,同时预测K类前景目标的BB回归偏移和距离回归参数TB;
根据对BB1 F的预测细分类概率PB中分量最大值确定该BB1 F的预测分类,假定pk取值最大,则将当前BB1 F的预测为第k类前景目标,从TB中取出第k类前景目标对应的BB回归偏移以及距离回归参数(tkx,tky,tkw,tkh,tkd);
接着将BB回归偏移(tkx,tky,tkw,tkh)反算成MAPF上目标及其距离检测阶段的预测边界框BB2 F的非圆整坐标,将距离回归参数tkd反算成目标预测距离d;再分别对每个预测为前景目标类的所有BB2 F进行NMS(IoU≥0.5)处理,优选出若干个最优的BB2 F,将这些BB2 F反向映射回Img,进行圆整后作为Img上的预测BB2=(x2,y2,w2,h2),连同预测细分类k和预测距离d作为最终输出结果。
6.根据权利要求4所述的目标及其距离检测方法,其特征是,所述AGT生成器具体步骤如下:以基础网络输出的MAPF的每个像素点为中心设置M个不同尺度的BB,称之为锚框,注意这些锚框的坐标和尺度是在ImgR上进行定义的;
计算每个锚框与所有GTR的BB的相交面积和并集面积之比,简称交并比IoU;
IoU≥0.7的锚框定义为前景标记锚框AGT,IoU<0.3的锚框定义为背景AGT,0.3≤IoU<0.7的锚框定义为中性AGT;
如果还有GTR与任何锚框的IoU值都小于0.7,则从中性AGT中选出一个IoU最大的,将其定义更改为这个GTR的前景AGT;AGT的分类标记表示为每个前景AGT的分类标记取值为每个背景AGT的分类标记取值为每个中性AGT的分类标记取值为
从前、背景AGT中,随机挑选出Nrpn个作为RoI提案阶段训练用的AGT,其中Nreg_rpn个前景AGT,如果前景AGT数量充足,则Nreg_rpn=Nrpn/2,否则Nreg_rpn等于所有前景AGT的个数,其余Nrpn-Nreg_rpn个从背景AGT中随机挑选,中性AGT不参与训练。
7.根据权利要求4所述的目标及其距离检测方法,其特征是,所述的BBGT及其标记生成器的具体步骤如下:
计算每一个BB1 F与所有GTF中的BB的IoU;
0.1≤IoU<0.5的BB1 F标记为训练检测网络用的背景标记边界框BBGT,类别标记为背景;
从所有BBGT中随机挑出Ndet个用来训练检测网络,其中前景BBGT占Nreg_det个,如果前景BBGT数量充足,则Nreg_det=Ndet/2,否则Nreg_det等于所有前景BBGT的个数,其余Ndet-Nreg_det个从背景BBGT中随机挑出。
8.根据权利要求4所述的目标及其距离检测方法,其特征是,用所述基于Faster-RCNN算法训练一张Img的总损失LTotal包括RoI提案阶段的损失Lrpn和目标及其距离检测阶段的损失Ldet,由下式计算:
式(1)中,RoI提案阶段的损失Lrpn由Nrpn个AGT的前、背景分类损失Lcls_rpn的平均值和Nreg_rpn个标记为前景AGT的BB回归损失Lreg_rpn的平均值组成,由下式计算:
式(2)中,PAi为上述第i个AGT的分类预测概率,PAi=(pfg,pbg);为上述第i个AGT的分类标记;TAi为上述第i个前景AGT的BB回归偏移预测值,TAi=(tx,ty,tw,th);为上述第i个前景AGT的BB回归偏移标记值,TAi和由式(5)给出;λrpn为RoI提案阶段的坐标回归损失与分类损失的权衡系数,一般取λrpn=1;
式(2)中,第i个AGT的分类损失Lcls_rpn为二分类交叉商损失,由下式计算:
式(2)中,第i个前景AGT的BB回归偏移的预测损失Lreg_rpn由下式计算:
式(5)中,tx,ty,tw和th分别为当前前景AGT的中心水平坐标和垂直坐标及其宽和高的BB回归偏移预测值;和分别为当前前景AGT的中心水平坐标和、垂直坐标及其宽和高的BB回归偏移标记值;和分别为当前前景AGT的中心水平坐标和垂直坐标及其宽和高的预测值;xa,ya,wa和ha分别为当前前景AGT的中心水平坐标和垂直坐标及其宽和高;和分别为当前前景AGT对应的GTR的BB在ImgR上的中心水平坐标和垂直坐标及其宽和高的标记值;
式(1)中,目标及其距离检测阶段的损失Ldet由Ndet个BBGT的目标细分类预测损失Lcls_det的平均值和Nreg_det个前景BBGT的回归偏移的预测损失Lreg_det的平均值组成,由下式计算:
式(6)中,λdet为目标及其距离检测阶段的回归损失与目标细分类损失的权衡系数,一般取λdet=1;对上述第i个BBGT在MAPF上截取的RoI对K+1类细分类损失Lcls_det为多分类交叉商损失,由下式计算:
式(7)中,PBi=(p1,…,pK,pbg)为检测网络对上述第i个BBGT目标细分类预测概率;
式(6)中,第i个前景BBGT的BB回归偏移和距离回归的总回归损失Lreg_det由下式计算:
式(9)中,脚标k表示当前前景BBGT标记为第k类前景目标;tkx,tky,tkw和tkh分别为当前前景BBGT对第k类目标的中心水平坐标和垂直坐标及其宽和高的BB回归偏移预测值;tkd为当前前景BBGT的距离回归的预测值;和分别为当前前景BBGT对第k类目标的中心水平坐标和垂直坐标及其宽和高的BB回归偏移标记值,为当前前景BBGT的距离回归参数的标记值;和分别为将当前BBGT的预测回归偏移反算到MAPF上的中心水平坐标和垂直坐标及其宽和高,d为当前前景BBGT的距离的预测结果;和分别为权利要求7所述的当前BBGT的中心水平坐标和垂直坐标及其宽和高,dm为所有GT的距离均值;和分别为当前前景BBGT在MAPF上的中心水平坐标和垂直坐标及其宽和高的标记值,d*为与当前前景BBGT对应的GTF的标记距离。
9.根据权利要求1步骤(5)所述的目标及其距离检测方法,其特征是,所述对多任务卷积神经网络性能评估的目标检测率Accuracy和距离绝对误差率均值AAER的计算方法如下:
计算每个预测BB2与其对应Img中所有GT的IoU;同一张Img中,与任何BB2的IoU都小于0.5的GT定义为假反例FN,与GT的IoU不小于0.5的BB2定义为真正例TP,与GT的IoU小于0.5的BB2定义为假正例FP;
则,评估网络的目标检测率Accuracy根据下式计算:
式(10)中,NTP为所述的所有TP的个数,NGT为评估数据中所有GT的个数,NFP为所述的所有FP的个数;
网络的距离估计误差定义为对所有TP的距离绝对误差率均值AAER根据下式计算:
式(11)中,d为所述TP的距离预测值;d*为所述TP对应的标记距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911057836.4A CN110796103A (zh) | 2019-11-01 | 2019-11-01 | 基于Faster-RCNN的目标及其距离检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911057836.4A CN110796103A (zh) | 2019-11-01 | 2019-11-01 | 基于Faster-RCNN的目标及其距离检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110796103A true CN110796103A (zh) | 2020-02-14 |
Family
ID=69442463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911057836.4A Pending CN110796103A (zh) | 2019-11-01 | 2019-11-01 | 基于Faster-RCNN的目标及其距离检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110796103A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113313201A (zh) * | 2021-06-21 | 2021-08-27 | 南京挥戈智能科技有限公司 | 基于Swin Transformer和ZED摄像头的多目标检测和测距方法 |
WO2022012158A1 (zh) * | 2020-07-17 | 2022-01-20 | 华为技术有限公司 | 一种目标确定方法以及目标确定装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107972662A (zh) * | 2017-10-16 | 2018-05-01 | 华南理工大学 | 一种基于深度学习的车辆前向碰撞预警方法 |
CN108830131A (zh) * | 2018-04-10 | 2018-11-16 | 中科院微电子研究所昆山分所 | 基于深度学习的交通目标检测与测距方法 |
CN110033481A (zh) * | 2018-01-10 | 2019-07-19 | 北京三星通信技术研究有限公司 | 用于进行图像处理的方法和设备 |
-
2019
- 2019-11-01 CN CN201911057836.4A patent/CN110796103A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107972662A (zh) * | 2017-10-16 | 2018-05-01 | 华南理工大学 | 一种基于深度学习的车辆前向碰撞预警方法 |
CN110033481A (zh) * | 2018-01-10 | 2019-07-19 | 北京三星通信技术研究有限公司 | 用于进行图像处理的方法和设备 |
CN108830131A (zh) * | 2018-04-10 | 2018-11-16 | 中科院微电子研究所昆山分所 | 基于深度学习的交通目标检测与测距方法 |
Non-Patent Citations (1)
Title |
---|
S. REN, K. HE, R. GIRSHICK AND J. SUN,: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,VOL. 39,NO. 6,, pages 1137 - 1149 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022012158A1 (zh) * | 2020-07-17 | 2022-01-20 | 华为技术有限公司 | 一种目标确定方法以及目标确定装置 |
CN113313201A (zh) * | 2021-06-21 | 2021-08-27 | 南京挥戈智能科技有限公司 | 基于Swin Transformer和ZED摄像头的多目标检测和测距方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109034047B (zh) | 一种车道线检测方法及装置 | |
CN108960183B (zh) | 一种基于多传感器融合的弯道目标识别***及方法 | |
CN110942449A (zh) | 一种基于激光与视觉融合的车辆检测方法 | |
CN104573646B (zh) | 基于激光雷达和双目相机的车前行人检测方法及*** | |
CN105260699B (zh) | 一种车道线数据的处理方法及装置 | |
KR102195164B1 (ko) | 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법 | |
CN105335955B (zh) | 对象检测方法和对象检测装置 | |
CN112215306B (zh) | 一种基于单目视觉与毫米波雷达融合的目标检测方法 | |
Kühnl et al. | Monocular road segmentation using slow feature analysis | |
CN110738121A (zh) | 一种前方车辆检测方法及检测*** | |
CN104700414A (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及*** | |
CN108645375B (zh) | 一种用于车载双目***快速车辆测距优化方法 | |
US10984263B2 (en) | Detection and validation of objects from sequential images of a camera by using homographies | |
CN111738071B (zh) | 一种基于单目摄像机的运动变化的逆透视变换方法 | |
CN105956632A (zh) | 一种检测目标的方法和装置 | |
CN114898319B (zh) | 基于多传感器决策级信息融合的车型识别方法及*** | |
CN106446785A (zh) | 基于双目视觉的可行道路检测方法 | |
CN109840463A (zh) | 一种车道线识别方法和装置 | |
CN110796103A (zh) | 基于Faster-RCNN的目标及其距离检测方法 | |
JP2023184572A (ja) | 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体 | |
US20240153106A1 (en) | Object tracking device | |
CN109934096B (zh) | 基于特征时序相关性的自动驾驶视觉感知优化方法 | |
Real-Moreno et al. | Obtaining object information from stereo vision system for autonomous vehicles | |
CN113221739B (zh) | 基于单目视觉的车距测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |