CN108460348B - 基于三维模型的道路目标检测方法 - Google Patents
基于三维模型的道路目标检测方法 Download PDFInfo
- Publication number
- CN108460348B CN108460348B CN201810147619.3A CN201810147619A CN108460348B CN 108460348 B CN108460348 B CN 108460348B CN 201810147619 A CN201810147619 A CN 201810147619A CN 108460348 B CN108460348 B CN 108460348B
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- dimensional
- road
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于三维模型的道路目标检测方法,包括如下步骤:同步获取两张道路采样图像,计算两张道路采样图像的视差图像,获得视差图像的深度特征;根据视差图像的深度特征生成候选区域,并将候选区域的3维边界框的坐标点映射到二维图像;利用多尺度池化网络层的卷积神经网络提取二维图像的外形特征,利用3维模型获得道路目标。本发明具有如下有益效果:本发明的算法解决了二维检测过程中出现的遮挡和阴影等问题,提高了鲁棒性,降低了成本。
Description
技术领域
本发明涉及机器视觉技术领域,尤其是涉及一种能够提高检测鲁棒性,能够解决二维检测过程中出现的遮挡和阴影问题的基于三维模型的道路目标检测方法。
背景技术
稳定可靠的车辆检测过程是交通分析的第一步。与此相关的车辆计数、车辆跟踪、车型分类、辅助驾驶、事故检测和道路行为判断都建立在准确的车辆检测基础上。交通检测过程中,传统检测器能够获取到的交通信息比较单一,通常需要结合多种传感器来辅助完成一项检测任务。而由于检测数据多源异质的特点,多种交通检测数据的集成与融合成为瓶颈。这使得监视范围广,能够获取多种交通参数的基于视觉的交通检测方法越来越受到青睐。
道路上的目标检测是从交通图像中定位出车辆、行人等物体的位置。对象检测对于物体跟踪和道路行为理解等更上层的处理任务至关重要。它是整个交通图像处理流程的基础。然而,在实际的交通场景检测中,存在许多挑战性的问题。比如,遮挡、阴影等。因此,需要设计鲁棒的算法来抑制这些因素的影响,以提高算法的适应性和准确性。
发明内容
本发明为了克服现有技术中存在的二维检测过程中会出现遮挡和阴影的问题、鲁棒性低的不足,提供了一种能够提高检测鲁棒性,能够解决二维检测过程中出现的遮挡和阴影问题的基于三维模型的道路目标检测方法。
为了实现上述目的,本发明采用了以下技术方案:
一种基于三维模型的道路目标检测方法,包括如下步骤:
(1-1)同步获取两张道路采样图像,计算两张道路采样图像的视差图像,获得视差图像的深度特征;
(1-2)根据视差图像的深度特征生成候选区域,并将候选区域的3维边界框的坐标点映射到二维图像;
(1-3)利用多尺度池化网络层的卷积神经网络提取二维图像的外形特征,利用3维模型获得道路目标。
本发明通过双目立体视觉算法获得视差图像,获得视差图像的深度特征,根据深度特征获得候选区域,利用多尺度池化网络层的卷积神经网络提取二维图像的外形特征,利用3维模型获得道路目标。
作为优选,步骤(1-1)的具体步骤如下:
(2-1)同步获取两张道路采样图像,以左侧相机光心为坐标原点建立坐标系,获得视觉图像点p与双目视觉测量***的关系:
其中,A1,A2分别表示左侧相机内参和右侧相机内参,
(2-3)根据二维图像的结构特征和视差图像的深度特征建立混合模型loss函数,loss函数定义为:
Lmulti-task=λ1Lstruct+λ2Ldepth
其中,结构层的评估分类代价,Lstruct由图像分类U对应的概率pU决定:Lstruct=-logpU,图像分类包括小汽车,行人,自行车等;深度特征从视差图像中获取,忽略了车辆的外形特征,只关注每种车型在深度方向的梯度变化,Ldepth由梯度分类G(x,y)对应的概率pG决定:Ldepth=-logpG;λ1,λ2为平衡系数;
(2-4)利用一阶微分求公式Lmulti-task=λ1Lstruct+λ2Ldepth的导数获得视差图像深度方向的梯度值,获得视差图像得深度特征。
作为优选,根据视觉图像点p与双目视觉测量***的关系计算视觉图像点p的坐标的具体方法如下:
作为优选,G(x,y)的计算方法如下:
其中:,Gx(x,y)和Gy(x,y)分别为图像在像素点(x,y)处的水平梯度和垂直梯度,Gx(x,y)=I(x+1,y)-I(x-1,y),Gy(x,y)=I(x,y+1)-I(x,y-1);I(x,y)为图像在像素点(x,y)处的视差图像的深度值。
作为优选,步骤(1-2)的具体步骤如下:
(5-1)设定轮廓内像素点数量的最小值为W;
(5-2)根据视差图像的深度特征提取视差图像中目标区域的轮廓,如果轮廓内的像素点数量少于W,转入(5-3);如果轮廓内的像素点数量大于等于W,转入(5-4);
(5-4)如果轮廓内相邻像素点间的深度值差异小于设定值,检测视差图像的轮廓;
(5-5)根据检测到的视差图像的轮廓生成初始候选区域;
(5-6)对初始候选区域进行二阶微分的图像增强滤波,然后通过拉普拉斯算子突出渐变区域边缘的局部细节,生成最终的候选区域,并将候选区域的3维边界框的坐标点映射到二维图像。
作为优选,分割的尺度利用如下公式计算:
其中,a为规模系数。
作为优选,步骤(1-3)的具体步骤如下:
(7-1)对二维图像进行卷积和降采样处理,将处理后的图像输入到多尺度池化层;
(7-2)对不同大小的二维图像的候选区域提取一个固定维度的外形特征;
(7-3)通过正常的softmax层进行类型识别,将获得的不同类型利用三维模型获得道路目标。
因此,本发明具有如下有益效果:本发明的算法解决了二维检测过程中出现的遮挡和阴影等问题,提高了鲁棒性,降低了成本。
附图说明
图1是本发明的一种流程图。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步描述:
如图1所示的实施例是一种基于三维模型的道路目标检测方法,包括如下步骤:
步骤100,同步获取两张道路采样图像,计算两张道路采样图像的视差图像,获得视差图像的深度特征
步骤101,同步获取两张道路采样图像,以左侧相机光心为坐标原点建立坐标系,获得视觉图像点p与双目视觉测量***的关系:
其中,A1,A2分别表示左侧相机内参和右侧相机内参,
步骤104,根据二维图像的结构特征和视差图像的深度特征建立混合模型loss函数,loss函数定义为:
Lmulti-task=λ1Lstruct+λ2Ldepth
其中,结构层的评估分类代价,Lstruct由图像分类U对应的概率pU决定:Lstruct=-logpU,图像分类包括小汽车,行人,自行车等;深度特征从视差图像中获取,忽略了车辆的外形特征,只关注每种车型在深度方向的梯度变化,Ldepth由梯度分类G(x,y)对应的概率pG决定:Ldepth=-logpG;λ1,λ2为平衡系数;G(x,y)的计算方法如下:
其中:,Gx(x,y)和Gy(x,y)分别为图像在像素点(x,y)处的水平梯度和垂直梯度,Gx(x,y)=I(x+1,y)-I(x-1,y),Gy(x,y)=I(x,y+1)-I(x,y-1);I(x,y)为图像在像素点(x,y)处的视差图像的深度值;
步骤105,利用一阶微分求公式Lmulti-task=λ1Lstruct+λ2Ldspth的导数获得视差图像深度方向的梯度值,获得视差图像得深度特征;
步骤200,根据视差图像的深度特征生成候选区域,并将候选区域的3维边界框的坐标点映射到二维图像
步骤201,设定轮廓内像素点数量的最小值为W;
步骤202,根据视差图像的深度特征提取视差图像中目标区域的轮廓,如果轮廓内的像素点数量少于W,转入步骤203;如果轮廓内的像素点数量大于等于W,转入步骤204;
步骤204,如果轮廓内相邻像素点间的深度值差异小于设定值,检测视差图像的轮廓;
步骤205,根据检测到的视差图像的轮廓生成初始候选区域;
步骤206,对初始候选区域进行二阶微分的图像增强滤波,然后通过拉普拉斯算子突出渐变区域边缘的局部细节,生成最终的候选区域,并将候选区域的3维边界框的坐标点映射到二维图像。
步骤300,利用多尺度池化网络层的卷积神经网络提取二维图像的外形特征,利用3维模型获得道路目标
步骤301,对二维图像进行卷积和降采样处理,将处理后的图像输入到多尺度池化层;
步骤302,对不同大小的二维图像的候选区域提取一个固定维度的外形特征;
步骤303,通过正常的softmax层进行类型识别,将获得的不同类型利用三维模型获得道路目标。
应理解,本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
Claims (5)
1.一种基于三维模型的道路目标检测方法,其特征在于,包括如下步骤:
(1-1)同步获取两张道路采样图像,计算两张道路采样图像的视差图像,获得视差图像的深度特征;
(1-2)根据视差图像的深度特征生成候选区域,并将候选区域的3维边界框的坐标点映射到二维图像;
步骤(1-2)的具体步骤如下:
(1-2-1)设定轮廓内像素点数量的最小值为W;
(1-2-2)根据视差图像的深度特征提取视差图像中目标区域的轮廓,如果轮廓内的像素点数量少于W,转入(1-2-3);如果轮廓内的像素点数量大于等于W,转入(1-2-4);
(1-2-4)如果轮廓内相邻像素点间的深度值差异小于设定值,检测视差图像的轮廓;
(1-2-5)根据检测到的视差图像的轮廓生成初始候选区域;
(1-2-6)对初始候选区域进行二阶微分的图像增强滤波,然后通过拉普拉斯算子突出渐变区域边缘的局部细节,生成最终的候选区域,并将候选区域的3维边界框的坐标点映射到二维图像;
(1-3)利用多尺度池化网络层的卷积神经网络提取二维图像的外形特征,利用3维模型获得道路目标;
步骤(1-3)的具体步骤如下:
(1-3-1)对二维图像进行卷积和降采样处理,将处理后的图像输入到多尺度池化层;
(1-3-2)对不同大小的二维图像的候选区域提取一个固定维度的外形特征;
(1-3-3)通过正常的softmax层进行类型识别,将获得的不同类型利用三维模型获得道路目标。
2.根据权利要求1所述的基于三维模型的道路目标检测方法,其特征在于,步骤(1-1)的具体步骤如下:
(2-1)同步获取两张道路采样图像,以左侧相机光心为坐标原点建立坐标系,获得视觉图像点p与双目视觉测量***的关系:
(2-3)根据二维图像的结构特征和视差图像的深度特征建立混合模型loss函数,loss函数定义为:
Lmulti-task=λ1Lstruct+λ2Ldepth
其中,结构层的评估分类代价,Lstruct由图像分类U对应的概率pU决定:Lstruct=-logpU,图像分类包括小汽车,行人,自行车;深度特征从视差图像中获取,忽略了车辆的外形特征,只关注每种车型在深度方向的梯度变化,Ldepth由梯度分类G(x,y)对应的概率pG决定:Ldepth=-logpG;λ1,λ2为平衡系数;
(2-4)利用一阶微分求公式Lmulti-task=λ1Lstruct+λ2Ldepth的导数获得视差图像深度方向的梯度值,获得视差图像得深度特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810147619.3A CN108460348B (zh) | 2018-02-12 | 2018-02-12 | 基于三维模型的道路目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810147619.3A CN108460348B (zh) | 2018-02-12 | 2018-02-12 | 基于三维模型的道路目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108460348A CN108460348A (zh) | 2018-08-28 |
CN108460348B true CN108460348B (zh) | 2022-04-22 |
Family
ID=63216987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810147619.3A Active CN108460348B (zh) | 2018-02-12 | 2018-02-12 | 基于三维模型的道路目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108460348B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI759651B (zh) | 2019-11-21 | 2022-04-01 | 財團法人工業技術研究院 | 基於機器學習的物件辨識系統及其方法 |
CN112991510B (zh) * | 2019-12-13 | 2024-04-12 | 阿里巴巴集团控股有限公司 | 一种道路场景图像处理方法、装置以及电子设备 |
CN113989763B (zh) * | 2021-12-30 | 2022-04-15 | 江西省云眼大视界科技有限公司 | 一种视频结构化分析方法和分析*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975931A (zh) * | 2016-05-04 | 2016-09-28 | 浙江大学 | 一种基于多尺度池化的卷积神经网络人脸识别方法 |
CN106463060A (zh) * | 2014-05-19 | 2017-02-22 | 株式会社理光 | 处理装置、处理***、处理程序和处理方法 |
CN106462771A (zh) * | 2016-08-05 | 2017-02-22 | 深圳大学 | 一种3d图像的显著性检测方法 |
CN107564009A (zh) * | 2017-08-30 | 2018-01-09 | 电子科技大学 | 基于深度卷积神经网络的室外场景多目标分割方法 |
-
2018
- 2018-02-12 CN CN201810147619.3A patent/CN108460348B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106463060A (zh) * | 2014-05-19 | 2017-02-22 | 株式会社理光 | 处理装置、处理***、处理程序和处理方法 |
CN105975931A (zh) * | 2016-05-04 | 2016-09-28 | 浙江大学 | 一种基于多尺度池化的卷积神经网络人脸识别方法 |
CN106462771A (zh) * | 2016-08-05 | 2017-02-22 | 深圳大学 | 一种3d图像的显著性检测方法 |
CN107564009A (zh) * | 2017-08-30 | 2018-01-09 | 电子科技大学 | 基于深度卷积神经网络的室外场景多目标分割方法 |
Non-Patent Citations (1)
Title |
---|
Fast Vehicle Detection Using a Disparity Projection Method;Jing Chen et al;《IEEE Transactions on Intelligent Transportation Systems》;20171113;第2801-2813页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108460348A (zh) | 2018-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110942449B (zh) | 一种基于激光与视觉融合的车辆检测方法 | |
CN107341453B (zh) | 一种车道线提取方法及装置 | |
CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
CN110569704A (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
CN109615654B (zh) | 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法 | |
CN110031829B (zh) | 一种基于单目视觉的目标精准测距方法 | |
CN108460348B (zh) | 基于三维模型的道路目标检测方法 | |
CN116309757B (zh) | 基于机器视觉的双目立体匹配方法 | |
WO2014002692A1 (ja) | ステレオカメラ | |
CN108106627A (zh) | 一种基于特征点在线动态标定的单目视觉车辆定位方法 | |
CN115482195B (zh) | 一种基于三维点云的列车部件变形检测方法 | |
CN113205604A (zh) | 一种基于摄像机和激光雷达的可行区域检测方法 | |
CN113781562A (zh) | 一种基于道路模型的车道线虚实配准和自车定位方法 | |
CN114331879A (zh) | 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法 | |
CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
TWI673190B (zh) | 基於光學雷達之汽車偵測方法 | |
CN110197104B (zh) | 基于车辆的测距方法及装置 | |
EP3629292A1 (en) | Reference point selection for extrinsic parameter calibration | |
CN113963008A (zh) | 一种高分辨率图像的小目标语义分割方法及*** | |
CN109443319A (zh) | 基于单目视觉的障碍物测距***及其测距方法 | |
CN116052120A (zh) | 基于图像增强和多传感器融合的挖掘机夜间物体检测方法 | |
CN113129348B (zh) | 一种基于单目视觉的道路场景中车辆目标的三维重建方法 | |
Li et al. | The method of detecting nearest distance between obstacles and vehicle tail based on binocular vision system | |
CN113834463A (zh) | 基于绝对尺寸的智能车侧方行人/车单目深度测距方法 | |
CN114049542A (zh) | 一种动态场景下基于多传感器的融合定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |