CN109784402A - 基于多层次特征融合的快速无人车驾驶场景分割方法 - Google Patents
基于多层次特征融合的快速无人车驾驶场景分割方法 Download PDFInfo
- Publication number
- CN109784402A CN109784402A CN201910038338.9A CN201910038338A CN109784402A CN 109784402 A CN109784402 A CN 109784402A CN 201910038338 A CN201910038338 A CN 201910038338A CN 109784402 A CN109784402 A CN 109784402A
- Authority
- CN
- China
- Prior art keywords
- fusion
- driving scene
- features
- unmanned vehicle
- vehicle driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多层次特征融合的快速无人车驾驶场景分割方法,其先利用深度神经网络对场景图片进行编码、池化,解码得到稠化特征图,再通过多层次特征融合技术对不同特征空间的特征进行融合,得到包含更多特征图全局信息的特征融合图;softmax分类器将特征融合图中的像素点进行分类,得到基于像素点的驾驶场景分割图。这样能够保证在获取特征图全局信息的前提降低运算量,在能够满足无人驾驶的情况下大大提高场景分割速率,有利于实现快速语义分割技术,进而为无人驾驶提供技术支撑。
Description
技术领域
本发明属于场景分割技术领域,更为具体地讲,设计一种快速的基于多层次特征融合的无人车室外场景分割方法。
背景技术
近年来,人工智能越来越炙手可热,无人驾驶作为其中的一员,已经从技术研发逐渐转向市场应用。目前国内外各大车企,互联网公司纷纷将其设为重点发展方向。在国外,英国和美国政府也相继发布人工智能报告,并在报告中提及无人驾驶的发展和其良好的发展前景。而我国的科学技术部在刚出台的“科技创新2030—重大项目”中首次将人工智能升级到国家层次战略,并将无人驾驶列为重点发展对象。在无人驾驶技术中,对驾驶场景进行语义分割处于核心地位,作为基础功能,语义分割可以为无人车驾驶***提供丰富的信息,且具有较好的鲁棒性。
近年来,随着以卷积神经网络为代表的深度学习的快速发展,很多视觉领域开始大量使用卷积神经网络。在语义分割领域,以FCN为代表的卷积模型首次在速度和精度两方面大幅度超越传统分割模型。因为卷积神经网络在训练过程中是一个参数学习过程,之后可以直接使用训练好的参数来进行训练,所以其速度较快。和传统模型相比,基于卷积神经网络的模型可以提取更鲁棒的特征。综合分析,基于卷积神经网络的语义分割是面向无人车驾驶场景最好的选择。但是,对于无人驾驶场景理解,语义分割的结果不仅需要有较高的精度,同时需要保证一定的速度,从而能够保证智能驾驶过程中对场景理解的实时性,进而确保及时对智能车进行控制与决策。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于多层次特征融合的快速无人车驾驶场景分割方法,通过多层次特征融合处理,能够更好的保存原始特征图信息,便于在保证精度的同时提高语义理解的速度。
本发明解决技术问题采用如下技术方案:一种基于多层次特征融合的快速无人车驾驶场景分割方法,其包括:
S1.利用深度神经网络对无人车驾驶场景图片进行编码,得到稀疏特征图;
S2.对不同的特征空间中的稀疏特征图进行解码,得到稠化特征图;
S3.对不同特征空间的稠化特征图利用1x1的卷积核进行卷积,获取稠化特征图的全局信息;
S4.对不同特征空间卷积后的稠化特征图进行融合,得到包含驾驶场景全局信息的特征融合图;
S5.利用深度神经网络末端的soft-max分类器将融合后特征图的像素点进行分类,得到基于像素点的驾驶场景分割图。
可选的,S1中,将摄像头采集的车道图片输入深度神经网络,深度神经网络通过编码部分的卷积操作、池化操作对输入的场景图片进行特征提取得到稀疏特征图。
可选的,所述特征提取通过卷积核对感受野区域进行卷积操作实现;然后通过非线性激励函数对每一个像素点进行非线性映射,得到稀疏特征表达。
可选的,所述卷积操作具体为:
1)用模板矩阵对图片像素矩阵进行矩阵移位相乘运算,即矩阵对应位置相乘最后求和;
2)、按照1)所述的运算法则从左向右、自上而下完成对整个图片的遍历。
可选的,S4中,在卷积融合环节中将每个卷积层的输出通道数统一设定为21,并在语义特征融合环节中,采用对应位置处像素值相加的方式实现对这些特征的融合。
本发明具有如下有益效果:本发明的基于多层次特征融合的快速无人车驾驶场景分割方法,先利用深度神经网络对场景图片进行编码、池化,解码得到稠化特征图,再通过多层次特征融合技术对不同特征空间的特征进行融合,得到包含更多特征图全局信息的特征融合图。softmax分类器将特征融合图中的像素点进行分类,得到基于像素点的驾驶场景分割图。这样能够保证在获取特征图全局信息的前提降低运算量,在能够满足无人驾驶的情况下大大提高场景分割速率,有利于实现快速语义分割技术,进而为无人驾驶提供技术支撑。
附图说明
图1为本发明的基于多层次特征融合的快速无人车驾驶场景分割方法的流程图;
图2为对输入图片进行编码提取场景特征的深度卷积神经网络可视化;
图3为本发明多层次特征融合示意图。
具体实施方式
下面结合实施例及附图对本发明的技术方案作进一步阐述。
实施例1
本实施例提供了一种基于多层次特征融合的快速无人车驾驶场景分割方法,其包括:
S1、利用深度神经网络对无人车驾驶场景(车道图片)进行编码。
利用车载摄像头采集驾驶场景图片(车道图片),再将摄像头采集的车道图片输入深度神经网络,利用深度神经网络的编码部分的卷积操作、池化操作对输入的车道图片进行特征提取得到稀疏特征图,如图2所示。
其中,每一个卷积层的操作具体为:1)用模板矩阵对图片像素矩阵进行矩阵移位相乘运算,即矩阵对应位置相乘最后求和;2)、按照1)所述的运算法则从左向右、自上而下完成对整个图片的遍历。
其中,编码主要是对输入的图片进行特征提取,特征提取的具体实现是通过卷积核对感受野区域进行卷积所实现的,特征图的每个神经元将输入层中相邻区域的神经元连接在一起,这一区域被称为输入层特征图的感受野。这样就可以通过对输入层进行卷积操作获得对输入层的特征提取,即获得稀疏特征图,然后紧接着通过非线性激励函数对每一个像素点进行非线性映射,从而得到更好的稀疏特征表达。
S2、对不同的特征空间的稀疏特征图,利用深度神经网络通过线性差值进行上采样,进而得到对应特征空间的稠化特征图。
S3、对不同特征空间的稠化特征图利用1x1的卷积核进行卷积,获取稠化特征图的全局信息。
该尺寸的卷积核在一定程度上相当于全连接层,通过对特征图里每一个像素进行处理来获取特征图全局信息。但和全连接层相比,其参数量明显变少,这将有效抑制卷积网的过拟合问题。并和尺寸为3×3的卷积核相比,其运算量减少到原来的1/9,这将有助于FusNet网络计算速度的提升。
S4、对不同特征空间卷积后的稠化特征图进行融合,得到包含驾驶场景全局信息(能够包含几乎全部原始场景特征信息)的特征融合图。
对驾驶场景多层次特征融合处理的方法为:在卷积融合环节中将每个卷积层的输出通道数统一设定为21,并在语义特征融合环节中,采用对应位置处像素值相加的方式实现对这些特征的融合,即Caffe的Eltwise层。
S5、利用深度神经网络末端的soft-max分类器将融合后特征图的像素点进行分类,得到基于像素点的驾驶场景分割图。
以上实施例的先后顺序仅为便于描述,不代表实施例的优劣。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (5)
1.一种基于多层次特征融合的快速无人车驾驶场景分割方法,其特征在于,包括:
S1.利用深度神经网络对无人车驾驶场景图片进行编码,得到稀疏特征图;
S2.对不同的特征空间中的稀疏特征图进行解码,得到稠化特征图;
S3.对不同特征空间的稠化特征图利用1x1的卷积核进行卷积,获取稠化特征图的全局信息;
S4.对不同特征空间卷积后的稠化特征图进行融合,得到包含驾驶场景全局信息的特征融合图;
S5.利用深度神经网络末端的soft-max分类器将融合后特征图的像素点进行分类,得到基于像素点的驾驶场景分割图。
2.根据权利要求1所述的基于多层次特征融合的快速无人车驾驶场景分割方法,其特征在于,S1中,将摄像头采集的车道图片输入深度神经网络,深度神经网络通过编码部分的卷积操作、池化操作对输入的场景图片进行特征提取得到稀疏特征图。
3.根据权利要求2所述的基于多层次特征融合的快速无人车驾驶场景分割方法,其特征在于,所述特征提取通过卷积核对感受野区域进行卷积操作实现;然后通过非线性激励函数对每一个像素点进行非线性映射,得到稀疏特征表达。
4.根据权利要求2或3所述的基于多层次特征融合的快速无人车驾驶场景分割方法,其特征在于,所述卷积操作具体为:
1)用模板矩阵对图片像素矩阵进行矩阵移位相乘运算,即矩阵对应位置相乘最后求和;
2)、按照1)所述的运算法则从左向右、自上而下完成对整个图片的遍历。
5.根据权利要求1所述的基于多层次特征融合的快速无人车驾驶场景分割方法,其特征在于,S4中,在卷积融合环节中将每个卷积层的输出通道数统一设定为21,并在语义特征融合环节中,采用对应位置处像素值相加的方式实现对这些特征的融合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910038338.9A CN109784402A (zh) | 2019-01-15 | 2019-01-15 | 基于多层次特征融合的快速无人车驾驶场景分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910038338.9A CN109784402A (zh) | 2019-01-15 | 2019-01-15 | 基于多层次特征融合的快速无人车驾驶场景分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109784402A true CN109784402A (zh) | 2019-05-21 |
Family
ID=66500673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910038338.9A Pending CN109784402A (zh) | 2019-01-15 | 2019-01-15 | 基于多层次特征融合的快速无人车驾驶场景分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109784402A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111179246A (zh) * | 2019-12-27 | 2020-05-19 | 中国科学院上海微***与信息技术研究所 | 一种像素位移量确认方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971155A (zh) * | 2017-03-21 | 2017-07-21 | 电子科技大学 | 一种基于高度信息的无人车车道场景分割方法 |
US20180260657A1 (en) * | 2016-11-01 | 2018-09-13 | Shenzhen University | Method and system for extracting and classifying features of hyperspectral remote sensing image |
CN108830855A (zh) * | 2018-04-02 | 2018-11-16 | 华南理工大学 | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 |
CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
-
2019
- 2019-01-15 CN CN201910038338.9A patent/CN109784402A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180260657A1 (en) * | 2016-11-01 | 2018-09-13 | Shenzhen University | Method and system for extracting and classifying features of hyperspectral remote sensing image |
CN106971155A (zh) * | 2017-03-21 | 2017-07-21 | 电子科技大学 | 一种基于高度信息的无人车车道场景分割方法 |
CN108830855A (zh) * | 2018-04-02 | 2018-11-16 | 华南理工大学 | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 |
CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
Non-Patent Citations (2)
Title |
---|
田娟秀等: "医学图像分析深度学习方法研究与挑战", 《自动化学报》 * |
郭智豪: "基于卷积神经网络的智能车语义场景分割算法研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111179246A (zh) * | 2019-12-27 | 2020-05-19 | 中国科学院上海微***与信息技术研究所 | 一种像素位移量确认方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111259936B (zh) | 一种基于单一像素标注的图像语义分割方法及*** | |
CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
CN108388900A (zh) | 基于多特征融合和时空注意力机制相结合的视频描述方法 | |
CN109949214A (zh) | 一种图像风格迁移方法及*** | |
CN106096568A (zh) | 一种基于cnn和卷积lstm网络的行人再识别方法 | |
CN109903237A (zh) | 一种基于分离低高频的多尺度人脸图像去模糊算法 | |
CN114187450A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
CN114943876A (zh) | 一种多级语义融合的云和云影检测方法、设备及存储介质 | |
CN110717921B (zh) | 改进型编码解码结构的全卷积神经网络语义分割方法 | |
CN110503063A (zh) | 基于沙漏卷积自动编码神经网络的跌倒检测方法 | |
CN113011336B (zh) | 一种基于深度多分支聚合的实时街景图像语义分割方法 | |
CN110264483B (zh) | 一种基于深度学习的语义图像分割方法 | |
CN113139431A (zh) | 基于深监督学习的图像显著性目标检测方法 | |
CN109784402A (zh) | 基于多层次特征融合的快速无人车驾驶场景分割方法 | |
CN112560544A (zh) | 一种遥感图像地物识别方法、***和计算机可读存储介质 | |
CN111325149B (zh) | 一种基于投票的时序关联模型的视频动作识别方法 | |
CN112419325A (zh) | 一种基于深度学习的超像素分割方法 | |
CN106778789A (zh) | 一种多视点图像中的快速目标提取方法 | |
CN116310324A (zh) | 一种基于语义分割的金字塔跨层融合解码器 | |
AU2021104479A4 (en) | Text recognition method and system based on decoupled attention mechanism | |
CN110084141A (zh) | 一种基于私有信息的跨领域场景识别方法 | |
CN113627368B (zh) | 基于深度学习的视频行为识别方法 | |
CN113191373B (zh) | 一种基于中心先验与U-Net网络相结合的显著性检测方法 | |
CN111881794B (zh) | 一种视频行为识别方法及*** | |
Fan et al. | Image inpainting based on structural constraint and multi-scale feature fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190521 |