CN110147794A - 一种基于深度学习的无人车室外场景实时分割方法 - Google Patents
一种基于深度学习的无人车室外场景实时分割方法 Download PDFInfo
- Publication number
- CN110147794A CN110147794A CN201910421275.5A CN201910421275A CN110147794A CN 110147794 A CN110147794 A CN 110147794A CN 201910421275 A CN201910421275 A CN 201910421275A CN 110147794 A CN110147794 A CN 110147794A
- Authority
- CN
- China
- Prior art keywords
- characteristic pattern
- outdoor scene
- image
- deep learning
- unmanned vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013135 deep learning Methods 0.000 title claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 24
- 238000003475 lamination Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明的一种基于深度学习的无人车室外场景实时分割方法，包括，步骤1：采集室外场景图像，按8:1:1的比例分为训练集、验证集和测试集，并对图像进行预处理；步骤2：建立卷积神经网络，以对室外场景图像进行分割；步骤3：将训练集图像输入到卷积神经网络中，对卷积神经网络进行训练，并通过验证集对网络参数进行调节；步骤4：将测试集输入到训练好的网络中，实现对图像的分割。该分割方法能够在相对较低成本的基础上快速实现对室外场景的分割，同时能够较大程度上减少精度上的损失，有着较小模型存储空间，提高语义分割的效率，提升整个室外场景识别的性能。
Description
技术领域
本发明属于语义分割技术领域，涉及一种基于深度学习的无人车室外场景实时分割方法。
背景技术
目前，深度学习几乎成了计算机视觉领域的标配，也是当下人工智能领域最热门的研究方向。同时图像理解对于人工智能也有着重要的意义，这其中图像语义分割可以说是图像理解的基石技术。语义分割是从像素级别上来对物体进行分类。从字面上理解就是计算机根据图像的语义来对图像中的每一个像素进行分类与分割。近年来语义分割技术在无人车驾驶、无人机、医疗影像分析以及一些穿戴式设备领域中应用广泛，而利用语义分割进行室外场景理解更是无人车技术的重中之重。例如对车道线分割，以此来区别不同道路，或者对室外场景进行分割，来进行避障、跟踪等一系列操作。
对于语义分割，目前主要的方法有：1)基于ASPP结构和空洞卷积的DeepLab网络系列。该方法虽然分割效果很好，但速度却很慢。DeepLab V1甚至用了CRF后处理，处理一张图片需要1.5s。后续虽然在不断改进但速度上还是没有达到实时；2)基于金字塔池化模块的PSPNet。该方法依旧只关注于精度方面的提高，其参数量和计算量依旧很大；3)基于ResNet的ENet，该方法采用大的编码层和小的解码层，虽然精度上有一定的损失，但速度却提升了很多。在精度和速度之间有了一个权衡，实现了初步的实时语义分割网络。
上述这些方法要么无法达到实时语义分割的效果，要么需要在体积较大且昂贵的服务器上才能达到实时效果。目前最好的实时语义分割网络应该为ENet，但在速度和精度上还有提升空间。
发明内容
为了解决上述技术问题，本发明提供一种基于深度学习的无人车室外场景实时分割方法，以提高语义分割的效率，提升整个室外场景识别的性能。
本发明提供一种基于深度学习的无人车室外场景实时分割方法，包括如下步骤：
步骤1：采集室外场景图像，按8:1:1的比例分为训练集、验证集和测试集，并对图像进行预处理；
步骤2：建立卷积神经网络，以对室外场景图像进行分割；
步骤3：将训练集图像输入到卷积神经网络中，对卷积神经网络进行训练，并通过验证集对网络参数进行调节；
步骤4：将测试集输入到训练好的网络中，实现对图像的分割。
在本发明的基于深度学习的无人车室外场景实时分割方法中，所述步骤1具体包括：
步骤1.1：采集7种类别的室外场景图像，包括：路、树、建筑、汽车、公交车、行人和人行道；
步骤1.2：按8:1:1的比例将图像分为训练集、验证集和测试集；
步骤1.3：对采集到的图像进行像素级别的标注，并进行数据增强处理；
步骤1.4：将标注好的图像转化为深度学习框架标准数据格式；
步骤1.5：计算训练集中所有图片的RGB三通道的均值和不同类别图像的权重。
在本发明的基于深度学习的无人车室外场景实时分割方法中，所述步骤2中建立的卷积神经网络采用编码结构-解码结构；编码结构采用轻型网络结构，包括依次连接的一个卷积层和17个模块；第1、3、5、6、8、9、10、11、12、13、15、16、17个模块采用第一特征提取模块；第2、4、7、14个模块采用第二特征提取模块；
解码结构采用跳跃结构，包括3个反卷积层以实现上采样和2个卷积层以进行通道扩充，第一反卷积层和第二反卷积层用于实现2倍上采样，第三反卷积层用于实现8倍上采样。
在本发明的基于深度学习的无人车室外场景实时分割方法中，所述第一特征提取模块进行特征提取步骤为：
(1)接收经卷积操作后得到的特征图，特征图通过1×1的卷积层进行通道扩充，再经过一个ReLu激活函数和BN层，分别对特征图进行非线性激活和批次归一化；
(2)将上一步得到的特征图输入深度可分解卷积层，再经过一个ReLu激活函数和BN层；
(3)最后将上一步得到的特征图输入1×1的卷积层进行通道压缩，再经过一个线性激活函数和BN层。
(4)将上一步得到的特征图和输入的特征图进行相加后输出。
在本发明的基于深度学习的无人车室外场景实时分割方法中，所述第二特征提取模块进行特征提取步骤为：
(1)接收经上一模块卷积操作后得到特征图，特征图通过1×1的卷积层进行通道扩充，再经过一个ReLu激活函数和BN层，分别对特征图进行非线性激活和批次归一化；
(2)将批次归一化后的特征图输入深度可分解卷积层，再经过一个ReLu激活函数和BN层；
(3)最后将得到的特征图输入1×1的卷积层进行通道压缩，再经过一个线性激活函数和BN层，输出特征图。
在本发明的基于深度学习的无人车室外场景实时分割方法中，所述解码结构的解码操作包括：
(1)将由编码结构得到的最终的特征图通过第一反卷积层进行2倍的上采样，然后与编码部分产生的对应大小的特征图进行叠加，叠加前通过一个卷积层对编码部分的通道进行扩充；
(2)将叠加后的特征图通过第二反卷积层进行2倍的上采样，与编码部分产生的对应大小的特征图进行叠加，叠加前通过一个卷积层对编码部分的通道进行扩充；
(3)最后通过第三反卷积层进行8倍的上采样将特征图恢复到原图大小。
在本发明的基于深度学习的无人车室外场景实时分割方法中，所述深度可分解卷积层包括深度卷积层和逐点卷积层。
在本发明的基于深度学习的无人车室外场景实时分割方法中，所述步骤3具体包括：
步骤3.1：采用softmax分类器对卷积神经网络解码结构得到特征图的像素进行分类；
步骤3.2：将交叉熵损失函数与L2正则损失函数相加形成一个新的损失函数，用来度量输出的预测值和实际值之间的差别；
步骤3.3：用Adam优化算法来对新的损失函数进行优化，加快模型的收敛速度；
步骤3.4：训练集数据每经过十轮训练，就将验证集数据输入神经网络，通过验证集数据得到的结果对网络进行调参。
在本发明的基于深度学***衡，引入了一个类别权重参数wclass，其计算公式为：
其中，c为给定的超参数，设定为1.02，将类别权重限制在1-50之间；pclass为原图片得到的各类图像的类别权重。
在本发明的基于深度学习的无人车室外场景实时分割方法中，所述步骤4具体为：
用测试集数据来测试训练好的神经网络的效果，在实际对摄像头采集的图像进行分割时将摄像头采集到的图像每五个为一组，平均分割结果，以减少测试时产生的抖动。
本发明的一种基于深度学习的无人车室外场景实时分割方法，能够在相对较低成本的基础上快速实现对室外场景的分割，同时能够较大程度上减少精度上的损失，有着较小模型存储空间，提高语义分割的效率，提升整个室外场景识别的性能。
附图说明
图1是本发明的一种基于深度学习的无人车室外场景实时分割方法的流程图；
图2是本发明中的卷积神经网的结构框图；
图3a是本发明的第一特征提取模块的结构图；
图3b是本发明的第二特征提取模块的结构图。
具体实施方式
如图1所示，本发明的一种基于深度学习的无人车室外场景实时分割方法，包括如下步骤：
步骤1：采集室外场景图像，按8:1:1的比例分为训练集、验证集和测试集，并对图像进行预处理，具体包括：
步骤1.1：使用室外相机采集7种类别的室外场景图像，包括：路、树、建筑、汽车、公交车、行人和人行道；
步骤1.2：按8:1:1的比例将图像分为训练集、验证集和测试集；
步骤1.3：利用图像标注软件对采集到的图像进行像素级别的标注，并进行数据增强处理；
步骤1.4：将标注好的图像转化为深度学习框架标准数据格式；
步骤1.5：计算训练集中所有图片的RGB三通道的均值和不同类别图像的权重，为后续图像预处理和训练时做准备。
步骤2：建立卷积神经网络，以对室外场景图像进行分割；
具体实施时，建立的卷积神经网络采用编码结构-解码结构；编码结构采用轻型网络结构，参数量较少，存储时占用的空间相比于其他语义分割模型来说较小，模型占用的空间也较小，能够实现实时分割。经过对比三种不同的轻量级网络结构MobileNet、ShuffleNet、MobileNet-V2后，决定采用与MobileNet-V2结构相似的结构。
如图2所示，本发明的编码结构包括依次连接的一个卷积层和17个模块。这17个模块按步长1或步长2分为两种。其中，第1模块Conv2_1[1,1]、第3模块Conv3_2[1,1]、第5模块Conv4_2[1,1]、第6模块Conv4_3[1,1]、第8模块Conv5_2[1,1]、第9模块Conv5_3[1,1]、第10模块Conv5_4[1,1]、第11模块Conv6_1[1,1]、第12模块Conv6_2[1,1]、第13模块Conv6_3[1,1]、第15模块Conv7_2[1,1]、第16模块Conv7_3[1,1]、第17模块Conv8_1[1,1]模块采用步长为1的第一特征提取模块。
第2模块Conv3_1[2,2]、第4模块Conv4_1[2,2]、第7模块Conv5_1[2,2]、第14模块Conv7_1[2,2]采用步长为2的第二特征提取模块。
具体实施时，图3a为第一特征提取模块结构图，第一特征提取模块进行特征提取步骤为：
(1)接收经卷积操作后得到的特征图，特征图通过1×1的卷积层进行通道扩充，再经过一个ReLu激活函数和BN层，分别对特征图进行非线性激活和批次归一化；
(2)将上一步得到的特征图输入深度可分解卷积层，再经过一个ReLu激活函数和BN层；
(3)最后将上一步得到的特征图输入1×1的卷积层进行通道压缩，再经过一个线性激活函数和BN层。
(4)将上一步得到的特征图和输入的特征图进行相加后输出。
具体实施时，图3b为第二特征提取模块结构图，所述第二特征提取模块进行特征提取步骤为：
(1)接收经上一模块卷积操作后得到特征图，特征图通过1×1的卷积层进行通道扩充，再经过一个ReLu激活函数和BN层，分别对特征图进行非线性激活和批次归一化；
(2)将批次归一化后的特征图输入深度可分解卷积层，再经过一个ReLu激活函数和BN层；
(3)最后将得到的特征图输入1×1的卷积层进行通道压缩，再经过一个线性激活函数和BN层，输出特征图。
在第一特征提取模块和第二特征提取模块中都采用了深度可分解卷积层，包括深度卷积(depthwise convolution)和逐点卷积(pointwise convolution)。假设输入特征图的大小为Df×Df×M，输出特征图的大小为Df×Df×N，卷积核的大小为Dk×Dk。传统卷积的计算量为Df×Df×M×N×Dk×Dk，而深度可分解卷积计算量为Df×Df×M×Dk×Dk+M×N×Df×Df。由此可以看出当卷积核大小为3×3时，深度可分解卷积的计算量可缩减为传统卷积的1/9左右。这是一种特殊的卷积层，比传统3×3卷积计算量少了1/9。
具体实施时，在第一特征提取模块和第二特征提取模块进行特征提取时，最后一个1×1的卷积层选择用线性激活函数不会破坏特征，因为层数不是很多的话，过分使用Relu会破坏特征，从而影响效果。
如图2所示，解码结构采用跳跃结构，包括3个反卷积层和2个卷积层1×1Conv以进行通道扩充。其中第一反卷积层和第二反卷积层用于实现2倍上采样，第三反卷积层用于实现8倍上采样。
具体实施时，解码结构的解码操作包括：
(1)将由编码结构得到的最终的特征图通过第一反卷积层进行2倍的上采样，然后与编码部分产生的对应大小的特征图进行叠加，叠加前通过一个卷积层对编码部分的通道进行扩充；
(2)将叠加后的特征图通过第二反卷积层进行2倍的上采样，与编码部分产生的对应大小的特征图进行叠加，叠加前通过一个卷积层对编码部分的通道进行扩充；
(3)最后通过第三反卷积层进行8倍的上采样将特征图恢复到原图大小。
上述解码过程，将上采样得到的特征图与编码器部分对应的特征图相加，从而得到新的特征图，可以得到更好的分割效果，使得精度和速度之间有一个权衡。可以弥补由下采样所带来的图像细节信息丢失。使分割结果更加精确，同时又不至于损失大量的计算时间。
步骤3：对采集到的图像进行归一化处理，将训练集图像输入一个端对端的到卷积神经网络中，输入是三通道的图像矩阵，输出为单通道，数值代表每个像素点所属的类别；对卷积神经网络进行训练，并通过验证集对网络参数进行调节，所述步骤3具体包括：
步骤3.1：采用softmax分类器对卷积神经网络解码结构得到的与原图同样大小的特征图的像素进行分类；
步骤3.2：将交叉熵损失函数与L2正则损失函数相加形成一个新的损失函数，用来度量输出的预测值和实际值之间的差别；
具体实施时，在计算交叉熵损失函数时为了避免不同类别之间的不平衡，引入了一个类别权重参数wclass，将交叉熵损失函数与权重参数wclass相乘后在与L2正则损失函数相加。权重参数的计算公式为：
其中，c为给定的超参数，设定为1.02，将类别权重限制在1-50之间；pclass为原图片得到的各类图像的类别权重。
步骤3.3：用Adam优化算法来对新的损失函数进行优化，加快模型的收敛速度，方便训练；
步骤3.4：训练集数据每经过十轮训练，就将验证集数据输入神经网络，通过验证集数据得到的结果对网络进行调参。
具体实施时，训练集数据约3000组，共训练200轮epoch，并且编码部分使用了在ImageNet上训练的预训练模型。
步骤4：将测试集输入到训练好的网络中，实现对图像的分割，步骤4具体为：
用测试集数据来测试训练好的神经网络的效果，在实际对摄像头采集的图像进行分割时将摄像头采集到的图像每五个为一组，平均分割结果，以减少测试时产生的抖动。
本发明所述的基于深度学***衡。
本发明通过对语义分割网络进行重新的构建，引入轻量化的网络，在保证精度的情况下，尽可能提升网络速度，从而提升无人车室外环境感知***的性能。
以上所述仅为本发明的较佳实施例，并不用以限制本发明的思想，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的无人车室外场景实时分割方法，其特征在于，包括如下步骤：
步骤1：采集室外场景图像，按8:1:1的比例分为训练集、验证集和测试集，并对图像进行预处理；
步骤2：建立卷积神经网络，以对室外场景图像进行分割；
步骤3：将训练集图像输入到卷积神经网络中，对卷积神经网络进行训练，并通过验证集对网络参数进行调节；
步骤4：将测试集输入到训练好的网络中，实现对图像的分割。
2.如权利要求1所述的基于深度学习的无人车室外场景实时分割方法，其特征在于，所述步骤1具体包括：
步骤1.1：采集7种类别的室外场景图像，包括：路、树、建筑、汽车、公交车、行人和人行道；
步骤1.2：按8:1:1的比例将图像分为训练集、验证集和测试集；
步骤1.3：对采集到的图像进行像素级别的标注，并进行数据增强处理；
步骤1.4：将标注好的图像转化为深度学习框架标准数据格式；
步骤1.5：计算训练集中所有图片的RGB三通道的均值和不同类别图像的权重。
3.如权利要求1所述的基于深度学习的无人车室外场景实时分割方法，其特征在于，所述步骤2中建立的卷积神经网络采用编码结构-解码结构；编码结构采用轻型网络结构，包括依次连接的一个卷积层和17个模块；第1、3、5、6、8、9、10、11、12、13、15、16、17个模块采用第一特征提取模块；第2、4、7、14个模块采用第二特征提取模块；
解码结构采用跳跃结构，包括3个反卷积层以实现上采样和2个卷积层以进行通道扩充，第一反卷积层和第二反卷积层用于实现2倍上采样，第三反卷积层用于实现8倍上采样。
4.如权利要求3所述的基于深度学习的无人车室外场景实时分割方法，其特征在于，所述第一特征提取模块进行特征提取步骤为：
(1)接收经卷积操作后得到的特征图，特征图通过1×1的卷积层进行通道扩充，再经过一个ReLu激活函数和BN层，分别对特征图进行非线性激活和批次归一化；
(2)将上一步得到的特征图输入深度可分解卷积层，再经过一个ReLu激活函数和BN层；
(3)最后将上一步得到的特征图输入1×1的卷积层进行通道压缩，再经过一个线性激活函数和BN层。
(4)将上一步得到的特征图和输入的特征图进行相加后输出。
5.如权利要求3所述的基于深度学习的无人车室外场景实时分割方法，其特征在于，所述第二特征提取模块进行特征提取步骤为：
(1)接收经上一模块卷积操作后得到特征图，特征图通过1×1的卷积层进行通道扩充，再经过一个ReLu激活函数和BN层，分别对特征图进行非线性激活和批次归一化；
(2)将批次归一化后的特征图输入深度可分解卷积层，再经过一个ReLu激活函数和BN层；
(3)最后将得到的特征图输入1×1的卷积层进行通道压缩，再经过一个线性激活函数和BN层，输出特征图。
6.如权利要求3所述的基于深度学习的无人车室外场景实时分割方法，其特征在于，所述解码结构的解码操作包括：
(1)将由编码结构得到的最终的特征图通过第一反卷积层进行2倍的上采样，然后与编码部分产生的对应大小的特征图进行叠加，叠加前通过一个卷积层对编码部分的通道进行扩充；
(2)将叠加后的特征图通过第二反卷积层进行2倍的上采样，与编码部分产生的对应大小的特征图进行叠加，叠加前通过一个卷积层对编码部分的通道进行扩充；
(3)最后通过第三反卷积层进行8倍的上采样将特征图恢复到原图大小。
7.如权利要求4或5所述的基于深度学习的无人车室外场景实时分割方法，其特征在于，所述深度可分解卷积层包括深度卷积层和逐点卷积层。
8.如权利要求1所述的基于深度学习的无人车室外场景实时分割方法，其特征在于，所述步骤3具体包括：
步骤3.1：采用softmax分类器对卷积神经网络解码结构得到特征图的像素进行分类；
步骤3.2：将交叉熵损失函数与L2正则损失函数相加形成一个新的损失函数，用来度量输出的预测值和实际值之间的差别；
步骤3.3：用Adam优化算法来对新的损失函数进行优化，加快模型的收敛速度；
步骤3.4：训练集数据每经过十轮训练，就将验证集数据输入神经网络，通过验证集数据得到的结果对网络进行调参。
9.如权利要求8所述的基于深度学***衡，引入了一个类别权重参数wclass，其计算公式为：
其中，c为给定的超参数，设定为1.02，将类别权重限制在1-50之间；pclass为原图片得到的各类图像的类别权重。
10.如权利要求1所述的基于深度学习的无人车室外场景实时分割方法，其特征在于，所述步骤4具体为：
用测试集数据来测试训练好的神经网络的效果，在实际对摄像头采集的图像进行分割时将摄像头采集到的图像每五个为一组，平均分割结果，以减少测试时产生的抖动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910421275.5A CN110147794A (zh) | 2019-05-21 | 2019-05-21 | 一种基于深度学习的无人车室外场景实时分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910421275.5A CN110147794A (zh) | 2019-05-21 | 2019-05-21 | 一种基于深度学习的无人车室外场景实时分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110147794A true CN110147794A (zh) | 2019-08-20 |
Family
ID=67592428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910421275.5A Pending CN110147794A (zh) | 2019-05-21 | 2019-05-21 | 一种基于深度学习的无人车室外场景实时分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110147794A (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706239A (zh) * | 2019-09-26 | 2020-01-17 | 哈尔滨工程大学 | 融合全卷积神经网络与改进aspp模块的场景分割方法 |
| CN110852157A (zh) * | 2019-09-30 | 2020-02-28 | 合肥合工安驰智能科技有限公司 | 一种基于二值化网络的深度学习轨道线检测方法 |
| CN110889859A (zh) * | 2019-11-11 | 2020-03-17 | 珠海上工医信科技有限公司 | 一种用于眼底图像血管分割的u型网络 |
| CN111079543A (zh) * | 2019-11-20 | 2020-04-28 | 浙江工业大学 | 一种基于深度学习的高效车辆颜色识别方法 |
| CN111104961A (zh) * | 2019-10-31 | 2020-05-05 | 太原理工大学 | 基于改进的MobileNet网络对乳腺癌进行分类的方法 |
| CN111179272A (zh) * | 2019-12-10 | 2020-05-19 | 中国科学院深圳先进技术研究院 | 一种面向道路场景的快速语义分割方法 |
| CN111210435A (zh) * | 2019-12-24 | 2020-05-29 | 重庆邮电大学 | 一种基于局部和全局特征增强模块的图像语义分割方法 |
| CN111461129A (zh) * | 2020-04-02 | 2020-07-28 | 华中科技大学 | 一种基于上下文先验的场景分割方法和*** |
| CN111598095A (zh) * | 2020-03-09 | 2020-08-28 | 浙江工业大学 | 一种基于深度学习的城市道路场景语义分割方法 |
| CN111627055A (zh) * | 2020-05-07 | 2020-09-04 | 浙江大学 | 一种联合语义分割的场景深度补全方法 |
| CN111627057A (zh) * | 2020-05-26 | 2020-09-04 | 孙剑 | 一种距离测量方法、装置及服务器 |
| CN111870279A (zh) * | 2020-07-31 | 2020-11-03 | 西安电子科技大学 | 超声图像左室心肌的分割方法、***及应用 |
| CN111899274A (zh) * | 2020-08-05 | 2020-11-06 | 大连交通大学 | 一种基于深度学习tem图像分割的粒径分析方法 |
| CN111985409A (zh) * | 2020-08-21 | 2020-11-24 | 四川省人工智能研究院(宜宾) | 一种用于实时街道场景分割的方法 |
| CN112016478A (zh) * | 2020-08-31 | 2020-12-01 | 中国电子科技集团公司第三研究所 | 一种基于多光谱图像融合的复杂场景识别方法及*** |
| CN112037225A (zh) * | 2020-08-20 | 2020-12-04 | 江南大学 | 一种基于卷积神经的海洋船舶图像分割方法 |
| CN112633186A (zh) * | 2020-12-26 | 2021-04-09 | 上海有个机器人有限公司 | 室内环境下可行驶路面的分割方法、装置、介质和机器人 |
| CN112766136A (zh) * | 2021-01-14 | 2021-05-07 | 华南理工大学 | 一种基于深度学习的空间车位检测方法 |
| CN112800925A (zh) * | 2021-01-22 | 2021-05-14 | 华南理工大学 | 一种基于深度学习的轮式机器人避障路径规划方法 |
| CN112861755A (zh) * | 2021-02-23 | 2021-05-28 | 北京农业智能装备技术研究中心 | 一种目标多类别实时分割方法及*** |
| CN112949612A (zh) * | 2021-04-22 | 2021-06-11 | 辽宁工程技术大学 | 一种基于无人机高分辨率遥感影像海岸带地物分类方法 |
| CN113077418A (zh) * | 2021-03-18 | 2021-07-06 | 心医国际数字医疗***(大连)有限公司 | 基于卷积神经网络的ct影像骨骼分割方法及装置 |
| CN113743417A (zh) * | 2021-09-03 | 2021-12-03 | 北京航空航天大学 | 语义分割方法和语义分割装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140267368A1 (en) * | 2013-03-15 | 2014-09-18 | Pictech Management Limited | Data storage and exchange device for color space encoded images |
| CN108921799A (zh) * | 2018-06-22 | 2018-11-30 | 西北工业大学 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
| CN109002744A (zh) * | 2017-06-06 | 2018-12-14 | 中兴通讯股份有限公司 | 图像识别方法、装置和视频监控设备 |
| CN109145983A (zh) * | 2018-08-21 | 2019-01-04 | 电子科技大学 | 一种基于轻量化网络的实时场景图像语义分割方法 |
| CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
| US20190057520A1 (en) * | 2017-08-18 | 2019-02-21 | Synapse Technology Corporation | Generating Synthetic Image Data |
| US10223614B1 (en) * | 2018-09-04 | 2019-03-05 | StradVision, Inc. | Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same |
-
2019
- 2019-05-21 CN CN201910421275.5A patent/CN110147794A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140267368A1 (en) * | 2013-03-15 | 2014-09-18 | Pictech Management Limited | Data storage and exchange device for color space encoded images |
| CN109002744A (zh) * | 2017-06-06 | 2018-12-14 | 中兴通讯股份有限公司 | 图像识别方法、装置和视频监控设备 |
| US20190057520A1 (en) * | 2017-08-18 | 2019-02-21 | Synapse Technology Corporation | Generating Synthetic Image Data |
| CN108921799A (zh) * | 2018-06-22 | 2018-11-30 | 西北工业大学 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
| CN109145983A (zh) * | 2018-08-21 | 2019-01-04 | 电子科技大学 | 一种基于轻量化网络的实时场景图像语义分割方法 |
| US10223614B1 (en) * | 2018-09-04 | 2019-03-05 | StradVision, Inc. | Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same |
| CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
Non-Patent Citations (11)
| Title |
|---|
| ADAM PASZKE: "ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation", 《ARXIV》, pages 1 - 10 * |
| EVAN SHELHAMER ET AL.: "Fully Convolutional Networks for Semantic Segmentation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| EVAN SHELHAMER ET AL.: "Fully Convolutional Networks for Semantic Segmentation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, 24 May 2016 (2016-05-24), pages 640 - 651 * |
| MARK SANDLER ET AL.: "MobileNetV2: Inverted Residuals and Linear Bottlenecks", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| MARK SANDLER ET AL.: "MobileNetV2: Inverted Residuals and Linear Bottlenecks", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 16 December 2018 (2018-12-16), pages 4510 - 4520 * |
| MENNATULLAH SIAM ET AL.: "Real-Time Semantic Segmentation Benchmarking Framework", 《31ST CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS (NIPS 2017)》, pages 1 - 6 * |
| MENNATULLAH SIAM ET AL.: "RTSeg: Real-Time Semantic Segmentation Comparative Study", 《2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
| MENNATULLAH SIAM ET AL.: "RTSeg: Real-Time Semantic Segmentation Comparative Study", 《2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》, 6 September 2018 (2018-09-06), pages 1603 - 1607 * |
| SHAO-YUAN LO ET AL.: "Efficient Dense Modules of Asymmetric Convolution for Real-Time Semantic Segmentation", 《ARXIV》, pages 1 - 14 * |
| 陈智: "基于卷积神经网络的语义分割研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 陈智: "基于卷积神经网络的语义分割研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 January 2019 (2019-01-15), pages 1 - 50 * |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706239A (zh) * | 2019-09-26 | 2020-01-17 | 哈尔滨工程大学 | 融合全卷积神经网络与改进aspp模块的场景分割方法 |
| CN110706239B (zh) * | 2019-09-26 | 2022-11-11 | 哈尔滨工程大学 | 融合全卷积神经网络与改进aspp模块的场景分割方法 |
| CN110852157A (zh) * | 2019-09-30 | 2020-02-28 | 合肥合工安驰智能科技有限公司 | 一种基于二值化网络的深度学习轨道线检测方法 |
| CN111104961A (zh) * | 2019-10-31 | 2020-05-05 | 太原理工大学 | 基于改进的MobileNet网络对乳腺癌进行分类的方法 |
| CN110889859A (zh) * | 2019-11-11 | 2020-03-17 | 珠海上工医信科技有限公司 | 一种用于眼底图像血管分割的u型网络 |
| CN111079543A (zh) * | 2019-11-20 | 2020-04-28 | 浙江工业大学 | 一种基于深度学习的高效车辆颜色识别方法 |
| CN111079543B (zh) * | 2019-11-20 | 2022-02-15 | 浙江工业大学 | 一种基于深度学习的高效车辆颜色识别方法 |
| CN111179272A (zh) * | 2019-12-10 | 2020-05-19 | 中国科学院深圳先进技术研究院 | 一种面向道路场景的快速语义分割方法 |
| CN111179272B (zh) * | 2019-12-10 | 2024-01-05 | 中国科学院深圳先进技术研究院 | 一种面向道路场景的快速语义分割方法 |
| CN111210435A (zh) * | 2019-12-24 | 2020-05-29 | 重庆邮电大学 | 一种基于局部和全局特征增强模块的图像语义分割方法 |
| CN111598095A (zh) * | 2020-03-09 | 2020-08-28 | 浙江工业大学 | 一种基于深度学习的城市道路场景语义分割方法 |
| CN111598095B (zh) * | 2020-03-09 | 2023-04-07 | 浙江工业大学 | 一种基于深度学习的城市道路场景语义分割方法 |
| CN111461129A (zh) * | 2020-04-02 | 2020-07-28 | 华中科技大学 | 一种基于上下文先验的场景分割方法和*** |
| CN111461129B (zh) * | 2020-04-02 | 2022-08-02 | 华中科技大学 | 一种基于上下文先验的场景分割方法和*** |
| CN111627055A (zh) * | 2020-05-07 | 2020-09-04 | 浙江大学 | 一种联合语义分割的场景深度补全方法 |
| CN111627055B (zh) * | 2020-05-07 | 2023-11-24 | 浙江大学 | 一种联合语义分割的场景深度补全方法 |
| CN111627057B (zh) * | 2020-05-26 | 2024-06-07 | 孙剑 | 一种距离测量方法、装置及服务器 |
| CN111627057A (zh) * | 2020-05-26 | 2020-09-04 | 孙剑 | 一种距离测量方法、装置及服务器 |
| CN111870279B (zh) * | 2020-07-31 | 2022-01-28 | 西安电子科技大学 | 超声图像左室心肌的分割方法、***及应用 |
| CN111870279A (zh) * | 2020-07-31 | 2020-11-03 | 西安电子科技大学 | 超声图像左室心肌的分割方法、***及应用 |
| CN111899274A (zh) * | 2020-08-05 | 2020-11-06 | 大连交通大学 | 一种基于深度学习tem图像分割的粒径分析方法 |
| CN111899274B (zh) * | 2020-08-05 | 2024-03-29 | 大连交通大学 | 一种基于深度学习tem图像分割的粒径分析方法 |
| CN112037225A (zh) * | 2020-08-20 | 2020-12-04 | 江南大学 | 一种基于卷积神经的海洋船舶图像分割方法 |
| CN111985409A (zh) * | 2020-08-21 | 2020-11-24 | 四川省人工智能研究院(宜宾) | 一种用于实时街道场景分割的方法 |
| CN112016478A (zh) * | 2020-08-31 | 2020-12-01 | 中国电子科技集团公司第三研究所 | 一种基于多光谱图像融合的复杂场景识别方法及*** |
| CN112016478B (zh) * | 2020-08-31 | 2024-04-16 | 中国电子科技集团公司第三研究所 | 一种基于多光谱图像融合的复杂场景识别方法及*** |
| CN112633186B (zh) * | 2020-12-26 | 2024-05-28 | 上海有个机器人有限公司 | 室内环境下可行驶路面的分割方法、装置、介质和机器人 |
| CN112633186A (zh) * | 2020-12-26 | 2021-04-09 | 上海有个机器人有限公司 | 室内环境下可行驶路面的分割方法、装置、介质和机器人 |
| CN112766136B (zh) * | 2021-01-14 | 2024-03-19 | 华南理工大学 | 一种基于深度学习的空间车位检测方法 |
| CN112766136A (zh) * | 2021-01-14 | 2021-05-07 | 华南理工大学 | 一种基于深度学习的空间车位检测方法 |
| CN112800925A (zh) * | 2021-01-22 | 2021-05-14 | 华南理工大学 | 一种基于深度学习的轮式机器人避障路径规划方法 |
| CN112800925B (zh) * | 2021-01-22 | 2023-07-18 | 华南理工大学 | 一种基于深度学习的轮式机器人避障路径规划方法 |
| CN112861755B (zh) * | 2021-02-23 | 2023-12-08 | 北京农业智能装备技术研究中心 | 一种目标多类别实时分割方法及*** |
| CN112861755A (zh) * | 2021-02-23 | 2021-05-28 | 北京农业智能装备技术研究中心 | 一种目标多类别实时分割方法及*** |
| CN113077418A (zh) * | 2021-03-18 | 2021-07-06 | 心医国际数字医疗***(大连)有限公司 | 基于卷积神经网络的ct影像骨骼分割方法及装置 |
| CN112949612A (zh) * | 2021-04-22 | 2021-06-11 | 辽宁工程技术大学 | 一种基于无人机高分辨率遥感影像海岸带地物分类方法 |
| CN113743417B (zh) * | 2021-09-03 | 2024-02-23 | 北京航空航天大学 | 语义分割方法和语义分割装置 |
| CN113743417A (zh) * | 2021-09-03 | 2021-12-03 | 北京航空航天大学 | 语义分割方法和语义分割装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110147794A (zh) | 一种基于深度学习的无人车室外场景实时分割方法 | |
| CN112287940B (zh) | 一种基于深度学习的注意力机制的语义分割的方法 | |
| CN112991354A (zh) | 一种基于深度学习的高分辨率遥感影像语义分割方法 | |
| CN111915592B (zh) | 基于深度学习的遥感图像云检测方法 | |
| CN112668494A (zh) | 基于多尺度特征提取的小样本变化检测方法 | |
| CN110853057B (zh) | 基于全局和多尺度全卷积网络的航拍图像分割方法 | |
| CN114187450A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| CN113361373A (zh) | 一种农业场景下的航拍图像实时语义分割方法 | |
| CN107092883A (zh) | 物体识别追踪方法 | |
| CN113256649B (zh) | 一种基于深度学习的遥感图像选站选线语义分割方法 | |
| CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
| CN113505719B (zh) | 基于局部-整体联合知识蒸馏算法的步态识别模型压缩***及方法 | |
| CN114359130A (zh) | 一种基于无人机影像的道路裂缝检测方法 | |
| CN112819000A (zh) | 街景图像语义分割***及分割方法、电子设备及计算机可读介质 | |
| CN111008979A (zh) | 一种鲁棒的夜晚图像语义分割方法 | |
| CN113486886A (zh) | 一种自然场景下的车牌识别方法和装置 | |
| CN115035298A (zh) | 基于多维注意力机制的城市街景语义分割增强方法 | |
| CN113298817A (zh) | 一种准确率高的遥感图像语义分割方法 | |
| CN114463340B (zh) | 一种边缘信息引导的敏捷型遥感图像语义分割方法 | |
| CN117830788B (zh) | 一种多源信息融合的图像目标检测方法 | |
| CN117058367A (zh) | 高分辨率遥感影像建筑物语义分割方法及装置 | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN117237559A (zh) | 面向数字孪生城市的三维模型数据智能分析方法及*** | |
| CN116222577A (zh) | 闭环检测方法、训练方法、***、电子设备及存储介质 | |
| CN110728186A (zh) | 一种基于多网融合的火灾检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190820 |
|
| RJ01 | Rejection of invention patent application after publication |