CN113011360B - 基于注意力胶囊网络模型的道路交通标志线检测方法及*** - Google Patents
基于注意力胶囊网络模型的道路交通标志线检测方法及*** Download PDFInfo
- Publication number
- CN113011360B CN113011360B CN202110331964.4A CN202110331964A CN113011360B CN 113011360 B CN113011360 B CN 113011360B CN 202110331964 A CN202110331964 A CN 202110331964A CN 113011360 B CN113011360 B CN 113011360B
- Authority
- CN
- China
- Prior art keywords
- road traffic
- capsule
- traffic sign
- sign line
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 337
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 230000008878 coupling Effects 0.000 claims abstract description 9
- 238000010168 coupling process Methods 0.000 claims abstract description 9
- 238000005859 coupling reaction Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 46
- 238000000605 extraction Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 13
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000008602 contraction Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 8
- 230000004913 activation Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于注意力胶囊网络模型的道路交通标志线检测方法，该方法包括：S1、收缩路径是一个编码器，利用下采样操作逐层捕捉影像中道路交通标志线上下文信息，耦合通道注意力模块，在不损失特征细节和分辨率情况下，增强道路交通标志线的上下文信息；S2、扩展路径是一个解码器，结构与编码器相对称，利用上采样操作还原影像的道路交通标志线位置信息，逐步恢复道路交通标志线细节和图像分辨率，通过空间注意力模块捕捉道路标志线空间信息，增强道路交通标志线语义信息；以道路交通标线影像数据为基础，基于通道‑空间注意力机制胶囊网络模型的道路交通标志线检测方法，更快、更鲁棒、更全面地检测与提取道路交通标志线。
Description
技术领域
本发明涉及智能交通和测绘科学领域，尤其涉及一种基于注意力胶囊网络模型的道路交通标志线检测方法及***。
背景技术
近年来，随着经济的发展和社会的进步，道路的通行能力、可达性、交通安全性等问题越来越突出。道路以及道路细节要素如道路边界、交通标志线等是我国重要的基础交通设施。道路交通标志线(Traffic Index Line)是由施划或安装于道路路面上的各种线条、箭头、文字、图案及立面标记、实体标记、突起路标和轮廓标等所构成的交通设施，并向交通参与者传递引导、限制、警告等。其作用是管制和引导交通，可以与标志配合使用，也可单独使用。对道路标志线进行有效维护不仅可以减少交通压力，能使车辆井然有序地行驶，还能减少交通事故，增强交通安全。其高精度的几何与语义信息如形状、位置、拓扑和结构关系信息的快速获取与更新对保障交通安全具有重要作用，是智能交通、智能高精地图、导航与定位服务等领域的基础和核心元素。一般在城市环境中，对于道路标线，主要从色度、感光度和残损程度等方面来判断是否损坏。目前都是通过人工目测进行检测，其优点是准确，但是，道路形状多样，场景复杂，人工测量存在效率低、自动化程度低、需较多的人力和物力、影响道路交通等缺陷，达不到高精度道路信息快速提取与更新的要求。
道路交通标志线的可用性和清晰度是交通管理***和交通事故的关键因素。根据道路交通标志线语义知识(如形状)和反射强度特征，目前方法主要分为三维点云驱动和二维图像驱动的道路交通标志线提取两大类。三维点云驱动的道路交通标志线提取方法直接分割车载/无人机三维点云获得道路表面信息，然后利用强度信息完成道路交通标志线提取。然而，从海量三维点云中提取道路交通标志线仍然是一项非常困难的任务，尤其是处理具有强凹凸特征和分布不均匀的点云数据。因此，基于神经网络的深度学习方法被用于道路交通标志线自动分类研究中。但这些方法在处理城市道路网络的海量三维点云数据量方面存在局限性。二维图像驱动的道路交通标志线提取方法是根据交通标志线的语义信息(如大小、方向、形状等)，利用成熟的图像处理方法，如霍夫变换、阈值分割、数学形态学等完成道路交通标志线提取。然而这些方法很难适应在复杂的道路环境下，不同尺寸、不同反射强度的道路交通标志线。其次，由于复杂场景图像或特征图像包含有大量噪声，很难从稀疏的、噪声掩盖下的二维图像数据中推断出交通标志线显著性结构，其鲁棒性受到一定限制。另外，这类研究多聚焦于道路边界、标线的结构信息单独提取，忽视了不同类型对象间的语义信息，缺乏对道路场景结构化的描述。
随着深度学***数据障碍。
发明内容
发明目的：基于此，有必要针对上述技术问题，提供一种基于注意力胶囊网络模型的道路交通标志线检测方法。
技术方案：本发明提出一种基于注意力胶囊网络模型的道路交通标志线检测方法，所述方法包括：
将输入的待检测道路交通标志线图像通过基于编码器-解码器网络模型的收缩路径进行特征提取，获得道路交通标志线胶囊特征，耦合通道注意力模块，增强道路交通标志线的上下文信息，各所述道路交通标志线的分辨率和尺度都不同；
通过所述编码器-解码器网络模型的扩展路径对个所述道路交通标志线胶囊特征进行反卷积上采样，通过空间注意力模块捕捉道路交通标志线空间信息，获得道路交通标志线信息。
在其中一个实施例中，所述输入的待检测道路交通标志线图像通过基于编码-解码结构网络模型的收缩路径进行特征提取，获得道路交通标志线胶囊特征，耦合通道注意力模块，增强道路交通标志线的上下文信息，各所述道路交通标志线的分辨率和尺度都不同，包括：
将所述待检测道路交通标志线图像输入第一卷积层进行特征提取，获得低阶道路交通标志线特征信息；
将所述低阶道路交通标志线特征信息输入胶囊初始层进行特征转换，获得道路交通标志线胶囊矢量；
通过N个不同尺度的胶囊卷积组，对所述道路交通标志线胶囊矢量进行胶囊卷积，获得各所述胶囊卷积组输出的道路交通标志线胶囊特征；
在其中一个实施例中，所述N个不同尺度的所述胶囊卷积组的缩放步长为2，通过卷积核为2×2最大值池化层连接于各胶囊卷积组之间，使得特征图空间分辨率从下而上逐渐降低；各胶囊卷积组包含5个相同特征尺寸的卷积核为3×3胶囊卷积层和一个注意力通道模块；将道路交通标志线胶囊特征输入到注意力通道模块，获取交通标志线上下文信息，对道路交通标志线特征进行信息增强。
在其中一个实施例中，所述通过一个注意力通道对所述道路交通标志线胶囊特征进行信息增强，获得增强道路交通标志线胶囊特征，包括：
将道路交通标志线胶囊特征图输入到卷积核为1×1胶囊卷积层转换成一维的胶囊特征图，通过全局平均值池化操作构建出一个通道描述符；
将通道描述符转换成通道注意力描述符，描述符中每个元素所编码的信息与输入道路交通标志线胶囊特征图中的通道相对应；
将通道注意力描述符作为通道权值函数与输入道路交通标志线胶囊特征图进行通道级乘积处理，调整道路交通标志线胶囊特征。
在其中一个实施例中，所述编码-解码结构网络模型的扩展路径对个所述道路交通标志线胶囊特征进行反卷积上采样，通过空间注意力模块捕捉道路交通标志线空间信息，获得道路交通标志线信息，包括：
将第N层输出的增强道路交通标志线胶囊特征进行上采样后，与前一层输出的增强道路交通标志线胶囊特征进行拼接，获得拼接后的道路交通标志线胶囊特征图；
对所述拼接后的胶囊特征图进行胶囊卷积操作后获得的特征，输入到通道注意力模块，输出道路交通标志线胶囊特征，作为当前待拼接的增强道路交通标志线胶囊特征；
返回所述对所述当前待拼接的增强道路交通标志线胶囊特征进行上采样后，与前一层输出的增强道路交通标志线胶囊特征进行拼接，获得拼接后的道路交通标志线胶囊特征图的步骤，直至与前一层输出的增强道路交通标志线胶囊特征为第一层输出的增强道路交通标志线胶囊特征进行拼接，获得拼接后的胶囊特征图；
对所述拼接后的胶囊特征图进行卷积操作，输出道路交通标志线胶囊特征，输入到空间注意力模块，获得道路交通标志线增强信息。
在其中一个实施例中，所述拼接后的胶囊特征图进行卷积操作，输出道路交通标志线胶囊特征，输入到空间注意力模块，获得道路交通标志线增强信息，包括：
将道路交通标志线胶囊特征图输入到卷积核为1×1胶囊卷积层转换成2个一维的胶囊特征图；
第一个道路交通标志线特征图转换成特征矩阵，矩阵横向代表路交通标志线图像尺寸，矩阵纵向代表特征个数；
第二个道路交通标志线特征图转换成特征矩阵，矩阵横向代表特征个数，矩阵纵向代表路交通标志线图像尺寸；
将两个特征矩阵进行相乘，构建空间注意力矩阵，矩阵横向和纵向都代表道路交通标志线图像尺寸；
将道路交通标志线胶囊特征图转换成道路交通标志线胶囊特征矩阵后，与空间注意力矩阵相乘并转换后，进行2次卷积核为3×3胶囊卷积操作，获得道路交通标志线胶囊特征图。
本发明提出一种基于注意力胶囊网络模型的道路交通标志线检测***，该***包括如下模块：
收缩路径模块，用于将输入的待检测道路交通标志线图像通过基于编码器解码器的收缩路径进行特征提取，获得各道路交通标志线胶囊特征，各所述道路交通标志线胶囊特征的分辨率和尺度都不同；
通道注意力上下文信息增强模块，用于通过所述基于道路交通线胶囊特征进行通道特征重要性分析，增强上下文信息，获得各增强交通标志线胶囊特征；
扩展路径，用于通过所述基于编码器解码器的扩展路径对各所述增强道路交通标志线胶囊特征进行反卷积上采样，与收缩路径各道路交通标志线特征拼接，获得道路标志线检测信息。
空间注意力模块，用于通过对所述基于道路交通线胶囊特征进行道路标志线空间信息获取，从而获得道路交通标志线信息增强。
上述基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法，通过将输入的待检测道路交通标志线图像通过基于编码器解码器的收缩路径进行特征提取，获得各道路交通标志线胶囊特征，各所述道路交通标志线胶囊特征的分辨率和尺度都不同；通过通道注意力机制对各所述道路交通标志线胶囊特征进行上下文信息增强，获得各增强道路交通标志线胶囊特征；通过所述扩展路径对各所述增强道路交通标志线胶囊特征进行反卷积上采样，进行空间通道注意力道路交通标志线空间信息增强，获得道路交通标志线检测信息。采用编码器解码器结构，通道和空间注意力信息增强，充分获得道路交通标志线内在的、显著的、高阶性的特征描述，提高道路交通标志线识别正确率。
附图说明
图1为一个实施例中基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法流程示意图；
图2为一个实施例中通道注意力模块示意图；
图3为一个实施例中空间注意力模型示意图；
图4为一个实施例中基于胶囊网络和通道-空间注意力模型，构建的编码器解码器结构的流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法，包括以下步骤：
步骤S1，将输入的待检测道路交通标志线图像通过基于编码器-解码器网络模型的收缩路径进行特征提取，获得道路交通标志线胶囊特征，耦合通道注意力模块，增强道路交通标志线的上下文信息，各所述道路交通标志线的分辨率和尺度都不同。
其中，所述待检测道路交通标志线图像可以是车辆、卫星、无人机等采集到的高分辨率的道路影像数据。编码器是一个收缩路径，利用下采样操作逐层捕捉影像中道路交通标志线的上下文信息，并耦合通道注意力模块，在不损失特征细节和分辨率情况下，增强道路交通标志线的上下文信息，且大幅度提升了目标检测的性能。收缩路径是基于编码解码器解雇进行特征抽取的模块，包括2个常规卷积层、胶囊初始层以及N个不同尺度的胶囊卷积组。
在一个实施例中，将输入的待检测道路交通标志线图像通过基于编码器-解码器网络模型的收缩路径进行特征提取，获得道路交通标志线胶囊特征，耦合通道注意力模块，增强道路交通标志线的上下文信息，各所述道路交通标志线的分辨率和尺度都不同，包括：
将所述待检测道路交通标志线图像输入第一卷积层进行特征提取，获得低阶道路交通标志线特征信息；将所述低阶道路交通标志线特征信息输入胶囊初始层进行特征转换，获得道路交通标志线胶囊矢量；通过N个不同尺度的胶囊卷积组，对所述道路交通标志线胶囊矢量进行胶囊卷积，获得各所述胶囊卷积组输出的道路交通标志线胶囊特征；将道路交通标志线胶囊特征输入到注意力通道模块，获取交通标志线上下文信息，对道路交通标志线特征进行信息增强。
具体的，待检测道路交通标志线图像块(800×800像素)输入到两个3×3常规卷积构成的第一卷积层，其激活函数为ReLU(Rectified Linear Unit，修正线性单元)提取低阶道路交通标志线特征信息(如256维)；提取的低阶道路交通标志线特征输入到初级胶囊层，转换为道路交通标志线胶囊矢量，其通道数量设为64，每个胶囊的维度为16维。也就是经过初级胶囊层卷积操作后产生的特征图包含64个通道，每个通道包含16个特征信息，从而在每个像素点形成16维的胶囊。对每个实体，每个像素由64个16维度的胶囊特征表示；
构建5组不同尺度的胶囊卷积组。胶囊卷积组以尺度为0.5倍向逐组下采样。下采样主要是通过第2-5组中的胶囊最大值池化操作来实现将特征图像尺寸0.5倍下采样。这样这5组胶囊卷积尺度分别为输入道路交通标志线影像的{1,1/2,1/4,1/8,1/16},相对应将胶囊特征图尺寸分别为800×800像素,400×400像素,200×200像素,100×100像素,50×50像素。每组胶囊卷积包含5个相同特征图像尺寸和空间分辨率的胶囊卷积层。除了最后一组胶囊卷积组外，其余四组胶囊卷积组包含(1)1个2×2胶囊最大值池化层将输入特征图下采样；(2)5个具有相同尺寸的3×3胶囊卷积层进行卷积操作；(3)1个通道注意力耦合模块(Channel Feature Attention，CFA如图4所示)，获得道路交通标志线胶囊特征图；
对每组输出的特征图进行通道注意力机制操作(如图2所示)。对输入64通道个16维度的胶囊特征图(H×W，H，W分别代表特征图的高和宽，如果是第一组胶囊卷积组，则特征图像高和宽则分别为800×800像素，第二组则为400×400像素，以此类推)执行1×1卷积操作转换成一维的胶囊特征图A，通过全局平均池化操作将一维的胶囊特征图构建成一个通道描述符；随后2个全链接层(激活函数分别为ReLU和signmoid)将通道描述符转换成通道注意力描述符C，描述符中每个通道所编码的信息与输入胶囊特征图中的通道相对应；最后将通道注意力描述符作为通道权值函数与输入胶囊特征图进行通道级乘积处理，对输入胶囊特征图中通道重要性进行；通道注意力耦合操作后，输出5个尺度/空间分辨率的高阶道路交通标志线特征图。
步骤S2，通过所述编码器-解码器网络模型的扩展路径对个所述道路交通标志线胶囊特征进行反卷积上采样，通过空间注意力模块捕捉道路交通标志线空间信息，获得道路交通标志线信息，包括：
扩展路径就是解码器部分,也是由4组胶囊卷积操作构成，每组特征图具有相同尺寸和空间分辨率且分别为输入高分辨率影像尺度的{1,1/2,1/4,1/8}；沿着扩展路径向上，4个{1/8,1/4,1/2,1}尺度的胶囊卷积组包括一个胶囊反卷积层，5个胶囊卷积层，和一个通道注意力模块。4个胶囊卷积组逐组进行胶囊反卷积2倍上采样操作；每组上采样的特征与步骤S1收缩路径(编码器)相应尺度且经过通道注意力操作后的特征相拼接；每组拼接后的特征图经过5个胶囊卷积层的卷积操作，输入到通道注意力模块，再次对胶囊特征图中通道重要性进行调整；
经过逐层向上采样操作后，如图3所示，胶囊特征图F恢复到空间分辨率为800×800像素，接着输入到空间特征注意力模块。首先，2个1×1卷积操作将输入特征图F转换成2个一维胶囊特征图B(H×W×64)和D(H×W×64)；然后，再将胶囊特征图B和D进行变换，将其转换成2个特征矩阵G(N×64)和E(64×N)，其中N＝H×W；其次，两个特征矩阵G和E相乘后经过softmax操作,构建了一个空间注意力矩阵S(N×N)；接下来，将输入的胶囊特征图F转换成胶囊特征矩阵T(N×64×16)，并对胶囊特征矩阵T和空间注意力矩阵S相乘；最后，再对相乘后得到的结果矩阵进行变换,得到输出胶囊特征图P(H×W×64×16)，并进行2次3×3胶囊卷积操作输出最终胶囊特征图和道路交通标志线信息结果。
上述基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法，通过将输入的待检测道路交通标志线图像通过基于编码器解码器的收缩路径进行特征提取，获得各道路交通标志线胶囊特征，各所述道路交通标志线胶囊特征的分辨率和尺度都不同；通过通道注意力机制对各所述道路交通标志线胶囊特征进行上下文信息增强，获得各增强道路交通标志线胶囊特征；通过所述扩展路径对各所述增强道路交通标志线胶囊特征进行反卷积上采样，进行空间通道注意力道路交通标志线空间信息增强，获得道路交通标志线检测信息。采用编码器解码器结构，通道和空间注意力信息增强，充分获得道路交通标志线内在的、显著的、高阶性的特征描述，提高道路交通标志线识别正确率。
在一个实施例中，如图4所示，提供了一种基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法，具体实现如下：
在执行基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法之前，搭建基于胶囊网络，通道注意力和空间注意力机制构建编码器解码器模型，包括：收缩路径、扩展路径；收缩路径包括第一卷积层(即两个3×3卷积层)、胶囊初始层、数据尺度为1的胶囊卷积组、数据尺度为1/2的胶囊卷积组、数据尺度为1/4的胶囊卷积组，数据尺度为1/8的胶囊卷积组以及数据尺度为1/16的胶囊卷积组，每组胶囊卷积组包含5个相同图像和相同特征尺寸的3×3胶囊卷积层(即图4中的胶囊层)和通道注意力模块，数据尺度为1的胶囊卷积组通过2×2最大值池化层(即图4中的最大值池化层)连接数据尺度为1/2的胶囊卷积组，数据尺度为1/2的胶囊卷积组通过2×2最大值池化层与数据尺度为1/4的胶囊卷积组连接，数据尺度为1/4的胶囊卷积组通过2×2最大值池化层与数据尺度为1/8的胶囊卷积组连接，数据尺度为1/8的胶囊卷积组通过2×2最大值池化层与数据尺度为1/16的胶囊卷积组连接，缩放步长为2；收缩路径包括数据尺度为1/8的胶囊卷积组、数据尺度为1/4的胶囊卷积组、数据尺度为1/2的胶囊卷积组，数据尺度为1的胶囊卷积组；每组胶囊卷积组包括一个胶囊反卷积层，5个胶囊卷积层，和一个通道注意力模块。4个胶囊卷积组逐组进行胶囊反卷积2倍上采样操作；每组上采样的特征与步骤S1收缩路径(编码器)相应尺度且经过通道注意力操作后的特征相拼接；每组拼接后的特征图经过5个胶囊卷积层的卷积操作，输入到通道注意力模块，再次对胶囊特征图中通道重要性进行调整；对数据尺度为1的胶囊特征图输入到空间特征注意力模块对道路交通标志线空间信息进行调整，获得交通标志线增强信息。
待检测道路交通标志线图像块(800×800像素)输入到两个3×3常规卷积构成的第一卷积层，其激活函数为ReLU(Rectified Linear Unit，修正线性单元)提取低阶道路交通标志线特征信息(如256维)；提取的低阶道路交通标志线特征输入到初级胶囊层，转换为道路交通标志线胶囊矢量，其通道数量设为64，每个胶囊的维度为16维。也就是经过初级胶囊层卷积操作后产生的特征图包含64个通道，每个通道包含16个特征信息，从而在每个像素点形成16维的胶囊。对每个实体，每个像素由64个16维度的胶囊特征表示；
构建5组不同尺度的胶囊卷积组。胶囊卷积组以尺度为0.5倍向逐组下采样。下采样主要是通过第2-5组中的胶囊最大值池化操作来实现将特征图像尺寸0.5倍下采样。这样这5组胶囊卷积尺度分别为输入道路交通标志线影像的{1,1/2,1/4,1/8,1/16},相对应将胶囊特征图尺寸分别为800×800像素,400×400像素,200×200像素,100×100像素,50×50像素。每组胶囊卷积包含5个相同特征图像尺寸和空间分辨率的胶囊卷积层。除了最后一组胶囊卷积组外，其余四组胶囊卷积组包含(1)1个2×2胶囊最大值池化层将输入特征图下采样；(2)5个具有相同尺寸的3×3胶囊卷积层进行卷积操作；(3)1个通道注意力耦合模块(Channel Feature Attention，CFA如图4所示)，获得道路交通标志线胶囊特征图；
对输出的特征图进行通道注意力机制操作(如图2所示)。对输入64通道个16维度的胶囊特征图(H×W，H，W分别代表特征图的高和宽，如果是第一组胶囊卷积组，则特征图像高和宽则分别为800×800像素，第二组则为400×400像素，以此类推)执行1×1卷积操作转换成一维的胶囊特征图A，通过全局平均池化操作将一维的胶囊特征图构建成一个通道描述符；随后2个全链接层(激活函数分别为ReLU和signmoid)将通道描述符转换成通道注意力描述符C，描述符中每个通道所编码的信息与输入胶囊特征图中的通道相对应；最后将通道注意力描述符作为通道权值函数与输入胶囊特征图进行通道级乘积处理，对输入胶囊特征图中通道重要性进行；经过通道注意力耦合操作后，输出5个尺度/空间分辨率的高阶道路交通标志线特征图。
步骤S2，通过所述编码器-解码器网络模型的扩展路径对个所述道路交通标志线胶囊特征进行反卷积上采样，通过空间注意力模块捕捉道路交通标志线空间信息，获得道路交通标志线信息，包括：
扩展路径就是解码器部分,也是由4组胶囊卷积操作构成，每组特征图具有相同尺寸和空间分辨率且分别为输入高分辨率影像尺度的{1,1/2,1/4,1/8}；沿着扩展路径向上，4个{1/8,1/4,1/2,1}尺度的胶囊卷积组包括一个胶囊反卷积层，5个胶囊卷积层，和一个通道注意力模块。4个胶囊卷积组逐组进行胶囊反卷积2倍上采样操作；每组上采样的特征与步骤S1收缩路径(编码器)相应尺度且经过通道注意力操作后的特征相拼接；每组拼接后的特征图经过5个胶囊卷积层的卷积操作，输入到通道注意力模块，再次对胶囊特征图中通道重要性进行调整；
经过逐层向上采样操作后，如图3所示，胶囊特征图F恢复到空间分辨率为800×800像素，接着输入到空间特征注意力模块。首先，2个1×1卷积操作将输入特征图F转换成2个一维胶囊特征图B(H×W×64)和D(H×W×64)；然后，再将胶囊特征图B和D进行变换，将其转换成2个特征矩阵G(N×64)和E(64×N)，其中N＝H×W；其次，两个特征矩阵G和E相乘后经过softmax操作,构建了一个空间注意力矩阵S(N×N)；接下来，将输入的胶囊特征图F转换成胶囊特征矩阵T(N×64×16)，并对胶囊特征矩阵T和空间注意力矩阵S相乘；最后，再对相乘后得到的结果矩阵进行变换,得到输出胶囊特征图P(H×W×64×16)，并进行2次3×3胶囊卷积操作输出最终胶囊特征图和道路交通标志线信息结果。
上述基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法，通过将输入的待检测道路交通标志线图像通过基于编码器解码器的收缩路径进行特征提取，获得各道路交通标志线胶囊特征，各所述道路交通标志线胶囊特征的分辨率和尺度都不同；通过通道注意力机制对各所述道路交通标志线胶囊特征进行上下文信息增强，获得各增强道路交通标志线胶囊特征；通过所述扩展路径对各所述增强道路交通标志线胶囊特征进行反卷积上采样，进行空间通道注意力道路交通标志线空间信息增强，获得道路交通标志线检测信息。采用编码器解码器结构，通道和空间注意力信息增强，充分获得道路交通标志线内在的、显著的、高阶性的特征描述，提高道路交通标志线识别正确率。
通过上述基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法，将胶囊网络运用到道路交通标志线检测中，可有效利用胶囊矢量对道路交通标志线的几何、位置、内在属性等进行描述；联合编码器解码器结构以及通道注意力和空间注意力模块对不同层次、不同尺度的胶囊特征进行综合和增强道路交通标志线上下文信息，提升了道路交通标志线语义信息的表达，达到准确、有效的道路交通标志线检测，为道路的安全防护提供了保障。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (3)
1.一种基于注意力胶囊网络模型的道路交通标志线检测方法，其特征在于，所述方法包括：
将输入的待检测道路交通标志线图像通过基于编码-解码结构网络模型的收缩路径进行特征提取，获得道路交通标志线胶囊特征，编码-解码结构网络耦合通道注意力模块，增强道路交通标志线的上下文信息，各所述道路交通标志线的分辨率和尺度都不同；
通过所述编码-解码结构网络模型的扩展路径对各所述道路交通标志线胶囊特征进行反卷积上采样，通过空间注意力模块捕捉道路交通标志线空间信息，获得道路交通标志线信息；
将输入的待检测道路交通标志线图像通过基于编码-解码结构网络模型的收缩路径进行特征提取，获得道路交通标志线胶囊特征，耦合通道注意力模块，增强道路交通标志线的上下文信息，各所述道路交通标志线的分辨率和尺度都不同，具体包括如下步骤：
将所述待检测道路交通标志线图像输入第一卷积层进行特征提取，获得低阶道路交通标志线特征信息；
将所述低阶道路交通标志线特征信息输入胶囊初始层进行特征转换，获得道路交通标志线胶囊矢量；
通过N个不同尺度的胶囊卷积组，对所述道路交通标志线胶囊矢量进行胶囊卷积，获得各所述胶囊卷积组输出的道路交通标志线胶囊特征；
所述N个不同尺度的胶囊卷积组，对所述道路交通标志线胶囊矢量进行胶囊卷积，获得各所述胶囊卷积组输出的道路交通标志线胶囊特征，包括：
N个不同尺度的所述胶囊卷积组的缩放步长为2，通过卷积核为2×2最大值池化层连接于各胶囊卷积组之间，使得道路交通标志线特征图空间分辨率从下而上逐渐降低；
各胶囊卷积组包含5个相同特征尺寸的卷积核为3×3胶囊卷积层和一个注意力通道模块；
将道路交通标志线胶囊特征输入到注意力通道模块，获取交通标志线上下文信息，对道路交通标志线特征进行信息增强；
通过所述编码-解码结构网络模型的扩展路径对个所述道路交通标志线胶囊特征进行反卷积上采样，通过空间注意力模块捕捉道路交通标志线空间信息，获得道路交通标志线信息，包括：
将第N层输出的增强道路交通标志线胶囊特征进行上采样后，与前一层输出的增强道路交通标志线胶囊特征进行拼接，获得拼接后的道路交通标志线胶囊特征图；
对所述拼接后的胶囊特征图进行胶囊卷积操作后获得的特征，输入到通道注意力模块，输出道路交通标志线胶囊特征，作为当前待拼接的增强道路交通标志线胶囊特征；
返回所述对所述当前待拼接的增强道路交通标志线胶囊特征进行上采样后，与前一层输出的增强道路交通标志线胶囊特征进行拼接，获得拼接后的道路交通标志线胶囊特征图的步骤，直至返回第一层输出的增强道路交通标志线胶囊特征进行拼接，获得拼接后的胶囊特征图；
对所述拼接后的胶囊特征图进行卷积操作，输出道路交通标志线胶囊特征，输入到空间注意力模块，获得道路交通标志线增强信息；
对所述拼接后的胶囊特征图进行卷积操作，输出道路交通标志线胶囊特征，输入到空间注意力模块，获得道路交通标志线增强信息，包括：
将道路交通标志线胶囊特征图输入到卷积核为1×1胶囊卷积层转换成2个一维的胶囊特征图；
第一个道路交通标志线特征图转换成特征矩阵，矩阵横向代表路交通标志线图像尺寸，矩阵纵向代表特征个数；
第二个道路交通标志线特征图转换成特征矩阵，矩阵横向代表特征个数，矩阵纵向代表路交通标志线图像尺寸；
将两个特征矩阵进行相乘，构建空间注意力矩阵，矩阵横向和纵向都代表道路交通标志线图像尺寸；
将道路交通标志线胶囊特征图转换成道路交通标志线胶囊特征矩阵后，与空间注意力矩阵相乘并转换后，进行2次卷积核为3×3胶囊卷积操作，获得道路交通标志线胶囊特征图。
2.根据权利要求1所述的方法，其特征在于，通过一个注意力通道对所述道路交通标志线胶囊特征进行信息增强，获得增强道路交通标志线胶囊特征，包括：
将道路交通标志线胶囊特征图输入到卷积核为1×1胶囊卷积层转换成一维的胶囊特征图，通过全局平均值池化操作构建出一个通道描述符；
将通道描述符转换成通道注意力描述符，描述符中每个元素所编码的信息与输入道路交通标志线胶囊特征图中的通道相对应；
将通道注意力描述符作为通道权值函数与输入道路交通标志线胶囊特征图进行通道级乘积处理，调整道路交通标志线胶囊特征。
3.一种基于注意力胶囊网络模型的道路交通标志线检测***，其特征在于，所述***包括如下模块：
收缩路径模块，用于将输入的待检测道路交通标志线图像通过基于编码-解码结构的收缩路径进行特征提取，获得各道路交通标志线胶囊特征，各所述道路交通标志线胶囊特征的分辨率和尺度都不同，具体为：
将所述待检测道路交通标志线图像输入第一卷积层进行特征提取，获得低阶道路交通标志线特征信息；
将所述低阶道路交通标志线特征信息输入胶囊初始层进行特征转换，获得道路交通标志线胶囊矢量；
通过N个不同尺度的胶囊卷积组，对所述道路交通标志线胶囊矢量进行胶囊卷积，获得各所述胶囊卷积组输出的道路交通标志线胶囊特征；
N个不同尺度的所述胶囊卷积组的缩放步长为2，通过卷积核为2×2最大值池化层连接于各胶囊卷积组之间，使得道路交通标志线特征图空间分辨率从下而上逐渐降低；
各胶囊卷积组包含5个相同特征尺寸的卷积核为3×3胶囊卷积层和一个注意力通道模块；
将道路交通标志线胶囊特征输入到注意力通道模块，获取交通标志线上下文信息，对道路交通标志线特征进行信息增强；
通道注意力上下文信息增强模块，用于通过基于道路交通线胶囊特征进行通道特征重要性分析，增强上下文信息，获得各增强交通标志线胶囊特征；
扩展路径模块，用于通过基于编码-解码结构的扩展路径对各增强道路交通标志线胶囊特征进行反卷积上采样，与收缩路径各道路交通标志线特征拼接，获得道路标志线检测信息，具体为：
将第N层输出的增强道路交通标志线胶囊特征进行上采样后，与前一层输出的增强道路交通标志线胶囊特征进行拼接，获得拼接后的道路交通标志线胶囊特征图；
对所述拼接后的胶囊特征图进行胶囊卷积操作后获得的特征，输入到通道注意力模块，输出道路交通标志线胶囊特征，作为当前待拼接的增强道路交通标志线胶囊特征；
返回所述对所述当前待拼接的增强道路交通标志线胶囊特征进行上采样后，与前一层输出的增强道路交通标志线胶囊特征进行拼接，获得拼接后的道路交通标志线胶囊特征图的步骤，直至返回第一层输出的增强道路交通标志线胶囊特征进行拼接，获得拼接后的胶囊特征图；
对所述拼接后的胶囊特征图进行卷积操作，输出道路交通标志线胶囊特征，输入到空间注意力模块，获得道路交通标志线增强信息；
空间注意力模块，用于通过对基于道路交通线胶囊特征进行道路标志线空间信息获取，从而获得道路交通标志线信息增强，具体为：
将道路交通标志线胶囊特征图输入到卷积核为1×1胶囊卷积层转换成2个一维的胶囊特征图；
第一个道路交通标志线特征图转换成特征矩阵，矩阵横向代表路交通标志线图像尺寸，矩阵纵向代表特征个数；
第二个道路交通标志线特征图转换成特征矩阵，矩阵横向代表特征个数，矩阵纵向代表路交通标志线图像尺寸；
将两个特征矩阵进行相乘，构建空间注意力矩阵，矩阵横向和纵向都代表道路交通标志线图像尺寸；
将道路交通标志线胶囊特征图转换成道路交通标志线胶囊特征矩阵后，与空间注意力矩阵相乘并转换后，进行2次卷积核为3×3胶囊卷积操作，获得道路交通标志线胶囊特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110331964.4A CN113011360B (zh) | 2021-03-29 | 2021-03-29 | 基于注意力胶囊网络模型的道路交通标志线检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110331964.4A CN113011360B (zh) | 2021-03-29 | 2021-03-29 | 基于注意力胶囊网络模型的道路交通标志线检测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113011360A CN113011360A (zh) | 2021-06-22 |
| CN113011360B true CN113011360B (zh) | 2023-11-24 |
Family
ID=76408512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110331964.4A Active CN113011360B (zh) | 2021-03-29 | 2021-03-29 | 基于注意力胶囊网络模型的道路交通标志线检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113011360B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10089556B1 (en) * | 2017-06-12 | 2018-10-02 | Konica Minolta Laboratory U.S.A., Inc. | Self-attention deep neural network for action recognition in surveillance videos |
| CN111428556A (zh) * | 2020-02-17 | 2020-07-17 | 浙江树人学院（浙江树人大学） | 一种基于胶囊神经网络的交通标志识别方法 |
| CN111582201A (zh) * | 2020-05-12 | 2020-08-25 | 重庆理工大学 | 一种基于几何注意力感知的车道线检测*** |
| CN111861925A (zh) * | 2020-07-24 | 2020-10-30 | 南京信息工程大学滨江学院 | 一种基于注意力机制与门控循环单元的图像去雨方法 |
| CN112184687A (zh) * | 2020-10-10 | 2021-01-05 | 南京信息工程大学 | 基于胶囊特征金字塔的道路裂缝检测方法和存储介质 |
| CN112241728A (zh) * | 2020-10-30 | 2021-01-19 | 中国科学院合肥物质科学研究院 | 采用注意力机制学习上下文信息的实时车道线检测方法及*** |
| CN112418027A (zh) * | 2020-11-11 | 2021-02-26 | 青岛科技大学 | 一种改进U-Net网络的遥感影像道路提取方法 |
-
2021
- 2021-03-29 CN CN202110331964.4A patent/CN113011360B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10089556B1 (en) * | 2017-06-12 | 2018-10-02 | Konica Minolta Laboratory U.S.A., Inc. | Self-attention deep neural network for action recognition in surveillance videos |
| CN111428556A (zh) * | 2020-02-17 | 2020-07-17 | 浙江树人学院（浙江树人大学） | 一种基于胶囊神经网络的交通标志识别方法 |
| CN111582201A (zh) * | 2020-05-12 | 2020-08-25 | 重庆理工大学 | 一种基于几何注意力感知的车道线检测*** |
| CN111861925A (zh) * | 2020-07-24 | 2020-10-30 | 南京信息工程大学滨江学院 | 一种基于注意力机制与门控循环单元的图像去雨方法 |
| CN112184687A (zh) * | 2020-10-10 | 2021-01-05 | 南京信息工程大学 | 基于胶囊特征金字塔的道路裂缝检测方法和存储介质 |
| CN112241728A (zh) * | 2020-10-30 | 2021-01-19 | 中国科学院合肥物质科学研究院 | 采用注意力机制学习上下文信息的实时车道线检测方法及*** |
| CN112418027A (zh) * | 2020-11-11 | 2021-02-26 | 青岛科技大学 | 一种改进U-Net网络的遥感影像道路提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113011360A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113850825B (zh) | 基于上下文信息和多尺度特征融合的遥感图像道路分割方法 | |
| Yu et al. | A real-time detection approach for bridge cracks based on YOLOv4-FPM | |
| CN110188705B (zh) | 一种适用于车载***的远距离交通标志检测识别方法 | |
| CN111242041B (zh) | 基于伪图像技术的激光雷达三维目标快速检测方法 | |
| CN105354568A (zh) | 基于卷积神经网络的车标识别方法 | |
| CN113902915A (zh) | 一种基于低光照复杂道路场景下的语义分割方法及*** | |
| CN108876805B (zh) | 一种端对端无监督场景可通行区域认知与理解方法 | |
| CN113052106B (zh) | 一种基于PSPNet网络的飞机起降跑道识别方法 | |
| CN112288667B (zh) | 一种基于激光雷达与摄像头融合的三维目标检测方法 | |
| CN116453121B (zh) | 一种车道线识别模型的训练方法及装置 | |
| CN113095152A (zh) | 一种基于回归的车道线检测方法及*** | |
| CN117037119A (zh) | 基于改进YOLOv8的道路目标检测方法及*** | |
| CN116343053B (zh) | 基于光学遥感影像和sar遥感影像融合的固废自动提取方法 | |
| CN115497002A (zh) | 一种多尺度特征融合的激光雷达遥感分类方法 | |
| CN114612883A (zh) | 一种基于级联ssd和单目深度估计的前向车辆距离检测方法 | |
| Wang et al. | Global perception-based robust parking space detection using a low-cost camera | |
| CN115115917A (zh) | 基于注意力机制和图像特征融合的3d点云目标检测方法 | |
| CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
| CN117975436A (zh) | 基于多模态融合和可变形注意力的三维目标检测方法 | |
| CN111898671B (zh) | 激光成像仪和彩色相机编码融合目标识别方法及*** | |
| Zhang et al. | Infrastructure 3D Target detection based on multi-mode fusion for intelligent and connected vehicles | |
| CN113011360B (zh) | 基于注意力胶囊网络模型的道路交通标志线检测方法及*** | |
| CN113033411A (zh) | 基于分割与注意力机制的地面语义认知方法 | |
| CN116630702A (zh) | 一种基于语义分割网络的路面附着系数预测方法 | |
| CN115965783A (zh) | 一种基于点云和图像特征融合的非结构化道路分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 214000 building 50-9, South Shanhe Road, East Xianfeng Road, anzhen street, Xishan District, Wuxi City, Jiangsu Province Patentee after: Wuxi Simate Intelligent Technology Co.,Ltd. Country or region after: China Address before: 214000 building 50-9, South Shanhe Road, East Xianfeng Road, anzhen street, Xishan District, Wuxi City, Jiangsu Province Patentee before: Jiangsu Simate Technology Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240417 Address after: Room 901-1, 9 / F, 168 Lushan Road, Jianye District, Nanjing, Jiangsu 210000 Patentee after: JIANGSU KEBO SPACE INFORMATION TECHNOLOGY Co.,Ltd. Country or region after: China Address before: 214000 building 50-9, South Shanhe Road, East Xianfeng Road, anzhen street, Xishan District, Wuxi City, Jiangsu Province Patentee before: Wuxi Simate Intelligent Technology Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |