CN116563682A - 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 - Google Patents
一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 Download PDFInfo
- Publication number
- CN116563682A CN116563682A CN202310532781.8A CN202310532781A CN116563682A CN 116563682 A CN116563682 A CN 116563682A CN 202310532781 A CN202310532781 A CN 202310532781A CN 116563682 A CN116563682 A CN 116563682A
- Authority
- CN
- China
- Prior art keywords
- convolution
- network
- output
- module
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000011176 pooling Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 230000007246 mechanism Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 abstract description 12
- 238000000605 extraction Methods 0.000 abstract description 8
- 238000005192 partition Methods 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 3
- 238000000137 annealing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Chemical compound [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229910052697 platinum Inorganic materials 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法，属于图像目标识别领域。包括以下步骤：调整数据集图片尺寸，将预处理后的图片输入卷积模型进行特征提取、注意力机制，多尺度特征融合，得到输出的特征结果。不同尺度的特征进行霍夫变换并进行融合特征回归预测得到识别结果；条带卷积替换原先的空间卷积层以得到输入图像识别目标的远程相关语义信息；对前向网络的图片进行条带状池化层和空间池化层混合池化层池化；特征金字塔网络添加通道注意力模块帮助对图片分区的重要性进行建模，以减少输入图像的冗余信息对识别结果的影响；设计Ghost卷积轻量化网络减少网络的计算量。相较于常规语义线检测方法模型参数量更少，识别准确率更高。
Description
技术领域
本发明属于目标检测技术领域，更具体地，设计一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法。
背景技术
直线检测是计算机视觉研究中的一个经典问题。而语义线作为图片分布的一种特殊直线，其具体含义表示为：在图片中含有不同背景的前提下，分割不同语义背景之间的直线。其可以明确表示图像中不同背景分布。通过调整图像的语义线分布可以优化摄影者的摄影构图。
语义线检测具有实际意义。例如估测图片水平度、优化摄影图像构图。除此以外还可进行一些视觉下游任务的初步操作：车道检测、地平线检测、海平面检测。都可以通过语义线检测作为初步操作进行优化检测。由于语义线为图片中不同场景之间的分界线，因此以语义线为边界其实可以进行初步语义背景的分割，通过语义线为边界进行图像的语义背景的简化，这种简化可以作为很多视觉应用的先验。
虽然语义线的用途广泛，但由于图片中线段和语义背景的多样性其语义线检测仍然是个难题。一方面是主要检测语义线方法都是检测语义线中的特殊情况的例如：车道线，海平面线等；较少有方法去考虑总体语义线的检测。另一方面是由于语义背景信息之间的没有规则，传统的卷积神经网络难以处理底层的细节信息和上层的语义信息。所以早期基于深度学***面线提出的边缘检测滤波方式分割出目标线区域再进行传统霍夫变换或RANSAC算法进行直线的提取检测图片内存在的目标线。然而其通常会受到输入图像亮度、遮挡等等因素影响，使其鲁棒性下降。因此这类方法不太适合进行语义线这类信息的检测识别。直到2020年，kai等人提出了结合特征金字塔网络和传统霍夫变换的深度霍夫变换结构检测语义线网络结构DHT(Zhao，K.；Han，Q.；Zhang，C.B.；Xu，J.；Cheng，M.M.Deep Hough Transform for Semantic LineDetection.in IEEE Transactions on Pattern Analysis and Machine Intelligence，1Sept.2022，vol.44，no.9，pp.4793-4806)。它的基本思想是通过特征金字塔网络多尺度的霍夫变换结合输入图像的高层语义信息和底层细节信息的直线进行结合，最后通过通道维度的回归预测进行结合了两者信息的语义线的预测输出。然而该网络忽视了图片内像素的远程语义背景信息，因此输出的语义线并不能准确分别图片中的背景信息，预测正确率仍有待提高。
发明内容
本发明为解决现有的语义线识别中忽略全局上下文信息，无关冗余信息干扰大的技术缺陷设计了一种基于深度霍夫的条带状卷积和注意力机制的语义线检测方法，帮助网络更好地输出输入图像的多尺度图像以及减少网络计算量。具体来说，改进式语义线检测网络首先通过添加了条带状卷积层、条带混合池化层以及特征注意力选择模块的特征金字塔网络来提升网络识别的准确率，同时设计了一种结合Ghost卷积的轻量结构，最后特征提取网络输出多尺度特征图，对其进行霍夫变换之后沿通道维聚合不同尺度的参数空间图预测出最终参数空间点再通过霍夫反变换将参数空间内的点转换为图像空间的语义线。
本发明采用了如下的技术方案及实现步骤：
一种基于深度霍夫网络的改进语义线检测方法，所述方法包括：
步骤1：图像数据预处理；
步骤2：构建检测语义线的条带卷积神经网络；
步骤3：训练所构建的网络；
步骤4：利用训练完成的条带卷积神经网络进行语义线检测测试。
所述的数据预处理，具体包括如下步骤：
所述数据预处理是指对摄像头等设备获取的照片数据或者已有公开数据集进行预处理，具体过程为：修改采集到的照片或者数据集中的图像数据尺寸到H×W，其中H、W分别表示输入图像尺寸的高和宽；另外为了提高网络的泛化能力，本发明采用了翻转数据的方式实现数据扩增。
所述的语义线检测的深度霍夫注意力方案和条带卷积网络，具体包括以下模块：
模块1：条带状卷积模块
所述的条带状卷积模块是指通过获取像素之间的远程语义背景信息得到一个有利于网络进行后续霍夫变换的多尺度输出矩阵。其输入是网络中经过预处理的图片信息，输出是经过卷积处理得到的中间输出多通道图像信息，条带状卷积模块中所涉及到的参数是通过训练学习得到。该模块利用条带卷及操作对输入图片信息进行三次下采样，图片信息的输出维度保持不变。所述条带状卷积模块具体计算步骤如下：
z(i，j)＝fs(z1(i，j)+z2(i，j)) (1)
其中：z1(i，j)，z2(i，j)是垂直和水平方向上条带卷积卷积输出，是垂直和水平方向条带卷积里面对应权重，x(i，j)是对应(i，j)位置的输入，fs(·)是1×1卷积层，z(i，j)为结合了垂直和水平的条带卷积的输出。最终按照残差网络结构将其与最开始的x输入进行一个融合输出最终的结果。
模块2：条带与空间混合池化层模块
所述条带与空间混合池化层模块是用于对图片信息中的像素的特征进行压缩和网络参数简化。其输入是经过卷积变换的二维图片矩阵信息，输出是聚合了n个临近像素特征的像素值组成的二维灰度矩阵。具体操作步骤如下：利用空间池化层的短程信息和条带池化层的远程信息融合得到的像素包含全局上下文信息和通道上下文信息。具体计算步骤如下：
其中：是条带池化层的二维输入图片信息张量，H×W是空间高度和宽度，h，w是需要池化的空间范围，/>是水平条带池化后的输出，/>是垂直条带池化后的输出，wi是不同池化结果的权重，yC，i，j是最终池化输出结果。
模块3：特征选择模块
所述特征选择模块是用于对特征金字塔网络之间的输入特征进行通道降维之前强调包含重要空间细节的通道注意力网络模块，其输入是上层网络中的图片像素信息，输出是对图片中通道赋予相应权重的图片像素输出。具体操作步骤如下：利用Senet网络中的通道注意力机制，通过1×1卷积操作输出D个通道权重u＝[u1，u2，…，uD]，通道维度的权重与输入相乘来赋予原输入通道维权重，最终的是通过通道维权重输入与原输入相加再进行1×1卷积操作表示最终的图片输出，定义如下：
u＝fm(z) (7)
其中：是最终的输出结果，Ci是模块的原始输入，fm(·)是由1×1卷积层和sigmoid激活层构成负责给通道赋予对应权重，z是Ci进行全局池化所得，fs(·)是由1×1卷积层组成的负责对通道维度进行整合输出。
模块4：Ghost卷积的轻量化模块
所述的Ghost卷积轻量化模块是由经典卷积和低成本卷积操作共同组成，用于取代原先卷积层使得整体网络计算量减少，其输入与原先经典卷积输入相同均为图片像素信息，输出为整个图片信息的特征。其过程如下：首先将输入图片像素信息沿通道维分为两部分，第一部分通过经典卷积进行特征提取得到固有特征图，之后第二部分输入为第一部分的固有特征图通过低成本卷积操作进行特征提取，最后将两部分的特征图沿通道维度进行整合输出最终的特征提取图片信息。
模块5：输出模块
所述的输出模块主要由连接函数和1×1卷积层组成。用于整合不同尺度的霍夫变换的参数空间图和对整合之后的参数空间图进行阈值二值化的回归预测。
所述训练网络模型，具体包括以下步骤：
步骤1：将经过预处理的训练数据集输入给基于深度霍夫的改进式检测语义线网络的模型进行反向传播训练，该模型的学习参数包括权重和偏置项，并采用余弦退火对学习率进行调整训练网络模型。
步骤2：在参数空间中引入二元交叉熵损失函数
其中：y′(x，y)指参数空间中真值图中矩阵坐标为(x，y)的值，y(x，y)指参数空间中预测标签中矩阵坐标为(x，y)的值，根据损失函数利用批量梯度下降法进行反向传播，更新模型的学习参数，包括权重和偏置项。
步骤3：重复步骤1和步骤2，不断迭代训练网络模型参数，以获得最优的检测语义线网络模型。
利用训练完成的模型进行语义线检测测试。
有益效果：
本发明提供一种基于深度霍夫网络的语义线检测方法，通过设计的条带状卷积层，条带和空间混合池化层模块，网络之间的特征选择模块以及Ghost卷积轻量化模块，可端到端的实现语义线的检测任务。本发明的语义线检测网络在特征提取过程中不仅包括局部空间特征而且整合全局上下文和深度上下文信息，提高了网络的检测精度的同时减少网络计算量提高网络相应时间。在给定的1700个语义线测试数据下，应用本发明能够达到69.7％的正确率，达到目前此类数据集的SOTA效果。
附图说明
图1是本发明提供的基于深度霍夫网络的注意力方案和条带卷积语义线检测方法的流程图；
图2是本发明提供的基于深度霍夫网络的注意力方案和条带卷积语义线检测方法的网络结构图；
图3是本发明提供的基于深度霍夫网络的注意力方案和条带卷积语义线检测方法的识别结果图。第一列是原图像，第二列是识别结果图像。
具体实施方式
本发明的目的是提供一种基于深度霍夫变换网络的检测语义线方法，可端对端的完成网络的训练，无需任何后处理过程，本发明的深度霍夫网络的检测语义线方法不仅可以提取像素周边空间特征而且可以整合全局上下文语义信息和减少网络之间像素冗余特征，提高检测精度。
下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
图1是本发明提供的语义线检测的网络流程图；图2是本发明提供的语义线检测的网络结构图；图3是本发明提供的语义线检测的结果图。
本发明提供的基于深度霍夫网络的语义线检测方法具体包括：
步骤1：数据预处理
所述数据预处理包括数据集的预处理部分。其是将公开数据集进行训练集和测试集的分类并重新将数据集内的所有图片的尺寸放缩到120×160的分辨率尺寸。
步骤二：构建语义线检测网络
本发明所构建的语义线检测的深度霍夫改进网络，具体包括条带状卷积模块、条带及空间混合池化层模块、特征选择模块、GhostNet模块以及输出模块。
条带状卷积模块是指通过与原先网络中的空间卷积相似计算量设计出的条带状卷积1×n和n×1卷积变换，其输入是经过预处理的输入图片，输出是经过卷积变换得到的中间输出图片信息，条带状卷积模块中所涉及到的参数是通过训练学习得到。该模块是由卷积核为1×1、1×5和5×1，步长为1，输出通道与输入通道维持不变，padding＝2，最终输出尺寸为c×H×W的图片信息。其中c为输出图像通道。所述条带状卷积具体计算如公式(1)所示。
条带及空间混合池化层模块是用于下采样以及对图片中像素的全局上下文信息进行融合特征的池化层模块，其输入是经过卷积变换的中间输出图片信息，输出是聚合了像素周边信息和其全局上下文信息特征的特征信息。具体操作步骤如下：输入分为三个路径分别是空间池化层、水平方向上的条带池化层以及垂直方向上的条带池化层。空间池化层采用平均池化层进行处理。水平方向以及垂直方向条带池化层都是沿各自方向进行全局像素平均为1×n或者n×1的中间处理信息，再通过1维卷积将其上采样到n×n的大小，在通过2维卷积和sigmoid与空间池化层的中间输出进行融合特征输出尺寸为c×H×W的最终混合池化结果，如图2所示。
特征选择模块由Squeeze层和Excitation层组成，用于提高网络的特征表现力和降低冗余信息带来影响，其输入是前向网络中的经过卷积特征提取的上层图片特征，输出是具有通道权重的中间全局特征输出；所述的特征选择模块提高网络特征表现力的过程如下：首先通过全局池化和1×1卷积和sigmoid激活操作获得通道重要性向量u之后将其与输入相乘得到中间输出u×Ci之后与输入Ci进行相加操作之后用1×1卷积进行整合输出尺寸为c×H×W的上层语义图片特征。
Ghost轻量卷积模块利用两部分卷积层分别为基本卷积层和低成本卷积操作组成。具体其输入是经过预处理的输入图片，输出是经过两部分卷积层变换沿通道维连接得到的中间输出图片信息。所述的GhostNet模块提取图片特征的过程如下：首先进行基本卷积层采用设定好的比例(这里选择经典卷积和低成本卷积的比例为1∶1的比例)生成经典特征，然后将第一部分生成的经典特征部分传入到低成本卷积部分生成低成本特征，最后将两部分生成的特征沿通道维度连接获得c×H×W的特征，n为原先经典卷积的通道维度。卷积核的大小为[1，3，1]，步长为1。
输出模块利用聚合函数将深度霍夫阶段得到的多尺度参数空间特征合并，并通过输入通道512，输出通道为1的1×1卷积层模块输出尺寸大小为1×120×160的三维矩阵，通过阈值化可以得到参数空间中最终回归预测的结果。
具体所述的检测语义线网络流程过程如下：
为了对输入的图片的进行语义特征和细节特征的多尺度特征进行融合处理，将进行预处理的输入图片通过条带卷积模块、条带及空间混合池化层以及Ghostnet卷积层的前向网络进行特征提取，其中输出的多尺度的图片信息中每一个像素由其n×n空间信息以及b×1和1×b的远程背景信息组成，n＝3，b＝5。其每个语义像素的定义为：
然后采用反向网络和网络之间的特征选择模块进行前向网络提取的上层语义特征与反向网络的下层细节特征进行融合输出，与低维特征相比，高维特征具有通道信息冗余的特点，采用特征选择模块可以避免冗余信息带来的误差影响。最后将特征提取阶段得到的多尺度特征进行不同尺度的霍夫变换到参数空间，对不同尺度的参数空间特征进行双线性插值到统一尺度后沿通道维度进行融合回归预测输出参数空间内语义线预测概率。
步骤3：训练网络模型：
本发明的硬件环境是英特尔Platinum 8255C处理器，内存11GB，GPU为2080Ti；运行环境为Ubuntu18.04操作***，CUDA11.0，PyTorch1.7.0和python3.8。
首先将批处理大小为8的预处理后的训练数据集照片信息作为输入，对构建点的语义线检测网络的模型进行前向传播训练以学习该网络的参数，学习率的取值为0.02，批量归一化的动量为0.9，最大迭代次数为30，批处理大小为8；采用Nesterov动量算法(Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models，简称Adan)优化器进行反向传播训练，更新模型的权重和偏置项等学习参数。Adan在模型训练优化的过程中让每个参数获得自适应的学习率，来达到优化质量和速度的双重提升；最后通过迭代30次训练网络模型参数，以获得最优的语义线检测网络模型。然后将输出语义线参数空间预测值和真值语义线参数空间值输入到二元交叉熵损失函数(9)中，利用批量梯度下降法进行反向传播。最后，采用余弦退火更新学习率来更新迭代模型的学习参数以获得最优的检测网络模型。
步骤4：利用训练完成的检测语义线网络进行检测测试。
利用训练完成的语义线检测网络进行语义线检测测试。测试阶段与训练阶段的不同是，在测试阶段只需加载已经训练好的网络模型，不需要再次训练网络模型。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换和替代，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (6)
1.一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法，其特征在于，包括以下步骤：
步骤1：将数据集数据进行预处理并输入给基于深度霍夫网络的注意力方案和条带卷积语义线检测的模型，数据集数据采用网上公开数据集以及摄像头获取到的图片信息采用人类专家进行语义线真值线的标注；
步骤2：构建语义线检测网络，所述的语义线检测网络包括条带卷积模块，条带及空间混合池化模块，特征选择模块，GhostNet卷积模块，以及输出模块；
步骤3：模型训练：将预处理后的训练数据集照片信息输入到语义线检测网络的模型中进行前向传播计算，得到最终的预测结果；然后，将输出的预测结果和真值图都转换到参数空间中输入到损失函数中，利用批量梯度下降法进行方向传播；采用Adan优化器进行模型各个参数的更新优化器，该模型的学习参数包括权重和偏置项；
步骤4：利用训练完成的语义线检测网络模型进行语义线检测。
2.根据权利要求1所述的方法，其特征在于，步骤1所述的预处理指：预处理过程中需要对网络的输入图片信息进行缩放到网络需求的尺寸。
3.根据权利要求1所述的方法，其特征在于，所述的条带状卷积层具体计算步骤如下：
z(i,j)＝fs(z1(i,j)+z2(i,j)) (1)
其中：z1(i,j),z2(i,j)是垂直和水平方向上条带卷积卷积输出，是垂直和水平方向条带卷积里面对应权重，x(i,j)是对应(i，j)位置的输入，fs(·)是1×1卷积层，z(i,j)为结合了垂直和水平的条带卷积的输出；最终按照残差网络结构将其与最开始的x输入进行一个融合输出最终的结果。
4.根据权利要求1所述的方法，其特征在于，所述的条带及空间混合池化层模块指：利用空间池化层的短程信息和条带池化层的远程信息融合得到的像素包含全局上下文信息和通道上下文信息；具体计算步骤如下：
其中：是条带池化层的二维输入图片信息张量，H×W是空间高度和宽度，h,w是需要池化的空间范围，/>是水平条带池化后的输出，/>是垂直条带池化后的输出，wi是不同池化结果的权重，yC,i,j是最终池化输出结果。
5.根据权利要求1所述的方法，其特征在于，步骤1所述的特征选择模块指：用于对特征金字塔网络之间的输入特征进行通道降维之前强调包含重要空间细节的通道注意力网络模块，其输入是上层网络中的图片像素信息，输出是对图片中通道赋予相应权重的图片像素输出；具体操作步骤如下：利用Senet网络中的通道注意力机制，通过1×1卷积操作输出D个通道权重u＝[u1,u2,…,uD]，通道维度的权重与输入相乘来赋予原输入通道维权重，最终的是通过通道维权重输入与原输入相加再进行1×1卷积操作表示最终的图片输出，定义如下：
u＝fm(z) (7)
其中：是最终的输出结果，Ci是模块的原始输入，fm(·)是由1×1卷积层和sigmoid激活层构成负责给通道赋予对应权重，z是Ci进行全局池化所得，fs(·)是由1×1卷积层组成的负责对通道维度进行整合输出。
6.根据权利要求1所述的方法，其特征在于，所述的Ghost卷积轻量化模块指：在所述条带状卷积模块中，首先将其1×1、1×5和5×1、1×1的卷积进行分解，将深度卷积之前的1×1和深度卷积之后的1×1卷积都进行替换，使用Ghost卷积减低参数，最后将两者卷积进行拼接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310532781.8A CN116563682A (zh) | 2023-05-11 | 2023-05-11 | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310532781.8A CN116563682A (zh) | 2023-05-11 | 2023-05-11 | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116563682A true CN116563682A (zh) | 2023-08-08 |
Family
ID=87491242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310532781.8A Pending CN116563682A (zh) | 2023-05-11 | 2023-05-11 | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563682A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740385A (zh) * | 2023-08-08 | 2023-09-12 | 深圳探谱特科技有限公司 | 一种设备质检方法、装置和*** |
| CN117292266A (zh) * | 2023-11-24 | 2023-12-26 | 河海大学 | 一种灌区干渠混凝土裂缝检测方法、装置及存储介质 |
-
2023
- 2023-05-11 CN CN202310532781.8A patent/CN116563682A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740385A (zh) * | 2023-08-08 | 2023-09-12 | 深圳探谱特科技有限公司 | 一种设备质检方法、装置和*** |
| CN117292266A (zh) * | 2023-11-24 | 2023-12-26 | 河海大学 | 一种灌区干渠混凝土裂缝检测方法、装置及存储介质 |
| CN117292266B (zh) * | 2023-11-24 | 2024-03-22 | 河海大学 | 一种灌区干渠混凝土裂缝检测方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110335290B (zh) | 基于注意力机制的孪生候选区域生成网络目标跟踪方法 | |
| CN110210551B (zh) | 一种基于自适应主体敏感的视觉目标跟踪方法 | |
| CN110135267B (zh) | 一种大场景sar图像细微目标检测方法 | |
| CN111652321B (zh) | 一种基于改进yolov3算法的海上船舶检测方法 | |
| CN112396607B (zh) | 一种可变形卷积融合增强的街景图像语义分割方法 | |
| CN111612807B (zh) | 一种基于尺度和边缘信息的小目标图像分割方法 | |
| CN112001960B (zh) | 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法 | |
| CN112488210A (zh) | 一种基于图卷积神经网络的三维点云自动分类方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN110533712A (zh) | 一种基于卷积神经网络的双目立体匹配方法 | |
| CN113033570B (zh) | 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法 | |
| CN111931787A (zh) | 一种基于特征聚合的rgbd显著性检测方法 | |
| CN116563682A (zh) | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 | |
| CN112232134B (zh) | 一种基于沙漏网络结合注意力机制的人体姿态估计方法 | |
| CN111695494A (zh) | 一种基于多视角卷积池化的三维点云数据分类方法 | |
| CN112489164B (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
| CN115082293A (zh) | 一种基于Swin Transformer和CNN双分支耦合的图像配准方法 | |
| CN111242999B (zh) | 基于上采样及精确重匹配的视差估计优化方法 | |
| CN115359372A (zh) | 一种基于光流网络的无人机视频运动目标检测方法 | |
| CN115222998B (zh) | 一种图像分类方法 | |
| CN116486074A (zh) | 一种基于局部和全局上下文信息编码的医学图像分割方法 | |
| CN113393457A (zh) | 一种结合残差密集块与位置注意力的无锚框目标检测方法 | |
| CN116402851A (zh) | 一种复杂背景下的红外弱小目标跟踪方法 | |
| CN114511798B (zh) | 基于transformer的驾驶员分心检测方法及装置 | |
| CN117576402A (zh) | 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |