CN116229104A - 一种基于边缘特征引导的显著性目标检测方法 - Google Patents
一种基于边缘特征引导的显著性目标检测方法 Download PDFInfo
- Publication number
- CN116229104A CN116229104A CN202310373810.0A CN202310373810A CN116229104A CN 116229104 A CN116229104 A CN 116229104A CN 202310373810 A CN202310373810 A CN 202310373810A CN 116229104 A CN116229104 A CN 116229104A
- Authority
- CN
- China
- Prior art keywords
- edge
- features
- salient
- salient object
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 68
- 230000004927 fusion Effects 0.000 claims abstract description 52
- 238000010586 diagram Methods 0.000 claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000002360 preparation method Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 80
- 230000008569 process Effects 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000007670 refining Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000007499 fusion processing Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 description 1
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例涉及显著性目标检测技术领域，特别涉及一种基于边缘特征引导的显著性目标检测方法，包括：从显著对象真值图中提取显著对象的边缘数据，并将边缘数据作为额外的预备训练集；采用基础网络提取图像特征，并基于图像特征，分别得到显著性对象的边缘特征、多尺度的位置特征；基于多层感知机，对边缘特征与多尺度的位置特征的关系动态学习，得到边缘增强融合特征；将边缘增强融合特征送入卷积网络进行细化处理，并基于细化后的边缘增强融合特征，得到最终分割结果。本申请提供的方法，通过有效利用显著对象边缘信息和位置信息，克服现有显著性目标检测方法对于边缘信息的利用不充分且对边缘位置特征和全局特征间的联系欠缺考虑的缺陷。
Description
技术领域
本申请实施例涉及显著性目标检测技术领域，特别涉及一种基于边缘特征引导的显著性目标检测方法。
背景技术
在深度学习中，显著性目标检测(SOD)旨在从输入图像上找出最引人注目的对象，是计算机视觉任务中重要的预处理步骤之一。其研究范围涵盖图像、三维数据、光场、视频等诸多方面，相关的技术也在信息检索、目标跟踪、图像编辑等领域有着广泛应用。近几年，得益于相关技术的快速发展，特别是结合深度学习的语义分割技术的大幅度进步，显著性目标检测领域的研究目标和问题也进一步细化和深入。在针对静态图像的显著性目标检测领域中，其研究目标就逐渐从单目标的检测任务转变为包括多目标、伪装目标等问题在内的复杂任务。
与绝大多数计算机视觉领域的课题一致，显著性目标检测经历了由传统方法向深度学习方法转变的过程，目前深度学习方法牢牢占据着准确率排行榜前列的位置。两类方法的主要区别在于传统方法需要人工设计特征，而深度学习方法可利用卷积神经网络自动提取特征。在传统方法中，显著性目标特征一般根据图像的特点来设计，之后再与一些机器学习方法相结合。在深度学习方法中，借助卷积神经网络，显著对象的位置和边界等信息能够转换为表达能力更强的特征，因此研究重心转向如何找到并利用图像中与显著对象相关的信息部分。
现有的显著性目标检测方法后，有一些问题尚未解决。首先，对于边界信息的利用并不充分。大部分方法并没有显式地利用显著对象边缘这一有利的信息，这使得方法不能很好地预测到完整的对象轮廓。特别是在某些显著对象边界邻域对比度较低的情况下，由于周围像素比较接近，导致卷积后得到的特征在边缘附近的像素极为相似，在后续处理过程中很难区分出显著对象的边界，这也是预测结果出现边界模糊甚至是不能预测出边缘的直接原因。第二，现有的显著性目标检测方法对输入图像的尺寸十分敏感，不同尺寸下的同一图像得到的预测结果并不一致。第三，对边缘位置特征和全局特征间的联系欠缺考虑。目前常用的处理方法往往是对全局特征和边缘位置特征使用独立的分支处理，之后简单地进行融合，不考虑两种特征之前的区别和联系，这使得融合过程中会引入噪声。
发明内容
本申请实施例提供一种基于边缘特征引导的显著性目标检测方法，通过有效利用显著对象边缘信息和位置信息，并考虑其与全局信息的关系，以克服现有显著性目标检测方法对于边缘信息的利用不充分且对边缘位置特征和全局特征间的联系欠缺考虑的缺陷。
为解决上述技术问题，本申请实施例提供一种基于边缘特征引导的显著性目标检测方法，包括以下步骤：首先，从显著对象真值图中提取显著对象的边缘数据，并将所述边缘数据作为额外的预备训练集；然后，采用基础网络提取图像特征，并基于所述图像特征，分别得到显著性对象的边缘特征、多尺度的位置特征；接下来，基于多层感知机，对所述边缘特征与所述多尺度的位置特征的关系动态学习，得到边缘增强融合特征；最后，将所述边缘增强融合特征送入卷积网络进行细化处理，并基于细化后的边缘增强融合特征，得到最终分割结果。
在一些示例性实施例中，从显著对象真值图中提取显著对象的边缘数据，并将所述边缘数据作为额外的预备训练集，包括：基于显著对象真值图，计算图像像素梯度的幅值和方向，得到计算后的图像像素梯度；对所述计算后的图像像素梯度进行非极大值抑制，得到初步显著对象的边缘二值图像；使用双阈值对所述边缘二值图像进行筛选，得到与显著对象真实边缘相接近的边缘图像；基于所述边缘图像，提取显著对象的边缘数据，并将边缘数据转换为png格式，将png格式的边缘数据作为额外的预备训练集。
在一些示例性实施例中，采用基础网络提取图像特征，并基于所述图像特征，分别得到显著性对象的边缘特征、多尺度的位置特征，包括：将所述基础网络的卷积块得到的特征与所述边缘图像进行回归学***均后，得到图像边缘预测结果与边缘轮廓真值图之间的损失；显著性对象的边缘特征的回归过程的表达式为：
lbce(x，y)＝ylog(x)+(1-y)log(1-x)
其中，lbce(x，y)函数为二值交叉熵函数，表示两个概率分布间的差异性；Ge为边缘轮廓真值图；n表示像素点的个数，k表示代像素点的索引，ek和
分别表示预测边界图和轮廓真值图的像素点。
在一些示例性实施例中，将所述基础网络的卷积块得到的特征与所述显著对象真值图进行回归学***均后，得到粗糙显著对象预测结果与显著对象真值图之间的损失；粗糙显著对象的回归过程的表达式为：
lbce(x，y)＝ylog(x)+(1-y)log(1-x)
其中，lbce(x，y)函数为二值交叉熵函数，表示两个概率分布间的差异性；GSi为显著对象真值图；n表示像素点的个数；k表示代像素点的索引；
和/>
分别表示预测的显著对象结果和显著对象真值图的像素点；i代表显著对象特征所对应的尺度，i＝3,4,5,6。
在一些示例性实施例中，基于多层感知机，对所述边缘特征与所述多尺度的位置特征的关系动态学习，得到边缘增强融合特征，包括：将所述边缘特征进行空间位置编码，基于注意力机制，对所述边缘特征进行细化；对不同尺度的显著对象特征重采样，直至所述显著对象特征与所述边缘特征的分辨率一致；将不同尺度的显著对象特征与边缘特征拼接后送入卷积层进行学习，分别得到显著对象的边缘编码权重、显著对象的位置编码权重；基于所述显著对象的边缘编码权重、所述显著对象的位置编码权重，为所述边缘特征、所述位置特征赋予特定权重，并将所述边缘特征、所述位置特征进行融合，得到边缘增强融合特征。
在一些示例性实施例中，对所述边缘特征进行细化的计算过程的表达式为：
其中，δ函数为ReLU激活函数；⊙表示像素级乘法；E是边缘特征；W和b为所述边缘特征经过一系列全连接层产生的参数；其中，所述显著对象的边缘特征的维度与所述显著对象位置的基础特征的维度一致。
在一些示例性实施例中，所述显著对象的边缘编码权重、所述显著对象的位置编码权重的计算过程的表达式为：
fi＝Concat(E，upsample(Si))
(WE，WSi)＝σ(GAP(δ(conv(fi，W)))
其中，Si表示第i层的显著对象特征；E表示边缘特征；Concat函数为特征通道拼接操作；upsample表示上采样，其中，上采样后Si与边缘特征E的分辨率相同；W表示卷积层的参数；δ表示ReLU激活函数；GAP表示全局平均池化；σ是用来进行归一化处理的sigmoid函数；WE、WSi分别为所述显著对象的边缘编码权重、所述显著对象的位置编码权重；得到边缘增强融合特征的计算过程的表达式为：
其中，
为第i层显著对象特征与边缘特征融合后得到的边缘增强融合特征。
在一些示例性实施例中，将所述边缘增强融合特征送入卷积网络进行细化处理，并基于细化后的边缘增强融合特征，得到最终分割结果，包括：将所述边缘增强融合特征送入卷积块进行解码；将多种尺度下的解码特征与与其对应的显著对象进行回归，得到回归结果；将所述回归结果转换为显著性分数，获得鲁棒的显著性分割结果；将经过边缘增强后的多尺度显著性特征融合，得到最终精细的显著性预测图，同时利用边缘增强交叉熵函数和交并比损失函数计算损失，以进行反向传播。
在一些示例性实施例中，交并比损失函数的计算过程为：用两幅分割图相交的部分除以并集，得到交并比的值；交并比损失函数的计算公式如下：
其中，IOU为交并比；A和B分别表示两幅需要进行交并比计算的图像；C为图像像素点的数目；ygt表示显著对象真值图的像素点；ypred表示将经过边缘增强后的多尺度显著性特征融合后得到的最终精细的显著性预测图。
在一些示例性实施例中，利用边缘增强交叉熵函数和交并比损失函数计算损失时，损失函数的计算规则如下定义：利用边缘图增强显著对象边界附近领域的权重，引入二维正态分布以提高泛化能力，高斯核函数G(x,y)公式如下：
设Egt为边界图片，将边界图片进行高斯核卷积，得到权重wg：
wg＝Conv(G(x，t)，E)
其中，wg表示为边界邻近区域分配的权重；
最终的边缘增强损失函数如下所示：
其中，lee表示最终的边缘增强损失函数，lbce表示二分类交叉熵函数；
在利用边缘增强交叉熵函数和交并比损失函数计算损失时，计算损失的计算规则按如下定义：设lcoarse和lfine分别对应前半部分粗糙的显著性分割结果和后半部分精细的显著性目标分割结果，其计算过程如下：
Lcoarse＝ledge(E，Ge)+lsal(Si，Gsi)
其中，E、Si分别表示前半部分边缘特征、显著对象的粗粒度特征，Fpred为最终的多尺度融合显著性目标预测结果；
最终的损失函数为显著性目标检测的粗糙预测损失和精细预测损失之和，表达式如下所示：
ltotal＝lcoarse+lfine
其中，ltotal表示最终的损失函数。
本申请实施例提供的技术方案至少具有以下优点：
本申请实施例提供一种基于边缘特征引导的显著性目标检测方法，该方法包括以下步骤：首先，从显著对象真值图中提取显著对象的边缘数据，并将所述边缘数据作为额外的预备训练集；然后，采用基础网络提取图像特征，并基于所述图像特征，分别得到显著性对象的边缘特征、多尺度的位置特征；接下来，基于多层感知机，对所述边缘特征与所述多尺度的位置特征的关系动态学习，得到边缘增强融合特征；最后，将所述边缘增强融合特征送入卷积网络进行细化处理，并基于细化后的边缘增强融合特征，得到最终分割结果。
首先，本申请设计了一个将图像边缘特征应用于显著对象位置的转换规则，每个多尺度融合分支都对边缘特征的信息进行增强，并且自适应地与显著对象信息进行融合，解决了跨度较大的边缘特征和对象特征进行融合时引入噪声的问题。
其次，本申请同时使用显著对象边缘和位置信息辅助显著性目标检测，且同时考虑了这两种信息与全局信息的关系，多尺度特征间的差异，以及上采样融合过程中可能产生误导的情况，补足了辅助信息与显著对象信息在融合过程中可能引入噪声的缺点，实现了更为精准的显著性目标检测。
再次，本申请考虑了方案的普适性和便携性，更加充分地利用了边缘信息，为边缘邻域像素点在损失函数中赋予了更高地权重，进一步加强了边缘特征的作用。由于多组边缘和位置特征的引入，本申请加入了关系特征赋权步骤，使用者不需要手动分配就可以得到对应关系特征的最佳权重，使方案更具普适性。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，除非有特别申明，附图中的图不构成比例限制。
图1为本申请一实施例提供的一种基于边缘特征引导的显著性目标检测方法的流程示意图；
图2是本申请一实施例提供的基于边缘特征引导的显著性目标检测方法的框架图；
图3是本申请一实施例提供的边缘位置关系特征计算流程图；
图4是本申请一实施例提供的边缘增强损失的权重示意图；
图5是本申请一实施例提供的多种显著性目标检测方法对比的可视化图。
具体实施方式
由背景技术可知，现有的显著性目标检测方法存在着对于边缘信息的利用不充分且对边缘位置特征和全局特征间的联系欠缺考虑的技术问题。
前面提到，显著性目标检测经历了由传统方法向深度学习方法转变的过程，传统方法和深度学习方法的主要区别在于传统方法需要人工设计特征，而深度学习方法可利用卷积神经网络自动提取特征。在传统方法中，显著性目标特征一般根据图像的特点来设计，之后再与一些机器学习方法相结合。有相关技术提出广义主成分分析，利用线性子空间方法取代实际分割图像，并通过测量特征对比值与区域几何属性来选择显著区域。还有相关技术提出通过引入相似图像来使判断结果更为准确，文中指出相似图像将提供对背景区域的良好近似，即使每张图像的显著区域可能并不接近，但分辨出背景区域亦即分辨出了显著区域。
在深度学习方法中，借助卷积神经网络，显著对象的位置和边界等信息能够转换为表达能力更强的特征，因此研究重心转向如何找到并利用图像中与显著对象相关的信息部分。一相关技术提出了由两个部分组成的模型，即循环定位网络和边界细化网络。该模型通过反复关注各种场景的空间分布可以帮助更好地定位显着对象，同时有助于通过每个像素与其邻居之间的关系来细化显着性图。还有一相关技术提出扩充池化影响力解决该问题，提出金字塔池化，并为池化网络增加了边缘检测分支，进而锐化显著物体细节。有相关技术提出针对分割图像边界模糊的问题提出使用BCE、SSIM、IOU联合损失，使网络更关注于边界质量，而不是像以前那样只关注区域精度。
由于现有的显著性目标检测方法对于边界信息的利用并不充分、且现有的显著性目标检测方法对边缘位置特征和全局特征间的联系欠缺考虑。目前常用的处理方法往往是对全局特征和边缘位置特征使用独立的分支处理，之后简单地进行融合，不考虑两种特征之前的区别和联系，这使得融合过程中会引入噪声。因此，开发一种有效利用显著对象边缘和位置信息并考虑其与全局信息关系的显著性目标检测方法极具现实意义。
为解决上述技术问题，本申请实施例提供一种基于边缘特征引导的显著性目标检测方法，该方法包括以下步骤：首先，从显著对象真值图中提取显著对象的边缘数据，并将所述边缘数据作为额外的预备训练集；然后，采用基础网络提取图像特征，并基于所述图像特征，分别得到显著性对象的边缘特征、多尺度的位置特征；接下来，基于多层感知机，对所述边缘特征与所述多尺度的位置特征的关系动态学习，得到边缘增强融合特征；最后，将所述边缘增强融合特征送入卷积网络进行细化处理，并基于细化后的边缘增强融合特征，得到最终分割结果。本申请实施例提供一种基于边缘特征引导的显著性目标检测方法，通过有效利用显著对象边缘信息和位置信息，并考虑其与全局信息关系，以克服现有显著性目标检测方法对于边缘信息的利用不充分且对边缘位置特征和全局特征间的联系欠缺考虑的问题。
下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。
参看图1，本申请实施例提供了一种基于边缘特征引导的显著性目标检测方法，包括以下步骤：
步骤S1、从显著对象真值图中提取显著对象的边缘数据，并将边缘数据作为额外的预备训练集。
步骤S2、采用基础网络提取图像特征，并基于图像特征，分别得到显著性对象的边缘特征、多尺度的位置特征。
步骤S3、基于多层感知机，对边缘特征与多尺度的位置特征的关系动态学习，得到边缘增强融合特征。
步骤S4、将边缘增强融合特征送入卷积网络进行细化处理，并基于细化后的边缘增强融合特征，得到最终分割结果。
具体的，本申请提供的基于边缘特征引导的显著性目标检测方法，首先，从显著对象真值图中提取显著对象的边缘数据，并将该边缘数据作为额外的预备训练集，从而为后续学习鲁棒的边缘特征做准备。接下来，使用成熟可靠的基础网络提取图像特征，并通过FPN结构进一步得到多尺度显著性对象的边缘特征、多尺度的位置特征。然后，利用多层感知机动态学习边缘特征与显著对象位置特征间的关系，互补地利用显著对象位置特征和边缘特征，获得边缘增强融合特征，此处，融合后的多尺度特征也称为边缘、对象增强型特征；最后，将融合后的多尺度特征在卷积网络中进一步细化，并将细化后的多尺度特征相加，从而获得最终的分割结果。为了增强网络的边缘学习效果，本申请在交叉熵损失函数中运用边缘辅助信息为边界附近区域赋予更高的权重。
图2基于图1所示的工作流程构建，展示了整个方案的基本框架。接下来，本说明书按照上述四个步骤对本方法加以详细说明。
在一些实施例中，步骤S1中从显著对象真值图中提取显著对象的边缘数据，并将所述边缘数据作为额外的预备训练集，包括：
步骤S101、基于显著对象真值图，计算图像像素梯度的幅值和方向，得到计算后的图像像素梯度。
步骤S102、对所述计算后的图像像素梯度进行非极大值抑制，得到初步显著对象的边缘二值图像。
步骤S103、使用双阈值对所述边缘二值图像进行筛选，得到与显著对象真实边缘相接近的边缘图像。
步骤S104、基于所述边缘图像，提取显著对象的边缘数据，并将边缘数据转换为png格式，将png格式的边缘数据作为额外的预备训练集。
具体的，步骤S1的具体方法为：选择边缘检测算子对需要提取边缘的显著分割真值图进行处理，获得显著性对象边缘数据，选择的主要标准为精度。本实施例中，边缘检测算子选择Canny算子。在计算像素点的梯度和方向时，对于一张图片来说，梯度能很好地反映其像素的变化情况，而梯度变化越大，说明相邻像素之间存在着较大差异，放大到整张图片来说，就是在某一块区域存在边缘，从视觉上来说就是用黑到白，梯度的计算分为大小和方向，首先需要求出各个方向上的梯度，然后求平方根和切线。以下是x、y方向上梯度的计算方式：
然后，进行双阈值和滞后边界跟踪的过程。具体的，设定一个阈值上界和阈值下界，图像中的像素点如果大于阈值上界则认为必然是边界(强边界)，小于阈值下界则认为必然不是边界，两者之间的则认为是候选项(弱边界)，需利用滞后边界跟踪进行二次判断。
在一些实施例中，所述显著对象边缘、多尺度的位置特征的提取步骤为：以VGG16骨干网络为例，由于低层特征包含较多的细节信息，高层特征包含较多的语义信息，将第二层卷积块最后一个卷积层得到的特征与边缘图做回归学习边缘特征，之后几层的特征与显著对象真值图做回归学习位置特征。
在一些实施例中，特征提取方法为：使用特征金字塔网络提取原图像的多尺度特征。每个尺度的特征都会单独地进行预测，并且各个尺度的预测损失都会加入到最终的损失函数中。
在一些实施例中，步骤S2中采用基础网络提取图像特征，并基于所述图像特征，分别得到显著性对象的边缘特征、多尺度的位置特征，包括：
步骤S201、将所述基础网络的卷积块得到的特征与所述边缘图像进行回归学习，得到显著性对象的边缘特征。
步骤S202、将所述基础网络的卷积块得到的特征与所述显著对象真值图进行回归学习，得到多尺度显著性对象的位置特征。
具体的，步骤S2的具体方法为：首先，将图像送入基础网络中提取特征。基础网络的选取兼顾精度与效率，如图2所示，本实施例选取在ImageNet数据集上预训练的VGG16网络，使用其卷积块2(Conv2-2)提取边缘特征，卷积块3至卷积块6(卷积块6沿用了卷积块5)提取显著对象特征。然后，使用FPN结构将显著对象特征和边缘特征与显著对象真值图(数据集提供)、显著对象边缘图分别做回归，进一步得到对应的多尺度显著对象基础特征Si(i＝3,4,5,6)和边界基础特征E。
其中，显著性对象的边缘特征的回归过程包括：将预测边界图对应的像素点与轮廓真值图对应的像素点进行二分类交叉熵判断，得到判断结果；将所述判断结果进行累加平均后，得到图像边缘预测结果与边缘轮廓真值图之间的损失。
显著性对象的边缘特征的回归过程的表达式为：
lbce(x，y)＝ylog(x)+(1-y)log(1-x)
其中，lbce(x，y)函数为二值交叉熵函数，表示两个概率分布间的差异性；Ge为边缘轮廓真值图；n表示像素点的个数，k表示代像素点的索引，ek和
分别表示预测边界图和轮廓真值图的像素点。
在一些实施例中，步骤S202中将所述基础网络的卷积块得到的特征与所述显著对象真值图进行回归学习的过程，还包括：多尺度粗糙显著对象的回归。
其中，所述多尺度粗糙显著对象的回归过程包括：将预测的多尺度显著对象结果对应的像素点与显著对象真值图对应的像素点进行二分类交叉熵判断，得到判断结果；将所述判断结果进行累加平均后，得到粗糙显著对象预测结果与显著对象真值图之间的损失；粗糙显著对象的回归过程的表达式为：
lbce(x，y)＝ylog(x)+(1-y)log(1-x)
其中，lbce(x，y)函数为二值交叉熵函数，表示两个概率分布间的差异性；GSi为显著对象真值图；n表示像素点的个数；k表示代像素点的索引；
和/>
分别表示预测的显著对象结果和显著对象真值图的像素点；i代表显著对象特征所对应的尺度，i＝3,4,5,6。
在一些实施例中，步骤S3中基于多层感知机，对所述边缘特征与所述多尺度的位置特征的关系动态学习，得到边缘增强融合特征，包括：
步骤S301、将所述边缘特征进行空间位置编码，基于注意力机制，对所述边缘特征进行细化。
步骤S302、对不同尺度的显著对象特征重采样，直至所述显著对象特征与所述边缘特征的分辨率一致。
步骤S303、将不同尺度的显著对象特征与边缘特征拼接后送入卷积层进行学习，分别得到显著对象的边缘编码权重、显著对象的位置编码权重。
步骤S304、基于所述显著对象的边缘编码权重、所述显著对象的位置编码权重，为所述边缘特征、所述位置特征赋予特定权重，并将所述边缘特征、所述位置特征进行融合，得到边缘增强融合特征。
如图3所示，步骤S3的具体方法为：首先，将边缘特征E进行空间位置编码，压缩通道维度，利用注意力机制细化边缘特征
在一些实施例中，对所述边缘特征进行细化的计算过程的表达式为：
其中，δ函数为ReLU激活函数；⊙表示像素级乘法；E是边缘特征；W和b为所述边缘特征经过一系列全连接层产生的参数；其中，为了方便处理，所述显著对象的边缘特征的维度与所述显著对象位置的基础特征的维度一致。
对不同尺度的显著对象特征Si(i＝3,4,5,6)重采样至与边缘特征E分辨率一致，两者拼接后送入后续卷积层和池化层进行学习到对应的显著对象边缘、位置的基础特征权重WE、WSi。
在一些实施例中，所述显著对象的边缘编码权重、所述显著对象的位置编码权重的计算过程的表达式为：
fi＝Concat(E，upsample(Si))
(WE，WSi)＝σ(GAP(δ(conv(fi，W))
其中，Si表示第i层的显著对象特征；E表示边缘特征；Concat函数为特征通道拼接操作；upsample表示上采样，其中，上采样后Si与边缘特征E的分辨率相同；W表示卷积层的参数；δ表示ReLU激活函数；GAP表示全局平均池化；σ是用来进行归一化处理的sigmoid函数；WE、WSi分别为所述显著对象的边缘编码权重、所述显著对象的位置编码权重。
在得到的权重WE、WSi后，基于权重WE、WSi为边缘、位置特征赋予特定权重，并将两种关系特征进行融合，得到初步的边缘增强融合特征。
得到边缘增强融合特征的计算过程的表达式为：
其中，
为第i层显著对象特征与边缘特征融合后的结果，即边缘增强融合特征。
在一些实施例中，步骤S4将所述边缘增强融合特征送入卷积网络进行细化处理，并基于细化后的边缘增强融合特征，得到最终分割结果，包括：
步骤S401、将所述边缘增强融合特征送入卷积块进行解码。
步骤S402、将多种尺度下的解码特征与与其对应的显著对象进行回归，得到回归结果。
步骤S403、将所述回归结果转换为显著性分数，获得鲁棒的显著性分割结果。
步骤S404、将经过边缘增强后的多尺度的显著性特征融合，得到最终精细的显著性预测图，同时利用边缘增强交叉熵函数和交并比损失函数计算损失，以进行反向传播。
具体的，步骤S4的具体方法为：首先，将多尺度的边缘增强融合特征
送入解码器进行解码；然后，将多种尺度下的解码特征与对应的显著对象进行回归，利用sigmoid函数将回归结果转换为显著性分数，获得鲁棒的显著性分割结果，即各个尺度的显著性结果图；最后，将所有多尺度的显著性特征融合，得到最终精细的显著性预测图，同时利用边缘增强交叉熵函数和IOU函数计算损失，以进行反向传播。
在一些实施例中，交并比损失函数的计算过程为：用两幅分割图相交的部分除以并集，得到交并比的值；交并比损失函数的计算公式如下：
其中，IOU为交并比；A和B分别表示两幅需要进行交并比计算的图像；C为图像像素点的数目；ygt表示显著对象真值图的像素点；ypred表示将经过边缘增强后的多尺度的显著性特征融合后得到的最终精细的显著性预测图。
参看图4，示出了边缘增强损失的计算过程。在一些实施例中，利用边缘增强交叉熵函数和交并比损失函数计算损失时，损失函数的计算规则如下定义：利用边缘图增强显著对象边界附近邻域的权重，引入二维正态分布以提高泛化能力，高斯核函数G(x,y)公式如下：
设Egt为边界图片，将边界图片进行高斯核卷积，得到权重wg：
wg＝Conv(G(x，y)，E)
其中，wg表示为边界邻近区域分配的权重；
最终的边缘增强损失函数如下所示：
其中，lee表示最终的边缘增强损失函数，lbce表示二分类交叉熵函数。
在利用边缘增强交叉熵函数和交并比损失函数计算损失时，所述框架的损失函数计算规则按如下定义：设lcoarse和lfine分别对应前半部分粗糙的显著性分割结果和后半部分精细的显著性目标分割结果，其计算过程如下：
lcoarse＝ledge(E，Ge)+lsal(Si，GSi)
其中，E、Si分别表示前半部分边缘特征、显著对象的粗粒度特征，Fpred为最终的多尺度融合显著性目标预测结果；
最终的损失函数为显著性目标检测的粗糙预测损失和精细预测损失之和，表达式如下所示：
ltotal＝lcoarse+lfine
其中，ltotal表示最终的损失函数。
对基于边缘特征引导的显著性目标检测方法的实验结果：
为验证本申请在显著性目标检测任务上的实际表现，在四个著名的公开数据集DUTS、ECSSD、HKU-IS与DUT-OMRON上进行了实验。
DUTS是目前最大的显著性目标检测数据集，包含10553张训练图像和5019张测试图像。训练图像选自ImageNet的训练集，测试图像选自ImageNet测试集和SUN数据集，其像素级标注由50名参与者手工标注完成。
ECSSD数据集由MSRA中选取出的1000张复杂场景图像组成，其中包含许多语义上有意义但结构复杂图像，常用于模型评估。PASCAL-S数据集包含4447张具有显著对象像素级标注的图像，这些图像至少满足下面条件之一：至少有一个显著性对象接触到图像的边界；颜色对比度小于0.7；存在多个不相连的显著性对象。DUT-OMRON包含从14000张图像中手动选择的5168张高质量图像，所有图像都包含一个或多个显著对象和相对复杂的背景。与多数方法一致，本方案采用MAE和F-measure作为评估标准，其中MAE(平均绝对误差)的值越小说明性能越好，F-measure综合考虑查准率和查全率，值越大说明性能越好，用符号Fβ指代。
表1给出了在DUTS验证集上本申请与其他方法的在MAE和Fβ指标上的比较。
表1 DUTS验证集上的MAE和Fβ
根据表1，可以看出本申请在该数据集上取得了极佳的精度，在该数据集的MAE达到0.05以下的情况下，仍取得一定提升，而Fβ与最优值接近。值得注意的是，我们的提升不仅仅体现在数据上，在视觉上的效果提升也很明显。我们在图5中做了一些可视化的展示，可以看到本申请优于其他方法，特别是在区分显著对象的边界效果上，本申请平衡和加强了边界信息，可以更好地识别显著对象边界附近地兴趣点。
表2给出了在ECSSD测试集上本申请与其他方法的在MAE和Fβ指标上的比较。
表2 ECSSD测试集上的MAE和Fβ
根据表2，可以看出本申请在该数据集上取得了最优精度，同样在该数据集的MAE和Fβ精度分别达到0.038和0.935的情况下取得了较大提升。
表3给出了在HKU-IS测试集上本申请与其他方法的在MAE和Fβ指标上的比较。
表3 HKU-IS测试集上的MAE和Fβ
根据表3，可以看出本申请在该数据集上取得了最优精度，同样在该数据集的MAE和Fβ精度分别达到0.031和0.931的情况下取得了较大提升。
表4给出了在DUT-OMRON测试集上本申请与其他方法的在MAE和Fβ指标上的比较。
表4 DUT-OMRON测试集上的MAE和Fβ
根据表4，可以看出本申请在该数据集上取得了最优精度，同样在该数据集的MAE精度在0.05左右取得了较小的提升，而Fβ的精度与最优精度持平。
为了明确边缘增强的关系特征在该数据集上发挥了作用，图5进行了可视化，对本申请与其他的优秀方法进行直接比较。结果表明，本申请能使关系权重集中到与显著对象边缘最相关的邻近区域，而无关边缘的区域则获得了较低的权重。这一结果说明：学习边缘图像生成的显著边缘特征包含了边界信息；边缘位置关系权重的学习互补了这些边界信息和显著对象位置信息。这一过程与人用肉眼识别图片中的显著对象存在相似之处，说明本方法能够帮助计算机进一步理解图片。
由以上技术方案，本申请实施例提供一种基于边缘特征引导的显著性目标检测方法，该方法包括以下步骤：首先，从显著对象真值图中提取显著对象的边缘数据，并将所述边缘数据作为额外的预备训练集；然后，采用基础网络提取图像特征，并基于所述图像特征，分别得到显著性对象的边缘特征、多尺度的位置特征；接下来，基于多层感知机，对所述边缘特征与所述多尺度的位置特征的关系动态学习，得到边缘增强融合特征；最后，将所述边缘增强融合特征送入卷积网络进行细化处理，并基于细化后的边缘增强融合特征，得到最终分割结果。
首先，本申请设计了一个将图像边缘特征应用于显著对象位置的转换规则，每个多尺度融合分支都对边缘特征的信息进行增强，并且自适应地与显著对象信息进行融合，解决了跨度较大的边缘特征和显著对象特征进行融合时引入噪声的问题。
其次，本申请同时使用显著对象边缘和位置信息辅助显著性目标检测，且同时考虑了这两种信息与全局信息的关系。多尺度特征间的差异，以及上采样融合过程中可能产生误导的情况，补足了辅助信息与显著对象信息在融合过程中可能引入噪声的缺点，实现了更为精准的显著性目标检测。
再次，本申请考虑了方案的普适性和便携性，更加充分地利用了边缘信息为边缘邻域像素点在损失函数中赋予了更高地权重，进一步加强了边缘特征的作用。由于多组边缘和位置特征的引入，本申请加入了关系特征赋权步骤，使用者不需要手动分配就可以得到对应关系特征的最佳权重，使方案更具普适性。
本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各自更动与修改，因此本申请的保护范围应当以权利要求限定的范围为准。
Claims (10)
1.一种基于边缘特征引导的显著性目标检测方法，其特征在于，包括：
从显著对象真值图中提取显著对象的边缘数据，并将所述边缘数据作为额外的预备训练集；
采用基础网络提取图像特征，并基于所述图像特征，分别得到显著性对象的边缘特征、多尺度的位置特征；
基于多层感知机，对所述边缘特征与所述多尺度的位置特征的关系动态学习，得到边缘增强融合特征；
将所述边缘增强融合特征送入卷积网络进行细化处理，并基于细化后的边缘增强融合特征，得到最终分割结果。
2.根据权利要求1所述的基于边缘特征引导的显著性目标检测方法，其特征在于，从显著对象真值图中提取显著对象的边缘数据，并将所述边缘数据作为额外的预备训练集，包括：
基于显著对象真值图，计算图像像素梯度的幅值和方向，得到计算后的图像像素梯度；
对所述计算后的图像像素梯度进行非极大值抑制，得到初步显著对象的边缘二值图像；
使用双阈值对所述边缘二值图像进行筛选，得到与显著对象真实边缘相接近的边缘图像；
基于所述边缘图像，提取显著对象的边缘数据，并将边缘数据转换为png格式，将png格式的边缘数据作为额外的预备训练集。
3.根据权利要求2所述的基于边缘特征引导的显著性目标检测方法，其特征在于，采用基础网络提取图像特征，并基于所述图像特征，分别得到显著性对象的边缘特征、多尺度的位置特征，包括：
将所述基础网络的卷积块得到的特征与所述边缘图像进行回归学习，得到显著性对象的边缘特征；
将所述基础网络的卷积块得到的特征与所述显著对象真值图进行回归学习，得到显著性对象的位置特征；
其中，显著性对象的边缘特征的回归过程包括：
将预测边界图对应的像素点与轮廓真值图对应的像素点进行二分类交叉熵判断，得到判断结果；
将所述判断结果进行累加平均后，得到图像边缘预测结果与边缘轮廓真值图之间的损失；
显著性对象的边缘特征的回归过程的表达式为：
lbce(x，y)＝ylog(x)+(1-y)log(1-x)
其中，lbce(x，y)函数为二值交叉熵函数，表示两个概率分布间的差异性；Ge为边缘轮廓真值图；n表示像素点的个数，k表示代像素点的索引，ek和
分别表示预测边界图和轮廓真值图的像素点。
4.根据权利要求2所述的基于边缘特征引导的显著性目标检测方法，其特征在于，将所述基础网络的卷积块得到的特征与所述显著对象真值图进行回归学习的过程，还包括：
多尺度粗糙显著对象的回归；
其中，所述多尺度粗糙显著对象的回归过程包括：
将预测的多尺度的显著对象结果对应的像素点与显著对象真值图对应的像素点进行二分类交叉熵判断，得到判断结果；
将所述判断结果进行累加平均后，得到粗糙显著对象预测结果与显著对象真值图之间的损失；
粗糙显著对象的回归过程的表达式为：
lbce(x，y)＝ylog(x)+(1-y)log(1-x)
其中，lbce(x，y)函数为二值交叉熵函数，表示两个概率分布间的差异性；GSi为显著对象真值图；n表示像素点的个数；k表示代像素点的索引；
和/>
分别表示预测的显著对象结果和显著对象真值图的像素点；i代表显著对象特征所对应的尺度，i＝3，4，5，6。
5.根据权利要求1所述的基于边缘特征引导的显著性目标检测方法，其特征在于，基于多层感知机，对所述边缘特征与所述多尺度的位置特征的关系动态学习，得到边缘增强融合特征，包括：
将所述边缘特征进行空间位置编码，基于注意力机制，对所述边缘特征进行细化；
对不同尺度的显著对象特征重采样，直至所述显著对象特征与所述边缘特征的分辨率一致；
将不同尺度的显著对象特征与边缘特征拼接后送入卷积层进行学习，分别得到显著对象的边缘编码权重、显著对象的位置编码权重；
基于所述显著对象的边缘编码权重、所述显著对象的位置的编码权重，为所述边缘特征、所述位置特征赋予特定权重，并将所述边缘特征、所述位置特征进行融合，得到边缘增强融合特征。
6.根据权利要求5所述的基于边缘特征引导的显著性目标检测方法，其特征在于，对所述边缘特征进行细化的计算过程的表达式为：
其中，δ函数为ReLU激活函数；⊙表示像素级乘法；E是边缘特征；W和b为所述边缘特征经过一系列全连接层产生的参数；其中，所述显著对象的边缘特征的维度与所述显著对象位置的基础特征的维度一致。
7.根据权利要求5所述的基于边缘特征引导的显著性目标检测方法，其特征在于，所述显著对象的边缘编码权重、所述显著对象的位置编码权重的计算过程的表达式为：
fi＝Concat(E，upsample(Si))
(WE，WSi)＝σ(GAP(δ(conv(fi，W)))
其中，Si表示第i层的显著对象特征；E表示边缘特征；Concat函数为特征通道拼接操作；upsample表示上采样，其中，上采样后Sl与边缘特征E的分辨率相同；W表示卷积层的参数；δ表示ReLU激活函数；GAP表示全局平均池化；σ是用来进行归一化处理的sigmoid函数；WE、WSi分别为所述显著对象的边缘编码权重、所述显著对象的位置编码权重；
得到边缘增强融合特征的计算过程的表达式为：
其中，
为第i层显著对象特征与边缘特征融合后得到的边缘增强融合特征。
8.根据权利要求1所述的基于边缘特征引导的显著性目标检测方法，其特征在于，将所述边缘增强融合特征送入卷积网络进行细化处理，并基于细化后的边缘增强融合特征，得到最终分割结果，包括：
将所述边缘增强融合特征送入卷积块进行解码；
将多种尺度下的解码特征与与其对应的显著对象进行回归，得到回归结果；
将所述回归结果转换为显著性分数，获得鲁棒的显著性分割结果；
将经过边缘增强后的多尺度的显著性特征融合，得到最终精细的显著性预测图，同时利用边缘增强交叉熵函数和交并比损失函数计算损失，以进行反向传播。
9.根据权利要求8所述的基于边缘特征引导的显著性目标检测方法，其特征在于，交并比损失函数的计算过程为：用两幅分割图相交的部分除以并集，得到交并比的值；
交并比损失函数的计算公式如下：
其中，IOU为交并比；A和B分别表示两幅需要进行交并比计算的图像；C为图像像素点的数目；ygt表示显著对象真值图的像素点；ypred表示将经过边缘增强后的多尺度显著性特征融合后得到的最终精细的显著性预测图。
10.根据权利要求8所述的基于边缘特征引导的显著性目标检测方法，其特征在于，利用边缘增强交叉熵函数和交并比损失函数计算损失时，损失函数的计算规则如下定义：
利用边缘图增强显著对象边界附近领域的权重，引入二维正态分布以提高泛化能力，高斯核函数G(x，y)公式如下：
设Egt为边界图片，将边界图片进行高斯核卷积，得到权重wg：
wg＝Conv(G(x，y)，E)
其中，wg表示为边界邻近区域分配的权重；
最终的边缘增强损失函数如下所示：
其中，lee表示最终的边缘增强损失函数，lbce表示二分类交叉熵函数；
在利用边缘增强交叉熵函数和交并比损失函数计算损失时，计算损失的计算规则按如下定义：
设lcoarse和lfine分别对应前半部分粗糙的显著性分割结果和后半部分精细的显著性目标分割结果，其计算过程如下：
lcoarse＝ledge(E，Ge)+lsal(Si，Gsi)
其中，E、Si分别表示前半部分边缘特征、显著对象的粗粒度特征，Fpred为最终的多尺度融合显著性目标预测结果；
最终的损失函数为显著性目标检测的粗糙预测损失和精细预测损失之和，表达式如下所示：
ltotal＝lcoarse+lfine
其中，ltotal表示最终的损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310373810.0A CN116229104A (zh) | 2023-04-06 | 2023-04-06 | 一种基于边缘特征引导的显著性目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310373810.0A CN116229104A (zh) | 2023-04-06 | 2023-04-06 | 一种基于边缘特征引导的显著性目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116229104A true CN116229104A (zh) | 2023-06-06 |
Family
ID=86587491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310373810.0A Pending CN116229104A (zh) | 2023-04-06 | 2023-04-06 | 一种基于边缘特征引导的显著性目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116229104A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876711A (zh) * | 2024-03-12 | 2024-04-12 | 金锐同创(北京)科技股份有限公司 | 基于图像处理的图像目标检测方法、装置、设备及介质 |
-
2023
- 2023-04-06 CN CN202310373810.0A patent/CN116229104A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876711A (zh) * | 2024-03-12 | 2024-04-12 | 金锐同创(北京)科技股份有限公司 | 基于图像处理的图像目标检测方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047551B (zh) | 一种基于U-net改进算法的遥感影像变化检测方法及*** | |
| CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
| CN114972213A (zh) | 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法 | |
| CN112651940B (zh) | 基于双编码器生成式对抗网络的协同视觉显著性检测方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN113012177A (zh) | 基于几何特征提取和边缘感知编码的三维点云分割方法 | |
| Li et al. | A review of deep learning methods for pixel-level crack detection | |
| CN115858847B (zh) | 基于跨模态注意力保留的组合式查询图像检索方法 | |
| CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
| CN116229104A (zh) | 一种基于边缘特征引导的显著性目标检测方法 | |
| CN114882599A (zh) | 基于双分支神经网络的离线手写签名分割***和方法 | |
| CN113971764A (zh) | 一种基于改进YOLOv3的遥感图像小目标检测方法 | |
| CN112149526A (zh) | 一种基于长距离信息融合的车道线检测方法及*** | |
| CN117516937A (zh) | 基于多模态特征融合增强的滚动轴承未知故障检测方法 | |
| Zhang et al. | CSNet: a ConvNeXt-based Siamese network for RGB-D salient object detection | |
| CN117893858A (zh) | 一种融合多层级多尺度与边界信息的图像篡改定位方法 | |
| CN111595737B (zh) | 一种基于三维分支网络的光学全息粒子场颗粒点检测方法 | |
| CN112365451A (zh) | 图像质量等级的确定方法、装置、设备及计算机可读介质 | |
| CN115661482B (zh) | 一种基于联合注意力的rgb-t显著目标检测方法 | |
| Li et al. | A new algorithm of vehicle license plate location based on convolutional neural network | |
| CN116188361A (zh) | 一种基于深度学习的铝型材表面缺陷分类方法及装置 | |
| CN112927250B (zh) | 一种基于多粒度注意力分层网络的边缘检测***和方法 | |
| CN114693951A (zh) | 一种基于全局上下文信息探索的rgb-d显著性目标检测方法 | |
| CN111047571B (zh) | 一种具有自适应选择训练过程的图像显著目标检测方法 | |
| CN117635645B (zh) | 一种复杂稠密网络下的并置多尺度融合边缘检测模型 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |