CN116740418A - 一种基于图重构网络的目标检测方法 - Google Patents
一种基于图重构网络的目标检测方法 Download PDFInfo
- Publication number
- CN116740418A CN116740418A CN202310575816.6A CN202310575816A CN116740418A CN 116740418 A CN116740418 A CN 116740418A CN 202310575816 A CN202310575816 A CN 202310575816A CN 116740418 A CN116740418 A CN 116740418A
- Authority
- CN
- China
- Prior art keywords
- graph
- time
- space
- dimension
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 230000009467 reduction Effects 0.000 claims abstract description 13
- 230000003595 spectral effect Effects 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims abstract description 7
- 238000012163 sequencing technique Methods 0.000 claims abstract description 4
- 238000001228 spectrum Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000002329 infrared spectrum Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000004927 fusion Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 101100481876 Danio rerio pbk gene Proteins 0.000 description 1
- 101100481878 Mus musculus Pbk gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于目标检测领域,公开了一种基于图重构网络的目标检测方法。该方法首先采集一段时间的多光谱图像,将其进行降维与特征提取,通过图嵌入的方式分别提取出多光谱图像的物理特征图、空间特征图、光谱特征图。通过链接边与节点将获取到的三个不同节点类型的特征图进行连接,采用基于自注意力的图池化方法,获得融合多源特征的异质图。将融合后的图数据按时间维度排序输入,获取数据的时间维和空间维特征,使用多层时空图卷积,以提取不同时空尺度的信息,通过CNN的卷积操作和全连接操作,使时空卷积的结果与预测目标维数一致,经过权值共享的全连接层对目标进行分类和定位,完成目标检测任务。该方法获取到的时空特征,使得检测更加精确。
Description
技术领域
本发明涉及目标检测领域,具体涉及一种基于图重构网络的目标检测方法。
背景技术
目标检测是计算机视觉领域的一项重要任务,其目标是在图像或视频中准确地检测出感兴趣的物体,并标注它们的位置。多光谱图像是一种包含多个波段信息的图像。它不仅包含了目标的空间信息,还包含了光谱信息,从而克服了单一模态图像信息受限的问题。对于动态弱小目标来说,利用多光谱图像的多模态信息进行目标识别,能够更加精确地获取目标区域和位置信息。因此,结合多光谱图像的特点,将其应用于目标检测任务可以提高检测的准确性和可靠性。通过利用多光谱图像中的多种波段信息,算法能够更好地区分目标与背景,并从中提取更丰富的特征信息,从而实现更精准的目标检测结果。
早期的多光谱目标识别主要通过人工波段选择实现。如特定特征波段将检测目标从复杂野外背景中分离目标,,针对伪装目标光谱特性利用偏振多光谱图像融合实现目标检测。近年来,传统人工特征选择与融合的检测手段逐渐被卷积神经网络所取代。北卡罗来纳大学的张绍廷验证了在CNN不同阶段进行特征融合对多光谱图像目标检测性能的影响。同时,Hangil则利用CNN与支持矢量回归完成对可见与远红外光谱图像的联合特征提取。西北工业大学何明一等利用深度残差网络提取多光谱遥感图像的不同层次特征,以端对端的方式实现了显著目标的检测。
然而,CNN作为基础网络模型仅擅长处理空间网络数据和建立像素之间空间局部邻域关系,容易忽略数据本身的视觉信息和不规则表示之间的隐式关系。CNN中的下采样过程降低了特征图像的空间分辨,从而不可避免地造成小目标信息丢失,使检测网络难以从有限和扭曲的结构信息中进行表征学习,同时CNN无法提取帧与帧之间的时间维度特征信息。为此,提出一个能够解决上述问题的方案是非常有必要的。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于图重构网络的目标检测方法,该方法将多光谱图像经过降维与特征提取,进行图嵌入获取图特征,利用时空图神经网络处理充分获取时间维度和空间维度的特征,进行目标检测,获得更加准确的位置与识别精度。
本发明解决上述技术问题的技术方案是:一种基于图重构网络的目标检测方法,包括以下步骤:
(S1)、采集一段时间的多光谱图像,将其进行降维与特征提取;
(S2)、然后通过图嵌入的方式分别提取出多光谱图像的物理特征图、空间特征图、光谱特征图;
(S3)、通过链接边与节点将获取到的三个维度不同节点类型的特征图进行连接,采用基于自注意力的图池化方法,获得融合多源特征的异质图;
(S4)、将融合后的图数据按时间维度排序输入,使用多层时空图卷积获取数据的时间维和空间维特征以及时空相关性;
(S5)、将通过CNN的卷积操作和全连接操作,使时空卷积的结果与预测目标维数一致,经过权值共享的全连接层对目标实现分类和定位。
优选的,在步骤(S1)中,所述的多光谱图像由可以同时采集3个及以上光谱带的多光谱相机拍摄的。
优选的,在步骤(S1)中,所述的特征降维与特征提取,是数据信息利用空谱嵌入完成不同像素光谱特征相似性的权重分配,通过流形学习对局部邻域空间和光谱信息进行相似性分类与特征降维。
优选的,在步骤(S2)中,所述的三个特征图的获取分别是:利用降维后的光谱数据,结合红外光谱特征提取光谱数据的物理特征图;利用线性迭代聚类的方法确定超像素邻居节点信息,依据超像素的空间连通性关系构建节点之间的边连接关系,提取空间特征图;结合目标的光谱特征相似性,从不同的光谱波段维度抽样重组得到目标光谱特征分布,利用图神经网络有效表示驻留在平滑流形上的光谱数据。
优选的,在步骤(S3)中,所述链接的网络模型为图自编码器,该自编码器包括但不限于图卷积自编码器、变分图卷积自编码器、对抗正则化图自编码器。
优选的,在步骤(S3)中,所述的图池化方法包括但不限于DiffPool,SAGPool,ASAP。
优选的,在步骤(S4)中,所述的时空图卷积在时间维度与空间维度采用不同的方法分别做特征提取,其中提取时间维度的网络包括但不限于RNN、GRU、LSTM、TCmodule、Transformer,用来提取空间维度的特征网络包括但不限于GCN、GAT、GCN结合GAT。
优选的,在步骤(S5)中,所述的检测方法是在通过四个层次的时空图卷积后,将提取特征经过卷积模块,最后送进目标检测模块,对目标实现分类和定位,完成目标识别任务。
与现有技术相比,本发明有以下有益效果:
通过将多光谱图像进行降维与特征提取并进行图嵌入,获得了空间特征,物理特征,光谱特征多维特征信息。所获的图结构进行合并后得到了多源信息的异质图,能够更好利用该多源异质信息补充目标的语义关联和相对位置信息。
同时,图数据中的节点和边特征表示数据之间的潜在关系,其节点具有无序和大小可变的特点,能根据任意深度的邻居节点更新该节点的状态,从而表示其属性特征关系,这一特点使其能够用于表征多光谱图像中的长程空间和光谱关系。
此外,针对CNN无法提取帧与帧之间的时间维度特征信息,我们利用时空图卷积提取时间维度的特征,能够通过该特征更加准确确定对帧间变化的运动目标和全局背景信息的关联特征提取。
附图说明
图1为本发明的一种基于图重构网络的目标检测方法的流程图。
图2为本发明的一种基于图重构网络的目标检测方法的框架图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
参见图1,本发明的一种基于图重构网络的目标检测方法包括以下步骤:
(S1)、采集一段时间的多光谱图像,将其进行降维与特征提取;
(S2)、然后通过图嵌入的方式分别提取出多光谱图像的物理特征图、空间特征图、光谱特征图;
(S3)、通过链接边与节点将获取到的三个维度不同节点类型的特征图进行连接,采用基于自注意力的图池化方法,获得融合多源特征的异质图;
(S4)、将融合后的图数据按时间维度排序输入,使用多层时空图卷积获取数据的时间维和空间维特征以及时空相关性;
(S5)、将通过CNN的卷积操作和全连接操作,使时空卷积的结果与预测目标维数一致,经过权值共享的全连接层对目标实现分类和定位。
参见图1,在步骤(S1)中,所述的获取的多光谱数据是由四个波段的多光谱图像组成,采取了1000张不同时间段的多光谱图像。
参见图1,在步骤(S1)中,所述的降维与特征提取方法:先利用增广向量融合光谱和空间信息:
x=(u,v,b1,b2,...,bB)=(x1,x2,...,xB+2)T (1)
其中h(u,v)为图上某一像素,(b1,b2,b3,bB)为波段阵列。
本实施例中,获取了4个波段的图像,故B=4。
将增广向量作为训练数据,归一化后对任一xi在监督模式下进行同类别分类,并通过k最近邻算法构建像素局部邻域,通过流形学习对局部邻域空间和光谱信息进行相似性分类与特征降维,结合空间谱多项式局部域或邻域嵌入,完成对局部邻域中不同像素光谱特征相似性的权重分配,最后结合分元矩阵乘法建立多光谱数据间低维度非线性显式映射。
具体的实施例中,增广向量中标记的元素个数为6。
参见图1,在步骤(S2)中,所述的物理特征图,包括等效温度、等效面积物理特征,通过随机游走图嵌入方法表示为图。
参见图1,在步骤(S2)中,所述的空间特征图,先通过SLIC算法对多光谱图像进行超像素分割,通过计算像素点之间的空间距离和光谱距离,并平衡权重,迭代的更新超像素聚类中心和范围边界,,得到一个由超像素构成的多光谱图像数据,依据超像素的空间连通性关系构建节点之间的边连接关系。
参见图1,在步骤(S2)中所述的光谱特征图,由通过半监督邻接矩阵的方法进行构建。具体的,该方法基于有限数量的标签数据和大量未标记数据所提供的信息构建而成,使用基于变分推Dirichlet过程混合模型构建伪标签,基于数据样本中的内在聚类算法实现空间光谱邻接矩阵构建。
参见图1,在步骤(S3)中,对于得到的三个特征图的节点与边进行分析,采用基于图自编码器的网络结构,将三个不同类型节点和边的特征图进行连接。
具体的,分析给定的每个图,通过余弦相似度分析不同图之间的节点特征向量,保留三个图中相似度高的节点。对于处理后的三个图,使用图卷积网络对其进行计算,得到每个节点的节点表征z。接着利用下面公式:
其中就是链接节点(i,j)之间的预测概率,其中σ为Sigmoid激活函数。这里,设定大于0.8概率进行链接,小于0.2的概率不连接,获得链接三个图后的新图。
参见图1,在步骤(S3)中,利用SAGpool的方法去对新图的节点进行提取与聚合信息。
具体的,将提取的新图先通过一次图神经的卷积操作,GCN对每个节点v∈V进行特征表示的学习,即将每个节点的邻居节点特征进行聚合,得到节点v的特征表示。对于每个节点v,用自注意力机制来为每个节点计算一个注意力得分z。接着利用topk选取最重要的节点,通过池化比例k来决定保留的节点数,这里我们设定k为0.5。通过这样获得基于注意力的掩码图,将该掩码图与原输入的融合的异质信息的图结构进行对应节点的相乘,获得最终的输出图,即融合多源特征的异质图。
参见图1,在步骤(S4)中,所述的提取时间维度的网络为TCmodule。该时间模块由两个扩张起始层组成。
具体的,将整个时间卷积模块输出涞源划分为两部分,模块的输入分别通过由一组一维卷积滤波器组成的扩张起始层进行过滤,不同之处在于扩张起始层后接的激活函数不同.输出的一部分来源在经过扩张起始层后通过tanh激活函数处理,其作用是过滤输入的过滤器,而另一分支输入经Sigmoid激活函数的处理,用于控制过滤器可以通往下一模块的信息量。扩张起始层采用一个由1×2、1×3、1×6和1×7的滤波器大小来组成的结构,这样上述的时间周期就能由这些滤波器大小的组合来覆盖。
在本实例中,我们一次输入10个融合异质特征的图,即从原10帧的多光谱图像提取出前后时间特征关系。
参见图1,在步骤(S4)中,所述的提取取空间维度的特征网络为GCN加GAT。
具体的,在经过时间模块的网络后经过GCN层提取空间特征,接着通过GAT图注意力层进行节点间的信息传递,捕捉节点之间的依赖关系。将通过一次TCmodule和GCN以及GAT后的特征再次通过同样的处理,并将每一次处理后生成的特征往后进行特征提取。
在本实例中,我们提取四个层次的特征,并用concat函数将获取的特征进行拼接,得到多尺度的时空特征。
参见图1,在步骤(S5)中,在提取到的时空特征后通过五层CNN的卷块,将时空卷积的结果与预测目标维数一致,最后利用MLP对于获取的特征进行分类处理,分别获取到图像中的位置信息,以及对于类别信息,完成目标检测的任务。
在本实例中,在Ubuntu 18.04.3的Linux操作***、PyCharm编译环境Python 3.9编程语言,pytorch-cuda11.7深度学习应用库,GeForce 3090显卡上的环境下进行训练。
另外在本实例中,IOU阈值是设置为0.5。使用PyTorch搭建时空图卷积网络。这里,损失函数我们设为二分类交叉熵损失函数:
其中,y是groundtruth,如果是正例则为1,如果是负例则为0,而是模型预测的正确率的概率。学习率设置为0.01,训练时epoch设置为300,batchsize大小为8,输入1000张图片。
以上所述仅是本发明的优选较佳的实施方式,本发明的保护范围并不仅局限于上述实施例的限制,凡属于本发明的精神实质和原理下的技术方案均属于本发明的保护范围。应当指出,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种基于图重构网络的目标检测方法,其特征在于,包括以下步骤:
(S1)、采集一段时间的多光谱图像,将其进行降维与特征提取;
(S2)、然后通过图嵌入的方式分别提取出多光谱图像的物理特征图、空间特征图、光谱特征图;
(S3)、通过链接边与节点将获取到的三个维度不同节点类型的特征图进行连接,采用基于自注意力的图池化方法,获得融合多源特征的异质图;
(S4)、将融合后的图数据按时间维度排序输入,使用多层时空图卷积获取数据的时间维和空间维特征以及时空相关性;
(S5)、将通过CNN的卷积操作和全连接操作,使时空卷积的结果与预测目标维数一致,经过权值共享的全连接层对目标实现分类和定位。
2.根据权利要求1所述的一种基于图重构网络的目标检测方法,其特征在于,在步骤(S1)中,所述的多光谱图像由可以同时采集3个及以上光谱带的多光谱相机拍摄的。
3.根据权利要求1所述的一种基于图重构网络的目标检测方法,其特征在于,在步骤(S1)中,所述的特征降维与特征提取,是数据信息利用空谱嵌入完成不同像素光谱特征相似性的权重分配,通过流形学习对局部邻域空间和光谱信息进行相似性分类与特征降维。
4.根据权利要求1所述的一种基于图重构网络的目标检测方法,其特征在于,在步骤(S2)中,所述的三个特征图的获取分别是:利用降维后的光谱数据,结合红外光谱特征提取光谱数据的物理特征图;利用线性迭代聚类的方法确定超像素邻居节点信息,依据超像素的空间连通性关系构建节点之间的边连接关系,提取空间特征图;结合目标的光谱特征相似性,从不同的光谱波段维度抽样重组得到目标光谱特征分布,利用图神经网络有效表示驻留在平滑流形上的光谱数据。
5.根据权利要求1所述的一种基于图重构网络的目标检测方法,其特征在于,在步骤(S3)中,所述链接的网络模型为图自编码器,该自编码器包括但不限于图卷积自编码器、变分图卷积自编码器、对抗正则化图自编码器。
6.根据权利要求1所述的一种基于图重构网络的目标检测方法,其特征在于,在步骤(S3)中,所述的图池化方法包括但不限于DiffPool,SAGPool,ASAP。
7.根据权利要求1所述的一种基于图重构网络的目标检测方法,其特征在于,在步骤(S4)中,所述的时空图卷积在时间维度与空间维度采用不同的方法分别做特征提取,其中提取时间维度的网络包括但不限于RNN、GRU、LSTM、TCN、Transformer,用来提取空间维度的特征网络包括但不限于GCN、GAT、GCN结合GAT。
8.根据权利要求1所述的一种基于图重构网络的目标检测方法,其特征在于,在步骤(S5)中,所述的检测方法是在通过四个层次的时空图卷积后,将提取特征经过卷积模块,最后送进目标检测模块,对目标实现分类和定位,完成目标识别任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310575816.6A CN116740418A (zh) | 2023-05-22 | 2023-05-22 | 一种基于图重构网络的目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310575816.6A CN116740418A (zh) | 2023-05-22 | 2023-05-22 | 一种基于图重构网络的目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116740418A true CN116740418A (zh) | 2023-09-12 |
Family
ID=87914282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310575816.6A Pending CN116740418A (zh) | 2023-05-22 | 2023-05-22 | 一种基于图重构网络的目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116740418A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116934754A (zh) * | 2023-09-18 | 2023-10-24 | 四川大学华西第二医院 | 基于图神经网络的肝脏影像识别方法及装置 |
CN117830752A (zh) * | 2024-03-06 | 2024-04-05 | 昆明理工大学 | 一种用于多光谱点云分类的自适应空-谱掩码图卷积方法 |
-
2023
- 2023-05-22 CN CN202310575816.6A patent/CN116740418A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116934754A (zh) * | 2023-09-18 | 2023-10-24 | 四川大学华西第二医院 | 基于图神经网络的肝脏影像识别方法及装置 |
CN116934754B (zh) * | 2023-09-18 | 2023-12-01 | 四川大学华西第二医院 | 基于图神经网络的肝脏影像识别方法及装置 |
CN117830752A (zh) * | 2024-03-06 | 2024-04-05 | 昆明理工大学 | 一种用于多光谱点云分类的自适应空-谱掩码图卷积方法 |
CN117830752B (zh) * | 2024-03-06 | 2024-05-07 | 昆明理工大学 | 一种用于多光谱点云分类的自适应空-谱掩码图卷积方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111191736B (zh) | 基于深度特征交叉融合的高光谱图像分类方法 | |
Mou et al. | Relation matters: Relational context-aware fully convolutional network for semantic segmentation of high-resolution aerial images | |
Song et al. | A survey of remote sensing image classification based on CNNs | |
CN111259786B (zh) | 一种基于视频的外观和运动信息同步增强的行人重识别方法 | |
CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
Venugopal | Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images | |
Alidoost et al. | A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image | |
CN108764308A (zh) | 一种基于卷积循环网络的行人重识别方法 | |
Hsueh et al. | Human behavior recognition from multiview videos | |
CN116740418A (zh) | 一种基于图重构网络的目标检测方法 | |
CN111291809A (zh) | 一种处理装置、方法及存储介质 | |
CN112507853B (zh) | 一种基于互注意力机制的跨模态行人重识别方法 | |
CN114821164A (zh) | 基于孪生网络的高光谱图像分类方法 | |
CN112308152A (zh) | 基于光谱分割与同质区域检测的高光谱图像地物分类方法 | |
CN112580480B (zh) | 一种高光谱遥感影像分类方法及装置 | |
CN110222718A (zh) | 图像处理的方法及装置 | |
Etezadifar et al. | A new sample consensus based on sparse coding for improved matching of SIFT features on remote sensing images | |
Khoshboresh-Masouleh et al. | Improving weed segmentation in sugar beet fields using potentials of multispectral unmanned aerial vehicle images and lightweight deep learning | |
CN116740419A (zh) | 一种基于图调控网络的目标检测方法 | |
Cao et al. | Learning spatial-temporal representation for smoke vehicle detection | |
Sehree et al. | Olive trees cases classification based on deep convolutional neural network from unmanned aerial vehicle imagery | |
Khoshboresh-Masouleh et al. | Robust building footprint extraction from big multi-sensor data using deep competition network | |
Fırat et al. | Hybrid 3D convolution and 2D depthwise separable convolution neural network for hyperspectral image classification | |
WO2023222643A1 (en) | Method for image segmentation matching | |
Yaman et al. | Image processing and machine learning‐based classification method for hyperspectral images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |