CN116883746A - 一种基于分区池化超图神经网络的图节点分类方法 - Google Patents
一种基于分区池化超图神经网络的图节点分类方法 Download PDFInfo
- Publication number
- CN116883746A CN116883746A CN202310861005.2A CN202310861005A CN116883746A CN 116883746 A CN116883746 A CN 116883746A CN 202310861005 A CN202310861005 A CN 202310861005A CN 116883746 A CN116883746 A CN 116883746A
- Authority
- CN
- China
- Prior art keywords
- node
- matrix
- hypergraph
- pooling
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011176 pooling Methods 0.000 title claims abstract description 81
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000005192 partition Methods 0.000 title claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims description 200
- 230000008569 process Effects 0.000 claims description 16
- 239000002131 composite material Substances 0.000 claims description 8
- 101100481876 Danio rerio pbk gene Proteins 0.000 claims description 6
- 101100481878 Mus musculus Pbk gene Proteins 0.000 claims description 6
- 230000020411 cell activation Effects 0.000 claims description 2
- 239000012633 leachable Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 abstract description 7
- 238000010276 construction Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于分区池化超图神经网络的图节点分类方法，涉及图像处理技术领域，将司法图像中的实体目标视为图中的节点，将实体目标之间的关系建模为图(Graph)，将目标分类任务转化为图的节点分类任务，从而充分利用实体目标之间的关联关系，将FastRCNN提取到的深层特征向量视为节点的特征向量，然后根据节点特征向量的相似度构建节点之间的邻接关系，最后使用图节点分类技术完成司法图像的目标识别任务。本发明通过池化技术，提高图像分类识别速度和精度。
Description
技术领域
本发明涉及图像分类技术领域，更具体的说是涉及一种基于分区池化超图神经网络的图节点分类方法。
背景技术
对司法图像进行分析时，需要识别出图像中的实体目标，如人物、汽车和匕首等等。传统的目标识别方法使用卷积神经网络(Convolutional Neural Networks,CNNs)来完成目标识别任务，如区域卷积神经网络(Region-CNN，RCNN)、快速区域卷积神经网络(FastRegion-CNN，Fast RCNN)等目标识别技术，但是这些技术没有利用图像中实体目标之间的关联关系，而是独立地进行预测。图是由节点以及节点的连接关系构成的一种非欧几里得数据，节点的连接关系可以用邻接矩阵来表示。生活中的大量数据都可以建模为图，例如引文网络、社交网络、蛋白质结构等。图节点分类是指利用图的结构信息以及节点的特征矩阵，预测图中各个节点的类型，在图像识别分类中图节点分类是一个重要的研究领域。
利用深度学习方法研究图节点分类任务的研究领域涌现出了大量工作，根据使用的神经网络类型，这些方法可分为图神经网络和超图神经网络。图神经网络主要包括图卷积神经网络(Graph Convolutional Network，GCN)、图注意力神经网络(Graph AttentionNetwork,GAT)、图同构神经网络(Graph Isomorphism Network,GIN)等，图神经网络将节点的特征矩阵和图的邻接矩阵作为神经网络的输入，采用“邻域信息聚合”的思路，利用邻域节点的特征更新自身的特征，最后通过简单的线性分类器，得到各个节点的分类预测结果；超图神经网络是依据超图建模的神经网络结构，超图是一种泛化的图结构，由节点和超边构成，简单图的一条边只能连接两个节点，而一个超边能连接多个节点，这克服了简单图只能表示节点之间二元关系的缺点，超图中节点与超边的连接关系可以用关联矩阵来表示。
近年来基于超图建模的超图神经网络(Hypergraph Neural Networks，HGNN)在引文网络、文本分类、姿态估计等研究领域表现出良好的效果。HGNN将节点的特征矩阵和关联矩阵作为输入，利用超图拉普拉斯变换更新节点的特征表示。由于超图神经网络不能直接用于处理图数据，为了处理图数据，HGNN将节点自连接的图邻接矩阵平移变换为超图关联矩阵，把普通图转化为超图，之后利用HGNN处理转化后的超图。通过将图建模数据转化为超图建模，超图神经网络可用于图的节点分类任务。
为了增强神经网络的泛化能力、减少计算量并得到不同层级的信息，往往需要引入池化技术。池化技术是一种获得粗化数据、减少计算量、增强泛化能力的技术方法。在图神经网络中，主要有基于聚簇和基于节点选择的池化方法，二者的典型代表是DIFFPOOL和SAGPOOL，它们分别通过节点聚簇和节点选择的方式缩小图的规模。在超图神经网络中，有基于超边池化的方法，如HM-GNN，该方法通过池化超边的方式缩小超图规模。池化技术经常作为神经网络的重要结构组件，在大规模图像的内容理解任务中发挥了重要作用，能够有效提升司法图像分析的效率和效果。
但是，现有的池化方法无法被直接应用于图节点分类任务。由于图节点分类任务要求神经网络保留全部的节点特征，而现有的图池化技术会减少节点的数量，超图神经网络的池化技术也会导致节点数量的减少，因此不能应用于节点分类，不适用于图建模的司法图像分析任务。并且，基于超边池化的超图神经网络以超边作为池化对象，每次池化若干个超边，可能导致了超图信息的严重丢失。应用于司法图像实体目标识别时，可能导致实体目标识别效果差。
因此，如何基于池化的超图神经网络实现图像的准确识别分类是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于分区池化超图神经网络的图节点分类方法，将司法图像中的实体目标视为图中的节点，将实体目标之间的关系建模为图(Graph)，将目标分类任务转化为图的节点分类任务，从而充分利用实体目标之间的关联关系，将Fast RCNN提取到的深层特征向量视为节点的特征向量，然后根据节点特征向量的相似度构建节点之间的邻接关系，最后使用图节点分类技术完成司法图像的目标识别任务。
为了实现上述目的，本发明采用如下技术方案：
一种基于分区池化超图神经网络的图节点分类方法，包括以下步骤：
步骤1：获取司法图像，并利用Fast RCNN提取司法图像中所有实体目标的高阶特征向量；
步骤2：将司法图像中的实体目标作为节点，将高阶特征向量作为节点特征向量，所有节点的节点特征向量构成节点特征矩阵；计算任意两个节点特征向量的余弦相似度，将余弦相似度超过设定相似阈值的节点特征向量对应的两个节点作为相邻节点，获得初始的邻接矩阵，构建原始图；
步骤3：将原始图转化为超图，根据邻接矩阵构建超图，获得超图关联矩阵，并初始化迭代次数；初始化迭代次数为0；
步骤4：分区池化超图神经网络的超图卷积层根据超图关联矩阵计算超图拉普拉斯矩阵，利用超图拉普拉斯矩阵更新节点特征矩阵；
步骤5：分区池化超图神经网络的分区域池化层根据超图关联矩阵和节点特征矩阵计算节点综合评分，根据节点综合评分在超图的超边内选择要保留的节点，删除其他节点，更新超图关联矩阵和节点特征矩阵；
步骤6：分区池化超图神经网络的的读出层根据超图关联矩阵和节点特征矩阵获得超边特征矩阵，迭代次数加1；
步骤7：迭代次数是否等于最大迭代次数，如果是，则进入步骤8，如果否则放回步骤4；最大迭代次数设置为3；
步骤8：根据超边特征矩阵对步骤2中的节点进行分类，实现司法图像分类。
优选的，步骤2中构建的原始图用所有节点的节点特征向量组成的节点特征矩阵和邻接矩阵表示。
优选的，步骤3中将原始图转化为超图是将原始图中每个节点和其相邻节点采用一个超边相连；根据邻接矩阵计算超图关联矩阵，H＝A+I，表示超图关联矩阵，E是超边的数量，N为实体目标数量，初始时E＝N；A表示邻接矩阵；I是单位矩阵。
优选的，步骤4的具体实现过程为：
步骤41：根据超图关联矩阵计算超图的节点度和超边度，表示为：
其中，d(v)表示第v个节点的节点度；d(e)表示第e个超边的超边度；所有节点的节点度构成节点度矩阵，所有超边的超边度构成超边度矩阵；；W(e)表示第e个超边的超边权重(默认为1)；H(v，e)表示第v个节点和第e个超边对应的超图关联矩阵中的值，H(v,e)＝1表示第v个节点与第e个超边相连，H(v,e)＝0表示第v个节点与第e个超边不相连；
步骤42：根据节点度矩阵和超边度矩阵计算超图拉普拉斯矩阵Δ，表示为：
其中表示节点度矩阵；/>表示超边度矩阵；/>表示超边的权重矩阵；W默认为全1的对角矩阵；
步骤43：将超图拉普拉斯矩阵输入超图卷积层进行超图卷积，获得更新后的节点特征矩阵，表示为：
X(k)＝σ(ΔX(k-1)Θ)
其中，X(k-1)表示超图卷积前的节点特征矩阵；表示可学习的参数，F表示实体目标的节点特征向量的维度；U表示分区池化超图神经网络的隐藏层维度；σ是校正线性单元激活函数，/>表示超图卷积后的节点特征矩阵。
优选的，步骤5的具体实现过程为：
步骤51：计算节点类型评分S1，表达式为：
S1＝XWs1+bs1
其中，为节点类型评分的可学习参数，/>是节点类型评分的可学习偏移量；X表示超图卷积更新后的节点特征矩阵；U表示分区池化超图神经网络的隐藏层维度；
步骤52：计算节点对超边的重要性评分，表达式为：
S2(v，e)＝((X(v)||XE(e))Ws2+bs2)*H(v，e)
其中，S2(v，e)表示第v节点对第e个超边的重要性；表示节点对超边的重要性评分的可学***均值；拼接超边特征向量XE(e)和节点特征向量X(v)，并经过一个全连接层得到节点v对超边e的重要性评分S2(v，e)；
步骤53：根据节点类型评分和节点对超边的重要性评分计算节点综合评分S，表达式为：
S(v，e)＝sigmoid(S1(v)+S2(v，e))*H(v，e)
其中，S2(v，e)表示第e个超边中第v个节点的节点综合评分；S1(v)表示第v节点的节点类型评分；
步骤54：利用节点综合评分更新节点特征矩阵X，表达式为：
其中，X(v)表示第v个节点的节点特征向量；⊙表示哈达玛乘法；
步骤55：对超图中的所有超边进行边内池化操作，根据节点综合评分S决定保留或删除超边内的节点，保留的节点为：
idx(e)＝topk(S[：，e]，keep(e))，
其中，idx(e)表示第e个超边中保留的节点；pr表示池化率；topk是求最高keep(e)个评分对应的节点编号的函数；S[：，e]表示与第e个超边相连的所有节点的节点综合评分，S[：，e]表示{S[1，e]，S[2，e]，…，S[n，e]}；
步骤56：在超图关联矩阵中，如果节点v∈idx(e)则置H(v，e)＝1，否则H(v，e)＝0，将超图关联矩阵H中的全零行删除，同时将节点特征矩阵X中对应的节点特征向量删除，完成对超图的分区域池化操作。
优选的，步骤6的具体实现过程为：
步骤61：计算每个超边在每次迭代中记录的超边特征向量，表达式为：
其中，XR(e)(k)表示超边e在第k次迭代中读出层读出的超边特征向量；N表示实体目标数量；X(v)表示第v节点的节点特征向量；所有超边特征向量构成超边特征矩阵。
优选的，步骤8中，通过上述迭代获得若干组超边特征矩阵，对若干组超边特征矩阵求和获得最终超边特征矩阵，最终超边特征矩阵通过分区池化超图神经网路的全连接层输出节点分类结果，对应实体目标分类结果，完成司法图像分类。迭代几次获得几组超边特征矩阵。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于分区池化超图神经网络的图节点分类方法，采用分区域池化超图神经网络模型完成图节点分类任务，解决了图节点分类任务无法应用池化技术的缺点。通过池化技术的应用，能加快模型的运行速度，提高模型的准确率并减少计算机内存消耗，从而提高司法图像分类识别速度和精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的基于分区池化超图神经网络的图节点分类***的总体架构示意图；
图2附图为本发明提供的超图构建示意图；
图3附图为本发明提供的超图卷积运算示意图；
图4附图为本发明提供的节点综合评分计算过程示意图；
图5附图为本发明提供的根据节点综合评分池化节点过程示意图；
图6附图为本发明提供的更新关联矩阵并读出超边特征矩阵示意图；
图7附图为本发明提供的最终分类过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于分区池化超图神经网络的图节点分类方法，包括以下步骤：
S1：获取司法图像，并利用Fast RCNN提取司法图像中所有实体目标的高阶特征向量；
S2：司法图像中的实体目标作为节点，将高阶特征向量作为节点特征向量，计算任意两个节点特征向量的余弦相似度，将余弦相似度超过设定相似阈值的节点特征向量对应的两个节点作为相邻节点，构建初始的邻接矩阵；
S3：根据邻接矩阵构建超图关联矩阵；
S4：根据超图关联矩阵计算超图拉普拉斯矩阵；
S5：根据超图拉普拉斯矩阵更新节点特征矩阵；
S6：根据超图关联矩阵和节点特征矩阵计算节点综合评分；
S7：根据节点综合评分在超边内选择要保留的节点，删除其他节点，更新超图关联矩阵和节点特征矩阵；
S8：根据超图关联矩阵和节点特征矩阵获得超边特征矩阵；
S9：迭代重复S4至S83次；
S10：根据超边特征矩阵对节点进行分类，实现司法图像分类。
本发明将司法图像中实体目标识别任务转化为图节点分类任务。
实施例
如图1所示为基于分区池化超图神经网络的图节点分类方法的整体架构。模型的构建包括4个处理阶段，分别是图像特征提取阶段、超图构建阶段、卷积池化阶段和节点分类阶段。
图像特征提取阶段：使用Fast RCNN提取图像中的实体目标特征向量；
超图构建阶段：首先根据实体目标特征向量判断节点之间的邻接关系，从而构建普通图，之后将普通图转化为超图；
卷积池化阶段：进行超图卷积和分区域池化；
节点分类阶段：计算最终的节点分类结果。
其中卷积池化阶段由三个完全相同的模块堆叠而成，每个模块可分为超图卷积层(S4至S5)、分区域池化层(S6至S7)和读出层(S8)。
1)图像特征提取阶段
给定需要进行实体目标分类的司法图像，首先使用Fast-RCNN提取图像中实体目标的高阶特征向量。将实体目标视为图中的节点，实体目标的高阶特征向量视为节点的初始节点特征向量，计算任意两个节点特征向量的余弦相似度，如果余弦相似度高于阈值，则认为节点相邻，使用邻接矩阵表示节点的邻接关系，完成初始图的构建。
给定一张需要进行实体目标分类的司法图像，假设图像中有N个实体，使用FastRCNN提取到图像中实体目标对应的高阶特征矩阵其中F是Fast RCNN提取到的实体目标的节点特征向量的维度。将图像中每一个实体视为图中的节点，将所有实体目标的节点特征向量组成的高阶特征矩阵视为节点的初始节点特征矩阵，接下来构建图的邻接矩阵A∈{0，1}N×N。计算节点特征矩阵中任意两个节点特征向量的余弦相似度，sim(i，j)＝cos_similarity(X(i)，X(j))，其中X(i)表示第i个节点的初始节点特征向量，sim(i，j)表示第i个节点和第j个节点的余弦相似度。如果sim(i，j)＞γ则设置A(i，j)＝1，反之A(i，j)＝0，其中γ∈[0，1]是人为设定的阈值。经过上述处理完成原始图的构建。
2)超图构建阶段
给定原始图的邻接矩阵以及节点特征矩阵，此阶段将原始图转化为超图。首先把原始图的邻接矩阵转化为节点自连接的邻接矩阵，将原始图中的节点及其邻居节点看作被一个超边连接的节点，据此将原始图转化为超图并用关联矩阵表示超图，并将原始图的节点特征矩阵当作超图的节点特征矩阵，过程如图2所示。处理完成后把关联矩阵及节点特征矩阵作为下一个阶段的输入。
完成图像特征提取后，原始图由初始节点特征矩阵和邻接矩阵A∈{0，1}N×N表示。为了将图转化为超图，将原始图中每个节点和其邻居节点看作被一个超边相连，从而构建超图。根据上述超图构建方法，有H＝A+I，其中/>表示超图关联矩阵，E是超边的数量，初始时E＝N，I是单位矩阵。
如果原始图中有5个节点，节点之间的连接关系如图2中原始图所示。首先用邻接矩阵A表示原始图的结构，之后计算H＝A+I得到图关联矩阵H，完成超图构建过程。
3)卷积池化阶段
根据输入的超图关联矩阵和节点特征矩阵，此阶段进行超图卷积和分区域池化操作，更新节点特征矩阵并缩小超图规模，读出超边特征矩阵用于最终分类。
首先超图卷积层根据关联矩阵计算超图拉普拉斯矩阵，利用超图拉普拉斯矩阵更新节点特征矩阵。之后将关联矩阵和节点特征矩阵输入到分区域池化层进行超边内的节点池化。分区域池化层以超边为单位，根据超边内节点的综合评分选择保留或删除节点。节点的综合评分由两部分构成：节点类型评分和节点对超边的重要性评分。节点类型评分根据节点类型，对节点重要性进行评分；节点对超边的重要性评分衡量节点对所在超边的重要性。计算完节点综合评分后，以超边为单位，保留超边内综合评分最高的k个节点，删除掉其余节点，并保证每个超边至少保留一个节点，并根据节点的选择结果更新关联矩阵和节点特征矩阵，这样就完成了分区域池化操作。之后将关联矩阵和节点特征矩阵输入到读出层，读出层根据关联矩阵和节点特征矩阵计算并记录超边特征矩阵。之后将关联矩阵和节点特征矩阵输入到下一个模块，继续3)卷积池化阶段中的操作直到不存在下一个模块。
①超图卷积层
根据超图关联矩阵计算超图拉普拉斯矩阵，根据超图拉普拉斯矩阵更新节点特征矩阵；超图卷积层处理完成后，将节点特征矩阵X(k)和关联矩阵H作为分区域池化层的输入，为了表示方便，X(k)仍记为X。
将得到的超图关联矩阵H和初始节点特征矩阵X作为超图卷积层的输入。超图卷积层利用超图神经网络中的超图卷积操作更新X的特征表示。超图卷积可以理解为从节点到超边的信息聚合，再从超边到节点的信息传递，从而更新超图中的节点特征矩阵。超图卷积的公式为：
X(k)＝σ(ΔX(k-1)Θ) (1)
其中Δ表示超图拉普拉斯矩阵，X(k-1)表示超图卷积前的节点特征矩阵，是可学习的参数，U表示神经网络的隐藏层维度，σ是校正线性单元(Rectified LinearUnits，ReLU)激活函数，/>表示超图卷积后的节点特征矩阵。超图拉普拉斯矩阵的计算公式为：
其中表示节点度矩阵，/>表示超边度矩阵，/>表示超边的权重矩阵，W默认为全1的对角矩阵。第v个节点的节点度为：
第e个超边的超边度为：
例如，如图3所示，输入的超图包含5个超边和5个节点，超图关联矩阵为H，输入的节点特征矩阵为X(k-1)。首先根据公式(3)，计算出节点度矩阵Dv；根据公式(4)计算出超边度矩阵De；之后按照公式(2)，计算出超图拉普拉斯矩阵Δ；最后根据公式(1)，计算出更新后的节点特征矩阵X(k)。
②分区域池化层
分区域池化层以超边为单位，根据超边内节点的综合评分删除或者保留超边内的节点。节点的综合评分S由节点类型评分/>和节点对超边的重要性评分共同决定，第e个超边中第v个节点的综合评分S(v，e)为:
S(v，e)＝sigmoid(S1(vD+S2(v，e))*H(v，e) (5)
节点的综合评分同时考虑了对节点类型的评分以及节点对于超边的重要性评分。下面将分别阐述节点类型评分和节点对超边的重要性评分的计算过程。
首先计算节点类型评分。节点类型评分反映了对该类型节点的重要性评估。例如，以自然语言为例，一句话语义的关键往往在于某几个词语。节点类型评分计算公式为：
S1＝XWn+bs1 (6)
其中为可学习参数，/>是可学习偏移量。
计算节点对超边的重要性评分。以自然语言为例，相同的词语在不同的句子中重要性不同，因此分别计算节点对不同超边的重要性也能反应节点的重要性。第v节点对第e个超边的重要性S2(v，e)计算如下：
S2(v，e)＝((XCv)||XE(e))Ws2+bs2)*H(v，e) (7)
其中表示可学***均值作为该超边的特征向量XE(e)，之后拼接超边特征向量XE(e)和节点特征向量X(v)，并经过一个全连接层得到节点v对超边e的重要性评分S2(v，e)。
如图3中的节点特征矩阵X和关联矩阵H作为分区域池化层的输入。首先按照公式(6)计算得到节点类型评分S1。然后按照公式(8)计算得到超边特征矩阵XE。之后按照公式(7)计算得到节点对超边的重要性评分S2。最后根据公式(5)计算得到节点的综合评分S。图4演示了由节点特征矩阵X和关联矩阵H计算得到节点综合评分S的过程。
得到节点的综合评分S之后，利用节点的综合评分更新节点特征矩阵X。节点特征矩阵的更新过程为：
其中⊙表示哈达玛乘法。
最后，根据节点综合评分S决定保留或删除超边内的节点，保留的节点为：
idx(e)＝topk(S[：，e]，keep(e))，
其中idx(e)表示第e个超边中保留的节点，pr表示池化率，topk是求最高keep(e)个评分对应的节点编号的函数。对所有的超边都进行公式(10)所示的边内池化操作，如果节点v∈idx(e)则置H(v，e)＝1，否则H(v，e)＝0。最后将超图关联矩阵H中的全零行删除，同时将节点特征矩阵X中对应的特征向量删除，完成对超图的分区域池化操作。
根据公式(9)更新节点的特征矩阵。根据公式(10)计算出各个超边将要保留的节点数量，并选择各个超边将要保留的节点idx。图5演示了根据节点综合评分，更新节点特征矩阵X并选择keep(e)个保留节点的过程。
分区池化超图神经网络包括三块卷积池化模块，每一块卷积池化模块都包括超图卷积层和分区域池化层，进行一次超图卷积-分区域池化操作
卷积池化模块会进行三次超图卷积-分区域池化操作
③读出层
读出层记录超图的层次结构信息，并最终用于节点分类。超边e在第k个卷积池化模块记录的超边特征向量为XR(e)(k)计算公式为：
这样就完成了卷积池化阶段的一个卷积池化模块的超图卷积-分区域池化操作，对卷积池化阶段的所有卷积池化模块都进行相同操作直到遍历完所有模块，如图6所示。
4)节点分类阶段
模块处理阶段记录了3组超边的特征矩阵，由于1)图像特征提取阶段中采用的超图构建方法，可以将一个超边看作原始图中的一个节点，因此对超边的分类可视为对原始图中节点的分类。首先对3组超边特征矩阵求和得到最终的超边特征矩阵，之后通过一个全连接层输出最终的节点分类预测结果。在本应用中，节点的分类结果即是司法图像中的实体目标分类结果，如图7所示。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种基于分区池化超图神经网络的图节点分类方法，其特征在于，包括以下步骤：
步骤1：获取司法图像，并利用Fast RCNN提取司法图像中所有实体目标的高阶特征向量；
步骤2：将司法图像中的实体目标作为节点，将高阶特征向量作为节点特征向量，所有节点的节点特征向量构成节点特征矩阵；计算任意两个节点特征向量的余弦相似度，将余弦相似度超过设定相似阈值的节点特征向量对应的两个节点作为相邻节点，获得初始的邻接矩阵，构建原始图；
步骤3：将原始图转化为超图，根据邻接矩阵构建超图，获得超图关联矩阵，并初始化迭代次数；
步骤4：分区池化超图神经网络的超图卷积层根据超图关联矩阵计算超图拉普拉斯矩阵，利用超图拉普拉斯矩阵更新节点特征矩阵；
步骤5：分区池化超图神经网络的分区域池化层根据超图关联矩阵和节点特征矩阵计算节点综合评分，根据节点综合评分在超图的超边内选择要保留的节点，删除其他节点，更新超图关联矩阵和节点特征矩阵；
步骤6：分区池化超图神经网络的的读出层根据超图关联矩阵和节点特征矩阵获得超边特征矩阵，迭代次数加1；
步骤7：迭代次数是否等于最大迭代次数，如果是，则进入步骤8，如果否则放回步骤4；
步骤8：根据超边特征矩阵对步骤2中的节点进行分类，实现司法图像分类。
2.根据权利要求1所述的一种基于分区池化超图神经网络的图节点分类方法，其特征在于，步骤2中构建的原始图用所有节点的节点特征向量组成的节点特征矩阵和邻接矩阵表示。
3.根据权利要求1所述的一种基于分区池化超图神经网络的图节点分类方法，其特征在于，步骤3中将原始图转化为超图是将原始图中每个节点和其相邻节点采用一个超边相连；根据邻接矩阵计算超图关联矩阵，H＝A+I，表示超图关联矩阵，E是超边的数量，N为实体目标数量，初始时E＝N；A表示邻接矩阵；I是单位矩阵。
4.根据权利要求1所述的一种基于分区池化超图神经网络的图节点分类方法，其特征在于，步骤4的具体实现过程为：
步骤41：根据超图关联矩阵计算超图的节点度和超边度，表示为：
其中，d(v)表示第v个节点的节点度；d(e)表示第e个超边的超边度；所有节点的节点度构成节点度矩阵，所有超边的超边度构成超边度矩阵；W(e)表示第e个超边的超边权重；H(v，e)表示第v个节点和第e个超边对应的超图关联矩阵中的值；E表示超边数量；N为实体目标数量；
步骤42：根据节点度矩阵和超边度矩阵计算超图拉普拉斯矩阵α，表示为：
其中，表示节点度矩阵；/>表示超边度矩阵；/>表示超边的权重矩阵；
步骤43：将超图拉普拉斯矩阵输入超图卷积层进行超图卷积，获得更新后的节点特征矩阵，表示为：
X(k)＝σ(ΔX(k-1)Θ)
其中，X(k-1)表示超图卷积前的节点特征矩阵；表示可学习的参数，F表示实体目标的节点特征向量的维度；U表示分区池化超图神经网络的隐藏层维度；σ是校正线性单元激活函数；/>表示超图卷积后的节点特征矩阵。
5.根据权利要求1所述的一种基于分区池化超图神经网络的图节点分类方法，其特征在于，步骤5的具体实现过程为：
步骤51：计算节点类型评分S1，表达式为：
S1＝XWs1+bs1
其中，为节点类型评分的可学习参数，/>是节点类型评分的可学习偏移量；X表示超图卷积更新后的节点特征矩阵；U表示分区池化超图神经网络的隐藏层维度；
步骤52：计算节点对超边的重要性评分，表达式为：
S2(v，e)＝((X(v)||XE(e))Ws2+bs2)*H(v，e)
其中，S2(v，e)表示第v节点对第e个超边的重要性；表示节点对超边的重要性评分的可学习参数，/>是节点对超边的重要性评分的可学习偏移量；X(v)表示第v节点的节点特征向量；XE(e)表示第e个超边的超边特征向量；d(e)表示第e个超边的超边度；H(v，e)表示第v个节点和第e个超边对应的超图关联矩阵中的值；
步骤53：根据节点类型评分和节点对超边的重要性评分计算节点综合评分S，表达式为：
S(v，e)＝sigmoid(S1(v)+S2(v，e))*H(v，e)
其中，S(v，e)表示第e个超边中第v个节点的节点综合评分；S1(v)表示第v节点的节点类型评分；
步骤54：利用节点综合评分更新节点特征矩阵，表达式为：
其中，X(v)表示第v个节点的节点特征向量；⊙表示哈达玛乘法；E表示超边数量；d(v)表示第v个节点的节点度；
步骤55：对超图中的所有超边进行边内池化操作，根据节点综合评分S决定保留或删除超边内的节点，保留的节点为：
idx(e)＝topk(S[：，e]，keep(e))，
其中，idx(e)表示第e个超边中保留的节点；pr表示池化率；topk是求最高keep(e)对应的节点编号的函数；S[：，e]表示与第e个超边相连的所有节点的节点综合评分；
步骤56：在超图关联矩阵中，如果节点v∈idx(e)则置H(v，e)＝1，否则H(v，e)＝0，将超图关联矩阵中的全零行删除，同时将节点特征矩阵中对应的节点特征向量删除，完成对超图的分区域池化操作。
6.根据权利要求1所述的一种基于分区池化超图神经网络的图节点分类方法，其特征在于，步骤6的具体实现过程为：
计算每个超边在每次迭代中记录的超边特征向量，表达式为：
其中，XR(e)(k)表示超边e在第k次迭代中读出层读出的超边特征向量；N表示实体目标数量；X(v)表示第v节点的节点特征向量；所有超边特征向量构成超边特征矩阵；d(e)表示第e个超边的超边度；H(v，e)表示第v个节点和第e个超边对应的超图关联矩阵中的值。
7.根据权利要求1所述的一种基于分区池化超图神经网络的图节点分类方法，其特征在于，步骤8中，通过迭代获得若干组超边特征矩阵，对若干组超边特征矩阵求和获得最终超边特征矩阵，最终超边特征矩阵通过分区池化超图神经网络的全连接层输出节点分类结果，对应实体目标分类结果，完成司法图像分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310861005.2A CN116883746A (zh) | 2023-07-13 | 2023-07-13 | 一种基于分区池化超图神经网络的图节点分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310861005.2A CN116883746A (zh) | 2023-07-13 | 2023-07-13 | 一种基于分区池化超图神经网络的图节点分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116883746A true CN116883746A (zh) | 2023-10-13 |
Family
ID=88269347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310861005.2A Pending CN116883746A (zh) | 2023-07-13 | 2023-07-13 | 一种基于分区池化超图神经网络的图节点分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883746A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117131438A (zh) * | 2023-10-27 | 2023-11-28 | 深圳市迪博企业风险管理技术有限公司 | 诉讼文件分析方法、模型训练方法、装置、设备及介质 |
-
2023
- 2023-07-13 CN CN202310861005.2A patent/CN116883746A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117131438A (zh) * | 2023-10-27 | 2023-11-28 | 深圳市迪博企业风险管理技术有限公司 | 诉讼文件分析方法、模型训练方法、装置、设备及介质 |
| CN117131438B (zh) * | 2023-10-27 | 2024-02-13 | 深圳市迪博企业风险管理技术有限公司 | 诉讼文件分析方法、模型训练方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112163426B (zh) | 一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法 | |
| CN111695415B (zh) | 图像识别方法及相关设备 | |
| CN109284406B (zh) | 基于差异循环神经网络的意图识别方法 | |
| CN112733866B (zh) | 一种提高可控图像文本描述正确性的网络构建方法 | |
| CN111291556B (zh) | 基于实体义项的字和词特征融合的中文实体关系抽取方法 | |
| CN110969020A (zh) | 基于cnn和注意力机制的中文命名实体识别方法、***及介质 | |
| CN111414461A (zh) | 一种融合知识库与用户建模的智能问答方法及*** | |
| CN112308115B (zh) | 一种多标签图像深度学习分类方法及设备 | |
| CN108595558B (zh) | 一种数据均衡策略和多特征融合的图像标注方法 | |
| CN112949740B (zh) | 一种基于多级度量的小样本图像分类方法 | |
| CN111241303A (zh) | 一种大规模非结构化文本数据的远程监督关系抽取方法 | |
| CN114444600A (zh) | 基于记忆增强原型网络的小样本图像分类方法 | |
| CN113255366B (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
| CN115035418A (zh) | 一种基于改进DeepLabV3+网络的遥感图像语义分割方法及*** | |
| CN112699685B (zh) | 基于标签引导的字词融合的命名实体识别方法 | |
| CN115966010A (zh) | 一种基于注意力和多尺度特征融合的表情识别方法 | |
| CN111898665A (zh) | 基于邻居样本信息引导的跨域行人再识别方法 | |
| CN111026887A (zh) | 一种跨媒体检索的方法及*** | |
| CN116883746A (zh) | 一种基于分区池化超图神经网络的图节点分类方法 | |
| CN113920472A (zh) | 一种基于注意力机制的无监督目标重识别方法及*** | |
| CN108805280B (zh) | 一种图像检索的方法和装置 | |
| CN116206327A (zh) | 一种基于在线知识蒸馏的图像分类方法 | |
| CN113792594B (zh) | 一种基于对比学习的视频中语言片段定位方法及装置 | |
| CN116341558A (zh) | 一种基于多层级图神经网络的多模态情感识别方法及模型 | |
| CN113535928A (zh) | 基于注意力机制下长短期记忆网络的服务发现方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |