CN111090764B - 基于多任务学习和图卷积神经网络的影像分类方法及装置 - Google Patents

基于多任务学习和图卷积神经网络的影像分类方法及装置 Download PDF

Info

Publication number
CN111090764B
CN111090764B CN201911324397.9A CN201911324397A CN111090764B CN 111090764 B CN111090764 B CN 111090764B CN 201911324397 A CN201911324397 A CN 201911324397A CN 111090764 B CN111090764 B CN 111090764B
Authority
CN
China
Prior art keywords
image
graph
matrix
morphological
morphological feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911324397.9A
Other languages
English (en)
Other versions
CN111090764A (zh
Inventor
刘锦
王宇菲
王建新
兰伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201911324397.9A priority Critical patent/CN111090764B/zh
Publication of CN111090764A publication Critical patent/CN111090764A/zh
Application granted granted Critical
Publication of CN111090764B publication Critical patent/CN111090764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多任务学习和图卷积神经网络的影像分类方法及装置，所述方法包括以下步骤：步骤1、分别提取每个影像的特征，每个影像的特征包括其对应的大脑D个感兴趣区域的M种形态学特征；步骤2、将每种形态学特征作为一个任务，其维度为D；基于多任务学习方法进行特征选择，得到每个影像的M种形态学特征向量；步骤3、构建基于图卷积神经网络的分类器，基于影像样本的M种形态学特征向量及其分类标签对分类器进行训练，得到训练好的分类器；步骤4、基于训练好的分类器对未知分类标签的影像进行分类。本发明能够提高影像的分类准确度。

Description

基于多任务学习和图卷积神经网络的影像分类方法及装置
技术领域
本发明具体涉及一种基于多任务学习和图卷积神经网络的影像(如sMRI)分类方法及装置。
背景技术
近年来，随着神经影像学的快速发展，包括X光成像技术、磁共振成像技术、计算机断层扫描技术、脑血管造影技术等被用于神经疾病的临床诊断。其中，磁共振成像技术因其对患者无损伤、图像对比度比较高以及能够提供多种模态类型的图像等优势，被广泛地应用到神经性疾病的研究和生物医学的基础研究中。常见的磁共振成像包括结构磁共振成像(structural magnetic resonance imaging,sMRI)、弥散张量成像(diffusion tensorimaging,DTI)、功能磁共振成像(functional magnetic resonance imaging,fMRI)。因此，磁共振成像技术给大脑神经科学的研究提供了新的思路和方向。
结构磁共振成像(structural magnetic resonance imaging,sMRI)是利用氢原子来定位的为了产生某一组织结构的一项成像技术。sMRI可以从宏观和微观上反应大脑的形态结构变化及其与功能改变的关系，sMRI的空间分辨率高，可以绘制物体内部的清晰的结构图像。
一般研究sMRI特征，通常基于形态学测量的分析方法是一种较为常用的方法。通过对比大脑不同时期的形态学特征的变化情况，可以发现一些病理结构变化。基于形态学测量的方法主要有两种：基于体素的形态学分析方法和基于感兴趣区域的形态学分析方法。基于体素的形态学分析通过定量计算分析核磁共振成像中每个体素的灰质和白质的变化来反应大脑解剖结构之间的差异。而基于感兴趣区域的形态学分析方法通常根据预先划分好的大脑区域，然后分析特定区域的形态学特征的变化情况。最常用的形态学特征包括大脑皮层厚度、表面积、灰质体积、折叠系数以及平均曲率等，这些形态学表征能很好的刻画大脑结构的性质和脑功能信息，并且为分析大脑结构提供了一种在同种个体之间去评估这些因素随时间变化的模式和程度的便捷方式。对于结构核磁共振成像，提取的多种不同形态学特征，它们之间既是相互独立的，同时不同形态学特征之间又是彼此相关联的。例如皮层厚度、灰质体积等基于形态学测量的特征，他们都是从不同的角度反映大脑的形态结构变化和内在的功能变化情况。但是，无论是只考虑某单一形态学特征对神经疾病的影响，还是将几种不同形态学特征级联成一个长特征向量进行研究，都无法充分利用这些特征的信息。为了更好的挖掘这些特征之间的潜在信息，既要考虑不同特征之间存在的差异，同时也要考虑它们之间的联系。
如今，深度学习已经被广泛应用于影像的分类，深度学习能够直接通过使用具有不同层次结构的网络，从中学习原始特征的最佳表示，其提取数据底层复杂模式的表达能力也广受认可。在深度学习方法中，以人工神经网络构建带有人工神经元及其之间的连接的层来从中学习任务最为常见。
因此由此必要设计一种能充分挖掘各种形态学特征之间的潜在信息，从而能够对影像进行准确分类的基于神经网络的影像方法。
发明内容
本发明所解决的技术问题是，针对现有技术的不足，提供一种基于多任务学习和图卷积神经网络的影像分类方法及装置，能够提高影像分类准确度。
为实现上述目的，本发明的技术方案如下：
一种基于多任务学习和图卷积神经网络的影像分类方法，包括以下步骤：
步骤1、分别提取每个影像的特征，每个影像的特征包括其对应的大脑D个感兴趣区域的M种形态学特征；
步骤2、将每种形态学特征作为一个任务，其维度为D；基于多任务学习方法进行特征选择，得到每个影像的M种形态学特征向量；
步骤3、构建基于图卷积神经网络的分类器，基于影像样本的M种形态学特征向量及其分类标签对分类器进行训练，得到训练好的分类器；
步骤4、基于训练好的分类器对未知分类标签的影像进行分类。
进一步地，所述步骤1中，M＝9，九种形态学特征分别为结点个数、表面积、灰质体积、平均皮层厚度、皮层厚度标准差、平均曲率、高斯曲率、折叠系数以及曲率系数。
进一步地，所述步骤2中，基于多任务学习方法进行特征选择的目标函数为：
Figure BDA0002327985210000031
其中，Y为N个影像样本的分类标签构成的标签向量，Y＝(y1,y2,…,yN)T，yi表示第i个影像样本的标签；Xm为针对第m个任务，即第m种形态学特征构建的原始特征矩阵，其大小为N×D，N为影像样本的个数，其第i行
Figure BDA0002327985210000032
表示第i个影像样本通过步骤1提取到其对应的大脑D个感兴趣区域的第m种形态学特征，m＝1,2,…,M；W表示所有任务所对应的权重矩阵，其大小为D×M，其第m列wm表示大脑D个感兴趣区域的第m种形态学特征的权重；Reg(W)为惩罚项，λ表示正则化约束值；
求解目标函数，得到wm的最优解；基于wm的最优解，对每个影像通过步骤1提取到其对应的大脑D个感兴趣区域的第m种形态学特征进行特征选择，得到每个影像的第m种形态学特征向量(特征选择方法可以是：若wm中第d个维度的元素值为0，则将每个影像对应的大脑D个感兴趣区域的第m种形态学特征中，第d个感兴趣区域的第m种形态学特征删除，剩下的F个感兴趣区域的第m种形态学特征构成其第m种形态学特征向量)。
进一步地，设定目标函数中的惩罚项Reg(W)，得到目标函数为：
Figure BDA0002327985210000041
其中，λ1和λ2表示正则化约束参数，‖W‖2,1为权重矩阵W的L21范数，
Figure BDA0002327985210000042
Lm＝Em-Sm表示第m个任务的拉普拉斯矩阵；Em是一个N×N的对角矩阵，其定义为/>
Figure BDA0002327985210000043
是一个相似性矩阵，它的定义如下所示：
Figure BDA0002327985210000044
进一步地，在目标函数中增加Frobenius范数正则化项，得到目标函数为：
Figure BDA0002327985210000045
其中，‖W‖F为权重矩阵W的Frobenius范数，
Figure BDA0002327985210000046
Figure BDA0002327985210000047
为wm第k个维度的元素值，λ3表示正则化约束参数。
进一步地，所述步骤3中，基于影像的每一种形态学特征向量，分别构建一个图，用于相应的基于GCN的基分类器的训练和分类(预测)；图中每个节点为一个影像；
在基于影像的第m种形态学特征向量构建的图G中，通过以下公式计算第a个节点与第b个节点之间权重G(a,b)：
Figure BDA0002327985210000048
Figure BDA0002327985210000051
其中，x(a)和x(b)分别代表第a个节点与第b个节点的第m种形态学特征向量；ρ表示求两个形态学特征向量的相关距离，σ为自由参数；Mt(a)和Mt(b)分别表示第a个节点与第b个节点对应的个体第t种表型信息，β表示求两个表型信息的相似性；
若G(a,b)≠0，则在图G中，第a个节点与第b个节点之间有一条边相连。
进一步地，所述步骤3中，基于图卷积神经网络的分类器包括M个基于GCN的基分类器，每个基于GCN的基分类器利用一种形态学特征向量进行训练和分类(预测)；
每个基于GCN的基分类器包括依次串联的L个图卷积层和一个Softmax函数层，每个图卷积层的传播规则如下：
Figure BDA0002327985210000052
其中，
Figure BDA0002327985210000053
是加了自环的邻接矩阵；/>
Figure BDA0002327985210000054
是加了自环的度矩阵；H(l)为第l个图卷积层的输出，l＝1,2,…,L-1；W(l)是第l个图卷积层的参数矩阵，其行数等于H(l)的列数，其列数K通过人为设定，其取值通过训练得到；第l+1个图卷积层的输出H(l+1)为一个N′×K的特征矩阵，其为一个节点级别的输出，K即每一个节点的输出特征数，N′为每次输入的形态学特征向量个数(对应影像个数)；最后一个图卷积层的参数矩阵的列数设置为C，其输出一个N×C的特征矩阵，记为Z，C为类别数；σ()是非线性激活函数；
将Z输入Softmax函数层，得到每个影像属于各个类别的概率；
对于利用第m种形态学特征向量进行分类的基分类器，上述传播规则中的H(0)设置为由N′个影像的第m种形态学特征向量构成的N′×F的矩阵，其中F表示影像的第m种形态学特征向量的维度；
Figure BDA0002327985210000055
A为图G中N′个影像对应的节点构成的子图G′的邻接矩阵，A为N′×N′的矩阵，其第p行第q列的元素为图G中相应的两个节点之间的权重；
Figure BDA0002327985210000061
D为图G中N′个影像对应的节点的度矩阵，D为N′×N′的矩阵，其主对角线上各个元素值依次为图G中N′个影像对应的节点的度；diag(1,1,1…)表示主对角线元素全为1的对角矩阵，其大小为N′×N′。
进一步地，所述步骤4中，将未知分类标签的影像的M种形态学特征向量分别输入M个相应的基分类器，对其进行分类；然后对M个基分类器的分类结果，使用投票法，得到最终的分类结果。
本发明还提供一种基于多任务学习和图卷积神经网络的影像分类装置，包括以下模块：
影像特征提取模块，用于执行步骤1：分别提取每个影像的特征，每个影像的特征包括其对应的大脑D个感兴趣区域的M种形态学特征；
影像特征选择模块，用于执行步骤2：将每种形态学特征作为一个任务，其维度为D；基于多任务学习方法进行特征选择，得到每个影像的M种形态学特征向量；
分类器构建及训练模块，用于执行步骤3：构建基于图卷积神经网络的分类器，基于影像样本的M种形态学特征向量及其分类标签对分类器进行训练，得到训练好的分类器；
分类模块，用于执行步骤4：基于训练好的分类器对未知分类标签的影像进行分类；
各个步骤的具体实现方法与上述基于多任务学习和图卷积神经网络的影像分类方法中相同。
本发明还提供一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上述的基于多任务学习和图卷积神经网络的影像分类方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于多任务学习和图卷积神经网络的影像分类方法。
本发明考虑到在神经影像分类预测中，不同影像对应的个体间往往会有各种各样的联系，例如性别、年龄、左右手、智商等等，因此在考虑影像的特征同时，也要考虑不同影像对应的个体之间的联系，建立影像拓扑图。传统的神经网络面对这种不规则图的很难去学习特征，因此本发明采用图卷积神经网络，图卷积神经网络是一种基于图数据的神经网络，它具备多样化的结构，图可以是同质的也可以是异质的，可以是加权的也可以不加权，可以是有符号的也可以是无符号的。
本发明的有益效果是：
本发明利用多个相关任务来学习多种形态学特征之间的潜在相关信息，以此来提升模型的学习性能，从而从不同类型的任务中获取充分的潜在信息，而后构建影像图网络拓扑，使用图卷积神经网络提取高阶特征，能够提高影像分类准确度。具体而言，本发明首先从每个影像中提取基于感兴趣区域的形态学特征，然后把每种形态学特征当作一个任务，考虑到多种形态学特征具有相同的病理基础，它们之间存在特定的内在关联，因此使用多形态学多任务特征选择来诱导出更具判别力的特征。接下来，考虑到，利用不同影像对应的个体的表型信息构建图网络结构，提供不同影像的特征向量之间的关联。然后对经过多任务特征选择之后的每种形态学特征分别使用图卷积神经网络进行分类。最后，利用投票的方式对多个分类器进行融合，以进一步提升整体的分类性能。本发明选择的9种不同形态学特征，它们之间既是相互独立的，同时不同形态学特征之间又是彼此相关联的。例如皮层厚度、灰质体积等基于形态学测量的特征，他们都是从不同的角度反映大脑的形态结构变化和内在的功能变化情况，为了更好的挖掘这些特征之间的潜在信息，既要考虑不同特征之间存在的差异，同时也要考虑它们之间的联系。图卷积神经网络能够更好的捕获样本间的微妙的关系，将普通卷积神经网络推广到不规则域的图上，通过每个节点的感受野获得一阶邻居的信息。因此，本发明提出一个基于多任务学习和图卷积神经网络的模型(Multi-Morphological Multi-Task Feature Selection Graph Convolutional Network,M3TFS-GCN)用于影像分类。多任务特征学习旨在同时对多个相互之间具有某种内在关联的任务同时进行学习，从而可以利用多个相关任务来学习它们之间的潜在相关信息；图卷积神经网络旨在捕获节点与邻居节点的相似关系，从而在节点分类中提取更多信息。基于以上两个优点提升了模型的学习性能，提升了影像分类的准确性。
附图说明
图1为一种基于多任务学习和图卷积神经网络的影像分类方法的流程图。
具体实施方式
下面结合附图对本发明的实施例进行详细阐述，以使本发明的目的，技术方案能被同领域技术人员所理解。
实施例1：
参见图1，本实施例提供的基于多形态学多任务特征选择的影像分类方法含有以下步骤：
步骤1：获取多个受试者的影像(本实施例中影像为影像)，对每个受试者的影像，分别提取其特征，具体为：分别使用FreeSurfer图像分析套件的recon-all预处理工作流程来提取其对应大脑所有感兴趣区域的形态学特征；所述recon-all预处理工作流程包括颅骨剥离、皮质表面模型的重建、标记皮质及皮质下表面、非线性配准和组形态学测量差异的统计分析等；在进行非线性配准时，使用Destrieux图谱将大脑划分成148个感兴趣区域，左右半脑各74个感兴趣区域；在进行组形态学测量差异的统计分析时，对每一个感兴趣区域，分别统计其九种形态学特征，九种形态学特征分别为结点个数(Number of Vertices,NV)、表面积(Surface Area,SA)、灰质体积(Gray Matter Volume,GMV)、平均皮层厚度(AverageThickness,TH)、皮层厚度标准差(Thickness StdDev,THStd)、平均曲率(Mean Curvature,MC)、高斯曲率(Gaussian Curvature,GC)、折叠系数(Folding Index,FI)以及曲率系数(Curvature Index,CI)；
步骤2：对于步骤1中得到影像的特征(九种形态学特征，每种形态学特征的维度是D＝148)，使用多任务的形式对其进行表示，把每种形态学特征当作一个任务(每个任务的维度为D)，考虑到多种形态学特征具有相同的病理基础，它们之间存在特定的内在关联，因此使用多任务特征选择方法来诱导出更具判别力的特征，得到每个影像的M种形态学特征向量；
典型的多任务特征学习方法通常是最小化经验损失函数，目标函数如下所示：
Figure BDA0002327985210000091
其中，Y为N个影像样本的分类标签构成的标签向量，Y＝(y1,y2,…,yN)T，yi表示第i个影像样本的标签，本实施例中yi的值域为{+1,-1}，其中+1表示第i个影像样本来自患病的受试者，-1表示第i个影像样本来自正常的受试者；Xm为针对第m个任务，即第m种形态学特征构建的原始特征矩阵，其大小为N×D，N为影像样本的个数，其第i行
Figure BDA0002327985210000092
表示第i个影像样本通过步骤1提取到其对应的大脑D个感兴趣区域的第m种形态学特征，m＝1,2,…,M，M表示任务总数，M＝9；W表示所有任务所对应的权重矩阵，其大小为D×M，其第m列wm表示大脑D个感兴趣区域的第m种形态学特征的权重；
在上述公式中，
Figure BDA0002327985210000101
表示用最小二乘法来计算的损失函数，它是衡量学***衡。
进一步地，可以使用基于流形正则化的多任务特征选择(M2TFS)算法来解决分类或回归问题，该算法既从特征和类标签之间的关系进行约束，同时还从数据之间的相互依赖性进行约束，通过引入拉普拉斯正则化来对损失函数进行约束，其作用是将类别标签信息融入到特征选择中，并且保存了每种模态数据的原始信息，从而能够选择出相对有辨别能力的特征。多任务特征选择(M2TFS)算法的目标函数如下所示：
Figure BDA0002327985210000102
其中，权重矩阵W的L21范数
Figure BDA0002327985210000103
其表示的是组稀疏正则化项，它是权重矩阵W每一行的L2范数之和；L21范数的作用是鼓励权重矩阵W有更多的零行，即L21范数是站在组稀疏的角度对模型进行约束；其中
Lm＝Em-Sm表示任务m的拉普拉斯矩阵；Em是一个N×N的对角矩阵，其定义为
Figure BDA0002327985210000104
是一个相似性矩阵，它的定义如下所示：
Figure BDA0002327985210000105
进一步地，在M2TFS的基础上，构建一种基于多形态学特征的多任务特征选择(M3TFS)模型。在M3TFS模型中，不仅考虑每个任务特征与标签之间的关系，而且还从多个角度考虑任务与任务之间的潜在关系。添加Frobenius范数正则化项，从权重矩阵中每个元素角度对模型进行约束，立足于保证元素的稀疏性，它可以使得W的每个元素都很小，使得模型相对简单，起防止过拟合及限制特征维度的作用；M3TFS模型的目标函数如下：
Figure BDA0002327985210000111
其中，第二项是L21正则化项，它从任务的角度出发，确保在不同任务中共同的选择少量的特征；第三项是Laplacian正则化项，它从任务与任务之间的内在关联考虑，能够保留所有数据的原始信息。第四项是Frobenius范数正则化项，权重矩阵W的Frobenius范数
Figure BDA0002327985210000112
是权重矩阵W每个元素的平方和然后再开平方，其中/>
Figure BDA0002327985210000113
为wm第k个维度的元素值，Frobenius范数正则化项是从单个元素的稀疏性角度出发，它可以使得W的每个元素都很小，接近于零，也就是说，Frobenius范数可以从空间限制的角度对模型进行约束，从而避免出现过拟合的问题，使得模型相对简单。在上述公式中，λ1，λ2，λ3表示正则化约束参数，是用来平衡每一项正则化在损失函数中的作用,它们的值是通过内部寻优进行选择的。
求解目标函数，得到wm的最优解；基于wm的最优解，对每个影像通过步骤1提取到其对应的大脑D个感兴趣区域的第m种形态学特征进行特征选择，得到每个影像的第m种形态学特征向量(特征选择方法可以是：若wm中第d个维度的元素值为0，则将每个影像对应的大脑D个感兴趣区域的第m种形态学特征中，第d个感兴趣区域的第m种形态学特征删除，剩下的F个感兴趣区域的第m种形态学特征构成其第m种形态学特征向量)。
步骤3：构建基于图卷积神经网络的分类器，基于影像样本的M种形态学特征向量及其分类标签对分类器进行训练，得到训练好的分类器；
步骤3.1，利用步骤2特征选择出来的每种形态学特征向量(形态学特征最优子集)作为特征，并利用表型信息模拟数据间的相互作用，构建图网络结构，用于基于图卷积神经网络的分类器进行分类；具体地地，基于影像的每一种形态学特征向量，分别构建一个图，用于相应的基于GCN的基分类器的训练和分类(预测)；图中每个节点为一个影像；
利用表型信息与谱聚类相似性度量的思想，在基于影像的第m种形态学特征向量构建的图G中，通过以下公式计算第a个节点与第b个节点之间权重G(a,b)：
Figure BDA0002327985210000121
Figure BDA0002327985210000122
其中，Sim(Xa,Xb)代表利用谱聚类相似性度量的思想，获得样本间的相似性，x(a)和x(b)分别代表第a个节点与第b个节点的第m种形态学特征向量；ρ表示求两个形态学特征向量的相关距离(即平方欧几里得距离)，σ为自由参数，是函数的宽度参数，控制了函数的径向作用范围，通常自己设定；谱聚类相似性度量的主要思想是把所有的数据看作空间中的点，这些点之间可以用边连接起来，距离较远的两个点之间的边权重值较低，而距离较近的两个点之间的边权重值较高；
Figure BDA0002327985210000123
代表了节点间表型信息的相似性度量，T代表表型信息的种类；Mt(a)和Mt(b)分别表示第a个节点与第b个节点对应的个体第t种表型信息(量化值)，β表示求两个表型信息的相似性，是一种克罗内克函数；本实施例中只利用了两种表型信息，即性别和年龄，即T＝2；对于性别信息，若第a个节点与第b个节点(影像)来自于相同性别的个体，则β(M1(a),M1(b)＝1，否则β(M1(a),M1(b)＝0；对于年龄信息，若第a个节点与第b个节点(影像)来自于年龄差小于2的个体，则β(M2(a),M2(b)＝1，否则β(M2(a),M2(b)＝0；
若G(a,b)≠0，则在图G中，第a个节点与第b个节点之间有一条边相连。
步骤3.2，构建基于图卷积神经网络的分类器，所述基于图卷积神经网络的分类器包括M个基于GCN的基分类器，每个基于GCN的基分类器利用一种形态学特征向量进行训练和分类(预测)；
每个基于GCN的基分类器包括依次串联的L个图卷积层和一个Softmax函数层，每个图卷积层的传播规则如下：
Figure BDA0002327985210000131
其中，
Figure BDA0002327985210000132
是加了自环的邻接矩阵；/>
Figure BDA0002327985210000133
是加了自环的度矩阵；H(l)为第l个图卷积层的输出，l＝1,2,…,L-1；W(l)是第l个图卷积层的参数矩阵，其行数等于H(l)的列数，其列数K通过人为设定，其取值通过训练得到；第l+1个图卷积层的输出H(l+1)为一个N′×K的特征矩阵，其为一个节点级别的输出，K即每一个节点的输出特征数，N′为每次输入的形态学特征向量个数(对应影像个数)；最后一个图卷积层的参数矩阵的列数设置为C，其输出一个N×C的特征矩阵，记为Z，C为类别数(本实施例中C＝2)；σ()是非线性激活函数；
将Z输入Softmax函数层，得到每个影像属于各个类别的概率；
对于利用第m种形态学特征向量进行分类的基分类器，上述传播规则中的H(0)设置为由N′个影像的第m种形态学特征向量构成的N′×F的矩阵，其中F表示影像的第m种形态学特征向量的维度；
Figure BDA0002327985210000134
A为图G中N′个影像对应的节点构成的子图G′的邻接矩阵，A为N′×N′的矩阵，其第p行第q列的元素为图G中相应的两个节点之间的权重；
Figure BDA0002327985210000135
D为图G中N′个影像对应的节点的度矩阵，D为N′×N′的矩阵，其主对角线上各个元素值依次为图G中N′个影像对应的节点的度；diag(1,1,1…)表示主对角线元素全为1的对角矩阵，其大小为N′×N′。
将影像样本的M种形态学特征向量分别输入M个相应的基分类器，对其进行分类；然后根据分类结果和影像样本的真实分类标签，对M个基分类器进行训练，得到训练好的基分类器；
步骤4、基于训练好的分类器对未知分类标签的影像进行分类。
将未知分类标签的影像的M种形态学特征向量分别输入M个相应的训练好的基分类器，对其进行分类；然后对M个基分类器的分类结果，使用投票法，得到最终的分类结果。先采用投票法统计所有基分类器的分类结果，获得投票数最多的类别将作为最终的分类结果，如果有多个类别投票数最多，则继续针对这些类别，分别统计所有基分类器输出的该影像属于每个类别的概率之和，将概率之和最大的类别作为最终的分类结果。通过融合所有基分类器的结果，可以进一步提升整体的分类性能。
实施例2：
本实施例公开一种基于多任务学习和图卷积神经网络的影像分类装置，包括以下模块：
影像特征提取模块，用于执行步骤1：分别提取每个影像的特征，每个影像的特征包括其对应的大脑D个感兴趣区域的M种形态学特征；
影像特征选择模块，用于执行步骤2：将每种形态学特征作为一个任务，其维度为D；基于多任务学习方法进行特征选择，得到每个影像的M种形态学特征向量；
分类器构建及训练模块，用于执行步骤3：构建基于图卷积神经网络的分类器，基于影像样本的M种形态学特征向量及其分类标签对分类器进行训练，得到训练好的分类器；
分类模块，用于执行步骤4：基于训练好的分类器对未知分类标签的影像进行分类；
各个步骤的具体实现方法与实施例1中相同。
实施例3：
本实施例公开一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如实施例1所述的方法。
实施例4：
本实施例公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例1所述的方法。
上述实施例中，利用多任务特征选择方法，对九种形态学特征进行联合特征选择，能够同时对多个相互之间具有某种内在关联的任务同时进行学习，从而可以利用多个相关任务来学习它们之间的潜在相关信息；图卷积神经网络旨在捕获节点与邻居节点的相似关系，从而在节点分类中提取更多信息。基于以上两个优点提升了模型的学习性能，提高了影像分类准确性。

Claims (9)

1.一种基于多任务学习和图卷积神经网络的影像分类方法，其特征在于，包括以下步骤：
步骤1、分别提取每个影像的特征，每个影像的特征包括其对应的大脑D个感兴趣区域的M种形态学特征；
步骤2、将每种形态学特征作为一个任务，其维度为D；基于多任务学习方法进行特征选择，得到每个影像的M种形态学特征向量；
步骤3、构建基于图卷积神经网络的分类器，基于影像样本的M种形态学特征向量及其分类标签对分类器进行训练，得到训练好的分类器；
步骤4、基于训练好的分类器对未知分类标签的影像进行分类；
所述步骤3中，基于影像的每一种形态学特征向量，分别构建一个图，图中每个节点为一个影像；
在基于影像的第m种形态学特征向量构建的图G中，通过以下公式计算第a个节点与第b个节点之间权重G(a,b)：
Figure FDA0004219017930000011
Figure FDA0004219017930000012
其中，x(a)和x(b)分别代表第a个节点与第b个节点的第m种形态学特征向量；ρ表示求两个形态学特征向量的相关距离，σ为自由参数；Mt(a)和Mt(b)分别表示第a个节点与第b个节点对应的个体第t种表型信息，β表示求两个表型信息的相似性；
若G(a,b)≠0，则在图G中，第a个节点与第b个节点之间有一条边相连。
2.根据权利要求1所述的基于多任务学习和图卷积神经网络的影像分类方法，其特征在于，所述步骤2中，基于多任务学习方法进行特征选择的目标函数为：
Figure FDA0004219017930000021
其中，Y为N个影像样本的分类标签构成的标签向量，Y＝(y1,y2,…,yN)T，yi表示第i个影像样本的标签；Xm为针对第m个任务，即第m种形态学特征构建的原始特征矩阵，其大小为N×D，N为影像样本的个数，其第i行
Figure FDA0004219017930000022
表示第i个影像样本通过步骤1提取到其对应的大脑D个感兴趣区域的第m种形态学特征，m＝1,2,…,M；W表示所有任务所对应的权重矩阵，其大小为D×M，其第m列wm表示大脑D个感兴趣区域的第m种形态学特征的权重；Reg(W)为惩罚项，λ表示正则化约束值；
求解目标函数，得到wm的最优解；基于wm的最优解，对每个影像通过步骤1提取到其对应的大脑D个感兴趣区域的第m种形态学特征进行特征选择，得到每个影像的第m种形态学特征向量。
3.根据权利要求2所述的基于多任务学习和图卷积神经网络的影像分类方法，其特征在于，设定目标函数中的惩罚项Reg(W)，得到目标函数为：
Figure FDA0004219017930000023
其中，λ1和λ2表示正则化约束参数，‖W‖2,1为权重矩阵W的L21范数，
Figure FDA0004219017930000024
Lm＝Em-Sm表示第m个任务的拉普拉斯矩阵；Em是一个N×N的对角矩阵，其定义为/>
Figure FDA0004219017930000025
Figure FDA0004219017930000026
是一个相似性矩阵，它的定义如下所示：
Figure FDA0004219017930000027
4.根据权利要求3所述的基于多任务学习和图卷积神经网络的影像分类方法，其特征在于，在目标函数中增加Frobenius范数正则化项，得到目标函数为：
Figure FDA0004219017930000031
其中，‖W‖F为权重矩阵W的Frobenius范数，
Figure FDA0004219017930000032
Figure FDA0004219017930000033
为wm第k个维度的元素值，λ3表示正则化约束参数。
5.根据权利要求1所述的基于多任务学习和图卷积神经网络的影像分类方法，其特征在于，所述步骤3中，基于图卷积神经网络的分类器包括M个基于GCN的基分类器，每个基于GCN的基分类器利用一种形态学特征向量进行分类；
每个基于GCN的基分类器包括依次串联的L个图卷积层和一个Softmax函数层，每个图卷积层的传播规则如下：
Figure FDA0004219017930000034
其中，
Figure FDA0004219017930000035
是加了自环的邻接矩阵；/>
Figure FDA0004219017930000036
是加了自环的度矩阵；H(l)为第l个图卷积层的输出，l＝1,2,…,L-1；W(l)是第l个图卷积层的参数矩阵，其行数等于H(l)的列数，其列数K通过人为设定，其取值通过训练得到；第l+1个图卷积层的输出H(l+1)为一个N′×K的特征矩阵，N′为每次输入的形态学特征向量个数；最后一个图卷积层的参数矩阵的列数设置为C，其输出一个N×C的特征矩阵，记为Z，C为类别数；σ()是非线性激活函数；
将Z输入Softmax函数层，得到每个影像属于各个类别的概率；
对于利用第m种形态学特征向量进行分类的基分类器，上述传播规则中的H(0)设置为由N′个影像的第m种形态学特征向量构成的N′×F的矩阵，其中F表示影像的第m种形态学特征向量的维度；
Figure FDA0004219017930000037
A为图G中N′个影像对应的节点构成的子图G′的邻接矩阵，A为N′×N′的矩阵，其第p行第q列的元素为图G中相应的两个节点之间的权重；
Figure FDA0004219017930000038
D为图G中N′个影像对应的节点的度矩阵，D为N′×N′的矩阵，其主对角线上各个元素值依次为图G中N′个影像对应的节点的度；diag(1,1,1…)表示主对角线元素全为1的对角矩阵，其大小为N′×N′。
6.根据权利要求5所述的基于多任务学习和图卷积神经网络的影像分类方法，其特征在于，所述步骤4中，将未知分类标签的影像的M种形态学特征向量分别输入M个相应的基分类器，对其进行分类；然后对M个基分类器的分类结果，使用投票法，得到最终的分类结果。
7.根据权利要求5所述的基于多任务学习和图卷积神经网络的影像分类装置，其特征在于，包括以下模块：
影像特征提取模块，用于执行步骤1：分别提取每个影像的特征，每个影像的特征包括其对应的大脑D个感兴趣区域的M种形态学特征；
影像特征选择模块，用于执行步骤2：将每种形态学特征作为一个任务，其维度为D；基于多任务学习方法进行特征选择，得到每个影像的M种形态学特征向量；
分类器构建及训练模块，用于执行步骤3：构建基于图卷积神经网络的分类器，基于影像样本的M种形态学特征向量及其分类标签对分类器进行训练，得到训练好的分类器；
分类模块，用于执行步骤4：基于训练好的分类器对未知分类标签的影像进行分类。
8.一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1～6中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～6中任一项所述的方法。
CN201911324397.9A 2019-12-20 2019-12-20 基于多任务学习和图卷积神经网络的影像分类方法及装置 Active CN111090764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911324397.9A CN111090764B (zh) 2019-12-20 2019-12-20 基于多任务学习和图卷积神经网络的影像分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911324397.9A CN111090764B (zh) 2019-12-20 2019-12-20 基于多任务学习和图卷积神经网络的影像分类方法及装置

Publications (2)

Publication Number Publication Date
CN111090764A CN111090764A (zh) 2020-05-01
CN111090764B true CN111090764B (zh) 2023-06-23

Family

ID=70395357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911324397.9A Active CN111090764B (zh) 2019-12-20 2019-12-20 基于多任务学习和图卷积神经网络的影像分类方法及装置

Country Status (1)

Country Link
CN (1) CN111090764B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639696B (zh) * 2020-05-26 2023-08-01 北京邮电大学 一种用户分类方法及装置
CN112562339B (zh) * 2020-12-09 2022-01-04 福州大学 基于多任务图卷积网络的鲁棒***通流预测方法
CN112733933B (zh) * 2021-01-08 2024-01-05 北京邮电大学 基于统一优化目标框架图神经网络的数据分类方法及装置
CN113052334B (zh) * 2021-04-14 2023-09-29 中南大学 一种联邦学习实现方法、***、终端设备及可读存储介质
CN113283448B (zh) * 2021-05-28 2022-06-24 南方科技大学 一种脑电影像特征提取模型的训练方法及装置
CN113628167B (zh) * 2021-07-13 2024-04-05 深圳市神经科学研究院 个体化结构脑网络构建方法、***、电子设备及存储介质
CN114827021B (zh) * 2022-06-27 2022-11-25 南京邮电大学 一种基于sdn和机器学习的多媒体业务流量加速***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897737A (zh) * 2017-01-24 2017-06-27 北京理工大学 一种基于超限学习机的高光谱遥感图像地物分类方法
WO2018010434A1 (zh) * 2016-07-13 2018-01-18 华为技术有限公司 一种图像分类方法及装置
WO2018125580A1 (en) * 2016-12-30 2018-07-05 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
WO2019001071A1 (zh) * 2017-06-28 2019-01-03 浙江大学 一种基于邻接矩阵的图特征提取***、图分类***和方法
CN109389163A (zh) * 2018-09-29 2019-02-26 华南理工大学 一种基于地形图的无人机影像分类***及方法
CN109885712A (zh) * 2019-02-12 2019-06-14 山东中医药大学 基于内容的肺结节图像检索方法及***
CN110309888A (zh) * 2019-07-11 2019-10-08 南京邮电大学 一种基于分层多任务学习的图像分类方法与***
EP3582142A1 (en) * 2018-06-15 2019-12-18 Université de Liège Image classification using neural networks

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017087415A1 (en) * 2015-11-17 2017-05-26 The Board Of Trustees Of The Leland Stanford Junior University Profiling of pathology images for clinical applications
CN107358267B (zh) * 2017-07-20 2020-04-17 东北大学 一种基于互相关特征的乳腺超声图像多元分类***及方法
CN108229066A (zh) * 2018-02-07 2018-06-29 北京航空航天大学 一种基于多模态超连接脑网络建模的帕金森自动识别方法
CN110136840B (zh) * 2019-05-17 2022-12-20 山东管理学院 一种基于自加权分级生物特征的医学图像分类方法、装置和计算机可读存储介质
CN110580695B (zh) * 2019-08-07 2022-06-21 深圳先进技术研究院 一种多模态三维医学影像融合方法、***及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018010434A1 (zh) * 2016-07-13 2018-01-18 华为技术有限公司 一种图像分类方法及装置
WO2018125580A1 (en) * 2016-12-30 2018-07-05 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN106897737A (zh) * 2017-01-24 2017-06-27 北京理工大学 一种基于超限学习机的高光谱遥感图像地物分类方法
WO2019001071A1 (zh) * 2017-06-28 2019-01-03 浙江大学 一种基于邻接矩阵的图特征提取***、图分类***和方法
EP3582142A1 (en) * 2018-06-15 2019-12-18 Université de Liège Image classification using neural networks
CN109389163A (zh) * 2018-09-29 2019-02-26 华南理工大学 一种基于地形图的无人机影像分类***及方法
CN109885712A (zh) * 2019-02-12 2019-06-14 山东中医药大学 基于内容的肺结节图像检索方法及***
CN110309888A (zh) * 2019-07-11 2019-10-08 南京邮电大学 一种基于分层多任务学习的图像分类方法与***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Applications of Deep Learning to MRI ImagesW A Survey;Jin Liu;《BIG DATA MINING AND ANALYTICS》;第1卷(第1期);全文 *
VIEWS磁共振技术在乳腺病变诊断中的应用初步研究;任静;周鹏;左佳明;刘锦;王闽;杨宇洁;陈锦秀;许国辉;;四川医学(11);全文 *
基于多重卷积神经网络跨数据集图像分类;刘鑫童;刘立波;张鹏;;计算机工程与设计(11);全文 *

Also Published As

Publication number Publication date
CN111090764A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN111090764B (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
Khan et al. Intelligent fusion-assisted skin lesion localization and classification for smart healthcare
Birenbaum et al. Longitudinal multiple sclerosis lesion segmentation using multi-view convolutional neural networks
CN110335261B (zh) 一种基于时空循环注意力机制的ct***检测***
Khagi et al. Comparative analysis of Alzheimer's disease classification by CDR level using CNN, feature selection, and machine‐learning techniques
Luus et al. Multiview deep learning for land-use classification
Allen et al. A generalized least-square matrix decomposition
CN106295124B (zh) 多种图像检测技术综合分析基因子图相似概率量的方法
Agrawal et al. Pixels to voxels: modeling visual representation in the human brain
CN107085716A (zh) 基于多任务生成对抗网络的跨视角步态识别方法
CN111863244B (zh) 基于稀疏池化图卷积的功能连接精神疾病分类方法和***
CN111639719A (zh) 基于时空运动和特征融合的足迹图像检索方法
CN111009324A (zh) 脑网络多特征分析的轻度认知障碍辅助诊断***及方法
CN111738363A (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN111540467B (zh) 精神***症分类识别方法、运行控制装置及医疗设备
Vila et al. Bayesian nonlinear model selection and neural networks: A conjugate prior approach
CN108985161B (zh) 一种基于拉普拉斯正则化的低秩稀疏表征图像特征学习方法
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
CN114795178B (zh) 一种基于多注意力神经网络的大脑状态解码方法
Bhimavarapu et al. Analysis and characterization of plant diseases using transfer learning
CN113344045A (zh) 一种结合hog特征提高sar船只分类精度的方法
CN116579975A (zh) 一种卷积神经网络的脑龄预测方法及***
Narmatha et al. Skin cancer detection from dermoscopic images using Deep Siamese domain adaptation convolutional Neural Network optimized with Honey Badger Algorithm
CN106709869A (zh) 一种深度皮尔逊嵌入的维数约简方法
CN112863650A (zh) 一种基于卷积与长短期记忆神经网络的心肌病识别***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant