CN116797817A - 基于自监督图卷积模型的自闭症疾病预测技术 - Google Patents

基于自监督图卷积模型的自闭症疾病预测技术 Download PDF

Info

Publication number
CN116797817A
CN116797817A CN202310405718.8A CN202310405718A CN116797817A CN 116797817 A CN116797817 A CN 116797817A CN 202310405718 A CN202310405718 A CN 202310405718A CN 116797817 A CN116797817 A CN 116797817A
Authority
CN
China
Prior art keywords
graph
node
matrix
image data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310405718.8A
Other languages
English (en)
Inventor
李文欣
韩龙飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Technology and Business University
Original Assignee
Beijing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Technology and Business University filed Critical Beijing Technology and Business University
Priority to CN202310405718.8A priority Critical patent/CN116797817A/zh
Publication of CN116797817A publication Critical patent/CN116797817A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供一种基于自监督图卷积模型的自闭症疾病预测技术,属于人工智能生物医学领域;本技术旨在解决自闭症疾病预测的准确性和效率问题;本发明的技术方案主要包括:采用基于图卷积网络的自监督学习方法,利用大规模未标记的数据集训练图卷积神经网络;利用图对比学习方法,通过图的结构和属性的随机增强来生成两个图的视图,迫使模型学习对不重要的节点和边缘的扰动,以强制模型识别底层的语义信息,进一步提高预测准确性。本技术的主要用途是辅助医生进行自闭症的诊断和治疗,提高预测准确性和效率,为患者提供更好的医疗服务。

Description

基于自监督图卷积模型的自闭症疾病预测技术
技术领域
本申请属于使用深度学习进行疾病预测领域,特别涉及了使用自监督学习中的图对比学习以及使用欧几里得距离算法进行构图,使用谱图卷积进行预测。谱图卷积利用了卷积在傅里叶域中的性质,通过找到相应的“傅里叶”基,可以将卷积扩展到一般的图。对于低维图,能够学习到独立于输入大小的卷积层参数,从而得到有效的深层结构。
背景技术
图卷积神经网络在医学图像中取得了很大的成功,在图像分类领域,深度神经网络在医学图像分析中起着重要的作用,对于单模态的图像数据的研究,图像分类根据输入图像并生成输出分类,用于预测是否患病。将图像数据与非图像数据结合起来进行疾病的诊断是医学临床当中的一项重要的任务,多模态生物医学技术推动了计算机在医学上进行辅助诊断的研究,与单模态的数据相比,多模态的异构数据可以提供更多关于患者病情的信息,使得诊断更加可靠。
发明内容
为了解决上述存在的技术问题,本发明的目的是提供一种基于自监督图对比学习的图卷积网络实现自闭症疾病预测,对比学习能够迫使模型学习在不重要节点和边上的扰动,以强制模型识别底层语义信息,以至于能够更好地帮助学习图表示、节点表示,实现根据输入的视图获得更准确的预测,有效的进行辅助诊断。包括以下步骤:
数据预处理:每个受试者包括图像数据、标签、非图像数据。图像数据为受试者的功能磁共振图(fMRI),通过受试者标签(DX_GROUP)可以将自闭谱系障碍患者与正常人分别标记为1和2,非图像数据为患者的个人统计信息年龄、性别等等。通过加载预先计算的fMRI功能磁共振成像网络来获得图像数据的矩阵表示,从表型文件中获取受试者的标签以及其他非图像数据,最后,对于871位受试者来说,采用10倍交叉验证的方法将每一份作为验证集,其他作为训练集来进行训练和验证,来降低泛化能力。
提取非图像数据的矩阵表示:从数据集中选出的871位受试者,根据受试者的编号信息(subject_IDs)选择出所对应的非图像数据,考虑到数据之间可能具有差异性,所以使用了归一化的方式使得不同向量空间的嵌入表示映射到同一个空间。所采用的Z-score标准化方法从行的角度来处理特征数据,称为标准差标准化,这种方法给予原始数据的均值(mean)和标准差(standard deviation),能够将样本的特征值转换到同一量纲下。数据的标准化的方式可表示为:
这里μ是原始数据的所有样本数据的均值,σ是标准差,x*,y*是样本中的数据。经过处理后,得到同一空间的数据,使用欧几里得(Euclidean)度量算法去计算成对关联:
这里x* i,y* i分别表示两个受试者的特征向量,选择了m维的特征。
提取多模态数据中图像数据的矩阵表示:每位受试者的图像数据是由fMRI功能磁共振成像组成,先加载预先计算的功能磁共振成像连接网络,使得每位受试者的图像数据用111*111的多维数组表示出来,取其中一个上三角矩阵,能够得到一个(871,6105)维的数组,来表示每位受试者的图像数据。通过一个分类器对特征向量进行降维,随机定义一个C的初始值,使用选择器RFE从获得的fMRI中提取出代表受试者功能连接性的C维特征向量,计算两两受试者之间的特征距离,最后得到受试者的相似性表示。
增强图对比学习:由图像数据得到的相似性矩阵与非图像数据得到的相似性矩阵结合起来,得到的矩阵看作是一个全连接图,将图数据进行两次数据增强,分别是拓扑级别的增强和节点属性级别的增强。
对于拓扑级别的增强,根据节点的中心性来设定删边的概率,边缘的重要性通常由它们所指向的节点来表征,不重要的边被删除的概率更高。设置一个超参数,用来控制移除边的数量的概率,因为移除边较多,会破坏图的结构。
对于节点属性级别的增强,通过在节点特征中随机掩蔽一部分维度,将噪声随机添加到节点属性中,最后生成的节点特征,表示为:
[·;·]是连接运算符,指的是每个元素乘法。通过联合执行拓扑和节点属性增强来生成两个视图。
使用谱图卷积进行疾病预测:将通过设置不同的丢失概率得到的节点特征与两个图视图输入到图卷积网络当中。谱图卷积模块:谱GCN分别与生成的两个图视图进行优化,得到两种预测结果,GCN模型由切比雪夫(Chebyshev)图卷积层LG、融合块、MLP预测器三部分构成。为了缓解GCN中存在的过度平滑问题,采用节点跳跃连接来融合每个深度中的隐藏特征。
计算损失:将标签分别与得到的两种预测结果计算损失,并相加,损失函数反向传播,使用Adam优化器,用来根据参数的梯度进行沿梯度下降方向进行调整模型参数。使用常用的评估指标对预测结果进行量化。
在该申请中,基于前述方案,所述的确定单元配置为一种基于图对比学习的卷积神经网络,包括以下模块:
数据提取以及拓扑构建模块:提取ABIDE数据集中的所选择871位受试者的功能磁共振图像数据和表型数据中所需维度的数据,所需表型数据经过归一化处理,欧几里得距离度量,再与图像信息相结合,得到全连接的图拓扑;
图对比网络模块:在图和节点特征之间应用对比约束,使互信息最大化,使用数据增强方案保留图的内在结构和属性,这将迫使模型学习对不重要的节点和边缘的扰动不敏感的表示。
谱图卷积模块:谱GCN分别与生成的两个图视图进行优化,得到两种预测结果,GCN模型Chebyshev图卷积层LG、融合块、MLP预测器三部分构成。为了缓解GCN中存在的过度平滑问题,采用节点跳跃连接来融合每个深度中的隐藏特征。
其中,切比雪夫图卷积模块能够以适度的计算成本在不规则加权图上实现局部滤波,其中每个卷积层之后都有ReLU激活函数以增加非线性。
本发明提供了这样一个疾病预测技术,使用公开的ABIDE数据集,获取受试者的原始特征、标签、非图像特征,使用10倍交叉验证;利用Euclidean算法构造出受试者之间的关系矩阵,再与图像特征相似性矩阵进行融合,得到更精确的矩阵表示;使用增强图对比学习,对图数据进行两次增强,进一步提高图的鲁棒性;最后,使用谱图卷积进行疾病预测,使用MLP得到最后的分类结果。
附图说明
图1是本发明的一种图对比学习进行数据增强方法示意图;
图2是本发明疾病预测的流程图;
图3是本发明整体架构图。
具体实施方式
下面结合附图和具体实施对本发明做进一步的详细说明。对于以下实施中的步骤编号,其仅为了便于阐述说明而设置,下面所描述的实施例仅为本发明的一部分,不应理解为局限在上述方式的全部范例。
S101:数据预处理:获取ABIDE自闭症脑成像数据库中的受试者信息,包括图像数据和非图像数据,数据集中的图像信息使用预先计算的fMRI网络获取,最后,使用10倍交叉验证,选择每一份数据作为验证集,其余作为训练集来进行训练和验证。
此时,为了数据增广尽可能增加模型的泛化性能,考虑使用了另外一个医学公开的数据集ADNI用于阿尔兹海默症的研究,数据集包括1700多名成年人的纵向脑MRI,PET数据、遗传和表型信息。本发明过程中选用了数据集中的1675例MCI轻度认知障碍患者,对于其中的图像数据,使用MALP-EM从MRI中提取出C=138个分段脑结构体积。利用表型数据和遗传数据计算成对关联。
S102:提取非图像数据的矩阵表示:利用相应受试者的表型数据,选择所需的各个维度的特征,利用Euclidean算法构造出受试者之间的关系矩阵。
S103:提取多模态数据中图像数据的矩阵表示:每位受试者的图像数据是由fMRI功能磁共振成像组成,从获得的fMRI中提取出代表受试者功能连接性的C维特征向量,计算每维受试者的相似性,最后得到矩阵表示。
S104:增强图对比学习:将S2非图像数据的相似性矩阵与S3图像数据的相似性矩阵做矩阵乘法,得到的矩阵看作是一个全连接图,通过图的结构和属性的随机增强来生成两个图的视图,增强后生成两个新图被视为视图view,使用待训练的GCN对View进行编码,得到节点表示向量和图表示向量;进一步增强图的鲁棒性。
S105:使用谱图卷积进行疾病预测:将通过设置不同的丢失概率得到的节点特征与两个图视图输入到图卷积网络当中,通过神经网络MLP输出最后的分类概率。计算损失,使用精确性、灵敏性、F1分数评价指标来评估实验结果。
图1是本发明用到的一种图对比学习的方法,将图数据进行两次数据增强,分别是拓扑级别的增强和节点属性级别的增强。
图2是本发明的流程图,由上到下依次进行处理。
图3是本发明的总体架构图。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1.一种基于自监督图卷积模型的自闭症疾病预测技术其特征在于,包括如下所述内容:
S1:数据预处理:获取自闭症脑成像数据库(ABIDE)中的受试者信息,其中每位受试者信息包含图像数据和非图像数据。
S2:提取非图像数据的矩阵表示:利用相应受试者的表型数据,选择所需的各个维度的特征,利用欧几里得(Euclidean)度量算法构造出受试者之间的关系矩阵。
S3:提取多模态数据中图像数据的矩阵表示:每位受试者的图像数据是由fMRI功能磁共振成像组成,从获得的fMRI中提取出代表受试者功能连接性的一定维度的特征向量,计算每位受试者的相似性,最后得到表示受试者之间图像数据相似性的矩阵表示。
S4:增强图对比学习:将S2中非图像数据的相似性矩阵与S3中图像数据的相似性矩阵做矩阵乘法,得到的矩阵是一个全连接图,作为节点对之间的评分矩阵;我们将大于一定分数阈值的节点对保留,从而得到一个图的邻接矩阵(图拓扑结构),通过度中心性算法对图拓扑结构进行增强,通过节点特征随机添加噪声对节点属性进行增强,得到节点表示向量和图表示向量,我们设置不同的增强概率,生成两个新的视图(view);进一步增强图的鲁棒性。
S5:使用谱图卷积进行疾病预测:将通过设置不同的丢失概率得到的节点特征与两个视图输入到图卷积网络(GCN)当中,通过神经网络全连接层输出最后的分类概率,通过与真实分类标签计算损失实现图卷积神经网络的训练,以及推理出模型的预测结果。
2.根据权利要求1所述的基于自监督图卷积模型的自闭症疾病预测技术S4步骤,其特征在于:首先从每位受试者中选择出一些维度的表型数据,使用Euclidean度量算法能够在m维空间中计算两个点之间的真实距离,得到非图像数据的矩阵表示;再与每位受试者的图像矩阵做矩阵乘法,得到一个全连接图,作为节点对之间的评分矩阵;我们将大于一定分数阈值的节点对留下,从而得到一个图的邻接矩阵(图拓扑结构);图对比网络首先使用度中心性算法对图结构进行增强,通过邻接矩阵计算出每个节点的度数,来判断每个节点在图结构中的重要程度,度数越大说明节点在图结构中越重要,根据节点的中心性来设定删边的概率,得到新的图拓扑结构;其次再对节点属性进行增强,通过在节点特征中随机掩蔽一部分维度,将噪声随机添加到节点属性中,最后生成新的节点特征矩阵;通过图结构和属性的随机增强生成一个新的视图,将新的视图分别设置不同的增强概率来生成用于图对比学习的两个视图,图对比模块学习的信息能够提高特征表达的鉴别性。
3.根据权利要求1所述的基于自监督图卷积模型的自闭症疾病预测技术S5步骤,其特征在于:所使用的图卷积神经网络GCN可以有效地整合网络地节点特征和图的拓扑结构,邻接矩阵和特征矩阵作为GCN最重要的两个输入,它们的质量影响模型分类的性能。
4.一种基于自监督图卷积模型的自闭症疾病预测技术,包括:
数据增强模块:使用度中心性算法对图拓扑进行数据增强;给节点特征添加噪声对节点属性进行随机增强,生成新的视图;
图对比网络模块:对新的视图设置不同的随机增强概率(删边的概率以及对多维节点属性添加噪声的概率),在图和节点特征之间应用对比约束,使互信息最大化,使用数据增强方案保留图的内在结构和属性,这将迫使模型学习对不重要的节点和边缘的扰动不敏感的表示。
CN202310405718.8A 2023-04-17 2023-04-17 基于自监督图卷积模型的自闭症疾病预测技术 Pending CN116797817A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310405718.8A CN116797817A (zh) 2023-04-17 2023-04-17 基于自监督图卷积模型的自闭症疾病预测技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310405718.8A CN116797817A (zh) 2023-04-17 2023-04-17 基于自监督图卷积模型的自闭症疾病预测技术

Publications (1)

Publication Number Publication Date
CN116797817A true CN116797817A (zh) 2023-09-22

Family

ID=88045872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310405718.8A Pending CN116797817A (zh) 2023-04-17 2023-04-17 基于自监督图卷积模型的自闭症疾病预测技术

Country Status (1)

Country Link
CN (1) CN116797817A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409978A (zh) * 2023-12-15 2024-01-16 贵州大学 一种疾病预测模型构建方法、***、装置及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409978A (zh) * 2023-12-15 2024-01-16 贵州大学 一种疾病预测模型构建方法、***、装置及可读存储介质
CN117409978B (zh) * 2023-12-15 2024-04-19 贵州大学 一种疾病预测模型构建方法、***、装置及可读存储介质

Similar Documents

Publication Publication Date Title
Khan et al. Skin lesion segmentation and classification: A unified framework of deep neural network features fusion and selection
Li et al. Lightweight attention convolutional neural network for retinal vessel image segmentation
Chen et al. Deep feature learning for medical image analysis with convolutional autoencoder neural network
Salido et al. Using deep learning to detect melanoma in dermoscopy images
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及***
US11200982B2 (en) Method for analysing medical treatment data based on deep learning and intelligence analyser thereof
CN107480702B (zh) 面向hcc病理图像识别的特征选择与特征融合方法
CN112766355B (zh) 一种标签噪声下的脑电信号情绪识别方法
WO2022127500A1 (zh) 基于多个神经网络的mri图像分割方法、装置及设备
CN112765370B (zh) 知识图谱的实体对齐方法、装置、计算机设备和存储介质
CN112766376A (zh) 一种基于gacnn的多标签眼底图像识别方法
CN116884623B (zh) 基于激光扫描成像的医疗康复预测***
CN115841607A (zh) 一种基于图注意力网络的脑网络结构和相似度的联合学习方法
CN112863664A (zh) 基于多模态超图卷积神经网络的阿尔茨海默病分类方法
Khan et al. SkinNet‐ENDO: Multiclass skin lesion recognition using deep neural network and Entropy‐Normal distribution optimization algorithm with ELM
CN116797817A (zh) 基于自监督图卷积模型的自闭症疾病预测技术
Thangavel et al. EAD-DNN: Early Alzheimer's disease prediction using deep neural networks
CN117591953A (zh) 基于多组学数据的癌症分类方法、***及电子设备
Padole et al. Graph wavelet-based multilevel graph coarsening and its application in graph-CNN for alzheimer’s disease detection
Anusha et al. Parkinson’s disease identification in homo sapiens based on hybrid ResNet-SVM and resnet-fuzzy svm models
CN116884067B (zh) 一种基于改进的隐式语义数据增强的微表情识别方法
CN117457081A (zh) 一种基于超图的空间转录组数据处理方法及***
Nalluri et al. Pneumonia screening on chest X-rays with optimized ensemble model
CN116543215A (zh) 一种基于深度哈希互学习的脑网络分类方法
Krishna Priya et al. Improved particle swarm optimized deep convolutional neural network with super‐pixel clustering for multiple sclerosis lesion segmentation in brain MRI imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination