CN115222688A - 基于图网络时间序列的医学影像分类方法 - Google Patents

基于图网络时间序列的医学影像分类方法 Download PDF

Info

Publication number
CN115222688A
CN115222688A CN202210814372.2A CN202210814372A CN115222688A CN 115222688 A CN115222688 A CN 115222688A CN 202210814372 A CN202210814372 A CN 202210814372A CN 115222688 A CN115222688 A CN 115222688A
Authority
CN
China
Prior art keywords
graph
neural network
layer
time
convolution neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210814372.2A
Other languages
English (en)
Other versions
CN115222688B (zh
Inventor
潘丹
骆根强
张怡聪
容华斌
曾安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN202210814372.2A priority Critical patent/CN115222688B/zh
Publication of CN115222688A publication Critical patent/CN115222688A/zh
Application granted granted Critical
Publication of CN115222688B publication Critical patent/CN115222688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于图网络时间序列的医学影像分类方法，包括：获取fMRI图像样本；基于k‑s验证方法构造能放映大脑分区之间功能连接动态变化的图网络时间序列，对fMRI图像样本进行处理，得到每个fMRI图像样本对应的图网络时间序列；构建图卷积神经网络‑时域卷积神经网络模型并进行训练和验证，最后利用图卷积神经网络‑时域卷积神经网络模型实现对医学影像的分类。本发明提出的医学影像分类方法，实现了对脑功能网络连接动态变化规律的放映；提出一个图卷积神经网络‑时域卷积神经网络模型，有利于图特征的提取和对图网络时间序列中变化规律的学习，有效提升了模型的分类能力。

Description

基于图网络时间序列的医学影像分类方法
技术领域
本发明涉及医学影像的计算机分析技术领域，特别是涉及一种基于图网络时间序列的医学影像分类方法。
背景技术
随着现代医学的发展，医学影像在疾病的辅助诊断和治疗上起到了越来越重要的作用。大量研究就表明，许多神经精神疾病（如AD和精神***症等）均与脑结构和功能网络的拓扑变化有关，近年来提出人脑连接组学（Human Connectome）主要研究大脑在广泛的时空尺度上连接而成动态的复杂功能网络，以更好地理解大脑神经疾病的病理基础，进而帮助了解大脑内部的工作机制。其中，功能核磁共振成像(functional Magnetic ResonanceImaging,fMRI)因兼备较高的时间分辨率和空间分辨率，为研究人脑的功能提供了一种重要的手段，已成为人脑连接组学的研究热点和难点。但同时，fMRI影像本身易受噪声干扰、数据维度高，这些都导致数据的处理和分析存在较大难度。针对fMRI影像的这些特点，利用深度学习的方法，通过数据驱动的方式，可以挖掘更多有价值的信息，简化人工处理和分析数据的过程，以减轻医生和研究者的负担。
在基于fMRI的医学影像分类方法中，主要是基于脑连接学，利用fMRI构造脑功能网络，根据脑功能网络中的拓扑结构和各种网络参数进行分类，构建脑功能网络的主要方法是利用fMRI表达出来的各体素上的血氧水平依赖（BOLD）信号时间序列计算出大脑区域两两之间的功能关联性，以此构造出大脑功能网络。但是，此方法利用一张fMRI图像中包含的BOLD信号时间序列为一个个体人脑仅仅构造出一个脑功能网络，没有最大限度地利用蕴含在一张fMRI图像中的BOLD信号时间序列在空间维度上的关联信息，从而无法反映出不同脑区功能之间的关联关系在神经生理过程中随时间变化而呈现出来的动态变化，而这些变化趋势，可能会对fMRI的分类起到关键性作用。
现有技术公开了一种基于图卷积神经网络的脑网络分类方法。该方法包括：首先从fMRI图像中提取各个脑区的BOLD信号；其次，构建能够反映脑区之间的功能连接拓扑结构特征的脑图；再次，将构建的脑网络以及实际诊断标签输入到图卷积神经网络中进行特征学习以及模型训练。该方法通过fMRI图像构建一个脑网络，并基于该脑网络进行特征学习和分类，可能会忽略图像中隐含的重要信息，无法反映出不同脑区功能之间的关联关系在神经生理过程中随时间变化而呈现出来的动态变化。
现有技术公开了一种基于fMRI构造网络模型的训练方法和装备、计算机设备以及存储介质。该方法包括：对原始的fMRI图像数据进行采样和预处理；建立3D-CNN+LSTM模型；创建fMRI图像片段作为第一训练数据集，用第一训练数据集中损失值最小的fMRI片段作为第二训练数据集；应用第二测试数据集对4D-CNN模型进行训练并输出分类结果。该方法所采用的两个卷积神经模型，能提取fMRI图像中的时间和空间信息，但是这两个模型的参数较多，输入的fMRI图像维度高，只能选取较短的时间片段作为模型输入，不能获取fMRI图像中的长时间动态变化信息。
发明内容
本发明为了解决以上至少一种技术缺陷，提供一种基于图网络时间序列的医学影像分类方法，该方法能反映脑功能网络连接的动态变化规律。
为解决上述技术问题，本发明的技术方案如下：
一种基于图网络时间序列的医学影像分类方法，包括以下步骤：
S1：采集原始fMRI图像并进行预处理和采样，获取fMRI图像样本；
S2：基于k-s（Kolmogorov-Smirnov）验证方法构造能够放映大脑分区之间功能连接动态变化的图网络时间序列，对fMRI图像样本进行处理，得到每个fMRI图像样本对应的图网络时间序列；
S3：构建图卷积神经网络-时域卷积神经网络模型，利用图网络时间序列对图卷积神经网络-时域卷积神经网络模型进行训练和验证；
S4：将待分类的fMRI图像输入完成训练和验证的图卷积神经网络-时域卷积神经网络模型中，实现对医学影像的分类。
上述方案中，通过fMRI图像构造出能够放映大脑分区之间功能连接动态变化的图网络时间序列，实现了对脑功能网络连接动态变化规律的放映；同时，提出一个图卷积神经网络-时域卷积神经网络模型，有利于图特征的提取和对图网络时间序列中变化规律的学习，有效提升了模型的分类能力。
其中，在所述步骤S1中，采用DPARSF软件对原始fMRI图像进行预处理。
在图像采集过程中，被试者的头动、呼吸、心跳等因素，会产生噪音，导致图像的成像质量变差，因此在数据分析时，要先进行预处理，减少无关噪音的影响，提高信噪比，本方案使用DPARSF软件实现预处理过程。
其中，在所述步骤S1中，对预处理后的fMRI图像进行采样的过程具体为：假设采样的时间切片长度为k，算计选择开始帧为
Figure 546219DEST_PATH_IMAGE001
，最终采样得到一个样本片段为
Figure 523402DEST_PATH_IMAGE002
，重复上述步骤得到多个样本片段组成fMRI图像样本。
一般而言，从零开始训练一个深度学习模型需要大量的fMRI图像样本，而对于fMRI图像而言，往往难以获取大量的fMRI图像样本用于模型的训练；因此，本方案提出一种通过将fMRI图像样本分割成较短的片段来增加样本数量的方法，实现fMRI图像样本数据的增强，大大增加了训练的样本数量，提高模型的训练效果。
其中，在所述步骤S2中，fMRI图像样本由每一个fMRI图像的多个时间切片组成，对于一个fMRI图像中的每一个时间切片，得到其fMRI图像样本对应的图网络时间序列过程具体为：
S21：对于一个时间切片，按照脑区划分模板将人脑划分为多个感兴趣区域；将每个感兴趣区域作为一个顶点，得到顶点集；
S22：将顶点集各个顶点间的相关性作为边，基于k-s验证方法检验顶点与顶点间相关性大小作为边的强度，得到边集；
S23：根据顶点集、边集构造出该时间切片的无向图；
S24：重新选择一个时间切片，重复执行步骤S21-步骤S24，得到一个fMRI图像中每一个时间切片的无向图，根据所有无向图得到该fMRI图像样本对应的图网络时间序列。
其中，在所述步骤S2中，顶点集表示为
Figure 795115DEST_PATH_IMAGE003
，其中
Figure 386502DEST_PATH_IMAGE004
代表第
Figure 501089DEST_PATH_IMAGE005
个感兴趣区域，
Figure 157329DEST_PATH_IMAGE006
是感兴趣区域的个数；边集由邻接矩阵
Figure 408182DEST_PATH_IMAGE007
表示，其中，N表示顶点的数量，
Figure 872268DEST_PATH_IMAGE008
的值为顶点
Figure 474150DEST_PATH_IMAGE009
之间边的强度；具体的，根据感兴趣区域
Figure 730819DEST_PATH_IMAGE005
的BOLD信号和感兴趣区域
Figure 960813DEST_PATH_IMAGE010
的BOLD信号的k-s验证方法验证得到的p-value值作为顶点
Figure 972631DEST_PATH_IMAGE009
之间边的强度，k-s验证方法能用于检验两个感兴趣区域中的数据是否服从相同分布，若p-value值越小，说明两个感兴趣区域的相关性越小；所述p-value值的计算过程具体为：
设感兴趣区域
Figure 468334DEST_PATH_IMAGE005
的BOLD信号为
Figure 482689DEST_PATH_IMAGE011
，感兴趣区域
Figure 708134DEST_PATH_IMAGE010
的BOLD信号为
Figure 500641DEST_PATH_IMAGE012
，其中
Figure 998487DEST_PATH_IMAGE013
分别是感兴趣区域
Figure 924855DEST_PATH_IMAGE005
的BOLD信号和感兴趣区域
Figure 880172DEST_PATH_IMAGE010
的BOLD信号的个数，两个感兴趣区域的BOLD信号总数为
Figure 233793DEST_PATH_IMAGE014
；将感兴趣区域
Figure 655154DEST_PATH_IMAGE005
的BOLD信号从小到大排序，重新编号得到
Figure 791737DEST_PATH_IMAGE015
个排序后的BOLD信号：
Figure 726195DEST_PATH_IMAGE016
，同理得到非降序的感兴趣区域
Figure 640930DEST_PATH_IMAGE017
的BOLD信号：
Figure 332943DEST_PATH_IMAGE018
；
设
Figure 866692DEST_PATH_IMAGE019
是感兴趣区域
Figure 281755DEST_PATH_IMAGE005
的经验分布函数：
Figure 649283DEST_PATH_IMAGE020
其中，
Figure 422067DEST_PATH_IMAGE021
为感兴趣区域
Figure 352983DEST_PATH_IMAGE005
中小于等于
Figure 262033DEST_PATH_IMAGE022
的BOLD信号的个数；同理得到感兴趣区域
Figure 66041DEST_PATH_IMAGE023
的经验分布函数
Figure 441569DEST_PATH_IMAGE024
：
Figure 317121DEST_PATH_IMAGE025
其中，
Figure 18361DEST_PATH_IMAGE026
为感兴趣区域
Figure 180220DEST_PATH_IMAGE027
中小于等于
Figure 662017DEST_PATH_IMAGE028
的BOLD信号的个数；
计算k-s验证方法的验证统计量
Figure 747785DEST_PATH_IMAGE029
：
Figure 257526DEST_PATH_IMAGE030
Figure 200074DEST_PATH_IMAGE031
其中，
Figure 44534DEST_PATH_IMAGE032
是感兴趣区域
Figure 183260DEST_PATH_IMAGE005
的BOLD信号的经验分布
Figure 655829DEST_PATH_IMAGE033
的感兴趣区域
Figure 175804DEST_PATH_IMAGE027
的BOLD信号的经验分布
Figure 52099DEST_PATH_IMAGE034
之差的绝对值的最大值，最后，计算感兴趣区域
Figure 541986DEST_PATH_IMAGE005
和感兴趣区域
Figure 72325DEST_PATH_IMAGE027
的BOLD信号的k-s验证p-value值
Figure 12468DEST_PATH_IMAGE035
：
Figure 424995DEST_PATH_IMAGE036
其中Z是验证统计量，e是自然常数。
其中，所述步骤S3具体包括以下步骤：
S31：分别构建图卷积神经网络和时域卷积神经网络，将其组成图卷积神经网络-时域卷积神经网络模型；
S32：将图网络时间序列的一部分作为训练集，剩下部分作为验证集；
S33：利用训练集对图卷积神经网络-时域卷积神经网络模型进行训练；
S34：在训练过程中，图卷积神经网络-时域卷积神经网络模型通过验证集进行验证，将验证集中准确率最高的参数作为图卷积神经网络-时域卷积神经网络模型的参数，完成对图卷积神经网络-时域卷积神经网络模型的训练；
在训练过程中，由构建图卷积神经网络提取图网络时间序列的图特征，将图特征输入到时域卷积神经网络中，得到分类结果。
其中，在所述步骤S2中，提取感兴趣区域的BOLD信号的平均值和标准差作为其顶点的特征，得到顶点属性矩阵；在所述步骤S3中，图卷积神经网络包括多个卷积池化单元、全连接层和softmax分类器；其中，卷积池化单元包括图卷积层、自注意力图池化层和读出层；设图卷积神经网络输入的图网络时间序列包含顶点属性矩阵
Figure 656256DEST_PATH_IMAGE037
和邻接矩阵
Figure 995096DEST_PATH_IMAGE038
，其中，
Figure 981506DEST_PATH_IMAGE039
是顶点的个数，
Figure 22275DEST_PATH_IMAGE040
是顶点属性的个数；图卷积层的操作具体为：
Figure 40915DEST_PATH_IMAGE041
其中，
Figure 608163DEST_PATH_IMAGE042
是
Figure 375261DEST_PATH_IMAGE043
阶单位矩阵；
Figure 27960DEST_PATH_IMAGE044
是对角矩阵，代表每一个顶点的度，
Figure 348826DEST_PATH_IMAGE045
，
Figure 911526DEST_PATH_IMAGE046
代表矩阵
Figure 239739DEST_PATH_IMAGE047
第i行第j列的元素，
Figure 238788DEST_PATH_IMAGE048
代表矩阵
Figure 677859DEST_PATH_IMAGE049
第i行第i列的元素，
Figure 891803DEST_PATH_IMAGE050
是第
Figure 17016DEST_PATH_IMAGE051
层的节点嵌入，若第0层的节点特征为
Figure 644306DEST_PATH_IMAGE052
，则
Figure 496856DEST_PATH_IMAGE053
，
Figure 158781DEST_PATH_IMAGE054
是可学习的权重参数；
自注意力图池化层需要得到每一层节点的重要程度，称为节点的自注意力，然后对注意力分数权重排行前k的节点进行保留，组成Top-K节点；首先计算自注意力分数
Figure 750169DEST_PATH_IMAGE055
，其中N是节点的个数：
Figure 474542DEST_PATH_IMAGE056
其中
Figure 520996DEST_PATH_IMAGE057
是可学习的自注意力权重；根据自注意力分数，采用节点选择的方式，选择Top-K节点，保留了输入的图网络时间序列的一部分节点，具体为：
Figure 395017DEST_PATH_IMAGE058
其中，
Figure 908038DEST_PATH_IMAGE059
表示保留节点的索引；
Figure 244342DEST_PATH_IMAGE060
表示选择
Figure 953541DEST_PATH_IMAGE061
排名前
Figure 58900DEST_PATH_IMAGE062
的节点；池化比率
Figure 946084DEST_PATH_IMAGE063
表示要保留节点数的百分比，得到自注意力值前
Figure 458099DEST_PATH_IMAGE064
大的节点的索引，然后执行Masking操作：
Figure 580776DEST_PATH_IMAGE065
其中，
Figure 947167DEST_PATH_IMAGE066
表示保留索引为mask的节点嵌入，
Figure 864307DEST_PATH_IMAGE067
表示保留节点对应的注意力分数，
Figure 299836DEST_PATH_IMAGE068
表示按位相乘，
Figure 898308DEST_PATH_IMAGE069
表示保留节点的邻接矩阵，
Figure 243839DEST_PATH_IMAGE070
，
Figure 220629DEST_PATH_IMAGE071
表示自注意力池化层输出的节点嵌入和邻接矩阵；
读出层通过聚合节点特征以形成固定大小的表示，得到图的高维表示，读出层输出的特征具体为：
Figure 753241DEST_PATH_IMAGE072
其中，N表示节点数量，
Figure 358666DEST_PATH_IMAGE073
表示第l层第i个节点的节点嵌入，||表示特征的拼接操作，读出层实际上是全局平均池化层和全局最大池化层得到特征的拼接；
全连接层为了实现对数据的重构输出，其前向传播过程如下：
Figure 480075DEST_PATH_IMAGE074
Figure 4597DEST_PATH_IMAGE075
，
Figure 899872DEST_PATH_IMAGE076
分别是第
Figure 433621DEST_PATH_IMAGE077
层的全连接层的可学习权重矩阵和可学习偏置，
Figure 114263DEST_PATH_IMAGE078
和
Figure 481791DEST_PATH_IMAGE079
分别代表第l层全连接层的神经元个数和第l+1层全连接层神经元的个数，最后通过softmax分类器，得到最终得分类结果:
Figure 254575DEST_PATH_IMAGE080
其中，
Figure 185491DEST_PATH_IMAGE081
，
Figure 94541DEST_PATH_IMAGE082
是第l层全连接层的神经元个数，
Figure 898549DEST_PATH_IMAGE083
是类别数量；图卷积神经网络将多个自注意力图池化层得到的图，通过读出层获得不同层次图的高维特征表示，将其高维特征相加，得到最终高维特征表示，通过全连接层，对高维特征进行重构，重构后的特征作为时域卷积神经网络的输入，最终通过softmax分类器，得到输入图的分类结果。
其中，在所述步骤S3中，时域卷积神经网络的输入层与图卷积神经网络全连接层连接，经过多个TCN层处理，经展开层后由输出层输出到softmax分类器中，其中，每个TCN层通过一个一维全卷积结构将其输入的维度大小转变成与其输出维度大小一致，其向前传播的过程为：
Figure 516218DEST_PATH_IMAGE084
假设全连接层的输出向量拼接形成序列数据
Figure 126191DEST_PATH_IMAGE085
，其中
Figure 765114DEST_PATH_IMAGE086
为时间切片的长度，
Figure 989291DEST_PATH_IMAGE087
是全连接层的神经元个数；将
Figure 471088DEST_PATH_IMAGE088
输入到TCN层中，经过多个TCN层后，经过展开层输出展开为一维向量，最后经过softmax分类器进行分类，得到该时间切片的分类结果。
其中，在所述步骤S3中，时域卷积神经网络的TCN层由因果卷积和膨胀卷积组成，其中：
在因果卷积中，输出序列的元素只依赖于输入序列中在它之前的元素，对于时间序列数据而言就是上一层某一时刻
Figure 494539DEST_PATH_IMAGE089
的值只依赖下一层
Figure 378181DEST_PATH_IMAGE089
时刻及之前的值，即：
Figure 274724DEST_PATH_IMAGE090
其中，
Figure 119183DEST_PATH_IMAGE091
表示因果卷积T时刻的输出，
Figure 70959DEST_PATH_IMAGE092
表示第l层时刻1至时刻T的特征向量；膨胀卷积是指使用和卷积核大小相同但不连续的神经元进行卷积运算；膨胀卷积中有一个膨胀系数d用来控制参与卷积运算的神经元的不连续程度，膨胀卷积的计算公式为：
Figure 464900DEST_PATH_IMAGE093
其中，e表示扩张系数，
Figure 984874DEST_PATH_IMAGE094
表示卷积核大小，
Figure 861170DEST_PATH_IMAGE095
表示卷积核第i项的权重，当e为1时，扩张卷积退化为普通卷积，通过控制e的大小，从而在计算量不变的前提下扩大感受野。
其中，在所述步骤S3所构建的图卷积神经网络-时域卷积神经网络模型中，其损失函数由三部分组成，分别为节点分类损失、时间片段分类损失和最终的分类损失，损失函数具体表示为：
Figure 616636DEST_PATH_IMAGE096
其中，
Figure 84658DEST_PATH_IMAGE097
是第i个时间点第j个节点的节点分类损失，
Figure 634588DEST_PATH_IMAGE098
，
Figure 499645DEST_PATH_IMAGE099
，在本方案中，图卷积神经网络中应用了自注意力池化层，因此，对于每一个图，最终只保留了Top-K的节点，而该损失函数也只计算Top-K节点的分类损失；
Figure 934168DEST_PATH_IMAGE100
是第i个时间点的时间片段分类损失，
Figure 381330DEST_PATH_IMAGE098
，
Figure 993839DEST_PATH_IMAGE101
为时间点的个数，即图卷积神经网络的分类损失；
Figure 159241DEST_PATH_IMAGE102
为最终时域卷积神经网络的分类损失，超参数
Figure 928614DEST_PATH_IMAGE103
分别为控制节点分类损失、时间片段分类损失和最终的分类损失的影响，有
Figure 886075DEST_PATH_IMAGE104
且
Figure 777807DEST_PATH_IMAGE105
；所有的分类损失函数均使用交叉熵损失函数，具体表示为：
Figure 305872DEST_PATH_IMAGE106
Figure 206832DEST_PATH_IMAGE107
表示该样本第j种类别的真实概率值，
Figure 314072DEST_PATH_IMAGE108
表示由模型得到的该样本第j种类别的预测概率值。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出了一种基于图网络时间序列的医学影像分类方法，通过fMRI图像构造出能够放映大脑分区之间功能连接动态变化的图网络时间序列，实现了对脑功能网络连接动态变化规律的放映；同时，提出一个图卷积神经网络-时域卷积神经网络模型，有利于图特征的提取和对图网络时间序列中变化规律的学习，有效提升了模型的分类能力。
附图说明
图1为本发明所述方法流程示意图；
图2为本发明所述图卷积神经网络-时域卷积神经网络模型具体示意图；
图3为本发明所述图卷积神经网络具体示意图；
图4为本发明所述时域卷积神经网络具体示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于图网络时间序列的医学影像分类方法，包括以下步骤：
S1：采集原始fMRI图像并进行预处理和采样，获取fMRI图像样本；
S2：基于k-s验证方法构造能够放映大脑分区之间功能连接动态变化的图网络时间序列，对fMRI图像样本进行处理，得到每个fMRI图像样本对应的图网络时间序列；
S3：构建图卷积神经网络-时域卷积神经网络模型，利用图网络时间序列对图卷积神经网络-时域卷积神经网络模型进行训练和验证；
S4：将待分类的fMRI图像输入完成训练和验证的图卷积神经网络-时域卷积神经网络模型中，实现对医学影像的分类。
在具体实施过程中，通过fMRI图像构造出能够放映大脑分区之间功能连接动态变化的图网络时间序列，实现了对脑功能网络连接动态变化规律的放映；同时，提出一个图卷积神经网络-时域卷积神经网络模型，有利于图特征的提取和对图网络时间序列中变化规律的学习，有效提升了模型的分类能力。
更具体的，在所述步骤S1中，采用DPARSF软件对原始fMRI图像进行预处理。
在图像采集过程中，被试者的头动、呼吸、心跳等因素，会产生噪音，导致图像的成像质量变差，因此在数据分析时，要先进行预处理，减少无关噪音的影响，提高信噪比，本方案使用DPARSF软件实现预处理过程，具体包括：
首先去除每个fMRI图像样本的前10帧数据以获得稳定信号；其次，对每个切片进行时间校正，以确保每个切片上的数据对应于相同的时间点。在时间校正之后，继续进行空间校正，将每个受试者的每一帧图像重新对准其平均图像，并在空间上标准化为MNI（Montreal Neurological Institute）空间，以此消除个体间的差异；使用4×4×4mm 3全宽半高的高斯核对所有图像进行空间平滑；去除线性趋势和低频滤波（0.01Hz-0.08Hz）；协变量回归分析，消除的干扰因素包括脑脊液体、白质信号以及头部运动。
更具体的，在所述步骤S1中，对预处理后的fMRI图像进行采样的过程具体为：假设采样的时间切片长度为k，算计选择开始帧为
Figure 517651DEST_PATH_IMAGE109
，最终采样得到一个样本片段为
Figure 392066DEST_PATH_IMAGE110
，重复上述步骤得到多个样本片段组成fMRI图像样本。
一般而言，从零开始训练一个深度学习模型需要大量的fMRI图像样本，而对于fMRI图像而言，往往难以获取大量的fMRI图像样本用于模型的训练；因此，本方案提出一种通过将fMRI图像样本分割成较短的片段来增加样本数量的方法，实现fMRI图像样本数据的增强，大大增加了训练的样本数量，提高模型的训练效果。
更具体的，在所述步骤S2中，fMRI图像样本由每一个fMRI图像的多个时间切片组成，对于一个fMRI图像中的每一个时间切片，得到其fMRI图像样本对应的图网络时间序列过程具体为：
S21：对于一个时间切片，按照脑区划分模板将人脑划分为多个感兴趣区域；将每个感兴趣区域作为一个顶点，得到顶点集
Figure 955771DEST_PATH_IMAGE111
；
S22：将顶点集各个顶点间的相关性作为边，基于k-s验证方法检验顶点与顶点间相关性大小作为边的强度，得到边集
Figure 497611DEST_PATH_IMAGE112
；
S23：根据顶点集、边集构造出该时间切片的无向图
Figure 668830DEST_PATH_IMAGE113
；
S24：重新选择一个时间切片，重复执行步骤S21-步骤S24，得到一个fMRI图像中每一个时间切片的无向图，根据所有无向图得到该fMRI图像样本对应的图网络时间序列
Figure 922219DEST_PATH_IMAGE114
。其中，
Figure 899402DEST_PATH_IMAGE115
是fMRI时间点的个数，
Figure 171114DEST_PATH_IMAGE116
代表第
Figure 841130DEST_PATH_IMAGE117
个时间切片所构成的图。
在具体实施过程中，对于每一个fMRI图像样本中的每一个时间切片，按照脑区划分模板将人脑划分为N个感兴趣区域，如AAL模板、Brainnetome模板等。在本方案中采用AAL模版进行划分，该模板将人脑划分成116个感兴趣区域，其中90个感兴趣区域为大脑区域，本方案只选取大脑区域的90个感兴趣区域，每一个感兴趣区域作为一个顶点，得到顶点集。
更具体的，在所述步骤S2中，顶点集表示为
Figure 877088DEST_PATH_IMAGE118
，其中
Figure 798908DEST_PATH_IMAGE119
代表第
Figure 784181DEST_PATH_IMAGE120
个感兴趣区域，
Figure 271705DEST_PATH_IMAGE121
是感兴趣区域的个数；边集由邻接矩阵
Figure 545691DEST_PATH_IMAGE122
表示，其中，N表示顶点的数量，
Figure 864677DEST_PATH_IMAGE123
的值为顶点
Figure 360249DEST_PATH_IMAGE124
之间边的强度；具体的，根据感兴趣区域
Figure 44172DEST_PATH_IMAGE125
的BOLD信号和感兴趣区域
Figure 133350DEST_PATH_IMAGE126
的BOLD信号的k-s验证方法验证得到的p-value值作为顶点
Figure 882126DEST_PATH_IMAGE124
之间边的强度，k-s验证方法能用于检验两个感兴趣区域中的数据是否服从相同分布，若p-value值越小，说明两个感兴趣区域的相关性越小；所述p-value值的计算过程具体为：
设感兴趣区域
Figure 841992DEST_PATH_IMAGE125
的BOLD信号为
Figure 962394DEST_PATH_IMAGE127
，感兴趣区域
Figure 397924DEST_PATH_IMAGE126
的BOLD信号为
Figure 58712DEST_PATH_IMAGE128
，其中
Figure 279609DEST_PATH_IMAGE129
分别是感兴趣区域
Figure 53137DEST_PATH_IMAGE125
的BOLD信号和感兴趣区域
Figure 585749DEST_PATH_IMAGE130
的BOLD信号的个数，两个感兴趣区域的BOLD信号总数为
Figure 191174DEST_PATH_IMAGE131
；将感兴趣区域
Figure 391211DEST_PATH_IMAGE125
的BOLD信号从小到大排序，重新编号得到
Figure 837105DEST_PATH_IMAGE133
个排序后的BOLD信号：
Figure 732380DEST_PATH_IMAGE016
，同理得到非降序的感兴趣区域
Figure 550DEST_PATH_IMAGE134
的BOLD信号：
Figure 477930DEST_PATH_IMAGE135
；
设
Figure 48720DEST_PATH_IMAGE136
是感兴趣区域
Figure 821504DEST_PATH_IMAGE137
的经验分布函数：
Figure 549157DEST_PATH_IMAGE138
其中，
Figure 599153DEST_PATH_IMAGE139
为感兴趣区域
Figure 465478DEST_PATH_IMAGE140
中小于等于
Figure 83147DEST_PATH_IMAGE141
的BOLD信号的个数；同理得到感兴趣区域
Figure 365224DEST_PATH_IMAGE142
的经验分布函数
Figure 394360DEST_PATH_IMAGE143
：
Figure 556220DEST_PATH_IMAGE144
其中，
Figure 38017DEST_PATH_IMAGE145
为感兴趣区域
Figure 123785DEST_PATH_IMAGE146
中小于等于
Figure 633526DEST_PATH_IMAGE147
的BOLD信号的个数；
计算k-s验证方法的验证统计量
Figure 841653DEST_PATH_IMAGE148
：
Figure 686112DEST_PATH_IMAGE149
Figure 559259DEST_PATH_IMAGE150
其中，
Figure 562987DEST_PATH_IMAGE151
是感兴趣区域
Figure 817382DEST_PATH_IMAGE152
的BOLD信号的经验分布
Figure 273771DEST_PATH_IMAGE153
的感兴趣区域
Figure 449144DEST_PATH_IMAGE154
的BOLD信号的经验分布
Figure 651587DEST_PATH_IMAGE155
之差的绝对值的最大值，最后，计算感兴趣区域
Figure 467096DEST_PATH_IMAGE156
和感兴趣区域
Figure 332153DEST_PATH_IMAGE154
的BOLD信号的k-s验证p-value值
Figure 766676DEST_PATH_IMAGE157
：
Figure 213838DEST_PATH_IMAGE036
其中Z是验证统计量，e是自然常数。
实施例2
更具体的，在实施例1的基础上，在所述步骤S3中构建图卷积神经网络-时域卷积神经网络模型，在模型建立过程中，其设计主要关注是如何将空间维度信息和时间维度信息融合起来。在本实施例中，首先利用图卷积网络提取图特征，将图特征输入到时域卷积神经网络中，从而得到最后的分类结果。步骤S3具体包括以下步骤：
S31：分别构建图卷积神经网络和时域卷积神经网络，将其组成图卷积神经网络-时域卷积神经网络模型；
S32：将图网络时间序列的一部分作为训练集，剩下部分作为验证集；
S33：利用训练集对图卷积神经网络-时域卷积神经网络模型进行训练；
S34：在训练过程中，图卷积神经网络-时域卷积神经网络模型通过验证集进行验证，将验证集中准确率最高的参数作为图卷积神经网络-时域卷积神经网络模型的参数，完成对图卷积神经网络-时域卷积神经网络模型的训练；
在训练过程中，由构建图卷积神经网络提取图网络时间序列的图特征，将图特征输入到时域卷积神经网络中，得到分类结果。
更具体的，在所述步骤S2中，提取感兴趣区域的BOLD信号的平均值和标准差作为其顶点的特征，得到顶点属性矩阵；在所述步骤S3中，本实施例中所设计的图卷积神经网络结构如图3所示包括多个卷积池化单元、全连接层和softmax分类器；其中，卷积池化单元包括图卷积层、自注意力图池化层和读出层；设图卷积神经网络输入的图网络时间序列包含顶点属性矩阵
Figure 357506DEST_PATH_IMAGE158
和邻接矩阵
Figure 663853DEST_PATH_IMAGE159
，其中，
Figure 495543DEST_PATH_IMAGE160
是顶点的个数，
Figure 453004DEST_PATH_IMAGE161
是顶点属性的个数；图卷积层的操作具体为：
Figure 344736DEST_PATH_IMAGE162
其中，
Figure 935118DEST_PATH_IMAGE163
是
Figure 193667DEST_PATH_IMAGE160
阶单位矩阵；
Figure 615421DEST_PATH_IMAGE044
是对角矩阵，代表每一个顶点的度，
Figure 615738DEST_PATH_IMAGE164
，
Figure 880366DEST_PATH_IMAGE165
代表矩阵
Figure 319438DEST_PATH_IMAGE166
第i行第j列的元素，
Figure 736644DEST_PATH_IMAGE167
代表矩阵
Figure 658595DEST_PATH_IMAGE168
第i行第i列的元素，
Figure 285885DEST_PATH_IMAGE169
是第
Figure 138435DEST_PATH_IMAGE170
层的节点嵌入，若第0层的节点特征为
Figure 534781DEST_PATH_IMAGE171
，则
Figure 126168DEST_PATH_IMAGE172
，
Figure 850542DEST_PATH_IMAGE173
是可学习的权重参数；
自注意力图池化层需要得到每一层节点的重要程度，称为节点的自注意力，然后对注意力分数权重排行前k的节点进行保留，组成Top-K节点；首先计算自注意力分数
Figure 631416DEST_PATH_IMAGE174
，其中N是节点的个数：
Figure 567754DEST_PATH_IMAGE175
其中
Figure 284038DEST_PATH_IMAGE057
是可学习的自注意力权重；上式与图卷积层的操作十分相似，不同的是，图卷积层得到的是下一层的节点嵌入，而上式得到的是该层中节点的自注意力分数，根据自注意力分数，采用节点选择的方式，选择Top-K节点，保留了输入的图网络时间序列的一部分节点，具体为：
Figure 885920DEST_PATH_IMAGE176
其中，
Figure 329540DEST_PATH_IMAGE177
表示保留节点的索引；
Figure 372582DEST_PATH_IMAGE178
表示选择
Figure 384401DEST_PATH_IMAGE179
排名前
Figure 568520DEST_PATH_IMAGE062
的节点；池化比率
Figure 956776DEST_PATH_IMAGE180
表示要保留节点数的百分比，得到自注意力值前
Figure 854325DEST_PATH_IMAGE181
大的节点的索引，然后执行Masking操作：
Figure 161678DEST_PATH_IMAGE182
其中，
Figure 738153DEST_PATH_IMAGE183
表示保留索引为mask的节点嵌入，
Figure 274307DEST_PATH_IMAGE184
表示保留节点对应的注意力分数，
Figure 774166DEST_PATH_IMAGE185
表示按位相乘，
Figure 127787DEST_PATH_IMAGE186
表示保留节点的邻接矩阵，
Figure 801344DEST_PATH_IMAGE187
，
Figure 452775DEST_PATH_IMAGE188
表示自注意力池化层输出的节点嵌入和邻接矩阵；
读出层通过聚合节点特征以形成固定大小的表示，得到图的高维表示，读出层输出的特征具体为：
Figure 387232DEST_PATH_IMAGE189
其中，N表示节点数量，
Figure 787121DEST_PATH_IMAGE190
表示第l层第i个节点的节点嵌入，||表示特征的拼接操作，读出层实际上是全局平均池化层和全局最大池化层得到特征的拼接；
全连接层为了实现对数据的重构输出，其前向传播过程如下：
Figure 72609DEST_PATH_IMAGE191
Figure 763615DEST_PATH_IMAGE192
，
Figure 693525DEST_PATH_IMAGE193
分别是第
Figure 388949DEST_PATH_IMAGE194
层的全连接层的可学习权重矩阵和可学习偏置，
Figure 817525DEST_PATH_IMAGE195
和
Figure 764752DEST_PATH_IMAGE079
分别代表第
Figure 939382DEST_PATH_IMAGE194
层全连接层的神经元个数和第l+1层全连接层神经元的个数，最后通过softmax分类器，得到最终得分类结果:
Figure 163296DEST_PATH_IMAGE196
其中，
Figure 423376DEST_PATH_IMAGE197
，
Figure 705453DEST_PATH_IMAGE198
是第
Figure 593644DEST_PATH_IMAGE194
层全连接层的神经元个数，
Figure 630870DEST_PATH_IMAGE199
是类别数量；图卷积神经网络将多个自注意力图池化层得到的图，通过读出层获得不同层次图的高维特征表示，将其高维特征相加，得到最终高维特征表示，通过全连接层，对高维特征进行重构，重构后的特征作为时域卷积神经网络的输入，最终通过softmax分类器，得到输入图的分类结果。
更具体的，在所述步骤S3中，本实施例所述时域卷积神经网络结构如图4所示，其输入层与图卷积神经网络全连接层连接，经过多个时域卷积（TCN）层处理，经展开层后由输出层输出到softmax分类器中，其中，每个TCN层通过一个一维全卷积结构将其输入的维度大小转变成与其输出维度大小一致，其向前传播的过程为：
Figure 50350DEST_PATH_IMAGE200
假设全连接层的输出向量拼接形成序列数据
Figure 90112DEST_PATH_IMAGE201
，其中
Figure 708175DEST_PATH_IMAGE202
为时间切片的长度，
Figure 57248DEST_PATH_IMAGE203
是全连接层的神经元个数；将
Figure 947713DEST_PATH_IMAGE204
输入到TCN层中，经过多个TCN层后，经过展开层输出展开为一维向量，最后经过softmax分类器进行分类，得到该时间切片的分类结果。为了减少模型的参数数量，本实施例模型中的图卷积神经网络采用共享权重的设计。
更具体的，在所述步骤S3中，时域卷积神经网络的TCN层由因果卷积和膨胀卷积组成，其中：
在因果卷积中，输出序列的元素只依赖于输入序列中在它之前的元素，不能看到未来的数据，是一种严格的序列约束模型；对于时间序列数据而言就是上一层某一时刻
Figure 899488DEST_PATH_IMAGE205
的值只依赖下一层
Figure 513003DEST_PATH_IMAGE205
时刻及之前的值，即：
Figure 892032DEST_PATH_IMAGE206
其中，
Figure 791765DEST_PATH_IMAGE091
表示因果卷积T时刻的输出，
Figure 422598DEST_PATH_IMAGE207
表示第l层时刻1至时刻T的特征向量；膨胀卷积是指使用和卷积核大小相同但不连续的神经元进行卷积运算；膨胀卷积中有一个膨胀系数d用来控制参与卷积运算的神经元的不连续程度，膨胀卷积的计算公式为：
Figure 15253DEST_PATH_IMAGE208
其中，d表示扩张系数，
Figure 955396DEST_PATH_IMAGE209
表示卷积核大小，
Figure 571185DEST_PATH_IMAGE210
表示卷积核第i项的权重，当e为1时，扩张卷积退化为普通卷积，通过控制e的大小，从而在计算量不变的前提下扩大感受野。
更具体的，在所述步骤S3所构建的图卷积神经网络-时域卷积神经网络模型中，其损失函数由三部分组成，分别为节点分类损失、时间片段分类损失和最终的分类损失，损失函数具体表示为：
Figure 864763DEST_PATH_IMAGE211
其中，
Figure 938024DEST_PATH_IMAGE212
是第i个时间点第j个节点的节点分类损失，
Figure 924435DEST_PATH_IMAGE213
，
Figure 27520DEST_PATH_IMAGE214
，在本方案中，图卷积神经网络中应用了自注意力池化层，因此，对于每一个图，最终只保留了Top-K的节点，而该损失函数也只计算Top-K节点的分类损失；
Figure 983843DEST_PATH_IMAGE215
是第i个时间点的时间片段分类损失，
Figure 551091DEST_PATH_IMAGE216
，
Figure 583769DEST_PATH_IMAGE217
为时间点的个数，即图卷积神经网络的分类损失；
Figure 921953DEST_PATH_IMAGE218
为最终时域卷积神经网络的分类损失，超参数
Figure 557334DEST_PATH_IMAGE219
分别为控制节点分类损失、时间片段分类损失和最终的分类损失的影响，有
Figure 854454DEST_PATH_IMAGE220
且
Figure 182667DEST_PATH_IMAGE221
；所有的分类损失函数均使用交叉熵损失函数，具体表示为：
Figure 244033DEST_PATH_IMAGE222
Figure 558471DEST_PATH_IMAGE223
表示该样本第j种类别的真实概率值，
Figure 100311DEST_PATH_IMAGE224
表示由模型得到的该样本第j种类别的预测概率值。
在具体实施过程中，提出节点分类损失、时间片段分类损失和最终的分类损失所组成的损失函数，有利于提升模型各个部分模块的分类能力和最终模型的分类能力。
实施例3
更具体的，在步骤S3中可以对图卷积神经网络-时域卷积神经网络模型进行测试，在测试阶段，采用滑动窗口的方式对fMRI图像进行采样，然后将所有的采样样本构造图网络时间序列，输入到本方案所提出的图卷积神经网络——时域卷积神经网络模型中，对得到的所有采样样本的分类结果采用简单投票的方式，得到最终的分类结果。具体来说，假设测试的fMRI图像样本
Figure 22261DEST_PATH_IMAGE225
，采样片段长度为k帧，滑动步长为m，最终得到a个采样样本为
Figure 524918DEST_PATH_IMAGE226
，
Figure 236522DEST_PATH_IMAGE227
，
Figure 819819DEST_PATH_IMAGE228
，
Figure 365201DEST_PATH_IMAGE229
，其中
Figure 214208DEST_PATH_IMAGE230
。将其输入到模型中，得到对应的预测分类结果分别为
Figure 618251DEST_PATH_IMAGE231
，其中
Figure 806787DEST_PATH_IMAGE232
，最终简单投票的分类结果是
Figure 647704DEST_PATH_IMAGE233
。
下面以阿尔茨海默症（Alzheimer Disease，AD）为例，使用来自美国大型阿尔茨海默氏症公共数据库ADNI(Alzheimer ' s Disease Neuroimaging Initiative)的fMRI图像数据，共收集了来自60名受试者（25名AD，35名对照组）的250个fMRI图像数据（121个AD，129个对照组），即一个受试者者可能会有多个fMRI图像数据，上述所描述的数据作为本发明的实验数据输入到本申请中的模型，以评估该模型的效果，比较性能差异。按照上述的描述，将训练数据输入到模型中，然后用测试数据集测试该模型的性能。为了减少数据集划分对实验结果的影响，本实例采用五次交叉验证的方法评估模型的性能。为了避免数据泄露，数据集是根据受试者划分，即一个受试者的多个fMRI图像只会同时在训练集或测试集中出现。
1. 参数设置
训练时Batch_size为32，Epochs为200，采用Adam梯度下降的方法进行参数更新，学习率为0.001，学习率随时间变化呈指数级减少，
Figure 108641DEST_PATH_IMAGE234
。在训练集中划分部分数据作为验证集，在训练过程中，模型在验证集中准确率最高的参数作为模型最后的参数。测试时，时间窗口m=10。
2. 实验结果
表1展示了不同的采样长度对于模型结果的影响，在采样帧长为64时，模型得到了最好的泛化性能。
表1
采样帧长 准确率 标准差
16 0.68 0.08
32 0.62 0.16
48 0.69 0.07
64 0.72 0.10
当采样长度为64时，表2展示了损失函数中
Figure 693207DEST_PATH_IMAGE235
不同取值时对模型结果的影响：
表2
Figure 736249DEST_PATH_IMAGE236
Figure 374166DEST_PATH_IMAGE237
Figure 932186DEST_PATH_IMAGE238
 准确率 标准差
0 0 1 0.53 0.10
0 0.5 0.5 0.66 0.12
0.2 0.3 0.5 0.72 0.10
从表2中可以看出，本发明所设计的损失函数是有效的，比起只使用最终损失的损失函数（
Figure 992546DEST_PATH_IMAGE239
）和使用时间片损失与最终损失（
Figure 342625DEST_PATH_IMAGE240
）的损失函数所训练的模型，分类性能有一定的提高。最后，为了验证本申请中所提出的基于k-s验证方法构造感兴趣区域间的功能连接方法有效性，采用传统的皮尔森相关性的方法构造功能连接作为对比实验，即对于每个时间点感兴趣区域i和感兴趣区域j的连接强度有：
Figure 525344DEST_PATH_IMAGE241
其中，
Figure 711606DEST_PATH_IMAGE242
与
Figure 637974DEST_PATH_IMAGE243
表示要进行皮尔逊相关分析的感兴趣区域i和感兴趣区域j的BOLD信号，
Figure 137832DEST_PATH_IMAGE244
分别表示第t个时间点感兴趣区域i和感兴趣区域j的BOLD信号的平均值。该方法所构造的图网络时间序列中，每一个图的边权都是一样的，最终该方法得到的五折交叉验证的平均准确率是60%，标准差是5%。本发明所提出的方法与该方法相比，精度提高了约12%，获得了更好的效果，这表明本发明所提出的图网络时间序列构造方法是有效的。这可以解释为基于k-s检验构造图网络时间序列的方法能有效反映脑区功能之间的关联关系在神经生理过程中随时间变化而呈现出来的动态变化，而基于传统的皮尔逊相关性的方法，是基于所有时间点构造脑功能连接，并不能表达这种动态变化模式。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于图网络时间序列的医学影像分类方法，其特征在于，包括以下步骤：
S1：采集原始fMRI图像并进行预处理和采样，获取fMRI图像样本；
S2：基于k-s验证方法构造能够放映大脑分区之间功能连接动态变化的图网络时间序列，对fMRI图像样本进行处理，得到每个fMRI图像样本对应的图网络时间序列；
S3：构建图卷积神经网络-时域卷积神经网络模型，利用图网络时间序列对图卷积神经网络-时域卷积神经网络模型进行训练和验证；
S4：将待分类的fMRI图像输入完成训练和验证的图卷积神经网络-时域卷积神经网络模型中，实现对医学影像的分类。
2.根据权利要求1所述的一种基于图网络时间序列的医学影像分类方法，其特征在于，在所述步骤S1中，采用DPARSF软件对原始fMRI图像进行预处理。
3.根据权利要求1所述的一种基于图网络时间序列的医学影像分类方法，其特征在于，在所述步骤S1中，对预处理后的fMRI图像进行采样的过程具体为：假设采样的时间切片长度为k，算计选择开始帧为
Figure DEST_PATH_IMAGE001
，最终采样得到一个样本片段为
Figure 911160DEST_PATH_IMAGE002
，重复上述步骤得到多个样本片段组成fMRI图像样本。
4.根据权利要求1所述的一种基于图网络时间序列的医学影像分类方法，其特征在于，在所述步骤S2中，fMRI图像样本由每一个fMRI图像的多个时间切片组成，对于一个fMRI图像中的每一个时间切片，得到其fMRI图像样本对应的图网络时间序列过程具体为：
S21：对于一个时间切片，按照脑区划分模板将人脑划分为多个感兴趣区域；将每个感兴趣区域作为一个顶点，得到顶点集；
S22：将顶点集各个顶点间的相关性作为边，基于k-s验证方法检验顶点与顶点间相关性大小作为边的强度，得到边集；
S23：根据顶点集、边集构造出该时间切片的无向图；
S24：重新选择一个时间切片，重复执行步骤S21-步骤S24，得到一个fMRI图像中每一个时间切片的无向图，根据所有无向图得到该fMRI图像样本对应的图网络时间序列。
5.根据权利要求4所述的一种基于图网络时间序列的医学影像分类方法，其特征在于，在所述步骤S2中，顶点集表示为
Figure DEST_PATH_IMAGE003
，其中
Figure 923240DEST_PATH_IMAGE004
代表第
Figure DEST_PATH_IMAGE005
个感兴趣区域，
Figure 296453DEST_PATH_IMAGE006
是感兴趣区域的个数；边集由邻接矩阵
Figure DEST_PATH_IMAGE007
表示，其中，N表示顶点的数量，
Figure 783673DEST_PATH_IMAGE008
的值为顶点
Figure DEST_PATH_IMAGE009
之间边的强度；具体的，根据感兴趣区域的BOLD信号和感兴趣区域
Figure 394782DEST_PATH_IMAGE010
的BOLD信号的k-s验证方法验证得到的p-value值作为顶点
Figure 545141DEST_PATH_IMAGE009
之间边的强度，k-s验证方法能用于检验两个感兴趣区域中的数据是否服从相同分布，若p-value值越小，说明两个感兴趣区域的相关性越小；所述p-value值的计算过程具体为：
设感兴趣区域
Figure DEST_PATH_IMAGE011
的BOLD信号为
Figure 608912DEST_PATH_IMAGE013
，感兴趣区域
Figure 637173DEST_PATH_IMAGE010
的BOLD信号为
Figure 102790DEST_PATH_IMAGE015
，其中
Figure 158470DEST_PATH_IMAGE016
分别是感兴趣区域
Figure 240696DEST_PATH_IMAGE018
的BOLD信号和感兴趣区域
Figure 243287DEST_PATH_IMAGE019
的BOLD信号的个数，两个感兴趣区域的BOLD信号总数
Figure 593103DEST_PATH_IMAGE021
；将感兴趣区域
Figure 288527DEST_PATH_IMAGE011
的BOLD信号从小到大排序，重新编号得到
Figure 592469DEST_PATH_IMAGE023
个排序后的BOLD信号：
Figure DEST_PATH_IMAGE024
，同理得到非降序的感兴趣区域
Figure 759271DEST_PATH_IMAGE010
的BOLD信号：
Figure 668321DEST_PATH_IMAGE025
；
设
Figure DEST_PATH_IMAGE026
是感兴趣区域
Figure 862542DEST_PATH_IMAGE011
的经验分布函数：
Figure 857043DEST_PATH_IMAGE027
其中，
Figure 263753DEST_PATH_IMAGE028
为感兴趣区域
Figure 525845DEST_PATH_IMAGE011
中小于等于
Figure 828650DEST_PATH_IMAGE029
的BOLD信号的个数；同理得到感兴趣区域
Figure 107185DEST_PATH_IMAGE030
的经验分布函数
Figure 520849DEST_PATH_IMAGE031
：
Figure 138912DEST_PATH_IMAGE032
其中，
Figure 409356DEST_PATH_IMAGE033
为感兴趣区域
Figure 614335DEST_PATH_IMAGE034
中小于等于
Figure 566110DEST_PATH_IMAGE035
的BOLD信号的个数；
计算k-s验证方法的验证统计量
Figure 366576DEST_PATH_IMAGE036
：
Figure 745605DEST_PATH_IMAGE037
Figure 201994DEST_PATH_IMAGE038
其中，
Figure DEST_PATH_IMAGE039
是感兴趣区域
Figure 518312DEST_PATH_IMAGE040
的BOLD信号的经验分布
Figure 110968DEST_PATH_IMAGE041
的感兴趣区域
Figure 723215DEST_PATH_IMAGE042
的BOLD信号的经验分布
Figure 666900DEST_PATH_IMAGE043
之差的绝对值的最大值，最后，计算感兴趣区域
Figure 960478DEST_PATH_IMAGE040
和感兴趣区域
Figure 469957DEST_PATH_IMAGE042
的BOLD信号的k-s验证p-value值
Figure 426674DEST_PATH_IMAGE044
：
Figure DEST_PATH_IMAGE045
其中Z是验证统计量，e是自然常数。
6.根据权利要求4所述的一种基于图网络时间序列的医学影像分类方法，其特征在于，所述步骤S3具体包括以下步骤：
S31：分别构建图卷积神经网络和时域卷积神经网络，将其组成图卷积神经网络-时域卷积神经网络模型；
S32：将图网络时间序列的一部分作为训练集，剩下部分作为验证集；
S33：利用训练集对图卷积神经网络-时域卷积神经网络模型进行训练；
S34：在训练过程中，图卷积神经网络-时域卷积神经网络模型通过验证集进行验证，将验证集中准确率最高的参数作为图卷积神经网络-时域卷积神经网络模型的参数，完成对图卷积神经网络-时域卷积神经网络模型的训练；
在训练过程中，由构建图卷积神经网络提取图网络时间序列的图特征，将图特征输入到时域卷积神经网络中，得到分类结果。
7.根据权利要求6所述的一种基于图网络时间序列的医学影像分类方法，其特征在于，在所述步骤S2中，提取感兴趣区域的BOLD信号的平均值和标准差作为其顶点的特征，得到顶点属性矩阵；在所述步骤S3中，图卷积神经网络包括多个卷积池化单元、全连接层和softmax分类器；其中，卷积池化单元包括图卷积层、自注意力图池化层和读出层；设图卷积神经网络输入的图网络时间序列包含顶点属性矩阵
Figure 185551DEST_PATH_IMAGE046
和邻接矩阵
Figure 282820DEST_PATH_IMAGE047
，其中，
Figure 850068DEST_PATH_IMAGE048
是顶点的个数，
Figure 538538DEST_PATH_IMAGE049
是顶点属性的个数；图卷积层的操作具体为：
Figure DEST_PATH_IMAGE050
其中，
Figure 17668DEST_PATH_IMAGE051
是
Figure 653048DEST_PATH_IMAGE053
阶单位矩阵；
Figure DEST_PATH_IMAGE054
是对角矩阵，代表每一个顶点的度，
Figure 933857DEST_PATH_IMAGE055
，
Figure 497956DEST_PATH_IMAGE057
代表矩阵
Figure 434688DEST_PATH_IMAGE059
第i行第j列的元素，
Figure DEST_PATH_IMAGE060
代表矩阵
Figure 201655DEST_PATH_IMAGE061
第i行第i列的元素，
Figure DEST_PATH_IMAGE062
是第
Figure DEST_PATH_IMAGE064
层的节点嵌入，若第0层的节点特征为
Figure 366664DEST_PATH_IMAGE065
，则
Figure DEST_PATH_IMAGE066
，
Figure 928095DEST_PATH_IMAGE067
是可学习的权重参数；
自注意力图池化层需要得到每一层节点的重要程度，称为节点的自注意力，然后对注意力分数权重排行前k的节点进行保留，组成Top-K节点；首先计算自注意力分数
Figure DEST_PATH_IMAGE068
，其中N是节点的个数：
Figure 119168DEST_PATH_IMAGE069
其中
Figure 361930DEST_PATH_IMAGE070
是可学习的自注意力权重；根据自注意力分数，采用节点选择的方式，选择Top- K节点，保留了输入的图网络时间序列的一部分节点，具体为：
Figure 492697DEST_PATH_IMAGE071
其中，
Figure 959451DEST_PATH_IMAGE072
表示保留节点的索引；
Figure 605196DEST_PATH_IMAGE073
表示选择
Figure 120491DEST_PATH_IMAGE074
排名前
Figure DEST_PATH_IMAGE075
的节点；池化比率
Figure 463354DEST_PATH_IMAGE076
表示要保留节点数的百分比，得到自注意力值前
Figure DEST_PATH_IMAGE077
大的节点的索引，然后执行Masking操作：
Figure 569850DEST_PATH_IMAGE078
其中，
Figure 968470DEST_PATH_IMAGE079
表示保留索引为mask的节点嵌入，
Figure 287456DEST_PATH_IMAGE080
表示保留节点对应的注意力分数，
Figure 956597DEST_PATH_IMAGE081
表示按位相乘，
Figure 702836DEST_PATH_IMAGE082
表示保留节点的邻接矩阵，
Figure 526436DEST_PATH_IMAGE083
，
Figure 711430DEST_PATH_IMAGE084
表示自注意力池化层输出的节点嵌入和邻接矩阵；
读出层通过聚合节点特征以形成固定大小的表示，得到图的高维表示，读出层输出的特征具体为：
Figure 936875DEST_PATH_IMAGE085
其中，N表示节点数量，
Figure 854015DEST_PATH_IMAGE086
表示第l层第i个节点的节点嵌入，||表示特征的拼接操作，读出层实际上是全局平均池化层和全局最大池化层得到特征的拼接；
全连接层为了实现对数据的重构输出，其前向传播过程如下：
Figure 749200DEST_PATH_IMAGE087
Figure 675568DEST_PATH_IMAGE088
，
Figure DEST_PATH_IMAGE089
分别是第
Figure 817836DEST_PATH_IMAGE090
层的全连接层的可学习权重矩阵和可学习偏置，
Figure DEST_PATH_IMAGE091
和
Figure 968195DEST_PATH_IMAGE092
分别代表第
Figure 2272DEST_PATH_IMAGE090
层全连接层的神经元个数和第l+1层全连接层神经元的个数，最后通过softmax分类器，得到最终得分类结果:
Figure 529068DEST_PATH_IMAGE093
其中，
Figure 197947DEST_PATH_IMAGE094
，
Figure 988049DEST_PATH_IMAGE095
是第l层全连接层的神经元个数，
Figure DEST_PATH_IMAGE096
是类别数量；图卷积神经网络将多个自注意力图池化层得到的图，通过读出层获得不同层次图的高维特征表示，将其高维特征相加，得到最终高维特征表示，通过全连接层，对高维特征进行重构，重构后的特征作为时域卷积神经网络的输入，最终通过softmax分类器，得到输入图的分类结果。
8.根据权利要求7所述的一种基于图网络时间序列的医学影像分类方法，其特征在于，在所述步骤S3中，时域卷积神经网络的输入层与图卷积神经网络全连接层连接，经过多个TCN层处理，经展开层后由输出层输出到softmax分类器中，其中，每个TCN层通过一个一维全卷积结构将其输入的维度大小转变成与其输出维度大小一致，其向前传播的过程为：
Figure 335853DEST_PATH_IMAGE097
假设全连接层的输出向量拼接形成序列数据
Figure 899297DEST_PATH_IMAGE098
，其中
Figure 953840DEST_PATH_IMAGE099
为时间切片的长度，
Figure 649264DEST_PATH_IMAGE100
是全连接层的神经元个数；将
Figure 953206DEST_PATH_IMAGE101
输入到TCN层中，经过多个TCN层后，经过展开层输出展开为一维向量，最后经过softmax分类器进行分类，得到该时间切片的分类结果。
9.根据权利要求8所述的一种基于图网络时间序列的医学影像分类方法，其特征在于，在所述步骤S3中，时域卷积神经网络的TCN层由因果卷积和膨胀卷积组成，其中：
在因果卷积中，输出序列的元素只依赖于输入序列中在它之前的元素，对于时间序列数据而言就是上一层某一时刻
Figure 25067DEST_PATH_IMAGE102
的值只依赖下一层
Figure 934117DEST_PATH_IMAGE102
时刻及之前的值，即：
Figure 98645DEST_PATH_IMAGE103
其中，
Figure DEST_PATH_IMAGE104
表示因果卷积T时刻的输出，
Figure 624304DEST_PATH_IMAGE105
表示第l层时刻1至时刻T的特征向量；膨胀卷积是指使用和卷积核大小相同但不连续的神经元进行卷积运算；膨胀卷积中有一个膨胀系数d用来控制参与卷积运算的神经元的不连续程度，膨胀卷积的计算公式为：
Figure DEST_PATH_IMAGE106
其中，d表示扩张系数，
Figure 562173DEST_PATH_IMAGE107
表示卷积核大小，
Figure 325730DEST_PATH_IMAGE108
表示卷积核第i项的权重，当e为1时，扩张卷积退化为普通卷积，通过控制e的大小，从而在计算量不变的前提下扩大感受野。
10.根据权利要求9所述的一种基于图网络时间序列的医学影像分类方法，其特征在于，在所述步骤S3所构建的图卷积神经网络-时域卷积神经网络模型中，其损失函数由三部分组成，分别为节点分类损失、时间片段分类损失和最终的分类损失，损失函数具体表示为：
Figure 861491DEST_PATH_IMAGE109
其中，
Figure DEST_PATH_IMAGE110
是第i个时间点第j个节点的节点分类损失，
Figure 671184DEST_PATH_IMAGE111
，
Figure DEST_PATH_IMAGE112
，
Figure 412744DEST_PATH_IMAGE113
是第i个时间点的时间片段分类损失，
Figure 30807DEST_PATH_IMAGE114
，
Figure 5979DEST_PATH_IMAGE115
为时间点的个数，即图卷积神经网络的分类损失；
Figure 771809DEST_PATH_IMAGE116
为最终时域卷积神经网络的分类损失，超参数
Figure 458006DEST_PATH_IMAGE117
分别为控制节点分类损失、时间片段分类损失和最终的分类损失的影响，有
Figure 461734DEST_PATH_IMAGE118
且
Figure 637500DEST_PATH_IMAGE119
；所有的分类损失函数均使用交叉熵损失函数，具体表示为：
Figure 828310DEST_PATH_IMAGE120
Figure 82312DEST_PATH_IMAGE121
表示该样本第j种类别的真实概率值，
Figure DEST_PATH_IMAGE122
表示由模型得到的该样本第j种类别的预测概率值。
CN202210814372.2A 2022-07-12 2022-07-12 基于图网络时间序列的医学影像分类方法 Active CN115222688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210814372.2A CN115222688B (zh) 2022-07-12 2022-07-12 基于图网络时间序列的医学影像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210814372.2A CN115222688B (zh) 2022-07-12 2022-07-12 基于图网络时间序列的医学影像分类方法

Publications (2)

Publication Number Publication Date
CN115222688A true CN115222688A (zh) 2022-10-21
CN115222688B CN115222688B (zh) 2023-01-10

Family

ID=83612470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210814372.2A Active CN115222688B (zh) 2022-07-12 2022-07-12 基于图网络时间序列的医学影像分类方法

Country Status (1)

Country Link
CN (1) CN115222688B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115909016A (zh) * 2023-03-10 2023-04-04 同心智医科技(北京)有限公司 基于GCN分析fMRI图像的***、方法、电子设备及介质
CN116030308A (zh) * 2023-02-17 2023-04-28 齐鲁工业大学(山东省科学院) 基于图卷积神经网络的多模态医学图像分类方法及***
CN117435995A (zh) * 2023-12-20 2024-01-23 福建理工大学 一种基于残差图网络的生物医药分类方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855491A (zh) * 2012-07-26 2013-01-02 中国科学院自动化研究所 一种基于网络中心性的脑功能磁共振图像分类方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN110720906A (zh) * 2019-09-25 2020-01-24 上海联影智能医疗科技有限公司 脑图像处理方法、计算机设备和可读存储介质
CN111667459A (zh) * 2020-04-30 2020-09-15 杭州深睿博联科技有限公司 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质
WO2021001238A1 (en) * 2019-07-01 2021-01-07 Koninklijke Philips N.V. Fmri task settings with machine learning
CN112766332A (zh) * 2021-01-08 2021-05-07 广东中科天机医疗装备有限公司 医学影像检测模型训练方法、医学影像检测方法及装置
CN113080847A (zh) * 2021-03-17 2021-07-09 天津大学 基于图的双向长短期记忆模型诊断轻度认知障碍的装置
CN113592836A (zh) * 2021-08-05 2021-11-02 东南大学 一种深度多模态图卷积的脑图分类方法
CN114241240A (zh) * 2021-12-15 2022-03-25 中国科学院深圳先进技术研究院 脑部图像的分类方法、装置、电子设备及存储介质
US20220122250A1 (en) * 2020-10-19 2022-04-21 Northwestern University Brain feature prediction using geometric deep learning on graph representations of medical image data

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855491A (zh) * 2012-07-26 2013-01-02 中国科学院自动化研究所 一种基于网络中心性的脑功能磁共振图像分类方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
WO2021001238A1 (en) * 2019-07-01 2021-01-07 Koninklijke Philips N.V. Fmri task settings with machine learning
CN110720906A (zh) * 2019-09-25 2020-01-24 上海联影智能医疗科技有限公司 脑图像处理方法、计算机设备和可读存储介质
CN111667459A (zh) * 2020-04-30 2020-09-15 杭州深睿博联科技有限公司 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质
US20220122250A1 (en) * 2020-10-19 2022-04-21 Northwestern University Brain feature prediction using geometric deep learning on graph representations of medical image data
CN112766332A (zh) * 2021-01-08 2021-05-07 广东中科天机医疗装备有限公司 医学影像检测模型训练方法、医学影像检测方法及装置
CN113080847A (zh) * 2021-03-17 2021-07-09 天津大学 基于图的双向长短期记忆模型诊断轻度认知障碍的装置
CN113592836A (zh) * 2021-08-05 2021-11-02 东南大学 一种深度多模态图卷积的脑图分类方法
CN114241240A (zh) * 2021-12-15 2022-03-25 中国科学院深圳先进技术研究院 脑部图像的分类方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AN ZENG等: "Discovery of Genetic Biomarkers for Alzheimer’s Disease Using Adaptive Convolutional Neural Networks Ensemble and Genome‑Wide Association Studies", 《INTERDISCIPLINARY SCIENCES: COMPUTATIONAL LIFE SCIENCES》 *
XIAOXIAO LI等: "BrainGNN: Interpretable Brain Graph Neural Network for fMRI Analysis", 《MEDICAL IMAGE ANALYSIS》 *
唐朝生等: "医学图像深度学习技术:从卷积到图卷积的发展", 《中国图象图形学报》 *
曾安等: "基于3D卷积神经网络-感兴区域的阿尔茨海默症辅助诊断模型", 《生物医学工程研究》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030308A (zh) * 2023-02-17 2023-04-28 齐鲁工业大学(山东省科学院) 基于图卷积神经网络的多模态医学图像分类方法及***
CN115909016A (zh) * 2023-03-10 2023-04-04 同心智医科技(北京)有限公司 基于GCN分析fMRI图像的***、方法、电子设备及介质
CN117435995A (zh) * 2023-12-20 2024-01-23 福建理工大学 一种基于残差图网络的生物医药分类方法
CN117435995B (zh) * 2023-12-20 2024-03-19 福建理工大学 一种基于残差图网络的生物医药分类方法

Also Published As

Publication number Publication date
CN115222688B (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN115222688B (zh) 基于图网络时间序列的医学影像分类方法
CN113040715B (zh) 一种基于卷积神经网络的人脑功能网络分类方法
Kumar et al. Breast cancer classification of image using convolutional neural network
CN109242860B (zh) 基于深度学习及权重空间集成的脑肿瘤图像分割方法
CN109345538A (zh) 一种基于卷积神经网络的视网膜血管分割方法
Kar et al. Retinal vessel segmentation using multi-scale residual convolutional neural network (MSR-Net) combined with generative adversarial networks
Hong et al. Brain age prediction of children using routine brain MR images via deep learning
Liu et al. An enhanced multi-modal brain graph network for classifying neuropsychiatric disorders
Torres et al. Evaluation of interpretability for deep learning algorithms in EEG emotion recognition: A case study in autism
CN110148145A (zh) 一种融合边界信息的图像目标区提取方法及应用
CN112037179B (zh) 一种脑疾病诊断模型的生成方法、***及设备
Toğaçar et al. Use of dominant activations obtained by processing OCT images with the CNNs and slime mold method in retinal disease detection
Wang et al. Classification of structural MRI images in Adhd using 3D fractal dimension complexity map
Bayram et al. Deep learning methods for autism spectrum disorder diagnosis based on fMRI images
Das et al. Early tumor diagnosis in brain MR images via deep convolutional neural network model
CN115272295A (zh) 基于时域-空域联合状态的动态脑功能网络分析方法及***
Qiang et al. A deep learning method for autism spectrum disorder identification based on interactions of hierarchical brain networks
CN112036298A (zh) 一种基于双段区块卷积神经网络的细胞检测方法
CN115474939A (zh) 一种基于深度展开神经网络的孤独症谱系障碍识别模型
Kong et al. Data enhancement based on M2-Unet for liver segmentation in Computed Tomography
Jung et al. Inter-regional high-level relation learning from functional connectivity via self-supervision
Seshadri Ramana et al. Deep convolution neural networks learned image classification for early cancer detection using lightweight
Mareeswari et al. A survey: Early detection of Alzheimer’s disease using different techniques
Huang et al. DBFU-Net: Double branch fusion U-Net with hard example weighting train strategy to segment retinal vessel
Lei et al. Autism spectrum disorder diagnosis based on deep unrolling-based spatial constraint representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant