CN112837274A - 一种基于多模态多站点数据融合的分类识别方法 - Google Patents

Abstract

本发明公开了一种基于多模态多站点数据融合的分类识别方法，包括如下步骤：1)获取多站点sMRI和R‑fMRI数据；2)对各个站点的sMRI数据进行预处理，得到sMRI颅骨剥离脑图像和大脑皮层表面模型；3)将大脑皮层分割成多个不同区域，并计算每个区域的皮层平均厚度、皮层平均表面积和灰质体积等解剖参数；4)将sMRI颅骨剥离脑图像输入ResNet3D深度网络模型提取高维特征；5)将提取出的解剖参数和高维特征进行融合得到一维向量作为sMRI数据特征；6)各个站点的R‑fMRI数据进行预处理，获得大脑灰质图像；本发明采用基于低秩表示的方法使得多站点数据有相同或类似的数据分布，解决或部分解决了多站点数据异构性的问题，有效提高诊断模型的泛化性，更符合实际要求。

Description

一种基于多模态多站点数据融合的分类识别方法

技术领域

本发明涉及结构核磁共振图像处理、静息态功能核磁共振处理、脑功能网络分析、领域自适应、模式识别等技术领域，具体为一种基于多模态多站点数据融合的分类识别方法。

背景技术

近年来，医学影像的快速发展为脑影像数据分析和大脑活动状态观测提供了非常重要的临床参考价值，使得人类大脑的研究进入了新的阶段。但是，目前由于脑影像数据缺乏，研究人员大多使用多站点数据进行大脑的研究。

基于多站点数据进行大脑诊断的研究大致可以分为两类，第一类是仅使用某个站点的数据进行模型的训练，第二类是直接将所有站点的数据合并在一起用于模型的训练。但由于不同的扫描仪设备本身有着不同的扫描协议、扫描参数等，会导致不同站点的数据分布不同，存在数据异构性问题，所以使用所有站点的数据训练得到的模型准确率低。同时，每个站点的数据样本量都是有限的，若仅使用某个站点的数据进行模型的训练，得到模型会存在泛化能力差的问题。为了解决上述问题，在本方法中应用了基于低秩表示(low-rank representation，LRR)的方法进行多站点数据异构性处理，通过将不同站点的数据映射到共同的子空间，再进行一致性表示，使得不同站点的数据具有相同或类似的数据分布。

目前用于脑活动研究的途径主要有：结构功能磁共振成像(sMRI)、功能磁共振成像(fMRI)、脑电图(EEG)、脑磁图(MEG)、电子发射断层扫描(PET)、单光子发射断层扫描(SPECT)等。研究表明，不同模态的脑图像表征的信息也是不同的，同时这些信息具有一定的互补关系。其中sMRI可以反映脑结构的灰白质信息及萎缩程度，具有高度的空间分辨率，fMRI主要用于研究ASD的神经反应机制，可以体现功能网络异常变化。在本方法中同时使用了sMRI和fMRI两种模态进行特征融合，可以通过综合利用两种模态间的互补信息，以提高模型分类识别的准确性。

发明内容

本发明的目的在于提供一种基于多模态多站点数据融合的分类识别方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于多模态多站点数据融合的分类识别方法,包括以下步骤：

1)获取多站点sMRI和R-fMRI数据：从自闭症脑成像数据交换库ABIDE获取结构性核磁共振成像数据和静息态功能性核磁共振成像数据；

2)对各个站点的sMRI数据进行预处理，得到sMRI颅骨剥离脑图像和大脑皮层表面模型；

3)将大脑皮层分割成多个不同区域，并计算每个区域的皮层平均厚度、皮层平均表面积和灰质体积等解剖参数；

4)将sMRI颅骨剥离脑图像输入ResNet3D深度网络模型提取高维特征；

5)将提取出的解剖参数和高维特征进行融合得到一维向量作为sMRI数据特征；

6)各个站点的R-fMRI数据进行预处理，获得大脑灰质图像；

7)将大脑灰质图像分割成多个不同功能的脑区，并提取每个脑区的平均体素时间序列；

8)使用皮尔森相关分析法计算不同脑区之间的皮尔森相关系数，构建全部脑区的功能连接矩阵；

9)将功能连接矩阵展开成一维向量作为R-fMRI数据特征；

10)采用低秩表示方法将不同站点的sMRI数据特征映射到一个共同的子空间中，并确定一个通用的低秩表示，解决多站点sMRI数据的异构性问题；

11)采用低秩表示方法将不同站点的R-fMRI数据特征映射到一个共同的子空间，并确定一个通用的低秩表示，解决多站点R-fMRI数据的异构性问题；

12)将经过数据异构性处理的sMRI数据和R-fMRI数据作为层次融合网络模型的输入，根据训练集构建分类识别网络；

13)将待检测被试的sMRI和R-fMRI神经影像数据按照步骤2)-步骤11)进行处理后送入分类识别模型，得到被试者的输出标签并判断被试人员的状态。

优选的，所述步骤2)中的sMRI数据预处理，包含以下具体步骤：

(1)将sMRI数据进行前连合-后连合校正，调整在获取sMRI数据时由于被试者头部运动造成的不规范姿势；

(2)使用仿射变换方法将个体sMRI脑图像映射到MNI305标准空间中，并标准化其空间分辨率；

(3)采用N3校正算法校正sMRI数据的强度不均匀性；

(4)利用分水岭算法去除大脑颅骨、颈部、眼睛、硬脑膜以及其他无关部位，仅保留白质、灰质和脑脊液部位；

(5)通过小波变换的方法从颅骨剥离后的sMRI脑图像中分离出白质；

(6)使用模糊C均值聚类算法重新构建大脑皮层表面模型，并使用分离出来的白质作为大脑填充；

(7)使用3D高斯卷积核对重建后的皮层表面进行平滑。

优选的，所述步骤4)中的颅骨剥离后的sMRI脑图像的高维特征提取包含以下具体步骤：

(1)基于ResNet设计一款ResNet3D深度网络模型作为sMRI特征提取模型用于提取颅骨剥离后的sMRI脑图像的高维特征，其核心是将ResNet中的2D BasicBlock模块改为3DBasicBlock模块，该网络中包含4个3D BasicBlock模块，其中，每个3D BasicBlock模块包含2个3D卷积层，每个3D卷积层包含1个3D卷积和1个批归一化和1个Relu激活函数；

(2)每个站点都需要训练一个sMRI特征提取模型用于提取sMRI数据的高维特征，但由于单个站点的样本量过少，每个站点无法单独训练各自的特征提取模型；所以，首先使用所有站点的sMRI数据训练一个sMRI特征提取模型，然后，再使用每个站点的sMRI数据来微调模型，从而，每个站点生成各自的sMRI特征提取模型；

(3)将各个站点sMRI颅骨剥离脑图像逐一送入各自站点训练好的sMRI特征提取模型中提取高维特征。

优选的，其步骤(2)中sMRI特征提取模型训练的具体步骤如下：

1)将所有站点sMRI颅骨剥离脑图像先通过旋转、翻转、随机偏移、随机裁剪的方法进行数据扩充，然后将原数据和扩充后的数据作为ResNet3D深度网络的输入；

2)使用

计算ResNet3D网络的输出结果与真实标签之间的交叉熵损失；其中，J为交叉熵损失，y⁽ⁱ⁾为第i个样本的真实标签，y⁽ⁱ⁾为第i个样本的网络模型预测值；

3)利用反向传播和SGD自适应优化算法不断更新优化网络的参数，使得模型的输出预测接近真实样本，当交叉熵损失趋于一个稳定值或达到最小值时，说明网络模型已经训练完成；

4)分别使用各个站点sMRI颅骨剥离脑图像对训练好的ResNet3D网络模型进行微调，得到每个站点各自的sMRI特征提取模型。

优选的，所述步骤6中的R-fMRI数据预处理，包含以下具体步骤：

(1)采用插值算法对不同时间点获得大脑切片数据进行时间层校正，使其调整为同一个时间点；

(2)将R-fMRI数据进行空间位置匹配，调整在获取R-fMRI数据时被试者头部运动造成的不规范姿势；

(3)使用EPI方法将个体R-fMRI脑图像映射到标准空间中，并标准化空间分辨率；

(4)利用3D高斯卷积核对R-fMRI数据进行空间平滑；

(5)对数据信号进行线性趋势消除，并采用0.01-0.08Hz的带通时间滤波去除低频漂移和高频噪声；

(6)通过线性回归去除脑室、白质及全局无关信号，保留灰质图像信号。

优选的，所述步骤8中的静息态功能网络连分析包含以下步骤：

A1：A＝{a₁,a₂,L,a_m,···a_n}是根根据功能模板划分的全部脑区，其中a_m是第m个脑区，n表示全部脑区的个数；第m个脑区a_m的平均体素时间序列

其中N为时间点长度，

为第m个脑区在时间点N的体素的平均灰度值；

A2：通过公式

计算脑区a_i与脑区a_j之间的皮尔森相关系数，构建脑功能连接矩阵

优选的，所述步骤10)和步骤11)中采用基于低秩表示方法进行多站点数据异构性处理包含以下具体步骤：

(1)选择一个站点作为目标域，其余站点作为源域，令{Site 1,Site 2,...,SiteK,1≤K≤n}为源域，Site T为目标域。每个源域由

个样本构成，

目标域由N_T个样本构成，

其中，d为每个样本的特征向量维度；

(2)通过Q_i将第i个源域数据映射到所有站点数据共同的潜在空间并使用目标域数据进行线性表示，可以部分抑制多站点数据的异构性，映射后的数据为：

其中

为第i个源域特定的域变换矩阵，

为线性组合系数矩阵，

为稀疏噪声矩阵；

(3)使用通过低秩矩阵分解将Q_i分解为：

其中

为公共变换矩阵，

为第i个源域特定的稀疏噪声矩阵，代表第i个源域本身独特的数据结构；

(4)利用公共空间转换矩阵Q将目标域数据X_T映射到共同的潜在空间，得到变换后的数据为：QX_T；

(5)将映射到共同的潜在空间的第i个源域数据

用映射到共同的潜在空间的目标域数据QX_T线性表示，可以进一步减少多站点数据分布的差异性，使得

和QX_T有相同的数据分布，公式如下：

(6)上述公式中的源域数据

特别容易受到噪声信息的影响，为了提高模型的鲁棒性，将基于低秩表示的领域自适应方法的目标函数表示为：

其中，rank(·)为矩阵的秩，||·||₁为l₁范数，

α和β为折中因子，用来约束rank(Z_i)、

和

这3项，I是单位阵，QQ^T＝I为正交约束项，保证Q为正交阵；

(7)因为秩最小化问题是著名的N-P难题，所以本发明中采用核范数最小化代替秩最小化(低秩)，将公式(1)改写为：

其中，||·||_*为核范数，等于矩阵的奇异值之和；

(8)采用增广拉格朗日乘子法进行求解构建的目标函数的最优解；

(9)最后得到新的源域数据为：

目标域数据为：QX_T。所有新的源域数据作为分类识别模型的训练集，目标域数据作为分类识别模型的验证集，进行分类识别模型的训练。

优选的，其中，所述步骤(8)具体如下：

1)引入两个松弛变量J和F_i，将需要求解的目标函数改写如下：

2)根据公式(3)构造增广拉格朗日函数L，通过最小化增广拉格朗日函数求解目标函数，得到最优解，增广拉格朗日函数如下：

其中，Y_1,i、Y_2,i、Y_3,i和Y_4,i是拉格朗日乘子，μ＞0为惩罚因子，

为矩阵Frobenius范数，比如：矩阵

的Frobenius范数为

<·，·>矩阵的内积，比如：<A，B>＝tr(A^TB)。

3)最小化增广拉格朗日函数求解步骤如下：：

B1：输入X_T、

α和β，其中，α和β的值在实验中进行调整，初始化α＝0.5，β＝0.5。

B2：初始化参数：Z_i＝0，J＝Q＝0，

Y_1,i＝0，Y_2,i＝0，Y_3,i＝0，Y₄＝0，

Q_i＝0，μ＝10^-6，ρ＝1.1，μ_max＝10⁶，ε＝10^-8，其中，ε为收敛判别项；

B3：固定其它参数，更新J：

其中，Q^c是第c次迭代更新求得的Q值，

是c次迭代更新求得的拉格朗日乘子Y₄，μ^c是第c次迭代更新求得的惩罚因子μ；

B4：固定其他参数，更新F_i：

其中，

是第c次迭代更新求得的Z_i值，

是c次迭代更新求得的拉格朗日乘子Y_1,i；

B5：固定其它参数，更新

其中，

是第c次迭代更新求得的Q_i值，

是c次迭代更新求得的拉格朗日乘子Y_2,i；

B6：固定其它参数，更新

其中，

是第c次迭代更新求得的拉格朗日乘子Y_3,i；

B7：固定其它参数，更新Z_i：

其中，

是第c次迭代更新求得的F_i值，

是第c次迭代更新求得的

值；

B8：固定其它参数，更新Q_i：

其中，

是第c次迭代更新求得的

值；

B9：固定其它参数，更新Q：

其中，

K指源域数量；

B10：更新拉格朗日乘子和参数：

μ^c+1＝min(μ^cρ,μ_max)；

B11：判断是否满足收敛条件，收敛条件如下：

a)Q^c+1为正交阵；

b)

c)

d)

e)

其中，||·||_∞为无穷范数，比如：矩阵

的无穷范数为

B12：若满足B11中的所有条件，说明满足收敛条件，则输出结果为Q＝Q^c+1，

若不满足或不完全满足B11中的所有条件，则重复步骤B3～B11直到满足B11的收敛条件。

优选的，所述步骤12)中的多模态融合以及模型训练包含以下具体步骤：

(1)基于RestNet设计了一个层次融合网络模型，该网络模型包含3个分支网络，其中左右两个分支都是由1个2D卷积模块、1个最大池化模块和4个BasicBlock模块构成，中间的分支由5个拼接层、5个2D卷积层和4个平均池化层组成；其中，每个BasicBlock模块都包含2个2D卷积层，每个2D卷积层包含1个2D卷积、1个批归一化和1个激活函数；

(2)左右两个分支网络分别提取sMRI和R-fMRI数据的特征，中间层的网络将每个层次中左右两个分支网络提取出来的特征沿着通道维度进行拼接并使用2D卷积模块和平均池化模块进行特征融合；然后，再通过2D卷积和全局平均池化将经过5次多模态特征融合后的特征进一步融合为全局特征；最后通过全连接层和softmax激活函数实现最终分类；

(3)基于多模态融合的疾病分类识别模型训练步骤如下：

1)将sMRI和R-fMRI两种模态的所有源域数据和目标域数据通过旋转、翻转、随机偏移、随机裁剪的方法进行数据扩充，将源域数据和其扩充得到的数据作为训练集，目标域和其扩充得到的数据作为验证集；

2)将sMRI和R-fMRI数据分别作为层次融合网络左右两个分支的输入；

3)使用

计算层次融合网络输出结果与真实标签之间的交叉熵损失，其中，J为交叉熵损失，y⁽ⁱ⁾为第i个样本的真实标签，

为第i样本的网络模型预测值；

4)基于交叉熵损失使用SGD优化器对网络参数进行不断更新优化，使得模型的输出不断接近真实标签，当训练集的损失函数收敛且不再减小时，网络模型训练完成，得到分类识别模型；

5)模型训练参数设置如下：网络模型权重随机初始化，epoch设为100，batchsize大小设为32，损失函数为交叉熵损失函数，优化器为SGD，学习率设为0.001，momentum设为0.90，weight_decay设为0.0005。

与现有技术相比，本发明的有益效果是：

1)本发明采用基于低秩表示的方法使得多站点数据有相同或类似的数据分布，解决或部分解决了多站点数据异构性的问题，有效提高诊断模型的泛化性，更符合实际要求。

2)本发明属于纯数据驱动的方法，可以自动地从sMRI和fMRI脑图像中学习到与脑疾病关联密切的特征，不需要人工经验。

3)本发明将深度学习提取的sMRI数据的高维特征与解剖参数相融合得到融合结构特征，保证了结构信息的充分性。

4)本发明将早期融合和晚期融合扩展为层次融合，能够在保留两种模态独立特征的同时，提取模态间的融合信息，充分利用了两种模态信息的互补性，有利于提高辅助诊断的准确性。

5)本发明还可以进一步推广至生物信息技术、材料科学等领域，进行数据异质性处理、多模态融合以及分类识别，具有良好的通用性和使用前景。

附图说明

图1为本发明的流程框图；

图2为本发明单站点sMRI特征提取模型训练流程图；

图3为本发明数据异构性处理流程图；

图4为本发明ResNet3D网络模型结构图；

图5为本发明层次融合分类识别网络模型结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：本发明提供如下技术方案：一种基于多模态多站点数据融合的分类识别方法,包括以下步骤：

1)获取多站点sMRI和R-fMRI数据：从自闭症脑成像数据交换库ABIDE获取结构性核磁共振成像数据和静息态功能性核磁共振成像数据；

2)对各个站点的sMRI数据进行预处理，得到sMRI颅骨剥离脑图像和大脑皮层表面模型；

3)将大脑皮层分割成多个不同区域，并计算每个区域的皮层平均厚度、皮层平均表面积和灰质体积等解剖参数；

4)将sMRI颅骨剥离脑图像输入ResNet3D深度网络模型提取高维特征；

5)将提取出的解剖参数和高维特征进行融合得到一维向量作为sMRI数据特征；

6)各个站点的R-fMRI数据进行预处理，获得大脑灰质图像；

7)将大脑灰质图像分割成多个不同功能的脑区，并提取每个脑区的平均体素时间序列；

8)使用皮尔森相关分析法计算不同脑区之间的皮尔森相关系数，构建全部脑区的功能连接矩阵；

9)将功能连接矩阵展开成一维向量作为R-fMRI数据特征；

10)采用低秩表示方法将不同站点的sMRI数据特征映射到一个共同的子空间中，并确定一个通用的低秩表示，解决多站点sMRI数据的异构性问题；

11)采用低秩表示方法将不同站点的R-fMRI数据特征映射到一个共同的子空间，并确定一个通用的低秩表示，解决多站点R-fMRI数据的异构性问题；

12)将经过数据异构性处理的sMRI数据和R-fMRI数据作为层次融合网络模型的输入，根据训练集构建分类识别网络；

13)将待检测被试的sMRI和R-fMRI神经影像数据按照步骤2)-步骤11)进行处理后送入分类识别模型，得到被试者的输出标签并判断被试人员的状态。

本发明中，所述步骤2)中的sMRI数据预处理，包含以下具体步骤：

(1)将sMRI数据进行前连合-后连合校正，调整在获取sMRI数据时由于被试者头部运动造成的不规范姿势；

(2)使用仿射变换方法将个体sMRI脑图像映射到MNI305标准空间中，并标准化其空间分辨率；

(3)采用N3校正算法校正sMRI数据的强度不均匀性；

(4)利用分水岭算法去除大脑颅骨、颈部、眼睛、硬脑膜以及其他无关部位，仅保留白质、灰质和脑脊液部位；

(5)通过小波变换的方法从颅骨剥离后的sMRI脑图像中分离出白质；

(6)使用模糊C均值聚类算法重新构建大脑皮层表面模型，并使用分离出来的白质作为大脑填充；

(7)使用3D高斯卷积核对重建后的皮层表面进行平滑。

本发明中，所述步骤4)中的颅骨剥离后的sMRI脑图像的高维特征提取包含以下具体步骤：

(1)基于ResNet设计一款ResNet3D深度网络模型作为sMRI特征提取模型用于提取颅骨剥离后的sMRI脑图像的高维特征，其核心是将ResNet中的2D BasicBlock模块改为3DBasicBlock模块，该网络中包含4个3D BasicBlock模块，其中，每个3D BasicBlock模块包含2个3D卷积层，每个3D卷积层包含1个3D卷积和1个批归一化和1个Relu激活函数；

(2)每个站点都需要训练一个sMRI特征提取模型用于提取sMRI数据的高维特征，但由于单个站点的样本量过少，每个站点无法单独训练各自的特征提取模型；所以，首先使用所有站点的sMRI数据训练一个sMRI特征提取模型，然后，再使用每个站点的sMRI数据来微调模型，从而，每个站点生成各自的sMRI特征提取模型；

(3)将各个站点sMRI颅骨剥离脑图像逐一送入各自站点训练好的sMRI特征提取模型中提取高维特征。

本发明中，其步骤(2)中sMRI特征提取模型训练的具体步骤如下：

1)将所有站点sMRI颅骨剥离脑图像先通过旋转、翻转、随机偏移、随机裁剪的方法进行数据扩充，然后将原数据和扩充后的数据作为ResNet3D深度网络的输入；

2)使用

计算ResNet3D网络的输出结果与真实标签之间的交叉熵损失；其中，J为交叉熵损失，y⁽ⁱ⁾为第i个样本的真实标签，y⁽ⁱ⁾为第i个样本的网络模型预测值；

3)利用反向传播和SGD自适应优化算法不断更新优化网络的参数，使得模型的输出预测接近真实样本，当交叉熵损失趋于一个稳定值或达到最小值时，说明网络模型已经训练完成；

4)分别使用各个站点sMRI颅骨剥离脑图像对训练好的ResNet3D网络模型进行微调，得到每个站点各自的sMRI特征提取模型。

本发明中，所述步骤6中的R-fMRI数据预处理，包含以下具体步骤：

(1)采用插值算法对不同时间点获得大脑切片数据进行时间层校正，使其调整为同一个时间点；

(2)将R-fMRI数据进行空间位置匹配，调整在获取R-fMRI数据时被试者头部运动造成的不规范姿势；

(3)使用EPI方法将个体R-fMRI脑图像映射到标准空间中，并标准化空间分辨率；

(4)利用3D高斯卷积核对R-fMRI数据进行空间平滑；

(5)对数据信号进行线性趋势消除，并采用0.01-0.08Hz的带通时间滤波去除低频漂移和高频噪声；

(6)通过线性回归去除脑室、白质及全局无关信号，保留灰质图像信号。

本发明中，所述步骤8中的静息态功能网络连分析包含以下步骤：

A1：A＝{a₁,a₂,L,a_m,···a_n}是根根据功能模板划分的全部脑区，其中a_m是第m个脑区，n表示全部脑区的个数；第m个脑区a_m的平均体素时间序列

其中N为时间点长度，

为第m个脑区在时间点N的体素的平均灰度值；

A2：通过公式

计算脑区a_i与脑区a_j之间的皮尔森相关系数，构建脑功能连接矩阵

本发明中，所述步骤10)和步骤11)中采用基于低秩表示方法进行多站点数据异构性处理包含以下具体步骤：

(1)选择一个站点作为目标域，其余站点作为源域，令{Site 1,Site 2,...,SiteK,1≤K≤n}为源域，Site T为目标域。每个源域由

个样本构成，

目标域由N_T个样本构成，

其中，d为每个样本的特征向量维度；

(2)通过Q_i将第i个源域数据映射到所有站点数据共同的潜在空间并使用目标域数据进行线性表示，可以部分抑制多站点数据的异构性，映射后的数据为：

其中

为第i个源域特定的域变换矩阵，

为线性组合系数矩阵，

为稀疏噪声矩阵；

(3)使用通过低秩矩阵分解将Q_i分解为：

其中

为公共变换矩阵，

为第i个源域特定的稀疏噪声矩阵，代表第i个源域本身独特的数据结构；

(4)利用公共空间转换矩阵Q将目标域数据X_T映射到共同的潜在空间，得到变换后的数据为：QX_T；

(5)将映射到共同的潜在空间的第i个源域数据

用映射到共同的潜在空间的目标域数据QX_T线性表示，可以进一步减少多站点数据分布的差异性，使得

和QX_T有相同的数据分布，公式如下：

(6)上述公式中的源域数据

特别容易受到噪声信息的影响，为了提高模型的鲁棒性，将基于低秩表示的领域自适应方法的目标函数表示为：

其中，rank(·)为矩阵的秩，||·||₁为l₁范数，

α和β为折中因子，用来约束rank(Z_i)、

和

这3项，I是单位阵，QQ^T＝I为正交约束项，保证Q为正交阵；

(7)因为秩最小化问题是著名的N-P难题，所以本发明中采用核范数最小化代替秩最小化(低秩)，将公式(1)改写为：

其中，||·||_*为核范数，等于矩阵的奇异值之和；

(8)采用增广拉格朗日乘子法进行求解构建的目标函数的最优解；

(9)最后得到新的源域数据为：

目标域数据为：QX_T。所有新的源域数据作为分类识别模型的训练集，目标域数据作为分类识别模型的验证集，进行分类识别模型的训练。

本发明中，其中，所述步骤(8)具体如下：

1)引入两个松弛变量J和F_i，将需要求解的目标函数改写如下：

2)根据公式(3)构造增广拉格朗日函数L，通过最小化增广拉格朗日函数求解目标函数，得到最优解，增广拉格朗日函数如下：

其中，Y_1,i、Y_2,i、Y_3,i和Y_4,i是拉格朗日乘子，μ＞0为惩罚因子，

为矩阵Frobenius范数，比如：矩阵

的Frobenius范数为

<·，·>矩阵的内积，比如：<A，B>＝tr(A^TB)。

3)最小化增广拉格朗日函数求解步骤如下：：

B1：输入X_T、

α和β，其中，α和β的值在实验中进行调整，初始化α＝0.5，β＝0.5。

B2：初始化参数：Z_i＝0，J＝Q＝0，

Y_1,i＝0，Y_2,i＝0，Y_3,i＝0，Y₄＝0，

Q_i＝0，μ＝10^-6，ρ＝1.1，μ_max＝10⁶，ε＝10^-8，其中，ε为收敛判别项；

B3：固定其它参数，更新J：

其中，Q^c是第c次迭代更新求得的Q值，

是c次迭代更新求得的拉格朗日乘子Y₄，μ^c是第c次迭代更新求得的惩罚因子μ；

B4：固定其他参数，更新F_i：

其中，

是第c次迭代更新求得的Z_i值，

是c次迭代更新求得的拉格朗日乘子Y_1,i；

B5：固定其它参数，更新

其中，

是第c次迭代更新求得的Q_i值，

是c次迭代更新求得的拉格朗日乘子Y_2,i；

B6：固定其它参数，更新

其中，

是第c次迭代更新求得的拉格朗日乘子Y_3,i；

B7：固定其它参数，更新Z_i：

其中，

是第c次迭代更新求得的F_i值，

是第c次迭代更新求得的

值；

B8：固定其它参数，更新Q_i：

其中，

是第c次迭代更新求得的E_Qi值；

B9：固定其它参数，更新Q：

其中，

K指源域数量；

B10：更新拉格朗日乘子和参数：

μ^c+1＝min(μ^cρ,μ_max)；

B11：判断是否满足收敛条件，收敛条件如下：

a)Q^c+1为正交阵；

b)

c)

d)

e)||Q^c+1-J^c+1||_∞＜ε，其中，||·||_∞为无穷范数，比如：矩阵

的无穷范数为

B12：若满足B11中的所有条件，说明满足收敛条件，则输出结果为Q＝Q^c+1，

若不满足或不完全满足B11中的所有条件，则重复步骤B3～B11直到满足B11的收敛条件。

本发明中，所述步骤12)中的多模态融合以及模型训练包含以下具体步骤：

(1)基于RestNet设计了一个层次融合网络模型，该网络模型包含3个分支网络，其中左右两个分支都是由1个2D卷积模块、1个最大池化模块和4个BasicBlock模块构成，中间的分支由5个拼接层、5个2D卷积层和4个平均池化层组成；其中，每个BasicBlock模块都包含2个2D卷积层，每个2D卷积层包含1个2D卷积、1个批归一化和1个激活函数，层次融合网络具体参数如表所示：

表1左右分支网络框架参数表

表2中间层网络框架参数表

(2)左右两个分支网络分别提取sMRI和R-fMRI数据的特征，中间层的网络将每个层次中左右两个分支网络提取出来的特征沿着通道维度进行拼接并使用2D卷积模块和平均池化模块进行特征融合；然后，再通过2D卷积和全局平均池化将经过5次多模态特征融合后的特征进一步融合为全局特征；最后通过全连接层和softmax激活函数实现最终分类；

(3)基于多模态融合的疾病分类识别模型训练步骤如下：

1)将sMRI和R-fMRI两种模态的所有源域数据和目标域数据通过旋转、翻转、随机偏移、随机裁剪的方法进行数据扩充，将源域数据和其扩充得到的数据作为训练集，目标域和其扩充得到的数据作为验证集；

2)将sMRI和R-fMRI数据分别作为层次融合网络左右两个分支的输入；

3)使用

计算层次融合网络输出结果与真实标签之间的交叉熵损失，其中，J为交叉熵损失，y⁽ⁱ⁾为第i个样本的真实标签，

为第i样本的网络模型预测值；

4)基于交叉熵损失使用SGD优化器对网络参数进行不断更新优化，使得模型的输出不断接近真实标签，当训练集的损失函数收敛且不再减小时，网络模型训练完成，得到分类识别模型；

5)模型训练参数设置如下：网络模型权重随机初始化，epoch设为100，batchsize大小设为32，损失函数为交叉熵损失函数，优化器为SGD，学习率设为0.001，momentum设为0.90，weight_decay设为0.0005。

实施例：

一种基于多模态多站点数据融合的分类识别方法，其步骤为：

步骤一：从自闭症脑成像数据交换库(ABIDE)中选取USM(101)、NYU(184)、UCLA(111)、UM(146)、Leuven(64)、KKI(56)和Yale(56)这7个站点进行研究。这7个站点一共提供了718名被试者的sMRI和R-fMRI脑影像，被试者的年龄分布在18周岁以下。其中，甲类被试349名，男女比例302/47，平均年龄14.52岁，PIQ(Performance Intelligence Quotient)均值104；乙类被试有369名，男女比例298/71，平均年龄9.46岁，PIQ均值113。

步骤二：采用FreeSurfer软件对sMRI数据进行预处理。首先将将sMRI数据进行前连合-后连合(AC-PC)校正以调整在获取sMRI数据时被试者头部运动造成的不规范姿势。随后，使用仿射变换方法将个体sMRI脑图像映射到MNI305标准空间中，并标准化其空间分辨率，体素大小重采样为1×1×1mm³。然后，采用N3(Non-uniform intensityNormalization)校正算法校正sMRI数据的强度不均匀性。再利用分水岭算法(thewatershed algorithm)对sMRI数据进行颅骨剥离，去除大脑颅骨、颈部、眼睛、硬脑膜以及其他无关部位，得到颅骨剥离后的sMRI脑图像。通过小波变换的方法从颅骨剥离后的sMRI脑图像中分离出白质，并使用白质作为填充，利用模糊C均值聚类算法重新构建大脑皮层表面模型。然后再使用3D高斯卷积核对重建后的皮层表面进行平滑。最后，使用自动解剖标记aparc脑图谱将大脑皮层划分为148个感兴趣区域，并计算每个感兴趣区域的皮层平均厚度、皮层平均表面积和灰质体积等解剖参数。

步骤三：基于ResNet3D网络模型提取sMRI数据的高维特征的过程如下：

(1)将所有站点颅骨剥离后的sMRI脑图像先通过旋转、翻转、随机偏移、随机裁剪的方法进行数据扩充，然后将原数据和扩充后的数据作为ResNet3D深度网络的输入。

(2)使用

计算ResNet3D网络的输出结果与真实标签之间的交叉熵损失。其中，J为交叉熵损失，y⁽ⁱ⁾为第i个样本的真实标签，y⁽ⁱ⁾为第i个样本的网络模型预测值。

(3)利用反向传播和SGD自适应优化算法不断更新优化网络的参数，使得模型的输出预测接近真实样本，当交叉熵损失趋于一个稳定值或达到最小值时，说明网络模型已经训练完成。

(4)分别使用各个站点颅骨剥离后的sMRI脑图像对训练好的ResNet3D网络模型进行微调，得到每个站点各自sMRI特征提取模型。

(5)将各个站点颅骨剥离后的sMRI数据分别送入训练好的各自站点的sMRI特征提取模型中提取每个站点sMRI数据的高维特征。

步骤四：将每个站点提取的sMRI数据的高维特征和解剖参数进行融合得到的一维向量作为sMRI数据特征。

步骤五：采用DPARSF软件对R-fMRI数据进行预处理。首先校正扫描内采集的不同切片的时间差异，然后将大脑重新调整到中间位置，以校正扫描间头部运动。随后，功能影像在空间上归一化为MNI152标准模板，并重采样大小为3×3×3mm³。然后使用6mm的FWHM(full width at half maximum)高斯核进行空间平滑，并对每个体素BOLD信号进行线性趋势消除，取0.01-0.08Hz的带通滤波器，去除低频漂移和高频噪声。通过线性回归消除头动参数、平均信号、白质信号和脑脊液信号等干扰协变量。最后使用自动解剖标记AAL脑图谱将大脑分割成90个感兴趣区域，并提取每个区域的平均体素时间序列。

步骤六：基于全部脑区，进行静息态功能网络分析的过程如下：

(1)：A＝{a₁,a₂,L,a_m,···a_n}是根根据功能模板划分的全部脑区，其中a_m是第m个脑区，n表示全部脑区的个数。第m个脑区a_m的平均体素时间序列

其中N为时间点长度，

为第m个脑区在时间点N的体素的平均灰度值。

(2)：通过公式

计算脑区a_i与脑区a_j之间的皮尔森相关系数，构建全脑功能连接矩阵

步骤七：将全部脑区的功能连接矩阵展开成一维向量作为R-fMRI数据特征

步骤八：通过基于低秩表示(low-rank representation，LRR)的方法分别处理sMRI数据异构性和R-fMRI数据异构性，具体过程如下：

采用以下步骤分别处理多站点sMRI数据的异构性和R-fMRI数据的异构性。

(1)选择USM站点作为目标域，其余站点作为源域，令{Site 1,Site 2,...,SiteK,1≤K≤6}为源域，Site T为目标域。每个源域由

个样本构成，

目标域由N_T个样本构成，

其中，d为每个样本的特征向量维度。

(2)通过Q_i将第i个源域数据映射到所有站点数据共同的潜在空间并使用目标域数据进行线性表示，可以部分抑制多站点数据的异构性，映射后的数据为：

其中

为第i个源域特定的域变换矩阵，

为线性组合系数矩阵，

为稀疏噪声矩阵。

(3)使用通过低秩矩阵分解(low-rank matrix decomposition)将Q_i分解为：

其中

为公共变换矩阵，

为第i个源域特定的稀疏噪声矩阵，代表第i个源域本身独特的数据结构。

(4)利用公共空间转换矩阵Q将目标域数据X_T映射到共同的潜在空间，得到变换后的数据为：QX_T。

(5)将映射到共同的潜在空间的第i个源域数据

用映射到共同的潜在空间的目标域数据QX_T线性表示，可以进一步减少多站点数据分布的差异性，使得

和QX_T有相同的数据部分，公式如下：

(6)上述公式中的源域数据

特别容易受到噪声信息的影响(比如：不同的图像对比度、分辨率和噪声程度等)，为了提高模型的鲁棒性，将基于低秩表示(low-rankrepresentation，LRR)的领域自适应方法的目标函数表示为：

其中，rank(·)为矩阵的秩，||·||₁为l₁范数，

α和β为折中因子，用来约束rank(Z_i)、

和

这3项，I是单位阵，QQ^T＝I为正交约束项，保证Q没有平凡解，即Q为正交阵。

(7)因为秩最小化问题是著名的N-P难题，所以采用核范数最小化代替秩最小化(低秩)，将公式(1)改写为：

其中，||·||_*为核范数，等于矩阵的奇异值之和。

(8)采用增广拉格朗日乘子法(Augmented Lagrange Multiplier，ALM)进行求解构建的目标函数的最优解。

1)引入两个松弛变量J和F_i，将需要求解的目标函数改写如下：

2)根据公式(3)构造增广拉格朗日函数L，通过最小化增广拉格朗日函数求解目标函数的最优解。增广拉格朗日函数如下：

其中，Y_1,i、Y_2,i、Y_3,i和Y_4,i是拉格朗日乘子，μ＞0为惩罚因子，

为矩阵Frobenius范数，比如：矩阵

的Frobenius范数为

<·，·>矩阵的内积，比如：<A，B>＝tr(A^TB)。

3)最小化增广拉格朗日函数求解步骤如下：：

B1：输入X_T、

α和β，其中，α和β的值在实验中进行调整，初始化α＝0.5，β＝0.5。

B2：初始化参数：Z_i＝0，J＝Q＝0，

Y_1,i＝0，Y_2,i＝0，Y_3,i＝0，Y₄＝0，Q_i＝0，μ＝10^-6，ρ＝1.1，μ_max＝10⁶，ε＝10^-8，其中，ε为收敛判别项。

B3：固定其它参数，更新J：

其中，Q^c是第c次迭代更新求得的Q值，

是c次迭代更新求得的拉格朗日乘子Y₄，μ^c是第c次迭代更新求得参数μ。

B4：固定其他参数，更新F_i：

其中，

是第c次迭代更新求得的Z_i值，

是c次迭代更新求得的拉格朗日乘子Y_1,i。

B5：固定其它参数，更新

其中，

是第c次迭代更新求得的Q_i值，

是c次迭代更新求得的拉格朗日乘子Y_2,i。

B6：固定其它参数，更新

其中，

是第c次迭代更新求得的拉格朗日乘子Y_3,i。

B7：固定其它参数，更新Z_i：

其中，

是第c次迭代更新求得的F_i值，

是第c次迭代更新求得的

值。

B8：固定其它参数，更新Q_i：

其中，

是第c次迭代更新求得的

值。

B9：固定其它参数，更新Q：

K指源域数量。

B10：更新拉格朗日乘子和参数：

μ^c+1＝min(μ^cρ,μ_max)。

B11：判断是否满足收敛条件，收敛条件如下：

a)Q^c+1为正交阵；

b)

c)

d)

e)||Q^c+1-J^c+1||_∞＜ε，其中，||·||_∞为无穷范数，比如：矩阵

的无穷范数为

B12：若满足B11中的所有条件，说明满足收敛条件，则输出结果为Q＝Q^c+1，

若不满足或不完全满足B11中的所有条件，则重复步骤B3～B11直到满足B11的收敛条件。

(9)最后得到新的源域数据为：

1≤i≤K，目标域数据为：QX_T。所有新的源域数据作为分类识别模型的训练集，目标域数据作为分类识别模型的验证集，进行分类识别模型的训练。

步骤九：层次融合分类识别网络模型的训练具体过程如下：

(1)将sMRI和R-fMRI两种模态的所有源域数据和目标域数据通过旋转、翻转、随机偏移、随机裁剪的方法进行数据扩充。所有源域数据和其扩充得到的数据作为训练集，一共有5400个样本，目标域和其扩充得到的数据作为验证集，一共有600个样本。

(2)将sMRI和R-fMRI数据分别作为层次融合网络左右两个分支的输入。

(3)使用

计算层次融合网络输出结果与真实标签之间的交叉熵损失，其中，J为交叉熵损失，y⁽ⁱ⁾为第i个样本的真实标签，

为第i样本的网络模型预测值。

(4)基于交叉熵损失使用SGD优化器对网络参数进行不断更新优化，使得模型的输出不断接近真实标签，当训练集的损失函数收敛且不再减小时，网络训练完成，得到分类识别模型。

(5)模型训练参数设置如下：网络模型权重随机初始化，epoch设为100，batchsize大小设为32，损失函数为交叉熵损失函数，优化器为SGD，学习率设为0.001，momentum设为0.90，weight_decay设为0.0005。

步骤十：取新样本按照步骤2-8处理后得到sMRI数据特征和R-fMRI数据特征输入到训练好的层次融合分类识别网络模型中，得到被试者的输出标签并判断被试人员的状态。

综上所述，本发明采用基于低秩表示的方法使得多站点数据有相同或类似的数据分布，解决或部分解决了多站点数据异构性的问题，有效提高诊断模型的泛化性，更符合实际要求。本发明属于纯数据驱动的方法，可以自动地从sMRI和fMRI脑图像中学习到与脑疾病关联密切的特征，不需要人工经验；本发明将深度学习提取的sMRI数据的高维特征与解剖参数相融合得到融合结构特征，保证了结构信息的充分性。本发明将早期融合和晚期融合扩展为层次融合，能够在保留两种模态独立特征的同时，提取模态间的融合信息，充分利用了两种模态信息的互补性，有利于提高辅助诊断的准确性。本发明还可以进一步推广至生物信息技术、材料科学等领域，进行数据异质性处理、多模态融合以及分类识别，具有良好的通用性和使用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (9)

1.一种基于多模态多站点数据融合的分类识别方法,其特征在于：包括以下步骤：

1)获取多站点sMRI和R-fMRI数据：从自闭症脑成像数据交换库ABIDE获取结构性核磁共振成像数据和静息态功能性核磁共振成像数据；

2)对各个站点的sMRI数据进行预处理，得到sMRI颅骨剥离脑图像和大脑皮层表面模型；

3)将大脑皮层分割成多个不同区域，并计算每个区域的皮层平均厚度、皮层平均表面积和灰质体积等解剖参数；

4)将sMRI颅骨剥离脑图像输入ResNet3D深度网络模型提取高维特征；

5)将提取出的解剖参数和高维特征进行融合得到一维向量作为sMRI数据特征；

6)各个站点的R-fMRI数据进行预处理，获得大脑灰质图像；

7)将大脑灰质图像分割成多个不同功能的脑区，并提取每个脑区的平均体素时间序列；

8)使用皮尔森相关分析法计算不同脑区之间的皮尔森相关系数，构建全部脑区的功能连接矩阵；

9)将功能连接矩阵展开成一维向量作为R-fMRI数据特征；

10)采用低秩表示方法将不同站点的sMRI数据特征映射到一个共同的子空间中，并确定一个通用的低秩表示，解决多站点sMRI数据的异构性问题；

11)采用低秩表示方法将不同站点的R-fMRI数据特征映射到一个共同的子空间，并确定一个通用的低秩表示，解决多站点R-fMRI数据的异构性问题；

12)将经过数据异构性处理的sMRI数据和R-fMRI数据作为层次融合网络模型的输入，根据训练集构建分类识别网络；

13)将待检测被试的sMRI和R-fMRI神经影像数据按照步骤2)-步骤11)进行处理后送入分类识别模型，得到被试者的输出标签并判断被试人员的状态。

2.根据权利要求1所述的一种基于多模态多站点数据融合的分类识别方法，其特征在于：所述步骤2)中的sMRI数据预处理，包含以下具体步骤：

(1)将sMRI数据进行前连合-后连合校正，调整在获取sMRI数据时由于被试者头部运动造成的不规范姿势；

(2)使用仿射变换方法将个体sMRI脑图像映射到MNI305标准空间中，并标准化其空间分辨率；

(3)采用N3校正算法校正sMRI数据的强度不均匀性；

(4)利用分水岭算法去除大脑颅骨、颈部、眼睛、硬脑膜以及其他无关部位，仅保留白质、灰质和脑脊液部位；

(5)通过小波变换的方法从颅骨剥离后的sMRI脑图像中分离出白质；

(6)使用模糊C均值聚类算法重新构建大脑皮层表面模型，并使用分离出来的白质作为大脑填充；

(7)使用3D高斯卷积核对重建后的皮层表面进行平滑。

3.根据权利要求1所述的一种基于多模态多站点数据融合的分类识别方法，其特征在于：所述步骤4)中的颅骨剥离后的sMRI脑图像的高维特征提取包含以下具体步骤：

(1)基于ResNet设计一款ResNet3D深度网络模型作为sMRI特征提取模型用于提取颅骨剥离后的sMRI脑图像的高维特征，其核心是将ResNet中的2D BasicBlock模块改为3DBasicBlock模块，该网络中包含4个3D BasicBlock模块，其中，每个3D BasicBlock模块包含2个3D卷积层，每个3D卷积层包含1个3D卷积和1个批归一化和1个Relu激活函数；

(2)每个站点都需要训练一个sMRI特征提取模型用于提取sMRI数据的高维特征，但由于单个站点的样本量过少，每个站点无法单独训练各自的特征提取模型；所以，首先使用所有站点的sMRI数据训练一个sMRI特征提取模型，然后，再使用每个站点的sMRI数据来微调模型，从而，每个站点生成各自的sMRI特征提取模型；

(3)将各个站点sMRI颅骨剥离脑图像逐一送入各自站点训练好的sMRI特征提取模型中提取高维特征。

4.根据权利要求3所述的一种基于多模态多站点数据融合的分类识别方法，其特征在于：其步骤(2)中sMRI特征提取模型训练的具体步骤如下：

1)将所有站点sMRI颅骨剥离脑图像先通过旋转、翻转、随机偏移、随机裁剪的方法进行数据扩充，然后将原数据和扩充后的数据作为ResNet3D深度网络的输入；

2)使用

计算ResNet3D网络的输出结果与真实标签之间的交叉熵损失；其中，J为交叉熵损失，y⁽ⁱ⁾为第i个样本的真实标签，y⁽ⁱ⁾为第i个样本的网络模型预测值；

3)利用反向传播和SGD自适应优化算法不断更新优化网络的参数，使得模型的输出预测接近真实样本，当交叉熵损失趋于一个稳定值或达到最小值时，说明网络模型已经训练完成；

4)分别使用各个站点sMRI颅骨剥离脑图像对训练好的ResNet3D网络模型进行微调，得到每个站点各自的sMRI特征提取模型。

5.根据权利要求1所述的一种基于多模态多站点数据融合的分类识别方法，其特征在于：所述步骤6中的R-fMRI数据预处理，包含以下具体步骤：

(1)采用插值算法对不同时间点获得大脑切片数据进行时间层校正，使其调整为同一个时间点；

(2)将R-fMRI数据进行空间位置匹配，调整在获取R-fMRI数据时被试者头部运动造成的不规范姿势；

(3)使用EPI方法将个体R-fMRI脑图像映射到标准空间中，并标准化空间分辨率；

(4)利用3D高斯卷积核对R-fMRI数据进行空间平滑；

(5)对数据信号进行线性趋势消除，并采用0.01-0.08Hz的带通时间滤波去除低频漂移和高频噪声；

(6)通过线性回归去除脑室、白质及全局无关信号，保留灰质图像信号。

6.根据权利要求1所述的一种基于多模态多站点数据融合的分类识别方法，其特征在于：所述步骤8中的静息态功能网络连分析包含以下步骤：

A1：A＝{a₁,a₂,L,a_m,···a_n}是根根据功能模板划分的全部脑区，其中a_m是第m个脑区，n表示全部脑区的个数；第m个脑区a_m的平均体素时间序列

1≤m≤n，其中N为时间点长度，

为第m个脑区在时间点N的体素的平均灰度值；

A2：通过公式

计算脑区a_i与脑区a_j之间的皮尔森相关系数，构建脑功能连接矩阵

7.根据权利要求1所述的一种基于多模态多站点数据融合的分类识别方法，其特征在于：所述步骤10)和步骤11)中采用基于低秩表示方法进行多站点数据异构性处理包含以下具体步骤：

(1)选择一个站点作为目标域，其余站点作为源域，令{Site 1,Site 2,...,Site K,1≤K≤n}为源域，Site T为目标域。每个源域由

个样本构成，

目标域由N_T个样本构成，

其中，d为每个样本的特征向量维度；

(2)通过Q_i将第i个源域数据映射到所有站点数据共同的潜在空间并使用目标域数据进行线性表示，可以部分抑制多站点数据的异构性，映射后的数据为：

1≤i≤K，其中

为第i个源域特定的域变换矩阵，

为线性组合系数矩阵，

为稀疏噪声矩阵；

(3)使用通过低秩矩阵分解将Q_i分解为：

1≤i≤K，其中

为公共变换矩阵，

为第i个源域特定的稀疏噪声矩阵，代表第i个源域本身独特的数据结构；

(4)利用公共空间转换矩阵Q将目标域数据X_T映射到共同的潜在空间，得到变换后的数据为：QX_T；

(5)将映射到共同的潜在空间的第i个源域数据

用映射到共同的潜在空间的目标域数据QX_T线性表示，可以进一步减少多站点数据分布的差异性，使得

和QX_T有相同的数据分布，公式如下：

(6)上述公式中的源域数据

特别容易受到噪声信息的影响，为了提高模型的鲁棒性，将基于低秩表示的领域自适应方法的目标函数表示为：

其中，rank(·)为矩阵的秩，||·||₁为l₁范数，

α和β为折中因子，用来约束rank(Z_i)、

和

这3项，I是单位阵，QQ^T＝I为正交约束项，保证Q为正交阵；

(7)因为秩最小化问题是著名的N-P难题，所以本发明中采用核范数最小化代替秩最小化(低秩)，将公式(1)改写为：

其中，||·||_*为核范数，等于矩阵的奇异值之和；

(8)采用增广拉格朗日乘子法进行求解构建的目标函数的最优解；

(9)最后得到新的源域数据为：

1≤i≤K，目标域数据为：QX_T。所有新的源域数据作为分类识别模型的训练集，目标域数据作为分类识别模型的验证集，进行分类识别模型的训练。

8.根据权利要求7所述的一种基于多模态多站点数据融合的分类识别方法，其特征在于：其中，所述步骤(8)具体如下：

1)引入两个松弛变量J和F_i，将需要求解的目标函数改写如下：

2)根据公式(3)构造增广拉格朗日函数L，通过最小化增广拉格朗日函数求解目标函数，得到最优解，增广拉格朗日函数如下：

其中，Y_1,i、Y_2,i、Y_3,i和Y_4,i是拉格朗日乘子，μ＞0为惩罚因子，

为矩阵Frobenius范数，比如：矩阵

的Frobenius范数为

<·，·>矩阵的内积，比如：<A，B>＝tr(A^TB)。

3)最小化增广拉格朗日函数求解步骤如下：：

B1：输入X_T、

α和β，其中，α和β的值在实验中进行调整，初始化α＝0.5，β＝0.5。

B2：初始化参数：Z_i＝0，J＝Q＝0，

Y_1,i＝0，Y_2,i＝0，Y_3,i＝0，Y₄＝0，

Q_i＝0，μ＝10^-6，ρ＝1.1，μ_max＝10⁶，ε＝10^-8，其中，ε为收敛判别项；

B3：固定其它参数，更新J：

其中，Q^c是第c次迭代更新求得的Q值，

是c次迭代更新求得的拉格朗日乘子Y₄，μ^c是第c次迭代更新求得的惩罚因子μ；

B4：固定其他参数，更新F_i：

其中，

是第c次迭代更新求得的Z_i值，

是c次迭代更新求得的拉格朗日乘子Y_1,i；

B5：固定其它参数，更新

其中，

是第c次迭代更新求得的Q_i值，

是c次迭代更新求得的拉格朗日乘子Y_2,i；

B6：固定其它参数，更新

其中，

是第c次迭代更新求得的拉格朗日乘子Y_3,i；

B7：固定其它参数，更新Z_i：

其中，

F_i ^c是第c次迭代更新求得的F_i值，

是第c次迭代更新求得的

值；

B8：固定其它参数，更新Q_i：

其中，

是第c次迭代更新求得的

值；

B9：固定其它参数，更新Q：

其中，

K指源域数量；

B10：更新拉格朗日乘子和参数：

μ^c+1＝min(μ^cρ,μ_max)；

B11：判断是否满足收敛条件，收敛条件如下：

a)Q^c+1为正交阵；

b)

c)

d)

e)||Q^c+1-J^c+1||_∞＜ε，其中，||·||_∞为无穷范数，比如：矩阵

的无穷范数为

B12：若满足B11中的所有条件，说明满足收敛条件，则输出结果为Q＝Q^c+1，

若不满足或不完全满足B11中的所有条件，则重复步骤B3～B11直到满足B11的收敛条件。

9.根据权利要求1所述的一种基于多模态多站点数据融合的分类识别方法，其特征在于：所述步骤12)中的多模态融合以及模型训练包含以下具体步骤：

(1)基于RestNet设计了一个层次融合网络模型，该网络模型包含3个分支网络，其中左右两个分支都是由1个2D卷积模块、1个最大池化模块和4个BasicBlock模块构成，中间的分支由5个拼接层、5个2D卷积层和4个平均池化层组成；其中，每个BasicBlock模块都包含2个2D卷积层，每个2D卷积层包含1个2D卷积、1个批归一化和1个激活函数；

(2)左右两个分支网络分别提取sMRI和R-fMRI数据的特征，中间层的网络将每个层次中左右两个分支网络提取出来的特征沿着通道维度进行拼接并使用2D卷积模块和平均池化模块进行特征融合；然后，再通过2D卷积和全局平均池化将经过5次多模态特征融合后的特征进一步融合为全局特征；最后通过全连接层和softmax激活函数实现最终分类；

(3)基于多模态融合的疾病分类识别模型训练步骤如下：

1)将sMRI和R-fMRI两种模态的所有源域数据和目标域数据通过旋转、翻转、随机偏移、随机裁剪的方法进行数据扩充，将源域数据和其扩充得到的数据作为训练集，目标域和其扩充得到的数据作为验证集；

2)将sMRI和R-fMRI数据分别作为层次融合网络左右两个分支的输入；

3)使用

计算层次融合网络输出结果与真实标签之间的交叉熵损失，其中，J为交叉熵损失，y⁽ⁱ⁾为第i个样本的真实标签，

为第i样本的网络模型预测值；

4)基于交叉熵损失使用SGD优化器对网络参数进行不断更新优化，使得模型的输出不断接近真实标签，当训练集的损失函数收敛且不再减小时，网络模型训练完成，得到分类识别模型；

5)模型训练参数设置如下：网络模型权重随机初始化，epoch设为100，batchsize大小设为32，损失函数为交叉熵损失函数，优化器为SGD，学习率设为0.001，momentum设为0.90，weight_decay设为0.0005。

Images