CN114898193A - 基于流形学习的图像特征融合方法、装置及图像分类*** - Google Patents

Abstract

本发明公开了一种基于流形学习的图像特征融合方法、装置及图像分类***。本发明首先获取若干图像的多类特征构建特征集合；将特征集合中，每类特征作为一个视角，并构建每个单一视角下的图拉普拉斯矩阵；然后构建并求解基于流形学习的多视角特征选择与融合模型，获得融合后的图像特征。本发明可以更充分利用数据的结构信息，更关注数据整体分布和特性的变化趋势，而不是特定特征的绝对值，使其更具有减弱多中心效应的潜力，更关注医学图像本质疾病表征，而非多中心带来的扰动；同时，基于流行学习的图像融合装置，也能对不同视角下的特征进行更有效的融合，提高医学图像分类性能。

Description

基于流形学习的图像特征融合方法、装置及图像分类***

技术领域

本发明涉及医学影像领域，尤其涉及一种基于流形学习的图像特征融合方法、装置及图像分类***。

背景技术

在医学影像领域，通常大通量且不同种类的特征会被提取，比如不同模态特征、频率特征、空间特征等，不同种类的特征反应了图像的不同表征，对疾病的诊断至关重要。但是不同种类的特征的数值范围、分布等具有显著差异，若不进行处理，直接输入到分类器中，会使得分类性能下降，所以此时需要对不同特征进行有效特征融合。

多中心效应指的是，用中心A的数据训练的模型去测试中心B的数据，通常测试性能会下降，对于基于医学图像分类的诊断模型尤为明显，这是因不同中心扫描仪设备、采集协议、重建参数的差异导致的数据分布不同，被称作多中心效应。

故将不同中心、不同类型的特征进行有效特征融合是难点也是热点。

目前解决医学图像特征多中心效应的传统方法，主要是利用贝叶斯理论等数据处理方法，消除多中心数据影像组学均值和方差等差异来达到消除多中心效应，这类方法机械地将不同中心数据特征的均值和方差调整到同一水平，在此过程中，有时会将医学图像本质疾病表征也给消除了，造成了多中心医学图像诊断模型性能下降。

近年来，流形学习受到了广泛的关注，在机器学习领域比如计算机视觉、语音识别以及推荐***上有了很多应用。流形学习的优势在于它能够利用数据的结构信息，更关注数据整体分布和特性的变化趋势，而不是特定特征的绝对值，这使得流形学习更具有减弱多中心效应的潜力，更关注医学图像本质疾病表征，而非多中心带来的扰动，因此，开发一种基于流形学习的图像特征融合方法具有重要意义。

发明内容

本发明的目的在于针对现有技术中特征融合方法的不足，尤其是医学图像的多中心效应问题，提出一种基于流形学习的图像特征融合方法、装置及图像分类***。

本发明采用的技术方案具体如下：

一种基于流形学习的图像特征融合方法，包括：

获取若干图像的多类特征构建特征集合；将特征集合中，每类特征作为一个视角，并构建每个单一视角下的图拉普拉斯矩阵L _i ，i=1,2,…,K，K表示特征类别的数量；

构建并求解基于流形学习的多视角特征选择与融合模型，获得融合后的图像特征；所述基于流形学习的多视角特征选择与融合模型表示如下：

, s.t.

其中，Y为融合后的图像特征，其中一行向量对应一个图像融合后的图像特征；Z _i 表示第i个视角特征的低维表示，α _i 是第i个视角特征对应的权重，tr(*)表示矩阵的迹，γ是权重参数。

进一步地，所述图拉普拉斯矩阵L _i 通过如下方法计算获得：

L _i = D _i −W _i

其中，D _i 为第i个视角的N ×N对角矩阵，对角矩阵的对角元素d _mm = ∑ _n (W _i ) _mn ，1≤m,n≤N且m≠n，N表示样本数量；W _i 是第i个视角的N ×N相关性矩阵，(W _i ) _mn 是W _i 的第m行第n列元素,代表第m个样本和第n个样本基于第i视角特征的相关性。

进一步地，所述图像为医学图像，具体为CT图像、PET图像、超声图像或OCT图像。

进一步地，所述医学图像由不同中心采集获得。

进一步地，所述特征类别包括形状、纹理、灰度、梯度、频域特征中的至少两种。

一种基于流形学习的图像特征融合装置，包括：

数据处理模块，用于获取若干图像的多类特征构建特征集合；将特征集合中，每类特征作为一个视角，并构建每个单一视角下的图拉普拉斯矩阵L _i ，i=1,2,…,K，K表示特征类别的数量；

特征融合模块，用于构建并求解基于流形学习的多视角特征选择与融合模型，获得融合后的图像特征；所述基于流形学习的多视角特征选择与融合模型表示如下：

, s.t.

其中，Y为融合后的图像特征，其中每一行向量为融合之后的每一个图像的特征；Z _i 表示第i个视角特征的低维表示，α _i 是第i个视角特征对应的权重，tr(*)表示矩阵的迹，γ是权重参数。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于流形学习的图像特征融合方法。

一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现如上所述的基于流形学习的图像特征融合方法。

一种图像分类***，包括：

前述基于流形学习的图像特征融合装置；

分类模块，用于根据图像特征融合装置获取的图像特征进行分类。

本发明的有益效果是：本发明可以更充分利用数据的结构信息，更关注数据整体分布和特性的变化趋势，而不是特定特征的绝对值，使其更具有减弱多中心效应的潜力，更关注医学图像本质疾病表征，而非多中心带来的扰动；同时，基于流行学习的图像融合装置，也能对不同视角下的特征进行更有效的融合，提高医学图像分类性能。

附图说明

图1是本发明一示例性基于流形学习的图像特征融合方法流程图；

图2是本发明一示例性基于流形学习的CT图像特征融合方法流程图；

图3是本发明一示例性基于流形学习的图像特征融合装置结构图；

图4是本发明一示例性电子设备结构图；

图5是本发明一示例性图像分类***结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。

在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图1是本发明一示例性基于流形学习的图像特征融合方法流程图，如图1所示，本发明的基于流形学习的图像特征融合方法，包括：

获取若干图像的多类特征构建特征集合；将特征集合中，每类特征作为一个视角，并构建每个单一视角下的图拉普拉斯矩阵L _i ，i=1,2,…,K，K表示特征类别的数量；

构建并求解基于流形学习的多视角特征选择与融合模型，获得融合后的图像特征；

其中，构建并求解基于流形学习的多视角特征选择与融合模型具体如下：

首先，考虑到虽然不同视角下特征受噪声等因素的影响，但是不同视角下的拉普拉斯矩阵应具有一定的拓扑结构的相似性。进一步地，由于拉普拉斯矩阵是一种高维的样本之间相关性的表征，通常可以通过计算其相应的低维表示来计算不同视角之间的一致性或者相似性。

对于单一视角的低维表示，可以先通过拉普拉斯特征分解获得其低维表示Z _i 。具 体地，通过图谱理论，对拉普拉斯矩阵

进行特征值分解，其对应的特征向量可以作为图潜 在结构的表征，即求解如下目标函数的

p,表示如下：

, s.t.

为降维后的特征维度，N表示样本数量，tr(*)表示矩阵的迹。

由于Z _i 具有正交性，多视角下的低维表示

在空间中的分布具是一种特殊的 格拉斯曼流形结构，即每一视角下的低维表示都是分布在格拉斯曼流形曲面上的一个点。 因而，不同视角之间的相似性或者距离可以通过计算其在流形空间的测地距离来准确表 示。采用如下形式进行计算：

其中，1≤i,j≤K且i≠j，

表示降维后的特征维度；考虑到因噪声或其他因素导致 的异常特征的存在，需要对特征选择向量进行一定的约束，所以对不同视角的特征给定权 重分配

（

）。因此，结合上述考虑, 基于流形学习的多视角特征选择与融合模 型构建如下：

, s.t.

其中，

的初始值设定为

进行特征值分解对应的前

大个特征值对应的特征向 量集合，

为降维后的特征维度；Y为融合后的图像特征，其中每一行向量对应一个图像融 合后的新的特征；γ是权重参数，s.t.表示“使得”。

本发明方法可以实现特征融合，降低特征的维度，综合多视角特征，有效提取图像本质疾病表征。进一步地，所述图像可以由不同中心/设备采集获得，本发明方法是基于流形学习，更关注数据整体分布和特性的变化趋势，而不是特定特征的绝对值，这能够有效减弱多中心效应，解决由不同中心/设备采集导致的误差。示例性地，如需要对两个中心A、B采集的数据进行分类模型训练和测试时，即可将中心A采集的数据与中心B采集的数据的多类特征构建特征数据集合进行特征融合，获得融合后的图像特征，利用融合后的图像特征进行分类器的训练和分类，即可得到可消除中心效应的图像分类结果。

进一步地，本发明特别适用于医学图像分类，医学图像可以为CT图像、PET图像、超声图像或OCT图像等。所述特征类别包括形状、纹理、灰度、梯度、频域特征（小波特征等）中的至少两种。

下面，以两个中心（中心A和中心B）采集的CT图像的影像组学特征融合为例，对本发明做进一步详细说明：

本发明方法首先基于影像组学的方法从中心A和中心B的CT图像中获取影像组学特征。其次针对单一类别的影像组特征构建表征单一视角下的图相关性矩阵并计算图拉普拉斯矩阵，以此作为流形学习的输入，更多关注了整批样本整体数据分布，有利于消除多中心效应；最后，通过构建流形学习的方法从多视角的图拉普拉斯矩阵中学习提取融合之后的低维特征，用此低维特征表征，有效综合了多视角特征，有利于去除多中心带来的扰动，保留生物特性本来的特性。具体地，如图2所示，包括以下步骤：

（1）基于影像组学的特征提取

基于影像组学的方法从中心A和中心B的CT图像中获取形状、纹理、灰度等影像组学特征构建多视角特征集合X：

其中，x _i 为第i个视角即第i类（例如灰度或者纹理）的影像组学特征，K为提取的视角特征数。

（2）构建单一视角下的图拉普拉斯矩阵

基于构建的多视角特征集合，针对单一视角特征x _i ，构建图相关性矩阵W _i ，W _i 的第m行第n列元素(W _i ) _mn 表示如下：

=

其中，x _im /x _in 表示第

个视角下第m/n 个样本的特征向量。1≤m,n≤N且m≠n，N表 示样本数量；

代表协方差，𝝈 _im /𝝈 _in 分别表示第

个视角下第m/n 个样本特征向量的标 准差，𝝁 _im /𝝁 _in 分别表示第

个视角下第m/n 个样本特征向量的均值，E表示期望。

基于构建的图相关性矩阵，可计算并获取图的拉普拉斯矩阵：

L _i = D _i −W _i

其中，D _i 为第i个视角的N ×N对角矩阵，其中对角元素d _mm = ∑ _n (W _i ) _mn 。

(3) 基于流形学习的特征选择与融合

构建并求解基于流形学习的多视角特征选择与融合模型，即可获得融合后的图像特征；其中基于流形学习的多视角特征选择与融合模型表示如下：

, s.t.

其中，Z _i 表示第i个视角特征的低维表示，

的初始值设定为

进行特征值分解对 应的前

大个特征值对应的特征向量集合，

为降维后的特征维度；Y为融合后的图像特征， 其中每一行向量为融合之后的每一个图像的新的特征；α _i 是第i个视角特征对应的权重，tr (*)表示矩阵的迹，γ是权重参数。

与前述基于流形学习的图像特征融合方法的实施例相对应，本发明还提供了基于流形学习的图像特征融合装置的实施例。

参见图3，本发明实施例提供的一种基于流形学习的图像特征融合装置，包括：

数据处理模块，用于获取若干图像的多类特征构建特征集合；将特征集合中，每类特征作为一个视角，并构建每个单一视角下的图拉普拉斯矩阵L _i ，i=1,2,…,K，K表示特征类别的数量；

特征融合模块，用于构建并求解基于流形学习的多视角特征选择与融合模型，获得融合后的图像特征；所述基于流形学习的多视角特征选择与融合模型表示如下：

, s.t.

其中，Z _i 表示第i个视角特征的低维表示，

的初始值设定为

进行特征值分解对 应的前

大个特征值对应的特征向量集合，

为降维后的特征维度；Y为融合后的图像特征， 其中每一行向量为融合之后的每一个图像的新的特征；α _i 是第i个视角特征对应的权重，tr (*)表示矩阵的迹，γ是权重参数。

进一步地，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的基于流形学习的图像特征融合方法。

本发明的电子设备为任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。

作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的从硬件层面而言，如图4所示，为本发明电子设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述电子设备中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于电子设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的电子设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于流形学习的图像特征融合方法。

所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡( Smart Media Card,SMC) 、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

另外，本发明还提供了一种图像分类***，如图5所示，包括：

前述基于流形学习的图像特征融合装置；

分类模块，用于根据图像特征融合装置获取的图像特征进行分类。

其中，分类模块可以采用常见的支持向量机SVM、决策树、随机森林等，其使用方法为公知方法，在此不再赘述。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。

Claims (9)

1.一种基于流形学习的图像特征融合方法，其特征在于，包括：

获取若干图像的多类特征构建特征集合；将特征集合中，每类特征作为一个视角，并构建每个单一视角下的图拉普拉斯矩阵L _i ，i=1,2,…,K，K表示特征类别的数量；

构建并求解基于流形学习的多视角特征选择与融合模型，获得融合后的图像特征；所述基于流形学习的多视角特征选择与融合模型表示如下：

, s.t.

其中，Y为融合后的图像特征，其中一行向量对应一个图像融合后的图像特征；Z _i 表示第i个视角特征的低维表示，α _i 是第i个视角特征对应的权重，tr(*)表示矩阵的迹，γ是权重参数。

2.根据权利要求1所述的方法，其特征在于，所述图拉普拉斯矩阵L _i 通过如下方法计算获得：

L _i = D _i −W _i

其中，D _i 为第i个视角的N ×N对角矩阵，对角矩阵的对角元素d _mm = ∑ _n (W _i ) _mn ，1≤m,n≤N且m≠n，N表示样本数量；W _i 是第i个视角的N ×N相关性矩阵，(W _i ) _mn 是W _i 的第m行第n列元素,代表第m个样本和第n个样本基于第i视角特征的相关性。

3.根据权利要求1所述的方法，其特征在于，所述图像为医学图像，具体为CT图像、PET图像、超声图像或OCT图像。

4.根据权利要求3所述的方法，其特征在于，所述医学图像由不同中心采集获得。

5.根据权利要求1所述的方法，其特征在于，所述特征类别包括形状、纹理、灰度、梯度、频域特征中的至少两种。

6.一种基于流形学习的图像特征融合装置，其特征在于，包括：

数据处理模块，用于获取若干图像的多类特征构建特征集合；将特征集合中，每类特征作为一个视角，并构建每个单一视角下的图拉普拉斯矩阵L _i ，i=1,2,…,K，K表示特征类别的数量；

特征融合模块，用于构建并求解基于流形学习的多视角特征选择与融合模型，获得融合后的图像特征；所述基于流形学习的多视角特征选择与融合模型表示如下：

, s.t.

其中，Y为融合后的图像特征，其中每一行向量为融合之后的每一个图像的特征；Z _i 表示第i个视角特征的低维表示，α _i 对应第i个视角特征对应的权重，tr(*)表示矩阵的迹，γ是权重参数。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的基于流形学习的图像特征融合方法。

8.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现如权利要求1-5任一项所述的基于流形学习的图像特征融合方法。

9.一种图像分类***，其特征在于，包括：

权利要求6所述基于流形学习的图像特征融合装置；

分类模块，用于根据图像特征融合装置获取的图像特征进行分类。

Images