CN111667453A - 一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法 - Google Patents

Abstract

一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法，首先将原始图像进行预处理，提取感兴趣区域，进而从图像数据中提取颜色和纹理特征并融合，构建了测试集和训练集，建立以原子类标嵌入项和Profiles的结构特征约束项的字典学习模型，并将训练集矩阵输入模型进行求解，迭代更新，分别训练出字典和编码系数矩阵，利用训练样本的编码系数矩阵和标记矩阵得到分类器参数；最后，对于测试图像，通过正交匹配追踪算法得到稀疏系数及其预测标签，通过比较重构出的测试集的标签与原测试集的标签，进行多类疾病图像的分类。本发明可以实现肠胃内窥镜不同病变图像的分类；能有效进行内窥镜疾病分类。

Description

一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异 常检测方法

技术领域

本发明涉及胃肠内窥镜图像的异常分类技术，特别涉及一种基于原子类标嵌入和profiles局部特征约束的字典学习方法，适用于胃肠镜图像异常检测。

背景技术

越来越多的人遭受胃肠疾病的困扰，内窥镜检查作为胃肠道研究的黄金标准，广泛应用于胃肠的早期检测和辅助治疗，有效降低病发率和死亡率。常规的手持式内镜是一种侵入性的诊断装置，难以准确获取整个胃肠道的情况。与传统的内窥镜检查技术相比，无线胶囊内窥镜作为新的无痛无创的技术，不仅可以完全进入小肠，而且降低了患者的不适感。病人将胶囊内窥镜从口腔吞入，通过胃肠蠕动，以无线方式拍摄彩色图像，平均持续时间约为8小时，然后将这些图像无线传输到连接患者腰部的数据记录设备，供临床医生检查图像并做出诊断。

尽管无线胶囊内镜是一项技术突破，但是经验丰富的临床医生对每个患者产生的大约5万张图像进行分析大约需要2小时。异常图像包括息肉、出血、溃疡等通常占比不到全部图像的5％。此外，异常图像的空间特征(例如形状，纹理，大小以及与周围环境的对比度)会发生变化，因此医生可能很难在所有情况下都可靠地检测出异常。因此，设计一个自动的计算机辅助***以协助临床医生对异常图像进行分类，减轻医生的负担，提高效率和准确率。

发明内容

大多数无线胶囊内镜异常检测方法仅考虑一种特定的异常，并且现有的多异常分类结果远不能令人满意，为了克服现有技术的无法有效分类的不足，本发明提出一种原子类标嵌入和profiles局部特征约束的字典学习方法，为胃肠镜图像异常进行分类，通过结合多类图像的字典学习、图像特征的稀疏表示和重构的误差对比，构建基于在多类字典下的线性分类器，可以有效实现胃肠内窥镜不同异常图像的分类。

为了解决上述技术问题提出的技术方案如下：

一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法，所述方法包括如下步骤：

步骤1：获取内窥镜图像集，由息肉、溃疡和正常图像组成；

步骤2：图像预处理：提取出整张内窥镜图像的组织区，无效区域生成掩模，剔除质量较低的图像；

步骤3：图像颜色特征提取：在HSI颜色空间下，通过颜色直方图的方法，提取图像的颜色特征；

步骤4：图像纹理特征提取：在HSI颜色空间下，采用尺度不变特征变换算子提取图像的纹理特征；

步骤5：图像特征融合：将图像的颜色和纹理特征进行融合并归一化；

步骤6：利用K-SVD算法初始化字典和编码系数矩阵，其模型表达式为：

其中Y＝[Y₁,…,Y_C]＝[y₁,y₂,…,y_n]∈R^m×n表示训练样本个数为n的训练数据集，m是训练样本的维数，C是训练样本的类别，Y_i是一个由第i类训练样本组成的矩阵；D＝[d₁,d₂,…,d_K]^T∈R^m×K表示字典，K是原子个数，d_i是字典D的第i个原子，X＝[x₁,x₂,…x_n]^T∈R^K×n是编码系数矩阵，x_i＝[x_1i,x_2i,…,x_Ki]^T是第i个训练样本y_i对应于字典D的编码系数，T₀是稀疏因子，||x||₀表示0范数，其值表示系数矢量x中的非零元素个数，||x||₂表示2范数，其值表示系数矢量x中各个元素的平方和；求解出初始化字典D₀＝[D₁,D₂,…,D_C]和初始化编码系数矩阵X₀＝[X₁,X₂,…,X_C]；

步骤7：根据步骤6所述，引入了原子类标嵌入项和Profiles的结构特征约束项，内窥镜图像分类的字典模型表达式：

其中

表示字典的重构性能，

是编码系数的正则项，λ，α和β是标量参数；

7.1原子类标嵌入项模型构造：

针对第i类训练样本，利用K-SVD算法学习一个特定类字典D_i，因此C类训练样本学习得到特定类字典D₀＝[D₁,D₂,…D_C]，字典D₀包含C类原子；如果原子d_i∈D_i，则原子d_i的类标定义为b_i＝[0,0,…,0,1,0,…,0]∈R^C，b_i中的第i个元素为1，其余均为零，因此字典D中的原子类标矩阵B定义为B＝[b₁,b₂,…,b_k]^T∈R^k×C；字典的权重类标矩阵H定义为

利用编码系数矩阵X^T和原子权重类标矩阵H构造如下的类标嵌入项：

7.2Profiles的结构特征约束项模型构造：

字典学习中编码系数矩阵的每个行向量定义为一个profile，定义P＝X^T，则P＝[p₁,p₂,…,p_k]∈R^n×K，其中p_i＝[x_i1,…,x_in]^T，原子d_i对应的profile为p_i，为了提高编码系数的判别性能，构造了利用profiles的结构特征结合原子设计判别式，利用P矩阵构造一个近邻图M，每个p_i表示一个顶点；近邻图M的权重矩阵W计算如下：

其中ε是参数，kNN(p_i)表示p_i的K近邻，w_i,j是p_i和p_j的权重，反映了它们之间的相似性，为了更好地反映p_i和p_j之间的结构特征，构造了基于profiles特征的拉普拉斯图L如下：

设计了基于profiles特征的判别式如下：

步骤8：字典模型优化：

8.1字典D的求解更新：

假设目标函数中的编码系数矩阵X，拉普拉斯图L和矩阵U是常量，则公式(2)转换为公式(7)

利用拉格朗日函数进行求解，获得最优字典D：

D＝YX^T(XX^T+βL+ηI) (8)

其中η是参数，I是单位矩阵；

8.2编码系数矩阵X的求解更新：

假设目标函数中字典D，拉普拉斯图L和矩阵U是常量，公式(2)转换为：

公式(10)直接求导得到最优的编码系数矩阵X：

X＝(D^TD+αU+γI)^-1D^TY (10)

其中γ是参数，一旦获得编码系数，根据公式(3)得到矩阵U，根据公式(5)得到拉普拉斯图L；

步骤9：构建线性分类器：首先，利用训练样本的编码系数矩阵X和标记矩阵H得到分类器参数G_x:

G_x＝HX^T(XX^T+Ι)^-1 (11)

其次，对于测试图像

通过正交匹配追踪算法计算出编码系数向量

和字典D，通过

计算得到一个预测标签向量l_x，最后，测试样本

的类别是预测标签向量l_x的最大元素值所对应的索引。

相比于现有技术，本发明的有益效果表现在：

a.本发明提出了异常图像分类算法辅助医生进行肠胃异常诊断，有效缩短分析时间，减轻工作负担；

b.本发明采用了一种胃镜异常图像分类的字典学习算法，设计基于profiles结构特征的判别式，提高编码系数的判别性能；为字典中的每个原子分配一个类标，并利用原子类标构造判别式，提高字典的判别性；

c.本发明设计了胃镜异常图像字典学习分类优化方法，对目标函数采取交替约束直接求导的方法进行求解，不断更新目标函数直到算法收敛；利用训练样本的编码系数矩阵和标记矩阵得到线性分类器参数，对于一幅测试图像，通过正交匹配追踪算法，得到其稀疏表示系数向量与学习字典的关系，然后，利用线性分类器参数计算出预测标签向量，最后，测试样本的类别是预测标签向量中最大元素值所对应的索引；

d.本发明融合了颜色特征和纹理特征，根据临床医生的经验表明，颜色特征能有效区分胃肠镜异常图像，但在某些胃肠镜异常图像上区分度仍有局限。融合了纹理特征，能有效增强分类准确率；

e.本发明利用了一种适合胶囊内窥镜的图像预处理方法，其中包含了感兴趣区域提取、和低质量图像剔除，减少了无用信息造成的干扰。

附图说明

图1为本发明的字典学习***框架图；

图2是本发明的预处理效果图；

图3是本发明的多类字典学习及稀疏重构的详细算法流程图。

图4是本发明的分类思路使用融合特征与其他特征在不同字典大小下的准确率结果。

具体实施方式

下面结合附图对本发明做进一步说明。

参照图1～图4，一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法，所述方法包括如下步骤：

步骤1：获取内窥镜图像集，由三类不同的胃镜图像组成，分别是息肉、溃疡和正常图像，每类图像数量相同；

步骤2：从内窥镜中直接获取的图像，通常包含有许多无用信息，如仪器标志，时间和病人信息等。同时由于肠胃内部的存在许多干扰因素，如气泡、食物残渣或者拍摄原因造成许多低质量图像，因此多获取的胃镜图像进行预处理，提取出整张内窥镜图像的组织区，无效区域生成掩模，同时剔除掉一些低质量图像；

步骤3：图像颜色特征提取：在HSI颜色空间下，采用颜色直方图算法提取图像的颜色特征，分别对色相、饱和度、明度三个通道的值进行量化，然后进行统计形成颜色直方图作为图像的颜色特征；

步骤4：图像纹理特征提取：在HSI颜色空间下，采用尺度不变特征变换算子在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量信息，用一组向量描述出来，提取图像的纹理特征；

步骤5：单一的特征往往不能很好地表现出图像的特点，颜色和纹理特征相互融合补充更具有判别性，由于不同的特征计算方法不同，生成的数据维度或高或低，因此通过归一化来消除这些差异，提高数据的表现；融合后的新特征，其矩阵行数表示特征维数，列数表示图像数量，即每列向量表示每张图像的特征；

步骤6：利用K-SVD算法初始化字典和编码系数矩阵，其模型表达式为：

其中Y＝[y₁,y₂,…,y_n]∈R^m×n表示训练样本个数为n的训练数据集，m是训练样本的维数，D＝[d₁,d₂,…,d_K]^T∈R^m×K表示字典，K是原子个数，d_i是字典D的第i个原子，X＝[x₁,x₂,…x_n]^T∈R^K×n是编码系数矩阵，x_i＝[x_1i,x_2i,…,x_Ki]^T是第i个训练样本y_i对应于字典D的编码系数，T₀是稀疏因子，||x||₀表示0范数，其值表示系数矢量x中的非零元素个数，||x||₂表示2范数，其值表示系数矢量x中各个元素的平方和；求解出初始化字典D₀＝[D₁,D₂,…,D_C]和初始化编码系数矩阵X₀＝[X₁,X₂,…,X_C]；

步骤7：根据步骤6所述，引入了原子类标嵌入项和Profiles的结构特征约束项，内窥镜图像分类的字典模型表达式：

其中

表示字典的重构性能，

是编码系数的正则项，λ，α和β是标量参数；

7.1原子类标嵌入项模型构造：

针对第i类训练样本，利用K-SVD算法学习一个特定类字典D_i，因此C类训练样本学习得到特定类字典D₀＝[D₁,D₂,…D_C]，字典D₀包含C类原子；如果原子d_i∈D_i，则原子d_i的类标定义为b_i＝[0,0,…,0,1,0,…,0]∈R^C，b_i中的第i个元素为1，其余均为零，因此字典D中的原子类标矩阵B定义为B＝[b₁,b₂,…,b_k]^T∈R^k×C；字典的权重类标矩阵H定义为

利用编码系数矩阵X^T和原子权重类标矩阵H构造如下的类标嵌入项：

7.2Profiles的结构特征约束项模型构造：

字典学习中编码系数矩阵的每个行向量定义为一个profile，定义P＝X^T，则P＝[p₁,p₂,…,p_k]∈R^n×K，其中p_i＝[x_i1,…,x_in]^T，原子d_i对应的profile为p_i，为了提高编码系数的判别性能，构造了利用profiles的结构特征结合原子设计判别式，利用P矩阵构造一个近邻图M，每个p_i表示一个顶点；近邻图M的权重矩阵W计算如下：

其中ε是参数，kNN(p_i)表示p_i的K近邻，w_i,j是p_i和p_j的权重，反映了它们之间的相似性，为了更好地反映p_i和p_j之间的结构特征，构造了基于profiles特征的拉普拉斯图L如下：

设计了基于profiles特征的判别式如下：

步骤8：字典模型优化：

8.1字典D的求解更新：

假设目标函数中的编码系数矩阵X，拉普拉斯图L和矩阵U是常量，则公式(2)转换为公式(7)

利用拉格朗日函数进行求解，获得最优字典D：

D＝YX^T(XX^T+βL+ηI) (19)

其中η是参数，I是单位矩阵；

8.2编码系数矩阵X的求解更新：

假设目标函数中字典D，拉普拉斯图L和矩阵U是常量，公式(2)转换为：

公式(10)直接求导得到最优的编码系数矩阵X：

X＝(D^TD+αU+γI)^-1D^TY (21)

其中γ是参数，一旦获得编码系数，根据公式(3)得到矩阵U，根据公式(5)得到拉普拉斯图L；

步骤9：构建线性分类器：首先，利用训练样本的编码系数矩阵X和标记矩阵H得到分类器参数G_x:

G_x＝HX^T(XX^T+Ι)^-1 (22)

其次，对于测试图像

通过正交匹配追踪算法计算出编码系数向量

和字典D，通过

计算得到一个预测标签向量l_x，最后，测试样本

的类别是预测标签向量l_x的最大元素值相对应的索引。

预处理的效果图如图2所示，对于在肠胃镜检查中直接获取的胃镜图像，大致包含两大块区域：背景区域和组织区。背景区常带有患者信息，仪器信息，时间等，而组织区上也有很多干扰因素，如气泡、食物残渣或摄像头拍摄造成的暗区和光斑。首先，原图在转化为灰度图像后，寻找最大连通区域来确定组织区，再根据边界点从原图中切割出彩色的组织区。图(a)是一张处于胃部的原始胃镜图像；图(b)是提取的组织区；可见本发明的预处理方法可有效提取组织区，降低干扰因素对特征提取的干扰。

如图3所示，为字典学习的详细算法流程图。随机选取80％图像作训练集，剩下20％图像用作测试集验证，先初始化得到字典D₀和编码系数矩阵X₀，再利用训练样本的类标矩阵构造字典的类标矩阵B，计算出原子权重类标矩阵H及其扩展类标矩阵U，利用profiles矩阵P₀计算初始化的拉普拉斯图矩阵L₀，经过多次迭代，输出最后的字典D和编码系数矩阵X，通过线性分类器计算出测试图像分类的正确率。

为验证本发明的有效性，通过仿真进行说明：

胃镜数据集由三类不同的胃镜部位组成，包括胃息肉、胃溃疡和正常胃部图像，每个部位的图像数量相同，各有250张，总共750张。其中，每类图像随机抽取200张作为测试图像，其余50张作为训练图像。实验结果以准确率作为评判标准。

实验1，通过本发明提出的分类方法对胃镜图像进行分类。实验中字典训练时，为选择合适参数，先随机的利用训练样本和测试样本进行字典学***均值，如表1所示，是本发明的内窥镜图像分类方法在字典学***均准确率；

类别	息肉	溃疡	正常	综合
					准确率	0.926	0.901	0.943	0.923

表1

以本发明提出的分类方法，每类图像的平均精确率均可达到90％以上，同时计算时间迅速，证明了本发明的有效性和可靠性。

实验2，对单一的颜色特征或纹理特征，与本发明提出的融合特征进行比较。实验中字典的原子数为200。如表2所示，是本发明的内窥镜图像分类方法与其它特征分类结果比较，计算了平均精准率；

特征	CH	SIFT	CH+SIFT
				平均准确率	0.907	0.861	0.923

表2

本发明提出的融合特征相比单一特征，在分类准确率方面获得较好结果。

本发明在进行实验验证时，需要考虑以下因素：

1)测试图像在分配时，从每类样本中随机选取一定数量样本作为训练样本集合，剩余作为测试样本，避免训练样本数目过少，导致训练出现偏差，要进行多次实验取得平均值，目的是为了得到一个更稳定的结果；

2)训练样本的个数要远远大于总体类别数，保证训练样本的高度相关性；

3)在训练字典的过程中，需要考虑字典大小对结果的影响。

因此，本发明还进行了对字典大小的讨论，实验3的对象与实验2相同，对三种选取的特征进行测试，分别得到不同字典大小下准确率的比较结果。如图4所示，不同的特征下，字典大小对结果的影响各有不同。但对于本发明选取的融合特征，在字典较小的时候也可以获得更高的准确率。同时，相比于较大的字典，可以减轻复杂度和减少训练时间。

另外，图4也进一步地反映出，在各个字典列数下，本发明提出的融合特征均可以获得更高的准确率。

Claims (1)

1.一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法，其特征在于，所述方法包括如下步骤：

步骤1：获取内窥镜图像集，由息肉、溃疡和正常图像组成；

步骤2：图像预处理：提取出整张内窥镜图像的组织区，无效区域生成掩模，剔除质量较低的图像；

步骤3：图像颜色特征提取：在HSI颜色空间下，通过颜色直方图的方法，提取图像的颜色特征；

步骤4：图像纹理特征提取：在HSI颜色空间下，采用尺度不变特征变换算子提取图像的纹理特征；

步骤5：图像特征融合：将图像的颜色和纹理特征进行融合并归一化；

步骤6：利用K-SVD算法初始化字典和编码系数矩阵，其模型表达式为：

其中Y＝[Y₁,…,Y_C]＝[y₁,y₂,…,y_n]∈R^m×n表示训练样本个数为n的训练数据集，m是训练样本的维数，C是训练样本的类别，Y_i是一个由第i类训练样本组成的矩阵；D＝[d₁,d₂,…,d_K]^T∈R^m×K表示字典，K是原子个数，d_i是字典D的第i个原子，X＝[x₁,x₂,…x_n]^T∈R^K×n是编码系数矩阵，x_i＝[x_1i,x_2i,…,x_Ki]^T是第i个训练样本y_i对应于字典D的编码系数，T₀是稀疏因子，||x||₀表示0范数，其值表示系数矢量x中的非零元素个数，||x||₂表示2范数，其值表示系数矢量x中各个元素的平方和；求解出初始化字典D₀＝[D₁,D₂,…,D_C]和初始化编码系数矩阵X₀＝[X₁,X₂,…,X_C]；

步骤7：根据步骤6所述，引入了原子类标嵌入项和Profiles的结构特征约束项，内窥镜图像分类的字典模型表达式：

其中

表示字典的重构性能，

是编码系数的正则项，λ，α和β是标量参数；

7.1原子类标嵌入项模型构造：

针对第i类训练样本，利用K-SVD算法学习一个特定类字典D_i，因此C类训练样本学习得到特定类字典D₀＝[D₁,D₂,…D_C]，字典D₀包含C类原子；如果原子d_i∈D_i，则原子d_i的类标定义为b_i＝[0,0,…,0,1,0,…,0]∈R^C，b_i中的第i个元素为1，其余均为零，因此字典D中的原子类标矩阵B定义为B＝[b₁,b₂,…,b_k]^T∈R^k×C；字典的权重类标矩阵H定义为

利用编码系数矩阵X^T和原子权重类标矩阵H构造如下的类标嵌入项：

7.2Profiles的结构特征约束项模型构造：

字典学习中编码系数矩阵的每个行向量定义为一个profile，定义P＝X^T，则P＝[p₁,p₂,…,p_k]∈R^n×K，其中p_i＝[x_i1,…,x_in]^T，原子d_i对应的profile为p_i，为了提高编码系数的判别性能，构造了利用profiles的结构特征结合原子设计判别式，利用P矩阵构造一个近邻图M，每个p_i表示一个顶点；近邻图M的权重矩阵W计算如下：

其中ε是参数，kNN(p_i)表示p_i的K近邻，w_i,j是p_i和p_j的权重，反映了它们之间的相似性，为了更好地反映p_i和p_j之间的结构特征，构造了基于profiles特征的拉普拉斯图L如下：

设计了基于profiles特征的判别式如下：

步骤8：字典模型优化：

8.1字典D的求解更新：

假设目标函数中的编码系数矩阵X，拉普拉斯图L和矩阵U是常量，则公式(2)转换为公式(7)

利用拉格朗日函数进行求解，获得最优字典D：

D＝YX^T(XX^T+βL+ηI) (8)

其中η是参数，I是单位矩阵；

8.2编码系数矩阵X的求解更新：

假设目标函数中字典D，拉普拉斯图L和矩阵U是常量，公式(2)转换为：

公式(10)直接求导得到最优的编码系数矩阵X：

X＝(D^TD+αU+γI)^-1D^TY (10)

其中γ是参数，一旦获得编码系数，根据公式(3)得到矩阵U，根据公式(5)得到拉普拉斯图L；

步骤9：构建线性分类器：首先，利用训练样本的编码系数矩阵X和标记矩阵H得到分类器参数G_x:

G_x＝HX^T(XX^T+Ι)^-1 (11)

其次，对于测试图像

通过正交匹配追踪算法计算出编码系数向量

和字典D，通过

计算得到一个预测标签向量l_x，最后，测试样本

的类别是预测标签向量l_x的最大元素值所对应的索引。

Images