CN111667453A - 一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法 - Google Patents
一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法 Download PDFInfo
- Publication number
- CN111667453A CN111667453A CN202010316171.0A CN202010316171A CN111667453A CN 111667453 A CN111667453 A CN 111667453A CN 202010316171 A CN202010316171 A CN 202010316171A CN 111667453 A CN111667453 A CN 111667453A
- Authority
- CN
- China
- Prior art keywords
- dictionary
- matrix
- image
- class
- coding coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002496 gastric effect Effects 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 title claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims abstract description 74
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 7
- 208000025865 Ulcer Diseases 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 231100000397 ulcer Toxicity 0.000 claims description 6
- 201000010099 disease Diseases 0.000 abstract 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract 2
- 230000003902 lesion Effects 0.000 abstract 1
- 230000002159 abnormal effect Effects 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 8
- 208000037062 Polyps Diseases 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 239000002775 capsule Substances 0.000 description 4
- 238000001839 endoscopy Methods 0.000 description 4
- 210000002784 stomach Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000001035 gastrointestinal tract Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000010794 food waste Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010017817 Gastric polyps Diseases 0.000 description 1
- 208000018522 Gastrointestinal disease Diseases 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 241000167880 Hirundinidae Species 0.000 description 1
- 208000007107 Stomach Ulcer Diseases 0.000 description 1
- 238000009098 adjuvant therapy Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008855 peristalsis Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法,首先将原始图像进行预处理,提取感兴趣区域,进而从图像数据中提取颜色和纹理特征并融合,构建了测试集和训练集,建立以原子类标嵌入项和Profiles的结构特征约束项的字典学习模型,并将训练集矩阵输入模型进行求解,迭代更新,分别训练出字典和编码系数矩阵,利用训练样本的编码系数矩阵和标记矩阵得到分类器参数;最后,对于测试图像,通过正交匹配追踪算法得到稀疏系数及其预测标签,通过比较重构出的测试集的标签与原测试集的标签,进行多类疾病图像的分类。本发明可以实现肠胃内窥镜不同病变图像的分类;能有效进行内窥镜疾病分类。
Description
技术领域
本发明涉及胃肠内窥镜图像的异常分类技术,特别涉及一种基于原子类标嵌入和profiles局部特征约束的字典学习方法,适用于胃肠镜图像异常检测。
背景技术
越来越多的人遭受胃肠疾病的困扰,内窥镜检查作为胃肠道研究的黄金标准,广泛应用于胃肠的早期检测和辅助治疗,有效降低病发率和死亡率。常规的手持式内镜是一种侵入性的诊断装置,难以准确获取整个胃肠道的情况。与传统的内窥镜检查技术相比,无线胶囊内窥镜作为新的无痛无创的技术,不仅可以完全进入小肠,而且降低了患者的不适感。病人将胶囊内窥镜从口腔吞入,通过胃肠蠕动,以无线方式拍摄彩色图像,平均持续时间约为8小时,然后将这些图像无线传输到连接患者腰部的数据记录设备,供临床医生检查图像并做出诊断。
尽管无线胶囊内镜是一项技术突破,但是经验丰富的临床医生对每个患者产生的大约5万张图像进行分析大约需要2小时。异常图像包括息肉、出血、溃疡等通常占比不到全部图像的5%。此外,异常图像的空间特征(例如形状,纹理,大小以及与周围环境的对比度)会发生变化,因此医生可能很难在所有情况下都可靠地检测出异常。因此,设计一个自动的计算机辅助***以协助临床医生对异常图像进行分类,减轻医生的负担,提高效率和准确率。
发明内容
大多数无线胶囊内镜异常检测方法仅考虑一种特定的异常,并且现有的多异常分类结果远不能令人满意,为了克服现有技术的无法有效分类的不足,本发明提出一种原子类标嵌入和profiles局部特征约束的字典学习方法,为胃肠镜图像异常进行分类,通过结合多类图像的字典学习、图像特征的稀疏表示和重构的误差对比,构建基于在多类字典下的线性分类器,可以有效实现胃肠内窥镜不同异常图像的分类。
为了解决上述技术问题提出的技术方案如下:
一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法,所述方法包括如下步骤:
步骤1:获取内窥镜图像集,由息肉、溃疡和正常图像组成;
步骤2:图像预处理:提取出整张内窥镜图像的组织区,无效区域生成掩模,剔除质量较低的图像;
步骤3:图像颜色特征提取:在HSI颜色空间下,通过颜色直方图的方法,提取图像的颜色特征;
步骤4:图像纹理特征提取:在HSI颜色空间下,采用尺度不变特征变换算子提取图像的纹理特征;
步骤5:图像特征融合:将图像的颜色和纹理特征进行融合并归一化;
步骤6:利用K-SVD算法初始化字典和编码系数矩阵,其模型表达式为:
其中Y=[Y1,…,YC]=[y1,y2,…,yn]∈Rm×n表示训练样本个数为n的训练数据集,m是训练样本的维数,C是训练样本的类别,Yi是一个由第i类训练样本组成的矩阵;D=[d1,d2,…,dK]T∈Rm×K表示字典,K是原子个数,di是字典D的第i个原子,X=[x1,x2,…xn]T∈RK×n是编码系数矩阵,xi=[x1i,x2i,…,xKi]T是第i个训练样本yi对应于字典D的编码系数,T0是稀疏因子,||x||0表示0范数,其值表示系数矢量x中的非零元素个数,||x||2表示2范数,其值表示系数矢量x中各个元素的平方和;求解出初始化字典D0=[D1,D2,…,DC]和初始化编码系数矩阵X0=[X1,X2,…,XC];
步骤7:根据步骤6所述,引入了原子类标嵌入项和Profiles的结构特征约束项,内窥镜图像分类的字典模型表达式:
7.1原子类标嵌入项模型构造:
针对第i类训练样本,利用K-SVD算法学习一个特定类字典Di,因此C类训练样本学习得到特定类字典D0=[D1,D2,…DC],字典D0包含C类原子;如果原子di∈Di,则原子di的类标定义为bi=[0,0,…,0,1,0,…,0]∈RC,bi中的第i个元素为1,其余均为零,因此字典D中的原子类标矩阵B定义为B=[b1,b2,…,bk]T∈Rk×C;字典的权重类标矩阵H定义为利用编码系数矩阵XT和原子权重类标矩阵H构造如下的类标嵌入项:
7.2Profiles的结构特征约束项模型构造:
字典学习中编码系数矩阵的每个行向量定义为一个profile,定义P=XT,则P=[p1,p2,…,pk]∈Rn×K,其中pi=[xi1,…,xin]T,原子di对应的profile为pi,为了提高编码系数的判别性能,构造了利用profiles的结构特征结合原子设计判别式,利用P矩阵构造一个近邻图M,每个pi表示一个顶点;近邻图M的权重矩阵W计算如下:
其中ε是参数,kNN(pi)表示pi的K近邻,wi,j是pi和pj的权重,反映了它们之间的相似性,为了更好地反映pi和pj之间的结构特征,构造了基于profiles特征的拉普拉斯图L如下:
设计了基于profiles特征的判别式如下:
步骤8:字典模型优化:
8.1字典D的求解更新:
假设目标函数中的编码系数矩阵X,拉普拉斯图L和矩阵U是常量,则公式(2)转换为公式(7)
利用拉格朗日函数进行求解,获得最优字典D:
D=YXT(XXT+βL+ηI) (8)
其中η是参数,I是单位矩阵;
8.2编码系数矩阵X的求解更新:
假设目标函数中字典D,拉普拉斯图L和矩阵U是常量,公式(2)转换为:
公式(10)直接求导得到最优的编码系数矩阵X:
X=(DTD+αU+γI)-1DTY (10)
其中γ是参数,一旦获得编码系数,根据公式(3)得到矩阵U,根据公式(5)得到拉普拉斯图L;
步骤9:构建线性分类器:首先,利用训练样本的编码系数矩阵X和标记矩阵H得到分类器参数Gx:
Gx=HXT(XXT+Ι)-1 (11)
相比于现有技术,本发明的有益效果表现在:
a.本发明提出了异常图像分类算法辅助医生进行肠胃异常诊断,有效缩短分析时间,减轻工作负担;
b.本发明采用了一种胃镜异常图像分类的字典学习算法,设计基于profiles结构特征的判别式,提高编码系数的判别性能;为字典中的每个原子分配一个类标,并利用原子类标构造判别式,提高字典的判别性;
c.本发明设计了胃镜异常图像字典学习分类优化方法,对目标函数采取交替约束直接求导的方法进行求解,不断更新目标函数直到算法收敛;利用训练样本的编码系数矩阵和标记矩阵得到线性分类器参数,对于一幅测试图像,通过正交匹配追踪算法,得到其稀疏表示系数向量与学习字典的关系,然后,利用线性分类器参数计算出预测标签向量,最后,测试样本的类别是预测标签向量中最大元素值所对应的索引;
d.本发明融合了颜色特征和纹理特征,根据临床医生的经验表明,颜色特征能有效区分胃肠镜异常图像,但在某些胃肠镜异常图像上区分度仍有局限。融合了纹理特征,能有效增强分类准确率;
e.本发明利用了一种适合胶囊内窥镜的图像预处理方法,其中包含了感兴趣区域提取、和低质量图像剔除,减少了无用信息造成的干扰。
附图说明
图1为本发明的字典学习***框架图;
图2是本发明的预处理效果图;
图3是本发明的多类字典学习及稀疏重构的详细算法流程图。
图4是本发明的分类思路使用融合特征与其他特征在不同字典大小下的准确率结果。
具体实施方式
下面结合附图对本发明做进一步说明。
参照图1~图4,一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法,所述方法包括如下步骤:
步骤1:获取内窥镜图像集,由三类不同的胃镜图像组成,分别是息肉、溃疡和正常图像,每类图像数量相同;
步骤2:从内窥镜中直接获取的图像,通常包含有许多无用信息,如仪器标志,时间和病人信息等。同时由于肠胃内部的存在许多干扰因素,如气泡、食物残渣或者拍摄原因造成许多低质量图像,因此多获取的胃镜图像进行预处理,提取出整张内窥镜图像的组织区,无效区域生成掩模,同时剔除掉一些低质量图像;
步骤3:图像颜色特征提取:在HSI颜色空间下,采用颜色直方图算法提取图像的颜色特征,分别对色相、饱和度、明度三个通道的值进行量化,然后进行统计形成颜色直方图作为图像的颜色特征;
步骤4:图像纹理特征提取:在HSI颜色空间下,采用尺度不变特征变换算子在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变量信息,用一组向量描述出来,提取图像的纹理特征;
步骤5:单一的特征往往不能很好地表现出图像的特点,颜色和纹理特征相互融合补充更具有判别性,由于不同的特征计算方法不同,生成的数据维度或高或低,因此通过归一化来消除这些差异,提高数据的表现;融合后的新特征,其矩阵行数表示特征维数,列数表示图像数量,即每列向量表示每张图像的特征;
步骤6:利用K-SVD算法初始化字典和编码系数矩阵,其模型表达式为:
其中Y=[y1,y2,…,yn]∈Rm×n表示训练样本个数为n的训练数据集,m是训练样本的维数,D=[d1,d2,…,dK]T∈Rm×K表示字典,K是原子个数,di是字典D的第i个原子,X=[x1,x2,…xn]T∈RK×n是编码系数矩阵,xi=[x1i,x2i,…,xKi]T是第i个训练样本yi对应于字典D的编码系数,T0是稀疏因子,||x||0表示0范数,其值表示系数矢量x中的非零元素个数,||x||2表示2范数,其值表示系数矢量x中各个元素的平方和;求解出初始化字典D0=[D1,D2,…,DC]和初始化编码系数矩阵X0=[X1,X2,…,XC];
步骤7:根据步骤6所述,引入了原子类标嵌入项和Profiles的结构特征约束项,内窥镜图像分类的字典模型表达式:
7.1原子类标嵌入项模型构造:
针对第i类训练样本,利用K-SVD算法学习一个特定类字典Di,因此C类训练样本学习得到特定类字典D0=[D1,D2,…DC],字典D0包含C类原子;如果原子di∈Di,则原子di的类标定义为bi=[0,0,…,0,1,0,…,0]∈RC,bi中的第i个元素为1,其余均为零,因此字典D中的原子类标矩阵B定义为B=[b1,b2,…,bk]T∈Rk×C;字典的权重类标矩阵H定义为利用编码系数矩阵XT和原子权重类标矩阵H构造如下的类标嵌入项:
7.2Profiles的结构特征约束项模型构造:
字典学习中编码系数矩阵的每个行向量定义为一个profile,定义P=XT,则P=[p1,p2,…,pk]∈Rn×K,其中pi=[xi1,…,xin]T,原子di对应的profile为pi,为了提高编码系数的判别性能,构造了利用profiles的结构特征结合原子设计判别式,利用P矩阵构造一个近邻图M,每个pi表示一个顶点;近邻图M的权重矩阵W计算如下:
其中ε是参数,kNN(pi)表示pi的K近邻,wi,j是pi和pj的权重,反映了它们之间的相似性,为了更好地反映pi和pj之间的结构特征,构造了基于profiles特征的拉普拉斯图L如下:
设计了基于profiles特征的判别式如下:
步骤8:字典模型优化:
8.1字典D的求解更新:
假设目标函数中的编码系数矩阵X,拉普拉斯图L和矩阵U是常量,则公式(2)转换为公式(7)
利用拉格朗日函数进行求解,获得最优字典D:
D=YXT(XXT+βL+ηI) (19)
其中η是参数,I是单位矩阵;
8.2编码系数矩阵X的求解更新:
假设目标函数中字典D,拉普拉斯图L和矩阵U是常量,公式(2)转换为:
公式(10)直接求导得到最优的编码系数矩阵X:
X=(DTD+αU+γI)-1DTY (21)
其中γ是参数,一旦获得编码系数,根据公式(3)得到矩阵U,根据公式(5)得到拉普拉斯图L;
步骤9:构建线性分类器:首先,利用训练样本的编码系数矩阵X和标记矩阵H得到分类器参数Gx:
Gx=HXT(XXT+Ι)-1 (22)
预处理的效果图如图2所示,对于在肠胃镜检查中直接获取的胃镜图像,大致包含两大块区域:背景区域和组织区。背景区常带有患者信息,仪器信息,时间等,而组织区上也有很多干扰因素,如气泡、食物残渣或摄像头拍摄造成的暗区和光斑。首先,原图在转化为灰度图像后,寻找最大连通区域来确定组织区,再根据边界点从原图中切割出彩色的组织区。图(a)是一张处于胃部的原始胃镜图像;图(b)是提取的组织区;可见本发明的预处理方法可有效提取组织区,降低干扰因素对特征提取的干扰。
如图3所示,为字典学习的详细算法流程图。随机选取80%图像作训练集,剩下20%图像用作测试集验证,先初始化得到字典D0和编码系数矩阵X0,再利用训练样本的类标矩阵构造字典的类标矩阵B,计算出原子权重类标矩阵H及其扩展类标矩阵U,利用profiles矩阵P0计算初始化的拉普拉斯图矩阵L0,经过多次迭代,输出最后的字典D和编码系数矩阵X,通过线性分类器计算出测试图像分类的正确率。
为验证本发明的有效性,通过仿真进行说明:
胃镜数据集由三类不同的胃镜部位组成,包括胃息肉、胃溃疡和正常胃部图像,每个部位的图像数量相同,各有250张,总共750张。其中,每类图像随机抽取200张作为测试图像,其余50张作为训练图像。实验结果以准确率作为评判标准。
实验1,通过本发明提出的分类方法对胃镜图像进行分类。实验中字典训练时,为选择合适参数,先随机的利用训练样本和测试样本进行字典学***均值,如表1所示,是本发明的内窥镜图像分类方法在字典学***均准确率;
类别 | 息肉 | 溃疡 | 正常 | 综合 |
准确率 | 0.926 | 0.901 | 0.943 | 0.923 |
表1
以本发明提出的分类方法,每类图像的平均精确率均可达到90%以上,同时计算时间迅速,证明了本发明的有效性和可靠性。
实验2,对单一的颜色特征或纹理特征,与本发明提出的融合特征进行比较。实验中字典的原子数为200。如表2所示,是本发明的内窥镜图像分类方法与其它特征分类结果比较,计算了平均精准率;
特征 | CH | SIFT | CH+SIFT |
平均准确率 | 0.907 | 0.861 | 0.923 |
表2
本发明提出的融合特征相比单一特征,在分类准确率方面获得较好结果。
本发明在进行实验验证时,需要考虑以下因素:
1)测试图像在分配时,从每类样本中随机选取一定数量样本作为训练样本集合,剩余作为测试样本,避免训练样本数目过少,导致训练出现偏差,要进行多次实验取得平均值,目的是为了得到一个更稳定的结果;
2)训练样本的个数要远远大于总体类别数,保证训练样本的高度相关性;
3)在训练字典的过程中,需要考虑字典大小对结果的影响。
因此,本发明还进行了对字典大小的讨论,实验3的对象与实验2相同,对三种选取的特征进行测试,分别得到不同字典大小下准确率的比较结果。如图4所示,不同的特征下,字典大小对结果的影响各有不同。但对于本发明选取的融合特征,在字典较小的时候也可以获得更高的准确率。同时,相比于较大的字典,可以减轻复杂度和减少训练时间。
另外,图4也进一步地反映出,在各个字典列数下,本发明提出的融合特征均可以获得更高的准确率。
Claims (1)
1.一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法,其特征在于,所述方法包括如下步骤:
步骤1:获取内窥镜图像集,由息肉、溃疡和正常图像组成;
步骤2:图像预处理:提取出整张内窥镜图像的组织区,无效区域生成掩模,剔除质量较低的图像;
步骤3:图像颜色特征提取:在HSI颜色空间下,通过颜色直方图的方法,提取图像的颜色特征;
步骤4:图像纹理特征提取:在HSI颜色空间下,采用尺度不变特征变换算子提取图像的纹理特征;
步骤5:图像特征融合:将图像的颜色和纹理特征进行融合并归一化;
步骤6:利用K-SVD算法初始化字典和编码系数矩阵,其模型表达式为:
其中Y=[Y1,…,YC]=[y1,y2,…,yn]∈Rm×n表示训练样本个数为n的训练数据集,m是训练样本的维数,C是训练样本的类别,Yi是一个由第i类训练样本组成的矩阵;D=[d1,d2,…,dK]T∈Rm×K表示字典,K是原子个数,di是字典D的第i个原子,X=[x1,x2,…xn]T∈RK×n是编码系数矩阵,xi=[x1i,x2i,…,xKi]T是第i个训练样本yi对应于字典D的编码系数,T0是稀疏因子,||x||0表示0范数,其值表示系数矢量x中的非零元素个数,||x||2表示2范数,其值表示系数矢量x中各个元素的平方和;求解出初始化字典D0=[D1,D2,…,DC]和初始化编码系数矩阵X0=[X1,X2,…,XC];
步骤7:根据步骤6所述,引入了原子类标嵌入项和Profiles的结构特征约束项,内窥镜图像分类的字典模型表达式:
7.1原子类标嵌入项模型构造:
针对第i类训练样本,利用K-SVD算法学习一个特定类字典Di,因此C类训练样本学习得到特定类字典D0=[D1,D2,…DC],字典D0包含C类原子;如果原子di∈Di,则原子di的类标定义为bi=[0,0,…,0,1,0,…,0]∈RC,bi中的第i个元素为1,其余均为零,因此字典D中的原子类标矩阵B定义为B=[b1,b2,…,bk]T∈Rk×C;字典的权重类标矩阵H定义为利用编码系数矩阵XT和原子权重类标矩阵H构造如下的类标嵌入项:
7.2Profiles的结构特征约束项模型构造:
字典学习中编码系数矩阵的每个行向量定义为一个profile,定义P=XT,则P=[p1,p2,…,pk]∈Rn×K,其中pi=[xi1,…,xin]T,原子di对应的profile为pi,为了提高编码系数的判别性能,构造了利用profiles的结构特征结合原子设计判别式,利用P矩阵构造一个近邻图M,每个pi表示一个顶点;近邻图M的权重矩阵W计算如下:
其中ε是参数,kNN(pi)表示pi的K近邻,wi,j是pi和pj的权重,反映了它们之间的相似性,为了更好地反映pi和pj之间的结构特征,构造了基于profiles特征的拉普拉斯图L如下:
设计了基于profiles特征的判别式如下:
步骤8:字典模型优化:
8.1字典D的求解更新:
假设目标函数中的编码系数矩阵X,拉普拉斯图L和矩阵U是常量,则公式(2)转换为公式(7)
利用拉格朗日函数进行求解,获得最优字典D:
D=YXT(XXT+βL+ηI) (8)
其中η是参数,I是单位矩阵;
8.2编码系数矩阵X的求解更新:
假设目标函数中字典D,拉普拉斯图L和矩阵U是常量,公式(2)转换为:
公式(10)直接求导得到最优的编码系数矩阵X:
X=(DTD+αU+γI)-1DTY (10)
其中γ是参数,一旦获得编码系数,根据公式(3)得到矩阵U,根据公式(5)得到拉普拉斯图L;
步骤9:构建线性分类器:首先,利用训练样本的编码系数矩阵X和标记矩阵H得到分类器参数Gx:
Gx=HXT(XXT+Ι)-1 (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010316171.0A CN111667453A (zh) | 2020-04-21 | 2020-04-21 | 一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010316171.0A CN111667453A (zh) | 2020-04-21 | 2020-04-21 | 一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111667453A true CN111667453A (zh) | 2020-09-15 |
Family
ID=72382669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010316171.0A Pending CN111667453A (zh) | 2020-04-21 | 2020-04-21 | 一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111667453A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112487231A (zh) * | 2020-12-17 | 2021-03-12 | 中国矿业大学(北京) | 一种基于双图正则化约束和字典学习的图像自动标注方法 |
CN112541470A (zh) * | 2020-12-22 | 2021-03-23 | 杭州趣链科技有限公司 | 基于超图的人脸活体检测方法、装置及相关设备 |
CN113793319A (zh) * | 2021-09-13 | 2021-12-14 | 浙江理工大学 | 基于类别约束字典学习模型的织物图像瑕疵检测方法及*** |
CN113870240A (zh) * | 2021-10-12 | 2021-12-31 | 大连理工大学 | 一种基于图像显著性检测的安全阀阀门空化现象判别方法 |
CN113989284A (zh) * | 2021-12-29 | 2022-01-28 | 广州思德医疗科技有限公司 | 一种幽门螺杆菌辅助检测***及检测装置 |
CN114428873A (zh) * | 2022-04-07 | 2022-05-03 | 源利腾达(西安)科技有限公司 | 一种胸外科检查数据整理方法 |
CN116226778A (zh) * | 2023-05-09 | 2023-06-06 | 水利部珠江水利委员会珠江水利综合技术中心 | 基于三维分析平台的挡土墙结构异常分析方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104166860A (zh) * | 2014-07-25 | 2014-11-26 | 哈尔滨工业大学深圳研究生院 | 基于约束的面向单个测试样本的人脸识别方法 |
CN109376802A (zh) * | 2018-12-12 | 2019-02-22 | 浙江工业大学 | 一种基于字典学习的胃镜器官分类方法 |
CN110648276A (zh) * | 2019-09-25 | 2020-01-03 | 重庆大学 | 基于流形映射与字典学习的高维图像数据降维方法 |
-
2020
- 2020-04-21 CN CN202010316171.0A patent/CN111667453A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104166860A (zh) * | 2014-07-25 | 2014-11-26 | 哈尔滨工业大学深圳研究生院 | 基于约束的面向单个测试样本的人脸识别方法 |
CN109376802A (zh) * | 2018-12-12 | 2019-02-22 | 浙江工业大学 | 一种基于字典学习的胃镜器官分类方法 |
CN110648276A (zh) * | 2019-09-25 | 2020-01-03 | 重庆大学 | 基于流形映射与字典学习的高维图像数据降维方法 |
Non-Patent Citations (1)
Title |
---|
李争名: "基于鲁棒判别式约束的字典学习算法研究", 《中国优秀博士学位论文全文数据库信息科技辑》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112487231A (zh) * | 2020-12-17 | 2021-03-12 | 中国矿业大学(北京) | 一种基于双图正则化约束和字典学习的图像自动标注方法 |
CN112541470A (zh) * | 2020-12-22 | 2021-03-23 | 杭州趣链科技有限公司 | 基于超图的人脸活体检测方法、装置及相关设备 |
CN113793319A (zh) * | 2021-09-13 | 2021-12-14 | 浙江理工大学 | 基于类别约束字典学习模型的织物图像瑕疵检测方法及*** |
CN113793319B (zh) * | 2021-09-13 | 2023-08-25 | 浙江理工大学 | 基于类别约束字典学习模型的织物图像瑕疵检测方法及*** |
CN113870240A (zh) * | 2021-10-12 | 2021-12-31 | 大连理工大学 | 一种基于图像显著性检测的安全阀阀门空化现象判别方法 |
CN113870240B (zh) * | 2021-10-12 | 2024-04-16 | 大连理工大学 | 一种基于图像显著性检测的安全阀阀门空化现象判别方法 |
CN113989284A (zh) * | 2021-12-29 | 2022-01-28 | 广州思德医疗科技有限公司 | 一种幽门螺杆菌辅助检测***及检测装置 |
CN114428873A (zh) * | 2022-04-07 | 2022-05-03 | 源利腾达(西安)科技有限公司 | 一种胸外科检查数据整理方法 |
CN114428873B (zh) * | 2022-04-07 | 2022-06-28 | 源利腾达(西安)科技有限公司 | 一种胸外科检查数据整理方法 |
CN116226778A (zh) * | 2023-05-09 | 2023-06-06 | 水利部珠江水利委员会珠江水利综合技术中心 | 基于三维分析平台的挡土墙结构异常分析方法及*** |
CN116226778B (zh) * | 2023-05-09 | 2023-07-07 | 水利部珠江水利委员会珠江水利综合技术中心 | 基于三维分析平台的挡土墙结构异常分析方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111667453A (zh) | 一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法 | |
CN106934799B (zh) | 胶囊内窥镜图像辅助阅片***及方法 | |
Yu et al. | A deep convolutional neural network-based framework for automatic fetal facial standard plane recognition | |
EP3046478B1 (en) | Image analysis techniques for diagnosing diseases | |
CN109544526B (zh) | 一种慢性萎缩性胃炎图像识别***、装置和方法 | |
CN113379693B (zh) | 基于视频摘要技术的胶囊内镜关键病灶图像检测方法 | |
JP2022502150A (ja) | 胃内視鏡イメージのディープラーニングを利用して胃病変を診断する装置及び方法 | |
Ye et al. | Online tracking and retargeting with applications to optical biopsy in gastrointestinal endoscopic examinations | |
CN109635871B (zh) | 一种基于多特征融合的胶囊内窥镜图像分类方法 | |
CN107851194A (zh) | 用于脑肿瘤分类的视觉表示学习 | |
JP7333132B1 (ja) | マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム | |
WO2023207820A1 (zh) | 基于有监督深度子空间学习的胰腺术后糖尿病预测*** | |
CN115019405A (zh) | 一种基于多模态融合的肿瘤分类方法及*** | |
CN105069131A (zh) | 基于视觉词汇和局部描述符的胶囊内镜图像检索方法 | |
Shariaty et al. | Radiomics: extracting more features using endoscopic imaging | |
CN109376802B (zh) | 一种基于字典学习的胃镜器官分类方法 | |
Zimmer et al. | Learning and combining image neighborhoods using random forests for neonatal brain disease classification | |
Van Der Sommen et al. | Computer-aided detection of early cancer in the esophagus using HD endoscopy images | |
Sadeghi et al. | A Novel Sep-Unet architecture of convolutional neural networks to improve dermoscopic image segmentation by training parameters reduction | |
CN110334582B (zh) | 智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法 | |
Sharmila Joseph et al. | Multiclass gastrointestinal diseases classification based on hybrid features and duo feature selection | |
Shen et al. | Locality-constrained dictionary learning classification method of wce images | |
Fathima et al. | Deep Learning and Machine Learning Approaches for Brain Tumor Detection and Classification | |
Obukhova et al. | Methods of endoscopic images enhancement and analysis in CDSS | |
Yasarla et al. | Learning to segment brain anatomy from 2d ultrasound with less data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200915 |
|
RJ01 | Rejection of invention patent application after publication |