CN113177548B - 一种针对免疫固定电泳的重点区域识别方法 - Google Patents
一种针对免疫固定电泳的重点区域识别方法 Download PDFInfo
- Publication number
- CN113177548B CN113177548B CN202110503122.2A CN202110503122A CN113177548B CN 113177548 B CN113177548 B CN 113177548B CN 202110503122 A CN202110503122 A CN 202110503122A CN 113177548 B CN113177548 B CN 113177548B
- Authority
- CN
- China
- Prior art keywords
- neural network
- electrophoretic
- image
- identified
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001962 electrophoresis Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims abstract description 62
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 claims description 20
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 19
- 201000010099 disease Diseases 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000007480 spreading Effects 0.000 claims description 4
- 238000003892 spreading Methods 0.000 claims description 4
- 230000036541 health Effects 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000012800 visualization Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 3
- 108060003951 Immunoglobulin Proteins 0.000 description 2
- 101710085938 Matrix protein Proteins 0.000 description 2
- 101710127721 Membrane protein Proteins 0.000 description 2
- 208000034578 Multiple myelomas Diseases 0.000 description 2
- 206010035226 Plasma cell myeloma Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004043 dyeing Methods 0.000 description 2
- 102000018358 immunoglobulin Human genes 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000984 immunochemical effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000004180 plasmocyte Anatomy 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000002062 proliferating effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种针对免疫固定电泳的重点区域识别方法,属于医疗技术与深度学习领域技术领域,解决现有技术中可视化效果较粗糙,无法进行精确定位,且定位方法无法人为干预的问题。本发明依次包括:1)免疫固定电泳图像集的收集;2)将各电泳图像分割为多条电泳带;3)将各个电泳带分割为多个子条带;4)各条电泳带间进行相似度对比;5)设计神经网络的注意力模块;6)训练卷积神经网络;7)计算待识别的电泳图像相似度矩阵的显著图;8)计算待识别的电泳图像的显著图;9)可视化显示重点区域。本发明用于可视化显示电泳图像的关键区域。
Description
技术领域
一种针对免疫固定电泳的重点区域识别方法,用于可视化显示电泳图像的关键区域,属于医疗技术与深度学习领域技术领域。
背景技术
在骨髓浆细胞恶性增殖疾病中,多发性骨髓瘤是较为常见的情况。该类型疾病通常会伴随着在患者体内产生大量的单克隆免疫球蛋白(Monoclonal Protein),后续简称M蛋白。免疫固定电泳(Immunofixation El ectrophoresis,IFE)是一种基于电泳和沉淀反应的免疫化学分析技术,目前已经在临床上被广泛使用,用于检测免疫球蛋白的含量,同时该技术还能检验其具体的型别。一般而言,共可检测出8类多发性骨髓瘤病例,分别是lgG-KAP、IgG-LAM、IgA-KAP、IgA-LAM、IgM-KAP、IgM-LAM、KAP和LAM。如图1展示了8类疾病对应的免疫固定电泳图像。a)图为IgG-KAP类型,可观察到G电泳带与KAP电泳带同时出现了密集条带;b)图为IgG-LAM类型,可观察到G电泳带与LAM电泳带同时出现了密集条带;c)图为IgA-KAP类型,可观察到A电泳带与KAP电泳带同时出现了密集条带;d)图为IgA-LAM类型,可观察到A电泳带与LAM电泳带同时出现了密集条带;e)图为IgM-KAP类型,可观察到M电泳带与KAP电泳带同时出现了密集条带;f)图为IgM-LAM类型,可观察到M电泳带与LAM电泳带同时出现了密集条带;g)图为KAP类型,可观察到密集条带出现在KAP电泳带;h)图为LAM类型,可观察到密集条带出现在LAM电泳带。
由于仅有少数医师具备专业的识别能力,大量的检测数量导致无法及时有效地获取精确的信息反馈。近些年来,出现了较多计算机辅助技术用于快速获取精确的信息反馈,但通常需要高精度以确保准确性,以及合理的推测理由帮助医师快速定位疾病成因。传统的机器学习方法虽然具备一定的准确率,但是不具备应对各类复杂图像的情况,如噪声干扰与染色严重等,且需要专业人员手动观察图像样本,设计图像特征。基于目标检测的深度学习方法能够达到相对较高的准确率,并提供关键位置的区域,但该方法需要大量的重点区域标记过的样本用于模型训练,在人力、物力、时间上耗费巨大。
基于Grad-CAM可视化技术,能够显示卷积神经网络的重点关注区域,已经在大量研究中被用于评估模型效果,可在电泳图像中直观显示模型的判断依据。该方法避免了基于目标检测的方法所需要的高昂的标记代价,仅需要电泳图像的疾病类型,同时使模型具备高精度与可解释性的特点。但该技术存在的缺点是可视化效果较粗糙,无法进行精确定位,且定位方法无法人为干预。
发明内容
针对上述研究的问题,本发明的目的在于提供一种针对免疫固定电泳的重点区域识别方法,解决现有技术中可视化效果较粗糙,无法进行精确定位,且定位方法无法人为干预的问题。
为了达到上述目的,本发明采用如下技术方案:
一种针对免疫固定电泳的重点区域识别方法,包括:
步骤1:获取已被标记为8类疾病样本或健康样本的免疫固定电泳图像集,其中,免疫固定电泳图像集包括健康的电泳图像和带疾病的电泳图像,各电泳图像为RGB格式;
步骤2:将免疫固定电泳图像集中的各电泳图像进行分割,得到G、A、M、KAP、LAM对应的电泳带,并将分割后的电泳带缩放到统一尺度;
步骤3:将缩后的各电泳带进行横向切割,获得多个子条带,并将各子条带在整个维度上展开成一维向量,获得各子条带向量;
步骤4:将各电泳图像中的两两电泳带的子条带互相关联,并基于相关联后的子条带得到相似度矩阵;
步骤5:将相似度矩阵输入具有注意力模块的卷积神经网络,并将免疫固定电泳图像集中8类疾病或健康的标记作为监督信息使用梯度下降的策略训练神经网络,得到训练后的卷积神经网络;
步骤6:将待识别的电泳图像处理后得到待识别的相似度矩阵,再将待识别的相似度矩阵输入训练后的卷积神经网络,得到显著图As,其中,显著图As的整个区域代表了卷积神经网络在相似度矩阵上的重点关注区域;
步骤7:将显著图As反向映射到待识别的电泳图像上,获得卷积神经网络在待识别的电泳图像上的显著图Ap,其中,显著图Ap与待识别的电泳图像的长宽一致;
步骤8:将显著图Ap覆盖在待识别的电泳图像上,得到待识别的电泳图像的重点区域。
进一步,所述步骤3的具体步骤为:
将高为h、宽为w的各电泳带以宽度t沿高度方向进行切割,得到获得h/t个子条带;
将各子条带在整个维度上展开成一维向量,即将各子条带在3通道上展开,获得长度为3wt的各子条带向量,其中,3通道是指R通道、G通道和B通道。
进一步,所述步骤4的具体步骤为:
将各电泳图像中的两两电泳带的所有子条带向量进行欧式距离或余弦距离的相似度计算,计算后,获得元素个数为h2/t2的10个矩阵;
对10个矩阵在新的维度上堆叠在一起,获得元素个数为10h2/t2的相似度矩阵S,其中,矩阵的形状是(h/t,h/t),10个合并后是(10,h/t,h/t)。
进一步,所述步骤5中卷积神经网络基础结构采用ResNet18,注意力模块采用桥接方式连接加入在卷积神经网络的每层中,注意力模块具体为:
由于电泳带密集区域通常出现在水平相近的区域,对应相似度矩阵S的对角线区域,注意力模块为基于高斯函数的矩阵M,矩阵M对角线上的值为高斯函数均值μ对应的值,并向另外两对角逐渐递减到最小为3σ对应的值,均值μ与标准差σ一起作为卷积神经网络训练的参数,矩阵M上位置(i,j)上的值具体公式为:
其中,F为卷积神经网络的中间特征图,C为中间特征图F的通道维度,W×H为中间特征图的空间维度,W表示中间特征图的横向空间,H表示中间特征图的纵向空间,μ0、σ0为常数,分别表示初始高斯函数均值和标准差,分别采用0和1的取值,μ0、σ0是固定的常数,而μ与σ是卷积神经网络中影响矩阵M的参数,随卷积神经网络的训练不停地更新,M(i,j)表示矩阵M的i行j列的值,Xij表示i行j列与对角线在高斯函数上的横坐标距离。
进一步,所述步骤6的具体步骤为:
待识别的电泳图像处理后得到待识别的相似度矩阵,再将待识别的相似度矩阵输入训练后的卷积神经网络,得到神经网络的中间特征图F和神经网络的预测输出Y;
基于预测输出Y对中间特征图F求偏导,得到该偏导的值记为该中间特征图F的权重k;
将中间特征图F与对应的权重k相乘并缩放尺寸后,获得待识别的相似度矩阵S的显著图As,其中,显著图As的尺度与相似度矩阵S一致,显著图As展示了卷积神经网络在相似度矩阵S上的重点关注区域;权重k和显著图As的具体公式如下:
其中,l表示中间特征图的第l个通道维度,C表示中间特征图的通道维度,Scale表示缩放尺寸。进一步,所述步骤7的具体步骤为:
显著图As上的每个值代表了两个水平线的对应关系强烈程度,将显著图As上的值赋予对应的待识别的电泳图像的水平位置,获得与待识别的电泳图像P相同空间尺度的显著图Ap,具体公式如下:
进一步,所述步骤8的具体实现为:
将显著图Ap的值从小到大对应蓝色至红色的渐变,并将值对应的颜色以半透明的形式覆盖在电泳图像上,可以得到表现为红色的重点区域;或
设定阈值,将显著图Ap中大于设定阈值的区域作为重点区域,并将重点区域的位置通过框图或半透明覆盖显示在待识别的电泳图像上,得到可直观显示卷积神经网络重点关注区域的输出图像,显著图Ap中小于等于设定阈值的区域,则不作为重点区域。
本发明同现有技术相比,其有益效果表现在:
在卷积神经网络添加注意力模块设计,能够使模型根据模块特性具备定向的图像识别能力,通常能够使模型更加有效地鉴别特定目标或图像特征,最终使模型获得更高地准确率,具体为:
1.本发明在对电泳图像依次进行分割和切割,并对切割后的两两电泳带进行相似度计算,充分适应了疾病图像通常是两条电泳带关联紧密的特性,即疾病通常在两条电泳带上的相近水平位置出现密集区域的现象,关联后再直接对电泳间的关联性以计算相似度的形式进行建模,建模后,将图像信息转换为子条带之间的相似度信息,即相似度矩阵S,相似度矩阵S通过相似度的方式保留了图像数据的关键信息,如边缘渐变、染色深浅等,使最终模型(训练后的卷积神经网络)能够保证较高的准确率,即模型根据相似度信息不仅具备定向的图像识别能力,也能更加有效地鉴别特定目标或图像特征;
2.本发明在采用基于Grad-CAM的回溯方式,即将待识别的电泳图像处理后得到显著图As;将显著图As反向映射到待识别的电泳图像上,获得显著图Ap,该技术无需大量的重点区域标记信息,仅需要整幅电泳图像的疾病标签信息,节省了约90%的工作量与工作时间;与传统的技术在图像上进行Grad-CAM方法相比,本发明首先对相似度矩阵进行Grad-CAM获得显著图As,然后进行反向映射,得到Ap,该方式能够更加精确的定位重点区域,获得更为合理与直观的结果回溯;
3.本发明采用人工设计的注意力模块,注意力模块的设计基于人类的推理认知,即电泳带密集区域通常出现在水平相近的区域,使注意力模块能够按照符合人类推理的思路进行模型训练,该方式可以使模型最终的可视化效果更加利用得到所需要的信息反馈。
附图说明
图1背景技术中所述的免疫固定电泳示例图,包括8类疾病图像。
图2为本发明中卷积神经网络的输出效果图,其中,淡色横线区域为卷积神经网络重点关注区域。
图3为本发明中电泳图像的切割与相似度计算的简单示意图。
图4为本发明中卷积神经网络的基本模块与注意力模块的***位置示意图。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
本发明实施提出了一种针对免疫固定电泳的重点区域识别方法,快速识别重点区域,可视化地显示重点关注区域。
本发明主要流程包括:1)免疫固定电泳图像集收集;2)电泳图像分割为多条电泳带;3)将各个电泳带分割为多个子条带;4)将各条电泳带间进行相似度对比;5)设计卷积神经网络的注意力模块;6)训练卷积神经网络;7)计算待识别的电泳图像的相似度矩阵的显著图;8)计算待识别的电泳图像的显著图;9)可视化显示重点区域,具体实现步骤如下:
一、免疫固定电泳图像集收集
获取已被标记为8类疾病样本或健康样本的免疫固定电泳图像集,免疫固定电泳图像集包括3000张健康的电泳图像和总计1400张的带疾病的电泳图像,当然,根据不同的图像质量,图像数量还可为其它数量量级,以保证卷积神经网络在预测阶段具备一定的准确率;
二、电泳图像分割为多条电泳带
对免疫固定电泳图像集中的电泳图像进行分割,得到G、A、M、KAP、LAM对应的电泳带,并将分割后的电泳带缩放到统一尺度,记为高h、宽w;在该过程中,可计算整幅图像在竖直方向上的像素均值,并设定预期的像素值模板,采用Dynamic time warping(DTW)的方法对图像像素与模板像素进行对比,确定电泳带的切割点;
三、各个电泳带分割为多个子条带
每条电泳带以宽度t沿高度方向进行切割,对于高h的电泳带,可获得h/t个子条带,将子条带在整个维度上进行展开成一维向量,获得长度为3wt(电泳图像为RGB格式,在通道上展开需要乘以3)的子条带向量;
四、各条电泳带间进行相似度对比
将两两电泳带的所有子条带互相关联,
将各电泳图像中的两两电泳带的所有子条带向量进行欧式距离或余弦距离的相似度计算,计算后,获得元素个数为h2/t2的10个矩阵;
对10个矩阵在新的维度上堆叠在一起,获得元素个数为10h2/t2的相似度矩阵S,其中,矩阵的形状是(h/t,h/t),10个合并后是(10,h/t,h/t);
由于电泳带密集区域问存在强相关性,该相似度矩阵采用了对子条带间的关系直接建模,将电泳带区域之间的相关性作为矩阵的值,同时相似度矩阵中间接存储了图像特征,能使卷积神经网络直接关注电泳带的相关性,并保持对其他有益信息的关注,达到更有效的训练过程。
五、设计卷积神经网络的注意力模块
对卷积神经网络设计注意力模块,该过程直接引入人类推理认知,即密集区域出现在相近的水平区域,人工引导神经网络的训练过程,使模型的可视化输出更符合医生推理过程;具体过程为,
由于电泳带密集区域通常出现在水平相近的区域,对应相似度矩阵S的对角线区域,注意力模块为基于高斯函数的矩阵M,矩阵M对角线上的值为高斯函数均值μ对应的值,并向另外两对角逐渐递减到最小为3σ对应的值,均值μ与标准差σ一起作为卷积神经网络训练的参数,矩阵M上位置(i,j)上的值具体公式为:
其中,F为卷积神经网络的中间特征图,C为中间特征图F的通道维度,W×H为中间特征图的空间维度,W表示中间特征图的横向空间,H表示中间特征图的纵向空间,μ0、σ0为常数,分别表示初始高斯函数均值和标准差,可分别采用0和1的取值,注意区分μ0、σ0是固定的常数,而μ与σ是卷积神经网络中影响矩阵M的参数,随卷积神经网络的训练不停地更新,M(i,j)表示矩阵M的i行j列的值,Xij表示i行j列与对角线在高斯函数上的横坐标距离。
其中,注意力模块指卷积神经网络中添加的辅助模块,该模块可帮助卷积神经网络对图像的重点区域识别效果更高;本发明中的注意力模块针对电泳图像特性,引入了现有知识,即重点区域在水平方向上接近,该注意力模块强调了相似度矩阵上的对角线区域,该区域对应了图像样本上的所有同一水平区域的子条带。
六、训练卷积神经网络
将相似度矩阵S批量输入卷积神经网络,将标签(即免疫固定电泳图像集中的8类疾病样本或健康样本标记)作为监督信息,采用交叉熵计算模型损失,使用梯度下降的策略训练卷积神经网络,在多次迭代过程后,获得具备疾病预测能力的卷积神经网络;本发明采用ResNet18作为基础框架(为现有的),该模型采用残差结构优化模型,在图像处理领域该网络结构已经被证明具备有效的图像识别能力,且该模型可方便应用在Grad-CAM方法,其中本步骤中的训练方式为现有的。
七、计算相似度矩阵的显著图As
将任意免疫固定电泳图像P(待识别的电泳图像)经过上述步骤处理得到待识别的相似度矩阵并输入卷积神经网络,得到卷积神经网络的中间特征图F和卷积神经网络的预测输出Y,其中,C为特征图的通道维度,W×H为中间特征图的空间维度;将预测输出Y对中间特征图F求偏导,得到的该偏导的值记为该中间特征图F的权重k;将中间特征图与对应的权重k相乘并缩放尺寸后,获得关于相似度矩阵S的显著图As,其中,显著图As的尺度与相似度矩阵S一致,显著图As展示了卷积神经网络在相似度矩阵S上的重点关注区域,由于卷积神经网络的中间特征图较多,本发明采用加权平均的方式确定最终的显著图As,对于卷积神经网络每一层中间特征图,都计算一次对应的显著图,再对所有的显著图进行加权平均得到最后的显著图As,显著图As中高关注度区域的权值大,低关注度的区域权值小;具体公式如下:
其中,l表示中间特征图的第l个通道维度,C表示中间特征图的通道维度总数,Scale表示缩放尺寸。
八、计算电泳图像的显著图Ap
将显著图As反向映射到图像上,获得卷积神经网络在电泳图像P上的显著图Ap;由于Grad-CAM获得的显著图As代表了模型在空间区域上的关注度,无法具体观测出模型关注哪一对电泳带,例如对于相似度矩阵S,坐标位置(z,x,y)表示在第z对电泳带上,第一个电泳带的第x个子条带与第二个电泳带的第y个子条带的相互关系,则显著图As上(x,y)的位置代表了x和y处的两个子条带水平线上的对应关系(如图3所示),将显著图As上的值赋予对应的水平位置,获得与电泳图像P相同空间尺度的显著图Ap,具体公式如下:
九、可视化显示重点区域
将显著图Ap的值从小到大对应蓝色至红色的渐变,并将值对应的颜色以半透明的形式覆盖在电泳图像上,可以得到表现为红色的重点区域;或
将显著图Ap大于设定阈值的区域与待识别的电泳图像合并(目的是将较大的区域作为重点区域),得到可直观显示卷积神经网络重点关注区域的输出图像。最终的输出图像将显示出卷积神经网络在水平方向上重点关注的区域,该区域对应了待识别的电泳图像的密集区域,配合卷积神经网络的预测类型,可有效应用在医学辅助过程中。
以上仅是本发明众多具体应用范围中的代表性实施例,对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案,均落在本发明权利保护范围之内。
Claims (7)
1.一种针对免疫固定电泳的重点区域识别方法,其特征在于,包括:
步骤1:获取已被标记为8类疾病样本或健康样本的免疫固定电泳图像集,其中,免疫固定电泳图像集包括健康的电泳图像和带疾病的电泳图像,各电泳图像为RGB格式;
步骤2:将免疫固定电泳图像集中的各电泳图像进行分割,得到G、A、M、KAP、LAM对应的电泳带,并将分割后的电泳带缩放到统一尺度;
步骤3:将缩后的各电泳带进行横向切割,获得多个子条带,并将各子条带在整个维度上展开成一维向量,获得各子条带向量;
步骤4:将各电泳图像中的两两电泳带的子条带互相关联,并基于相关联后的子条带得到相似度矩阵;
步骤5:将相似度矩阵输入具有注意力模块的卷积神经网络,并将免疫固定电泳图像集中8类疾病或健康的标记作为监督信息使用梯度下降的策略训练神经网络,得到训练后的卷积神经网络;
4.根据权利要求3所述的一种针对免疫固定电泳的重点区域识别方法,其特征在于,所述步骤5中卷积神经网络基础结构采用ResNet18,注意力模块采用桥接方式连接加入在卷积神经网络的每层中,注意力模块具体为:
由于电泳带密集区域通常出现在水平相近的区域,对应相似度矩阵的对角线区域,注意力模块为基于高斯函数的矩阵,矩阵对角线上的值为高斯函数均值对应的值,并向另外两对角逐渐递减到最小为对应的值,均值与标准差一起作为卷积神经网络训练的参数,矩阵上位置上的值具体公式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110503122.2A CN113177548B (zh) | 2021-05-08 | 2021-05-08 | 一种针对免疫固定电泳的重点区域识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110503122.2A CN113177548B (zh) | 2021-05-08 | 2021-05-08 | 一种针对免疫固定电泳的重点区域识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113177548A CN113177548A (zh) | 2021-07-27 |
CN113177548B true CN113177548B (zh) | 2022-07-08 |
Family
ID=76928526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110503122.2A Active CN113177548B (zh) | 2021-05-08 | 2021-05-08 | 一种针对免疫固定电泳的重点区域识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113177548B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113598787B (zh) * | 2021-09-07 | 2022-06-17 | 四川大学 | 一种基于多视图进行心电信号重点区域检测的方法 |
CN114219752B (zh) * | 2021-09-23 | 2023-07-25 | 四川大学 | 一种针对血清蛋白电泳的异常区域检测方法 |
CN116843986B (zh) * | 2023-09-04 | 2023-12-08 | 四川省医学科学院·四川省人民医院 | 一种基于图像识别的免疫固定电泳检测数据自动审核方法 |
CN117612163A (zh) * | 2023-12-15 | 2024-02-27 | 南京大学 | 结合反绎学习与深度学习的免疫固定电泳图像识别方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08247931A (ja) * | 1995-01-09 | 1996-09-27 | Fuji Photo Film Co Ltd | 生化学画像解析装置 |
EP1089160A2 (en) * | 1999-09-28 | 2001-04-04 | Fuji Photo Film Co., Ltd. | Image analyzing apparatus |
US6343142B1 (en) * | 1994-05-20 | 2002-01-29 | Fuji Photo Film Co., Ltd. | Image analyzing apparatus |
CN103914695A (zh) * | 2014-04-25 | 2014-07-09 | 中山大学 | 一种用于微电泳图像识别装置及其方法 |
CN106485698A (zh) * | 2016-09-21 | 2017-03-08 | 上海理工大学 | 从凝胶电泳条带图像中获取dna色谱的方法 |
CN106558041A (zh) * | 2015-09-29 | 2017-04-05 | 中国疾病预防控制中心传染病预防控制所 | 凝胶电泳数字图像中基于局部抑制的条带探测算法 |
CN110009008A (zh) * | 2019-03-18 | 2019-07-12 | 四川大学 | 基于提取的免疫固定电泳图特征对其进行自动分类的方法 |
CN110443789A (zh) * | 2019-08-01 | 2019-11-12 | 四川大学华西医院 | 一种免疫固定电泳图自动识别模型的建立及使用方法 |
CN111518934A (zh) * | 2020-05-21 | 2020-08-11 | 四川大学 | 大肠杆菌及6种致病型基因的快速检测方法及试剂盒 |
WO2020211403A1 (zh) * | 2019-04-15 | 2020-10-22 | 苏州金唯智生物科技有限公司 | 电泳图的识别方法、装置、设备及存储介质 |
CN112001308A (zh) * | 2020-08-21 | 2020-11-27 | 四川大学 | 一种采用视频压缩技术和骨架特征的轻量级行为识别方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040052412A1 (en) * | 2002-05-10 | 2004-03-18 | Large Scale Biology Corporation | Satellite image enhancement and feature identification using information theory radial-basis bio-marker filter |
WO2020146735A1 (en) * | 2019-01-10 | 2020-07-16 | Selim Olcum | Machine learning in functional cancer assays |
US11133087B2 (en) * | 2019-07-01 | 2021-09-28 | Li-Cor, Inc. | Adaptive lane detection systems and methods |
-
2021
- 2021-05-08 CN CN202110503122.2A patent/CN113177548B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6343142B1 (en) * | 1994-05-20 | 2002-01-29 | Fuji Photo Film Co., Ltd. | Image analyzing apparatus |
JPH08247931A (ja) * | 1995-01-09 | 1996-09-27 | Fuji Photo Film Co Ltd | 生化学画像解析装置 |
EP1089160A2 (en) * | 1999-09-28 | 2001-04-04 | Fuji Photo Film Co., Ltd. | Image analyzing apparatus |
CN103914695A (zh) * | 2014-04-25 | 2014-07-09 | 中山大学 | 一种用于微电泳图像识别装置及其方法 |
CN106558041A (zh) * | 2015-09-29 | 2017-04-05 | 中国疾病预防控制中心传染病预防控制所 | 凝胶电泳数字图像中基于局部抑制的条带探测算法 |
CN106485698A (zh) * | 2016-09-21 | 2017-03-08 | 上海理工大学 | 从凝胶电泳条带图像中获取dna色谱的方法 |
CN110009008A (zh) * | 2019-03-18 | 2019-07-12 | 四川大学 | 基于提取的免疫固定电泳图特征对其进行自动分类的方法 |
WO2020211403A1 (zh) * | 2019-04-15 | 2020-10-22 | 苏州金唯智生物科技有限公司 | 电泳图的识别方法、装置、设备及存储介质 |
CN110443789A (zh) * | 2019-08-01 | 2019-11-12 | 四川大学华西医院 | 一种免疫固定电泳图自动识别模型的建立及使用方法 |
CN111518934A (zh) * | 2020-05-21 | 2020-08-11 | 四川大学 | 大肠杆菌及6种致病型基因的快速检测方法及试剂盒 |
CN112001308A (zh) * | 2020-08-21 | 2020-11-27 | 四川大学 | 一种采用视频压缩技术和骨架特征的轻量级行为识别方法 |
Non-Patent Citations (4)
Title |
---|
Comparison of capillary zone and immunosubtraction with agarose gel and immunofixation electrophoresis for detecting and identifying monoclonal gammopathies;C,M,Litwin;《American Journal of Clinical Pathology》;19991230;全文 * |
Multiplexed analysis of inflammation biomarkers using spectrally-encoded on-chip electrophoresis;Chenlu Hou;《TRANSDUCERS 2009 - 2009 International Solid-State Sensors, Actuators and Microsystems Conference》;20091013;全文 * |
多元指纹图谱技术结合模式识别在牛乳品质控制中的应用;杜丽娟;《中国博士学位论文全文数据库工程科技I辑》;20200115(第1期);全文 * |
血清蛋白电泳识别M蛋白的规则制定及其在健康人群M蛋白筛查中的应用;徐双;《检验医学》;20200730;第35卷(第7期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113177548A (zh) | 2021-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113177548B (zh) | 一种针对免疫固定电泳的重点区域识别方法 | |
Zhang et al. | Automated robust crop-row detection in maize fields based on position clustering algorithm and shortest path method | |
Bhimte et al. | Diseases detection of cotton leaf spot using image processing and SVM classifier | |
CN107665492B (zh) | 基于深度网络的结直肠全景数字病理图像组织分割方法 | |
Liu et al. | A computer vision system for early stage grape yield estimation based on shoot detection | |
CN104778721B (zh) | 一种双目图像中显著性目标的距离测量方法 | |
CN112348849B (zh) | 一种孪生网络视频目标跟踪方法及装置 | |
CN110599537A (zh) | 基于Mask R-CNN的无人机图像建筑物面积计算方法及*** | |
CN110717903A (zh) | 一种利用计算机视觉技术进行农作物病害检测的方法 | |
CN104835175B (zh) | 一种基于视觉注意机制的核环境中目标检测方法 | |
CN106780522B (zh) | 一种基于深度学习的骨髓液细胞分割方法 | |
CN104463229B (zh) | 基于相关系数冗余度的高光谱数据有监督分类方法 | |
CN108427913A (zh) | 联合光谱、空间和层次结构信息的高光谱影像分类方法 | |
Khan et al. | UAV’s agricultural image segmentation predicated by clifford geometric algebra | |
CN106846322A (zh) | 基于曲线波滤波器和卷积结构学习的sar图像分割方法 | |
CN114332572B (zh) | 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法 | |
CN108090485A (zh) | 基于多视角融合的图像前景自动提取方法 | |
CN111882573B (zh) | 一种基于高分辨率影像数据的耕地地块提取方法及*** | |
CN107292328A (zh) | 多尺度多特征融合的遥感影像阴影检测提取方法及*** | |
CN113450305B (zh) | 医疗图像的处理方法、***、设备及可读存储介质 | |
CN115620146A (zh) | 一种基于Transformer的农作物叶片病害检测方法 | |
CN114332534B (zh) | 一种高光谱图像小样本分类方法 | |
CN117853722A (zh) | 一种融合超像素信息的钢材金相组织分割方法 | |
CN104637060B (zh) | 一种基于邻域主成分分析-拉普拉斯的图像分割方法 | |
Talasila et al. | PLRSNet: a semantic segmentation network for segmenting plant leaf region under complex background |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |