CN112819821B - 一种细胞核图像检测方法 - Google Patents
一种细胞核图像检测方法 Download PDFInfo
- Publication number
- CN112819821B CN112819821B CN202110224315.4A CN202110224315A CN112819821B CN 112819821 B CN112819821 B CN 112819821B CN 202110224315 A CN202110224315 A CN 202110224315A CN 112819821 B CN112819821 B CN 112819821B
- Authority
- CN
- China
- Prior art keywords
- rcnn
- detection
- cell nucleus
- image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种细胞核图像检测方法,包括:获取显微镜下具有细胞核图像的数据集样本;采用数据增强方法和数据标准化方法优化细胞核图像;构建两阶段神经网络架构的Faster‑rcnn变体模型,第一个阶段为RPN网络,用于生成初始候选框;第二个阶段为Fast‑rcnn网络,用于对初始候选框进行分类和回归;在Fast‑rcnn网络中增添定位预测头,并将预测检测框的IoU值作为衡量定位质量的指标,以及使用分类质量和定位质量之间的融合分数作为非极大值抑制算法中的排名指标;通过优化后的细胞核图像训练模型;将待测试细胞核图像输入至模型中进行检测。这样能够有效提高细胞核检测的精度和鲁棒性。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种细胞核图像检测方法。
背景技术
在显微镜图像中检测某些特定类型的核或细胞是许多临床医学、生物医学研究中的先决条件,包括定量信息测量、癌症进展、分级和预后预测。例如:乳腺癌是女性中最常见的癌症,也是世界范围内的主要死亡原因。世界卫生组织利用增殖的肿瘤细胞的百分比来确定疾病的预后。为了计算肿瘤细胞百分比,病理学家手动评估出阳性肿瘤细胞,而这些阳性细胞通常和正常细胞混合在一起。即便是专业的病理学家,该评估过程也是主观的,耗时且变化很大。随着高通量技术的发展,大量的图像数据也在迅速增加,依靠手动评估核检测似乎成为了瓶颈。因此,准确,快速地检测涵盖不同患者,器官和疾病状态的组织学图像中的核实例的自动技术,对于开发临床和医学应用的计算机辅助***具有重大贡献。
目前,传统的细胞核图像检测方法采用经典的图像处理技术,例如强度阈值化,特征检测,形态学滤波,区域累积和可变形模型拟合。他们需要目标核和背景的重要先验知识去选择合适的特征,而这些手选的特征需要反复试验去调整对整体性能至关重要的参数,这将导致这些经典方法泛化能力有限。
与传统的核检测方法相比,深度学习方法最近已被应用于各种计算机视觉问题,并在细胞核检测挑战中取得了更好的性能。这些方法一般分为两类:第一类是对图片进行像素级的二进制分类预测密度函数,而密度的峰值对应着细胞核的中心;第二类是用第一阶段模型进行候选区域的选择,将检索到的候选区域输入到第二阶段模型以进行进一步的区分定位。
对于密度预测方法,如果细胞核密集存在,则会造成密度函数中的峰值趋于平缓,从而无法估计细胞核位置。此外,逐像素的密度预测会加重计算资源的负担,对临床应用具有局限性。基于区域生成的方法,它仅用于对细胞核区域进行分类和回归,而不是所有的图像像素,可以有效加速算法。然而,目前在大多数基于区域方法中,测试方案(仅在NMS期间根据分类得分选择框)和训练方案(使分类和定位损失最小化)之间存在不一致。理想情况下,不仅应根据分类而且还应根据定位位置来测量检测框的质量。并且当图像中的细胞核有粘附、团簇时,此方法容易导致真实框被抑制,从而生成大量假阳性检测框。
发明内容
有鉴于此,本发明的目的在于提供一种细胞核图像检测方法,可以有效提高细胞核检测的精度和鲁棒性,稳定输出检测结果。其具体方案如下:
一种细胞核图像检测方法,包括:
获取显微镜下具有细胞核图像的数据集样本;
采用数据增强方法和数据标准化方法优化所述数据集样本中的细胞核图像;
构建一个端到端的两阶段神经网络架构的Faster-rcnn变体模型,其中第一个阶段为RPN网络,用于生成初始候选框;第二个阶段为Fast-rcnn网络,用于对所述初始候选框进行分类和回归;在所述Fast-rcnn网络中增添一个定位预测头,并将预测检测框的IoU值作为衡量定位质量的指标,以及使用分类质量和定位质量之间的融合分数作为非极大值抑制算法中的排名指标;
通过优化后的所述细胞核图像训练所述Faster-rcnn变体模型;
将待测试细胞核图像输入至训练好的所述Faster-rcnn变体模型中进行检测。
优选地,在本发明实施例提供的上述细胞核图像检测方法中,使用分类质量和定位质量之间的融合分数作为非极大值抑制算法中的排名指标,具体包括:
在所述Fast-rcnn网络中通过分类质量和定位质量之间的融合分数来保留定位边界框;
同时,在非极大值抑制算法中,选择融合分数中具有最高得分的检测框,并衰减与其它所有检测框大于预定义阈值的得分,衰减得分后的真阳性候选框被保留进行检测。
优选地,在本发明实施例提供的上述细胞核图像检测方法中,通过优化后的所述细胞核图像训练所述Faster-rcnn变体模型,具体包括:
将优化后的所述细胞核图像分批送入到所述Faster-rcnn变体模型中;
通过所述Faster-rcnn变体模型最后一层输出的分类预测头中的二元交叉熵损失、定位预测头中的Liou损失与回归预测头中的Smooth-L1损失,与图像真实标签比较计算损失;
将计算的所述损失在网络中反向传递,得到网络参数的梯度;
通过随机梯度下降优化器调整所述网络参数,使所述损失达到最小。
优选地,在本发明实施例提供的上述细胞核图像检测方法中,将待测试细胞核图像输入至训练好的所述Faster-rcnn变体模型中进行检测,具体包括:
将待测试细胞核图像输入至训练好的所述Faster-rcnn变体模型中,输出目标区域的分类概率图、定位概率图与检测框的坐标值;
利用所述分类概率图与所述定位概率图的融合分数当做最终目标区域的分布置信度;
在非极大值抑制算法中,根据所述分布置信度进行排序,选择出具有最高置信度的检测框,并衰减与其它所有检测框大于预定义的阈值的得分,保留衰减得分后的真阳性候选框,以指导所述待测试细胞核图像中每个细胞核的检测。
优选地,在本发明实施例提供的上述细胞核图像检测方法中,所述Faster-rcnn变体模型的特征提取网络为resnet50网络,由四个残差块连接而成,用于提取和学习输入图像目标的特征。
优选地,在本发明实施例提供的上述细胞核图像检测方法中,所述数据增强方法是对所述数据集样本中的细胞核图像进行随机扩展,裁剪,翻转与对比度失真和亮度失真;
所述数据标准化方法是采用线性归一化使所述数据集样本中的细胞核图像样本数据落到[0,1]区间。
优选地,在本发明实施例提供的上述细胞核图像检测方法中,在构建Faster-rcnn变体模型之前,还包括:
利用迁移学习对模型进行初始化。
从上述技术方案可以看出,本发明所提供的一种细胞核图像检测方法,包括:获取显微镜下具有细胞核图像的数据集样本;采用数据增强方法和数据标准化方法优化数据集样本中的细胞核图像;构建一个端到端的两阶段神经网络架构的Faster-rcnn变体模型,其中第一个阶段为RPN网络,用于生成初始候选框;第二个阶段为Fast-rcnn网络,用于对初始候选框进行分类和回归;在Fast-rcnn网络中增添一个定位预测头,并将预测检测框的IoU值作为衡量定位质量的指标,以及使用分类质量和定位质量之间的融合分数作为非极大值抑制算法中的排名指标;通过优化后的细胞核图像训练Faster-rcnn变体模型;将待测试细胞核图像输入至训练好的Faster-rcnn变体模型中进行检测。
本发明提出了两阶段神经网络架构的Faster-rcnn变体模型,将预测检测框的IoU作为衡量定位质量的指标,并使用分类和定位的融合评分作为非极大值抑制算法中的排名指标,减少了训练目标与测试目标之间的差距,有助于优化后置处理程序的目标,有效检测簇状核,该方法能够较好地应对细胞核图像中存在的一些挑战,并且有效地提高细胞核检测的精度和鲁棒性,可稳定地输出检测结果。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的细胞核图像检测方法的流程图;
图2为本发明实施例提供的Faster-rcnn变体模型的网络结构示意图;
图3为本发明实施例提供的Fusion-NMS的程序示意图;
图4为本发明实施例提供的检测结构对比展示图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种细胞核图像检测方法,如图1所示,包括以下步骤:
S101、获取显微镜下具有细胞核图像的数据集样本;
在实际应用中,细胞核图像样本可源自数据科学公开挑战赛数据集(DSB 2018),包含670张不同分辨率的原始细胞核图像,其中图像是在各种显微成像条件,显微镜仪器,操作员和染色方案下提取的;本发明可将细胞核图像数据集样本进行划分:402张用于训练,134张用于验证,134张用于测试。
S102、采用数据增强方法和数据标准化方法优化数据集样本中的细胞核图像;
具体地,数据增强方法是对数据集样本中的细胞核图像进行随机扩展,裁剪,翻转与对比度失真和亮度失真;数据标准化方法是采用线性归一化使数据集样本中的细胞核图像样本数据落到[0,1]区间,可以加快神经网络的训练进程。
S103、构建一个端到端的两阶段神经网络架构的Faster-rcnn变体模型,其中第一个阶段为RPN网络,用于生成初始候选框;第二个阶段为Fast-rcnn网络,用于对初始候选框进行分类和回归;在Fast-rcnn网络中增添一个定位预测头,并将预测检测框的IoU值作为衡量定位质量的指标,以及使用分类质量和定位质量之间的融合分数作为非极大值抑制算法中的排名指标;
具体地,RPN网络和Fast-rcnn网络为级联关系;在Faster-rcnn模型中增加定位预测模块来衡量细胞核区域定位质量,将预测检测框的IoU值作为衡量定位质量的指标,能够较好的减少训练目标与测试目标之间的差距;使用分类质量和定位质量之间的融合分数作为非极大值抑制算法中的排名指标,可称作Fusion-NMS,有助于优化后置处理程序的目标。
S104、通过优化后的细胞核图像训练Faster-rcnn变体模型;
S105、将待测试细胞核图像输入至训练好的Faster-rcnn变体模型中进行检测。
在本发明实施例提供的上述细胞核图像检测方法中,构建并训练了两阶段神经网络架构的Faster-rcnn变体模型,将预测检测框的IoU作为衡量定位质量的指标,并使用分类和定位的融合评分作为非极大值抑制算法中的排名指标,减少了训练目标与测试目标之间的差距,有助于优化后置处理程序的目标,有效检测簇状核,该方法能够较好地应对细胞核图像中存在的一些挑战,并且有效地提高细胞核检测的精度和鲁棒性,可稳定地输出检测结果。
进一步地,在具体实施时,在本发明实施例提供的上述细胞核图像检测方法中,在执行步骤S103构建Faster-rcnn变体模型之前,还可以包括:利用迁移学习对模型进行初始化。该步骤的具体过程可以为使用在ImageNet数据集训练的参数用于网络模型的初始化,根据迁移学习的理论,网络在初始层中学习浅层特征,而随着网络层数的增加,后一层的网络进一步抽象了前一层的网络特征,浅层网络更加具有泛化性,后层网络根据具体任务的不同,学习到的参数才会出现较大的差异性。
在具体实施时,在本发明实施例提供的上述细胞核图像检测方法中,步骤S103使用分类质量和定位质量之间的融合分数作为非极大值抑制算法中的排名指标,具体可以包括:在Fast-rcnn网络中通过分类质量和定位质量之间的融合分数来保留更加准确的定位边界框,可称之为Fusion-NMS,在Fusion-NMS中,融合分数可被作为置信度对检测框进行排名;同时,在非极大值抑制算法中,选择融合分数中具有最高得分的检测框,即在排名序列挑选其中具有最大置信度的检测框,并衰减与其它所有检测框大于预定义阈值的得分,衰减得分后的真阳性候选框被保留进行检测,即将其他与得分最高的框的IoU大于指定阈值的框置信度降为0进行删除操作,最后输出保留边框集,可有效检测粘附和聚焦核。
在具体实施时,在本发明实施例提供的上述细胞核图像检测方法中,步骤S103中构建的Faster-rcnn变体模型的特征提取网络可以为resnet50网络,由四个残差块连接而成,用于提取和学习输入图像目标的特征。利用这四个残差块核叠网络,能够进行浅层与深层特征的融合。
如图2所示,Faster-rcnn变体模型的网络结构主要分成以下五个部分:
第一部分为Resnet50:Resnet50由四个残差块连接而成,用于提取并不断学习输入图像目标的特征;
第二部分为FPN:FPN作为一个特征金字塔网络,融合了浅层特征图和上采样的深层特征图,以检测不同尺度的目标;
第三部分为RPN网络:RPN网络用于生成候选框,RPN网络的输入为FPN的特征图,RPN先对FPN后的特征图进行3*3的卷积操作,得到256维的输出,相当于每个像素融合了周边3*3的空间信息,接着用9个anchors对每个像素点映射回原图;同时,利用上下两个分支分别对anchors的前景背景分类与通过边界框回归对anchors进行修正。进行这一系列操作,RPN网络就相当于实现了初步目标定位;
第四部分为RoI-align操作:通过rpn网络生成的初步候选框的位置坐标在FPN融合模块得到的特征图中将相应区域化为固定尺寸的特征图,方便送入后续全连接层判断目标类别、加强定位信息与精确边界框的坐标值;
第五部分为Classification和Localization:利用RoI-align得到的固定尺寸的区域特征图,通过全连接层和softmax计算每个区域的属于每个类别的概率值;通过全连接层和sigmoid函数计算每个区域中的定位准确度,同时再利用边界框回归得到每个区域的偏移量,最终得到检测框的精确位置。
在具体实施时,在本发明实施例提供的上述细胞核图像检测方法中,步骤S104通过优化后的细胞核图像训练Faster-rcnn变体模型,具体可以包括:将优化后的细胞核图像分批送入到Faster-rcnn变体模型中;通过Faster-rcnn变体模型最后一层输出的分类预测头中的二元交叉熵损失、定位预测头中的Liou损失与回归预测头中的Smooth-L1损失,与图像真实标签比较计算损失;将计算的损失在网络中反向传递,得到网络参数的梯度;通过随机梯度下降(stochastic gradient descent,SGD)优化器调整网络参数,使损失达到最小,网络达到最佳。
具体地,二元交叉熵损失,Liou损失和Smooth-L1损失计算公式分别如下所示:
其中,Pi和Gj分别表示预测特征图和真实标签掩膜;
Liou=CrossEntropyLoss(iouscore,ioutarget)
ioutarget=bboxpred/gtbbox
其中bboxpred为预测框的坐标,gtbbox为预测框所对应的真实框的坐标;
其中,f(xi)和yi分别表示预测特征图和真实标签掩膜。
需要说明的是,本发明还可以使用指定训练步数设置动态的学习率来调整模型,当网络的评价指标不再提升的时候,降低网络的学习率来提高网络性能,同时在24次迭代中,当验证损失达到最小时,保存此时模型的参数。
在具体实施时,在本发明实施例提供的上述细胞核图像检测方法中,训练完成后,步骤S105将待测试细胞核图像输入至训练好的Faster-rcnn变体模型中进行检测,具体可以包括:将待测试细胞核图像直接输入至训练好的Faster-rcnn变体模型中,利用训练好的Faster-rcnn变体模型去预测待测试细胞核图像,待测试细胞核图像通过训练好的Faster-rcnn变体模型后输出目标区域的分类概率图、定位概率图与检测框的坐标值;利用分类概率图与定位概率图的融合分数当做最终目标区域的分布置信度;在非极大值抑制算法中,将该融合分数作为非极大值抑制算法中的置信度排名指标,即Fusion-NMS,也就是根据分布置信度进行排序,选择出具有最高置信度的检测框,并衰减与其它所有检测框大于预定义的阈值的得分,保留衰减得分后的真阳性候选框,以指导待测试细胞核图像中每个细胞核的检测,尤其是粘附、聚集核的检测。
需要说明的是,在大多数基于区域检测器的非极大值抑制算法中,是通过选择置信度分数最高的检测框M,并删除了其它和M的得分大于指定阈值的框,这会造成一些有效框的漏检,尤其是对于重叠、聚集框的漏检。因此,在Fusion-NMS中,通过衰减M与其它所有检测框大于预定义阈值的得分,衰减分数后的真阳性候选框得以被保留检测。如图3所示,本发明采用以下规则进行衰减得分:
其中,SFscore为分类和定位的融合分数,SFscore的定义如下所示:
SFscore=(Scls+Siou)/2
其中,Scls表示分类分数,Siou表示定位分数。
在实际应用中,本发明实施例提供的上述细胞核图像检测方法可以在Pytorch深度学习框架下实现,计算机配置采用:Intel Core i5 6600K处理器,16G内存,NVIDIA V100显卡,Linux操作***。
下面对本发明中的Faster-rcnn变体模型进行性能评估:
近年,在生物医学图像检测领域,Faster-rcnn得到了广泛的应用,Faster-rcnn是一个二阶段检测模型架构,该架构在不同的生物检测应用中实现了非常好的性能。至今Faster-rcnn已经有了很多变体,目前已有许多新的卷积神经网络设计方案,但很多仍延续了Faster-rcnn的核心思想,加入了新的模块或者融入其他设计理念。其中Cascade-rcnn在Faster-rcnn中引入3个级联网络达到不断优化预测结果的目的;HTC该方法使3个级联网络的框分支与掩模分支交织训练,并在Faster-rcnn基础上新增一个语义分割分支来提供上下文信息。而DetectoRS方法提出了递归特征金字塔(RFP),替换了Faster-rcnn中的原来的FPN融合特征信息模块;Ours是本发明方法。
表一 本发明方法与现有方法的检测性能对比图
如表一所示,将本发明方法与上述这些算法在性能上进行对比,表中的评价指标分别是基于框IoU阈值0.5到0.95的平均精度(APbbox),基于框IoU阈值为0.5的精度(AP50),基于框IoU阈值为0.75的精度(AP75)。从表1中可以清晰的发现,相对于之前的方法,本发明的方法在以上检测指标上取得了最好的成绩。
表二 本发明方法与现有方法的分割性能对比图
如表二所示,将本发明方法的检测结果输入到fcn中以进行实例分割,与上述这些算法也已相同的fcn分割分支在性能上进行对比。表中的评价指标分别是基于掩模IoU阈值0.5到0.95的平均精度(APbbox),基于掩模IoU阈值为0.5的精度(AP50),基于掩模IoU阈值为0.75的精度(AP75),聚合Jaccard指数(AJI)。相对于之前的方法,本发明的方法在以上分割指标上取得了最好的成绩。分割性能的提高也进一步证明了检测效果的有效性。
如图4所示,展示的是本发明方法与现有的方法对比的检测结果,第一行是将原始图像的输入图像;第二行是输入图像对应的大小的真实框;第三行到第六行分别是Faster-rcnn,Cascade-rcnn,HTC,DetectoRS用于生物医学图像的检测结果,从检测结果图中可以看出基于Faster-rcnn及其变体在细胞核检测中有一个比较好的结果,但对于粘附、聚集、微小以及拉长的核来说,会造成漏检和错检的情况;最后一列是本发明方法,从检测图可以看出本发明方法相较与以前的方法在背景干扰、不同尺度与密度的目标上均有着一定的提升,能相对较好的实现对细胞核图像中的分割。
本发明实施例提供的上述细胞核图像检测方法,基于区域卷积神经网络,在Faster-rcnn网络的基础上提出了一个新的分支用于预测定位质量,并将定位质量与分类质量的融合得分当作非极大值抑制算法中的评分指标,在此称之为Fusion-NMS。为了解决细胞核团簇、聚集的特点,本发明在Fusion-NMS期间,通过融合评分选择最大分数的检测框,并衰减与其它所有检测框大于预定义阈值的得分,衰减分数后的真阳性候选核得以被保留检测。由于细胞核图像存在的一些挑战:细胞核的尺度变化较大、图像中存在较多的背景干扰以及细胞核的聚集、粘附,所以本发明方法能够较好的应对细胞核图像中存在的一些挑战,并且有效的提高了细胞核检测的精度和鲁棒性,能够稳定的输出检测结果。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种细胞核图像检测方法,包括:获取显微镜下具有细胞核图像的数据集样本;采用数据增强方法和数据标准化方法优化数据集样本中的细胞核图像;构建一个端到端的两阶段神经网络架构的Faster-rcnn变体模型,其中第一个阶段为RPN网络,用于生成初始候选框;第二个阶段为Fast-rcnn网络,用于对初始候选框进行分类和回归;在Fast-rcnn网络中增添一个定位预测头,并将预测检测框的IoU值作为衡量定位质量的指标,以及使用分类质量和定位质量之间的融合分数作为非极大值抑制算法中的排名指标;通过优化后的细胞核图像训练Faster-rcnn变体模型;将待测试细胞核图像输入至训练好的Faster-rcnn变体模型中进行检测。本发明提出了两阶段神经网络架构的Faster-rcnn变体模型,将预测检测框的IoU作为衡量定位质量的指标,并使用分类和定位的融合评分作为非极大值抑制算法中的排名指标,有助于优化后置处理程序的目标,有效检测簇状核,该方法能够较好地应对细胞核图像中存在的一些挑战,并且有效地提高细胞核检测的精度和鲁棒性,可稳定地输出检测结果。
最后,还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的细胞核图像检测方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (4)
1.一种细胞核图像检测方法,其特征在于,包括:
获取显微镜下具有细胞核图像的数据集样本;
采用数据增强方法和数据标准化方法优化所述数据集样本中的细胞核图像;
构建一个端到端的两阶段神经网络架构的Faster-rcnn变体模型,其中第一个阶段为RPN网络,用于生成初始候选框;第二个阶段为Fast-rcnn网络,用于对所述初始候选框进行分类和回归;在所述Fast-rcnn网络中增添一个定位预测头,并将预测检测框的IoU值作为衡量定位质量的指标,以及在所述Fast-rcnn网络中通过分类质量和定位质量之间的融合分数来保留定位边界框;同时,在非极大值抑制算法中,选择融合分数中具有最高得分的检测框,并衰减与其它所有检测框大于预定义阈值的得分,衰减得分后的真阳性候选框被保留进行检测;
通过优化后的所述细胞核图像训练所述Faster-rcnn变体模型,包括:将优化后的所述细胞核图像分批送入到所述Faster-rcnn变体模型中;通过所述Faster-rcnn变体模型最后一层输出的分类预测头中的二元交叉熵损失、定位预测头中的损失与回归预测头中的Smooth-L1损失,与图像真实标签比较计算损失;将计算的所述损失在网络中反向传递,得到网络参数的梯度;通过随机梯度下降优化器调整所述网络参数,使所述损失达到最小;
将待测试细胞核图像输入至训练好的所述Faster-rcnn变体模型中进行检测,包括:将待测试细胞核图像输入至训练好的所述Faster-rcnn变体模型中,输出目标区域的分类概率图、定位概率图与检测框的坐标值;利用所述分类概率图与所述定位概率图的融合分数当做最终目标区域的分布置信度;在非极大值抑制算法中,根据所述分布置信度进行排序,选择出具有最高置信度的检测框,并衰减与其它所有检测框大于预定义的阈值的得分,保留衰减得分后的真阳性候选框,以指导所述待测试细胞核图像中每个细胞核的检测。
2.根据权利要求1所述的细胞核图像检测方法,其特征在于,所述Faster-rcnn变体模型的特征提取网络为resnet50网络,由四个残差块连接而成,用于提取和学习输入图像目标的特征。
3.根据权利要求1所述的细胞核图像检测方法,其特征在于,所述数据增强方法是对所述数据集样本中的细胞核图像进行随机扩展,裁剪,翻转与对比度失真和亮度失真;
所述数据标准化方法是采用线性归一化使所述数据集样本中的细胞核图像样本数据落到[0,1]区间。
4.根据权利要求1所述的细胞核图像检测方法,其特征在于,在构建Faster-rcnn变体模型之前,还包括:
利用迁移学习对模型进行初始化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110224315.4A CN112819821B (zh) | 2021-03-01 | 2021-03-01 | 一种细胞核图像检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110224315.4A CN112819821B (zh) | 2021-03-01 | 2021-03-01 | 一种细胞核图像检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112819821A CN112819821A (zh) | 2021-05-18 |
CN112819821B true CN112819821B (zh) | 2022-06-17 |
Family
ID=75862489
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110224315.4A Active CN112819821B (zh) | 2021-03-01 | 2021-03-01 | 一种细胞核图像检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112819821B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113361428B (zh) * | 2021-06-11 | 2023-03-24 | 浙江澄视科技有限公司 | 一种基于图像的交通标志检测方法 |
CN113469302A (zh) * | 2021-09-06 | 2021-10-01 | 南昌工学院 | 一种视频图像的多圆形目标识别方法和*** |
CN114120127B (zh) * | 2021-11-30 | 2024-06-07 | 济南博观智能科技有限公司 | 一种目标检测方法、装置及相关设备 |
CN114782372B (zh) * | 2022-04-25 | 2023-04-18 | 昆明金域医学检验所有限公司 | Dna荧光原位杂交bcr/abl融合状态检测方法、检测*** |
CN117274869B (zh) * | 2023-09-25 | 2024-03-26 | 北方工业大学 | 一种基于形变场提取的细胞形变动态分类方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108550133A (zh) * | 2018-03-02 | 2018-09-18 | 浙江工业大学 | 一种基于Faster R-CNN的癌细胞检测方法 |
KR20190095901A (ko) * | 2018-02-07 | 2019-08-16 | 울산과학기술원 | 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치 |
CN110245620A (zh) * | 2019-06-18 | 2019-09-17 | 杭州电子科技大学 | 一种基于注意力的非最大化抑制方法 |
CN111951288A (zh) * | 2020-07-15 | 2020-11-17 | 南华大学 | 一种基于深度学习的皮肤癌病变分割方法 |
CN112069874A (zh) * | 2020-07-17 | 2020-12-11 | 中山大学 | 胚胎光镜图像中细胞的识别方法及***、设备及存储介质 |
CN112153382A (zh) * | 2020-09-21 | 2020-12-29 | 南华大学 | 动态3d点云压缩快速cu划分方法、设备及存储介质 |
-
2021
- 2021-03-01 CN CN202110224315.4A patent/CN112819821B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190095901A (ko) * | 2018-02-07 | 2019-08-16 | 울산과학기술원 | 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치 |
CN108550133A (zh) * | 2018-03-02 | 2018-09-18 | 浙江工业大学 | 一种基于Faster R-CNN的癌细胞检测方法 |
CN110245620A (zh) * | 2019-06-18 | 2019-09-17 | 杭州电子科技大学 | 一种基于注意力的非最大化抑制方法 |
CN111951288A (zh) * | 2020-07-15 | 2020-11-17 | 南华大学 | 一种基于深度学习的皮肤癌病变分割方法 |
CN112069874A (zh) * | 2020-07-17 | 2020-12-11 | 中山大学 | 胚胎光镜图像中细胞的识别方法及***、设备及存储介质 |
CN112153382A (zh) * | 2020-09-21 | 2020-12-29 | 南华大学 | 动态3d点云压缩快速cu划分方法、设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
A Fast and Accurate Algorithm for Nuclei Instance Segmentation in Microscopy Images;Z. Cheng and A. Qu;《IEEE Access》;20200831;第158679页-158689页 * |
An Integration Convolutional Neural Network for Nuclei Instance Segmentation;Aiping Qu,Zhiming Cheng,Xiaofeng He,Yue Li;《2020 IEEE International Conference on Bioinformatics and Biomedicine》;20210113;第1104-1109页 * |
基于卷积神经网络和迁移学习的宫颈细胞学图像异常区域检测;何君婷;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20200215;E068-44 * |
Also Published As
Publication number | Publication date |
---|---|
CN112819821A (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112819821B (zh) | 一种细胞核图像检测方法 | |
US11842556B2 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
CN111488921B (zh) | 一种全景数字病理图像智能分析***及方法 | |
CN111798416B (zh) | 基于病理图像与深度学习的肾小球智能检测方法及*** | |
CN112215117A (zh) | 一种基于宫颈细胞学图像的异常细胞识别方法及*** | |
US11593656B2 (en) | Using a first stain to train a model to predict the region stained by a second stain | |
CN111079620B (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
CN110648303B (zh) | 眼底图像分析方法、计算机设备和存储介质 | |
CN110853005A (zh) | 一种免疫组化膜染色切片诊断方法及装置 | |
CN106340016A (zh) | 一种基于细胞显微镜图像的dna定量分析方法 | |
CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及*** | |
CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
CN115393351B (zh) | 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置 | |
CN112132827A (zh) | 病理图像的处理方法、装置、电子设备及可读存储介质 | |
CN109146891B (zh) | 一种应用于mri的海马体分割方法、装置及电子设备 | |
CN115295154B (zh) | 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质 | |
CN112396619A (zh) | 一种基于语义分割的内部复杂组成的小型颗粒分割方法 | |
CN112926652A (zh) | 一种基于深度学习的鱼类细粒度图像识别方法 | |
CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
CN115210779A (zh) | 生物样品中对象的***性表征 | |
CN111414930B (zh) | 深度学习模型训练方法及装置、电子设备及存储介质 | |
CN115359264A (zh) | 一种密集型分布的粘连细胞深度学习识别方法 | |
CN111950544A (zh) | 一种确定病理图像中感兴趣区域的方法及装置 | |
CN114972202A (zh) | 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |