CN108550133B - 一种基于Faster R-CNN的癌细胞检测方法 - Google Patents
一种基于Faster R-CNN的癌细胞检测方法 Download PDFInfo
- Publication number
- CN108550133B CN108550133B CN201810174376.2A CN201810174376A CN108550133B CN 108550133 B CN108550133 B CN 108550133B CN 201810174376 A CN201810174376 A CN 201810174376A CN 108550133 B CN108550133 B CN 108550133B
- Authority
- CN
- China
- Prior art keywords
- detection
- cnn
- fast
- region
- cells
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种基于Faster R‑CNN的癌细胞检测方法,所述方法包括以下步骤:步骤1,对数据进行预处理,对数据集进行人工标定,将数据集做成pascal_voc数据集格式,人工标定的目的是得到图片标签,标签为每张图片中癌细胞目标所在位置的左上角和右上角坐标和目标的类别;步骤2,对数据进行初步检测,将所述数据集和图片标签作为深度学习Faster R‑CNN神经网络的训练集,结合RPN及Fast R‑CNN卷积神经网络对数据进行训练,得到最终癌细胞的初检测模型;步骤3,对数据进行再检测,结合CSA算法进行癌细胞的再检测,得到的检测结果结合初检测结果,分析得到最终的癌细胞检测结果。本发明整体检测精度较高。
Description
技术领域
本发明涉及一种癌细胞检测方法,主要针对黏连细胞环境下多细胞难检测问题。
背景技术
细胞研究在生物学及医学等相关领域扮演着非常重要的角色,而研究细胞的运动是细胞研究中重要的组成部分之一,在揭露细胞行为(细胞***、细胞迁移、细胞增殖、细胞死亡和凋亡等)的本质和现代医学研发各种药物的实验和测试也都起到了非常重要的作用。癌细胞是一种变异的细胞,是产生癌症的病源,但因癌细胞无限增殖、可转化和易转义三大特点,使得癌细胞难以消灭,也增加了观察癌细胞在生长过程中的形态变化的难度,与正常细胞相比,癌细胞会不停的增殖,无法正常的凋亡,最终癌细胞会发展成肿瘤。在2012全球有一千四百一十万新发癌症病例,同时有八百二十万死亡病例,及早发现癌细胞并及早治疗对治疗癌症至关重要。在细胞形态和生命周期的观察中,细胞的检测是最基础且不可或缺,如果可以实现癌细胞的准确检测,可以推动抗癌性药物的研制。
传统的癌细胞检测主要是通过人工观测癌细胞的生长过程来实现,不仅费时费力,同时长达数十小时的观测造成效率低下,难以保证观测结果的客观性和准确性。另外,图像数据不断增加,重复观测的工作量十分巨大,使得人工观测更加不切实际。近几年来,随着深度学习的发展,深度学习在传统机器学习和图像领域取得了令人惊叹的成绩,特别是在图像处理发面,利用深度学习的图像处理方法已经一次次刷新目标检测和识别等领域的记录。计算机图像处理技术伴随着信息技术的不断进步取得了非常显著的发展,已经应用到人类生活和社会发展的各个方面,细胞生物医学领域的研究也越来越多的采用计算机视觉技术,对医学图像的研究是计算机图像处理技术应用很重要的分支。
发明内容
为了克服已有癌细胞检测方式的整体检测精度较低的不足,本发明提供一种整体检测精度较高的基于Faster R-CNN的癌细胞检测方法。
本发明解决其技术问题所采用的技术方案是:
一种基于Faster R-CNN的癌细胞检测方法,所述方法包括以下步骤:
步骤1,对数据进行预处理,对数据集进行人工标定,将数据集做成pascal_voc数据集格式,人工标定的目的是得到图片标签,标签为每张图片中癌细胞目标所在位置的左上角和右上角坐标和目标的类别;
步骤2,对数据进行初步检测,将所述数据集和图片标签作为深度学习Faster R-CNN神经网络的训练集,结合RPN及Fast R-CNN卷积神经网络对数据进行训练,得到最终癌细胞的初检测模型;
步骤3,对数据进行再检测,结合CSA算法进行癌细胞的再检测,得到的检测结果结合初检测结果,分析得到最终的癌细胞检测结果。
进一步,所述步骤2中,Faster R-CNN网络训练过程中RPN神经网络与Fast R-CNN神经网络共享卷积层,实现了一个端到端的目标检测框架,所以细胞的初步检测过程分为两部分:建议区域的产生和建议区域的检测;
其中建议区域的产生是训练RPN网络负责寻找图片中区域建议框,得到建议区域;网络结构为:前五层基于ZF网络,通过五层卷积和两层池化得到最后的卷积特征图;ZF网络之后是一层卷积层和两条卷积输出支路:左支路输出候选区域为目标的概率值;右支路输出box相关的参数,包括box的左上角坐标、宽w和长h;RPN网络核心是anchor机制,anchor机制是用来解决感受野中目标大小不同及长宽比例不一的问题,通过滑窗在卷积特征图上的滑动,以中心像素为基点,利用9个anchor映射到原图,生成可能的区域,该区域即为regionproposal,同时每个区域由两部分组成:该区域属于每个类别的概率;该区域边界框左上角和长宽的坐标值;
同时建议区域的检测是判定目标所属的类别及确定目标的位置,通过RPN网络得到候选区域之后,将所得候选区域输入到Fast R-CNN网络,其中Fast R-CNN神经网络实现建议区域候选框的微调及候选框中细胞类别的确定,得到两个输出:cls score,即分类的各类别概率值和bbox,即目标框的左上角坐标及宽高值,实现细胞的初步检测。
再进一步,在RPN网络之后加入ROI池化层,固定候选区域的大小,即保证图像的完整性又保留图像的原始信息;再将获得的候选区域特征图输入到两支路:左支路通过全连接层和softmax计算每个候选区域属于每个类别的概率值;右支路通过全连接层和回归算法得到每个候选区域的目标检测框。
更进一步,所述步骤3中,利用CSA算法对癌细胞的黏连区域进行再检测,包括以下步骤:
3.1)确定黏连细胞区域:首先根据癌细胞之间的距离来确定哪些区域存在黏连细胞;
3.2)得到二值图像:再根据阈值分割的方法得到黏连区域的二值图像;
3.3)检测黏连细胞的轮廓:接着使用CSA算法对二值图像进行,检测出黏连细胞的轮廓;
3.4)结合Faster R-CNN检测器进行检测最终判断:最后在得到的细胞轮廓中寻找局部极大值点,这些局部最大值点即为细胞的中心点,根据CSA算法得到的中心点与FasterR-CNN检测器得到的候选框中心点进行结合判断,实现细胞的最终检测。
所述步骤3中,CSA算法借鉴霍夫变换,霍夫变换检测圆的数学原理为:
x=x0+rcosθ
y=y0+rsinθ
该极坐标方程将每个像素点转换到极坐标,其中(x0,y0)表示每个圆的中心像素点;r为每个圆的半径值;θ表示旋转角度,取值范围为(0~360°)。在已知图像的像素点,圆半径值和旋转角度条件下,由上极坐标方程可得每个点的坐标,同时中心点处的坐标值必定最强。
霍夫变换步骤为:
step1将图像像素从2D空间坐标变换到极坐标空间;
step 2在极坐标空间将各点强度归一化到0-255之间;
step 3根据极坐标的R值与输入参数相等来寻找2D空间的像素点;
step 4对找到的空间像素点赋予红色结果颜色;
step 5返回2D空间像素集合的结果。
所以利用CSA算法,可以得到癌细胞圆心及癌细胞的轮廓圆,得到检测结果;最后将检测结果结合Faster R-CNN深度检测器的检测结果,将两个结果进行对比结合得到最终的癌细胞检测结果。
本发明的技术构思为:本发明将基于Faster R-CNN并在此基础上进行改进,得到一种新型的癌细胞检测算法。首先对癌细胞数据集进行人工标签,送入深度检测器进行癌细胞的初检测,再对检测结果进行分析,得到癌细胞的黏连区域,再运用新型算法对黏连区域进行再检测,最终综合深度检测器和新型算法的检测结果,得到最终的癌细胞检测结果。其优势在于不仅能在复杂的背景中识别小且繁多的癌细胞,还能预测每个癌细胞所在位置,同时加入的新型算法还能解决因癌细胞在运动过程中出现的***重叠、黏连及遮挡等情况造成的难检测问题,最终保证专业人员在分析癌细胞生命状态或药物反应,进行病理分析或药物试验时的低成本、快速性及准确性。
本发明的有益效果主要表现在:本发明具体通过深度学习中Faster R-CNN网络来实现细胞的初检测,再利用扫描圆算法(Circle Scanning Algorithm:CSA)来检测细胞的轮廓,实现黏连区域细胞的再检测,最后结合Faster R-CNN深度检测器和CSA算法两者的检测结果,分析得到最终细胞的检测结果,从而提高细胞的整体检测精度。
附图说明
图1为本发明所述细胞检测方法的流程图。
图2为本发明所述Faster R-CNN统一的网络结构示意图。
图3为Faster R-CNN深度检测器之后的检测结果示意图。
图4为从左到右分别为黏连区域细胞的二值图、CSA算法得到的检测结果、FasterR-CNN深度检测器的检测结果、Faster R-CNN深度检测器结合CSA算法得到的检测结果图。
图5为CSA算法得到的细胞二值图像轮廓示意图。
图6为CSA算法得到的细胞二值图像所有细胞中心点示意图。
图7为Faster R-CNN深度检测器与CSA算法结合的连续四帧检测整体结果示意图。
图8为Faster R-CNN深度检测器与结合Faster R-CNN深度检测器和CSA算法在整体测试集上的RP曲线对比图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图8,一种基于Faster R-CNN的癌细胞检测方法,包括以下步骤:
步骤1,对数据进行预处理。对数据集进行人工标定,将数据集做成pascal_voc数据集格式。人工标定的目的是得到图片标签,标签为每张图片中癌细胞目标所在位置的左上角和右上角坐标和目标的类别。
步骤2,对数据进行初步检测。将所述数据集和图片标签作为深度学习Faster R-CNN神经网络的训练集,结合RPN及Fast R-CNN卷积神经网络对数据进行训练,得到最终癌细胞的初检测模型。
步骤3,对数据进行再检测。得到的最终癌细胞初检测模型对癌细胞的黏连区域检测精度并不高,再结合CSA(Circle Scanning Algorithm)算法进行癌细胞的再检测,得到的检测结果结合初检测结果,分析得到最终的癌细胞检测结果。
进一步,所述步骤2中,癌细胞的初检测包括以下步骤:
数据集的制作:本发明采用pascal_voc的数据集格式,最开始对细胞数据集进行人工标注,得到带有标签的图片作为网络的训练集;
细胞的初检测:本发明采用Faster R-CNN算法,该算法主要包括RPN(RegionProposal Network)卷积神经网络和Fast R-CNN卷积神经网络,Faster R-CNN网络中RPN和Fast R-CNN卷积神经网络通过交替训练阶段完成卷积层共享特征图,实现了一个端到端的目标检测框架。所以细胞的检测过程分为两部分:建议区域的产生;建议区域的检测。
其中建议区域的产生主要是训练RPN网络负责寻找图片中区域建议框,得到建议区域。RPN卷积神经网络为Faster R-CNN网络的创新点,用RPN快速神经网络代替之前速度慢的SS(selective search)搜索算法,主要通过一系列卷积、池化等操作从输入的图片中快速生成一批候选区域。网络结构为:前五层基于ZF网络,通过五层卷积和两层池化得到最后的卷积特征图;ZF网络之后是一层卷积层和两条卷积输出支路:左支路输出候选区域为目标的概率值;右支路输出box相关的参数,包括box的左上角坐标、宽w和长h。RPN网络核心是anchor机制,anchor机制是用来解决感受野中目标大小不同及长宽比例不一的问题,通过滑窗在卷积特征图上的滑动,以中心像素为基点,利用9个(大小128、256、512,宽高比1:1、2:1、1:2)anchor映射到原图,生成大约2万个可能的区域,该区域即为region proposal,同时每个区域由两部分组成:该区域属于每个类别的概率;该区域边界框左上角和长宽的坐标值。
同时建议区域的检测主要是判定目标所属的类别及确定目标的位置。通过RPN网络得到大量候选区域之后,将所得候选区域输入到Fast R-CNN网络,其中Fast R-CNN神经网络实现建议区域候选框的微调及候选框中细胞类别的确定,主要得到两个输出:clsscore(分类的各类别概率值)和bbox(目标框的左上角坐标及宽高值)实现细胞的初步检测。这里需要注意的是Fast R-CNN网络中全连接层的输入必须为固定相同大小的图像尺寸,而RPN网络得到的候选区域大小形状不同,所以在RPN网络之后加入ROI池化层,固定候选区域的大小,即保证图像的完整性又保留图像的原始信息。再将获得的候选区域特征图输入到两支路:左支路通过全连接层和softmax计算每个候选区域属于每个类别的概率值;右支路通过全连接层和回归算法得到每个候选区域的目标检测框。
细胞属于非刚性细胞,在运动过程中主要存在***和移动两大动作,而***和移动必定伴随着重叠和遮挡的问题,该问题会增加细胞的检测难度。本发明为解决该问题,提出一种新型的检测算法,来实现细胞在黏连环境下检测的高精度。所述步骤3中,癌细胞的再检测包括以下步骤:
3.1)确定黏连细胞区域:首先根据癌细胞之间的距离来确定哪些区域存在黏连细胞;
3.2)得到二值图像:再根据阈值分割的方法得到黏连区域的二值图像;
3.3)检测黏连细胞的轮廓:接着使用CSA算法对二值图像进行,检测出黏连细胞的轮廓;
3.4)结合Faster R-CNN检测器进行检测最终判断:最后在得到的细胞轮廓中寻找局部极大值点,这些局部最大值点即为细胞的中心点,根据CSA算法得到的中心点与FasterR-CNN检测器得到的候选框中心点进行结合判断,实现细胞的最终检测。
本发明以剑桥大学肿瘤研究所提供的一组膀胱癌T24相称显微细胞图片序列为研究对象,完成了对癌细胞的检测及癌细胞中黏连区域的再检测,为后期癌细胞生命的分析等奠定了良好的基础。
本发明癌细胞的初步检测使用的是Faster R-CNN网络,该网络由一个RPN卷积神经网络和一个Fast R-CNN卷积神经网络组成,其中RPN卷积神经网络处理的是回归问题,在本发明中主要负责获得图片中癌细胞的候选区域;Fast R-CNN卷积神经网络处理的是分类问题,在发明中负责对RPN获取的候选区域进行进一步的筛选,再判别候选区域属于前景还是背景。本发明癌细胞中黏连区域的再检测使用的是CSA算法,该算法首先利用阈值分割的方法得到细胞粘连区域的分割图像,然后借鉴霍夫圆(hough circle)算法设计了扫描圆算法CSA来检测细胞的轮廓,最后结合深度检测器与CSA算法的检测结果进行最终的判断。
如图1所示,本发明采用的是Faster R-CNN算法,将事先人工做好标注和标签的任意大小的图片作为网络的输入训练集,再训练RPN卷积神经网络来获取处理的训练集图片中癌细胞的候选区域,然后将癌细胞候选区域送入训练好的Fast R-CNN卷积神经网络中做分类工作,根据Fast R-CNN卷积神经网络的输出向量判别癌细胞的候选区域是否属于最佳癌细胞区域,若为最佳候选区域,则得到癌细胞初步检测的结果。得到初步检测结果图之后,通过计算癌细胞间的距离来确定癌细胞的黏连区域,利用CSA算法对黏连区域进行癌细胞的再检测,得到CSA算法下癌细胞的中心点及细胞圆轮廓,将得到的中心点与Faster R-CNN检测器得到的结果框中心点进行结合判断,得到黏连区域癌细胞的最终目标框。
如图2所示,在本发明中采用的Faster R-CNN网络包括RPN卷积神经网络和FastR-CNN卷积神经网络两部分,RPN卷积神经网络前五层借用ZF网络,后接两个全连接层进行分类和回归的输出,Fast R-CNN卷积神经网络包括五个卷积层、一个ROI池化层,两个全连接进行分类和回归的输出。
在生成的最终Faster R-CNN模型中,遵循多任务损失函数来最小化目标函数,具体将分类和回归的Loss函数值进行叠加,模型好坏的指标为Loss函数值的大小,用Loss函数来评价模型的预测值与真实值之间的差异程度。
Loss函数表达式为:
其中分类损失函数表达式和回归损失函数表达式分别为:
Lcls(pi,pi*)=-log[pi *pi+(1-pi *)(1-pi)]
Lreg(ti,ti*)=R(ti-ti *)
回归损失函数表达式中R表示smooth的L1-loss:
Pi表示第i个anchor是目标的预测概率值;
pi*表示图片是目标的概率值:
ti={tx,ty,tw,th},(tx,ty)表示预测边界框左上角坐标,tw表示预测边界框长,th表示预测边界框高;ti *表示每个正标签对应的GT包围框的四个参数化坐标;Ncls、Nreg分别表示分类层和回归层的归一化;λ表示平衡权重。
并不是RPN网络得到的2万多个候选区域都输入到Fast R-CNN网络,因为这些候选区域中存在很多重叠框,可以通过非极大值抑制(NMS)方法降低候选框冗余度,如只保留IoU不超过0.7的候选框,通过这种初步筛选得到2000个候选框,再取前N个候选框(如300个)输入到Fast R-CNN网络进行类别的判定和目标框位置的确定。
IoU表示同一候选区域的两个bounding box的重叠度:
IoU=(A∩B)/(A∪B)
即矩形框A、B的重叠面积占A、B并集的面积比例:
IoU=Si/(SA+SB-Si)
其中SA表示A边界框的面积、SB表示B边界框的面积、Si表示A边界框与B边界框的交集面积。
如图3所示,Faster R-CNN深度检测器在癌细胞的分散处有较好的检测效果,但图3检测框表明只使用Faster R-CN深度检测器在黏连区域处的癌细胞不能得到很好的检测。分析出现这种情况的主要有两个原因:一方面是由于细胞的粘连增加了网络区分前景和背景的难度;另一方面粘连细胞的训练数据量也相对分散细胞较少,没有对黏连区域癌细胞得到充分的训练。如图3的检测框中所示,较小的细胞出现完全重叠在其它细胞范围内的情况,增加了检测的难度,为解决这个问题,本发明提出将CSA算法加入Faster R-CNN深度检测器,实现在黏连细胞环境下检测的高精度性。
CSA算法主要分为:得到图片的二值图像;在二值图像上应用CSA算法,得到一个类似于霍夫圆算法中的参数平面(BWpara);接着在BWpara中寻找局部极大值点,对局部极大值点周围距离小于阈值r的所有参数置零,重复这个操作直到参数平面中的非零点只有距离局部极大值点;然后假设这些局部极大值点就是细胞的中心点,最后综合判断深度检测器和所提出的CSA算法的结果。
CSA算法在二值图像上,利用癌细胞间的距离判定癌细胞的黏连区域,如图4(a)所示;再借鉴霍夫圆算法,霍夫圆算法主要检测半径大小符合的圆的个数,霍夫变换的数学原理为:
x=x0+rcosθ
y=y0+rsinθ
该极坐标方程将每个像素点转换到极坐标,其中(x0,y0)表示每个圆的中心像素点;r为每个圆的半径值;θ表示旋转角度,取值范围为(0~360°)。在已知图像的像素点,圆半径值和旋转角度条件下,由上极坐标方程可得每个点的坐标,同时中心点处的坐标值必定最强。
霍夫变换步骤为:
step1将图像像素从2D空间坐标变换到极坐标空间;
step 2在极坐标空间将各点强度归一化到0-255之间;
step 3根据极坐标的R值与输入参数相等来寻找2D空间的像素点;
step 4对找到的空间像素点赋予红色结果颜色;
step 5返回2D空间像素集合的结果。
所以利用CSA算法,可以得到癌细胞圆心及癌细胞的轮廓圆,得到检测结果,如图4(b)所示;最后将检测结果结合Faster R-CNN深度检测器的检测结果,如图4(c)所示,将两个结果进行对比结合得到最终的癌细胞检测结果,如图4(d)所示。
图5为在整张癌细胞图运用CSA算法之后得到的癌细胞轮廓示意图,图6位整张癌细胞图运用CSA算法之后得到的癌细胞中心点示意图,图7表明本发明将Faster R-CNN深度检测器和CSA算法结合,对图像中的分散细胞和粘连细胞都可取得优秀的检测效果。
如表1所示,
表1
将Faster R-CNN深度检测器和CSA算法结合在黏连区域癌细胞的检测在多个指标上都得到很大的提升。本发明采用的检测指标有Precision准确率、Recall召回率、AP值和AUC,下面介绍检测指标的含义:
TP:预测为1(Positive),实际也为1(Truth-预测对了);
TN:预测为0(Negative),实际也为0(Truth-预测对了);
FP:预测为1(Positive),实际为0(False-预测错了);
FN:预测为0(Negative),实际为1(False-预测错了);
Precision准确率(查准率):表示检测出来的条目中有多少是准确的;
Precision=TP/(TP+FP)
Recall召回率(又叫查全率):表示准确的条目中有多少是被检测出来的;
Recall=TP/(TP+FN)
AP值(Average Precision):精度均值,反应全局性能的指标,为RP曲线(Precision-Recall)的面积值;
AUC(Area Under roc Curve):是一种用来度量分类模型好坏的一个标准,表示ROC曲线的面积,ROC为Receiver Operating Characteristic,ROC曲线的横坐标是falsepositiverate(FPR),纵坐标是true positive rate(TPR)。
TPR表示在所有实际为正样本中,被正确地判断为正样本的比率。
FPR表示在所有实际为负样本中,被错误地判断为正样本的比率。
如图8所示为整体数据集上,单用Faster R-CNN深度检测器和将Faster R-CNN深度检测器与CSA算法结合的RP曲线对比图,可看出本发明的基于深度学习的新型算法检测效果更好。
Claims (1)
1.一种基于Faster R-CNN的癌细胞检测方法,其特征在于,所述方法包括以下步骤:
步骤1,对数据进行预处理,对数据集进行人工标定,将数据集做成pascal_voc数据集格式,人工标定的目的是得到图片标签,标签为每张图片中癌细胞目标所在位置的左上角和右上角坐标和目标的类别;
步骤2,对数据进行初步检测,将所述数据集和图片标签作为深度学习Faster R-CNN神经网络的训练集,结合RPN及Fast R-CNN卷积神经网络对数据进行训练,得到最终癌细胞的初检测模型;
步骤3,对数据进行再检测,结合CSA算法进行癌细胞的再检测,得到的检测结果结合初检测结果,分析得到最终的癌细胞检测结果;
所述步骤2中,Faster R-CNN网络训练过程中RPN神经网络与Fast R-CNN神经网络共享卷积层,实现了一个端到端的目标检测框架,所以细胞的初步检测过程分为两部分:建议区域的产生和建议区域的检测;
其中建议区域的产生是训练RPN网络负责寻找图片中区域建议框,得到建议区域;网络结构为:前五层基于ZF网络,通过五层卷积和两层池化得到最后的卷积特征图;ZF网络之后是一层卷积层和两条卷积输出支路:左支路输出候选区域为目标的概率值;右支路输出box相关的参数,包括box的左上角坐标、宽w和长h;RPN网络核心是anchor机制,anchor机制是用来解决感受野中目标大小不同及长宽比例不一的问题,通过滑窗在卷积特征图上的滑动,以中心像素为基点,利用9个anchor映射到原图,生成可能的区域,该区域即为regionproposal,同时每个区域由两部分组成:该区域属于每个类别的概率;该区域边界框左上角和长宽的坐标值;
同时建议区域的检测是判定目标所属的类别及确定目标的位置,通过RPN网络得到候选区域之后,将所得候选区域输入到Fast R-CNN网络,其中Fast R-CNN神经网络实现建议区域候选框的微调及候选框中细胞类别的确定,得到两个输出:cls score,即分类的各类别概率值和bbox,即目标框的左上角坐标及宽高值,实现细胞的初步检测;
在RPN网络之后加入ROI池化层,固定候选区域的大小,既保证图像的完整性又保留图像的原始信息;再将获得的候选区域特征图输入到两支路:左支路通过全连接层和softmax计算每个候选区域属于每个类别的概率值;右支路通过全连接层和回归算法得到每个候选区域的目标检测框;
所述步骤3中,利用CSA算法对癌细胞的黏连区域进行再检测,包括以下步骤:
3.1)确定黏连细胞区域:首先根据癌细胞之间的距离来确定哪些区域存在黏连细胞;
3.2)得到二值图像:再根据阈值分割的方法得到黏连区域的二值图像;
3.3)检测黏连细胞的轮廓:接着使用CSA算法对二值图像进行,检测出黏连细胞的轮廓;
3.4)结合Faster R-CNN检测器进行检测最终判断:最后在得到的细胞轮廓中寻找局部极大值点,这些局部极大值点即为细胞的中心点,根据CSA算法得到的中心点与Faster R-CNN检测器得到的候选框中心点进行结合判断,实现细胞的最终检测;
所述步骤3中,CSA算法借鉴霍夫变换,霍夫变换检测圆的数学原理为:
x=x0+rcosθ
y=y0+rsinθ
该极坐标方程将每个像素点转换到极坐标,其中(x0,y0)表示每个圆的中心像素点;r为每个圆的半径值;θ表示旋转角度,取值范围为(0~360°),在已知图像的像素点,圆半径值和旋转角度条件下,由上极坐标方程可得每个点的坐标,同时中心点处的坐标值必定最强;
霍夫变换步骤为:
step 1将图像像素从2D空间坐标变换到极坐标空间;
step 2在极坐标空间将各点强度归一化到0-255之间;
step 3根据极坐标的R值与输入参数相等来寻找2D空间的像素点;
step 4对找到的空间像素点赋予红色结果颜色;
step 5返回2D空间像素集合的结果;
所以利用CSA算法,可以得到癌细胞圆心及癌细胞的轮廓圆,得到检测结果;最后将检测结果结合Faster R-CNN深度检测器的检测结果,将两个结果进行对比结合得到最终的癌细胞检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810174376.2A CN108550133B (zh) | 2018-03-02 | 2018-03-02 | 一种基于Faster R-CNN的癌细胞检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810174376.2A CN108550133B (zh) | 2018-03-02 | 2018-03-02 | 一种基于Faster R-CNN的癌细胞检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108550133A CN108550133A (zh) | 2018-09-18 |
CN108550133B true CN108550133B (zh) | 2021-05-18 |
Family
ID=63516417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810174376.2A Active CN108550133B (zh) | 2018-03-02 | 2018-03-02 | 一种基于Faster R-CNN的癌细胞检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108550133B (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109285166B (zh) * | 2018-09-20 | 2023-03-31 | 伍业峰 | 基于全卷积网络的交叠、粘连染色体自动分割方法 |
CN109492636B (zh) * | 2018-09-30 | 2021-08-03 | 浙江工业大学 | 基于自适应感受野深度学习的目标检测方法 |
CN109376619B (zh) * | 2018-09-30 | 2021-10-15 | 中国人民解放军陆军军医大学 | 一种细胞检测方法 |
CN109870138A (zh) * | 2018-11-07 | 2019-06-11 | 五邑大学 | 一种基于深度学习的天线下倾角测量方法 |
CN109544526B (zh) * | 2018-11-15 | 2022-04-26 | 首都医科大学附属北京友谊医院 | 一种慢性萎缩性胃炎图像识别***、装置和方法 |
CN109813276B (zh) * | 2018-12-19 | 2021-01-26 | 五邑大学 | 一种基站天线下倾角测量方法及其*** |
CN110674669B (zh) * | 2019-03-12 | 2021-09-03 | 浙江大学 | 一种复杂背景下的特定圆识别方法 |
CN109949297B (zh) * | 2019-03-20 | 2023-02-21 | 天津工业大学 | 基于Reception和Faster R-CNN的肺结节检测方法 |
CN110189292A (zh) * | 2019-04-15 | 2019-08-30 | 浙江工业大学 | 一种基于Faster R-CNN和密度估计的癌细胞检测方法 |
CN110033042A (zh) * | 2019-04-15 | 2019-07-19 | 青岛大学 | 一种基于深度神经网络的直肠癌环周切缘mri图像自动识别方法及*** |
CN110059672B (zh) * | 2019-04-30 | 2022-06-14 | 福州大学 | 一种对显微镜细胞图像检测模型进行增类学习的方法 |
CN110110799B (zh) * | 2019-05-13 | 2021-11-16 | 广州锟元方青医疗科技有限公司 | 细胞分类方法、装置、计算机设备和存储介质 |
CN110211097B (zh) * | 2019-05-14 | 2021-06-08 | 河海大学 | 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 |
CN110263656B (zh) * | 2019-05-24 | 2023-09-29 | 南方科技大学 | 一种癌细胞识别方法、装置和*** |
CN110363218B (zh) * | 2019-06-06 | 2023-07-11 | 张孝东 | 一种胚胎无创评估方法及装置 |
CN110232365B (zh) * | 2019-06-19 | 2021-08-24 | 清华大学 | 细胞图像中细胞轮廓弯曲程度的衡量方法、***及介质 |
CN112132166B (zh) * | 2019-06-24 | 2024-04-19 | 杭州迪英加科技有限公司 | 一种数字细胞病理图像智能分析方法、***及装置 |
TWI781408B (zh) * | 2019-11-27 | 2022-10-21 | 靜宜大學 | 利用高光譜資料分析技術之人工智慧的細胞檢測方法及其系統 |
CN111160135A (zh) * | 2019-12-12 | 2020-05-15 | 太原理工大学 | 基于改进的Faster R-cnn的尿红细胞病变识别与统计方法和*** |
CN111597922B (zh) * | 2020-04-28 | 2024-05-28 | 腾讯医疗健康(深圳)有限公司 | 细胞图像的识别方法、***、装置、设备及介质 |
CN111652927B (zh) * | 2020-05-11 | 2023-12-19 | 广东亿云付科技有限公司 | 一种基于cnn的癌细胞多尺度缩放定位检测方法 |
CN112069874B (zh) * | 2020-07-17 | 2022-07-05 | 中山大学 | 胚胎光镜图像中细胞的识别方法及***、设备及存储介质 |
CN112183527A (zh) * | 2020-09-21 | 2021-01-05 | 海南师范大学 | 基于FastR-CNN的热带水果果皮图像识别方法 |
CN112819821B (zh) * | 2021-03-01 | 2022-06-17 | 南华大学 | 一种细胞核图像检测方法 |
CN113888474B (zh) * | 2021-09-10 | 2024-05-31 | 北京邮电大学 | 一种目标细胞的智能检测方法 |
-
2018
- 2018-03-02 CN CN201810174376.2A patent/CN108550133B/zh active Active
Non-Patent Citations (3)
Title |
---|
基于图像分析的未系安全带自动检测方法研究;程伟;《沈阳理工大学》;20170515;正文23页 * |
基于相衬显微序列图像的癌细胞检测与多目标跟踪;张俊康;《浙江工业大学》;20170517;正文7、21-30页 * |
张俊康.基于相衬显微序列图像的癌细胞检测与多目标跟踪.《浙江工业大学》.2017,正文7、21-30页. * |
Also Published As
Publication number | Publication date |
---|---|
CN108550133A (zh) | 2018-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108550133B (zh) | 一种基于Faster R-CNN的癌细胞检测方法 | |
CN109685776B (zh) | 一种基于ct图像的肺结节检测方法及*** | |
CN110428432B (zh) | 结肠腺体图像自动分割的深度神经网络算法 | |
CN107016665B (zh) | 一种基于深度卷积神经网络的ct肺结节检测方法 | |
Wan et al. | Accurate segmentation of overlapping cells in cervical cytology with deep convolutional neural networks | |
CN108376400B (zh) | 一种骨髓细胞自动分类方法 | |
CN113344849B (zh) | 一种基于YOLOv5的微***检测*** | |
CN110853011B (zh) | 用于肺结节检测的卷积神经网络模型的构建方法 | |
US10121245B2 (en) | Identification of inflammation in tissue images | |
CN109948522B (zh) | 一种基于深度神经网络的x光片手骨成熟度判读方法 | |
CN109447065A (zh) | 一种乳腺影像识别的方法及装置 | |
CN107369158B (zh) | 基于rgb-d图像的室内场景布局估计及目标区域提取方法 | |
CN106462746A (zh) | 分析数字全息显微术数据以用于血液学应用 | |
CN108765386A (zh) | 一种隧道裂缝检测方法、装置、电子设备及存储介质 | |
CN111626993A (zh) | 一种基于嵌入式FEFnet网络的图像自动检测计数方法及*** | |
CN109363698A (zh) | 一种乳腺影像征象识别的方法及装置 | |
CN111950488A (zh) | 一种改进的Faster-RCNN遥感图像目标检测方法 | |
CN112149620A (zh) | 基于无锚点的自然场景文字区域检测模型的构建方法 | |
CN108665483B (zh) | 一种基于多特征融合的癌细胞跟踪方法 | |
Pan et al. | SMILE: Cost-sensitive multi-task learning for nuclear segmentation and classification with imbalanced annotations | |
Ferlaino et al. | Towards deep cellular phenotyping in placental histology | |
CN115345894B (zh) | 一种焊缝射线检测图像分割方法 | |
CN109584206B (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
Razavi et al. | MiNuGAN: Dual segmentation of mitoses and nuclei using conditional GANs on multi-center breast H&E images | |
US20240232627A1 (en) | Systems and Methods to Train A Cell Object Detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |