CN112164077A - 基于自下而上路径增强的细胞实例分割方法 - Google Patents
基于自下而上路径增强的细胞实例分割方法 Download PDFInfo
- Publication number
- CN112164077A CN112164077A CN202011019366.5A CN202011019366A CN112164077A CN 112164077 A CN112164077 A CN 112164077A CN 202011019366 A CN202011019366 A CN 202011019366A CN 112164077 A CN112164077 A CN 112164077A
- Authority
- CN
- China
- Prior art keywords
- network
- branch
- mask
- dimension
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000012360 testing method Methods 0.000 claims abstract description 33
- 238000012795 verification Methods 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000010586 diagram Methods 0.000 claims description 28
- 230000002708 enhancing effect Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 230000037361 pathway Effects 0.000 claims 2
- 238000010276 construction Methods 0.000 abstract 1
- 210000004027 cell Anatomy 0.000 description 32
- 210000004872 soft tissue Anatomy 0.000 description 4
- 210000002919 epithelial cell Anatomy 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000004969 inflammatory cell Anatomy 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 210000005170 neoplastic cell Anatomy 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 210000004881 tumor cell Anatomy 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种基于自下而上路径增强的细胞实例分割方法，由数据预处理、构建实例分割网络、训练实例分割网络、保存模型、验证实例分割网络、测试实例分割网络步骤组成。采用构建实例分割网络步骤中的主干网分支来提取图片中的特征，预测头分支生成实例的定位、分类、掩码系数信息，原型掩码分支生成原型掩码，通过线性结合掩码系数与原型掩码，对图片中的细胞进行实例分割。本发明与现有的Yolact方法相比，通过改进构建实例分割网络中的特征融合部分，充分利用了图片中信息，提高了物体的定位、分类的准确率，可用于细胞的定位、分类与实例分割。
Description
技术领域
本发明属于计算机视觉技术领域，具体地涉及到图片中的细胞分类、定位与实例分割。
背景技术
实例分割是目标检测和语义分割的结合，在图像中将目标检测出来，然后对每个像素打上标签；随着互联网的发展和个人智能移动设备的大量增加，人们正产生、存储和使用大量的图片；实例分割技术在计算机视觉中是基础而又具有挑战性的。由于其广泛的应用场景和研究价值，该技术在学术界和工业界均引起了越来越多的关注。
目前主流的物体实例分割方法可以分成两大类别：基于ROI的自上而下的方法(如Mask R-CNN)和基于逐像素聚类、自下而上的方法，这些方法存在的主要问题是多阶段、多超参数、分割结果不够精细等问题。
在细胞实例分割技术领域，当前需解决的一个技术问题是提供一种方法简单、定位速度快、定位精度高的细胞实例分割方法。
发明内容
本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种方法简单、定位速度快、定位精度高的基于自下而上路径增强的细胞实例分割方法。
解决上述技术问题所采用的技术方案是由下述步骤组成：
(1)数据预处理
从PanNuke数据集中取原始图片分为验证集、测试集、训练集，验证集与测试集、训练集的数量比为1：1：4，训练集、验证集、测试集中的图片大小为550×550像素，将训练集、验证集、测试集图片中的每个细胞提取出来生成新的包含单个细胞的掩码图片，掩码图片的大小为550×550像素，用pycocotools工具将训练集、验证集、测试集中的图片和对应数据集的掩码图片转化为标签文件。
(2)构建实例分割网络
实例分割网络由主干网分支(1)、预测头分支(2)、原型掩码分支(3)连接构成，主干分支(1)的输出与预测头分支(2)和原型掩码分支(3)中的输入相连，主干网分支(1)、预测头分支(2)、原型掩码分支(3)的构建方法如下：
1)构建主干网分支
a特征金字塔网络提取特征图
将训练集中的每张图片输入到特征金字塔网络的基础特征提取网络(1-1)中提取特征图，得到基础特征图集合{C1，C2，C3，C4，C5}。
b融合特征图
将基础特征图集合{C1，C2，C3，C4，C5}输入到特征金字塔网络(1-2)中，进行特征融合，得到融合特征图集合{P3，P4，P5，P6，P7}，用最近邻上采样法进行上采样，得到256通道的特征图集合，在特征金字塔网络输出的特征图上依次连接5个卷积核大小为3×3、步长为2的卷积层，构成路径增强网络(1-3)，由下式得到路径增强网络特征图集合{N3，N4，N5，N6，N7}，构建成主干网分支(1)。
式中R为rule激活函数，C3为卷积核大小为3×3、步长为2的卷积层，U为矩阵相加，i∈{3，4，5，6，7}。
2)构建预测头分支
预测头分支包括定位分支、分类分支、掩码系数分支。
a构建定位分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经2次卷积核大小为3×3、步长为1的卷积操作，得到(A×S，Lj，Lj)的特征图，将(A×S，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×S)的特征图，再将(Lj，Lj，A×S)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，S)的预测结果，其中A为每个像素点设置的3个锚，S为锚的中心点和左上角点的坐标；将得到的(Lj×Lj×A，S)预测结果的第一维进行列拼接操作，得到(C，S)的定位结果，其中C由下式确定：
式中Lj∈{69,35,18,9,5}，j∈{1,2,3,4,5}，构建成定位分支(2-3)。
b构建分类分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×D，Lj，Lj)的特征图，将(A×D，Lj，Lj)特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×D)的特征图，再将(Lj，Lj，A×D)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，D)的预测结果，其中D表示训练集中离体的细胞类别数，将得到的(Lj×Lj×A，D)预测结果的第一维进行列拼接操作，得到(C，D)的分类结果，构建成分类分支(2-4)。
c构建掩码系数分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×K，Lj，Lj)的特征图，将(A×K，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj,A×K)的特征图，再将(Lj，Lj，A×K)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，K)的预测结果，其中K是生成掩码系数的个数，K为32或64；将得到的(Lj×Lj×A，K)预测结果的第一维进行列拼接操作，得到(C，K)的掩码系数，构建成掩码系数分支(2-5)。
3)构建原型掩码分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的N3输入卷积层(3-1)、卷积层3-2)，经卷积核大小为3×3、步长为1的卷积操作，用最近邻上采样法将卷积后的N3上采样到原始图片尺寸的1/4，经2次重复的卷积层(3-3)、(3-4)，得到(32,138,138)的特征图，将(32,138,138)的特征图的第一维与第三维进行位置交换，得到(138，138，32)的原型掩码P，构建成原型掩码分支(3)；
(3)训练实例分割网络
(a)确定损失函数
损失函数Loss包括类别损失、预测框回归损失、掩码损失，损失函数loss由下式确定：
Loss＝αLcls+βLbox+θLmask
式中α、β、θ为三个损失的不同权重，分别为1、1.5、6.125。
(b)训练实例分割网络
将训练集、对应的标签文件、ImageNet网络上的预训练模型输入到实例分割网络中进行训练，在训练过程中，设定实例分割网络的学习率γ为0.0001，优化器设定为自适应矩估计优化器，迭代M次，每次迭代使用图片的数量为B，M和B为有限正整数，训练至实例分割网络的损失函数Loss收敛。
(4)保存权重文件
每迭代F次保存1次权重文件，其中F≤M，得到保存权重文件。
(5)验证实例分割网络
将验证集和对应的标签文件输入到实例分割网络中进行验证，网络每F次进行一次验证。
(6)测试实例分割网络
将保存权重文件、测试数据集以及对应的标签文件输入到实例分割网络中进行测试，按下式得到实例掩码Q：
Q＝σ(PWT)
式中P为原型掩码，W为经过非极大值抑制和得分阈值处理后保留N×K大小的掩码系数，N为保留的掩码系数的个数，T为矩阵的转置，σ为sigmoid非线性激活函数，用构建预测头分支步骤(2)得到的(C，S)的定位结果对实例掩码Q进行裁剪和阈值为0.5的阈值化处理，得到细胞的实例分割。
在本发明的训练实例分割网络步骤(3)中，所述的迭代次数M最佳为200000，B最佳为8。
在本发明的保存权重文件步骤(4)中，所述的F最佳为10000。
由于本发明采用了将图片数据集分割成训练集、验证集、测试集，并采用了实例分割网络，实例分割网络是在特征金字塔网络上添加了路径增强网络构成，训练集在实例分割网络中进行训练，验证集在训练过程中进行验证，测试集利用保存训练过程中的权重文件进行测试，将图片中的细胞进行实例分割，充分地利用了图片中浅层信息，对图片中的细胞进行实例分割，解决了密集图片实例分割精度低，速度慢的问题。与现有技术相比，本发明具有方法简单、定位速度快、定位精度很高等优点，可对密集图片中的细胞进行实例分割。
附图说明
图1是本发明实施例1的流程图。
图2是本发明实施例1实例分割网络的结构示意图。
图3是PanNuKe数据集中一张医学病理图片。
图4是采用实例1方法对图3的分割结果图。
图5是本发明实施例1方法与Yolact网络的对比实验结果图。
具体实施方式
下面结合附图和实例对本发明进一步详细说明，但本发明不限于下述实施例。
实施例1
以在图片来自PanNuke数据集中取8160张离体的医学病理图片为例，本实施例的基于自下而上路径增强的细胞实例分割方法由下述步骤组成(参见图1)。
(1)数据预处理
从PanNuke数据集中取8160离体的医学病理原始图片，分为验证集、测试集、训练集，验证集与测试集、训练集的数量比为1：1：4，训练集、验证集、测试集中的图片大小为550×550像素，将训练集、验证集、测试集图片中的每个细胞提取出来生成新的包含单个细胞的掩码图片，掩码图片的大小为550×550像素，用pycocotools工具将训练集、验证集、测试集中的图片和对应数据集的掩码图片转化为标签文件。
(2)构建实例分割网络
在图2中，本实施例的实例分割网络由主干网分支(1)、预测头分支(2)、原型掩码分支(3)连接构成，主干分支(1)的输出与预测头分支(2)和原型掩码分支(3)中的输入相连，主干网分支(1)、预测头分支(2)、原型掩码分支(3)的构建方法如下：
1)构建主干网分支
a特征金字塔网络提取特征图
将训练集中的每张图片输入到特征金字塔网络的基础特征提取网络(1-1)中提取特征图，得到基础特征图集合{C1，C2，C3，C4，C5}。
b融合特征图
将基础特征图集合{C1，C2，C3，C4，C5}输入到特征金字塔网络(1-2)中，进行特征融合，得到融合特征图集合{P3，P4，P5，P6，P7}，用最近邻上采样法进行上采样，得到256通道的特征图集合，在特征金字塔网络输出的特征图上依次连接5个卷积核大小为3×3、步长为2的卷积层，构成路径增强网络(1-3)，由下式得到路径增强网络特征图集合{N3，N4，N5，N6，N7}，构建成主干网分支(1)：
式中R为rule激活函数，C3为卷积核大小为3×3、步长为2的卷积层，U为矩阵相加，i∈{3，4，5，6，7}。
2)构建预测头分支
预测头分支包括定位分支、分类分支、掩码系数分支。
a构建定位分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经2次卷积核大小为3×3、步长为1的卷积操作，得到(A×S，Lj，Lj)的特征图，将(A×S，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×S)的特征图，再将(Lj，Lj，A×S)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，S)的预测结果，其中A为每个像素点设置的3个锚，S为锚的中心点和左上角点的坐标；将得到的(Lj×Lj×A，S)预测结果的第一维进行列拼接操作，得到(C，S)的定位结果，其中C由下式确定：
式中Lj∈{69,35,18,9,5}，j∈{1,2,3,4,5}，构建成定位分支(2-3)。
b构建分类分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×D，Lj，Lj)的特征图，将(A×D，Lj，Lj)特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×D)的特征图，再将(Lj，Lj，A×D)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，D)的预测结果，其中D表示训练集中离体的细胞类别数，将得到的(Lj×Lj×A，D)预测结果的第一维进行列拼接操作，得到(C，D)的分类结果，构建成分类分支(2-4)；本实施例的D为5，具体分为：肿瘤细胞(Neoplastic cells)、炎症细胞(Inflammatory)、软组织细胞(Soft tissue cells)、死细胞(Dead Cells)、上皮细胞(Epithelial)。
c构建掩码系数分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×K，Lj，Lj)的特征图，将(A×K，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj,A×K)的特征图，再将(Lj，Lj，A×K)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，K)的预测结果，其中K是生成掩码系数的个数，本实施例的K为32。将得到的(Lj×Lj×A，K)预测结果的第一维进行列拼接操作，得到(C，K)的掩码系数，构建成掩码系数分支(2-5)。
3)构建原型掩码分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的N3输入卷积层(3-1)、卷积层3-2)，经卷积核大小为3×3、步长为1的卷积操作，用最近邻上采样法将卷积后的N3上采样到原始图片尺寸的1/4，经2次重复的卷积层(3-3)、(3-4)，得到(32,138,138)的特征图，将(32,138,138)的特征图的第一维与第三维进行位置交换，得到(138，138，32)的原型掩码P，构建成原型掩码分支(3)。
本发明采用了实例分割网络，是在特征金字塔网络上添加了路径增强网络构成，充分地利用了图片中浅层信息，对图片中的细胞进行实例分割，解决了密集图片实例分割精度低，速度慢的问题。
(3)训练实例分割网络
(a)确定损失函数
损失函数Loss包括类别损失、预测框回归损失、掩码损失，损失函数loss由下式确定：
Loss＝αLcls+βLbox+θLmask
式中α、β、θ为三个损失的不同权重，分别为1、1.5、6.125。
(b)训练实例分割网络
将训练集、对应的标签文件、ImageNet网络上的预训练模型输入到实例分割网络中进行训练，在训练过程中，设定实例分割网络的学习率γ为0.0001，优化器设定为自适应矩估计优化器，迭代M次，每次迭代使用图片的数量为B，M和B为有限正整数，训练至实例分割网络的损失函数Loss收敛。
(4)保存权重文件
每迭代F次保存1次权重文件，其中F≤M，得到保存权重文件；本实施例中F为10000。
(5)验证实例分割网络
将验证集和对应的标签文件输入到实例分割网络中进行验证，网络每F次进行一次验证。
(6)测试实例分割网络
将保存权重文件、测试数据集以及对应的标签文件输入到实例分割网络中进行测试，按下式得到实例掩码Q：
Q＝σ(PWT)
式中P为原型掩码，W为经过非极大值抑制和得分阈值处理后保留N×K大小的掩码系数，N为保留的掩码系数的个数，T为矩阵的转置，σ为sigmoid非线性激活函数，用构建预测头分支步骤(2)得到的(C，S)的定位结果对实例掩码Q进行裁剪和阈值为0.5的阈值化处理。完成对细胞实例分割，图3，图4是PanNuKe数据集中一张医学病理图片，图4是图3的实例分割结果图。由图3、4可见，本发明对离体图片中的混合细胞进行实例分割，分割成肿瘤细胞(Neoplastic cells)、炎症细胞(Inflammatory)、软组织细胞(Soft tissue cells)、死细胞(Dead Cells)、上皮细胞(Epithelial)五种细胞。
由于本发明采用了将图片数据集分割成训练集、验证集、测试集，并采用了实例分割网络，实例分割网络是在特征金字塔网络上添加了路径增强网络构成，训练集在实例分割网络中进行训练，验证集在训练过程中进行验证，测试集采用保存训练过程中的权重文件进行测试，充分地利用了图片中浅层信息，对图片中的细胞进行实例分割，解决了密集图片实例分割精度低，速度慢的技术问题。与现有技术相比，本发明具有方法简单、定位速度快、定位精度很高等优点，可对密集图片中的细胞进行实例分割。
实施例2
以在图片来自PanNuke数据集中取8160张离体的医学病理图片为例，本实施例的基于自下而上路径增强的细胞实例分割方法由下述步骤组成。
(1)数据预处理
该步骤与实施例1相同。
(2)构建实例分割网络
实例分割网络由主干网分支(1)、预测头分支(2)、原型掩码分支(3)连接构成，主干分支(1)的输出与预测头分支(2)和原型掩码分支(3)中的输入相连，主干网分支(1)、预测头分支(2)、原型掩码分支(3)的构建方法如下：
1)构建主干网分支
该步骤与实施例1相同。
2)构建预测头分支
预测头分支包括定位分支、分类分支、掩码系数分支。
a构建定位分支
该步骤与实施例1相同。
b构建分类分支
该步骤与实施例1相同。
c构建掩码系数分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×K，Lj，Lj)的特征图，将(A×K，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj,A×K)的特征图，再将(Lj，Lj，A×K)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，K)的预测结果，其中K是生成掩码系数的个数，本实施例的K为64。将得到的(Lj×Lj×A，K)预测结果的第一维进行列拼接操作，得到(C，K)的掩码系数，构建成掩码系数分支(2-5)。
3)构建原型掩码分支
该步骤与实施例1相同。
其它步骤与实施例1相同，完成对细胞实例分割。
为了验证本发明的有益效果，发明人采用本发明实施例1的方法与yolact网络进行了对比实验，用训练后的模型在PanNuke数据集同样的测试集上使用给定的评估代码测试模型精度，采用非极大值抑制不同交并比阈值的平均正确率mAP作为评价指标，实验结果见图5，在图5中，横坐标表示实例分割的目标定位mAP和实例掩码的mAP评估指标，纵坐标表示不同交并比阈值的平均正确率mAP值。由图5可见，yolact网络的目标定位mAP和实例掩码的mAP分别为32.77％和32.83％，本发明的目标定位mAP和实例掩码的mAP分别为34.03％和34.05％。
Claims (3)
1.一种基于自下而上路径增强的细胞实例分割方法，其特征在于由下述步骤组成；
(1)数据预处理
从PanNuke数据集中取原始图片分为验证集、测试集、训练集，验证集与测试集、训练集的数量比为1：1：4，训练集、验证集、测试集中的图片大小为550×550像素，将训练集、验证集、测试集图片中的每个细胞提取出来生成新的包含单个细胞的掩码图片，掩码图片的大小为550×550像素，用pycocotools工具将训练集、验证集、测试集中的图片和对应数据集的掩码图片转化为标签文件；
(2)构建实例分割网络
实例分割网络由主干网分支(1)、预测头分支(2)、原型掩码分支(3)连接构成，主干分支(1)的输出与预测头分支(2)和原型掩码分支(3)中的输入相连，主干网分支(1)、预测头分支(2)、原型掩码分支(3)的构建方法如下：
1)构建主干网分支
a特征金字塔网络提取特征图
将训练集中的每张图片输入到特征金字塔网络的基础特征提取网络(1-1)中提取特征图，得到基础特征图集合{C1，C2，C3，C4，C5}；
b融合特征图
将基础特征图集合{C1，C2，C3，C4，C5}输入到特征金字塔网络(1-2)中，进行特征融合，得到融合特征图集合{P3，P4，P5，P6，P7}，用最近邻上采样法进行上采样，得到256通道的特征图集合，在特征金字塔网络输出的特征图上依次连接5个卷积核大小为3×3、步长为2的卷积层，构成路径增强网络(1-3)，由下式得到路径增强网络特征图集合{N3，N4，N5，N6，N7}，构建成主干网分支(1)；
式中R为rule激活函数，C3为卷积核大小为3×3、步长为2的卷积层，U为矩阵相加，i∈{3，4，5，6，7}；
2)构建预测头分支
预测头分支包括定位分支、分类分支、掩码系数分支；
a构建定位分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经2次卷积核大小为3×3、步长为1的卷积操作，得到(A×S，Lj，Lj)的特征图，将(A×S，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×S)的特征图，再将(Lj，Lj，A×S)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，S)的预测结果，其中A为每个像素点设置的3个锚，S为锚的中心点和左上角点的坐标；将得到的(Lj×Lj×A，S)预测结果的第一维进行列拼接操作，得到(C，S)的定位结果，其中C由下式确定：
式中Lj∈{69,35,18,9,5}，j∈{1,2,3,4,5}，构建成定位分支(2-3)；
b构建分类分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×D，Lj，Lj)的特征图，将(A×D，Lj，Lj)特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×D)的特征图，再将(Lj，Lj，A×D)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，D)的预测结果，其中D表示训练集中离体的细胞类别数，将得到的(Lj×Lj×A，D)预测结果的第一维进行列拼接操作，得到(C，D)的分类结果，构建成分类分支(2-4)；
c构建掩码系数分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×K，Lj，Lj)的特征图，将(A×K，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj,A×K)的特征图，再将(Lj，Lj，A×K)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，K)的预测结果，其中K是生成掩码系数的个数，K为32或64；将得到的(Lj×Lj×A，K)预测结果的第一维进行列拼接操作，得到(C，K)的掩码系数，构建成掩码系数分支(2-5)；
3)构建原型掩码分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的N3输入卷积层(3-1)、卷积层3-2)，经卷积核大小为3×3、步长为1的卷积操作，用最近邻上采样法将卷积后的N3上采样到原始图片尺寸的1/4，经2次重复的卷积层(3-3)、(3-4)，得到(32,138,138)的特征图，将(32,138,138)的特征图的第一维与第三维进行位置交换，得到(138，138，32)的原型掩码P，构建成原型掩码分支(3)；
(3)训练实例分割网络
(a)确定损失函数
损失函数Loss包括类别损失、预测框回归损失、掩码损失，损失函数loss由下式确定：
Loss＝αLcls+βLbox+θLmask
式中α、β、θ为三个损失的不同权重，分别为1、1.5、6.125；
(b)训练实例分割网络
将训练集、对应的标签文件、ImageNet网络上的预训练模型输入到实例分割网络中进行训练，在训练过程中，设定实例分割网络的学习率γ为0.0001，优化器设定为自适应矩估计优化器，迭代M次，每次迭代使用图片的数量为B，M和B为有限正整数，训练至实例分割网络的损失函数Loss收敛；
(4)保存权重文件
每迭代F次保存1次权重文件，其中F≤M，得到保存权重文件；
(5)验证实例分割网络
将验证集和对应的标签文件输入到实例分割网络中进行验证，网络每F次进行一次验证；
(6)测试实例分割网络
将保存权重文件、测试数据集以及对应的标签文件输入到实例分割网络中进行测试，按下式得到实例掩码Q：
Q＝σ(PWT)
式中P为原型掩码，W为经过非极大值抑制和得分阈值处理后保留N×K大小的掩码系数，N为保留的掩码系数的个数，T为矩阵的转置，σ为sigmoid非线性激活函数，用构建预测头分支步骤(2)得到的(C，S)的定位结果对实例掩码Q进行裁剪和阈值为0.5的阈值化处理，得到细胞的实例分割。
2.根据权利要求1所述的基于自下而上路径增强的细胞实例分割方法，其特征在于：在训练实例分割网络步骤(3)中，所述的迭代次数M为200000，B为8。
3.根据权利要求1所述的基于自下而上路径增强的细胞实例分割方法，其特征在于：在保存权重文件步骤(4)中，所述的F为10000。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011019366.5A CN112164077B (zh) | 2020-09-25 | 2020-09-25 | 基于自下而上路径增强的细胞实例分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011019366.5A CN112164077B (zh) | 2020-09-25 | 2020-09-25 | 基于自下而上路径增强的细胞实例分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112164077A true CN112164077A (zh) | 2021-01-01 |
| CN112164077B CN112164077B (zh) | 2023-12-29 |
Family
ID=73862959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011019366.5A Active CN112164077B (zh) | 2020-09-25 | 2020-09-25 | 基于自下而上路径增强的细胞实例分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112164077B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112484A (zh) * | 2021-04-19 | 2021-07-13 | 山东省人工智能研究院 | 一种基于特征压缩和噪声抑制的心室图像分割方法 |
| CN113569860A (zh) * | 2021-07-29 | 2021-10-29 | 北京地平线信息技术有限公司 | 实例分割方法和实例分割网络的训练方法及其装置 |
| CN114639102A (zh) * | 2022-05-11 | 2022-06-17 | 珠海横琴圣澳云智科技有限公司 | 基于关键点与尺寸回归的细胞分割方法和装置 |
| CN116681892A (zh) * | 2023-06-02 | 2023-09-01 | 山东省人工智能研究院 | 基于多中心PolarMask模型改进的图像精准分割方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007076893A1 (en) * | 2005-12-30 | 2007-07-12 | Telecom Italia S.P.A. | Edge-guided morphological closing in segmentation of video sequences |
| CN101371273A (zh) * | 2005-12-30 | 2009-02-18 | 意大利电信股份公司 | 视频序列的分割 |
| US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
| CN109584248A (zh) * | 2018-11-20 | 2019-04-05 | 西安电子科技大学 | 基于特征融合和稠密连接网络的红外面目标实例分割方法 |
| CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
| CN110378345A (zh) * | 2019-06-04 | 2019-10-25 | 广东工业大学 | 基于yolact实例分割模型的动态场景slam方法 |
| US10467500B1 (en) * | 2018-12-31 | 2019-11-05 | Didi Research America, Llc | Method and system for semantic segmentation involving multi-task convolutional neural network |
| CN110619632A (zh) * | 2019-09-18 | 2019-12-27 | 华南农业大学 | 一种基于Mask R-CNN的芒果实例对抗分割方法 |
| CN111091095A (zh) * | 2019-12-19 | 2020-05-01 | 华中科技大学 | 一种遥感图像中船只目标的检测方法 |
| US10713794B1 (en) * | 2017-03-16 | 2020-07-14 | Facebook, Inc. | Method and system for using machine-learning for object instance segmentation |
| CN111461114A (zh) * | 2020-03-03 | 2020-07-28 | 华南理工大学 | 一种基于分割的多尺度特征金字塔文本检测方法 |
| CN111552300A (zh) * | 2020-06-09 | 2020-08-18 | 南开大学 | 一种基于实例分割和路径规划的农作物采摘*** |
| CN111553414A (zh) * | 2020-04-27 | 2020-08-18 | 东华大学 | 一种基于改进Faster R-CNN的车内遗失物体检测方法 |
| CN111597920A (zh) * | 2020-04-27 | 2020-08-28 | 东南大学 | 一种自然场景下的全卷积单阶段的人体实例分割方法 |
-
2020
- 2020-09-25 CN CN202011019366.5A patent/CN112164077B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101371273A (zh) * | 2005-12-30 | 2009-02-18 | 意大利电信股份公司 | 视频序列的分割 |
| WO2007076893A1 (en) * | 2005-12-30 | 2007-07-12 | Telecom Italia S.P.A. | Edge-guided morphological closing in segmentation of video sequences |
| US10713794B1 (en) * | 2017-03-16 | 2020-07-14 | Facebook, Inc. | Method and system for using machine-learning for object instance segmentation |
| US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
| CN109584248A (zh) * | 2018-11-20 | 2019-04-05 | 西安电子科技大学 | 基于特征融合和稠密连接网络的红外面目标实例分割方法 |
| CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
| US10467500B1 (en) * | 2018-12-31 | 2019-11-05 | Didi Research America, Llc | Method and system for semantic segmentation involving multi-task convolutional neural network |
| CN110378345A (zh) * | 2019-06-04 | 2019-10-25 | 广东工业大学 | 基于yolact实例分割模型的动态场景slam方法 |
| CN110619632A (zh) * | 2019-09-18 | 2019-12-27 | 华南农业大学 | 一种基于Mask R-CNN的芒果实例对抗分割方法 |
| CN111091095A (zh) * | 2019-12-19 | 2020-05-01 | 华中科技大学 | 一种遥感图像中船只目标的检测方法 |
| CN111461114A (zh) * | 2020-03-03 | 2020-07-28 | 华南理工大学 | 一种基于分割的多尺度特征金字塔文本检测方法 |
| CN111553414A (zh) * | 2020-04-27 | 2020-08-18 | 东华大学 | 一种基于改进Faster R-CNN的车内遗失物体检测方法 |
| CN111597920A (zh) * | 2020-04-27 | 2020-08-28 | 东南大学 | 一种自然场景下的全卷积单阶段的人体实例分割方法 |
| CN111552300A (zh) * | 2020-06-09 | 2020-08-18 | 南开大学 | 一种基于实例分割和路径规划的农作物采摘*** |
Non-Patent Citations (5)
| Title |
|---|
| DANIEL BOLYA 等: "YOLACT: Real-Time Instance Segmentation", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
| YOUNGWAN LEE 等: "CenterMask: Real-Time Anchor-Free Instance Segmentation", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| 党倩 等: "基于二级改进LeNet-5的交通标志识别算法", 《陕西师范大学学报(自然科学版)》 * |
| 陈栋 等: "卷积神经网络在炮兵对抗训练***中的应用", 《兵工自动化 》 * |
| 高烨 等: "基于猫群优化算法的图像多阈值分割方法", 《中国体视学与图像分析》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112484A (zh) * | 2021-04-19 | 2021-07-13 | 山东省人工智能研究院 | 一种基于特征压缩和噪声抑制的心室图像分割方法 |
| CN113112484B (zh) * | 2021-04-19 | 2021-12-31 | 山东省人工智能研究院 | 一种基于特征压缩和噪声抑制的心室图像分割方法 |
| CN113569860A (zh) * | 2021-07-29 | 2021-10-29 | 北京地平线信息技术有限公司 | 实例分割方法和实例分割网络的训练方法及其装置 |
| CN113569860B (zh) * | 2021-07-29 | 2024-02-27 | 北京地平线信息技术有限公司 | 实例分割方法和实例分割网络的训练方法及其装置 |
| CN114639102A (zh) * | 2022-05-11 | 2022-06-17 | 珠海横琴圣澳云智科技有限公司 | 基于关键点与尺寸回归的细胞分割方法和装置 |
| CN116681892A (zh) * | 2023-06-02 | 2023-09-01 | 山东省人工智能研究院 | 基于多中心PolarMask模型改进的图像精准分割方法 |
| CN116681892B (zh) * | 2023-06-02 | 2024-01-26 | 山东省人工智能研究院 | 基于多中心PolarMask模型改进的图像精准分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112164077B (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11373305B2 (en) | Image processing method and device, computer apparatus, and storage medium | |
| CN109241982B (zh) | 基于深浅层卷积神经网络的目标检测方法 | |
| CN112164077B (zh) | 基于自下而上路径增强的细胞实例分割方法 | |
| CN112132149B (zh) | 一种遥感影像语义分割方法及装置 | |
| CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
| CN112750129A (zh) | 一种基于特征增强位置注意力机制的图像语义分割模型 | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN112329771B (zh) | 一种基于深度学习的建筑材料样本识别方法 | |
| CN110555461A (zh) | 基于多结构卷积神经网络特征融合的场景分类方法及*** | |
| CN114782355B (zh) | 基于改进vgg16网络的胃癌数字病理切片检测方法 | |
| CN109492610A (zh) | 一种行人重识别方法、装置及可读存储介质 | |
| CN114299305B (zh) | 聚合密集和注意力多尺度特征的显著性目标检测算法 | |
| CN116596966A (zh) | 一种基于注意力和特征融合的分割与跟踪方法 | |
| CN115063833A (zh) | 一种基于图像分层视觉的机房人员检测方法 | |
| CN114972753A (zh) | 基于上下文信息聚合和辅助学习的轻量级语义分割方法及*** | |
| Liu et al. | Student behavior recognition from heterogeneous view perception in class based on 3-D multiscale residual dense network for the analysis of case teaching | |
| CN113111740A (zh) | 一种遥感图像目标检测的特征编织方法 | |
| CN113033371A (zh) | 基于csp模型的多级特征融合行人检测方法 | |
| CN116778164A (zh) | 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法 | |
| TWI809957B (zh) | 物件偵測方法及電子裝置 | |
| CN116758477A (zh) | 一种基于改进YOLOv7模型的后厨人员着装检测方法 | |
| Ni et al. | Enhanced knowledge distillation for face recognition | |
| CN115331047A (zh) | 基于注意力机制的地震图像解释方法 | |
| CN114241470A (zh) | 一种基于注意力机制的自然场景文字检测方法 | |
| Chen et al. | FPAN: fine-grained and progressive attention localization network for data retrieval |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |