CN110580704A - 基于卷积神经网络的et细胞图像自动分割方法及*** - Google Patents

Abstract

本发明提出基于卷积神经网络的ET细胞图像自动分割方法方法及***，包括：获取待图像分割的ET细胞图像作为原始图像，根据预设的原始顺序切分该原始图像，得到多个图像块，利用多个由卷积层构成的下采样模块，对该图像块进行压缩，得到特征小图，使用多个空洞比率相异的卷积核分别对该特征小图进行卷积操作，并将得到的多个操作结果合并为编码特征图；通过多个由卷积层构成的解码模块，对该编码特征图进行解码，得到解码特征图，并根据预设的阈值，将该解码特征图中每个像素值二值化，将二值化后的解码特征图依次按照该原始顺序进行拼接，并将拼接结果作为图像分割结果。

Description

基于卷积神经网络的ET细胞图像自动分割方法及***

技术领域

本发明涉及结构生物学冷冻电镜电子断层成像技术领域和计算机视觉图像分割领域，并特别涉及一种基于卷积神经网络的ET细胞图像自动分割方法及***。

背景技术

电子断层扫描技术(electron tomogram，ET)是一个展示分子分辨率级别生物细胞结构的强大工具。对生物医学研究，准确的定量分析，辅助诊断来说，足够精细的细胞结构分割是至关重要的。在大多数情况下，对ET图像的分割都是由相关领域的专家手工标注，这种做法既费时又费力，在当今这个数据***的时代，每天多会产生海量的生物医学数据，这些数据中包含丰富有价值的信息，从而使得全部手工标注成为不现实的事情。如何从已经带标注的原始 ET数据中提取并学习出有用信息，并针对新的ET图像自动的对像素进行判断和分类从而完成图像分割的主要目的。近些年，作为计算机视觉和图像处理中的一个新的任务，图像分割技术被广泛研究，通过将图像进行逐像素分类，完成对图像的语义级分割。目前，图像分割技术在计算机视觉领域已有较为广泛的研究和应用。但是由于生物细胞的ET图像的信噪比较低且噪声很大，细胞形态结构各异并且变化很大，以及数据量少等因素，使得该领域图像分割任务具有很大的挑战性。

对于一些给定的图像数据，现有的大部分基于深度学***，然而如何对ET图像下的生物细胞数据进行精准分割依旧是一个有挑战性的开放性问题。虽然大部分常规的分割方法也可以被采用来达到这一目的，但是由于ET细胞数据的先天局限性 (噪声大，连续切片间的相似度大，不同细胞结构间的差异性很大，数据量往往较少，单张数据尺寸往往较大等)，直接利用这些现有的网络架构和模型是很难准确的适用于这一类数据的，预测出来的结果往往并不尽如人意。如何有效的提取ET数据的特征，如何有效的高精度的恢复原始数据的空间细节，是几个目前亟待解决的问题。

发明内容

本发明的目的是解决ET数据中不同细胞器的分割问题，经研究提出一种名为SegET(Deep Neural Network with Rich Contextual Features for CellularStructures Segmentation in Electron Tomography Image)的卷积神经网络算法框架进行生物细胞ET图像数据的分割。整体网络框架图如图 1所示。

具体来说本申请提供了一种基于卷积神经网络的ET细胞图像自动分割方法，包括：

步骤1、获取待图像分割的ET细胞图像作为原始图像，根据预设的原始顺序切分该原始图像，得到多个图像块，利用多个由卷积层构成的下采样模块，对该图像块进行压缩，得到特征小图，使用多个空洞比率相异的卷积核分别对该特征小图进行卷积操作，并将得到的多个操作结果合并为编码特征图；

步骤2、通过多个由卷积层构成的解码模块，对该编码特征图进行解码，得到解码特征图，并根据预设的阈值，将该解码特征图中每个像素值二值化，将二值化后的解码特征图依次按照该原始顺序进行拼接，并将拼接结果作为图像分割结果。

所述的基于卷积神经网络的ET细胞图像自动分割方法，其中该步骤1包括：

步骤11、把尺寸为2048×2048的原始图像切片剪切成49个尺寸为512 ×512的图像块，每个该下采样模块由两个卷积核尺寸为3×3步长为1的卷积层和一个尺寸为3×3步长为2的卷积层组成，随着4个该下采样模块对该图像块进行下采样处理后，输出的特征小图维度为32×32×256；

步骤12、对该特征小图进行并行的4个空洞卷积操作，再将空洞卷积操作后的输出特征图堆叠在一起合成32×32×512的中间特征图，再用1×1的卷积核对该中间特征图的通道进行平均，把通道维度降到128，得到编码特征图。

所述的基于卷积神经网络的ET细胞图像自动分割方法，其中该步骤2包括：

步骤21、该编码特征图经过4个解码模块，每个解码模块先二次插值到2 倍尺寸并与之前下采样过程中相同尺寸的特征图进行融合，前3个解码模块均直接将输出插值卷积到原输入尺寸512的一半，4个尺寸为256的16通道的特征图在通道维度堆叠在一起，先卷积降维到16通道，再上插值到2倍尺寸到512与最后一个解码模块的输出再次融合，最后输出512×512×32的特征图，通过两次卷积依次降到16和1通道，再应用激活函数进行激活，得到该解码特征图。

所述的基于卷积神经网络的ET细胞图像自动分割方法，其中该4个解码模块具体包括：

128个卷积核，尺寸为1×1，空洞比率为0的卷积操作；和

128个卷积核，尺寸为3×3，空洞比率为4的卷积操作；和

128个卷积核，尺寸为3×3，空洞比率为8的卷积操作；和

128个卷积核，尺寸为3×3，空洞比率为12的卷积操作。

所述的基于卷积神经网络的ET细胞图像自动分割方法，其中该激活函数为sigmoid函数。

本发明还提出了一种基于卷积神经网络的ET细胞图像自动分割***，包括：

模块1、获取待图像分割的ET细胞图像作为原始图像，根据预设的原始顺序切分该原始图像，得到多个图像块，利用多个由卷积层构成的下采样模块，对该图像块进行压缩，得到特征小图，使用多个空洞比率相异的卷积核分别对该特征小图进行卷积操作，并将得到的多个操作结果合并为编码特征图；

模块2、通过多个由卷积层构成的解码模块，对该编码特征图进行解码，得到解码特征图，并根据预设的阈值，将该解码特征图中每个像素值二值化，将二值化后的解码特征图依次按照该原始顺序进行拼接，并将拼接结果作为图像分割结果。

所述的基于卷积神经网络的ET细胞图像自动分割***，其中该模块1包括：

模块11、把尺寸为2048×2048的原始图像切片剪切成49个尺寸为512 ×512的图像块，每个该下采样模块由两个卷积核尺寸为3×3步长为1的卷积层和一个尺寸为3×3步长为2的卷积层组成，随着4个该下采样模块对该图像块进行下采样处理后，输出的特征小图维度为32×32×256；

模块12、对该特征小图进行并行的4个空洞卷积操作，再将空洞卷积操作后的输出特征图堆叠在一起合成32×32×512的中间特征图，再用1×1的卷积核对该中间特征图的通道进行平均，把通道维度降到128，得到编码特征图。

所述的基于卷积神经网络的ET细胞图像自动分割***，其中该模块2包括：

模块21、该编码特征图经过4个解码模块，每个解码模块先二次插值到2 倍尺寸并与之前下采样过程中相同尺寸的特征图进行融合，前3个解码模块均直接将输出插值卷积到原输入尺寸512的一半，4个尺寸为256的16通道的特征图在通道维度堆叠在一起，先卷积降维到16通道，再上插值到2倍尺寸到512与最后一个解码模块的输出再次融合，最后输出512×512×32的特征图，通过两次卷积依次降到16和1通道，再应用激活函数进行激活，得到该解码特征图。

所述的基于卷积神经网络的ET细胞图像自动分割***，其中该4个解码模块具体包括：

128个卷积核，尺寸为1×1，空洞比率为0的卷积操作；和

128个卷积核，尺寸为3×3，空洞比率为4的卷积操作；和

128个卷积核，尺寸为3×3，空洞比率为8的卷积操作；和

128个卷积核，尺寸为3×3，空洞比率为12的卷积操作。

所述的基于卷积神经网络的ET细胞图像自动分割***，其中该激活函数为sigmoid函数。

针对现有技术的不足，本发明提出一种

由以上方案可知，本发明与现有图像分割算法相比，具有以下有益效果：

(1)在“编码”阶段，常见的流程是由一系列的卷积和最大池化操作构成，用来提取特征的同时缩小图像的尺寸增大卷积核的感受野。然而在最大池化的过程中，会损失掉相当的空间细节。这里本发明用步长为2卷积来代替池化操作，从而可以充分利用在空间缩减中被池化操作丢失的信息，将所有的像素信息都充分利用了起来，使得编码器能更加精确地提取输入数据的特征。

(2)由于中间模块通过不同尺寸的空洞卷积核对编码提取后信息的处理，能更好的捕捉和利用不同尺寸的上下文信息。这样得到的编码特征能较好的解决了ET数据中细胞结构大小各异相差很大的问题。

(3)在解码阶段，本发明进行依次多阶梯式的上采样最终进行整合的策略，融合解码过程中各个阶段的空间恢复特征，起到了一定的弥补插值过程带来的空间精度损失的问题。这样可以能有效更细粒度的恢复原尺寸图像的空间细节。

附图说明

图1为本发明神经网络结构图；

图2为本发明分割ET细胞图像数据的方法流程图。

具体实施方式

为了解决上述ET数据带来的分割困难，提出改进了常用分割网络的“编码”和“解码”模块，并在两者之间增加了“中间”模块。在“编码”阶段，常见的流程是由一系列的卷积和最大池化操作构成，用来提取特征的同时缩小图像的尺寸增大卷积核的感受野(receptive field)。然而在最大池化的过程中，会损失掉相当的空间细节。这里本发明用步长为2卷积来代替池化操作，从而可以充分利用在空间缩减中被池化操作丢失的信息，使得编码器能更加精确地提取输入数据的特征。在中间模块，对编码后的特征小图分别用不同空洞比率(rate)的卷积核分别进行卷积操作，然后再将这几个并行得到的卷积提取的特征图进行叠加操作，在channel(通道)维度上将其合并。这样得到的编码特征能较好的捕捉到不同尺寸的物体，较好的解决了ET数据中细胞结构大小各异相差很大的问题。在解码阶段，本发明并没有像常用分割框架那样直接从特征小图经过一次或几次插值到原图大小，而是每次插值后再直接插值到原图大小，再将这些由不同阶段不同尺寸恢复到原尺寸的解码特征图整合在一起，这样可以能有效更细粒度的恢复原尺寸图像的空间细节。通过在theelectron tomogram of the CTL Immunological Synapse from Cell Image library数据集上大量的对比实验，验证了所设计的算法的优越性，并且分割效果优越于目前所存在的算法。

本发明的关键点主要包括：

1、本发明在整体网络框架上采用“编码+中间+解码”结构，对应上文提到的编码，中间，解码模块。本发明改进了常用分割网络的“编码”和“解码”模块，并在两者之间增加了“中间”模块。；

2、在“编码”阶段，本发明用步长为2卷积来代替池化操作；

3、在中间模块，本发明对编码后的特征小图分别用不同rate的卷积核分别进行卷积操作，然后再将这几个并行得到的卷积提取的特征图进行叠加操作，在channel(通道)维度上将其合并；

4、在解码阶段，本发明并没有像常用分割框架那样直接从特征小图经过一次或几次插值到原图大小，而是每次插值后再直接插值到原图大小，再将这些由不同阶段不同尺寸恢复到原尺寸的解码特征图整合在一起。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

对于整个分割环节，本发明提供了分割ET细胞图像数据的方法流程图，如图2所示：S1S2:输入电子断层扫描图像作为原始图像，并对图像数据进行切分，把2048×2048的原始图像切片剪切成49个512×512的图像块(以剪裁步长为256进行滑动)以便减小内存和显存的使用方便神经网络处理； S3S4S5:将图像块输入卷积神经网络算法框架SegET，依次通过编码器、中间结构和解码器进行预测流程；S6:选择一个合适的阈值，将经过激活的每个像素值阈值化，转变为一个2类语义分割的任务；S7:最后将每个分割完成的图像块依次按照原始顺序进行拼接，最终完成整个图像的分割。

本发明具体包括以下步骤：

步骤1：本研究核心部分主要提出了ETSeg神经网络架构，构建网络步骤如下(结构图如图1所示)：

步骤101：首先构建编码器部分，图中共有两条虚线，第一条之前是编码器部分，输入图像块维度为512×512×1，包含4个下采样模块，每个模块由两个卷积核尺寸为3×3步长为1的卷积层跟随着一个尺寸为3×3步长为2 的卷积层组成。图中每个矩形上面的数字代表该层的卷积核数。随着4个下采样模块后，编码阶段输出的特征图(特征小图)维度为32×32×256。

步骤102：构建中间部分，第一条虚线核第二条虚线之间，是中间部分，输入维度是32×32×256，然后对其进行并行的4个空洞卷积操作(分别为128 个卷积核尺寸为1×1rate为0的卷积操作，128个卷积核尺寸为3×3rate为 4的卷积操作，128个卷积核尺寸为3×3rate为8的卷积操作，128个卷积核尺寸为3×3rate为12的卷积操作)再将空洞卷积后的输出特征图堆叠在一起合成32×32×512的特征图，再用1×1的卷积核对通道进行平均，把通道维度降到128，得到编码特征图，完成对前一阶段编码特征的处理。

不同rate相当于对相同尺寸的卷积核***不同数量的0值。目的是为了在不继续缩小图片分辨率的情况下扩大网络感受野，增大网络对整体的“上下文”理解能力。rate是根据实验效果设定的。设置太大将导致对图像中较小尺寸的目标捕捉效果不好，因为感受野太大。而设置太小则会导致感受野太小，无法有效的感受和理解较大尺寸的物体。

步骤103：构建解码器部分，第二条虚线后是解码器阶段，同样是4个解码模块，每个解码模块先二次插值到2倍尺寸，再经过两次卷积处理。每次插值后，都仿照U-Net的结构与之前编码器相同尺寸的特征图进行融合，每个解码模块，除了最后一个，都直接将输出插值卷积到原输入尺寸512的一半， 4个尺寸为256的16通道的特征图堆叠在一起，再上插值到2倍尺寸到512 与最后一个解码器模块的输出再次融合，形成多层级的能充分利用上下文信息的解码结构，充分恢复了细粒度的空间细节。最后输出512×512×32的特征图，通过两次卷积依次降到16和1通道，再应用sigmoid函数进行激活。

步骤2：数据处理和模型训练及评估。

步骤201：对于提出的算法模型，本发明使用了一套公开数据集，the electrontomogram of the CTL Immunological Synapse(Project:P1694)，来自Cell Imagelibrary数据库。这套ET数据包含5类细胞结构，突触，微管，中心粒，颗粒，高尔基体。数据集由slow scan cooled 2K CCD相机拍摄血液组织切片得到，由人类生物学家逐像素标记。整套数据集由76张2048 ×2048的切片组成，本发明每5张取一张作为验证集中的数据，从而将用于训练卷积神经网络的训练集和验证集划分开，验证集占约20％的比例。本发明再用256的步长512的尺寸对每张数据进行裁剪，可以得到7×7×60的通道数为1的训练集图像块数，和7×7×16的通道数为1的验证集图像块数。

步骤202：选定训练时用于优化地损失函数。在训练整个网络时，利用如下损失函数优化SegET网络：

L(X：W)＝L_b(X：W)+L_j(X：W)+λψ(W)

其中L_b(X：W)表示交叉熵损失函数(binary cross entropy loss，BCE loss)值,L_j(X：W)表示Jaccard距离损失(Jaccard distance loss),第三项λψ(W)是一个正则项用来预防参数过大以至于过拟合.正则项和损失项之间的平衡是通过一个超参数λ去调节的.另外,W网络中用于训练的参数,X表示输入数据的像素的总集合。对于损失函数，BCE loss由如下公式给出：

L_b＝max(y，0)-y*t+log(1+e^-abs(y))

y表示预测值abs代表取绝对值，t表示标注的真实值。Jaccard distance loss由如下公式给出：

J(Y,T)表示Jaccard系数，代表的意义是两个集合的相似度(重叠的程度)，其中|Y|＝sum(y),|T|＝sum(t),|Y∩T|＝sum(y*t),*表示像素级相乘。本发明用1减去Jaccard相似度系数，作为Jaccard距离损失。

步骤203：确定深度学习框架和选择超参数。首先，SegET模型基于U-Net 的结构在Tensorflow和Keras深度学习框架上实现。网络首先输入的是512 ×512的图像数据(如比512大需要先进行裁剪操作)；然后本发明利用数据集中划分出的训练数据来训练随机初始化的网络，用adam优化器对网络进行优化，对于每类细胞器对应的模型，学习率和学习轮数有所不同，突触以1× 10^-4的学习率训练38轮，微管以1×10^-3的学习率1×10^-5的权值衰减学习了 300轮，中心粒以2×10^-3的学习率1×10^-6的权值衰减学习了300轮，颗粒以2×10^-3的学习率1×10^-5的权值衰减学习了60轮，高尔基体以2×10^-3的学习率1×10^-5的权值衰减学习了124轮。训练过程中涉及到一些重采样和样本权值矩阵的技巧，由于像微管、中心粒、高尔基体之类的细胞器的正像素样本比例太少。当网络在测试流程中时，首先将输入的图像进行特征提取和处理，然后进行空间特征的恢复，最后激活并阈值化完成预测。

步骤204：对模型进行测试评估。在评估阶段，本发明选取平均交并比 (mIOU)来作为性能的评价指标，来衡量算法模型的性能。mIOU公式的定义如下：

其中p_ii,p_ij,p_ji分别代表真阳性，假阳性，假阴性像素的数量。其思想是算出每个类别的像素的IOU值，再取平均。由于本发明是每类物体单独训练一个模型，所以在每类的模型训练时，就是一个二分类的分割任务，此时k＝1。

本发明将所提出的算法与其他几个常见的性能优越的分割算法在该数据集上进行性能对比：结果如下：

表1在验证集上进行不同模型的分割结果对比

从表1中可以看出，本发明所提出的方法在the electron tomogram of the CTLImmunological Synapse数据集数据集所测得的性能上要远优于其他几个常见而有效的分割算法模型。可以看到SegNet和UNet在神经突触上性能显示的不太好，原因是因为它们所用的卷积核较小，并且没有处理并增大感受野的机制，以至于无法很好的处理这种大的、长尺寸的物体；像FCN-8或DeepLab 系列的算法在高尔基体等边界复杂的细胞器上效果不是很好，原因是因为它们的解码器过于简单，无法做到更细粒度的恢复空间结构。因此很好的证明了本算法的有效性和优越性。

以下为与上述方法实施例对应的***实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

本发明还提出了一种基于卷积神经网络的ET细胞图像自动分割***，包括：

模块1、获取待图像分割的ET细胞图像作为原始图像，根据预设的原始顺序切分该原始图像，得到多个图像块，利用多个由卷积层构成的下采样模块，对该图像块进行压缩，得到特征小图，使用多个空洞比率相异的卷积核分别对该特征小图进行卷积操作，并将得到的多个操作结果合并为编码特征图；

模块2、通过多个由卷积层构成的解码模块，对该编码特征图进行解码，得到解码特征图，并根据预设的阈值，将该解码特征图中每个像素值二值化，将二值化后的解码特征图依次按照该原始顺序进行拼接，并将拼接结果作为图像分割结果。

所述的基于卷积神经网络的ET细胞图像自动分割***，其中该模块1包括：

模块11、把尺寸为2048×2048的原始图像切片剪切成49个尺寸为512 ×512的图像块，每个该下采样模块由两个卷积核尺寸为3×3步长为1的卷积层和一个尺寸为3×3步长为2的卷积层组成，随着4个该下采样模块对该图像块进行下采样处理后，输出的特征小图维度为32×32×256；

模块12、对该特征小图进行并行的4个空洞卷积操作，再将空洞卷积操作后的输出特征图堆叠在一起合成32×32×512的中间特征图，再用1×1的卷积核对该中间特征图的通道进行平均，把通道维度降到128，得到编码特征图。

所述的基于卷积神经网络的ET细胞图像自动分割***，其中该模块2包括：

模块21、该编码特征图经过4个解码模块，每个解码模块先二次插值到2 倍尺寸并与之前下采样过程中相同尺寸的特征图进行融合，前3个解码模块均直接将输出插值卷积到原输入尺寸512的一半，4个尺寸为256的16通道的特征图在通道维度堆叠在一起，先卷积降维到16通道，再上插值到2倍尺寸到512与最后一个解码模块的输出再次融合，最后输出512×512×32的特征图，通过两次卷积依次降到16和1通道，再应用激活函数进行激活，得到该解码特征图。

所述的基于卷积神经网络的ET细胞图像自动分割***，其中该4个解码模块具体包括：

128个卷积核，尺寸为1×1，空洞比率为0的卷积操作；和

128个卷积核，尺寸为3×3，空洞比率为4的卷积操作；和

128个卷积核，尺寸为3×3，空洞比率为8的卷积操作；和

128个卷积核，尺寸为3×3，空洞比率为12的卷积操作。

所述的基于卷积神经网络的ET细胞图像自动分割***，其中该激活函数为sigmoid函数。

Claims (10)

1.一种基于卷积神经网络的ET细胞图像自动分割方法，其特征在于，包括：

步骤1、获取待图像分割的ET细胞图像作为原始图像，根据预设的原始顺序切分该原始图像，得到多个图像块，利用多个由卷积层构成的下采样模块，对该图像块进行压缩，得到特征小图，使用多个空洞比率相异的卷积核分别对该特征小图进行卷积操作，并将得到的多个操作结果合并为编码特征图；

步骤2、通过多个由卷积层构成的解码模块，对该编码特征图进行解码，得到解码特征图，并根据预设的阈值，将该解码特征图中每个像素值二值化，将二值化后的解码特征图依次按照该原始顺序进行拼接，并将拼接结果作为图像分割结果。

2.如权利要求1所述的基于卷积神经网络的ET细胞图像自动分割方法，其中该步骤1包括：

步骤11、把尺寸为2048×2048的原始图像切片剪切成49个尺寸为512×512的图像块，每个该下采样模块由两个卷积核尺寸为3×3步长为1的卷积层和一个尺寸为3×3步长为2的卷积层组成，随着4个该下采样模块对该图像块进行下采样处理后，输出的特征小图维度为32×32×256；

步骤12、对该特征小图进行并行的4个空洞卷积操作，再将空洞卷积操作后的输出特征图堆叠在一起合成32×32×512的中间特征图，再用1×1的卷积核对该中间特征图的通道进行平均，把通道维度降到128，得到编码特征图。

3.如权利要求2所述的基于卷积神经网络的ET细胞图像自动分割方法，其中该步骤2包括：

步骤21、该编码特征图经过4个解码模块，每个解码模块先二次插值到2倍尺寸并与之前下采样过程中相同尺寸的特征图进行融合，前3个解码模块均直接将输出插值卷积到原输入尺寸512的一半，4个尺寸为256的16通道的特征图在通道维度堆叠在一起，先卷积降维到16通道，再上插值到2倍尺寸到512与最后一个解码模块的输出再次融合，最后输出512×512×32的特征图，通过两次卷积依次降到16和1通道，再应用激活函数进行激活，得到该解码特征图。

4.如权利要求3所述的基于卷积神经网络的ET细胞图像自动分割方法，其中该4个解码模块具体为：

第一个解码模块，包括：128个卷积核，尺寸为1×1，空洞比率为0的卷积操作；

第二个解码模块，包括：128个卷积核，尺寸为3×3，空洞比率为4的卷积操作；

第三个解码模块，包括：128个卷积核，尺寸为3×3，空洞比率为8的卷积操作；

第四个解码模块，包括：128个卷积核，尺寸为3×3，空洞比率为12的卷积操作。

5.如权利要求3所述的基于卷积神经网络的ET细胞图像自动分割方法，其中该激活函数为sigmoid函数。

6.一种基于卷积神经网络的ET细胞图像自动分割***，其特征在于，包括：

模块1、获取待图像分割的ET细胞图像作为原始图像，根据预设的原始顺序切分该原始图像，得到多个图像块，利用多个由卷积层构成的下采样模块，对该图像块进行压缩，得到特征小图，使用多个空洞比率相异的卷积核分别对该特征小图进行卷积操作，并将得到的多个操作结果合并为编码特征图；

模块2、通过多个由卷积层构成的解码模块，对该编码特征图进行解码，得到解码特征图，并根据预设的阈值，将该解码特征图中每个像素值二值化，将二值化后的解码特征图依次按照该原始顺序进行拼接，并将拼接结果作为图像分割结果。

7.如权利要求6所述的基于卷积神经网络的ET细胞图像自动分割***，其中该模块1包括：

模块11、把尺寸为2048×2048的原始图像切片剪切成49个尺寸为512×512的图像块，每个该下采样模块由两个卷积核尺寸为3×3步长为1的卷积层和一个尺寸为3×3步长为2的卷积层组成，随着4个该下采样模块对该图像块进行下采样处理后，输出的特征小图维度为32×32×256；

模块12、对该特征小图进行并行的4个空洞卷积操作，再将空洞卷积操作后的输出特征图堆叠在一起合成32×32×512的中间特征图，再用1×1的卷积核对该中间特征图的通道进行平均，把通道维度降到128，得到编码特征图。

8.如权利要求7所述的基于卷积神经网络的ET细胞图像自动分割***，其中该模块2包括：

模块21、该编码特征图经过4个解码模块，每个解码模块先二次插值到2倍尺寸并与之前下采样过程中相同尺寸的特征图进行融合，前3个解码模块均直接将输出插值卷积到原输入尺寸512的一半，4个尺寸为256的16通道的特征图在通道维度堆叠在一起，先卷积降维到16通道，再上插值到2倍尺寸到512与最后一个解码模块的输出再次融合，最后输出512×512×32的特征图，通过两次卷积依次降到16和1通道，再应用激活函数进行激活，得到该解码特征图。

9.如权利要求8所述的基于卷积神经网络的ET细胞图像自动分割***，其中该4个解码模块具体为：

第一个解码模块，包括：128个卷积核，尺寸为1×1，空洞比率为0的卷积操作；

第二个解码模块，包括：128个卷积核，尺寸为3×3，空洞比率为4的卷积操作；

第三个解码模块，包括：128个卷积核，尺寸为3×3，空洞比率为8的卷积操作；

第四个解码模块，包括：128个卷积核，尺寸为3×3，空洞比率为12的卷积操作。

10.如权利要求8所述的基于卷积神经网络的ET细胞图像自动分割***，其中该激活函数为sigmoid函数。