CN112101362A - 用于空间科学实验数据的语义分割方法及*** - Google Patents

Abstract

本发明公开了一种用于空间科学实验数据的语义分割方法及***，涉及图像处理领域。该方法包括：在地面模拟空间科学实验，获取地面实验数据，对地面实验数据进行语义分割标注，将标注后的地面实验数据分为训练集和验证集；根据训练集和验证集对预先调整的U‑Net语义分割网络进行训练，得到语义分割模型；获取空间科学实验数据，将空间科学实验数据输入到语义分割模型中，得到空间科学实验数据的语义分割结果。本发明解决了空间科学实验样本少、分布不均的问题，实现了对空间科学实验对象的精准分割，解决了小样本、小目标的实时准确语义分割困难的问题。

Description

用于空间科学实验数据的语义分割方法及***

技术领域

本发明涉及图像处理领域，尤其涉及一种用于空间科学实验数据的语义分割方法及***。

背景技术

语义分割是通过对兴趣区域进行分割，提供较丰富的语义和视觉信息，应用广泛。目前，传统的图像分割方法主要是阈值法、像素聚类法、边缘检测法、区域生成法、图像切割等方法。然而，现有的基于深度学习的语义分割方法都是基于日常场景或是医学影像数据集，且传统的图像分割方法需要控制的阈值非常多，适用环境也很局限，不能很好地适应光照、背景变换等情况，鲁棒性很差，其网络结构并不适合空间科学实验的目标分割。

对于空间站科学实验而言，包括空间生命科学与生物技术、微重力流体物理及燃烧科学等，由于空间科学实验受到在轨条件的约束，实验一般在实验柜中进行，因此背景较为固定，且实验对象往往都是一些小目标，如细胞、小鱼、液滴、火焰等，科学载荷一般不大，也不包含丰富的语义信息，实验对象往往也与这些数据集中的目标差别很大；另外空间科学实验样本较少，没有大量的数据积累，不足以构建成数据集利用常见的深度学习方法进行训练，还容易产生过拟合的现象。

因此，通过常见的深度学习方法对空间科学实验数据进行处理时，由于深层网络包含较多的卷积层和池化层，当原始图像输入到网络中后，经过卷积和池化，在输出特征图的时候，图像尺寸往往会变小，小目标更容易消失，加上对于每一类实验，每个类别可用的样本很少，没有大量的数据积累，且样本分布不均匀，导致不足以构建成大型数据集来利用深度学习网络模型进行训练学习，无法有效地对空间科学实验数据进行语义分割。

发明内容

本发明所要解决的技术问题是在针对小样本、小目标的实时准确语义分割困难的问题，提供一种基于深度学习的语义分割模型的空间科学实验数据的语义分割方法及***。

本发明解决上述技术问题的技术方案如下：

一种用于空间科学实验数据的语义分割方法，包括：

在地面模拟空间科学实验，获取地面实验数据，对所述地面实验数据进行语义分割标注，将标注后的地面实验数据分为训练集和验证集；

根据所述训练集和所述验证集对预先调整的U-Net语义分割网络进行训练，得到语义分割模型；

获取空间科学实验数据，将所述空间科学实验数据输入到所述语义分割模型中，得到空间科学实验数据的语义分割结果。

本发明解决上述技术问题的另一种技术方案如下：

一种用于空间科学实验数据的语义分割***，包括：

数据获取单元，用于在地面模拟空间科学实验，获取地面实验数据，对所述地面实验数据进行语义分割标注，将标注后的地面实验数据分为训练集和验证集；

模型训练单元，用于根据所述训练集和所述验证集对预先调整的U-Net语义分割网络进行训练，得到语义分割模型；

语义分割单元，用于获取空间科学实验数据，将所述空间科学实验数据输入到所述语义分割模型中，得到空间科学实验数据的语义分割结果。

本发明的有益效果是：本发明利用空间科学地面实验数据量较大且较易获得的特点，使用模拟空间环境的地面实验数据做训练样本，提前训练好模型，对空间科学实验数据进行分析，解决了空间科学实验样本少、分布不均的问题，并且通过将针对医疗影像提出的U-Net图像分割模型应用于空间科学实验数据语义分割，实现了对空间科学实验对象的精准分割，解决了小样本、小目标的实时准确语义分割困难的问题。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为空间科学实验图像数据数量示意图；

图2为本发明语义分割方法的实施例提供的流程示意图；

图3为本发明语义分割方法的实施例提供的U-Net网络框架示意图；

图4a为本发明语义分割方法的实施例提供的对国际空间站芜青种子生长实验的地面实验数据的语义分割结果示意图；

图4b为本发明语义分割方法的实施例提供的对国际空间站芜青种子生长实验的空间科学实验数据的语义分割结果示意图；

图5为本发明语义分割***的实施例提供的结构框架图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。

空间站科学实验涉及生物医学、基础物理等众多领域，随着空间站科学实验的进行及空间科学研究的不断发展和深入，空间科学实验类型不断丰富，图像和视频的数量将呈现***式增长。通过语义分割可以挖掘空间科学实验数据中立中的智能语义理解技术，快速的自动理解大量数据中的内容，对专业性较强的空间科实验图像/视频自动添加解释性内容，使复杂的科学知识与应用成果信息以可视化形式进行交互。

语义分割通过对兴趣区域进行分割，提供较丰富的语义和视觉信息，已经被广泛地应用于医学领域的器官病变监测，生物信息领域的基因分类，道路场景理解等多个领域。

数据的大量增加和深度学习技术的进展极大地推动了计算机视觉领域的发展，越来越多的研究将深度卷积神经网络应用于分割任务，来获取相关的视觉信息。使用深度学习的方法对空间科学实验数据进行语义分割，可以快速提取图像/视频中的相关视觉信息，自动理解大量数据中的内容，为科学家们的实验数据分析提供有力支撑，降低其数据处理的门槛。

随着深度卷积神经网络的发展，全卷积神经网络FCN(Fully ConvolutionalNetworks)奠定了深度学习在图像分割领域的基础。FCN模型将分类网络的全连接层替换为卷积层，使用反卷积完成上采样过程，并使用跳跃连接结构将深层和浅层信息相结合，以得到更精确的分割结果。

本发明利用基于深度学习的语义分割方法对空间科学实验数据进行语义分割。但是空间科学实验公开的数据较少，如图1所示，是从天舟一号、天宫二号、国际空间站上整理的空间科学实验图像/视频数据的数量，可以看出，对于每一类实验，每个类别可用的样本很少，没有大量的数据积累，且样本分布不均匀，这并不足以构建成大型数据集来利用深度学习网络模型进行训练学习。

此外，空间科学实验受到在轨条件的约束，需要在实验柜中进行，实验对象往往都是一些小目标，如细胞、小鱼、液滴、火焰等，科学载荷一般不大。深层网络包含较多的卷积层和池化层，当原始图像输入到网络中后，经过卷积和池化，在输出特征图的时候，图像尺寸往往会变小，小目标更容易消失，并不能有效地进行分割。

因此本发明在利用基于深度学习的语义分割模型的基础上针对小样本、小目标、实时性等问题进行解决。

由于地面实验通常在地面环境中提前进行，实验数据较易获得，考虑到为科学家用户提供定制化图像检测识别服务的需求，本发明将地面实验数据做训练样本，提前训练好模型，对空间科学实验数据进行分析。

针对空间科学实验目标较小，数据处理实时性要求较高的需求，采用基于U-Net的分割算法。U-Net是针对医疗影像提出的图像分割模型，其网络结构简单，适合医疗影像这类语义简单结构较为固定的影像，空间科学实验数据恰好与医疗影像的数据特点类似，因此，采用基于U-Net的结构可以有效地从空间实验的图像或视频数据中学习有效的语义特征。

本发明基于U-Net深度学习语义分割框架，以地面实验数据为训练集，对空间站的实验数据进行测试，实现对空间科学实验对象的精准分割，下面结合示例说明。

如图2所示，为本发明语义分割方法的实施例提供的流程示意图，该语义分割方法基于深度学习的语义分割模型实现，用于空间科学实验数据的语义分割，包括：

S1，在地面模拟空间科学实验，获取地面实验数据，对地面实验数据进行语义分割标注，将标注后的地面实验数据分为训练集和验证集。

需要说明的是，地面实验数据可以是图像也可以是视频，图像或视频中包含实验内容，例如，假设需要观察某植物种子在微重力环境下的发芽情况，那么地面实验数据可以为包含该种子发芽情况的图像或视频。

应理解，由于空间科学实验一般数据量较小，而训练和测试采用同一套数据，会带来数据泄露问题，且模型会存在严重的过拟合，而采用地面实验数据进行测试不存在数据泄露的问题，同时，可以进行大量实验，能有效减少模型的过拟合问题，因此可以通过现有方式对地面实验数据进行语义分割标注，训练处模型后，再使用该模型对空间科学实验数据进行语义分割。

应理解，训练集和实验集可以根据实际需求设置，例如，可以将标注后的图像按照4：1划分为训练集和验证集。

S2，根据训练集和验证集对预先调整的U-Net语义分割网络进行训练，得到语义分割模型。

如图3所示，给出了一种示例性的U-Net网络框架示意图，U-Net左边为编码结构，由卷积层构成，进行4次下采样，一共下采样16倍，对称到右边为解码结构，进行4次上采样，解码结构由反卷积层构成，将编码器得到的高级语义特征图恢复到原始图片的分辨率。

优选地，可以使用跳跃连接结构将深层和浅层信息相结合，以得到更精确的分割结果

S3，获取空间科学实验数据，将空间科学实验数据输入到语义分割模型中，得到空间科学实验数据的语义分割结果。

应理解，利用标注的地面试验数据训练得到的语义分割模型对空间试验数据进行测试时，此时需要先将测试图像调整为网络定义的输入大小，再加载模型进行预测，得到空间实验图像对应的灰度图。

本实施例利用空间科学地面实验数据量较大且较易获得的特点，使用模拟空间环境的地面实验数据做训练样本，提前训练好模型，对空间科学实验数据进行分析，解决了空间科学实验样本少、分布不均的问题，并且通过将针对医疗影像提出的U-Net图像分割模型应用于空间科学实验数据语义分割，实现了对空间科学实验对象的精准分割，解决了小样本、小目标的实时准确语义分割困难的问题。

可选地，在一些可能的实现方式中，对地面实验数据进行语义分割标注，具体包括：

判断地面实验数据是否为视频，如果是，则将地面实验数据转换为图片序列；

通过标注程序对图片序列进行语义分割标注，并将标注后的图片序列转换为对应二值图像的掩码信息。

应理解，如果获取的地面实验数据是图片序列，那么直接进行语义标注即可。

具体地，可以通过标注软件labelme对图片序列进行语义分割标注，得到相应的json标注文件，之后转换为对应二值图像的掩码信息。

可选地，在一些可能的实现方式中，根据训练集和验证集对预先调整的U-Net语义分割网络进行训练之前，还包括：

根据训练集中图像的分辨率，将U-Net语义分割网络的输入大小调整为预设大小；

根据训练集中图像的语义信息的复杂度，调整U-Net语义分割网络的卷积和反卷积的层数；

根据训练U-Net语义分割网络的硬件参数，调整U-Net语义分割网络的训练参数、误差函数和优化器。

例如，以芜菁种子生长实验为例，为使U-Net语义分割网络框架适合地面数据，可以将网络输入大小设置为512*512，进行6次上采样和6次下采样，损失函数使用dicecoefficient函数，batch_size设置为16，训练200个epoch。

通过对U-Net语义分割网络进行调整，能够使其适用于空间科学实验数据，从而实现空间科学实验数据语义分割。

可选地，在一些可能的实现方式中，根据训练集和验证集对预先调整的U-Net语义分割网络进行训练，具体包括：

对训练集内的图像进行扩充处理；

将扩充处理后的每张图像和对应的掩码的大小调整为预设大小，输入到预先调整的U-Net语义分割网络中，根据调整层数后的卷积层和反卷积层进行前向和反向传播，根据调整后的训练参数、误差函数和优化器控制训练过程，进行迭代训练，直至到达预设训练次数或损失不再下降。

例如，扩充处理可以包括对输入的原始图像和掩码进行旋转、翻转、色相、饱和度等调整，以提高后续分割的准确度。

具体地，在GPU为Tatian X 12G显存的硬件条件下，训练200个epoch得到语义分割模型仅需10秒，可实现对在轨实验图像数据的实时处理和分析。

可选地，在一些可能的实现方式中，还包括：

计算语义分割结果和预先标注的真值掩膜之间的区域相似度和轮廓相似度；

根据区域相似度和轮廓相似度对语义分割的精度进行判断。

应理解，为了测量基于区域的分割相似度，即错误像素的数量，可以使用区域相似度J，J定义为估计分割和真值掩膜之间的IoU(Intersection over Union，并集上的交集)，计算公式如下：

其中，M为测试后的输出分割结果，G为预先标注的真值掩膜，M和G均表示为二值图像中的白色区域。计算M和G重合区域的面积，也就是像素个数，记作M交G；计算M和G相并区域的面积，记作M并G。

从基于轮廓的角度来看，可以将M解释为一组限定掩模空间范围的闭合轮廓c(M)。因此，通过一个二分图匹配以提高对小误差的鲁棒性，可以比较c(M)和c(G)的边缘点，计算基于轮廓的精度Pc和召回Rc。Pc为M中为真实分割结果的像素的比例，Rc为G中被模型检测为分割结果的像素的比例。轮廓相似度F可以取得精度和召回之间较好的权衡，定义为：

通过J和F的值能够准确评估语义分割的精度。

可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。

如图5所示，为本发明语义分割***的实施例提供的结构框架图，该语义分割***基于深度学习的语义分割模型实现，用于空间科学实验数据的语义分割，包括：

数据获取单元1，用于在地面模拟空间科学实验，获取地面实验数据，对地面实验数据进行语义分割标注，将标注后的地面实验数据分为训练集和验证集；

模型训练单元2，用于根据训练集和验证集对预先调整的U-Net语义分割网络进行训练，得到语义分割模型；

语义分割单元3，用于获取空间科学实验数据，将空间科学实验数据输入到语义分割模型中，得到空间科学实验数据的语义分割结果。

本实施例通过利用地面实验通常在地面环境中进行，实验数据较易获得的特点，使用模拟空间环境的地面实验数据做训练样本，提前训练好模型，对空间科学实验数据进行分析，解决了空间科学实验样本少、分布不均的问题，并且通过将针对医疗影像提出的U-Net图像分割模型应用于空间科学实验数据语义分割，实现了对空间科学实验对象的精准分割，解决了小样本、小目标的实时准确语义分割困难的问题。

可选地，在一些可能的实现方式中，数据获取单元1具体用于判断地面实验数据是否为视频，如果是，则将地面实验数据转换为图片序列；通过标注程序对图片序列进行语义分割标注，并将标注后的图片序列转换为对应二值图像的掩码信息。

可选地，在一些可能的实现方式中，还包括：

模型调整单元4，用于根据训练集中图像的分辨率，将U-Net语义分割网络的输入大小调整为预设大小；根据训练集中图像的语义信息的复杂度，调整U-Net语义分割网络的卷积和反卷积的层数；根据训练U-Net语义分割网络的硬件参数，调整U-Net语义分割网络的训练参数、误差函数和优化器。

可选地，在一些可能的实现方式中，模型训练单元2具体用于对训练集内的图像进行扩充处理；将扩充处理后的每张图像和对应的掩码的大小调整为预设大小，输入到预先调整的U-Net语义分割网络中，根据调整层数后的卷积层和反卷积层进行前向和反向传播，根据调整后的训练参数、误差函数和优化器控制训练过程，进行迭代训练，直至到达预设训练次数或损失不再下降。

可选地，在一些可能的实现方式中，还包括：

精度判断单元5，用于计算语义分割结果和预先标注的真值掩膜之间的区域相似度和轮廓相似度；根据区域相似度和轮廓相似度对语义分割的精度进行判断。

可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。

需要说明的是，上述各实施方式是与在先方法实施例对应的产品实施例，对于产品实施方式的说明可以参考上述各方法实施方式中的对应说明，在此不再赘述。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种用于空间科学实验数据的语义分割方法，其特征在于，包括：

在地面模拟空间科学实验，获取地面实验数据，对所述地面实验数据进行语义分割标注，将标注后的地面实验数据分为训练集和验证集；

根据所述训练集和所述验证集对预先调整的U-Net语义分割网络进行训练，得到语义分割模型；

获取空间科学实验数据，将所述空间科学实验数据输入到所述语义分割模型中，得到空间科学实验数据的语义分割结果。

2.根据权利要求1所述的用于空间科学实验数据的语义分割方法，其特征在于，对所述地面实验数据进行语义分割标注，具体包括：

判断所述地面实验数据是否为视频，如果是，则将所述地面实验数据转换为图片序列；

通过标注程序对所述图片序列进行语义分割标注，并将标注后的图片序列转换为对应二值图像的掩码信息。

3.根据权利要求2所述的用于空间科学实验数据的语义分割方法，其特征在于，根据所述训练集和所述验证集对预先调整的U-Net语义分割网络进行训练之前，还包括：

根据所述训练集中图像的分辨率，将所述U-Net语义分割网络的输入大小调整为预设大小；

根据所述训练集中图像的语义信息的复杂度，调整所述U-Net语义分割网络的卷积和反卷积的层数；

根据训练所述U-Net语义分割网络的硬件参数，调整所述U-Net语义分割网络的训练参数、误差函数和优化器。

4.根据权利要求3所述的用于空间科学实验数据的语义分割方法，其特征在于，根据所述训练集和所述验证集对预先调整的U-Net语义分割网络进行训练，具体包括：

对所述训练集内的图像进行扩充处理；

将扩充处理后的每张图像和对应的掩码的大小调整为所述预设大小，输入到预先调整的U-Net语义分割网络中，根据调整层数后的卷积层和反卷积层进行前向和反向传播，根据调整后的所述训练参数、所述误差函数和所述优化器控制训练过程，进行迭代训练，直至到达预设训练次数或损失不再下降。

5.根据权利要求1至4中任一项所述的用于空间科学实验数据的语义分割方法，其特征在于，还包括：

计算所述语义分割结果和预先标注的真值掩膜之间的区域相似度和轮廓相似度；

根据所述区域相似度和所述轮廓相似度对语义分割的精度进行判断。

6.一种用于空间科学实验数据的语义分割***，其特征在于，包括：

数据获取单元，用于在地面模拟空间科学实验，获取地面实验数据，对所述地面实验数据进行语义分割标注，将标注后的地面实验数据分为训练集和验证集；

模型训练单元，用于根据所述训练集和所述验证集对预先调整的U-Net语义分割网络进行训练，得到语义分割模型；

语义分割单元，用于获取空间科学实验数据，将所述空间科学实验数据输入到所述语义分割模型中，得到空间科学实验数据的语义分割结果。

7.根据权利要求6所述的用于空间科学实验数据的语义分割***，其特征在于，所述数据获取单元具体用于判断所述地面实验数据是否为视频，如果是，则将所述地面实验数据转换为图片序列；通过标注程序对所述图片序列进行语义分割标注，并将标注后的图片序列转换为对应二值图像的掩码信息。

8.根据权利要求7所述的用于空间科学实验数据的语义分割***，其特征在于，还包括：

模型调整单元，用于根据所述训练集中图像的分辨率，将所述U-Net语义分割网络的输入大小调整为预设大小；根据所述训练集中图像的语义信息的复杂度，调整所述U-Net语义分割网络的卷积和反卷积的层数；根据训练所述U-Net语义分割网络的硬件参数，调整所述U-Net语义分割网络的训练参数、误差函数和优化器。

9.根据权利要求8所述的用于空间科学实验数据的语义分割***，其特征在于，所述模型训练单元具体用于对所述训练集内的图像进行扩充处理；将扩充处理后的每张图像和对应的掩码的大小调整为所述预设大小，输入到预先调整的U-Net语义分割网络中，根据调整层数后的卷积层和反卷积层进行前向和反向传播，根据调整后的所述训练参数、所述误差函数和所述优化器控制训练过程，进行迭代训练，直至到达预设训练次数或损失不再下降。

10.根据权利要求6至9中任一项所述的用于空间科学实验数据的语义分割***，其特征在于，还包括：

精度判断单元，用于计算所述语义分割结果和预先标注的真值掩膜之间的区域相似度和轮廓相似度；根据所述区域相似度和所述轮廓相似度对语义分割的精度进行判断。

Images