CN115292287A - 一种卫星特征部件图像自动标注及数据库构建方法 - Google Patents

Abstract

本发明涉及一种卫星特征部件图像自动标注及数据库构建方法，包括以下步骤：(1)对卫星三维模型进行关键部件标记；(2)在虚幻引擎中构建地球背景、卫星轨道、相机等场景组件，搭建仿真空间场景；(3)针对步骤(1)获得的已标记卫星三维模型和步骤(2)获得的仿真空间场景，批量生成卫星图片及其关键部件语义标注图；(4)针对步骤(3)获得的语义标注图，进行标签重映射，规范数据库格式，完成数据库构建。本发明提供卫星三维模型关键部件自动标注及批量出图方法，准确高效地实现卫星仿真图像关键部件语义分割数据库的构建。

Description

一种卫星特征部件图像自动标注及数据库构建方法

技术领域

本发明适用于空间态势感知的卫星关键部件识别领域，具体涉及一种卫星特征部件图像自动标注及数据库构建方法。

背景技术

近些年来，空间技术不断发展，人类活动在太空越来越频繁，空间态势感知已经成为太空安全防护与太空控制的重要基础。空间目标识别是空间态势感知的重要组成部分，与其他多个重要领域相互交叉，具有重大的军事价值。各个国家的各种型号的卫星接连发射升空，太空中人造飞行器的数量激增，对卫星关键部件的侦察、识别已然成为空间目标识别技术至关重要的一部分。

典型卫星的局部构件主要包括卫星本体、天线、太阳帆板以及卫星搭载的有效载荷等。对于可观测局部构件，几何构形具备多样化的特点。其中，卫星本体一般都为规则形状，轮廓清晰可分辨，这有利于在视觉图像中相对容易地提取本体形状。太阳帆板也被称为太阳电池板或太阳电池阵，卫星上安装的太阳帆板大致可分为体装式及展开式，对于体装式帆板，其轮廓与卫星主体轮廓重合较多，不能仅依靠形貌特征进行判断，还需要用到太阳帆板的光学反射特性等作为识别判据；对于展开式太阳翼，其展开时大多为规则的矩形组合体，且安装位置与卫星主体存在一定距离，因此其轮廓提取与判断也相对容易。卫星携带的天线一般是最难检测与识别的部件，携带的通信天线包括全球波束、半球波束、区域波束、点波束、多波束、可变波束等类别，卫星依照其执行任务的不同会携带不同的天线，且数量往往不止一个。其中反射面天线的轮廓较明显，但其紧靠的发射器与接收器易干扰识别过程；喇叭天线相对卫星的几何尺寸较小，一般通过支架安装并与卫星表面保持一定距离；相控阵天线与螺旋天线也均用支架安装但一般相对贴近卫星表面。因此，可利用卫星的部分先验知识辅助构件的有效识别。

卫星图像的关键部件分割工作往往利用基于深度学习的语义分割算法实现，数据集的制备是模型训练前的必备工作，而数据集的质量则直接影响算法模型的预测准确率。对于卫星图像的关键目标识别工作，需要大量、多样化的实拍卫星图像，并对图像进行关键部件的像素级标注，这对数据集制备工作提出了挑战。首先是通过天基相机或地基相机实际获取到的卫星图像数量少，大部分实拍图像存在动态模糊、过曝光、卫星目标小等缺陷，无法支撑关键部件分割工作；其次是语义分割的像素级标注相比于目标检测的多边形标注需要更多的工作量，卫星关键部件标注工作需要大量人力开销，而且需要标注人员具有一定的专业知识，对卫星结构及功能有所了解，人工标注会在一定程度上降低数据集标注的准确性。综上所述，一种经济高效、自动化程度高、标注准确的卫星关键部件语义分割数据集构建方法将对空间态势感知领域提供有效的数据支持，具有较高的应用价值。

发明内容

为克服现有技术不足，针对卫星关键部件语义分割数据集构建过程中普遍存在的真实图像数据获取难、关键部件信息标注工作量大等问题，本发明搭建仿真环境，提供一种卫星特征部件图像自动标注及数据库构建方法，其为卫星三维模型进行关键部件自动标注，并准确高效地实现卫星仿真图像关键部件语义分割数据库的构建。

为达到上述目的，本发明采用的技术方案为：

一种卫星特征部件图像自动标注及数据库构建方法，包括以下步骤：

(1)对卫星三维模型进行关键部件标记；

(2)在虚幻引擎中构建包括地球背景、卫星轨道、相机的场景组件，搭建仿真空间场景；

(3)根据步骤(1)中获得的已标记卫星三维模型和步骤(2)获得的仿真空间场景，批量生成卫星图片及其关键部件语义标注图；

(4)针对步骤(3)获得的语义标注图，进行标签重映射，规范数据库格式，完成数据库构建。

进一步地，所述步骤(1)中，对卫星三维模型进行关键部件标记，包括：

1.1)获取卫星三维模型并打开模型；

1.2)根据卫星实际的结构信息，在卫星三维模型中区分包括帆板、帆板支架、天线、光学载荷、推进组件、星敏感器的关键部件，并对各类部件赋予不同的材质以标记；

1.3)将原模型和已标记模型分别导出后导入虚幻引擎。

进一步地，所述步骤(2)包括：

2.1)在虚幻引擎中按照1：20的比例构建地球及卫星轨道，绘制星空背景；

2.2)按照真实相机参数配置相机，预设多种相机拍摄位置和拍摄角度。

进一步地，所述步骤(3)包括：

3.1)将原卫星模型和步骤(1)获得的已标记卫星模型导入虚幻引擎，设置两个模型姿态、运动等保持一致，分别使用两个步骤2.2)中已配置的相机拍摄两个模型，使用两个渲染目标承接所得图像；

3.2)编辑渲染目标，对于原卫星图像，设置捕获源为LDR最终颜色，显示除已标记卫星模型的所有场景组件，显示效果为天基相机拍摄的卫星图像；对于已标记卫星图像，设置捕获源为RGB基础颜色，屏蔽除已标记卫星模型的所有场景组件，关闭所有光照，显示效果为原卫星图像的关键部件标注结果；

3.3)设计程序批量出图相关功能，实现更换模型、更换背景、调整卫星姿态、调整拍摄角度、定时截图功能；设计动画序列，组合上述功能实现批量自动截图功能，自动保存卫星原图和语义标注图。

进一步地，所述步骤(4)包括：

4.1)按照步骤1.2)中不同特征部件对应的的不同材质形成的材质标签列表，将步骤3.3)中批量生成的卫星语义标注图从RGB图像映射到语义标签的灰度图；

4.2)按照CityScapes数据集的格式设置数据集目录，规范图像命名，生成索引文件。

有益效果：

本发明采用的方法原理简洁，思路明确，能够实现高自动化的仿真卫星图像生成及像素级关键部件语义标注，在减少人工标注的工作量的同时避免人工标注错误的问题。构建出的数据集能够满足卫星关键部件语义分割工作对于数据集总量大、多样性强、细粒度标注的要求，为空间态势感知领域提供数据支持。

附图说明

图1为本发明的一种卫星特征部件图像自动标注及数据库构建方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示，本发明的一种卫星特征部件图像自动标注及数据库构建方法，具体实现步骤如下：

步骤1、对卫星三维模型进行关键部件标记。首先获取卫星三维模型，模型由专业三维建模公司代理制作，基于3dsmax软件，过程分为4步：参考资料查找、卫星几何建模、卫星材质贴图以及渲染出图。具体来说，参考资料查找即在一些知名的卫星或者航天网站上收集卫星相关信息，包括卫星模型比例、长宽高、模型本身材质等信息；下一步通过对产品的各方面信息的分析和尺寸计算，对产品进行同比例(尺寸)建模，并对卫星图层进行主要名称标注，便于后续进行材质替换；下面进行卫星贴图制作，对模型的纹理坐标展开，绘制材质的纹理、细节等，导出绘制好的材质贴图；最后利用三维模型和材质贴图进行渲染，导出.max格式的卫星模型。

下一步依据卫星实际的结构信息和卫星三维模型中的图层标注信息，在三维模型中区分关键部件，包括帆板、帆板支架、天线、光学载荷、推进组件、星敏感器、对接环、机械臂、主体以及其他设备，共10类。在3dsmax软件中对不同的关键部件赋予不同的纯色材质，并将关键部件到颜色的映射记录为表，对所有卫星模型执行同样的映射，完成卫星三维模型的标记。最后将原模型和标记后的模型分别导出为.fbx格式，便于后续导入虚幻引擎。

步骤2、在虚幻引擎中构建地球背景、卫星轨道、相机等场景组件，搭建仿真空间场景。为模拟卫星在空间环境中的成像效果，使用虚幻引擎搭建仿真空间环境，并尽可能引入多的真实物理信息。首先是地球背景的构建，新建场景组件蓝图控件，添加对比地球1：20比例的空白球体作为地球骨架，将8K超高清地球白天和黑夜纹理图、法线图、云图贴于材质球，附在地球骨架之上，设置骨架的旋转速度、与时间和光照的互动等，仿真地球蓝图构建完毕。按照同样的思路，利用8K超高清星空背景图构建星空背景蓝图。以地球为中心设置多条圆形及椭圆形滑轨，覆盖从2000千米的近地轨道到3.6万千米的地球同步轨道之间的多种高度，并依据卫星实际运行情况设置多种倾斜角度和轨道形状。至此仿真空间环境搭建完毕。

下一步利用虚幻引擎的摄像控件进行仿真拍摄环境的构建，为模拟天基相机拍摄卫星的成像效果，使用真实相机参数配置虚幻引擎相机组件，其中，设置焦距为2000mm，视场角为0.4度，光圈孔径为610mm，底片大小为14mm。在卫星轨道上新建相机吊臂控件，将相机、卫星模型同吊臂绑定，确保卫星运动过程中相机始终能够捕捉到卫星模型。调整相机位置，设置从百米内近距离到50km超远距离的多个拍摄距离，设置多种拍摄角度。该步骤是为了模拟空间卫星成像的不确定性，同时可以提高卫星语义分割数据集的多样性。

步骤3、针对步骤1获得的已标记卫星三维模型和步骤2获得的仿真空间场景，批量生成卫星图片及其关键部件语义标注图。首先将所有原卫星模型及其已标注关键部件的模型导入虚幻引擎备用，新建两个静态网格体场景组件用于承接模型，取某型号卫星的两个模型嵌入网格体组件，将模型放置于步骤2中设计好的仿真卫星轨道上，设置两个模型位置与姿态保持一致，使用两个配置好的相机分别捕捉两个模型。为方便两个模型同时成像并保存图片，使用虚幻引擎的“渲染目标”功能承接相机产生的卫星图片用于后续处理，渲染目标是虚幻引擎中一种可以在程序运行时写入的纹理，可以储存基础颜色、法线和环境光遮蔽等信息，允许用户将引擎的渲染结果二次转换为材质纹理，用于进一步的编辑、渲染或存储操作。例如可以使用场景捕捉指向某物并将图像存储到渲染目标，然后在网格体上显示渲染目标以模拟摄像头功能。具体到本发明的应用中，使用两个渲染目标承接两个相机产生的卫星图片，编辑渲染目标，对于原卫星图像，设置捕获源为LDR最终颜色，显示除已标记卫星模型的所有场景组件，调节伽马值以模拟空间环境光，设置动态模糊以模拟卫星运动所引起的成像退化；对于已标记卫星图像，设置捕获源为RGB基础颜色，屏蔽除已标记卫星模型的所有场景组件，关闭所有光照，其他设置与第一个渲染目标保持一致，显示效果为原卫星图像的关键部件标注结果。将两个渲染目标包装进渲染目标纹理备用。

下面设计程序的主要功能，即批量生成卫星图片及其语义标注图，使用控件蓝图设计程序主界面，添加按钮并结合蓝图编程实现更换模型、更换背景、调整卫星姿态、调整拍摄角度、定时截图五种分功能。其中，更换模型功能基于“获取类的所有实例化组件”函数实现，获取所有静态网格体组件，制作原卫星模型和已标记卫星模型两个列表，分别用于所对应的静态网格体场景组件的模型替换，实现在程序运行过程中指定卫星型号更换对应的原模型及已标记模型。更换背景功能指变换卫星图像中的地球背景，包括地球大小，地球自转位置、地影区，云层厚度等，该功能通过调整卫星轨道及卫星在轨道上的位置实现，结合仿真太阳光照效果，从物理层面模拟多样的地球背景。调整卫星姿态功能通过在控件蓝图添加卫星网格体组件的水平、垂直旋转运动实现，原模型和已标记模型的运动保持一致。调整拍摄角度功能按照步骤2中的拍摄角度设置添加到控件蓝图中，模拟空间卫星成像的不确定性。定时截图功能基于虚幻引擎材质纹理与图片的转换实现，将卫星图像的渲染目标纹理转码为.png格式图像写入本地，原图像与标注图像成对存储，并按照卫星型号归类。

最后，基于虚幻引擎的关卡序列功能设计动画序列，组合上述程序的分功能，实现批量自动截图，自动保存卫星原图和语义标注图。具体来说，对于每一型号卫星，设置100余种背景情况、10种水平姿态、10种垂直姿态、20种拍摄角度，共计生成20万张图片。该参数可按照实际需求与卫星模型情况灵活调整。批量自动截图功能可大量缩减截图前的配置时间，提高数据库构建效率，减小人力消耗。生成的图片将作为原始数据库进行下一步的处理。

步骤4、针对步骤3获得的语义标注图，进行标签重映射，规范数据库格式，完成数据库构建。Cityscapes数据集聚焦于城市街道场景的语义理解，由50个不同城市的街景组成，数据集包括5000张精准标注的图片和20000张粗略标注的图片，是图像语义分割领域的重要数据集。本发明卫星关键部件语义分割数据集将按照Cityscapes数据集的格式构建。

步骤3生成的卫星语义标注图为RGB彩色图，每一种颜色代表一类部件，而Cityscapes数据集的语义标注图为灰度图，每一灰度值代表一个类别。按照步骤1中卫星三维模型标注时的关键部件到颜色的映射表，将三通道彩色图重新映射到灰度图，作为最终的卫星语义标注图。

下一步，按照Cityscapes数据集格式设置数据集目录，每种型号卫星拍摄的所有图像视作一个序列，每张图像视作序列中的一帧。根目录下为原图与标注图的区分，一级目录下为序列的区分，二级目录下存储该序列所有图片。图片按照“卫星型号_序列标号_帧号.文件拓展名”的格式命名。设计脚本文件自动生成从图片名称映射到存储位置的索引文件。至此，卫星关键部件语义分割数据集构建完毕。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种卫星特征部件图像自动标注及数据库构建方法，其特征在于，包括以下步骤：

(1)对卫星三维模型进行关键部件标记；

(2)在虚幻引擎中构建包括地球背景、卫星轨道、相机的场景组件，搭建仿真空间场景；

(3)根据步骤(1)中获得的已标记卫星三维模型和步骤(2)获得的仿真空间场景，批量生成卫星图片及其关键部件语义标注图；

(4)针对步骤(3)获得的语义标注图，进行标签重映射，规范数据库格式，完成数据库构建。

2.根据权利要求1所述的卫星特征部件图像自动标注及数据库构建方法，其特征在于：所述步骤(1)中，对卫星三维模型进行关键部件标记，包括：

1.1)获取卫星三维模型并打开模型；

1.2)根据卫星实际的结构信息，在卫星三维模型中区分包括帆板、帆板支架、天线、光学载荷、推进组件、星敏感器的关键部件，并对各类部件赋予不同的材质以标记；

1.3)将原模型和已标记模型分别导出后导入虚幻引擎。

3.根据权利要求2所述的卫星特征部件图像自动标注及数据库构建方法，其特征在于：所述步骤(2)包括：

2.1)在虚幻引擎中按照1：20的比例构建地球及卫星轨道，绘制星空背景；

2.2)按照真实相机参数配置相机，预设多种相机拍摄位置和拍摄角度。

4.根据权利要求3所述的卫星特征部件图像自动标注及数据库构建方法，其特征在于：所述步骤(3)包括：

3.1)将原卫星模型和步骤(1)获得的已标记卫星模型导入虚幻引擎，设置两个模型姿态、运动等保持一致，分别使用两个步骤2.2)中已配置的相机拍摄两个模型，使用两个渲染目标承接所得图像；

3.2)编辑渲染目标，对于原卫星图像，设置捕获源为LDR最终颜色，显示除已标记卫星模型的所有场景组件，显示效果为天基相机拍摄的卫星图像；对于已标记卫星图像，设置捕获源为RGB基础颜色，屏蔽除已标记卫星模型的所有场景组件，关闭所有光照，显示效果为原卫星图像的关键部件标注结果；

3.3)设计程序批量出图相关功能，实现更换模型、更换背景、调整卫星姿态、调整拍摄角度、定时截图功能；设计动画序列，组合上述功能实现批量自动截图功能，自动保存卫星原图和语义标注图。

5.根据权利要求4所述的卫星特征部件图像自动标注及数据库构建方法，其特征在于：所述步骤(4)包括：

4.1)按照步骤1.2)中不同特征部件对应的不同材质形成的材质标签列表，将步骤3.3)中批量生成的卫星语义标注图从RGB图像映射到语义标签的灰度图；

4.2)按照CityScapes数据集的格式设置数据集目录，规范图像命名，生成索引文件。

Images