CN110207671A - 一种天基智能成像*** - Google Patents
一种天基智能成像*** Download PDFInfo
- Publication number
- CN110207671A CN110207671A CN201910566120.0A CN201910566120A CN110207671A CN 110207671 A CN110207671 A CN 110207671A CN 201910566120 A CN201910566120 A CN 201910566120A CN 110207671 A CN110207671 A CN 110207671A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- module
- submodule
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 74
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 32
- 238000013439 planning Methods 0.000 claims abstract description 29
- 230000008447 perception Effects 0.000 claims abstract description 22
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 230000002708 enhancing effect Effects 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 3
- 238000003702 image correction Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 21
- 230000008901 benefit Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 241001269238 Data Species 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 239000012491 analyte Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种天基智能成像***，涉及卫星成像的技术领域，包括：相连接的图像获取单元，场景感知控制单元和算法单元；图像获取单元，用于按照任务规划对多种因素信息进行计算，得到相机配置信息，并获取相机采集的多帧图像数据；场景感知控制单元，用于确定与任务规划类型匹配的背景类型，查找具有背景类型的目标图像；算法单元，用于对目标图像进行预处理，对预处理后的目标图像进行目标检测识别，得到检测识别结果。本发明实施例可以提高传检测识别结果数据的有效率，降低了星上数据存储的压力，以及星地链路之间数据传输的压力。
Description
技术领域
本发明涉及卫星成像技术领域，尤其是涉及一种天基智能成像***。
背景技术
随着航天有效载荷技术的发展，各种高分辨率探测仪器获取的探测数据大幅增长，星上数据处理能力及星地通信能力的发展则相对滞后。此外，载荷获取的数据包含很多无效数据，导致天基数据存储、管理、传输资源的浪费。由于受限于星载计算能力，现有的天基成像方法在星上未能进行有效计算，仅进行简单运算或不进行运算，将数据传到地面进行处理。
由于星载计算能力的限制，星上无法进行有效计算，探测器载荷获取到的数据包含大量无价值数据，都将被存储到有效载荷上，这对于载荷存储能力及数据管理能力提出了很高要求。对于需要进行快速响应的任务，是不能满足任务需求的。例如进行火灾检测或者军事背景下的战场态势感知，需要根据图像处理结果做出立即响应的任务，星地数传需要占用大量的传输时间，影响了任务的有效性。即便是对于实时性要求不高的环境变化监测、农作物监测的任务，星载载荷海量数据对于星地数传链路产生了巨大的压力，对于地面数据存储也提出了较高的要求。
发明内容
有鉴于此，本发明的目的在于提供一种天基智能成像***，以缓解现有技术中存在的星上数据处理能力及星地通信能力的发展则相对滞后。此外，载荷获取的数据包含很多无效数据，导致天基数据存储、管理、传输资源的浪费。由于受限于星载计算能力，现有的天基成像方法在星上未能进行有效计算，仅进行简单运算或不进行运算，将数据传到地面进行处理。由于星载计算能力的限制，星上无法进行有效计算，探测器载荷获取到的数据包含大量无价值数据，都将被存储到有效载荷上，这对于载荷存储能力及数据管理能力提出了很高要求的技术问题。
第一方面，本发明实施例提供了一种天基智能成像***，其中，包括相连接的图像获取单元，场景感知控制单元和算法单元；
所述图像获取单元，用于按照任务规划对多种因素信息进行计算，得到相机配置信息，并获取相机采集的多帧图像数据；
所述场景感知控制单元，用于确定与任务规划类型匹配的背景类型，查找具有所述背景类型的目标图像；
所述算法单元，用于对所述目标图像进行预处理，对预处理后的目标图像进行目标检测识别，得到检测识别结果。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述图像获取单元包括：计算模块、配置模块、判断模块和接收模块；
所述计算模块，用于按照任务规划，对多种因素信息进行计算，得到相机配置信息；
所述配置模块，用于按照所述相机配置信息对相机进行配置；
所述判断模块，用于判断对相机配置是否成功；
所述接收模块，用于在相机配置成功的情况下，获取相机按照预设时序采集的多帧图像数据。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述场景感知控制单元，包括：分析模块、查找模块和提取模块；
所述分析模块，用于分析所述目标图像的背景类型，并根据所述背景类型，对所述目标图像进行分类；
所述查找模块，用于查找与任务规划类型对应的背景类型；
所述提取模块，用于提取具有与任务规划类型对应的背景类型特征的同一类目标图像。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述算法单元，包括：图像预处理模块、目标检测识别模块和结果下传模块；
所述图像预处理模块，用于对所述目标图像进行去燥、薄云去除、图像校正增强，得到增强的目标图像；
所述目标检测识别模块，用于对所述增强的目标图像进行目标检测，确定目标特征信息，基于所述目标特征信息对所述增强的目标图像中的感兴趣目标进行跟踪，得到检测识别结果；
所述结果下传模块，用于将所述检测识别结果和所述感兴趣目标的图像进行下传。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述图像预处理模块包括：去燥子模块、薄云去除子模块和校正增强子模块；
所述去燥子模块，用于去除所述目标图像中的条带噪声和随机噪声，得到去噪后的目标图像；
所述薄云去除子模块，用于对所述去噪后的目标图像增强对比度，得到失真的目标图像；
所述图像校正增强子模块，用于对所述失真的目标图像进行复原处理，得到所述增强的目标图像。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述目标检测识别模块包括：目标提取子模块、信息融合子模块、目标检测子模块和目标识别子模块；
所述目标提取子模块，用于对所述增强的目标图像进行目标检测，确定目标特征信息，并根据所述目标特征信息在所述增强的目标图像中提取感兴趣目标的图像；
所述信息融合子模块，用于获取两个源序列图像，并将两个源序列图像进行融合，得到融合序列图像；
所述目标检测子模块，用于在所述融合序列图像检测到感兴趣目标；
所述目标识别子模块，用于识别感兴趣目标，并对所述感兴趣目标进行跟踪。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述信息融合子模块在对两个源序列图像进行融合时，包括：序列图像的预处理、运动目标检测、图像多尺度变换、基于区域的图像融合以及对应的多尺度逆变换。
结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述因素信息包括：当前的轨道、姿态、相机安装矩阵，被观测点的空间位置、太阳高度角、观测相角和任务需求。
结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述相机配置信息包括：相机的开机时间，曝光时间，增益和帧频。
本发明实施例带来了以下有益效果：
本发明实施例提供了一种天基智能成像***，包括相连接的图像获取单元，场景感知控制单元和算法单元；所述图像获取单元，用于按照任务规划对多种因素信息进行计算，得到相机配置信息，并获取相机采集的多帧图像数据；所述场景感知控制单元，用于确定与任务规划类型匹配的背景类型，查找具有所述背景类型的目标图像；所述算法单元，用于对所述目标图像进行预处理，对预处理后的目标图像进行目标检测识别，得到检测识别结果。本发明实施例可以通过所述图像获取单元获取图像信息，结合采集的多帧图像数据，提高了下传检测识别结果数据的有效率，降低了星上数据存储的压力，以及星地链路之间数据传输的压力，进而提高了卫星执行任务的时效性，使得对天基观测进行快速响应成为可能。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种天基智能成像***的结构示意图；
图2为本发明实施例提供的图像预处理模块的结构示意图；
图3为本发明实施例提供的图像检测识别模块的结构示意图。
图标：
10-图像获取单元；11-计算模块；12-配置模块；13-判断模块；14-接收模块；20-场景感知控制单元；21-分析模块；22-查找模块；23-提取模块；30-算法单元；31-图像预处理模块；32-目标检测识别模块；33-结果下传模块；311-去燥子模块；312-薄云去除子模块；313-校正增强子模块；321-目标提取子模块；322-信息融合子模块；323-目标检测子模块；324-目标识别子模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前星上数据处理能力及星地通信能力的发展则相对滞后。此外，载荷获取的数据包含很多无效数据，导致天基数据存储、管理、传输资源的浪费。由于受限于星载计算能力，现有的天基成像方法在星上未能进行有效计算，仅进行简单运算或不进行运算，将数据传到地面进行处理。由于星载计算能力的限制，星上无法进行有效计算，探测器载荷获取到的数据包含大量无价值数据，都将被存储到有效载荷上，这对于载荷存储能力及数据管理能力提出了很高要求，基于此，本发明实施例提供的一种天基智能成像***，可以提高传检测识别结果数据的有效率，降低了星上数据存储的压力，以及星地链路之间数据传输的压力。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种天基智能成像***进行详细介绍。
实施例一：
参照图1，本发明实施例提供一种天基智能成像***，包括相连接的图像获取单元10，场景感知控制单元20和算法单元30；
图像获取单元10，用于按照任务规划对多种因素信息进行计算，得到相机配置信息，并获取相机采集的多帧图像数据；
场景感知控制单元20，用于确定与任务规划类型匹配的背景类型，查找具有背景类型的目标图像；
算法单元30，用于对目标图像进行预处理，对预处理后的目标图像进行目标检测识别，得到检测识别结果。
在本发明实施例中，因素信息包括但不限于：当前的轨道、姿态、相机安装矩阵，被观测点的空间位置、太阳高度角、观测相角和任务需求。相机配置信息可以包括但不限于相机的开机时间、曝光时间、增益和帧频，在相机开机后，按照计算得到的相机配置信息对相机配置，即开始按照预设的时序采集图像数据，相机的帧频及图像尺寸受限于相机与天基超算平台的网络传输速度及硬盘写入速度。在相机与天基超算平台的网络传输速度和硬盘写入速度一定的前提下，相机的帧频越大，图像尺寸需要相对减小，反之，相机帧频降低，图像尺寸可适当增加。其中，天基超算平台是运行在天基卫星平台上的一种架构灵活且易于扩展的可重构计算单元，可通过增加计算节点实现天基计算能力的提高，对算法单元中的图像处理算法模块提供了良好的实现环境及运行平台。天基超算平台可以对探测器载荷的海量图像数据进行针对性的处理，降低星地链路数传压力，并使得对天基观测进行快速响应成为可能。天基超算平台上的天基智能成像***可以实现无效数据去除、去噪、薄云去除、去模糊、去抖动、对比度增强、低照度增强、超分辨率重建、三维重建、几何校正、偏色校正和图像拼接功能，用于目标检测与识别、环境变化监测、火灾检测、地震监测、北极监测、农作物检测、桥梁检测、水资源检测和道路检测等。
背景类型包括但不限于地面背景、深空背景和临边背景，任务规划类型与背景类型一一对应，示例性的，若任务规划类型为对地观测，则背景类型为地面背景；若任务规划类型为对天观测，则背景类型为深空背景；若任务规划类型为临边观测，则图像应主要为临边背景。场景感知控制单元需要先根据任务规划类型确定背景类型，地面背景一般相对复杂，如：公路、城市、森林、沙漠或水面等，因此地面背景的目标图像全局方差较大，局部方差大小不一。示例性的：公路，沙漠和水面的目标图像区域局部方差较小，而城市，森林的目标图像局部方差较大。而深空背景一般为宇宙深空，相对单一，因此，深空背景的目标图像全局方差较小并且局部方差较为稳定；临边背景，即目标图像中部分为深空背景、部分为地面背景，临边背景的目标图像全局方差较大，但局部方差较小。
利用不同背景类型的目标图像全局方差不同，采用背景建模的方法对每种背景类型建立模型，然后将输入图像的背景模型与已建立模型进行匹配，从而完成场景分类，并加载算法单元中相应的图像处理算法模块。针对不同背景类型的目标图像，利用与之对应的方法进行预处理，并加载算法单元中相应的图像处理算法模块，示例性的，对于深空背景的图像，采用基于局部信噪比的杂光抑制算法进行背景抑制，提取运动目标轨迹，并结合可见光图像中目标点的运动，形状和光学等特性判断目标点是否为感兴趣目标，进行自主跟踪。对于地面背景的图像，首先对图像进行薄云去除，去噪和几何校正，然后利用相邻帧之间的转台转动角度对图像进行配准，固定背景去除，提取运动目标轨迹，并结合可见光图像中目标点的运动，形状和光学等特性判断目标点是否为感兴趣目标，进行自主跟踪。
天基超算平台可以同时接收可见光、红外、多光谱和高光谱等多种探测器载荷的海量异质探测数据。场景感知控制单元20接收到相机的图像后，采用自适应场景判别的场景感知算法进行场景感知，并根据场景感知结果控制后续处理需要加载的算法，其中，后续处理主要包括图像去噪，图像校正增强，目标检测识别，去除无效数据和检测识别结果下传。
进一步的，图像获取单元10包括：计算模块11、配置模块12、判断模块13和接收模块14；
计算模块11，用于按照任务规划，对多种因素信息进行计算，得到相机配置信息；
配置模块12，用于按照相机配置信息对相机进行配置；
判断模块13，用于判断对相机配置是否成功；
接收模块14，用于在相机配置成功的情况下，获取相机按照预设时序采集的多帧图像数据。
进一步的，场景感知控制单元20，包括：分析模块21、查找模块22和提取模块23；
分析模块21，用于分析目标图像的背景类型，并根据背景类型，对目标图像进行分类；
查找模块22，用于查找与任务规划类型对应的背景类型；
提取模块23，用于提取具有与任务规划类型对应的背景类型特征的同一类目标图像。
在本发明实施例中，场景感知控制单元20可以通过自适应算法自动进行场景感知，检测图像的背景类型，将图像根据背景类型进行分类，然后根据与任务规划类型对应的背景类型，确定具有与任务规划类型对应的背景类型特征的同一类目标图像，并控制加载与背景类型相应的算法。
进一步的，算法单元30，包括：图像预处理模块31、目标检测识别模块32和结果下传模块33；
图像预处理模块31，用于对目标图像进行去燥、薄云去除、图像校正增强，得到增强的目标图像；
在本发明实施例中，图像由成像设备在高空中拍摄，且在成像和传输的过程中存在大量的干扰噪声，成像设备包括探测器载荷。由成像设备产生的噪声属于条带噪声，这是设备的固有缺陷造成的，一般采用频域滤波法去除噪声。其次，由传输产生的大量的随机噪声，一般采用空域滤波法，如中值滤波法去除。由于受到气候的影响，部分图像中带有薄云。薄云具有以下特点：高亮度，低对比度和低频，因此薄云去除的主要方法就是降低云层的亮度，增强对比度。薄云去除主要可以分类两类方法：空域内的多项式法和频域内的同态滤波。在去噪及薄云去除后，对图像进行校正及增强处理。图像校正包含图像几何校正和辐射校正。图像增强主要包括直方图均衡化，空域滤波增强和频域滤波增强，增强后的图像便于后续操作。
在天基超算平台的基础上，根据多种任务需求配置与之对应的于背景类型，不同任务类型的图像处理算法模块成为可能。天基超算平台的计算能力和灵活性为算法库的配置和加载提供了有利条件。根据不同的任务类型加载相匹配的图像预处理模块31，包括图像去噪，图像增强等算法，根据不同背景类型的目标图像加载对应的目标检测识别模块32，保证了天基智能成像方法的有效性。
目标检测识别模块32，用于对增强的目标图像进行目标检测，确定目标特征信息，基于目标特征信息对增强的目标图像中的感兴趣目标进行跟踪，得到检测识别结果；
在本发明实施例中，目标检测识别模块32是根据场景感知及背景类型判断待检测目标图像的灰度特征、形态特征、运动特征和光谱特征等目标特征信息。根据目标特征信息在增强后的目标图像中将感兴趣目标提取出来。在检测识别过程中，对图像的处理涉及背景抑制，图像配准，图像分割，目标提取，信息融合，目标检测和目标识别等步骤。对于不同的处理步骤，需要根据场景和任务匹配适当的图像处理算法模块。对于背景抑制，图像配准和图像分割三个处理环节主要根据场景感知的结果，对于地面背景、深空背景、临边背景采用不同的处理模块对应的不同的图像处理算法。目标提取，信息融合，目标检测和目标识别四个处理环节主要根据背景类型来加载不同的算法模块进行有针对性的处理。
结果下传模块33，用于将检测识别结果和感兴趣目标的图像进行下传。
在本发明实施例中，参照图2，图像预处理模块31可以包括：去燥子模块311、薄云去除子模块312和校正增强子模块313；
去燥子模块311，用于去除目标图像中的条带噪声和随机噪声，得到去噪后的目标图像；
薄云去除子模块312，用于对去噪后的目标图像增强对比度，得到失真的目标图像；
图像校正增强子模块313，用于对失真的目标图像进行复原处理，得到增强的目标图像。
在本发明实施例中，参照图3，目标检测识别模块32包括：目标提取子模块321、信息融合子模块322、目标检测子模块323和目标识别子模块324；
目标提取子模块321，用于对增强的目标图像进行目标检测，确定目标特征信息，并根据目标特征信息在增强的目标图像中提取感兴趣目标的图像；
信息融合子模块322，用于获取两个源序列图像，并将两个源序列图像进行融合，得到融合序列图像；
目标检测子模块323，用于在融合序列图像检测到感兴趣目标；
目标识别子模块324，用于识别感兴趣目标，并对感兴趣目标进行跟踪。
在本发明实施例中，以多源载荷下的空间目标检测识别为例：目标提取子模块321将图像中提取的目标位置进行映射，计算其在图像中的位置，并将图像中感兴趣目标的灰度，辐射信息与图像中感兴趣目标的纹理，形状和速度等信息进行合并，合并后作为信息融合子模块322的输入，经过信息融合子模块322处理，输出目标是否为感兴趣目标。若目标为虚假干扰目标，则转入目标检测子模块323进行检测，若目标被判定为感兴趣目标，则利用目标识别子模块324输出感兴趣目标的位置中心坐标，附近区域图像，目标速度和灰度等特性，同时输出目标轨迹，跟踪指令给控制***实现闭环跟踪。
图像经目标检测识别模块32处理，可以输出：目标点位置中心坐标及附近区域图像、目标速度、灰度等特性，同时输出目标轨迹。将目标点位置信息及目标附近区域图像，目标运动速度、目标灰度、辐射特性等检测识别结果进行下传，去除了无效的图像数据，降低了星地数传链路压力。示例性的，可以对火灾等需要做出快速响应的任务，直接给出火灾地点，预警等级等信息，地面根据星上信息可直接进行决策，而无需在地面等待数据传输完毕，进行图像处理后才做出决策，时效性得到了显著提升。
在本发明实施例中，以单帧飞机检测为例：
采用基于显著图和不变矩的方法进行单帧飞机的检测。首先将待识别的遥感图像进行预处理，包含灰度化和去噪，然后采用显著图算法提取原图的显著图，定位显著目标并作为候选目标。确定候选目标后，提取候选目标的伪Zernike矩和仿射不变矩，再进行特征选择和特征融合。使用同样的方法，提取样本图像的伪Zernike矩和仿射不变矩，再完成特征选择和特征融合，最后使用欧式距离作为相似性度量，选取相似性最大的样本图像作为候选目标的判别标准。若该样本图像属于目标图像，则标记该候选目标为识别目标；否则为背景图像，并舍弃该候选目标。
进一步的，信息融合子模块322在对两个源序列图像进行融合时，包括：序列图像的预处理、运动目标检测、图像多尺度变换、基于区域的图像融合以及对应的多尺度逆变换。
进一步的，因素信息包括：当前的轨道、姿态、相机安装矩阵，被观测点的空间位置、太阳高度角、观测相角和任务需求。
进一步的，相机配置信息包括：相机的开机时间，曝光时间，增益和帧频。
在本发明实施例中，根据任务规划，对于不同的任务类型，加载相应的图像处理算法模块，并提取相对应的感兴趣目标，根据目标特点提取其目标特征信息，并将其分类，最后根据检测识别结果，选取有效数据下传，避免了大量无效数据传输造成数据带宽的浪费，并可以满足快速响应任务的应用场景需求。
本发明可以降低星上数据存储的压力，降低星地链路数据传输的压力，提高了卫星载荷执行任务的时效性，利用卫星获取图像信息，结合卫星轨道姿态信息，使得智能卫星成为可能，便于空间监视，遥感观测，进而为国防安全，国土安全提供了有力保障。
本发明实施例提供了一种天基智能成像***，包括相连接的图像获取单元，场景感知控制单元和算法单元；所述图像获取单元，用于按照任务规划对多种因素信息进行计算，得到相机配置信息，并获取相机采集的多帧图像数据；所述场景感知控制单元，用于确定与任务规划类型匹配的背景类型，查找具有所述背景类型的目标图像；所述算法单元，用于对所述目标图像进行预处理，对预处理后的目标图像进行目标检测识别，得到检测识别结果。本发明实施例可以通过所述图像获取单元获取图像信息，结合采集的多帧图像数据，提高了下传检测识别结果数据的有效率，降低了星上数据存储的压力，以及星地链路之间数据传输的压力，进而提高了卫星执行任务的时效性，使得对天基观测进行快速响应成为可能。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和方法的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例所提供的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (9)
1.一种天基智能成像***，其特征在于，包括相连接的图像获取单元，场景感知控制单元和算法单元；
所述图像获取单元，用于按照任务规划对多种因素信息进行计算，得到相机配置信息，并获取相机采集的多帧图像数据；
所述场景感知控制单元，用于确定与任务规划类型匹配的背景类型，查找具有所述背景类型的目标图像；
所述算法单元，用于对所述目标图像进行预处理，对预处理后的目标图像进行目标检测识别，得到检测识别结果。
2.根据权利要求1所述的天基智能成像***，其特征在于，所述图像获取单元包括：计算模块、配置模块、判断模块和接收模块；
所述计算模块，用于按照任务规划，对多种因素信息进行计算，得到相机配置信息；
所述配置模块，用于按照所述相机配置信息对相机进行配置；
所述判断模块，用于判断对相机配置是否成功；
所述接收模块，用于在相机配置成功的情况下，获取相机按照预设时序采集的多帧图像数据。
3.根据权利要求1所述的天基智能成像***，其特征在于，所述场景感知控制单元，包括：分析模块、查找模块和提取模块；
所述分析模块，用于分析所述目标图像的背景类型，并根据所述背景类型，对所述目标图像进行分类；
所述查找模块，用于查找与任务规划类型对应的背景类型；
所述提取模块，用于提取具有与任务规划类型对应的背景类型特征的同一类目标图像。
4.根据权利要求3所述的天基智能成像***，其特征在于，所述算法单元，包括：图像预处理模块、目标检测识别模块和结果下传模块；
所述图像预处理模块，用于对所述目标图像进行去燥、薄云去除、图像校正增强，得到增强的目标图像；
所述目标检测识别模块，用于对所述增强的目标图像进行目标检测，确定目标特征信息，基于所述目标特征信息对所述增强的目标图像中的感兴趣目标进行跟踪，得到检测识别结果；
所述结果下传模块，用于将所述检测识别结果和所述感兴趣目标的图像进行下传。
5.根据权利要求4所述的天基智能成像***，其特征在于，所述图像预处理模块包括：去燥子模块、薄云去除子模块和校正增强子模块；
所述去燥子模块，用于去除所述目标图像中的条带噪声和随机噪声，得到去噪后的目标图像；
所述薄云去除子模块，用于对所述去噪后的目标图像增强对比度，得到失真的目标图像；
所述图像校正增强子模块，用于对所述失真的目标图像进行复原处理，得到所述增强的目标图像。
6.根据权利要求4所述的天基智能成像***，其特征在于，所述目标检测识别模块包括：目标提取子模块、信息融合子模块、目标检测子模块和目标识别子模块；
所述目标提取子模块，用于对所述增强的目标图像进行目标检测，确定目标特征信息，并根据所述目标特征信息在所述增强的目标图像中提取感兴趣目标的图像；
所述信息融合子模块，用于获取两个源序列图像，并将两个源序列图像进行融合，得到融合序列图像；
所述目标检测子模块，用于在所述融合序列图像检测到感兴趣目标；
所述目标识别子模块，用于识别感兴趣目标，并对所述感兴趣目标进行跟踪。
7.根据权利要求6所述的天基智能成像***，其特征在于，所述信息融合子模块在对两个源序列图像进行融合时，包括：序列图像的预处理、运动目标检测、图像多尺度变换、基于区域的图像融合以及对应的多尺度逆变换。
8.根据权利要求1所述的天基智能成像***，其特征在于，所述因素信息包括：当前的轨道、姿态、相机安装矩阵，被观测点的空间位置、太阳高度角、观测相角和任务需求。
9.根据权利要求1所述的天基智能成像***，其特征在于，所述相机配置信息包括：相机的开机时间，曝光时间，增益和帧频。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2018116542200 | 2018-12-29 | ||
| CN201811654220 | 2018-12-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110207671A true CN110207671A (zh) | 2019-09-06 |
| CN110207671B CN110207671B (zh) | 2021-08-24 |
Family
ID=67794964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910566120.0A Active CN110207671B (zh) | 2018-12-29 | 2019-06-26 | 一种天基智能成像*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110207671B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110519485A (zh) * | 2019-09-09 | 2019-11-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110806198A (zh) * | 2019-10-25 | 2020-02-18 | 北京前沿探索深空科技有限公司 | 基于遥感图像的目标定位方法、装置以及控制器和介质 |
| CN110913226A (zh) * | 2019-09-25 | 2020-03-24 | 西安空间无线电技术研究所 | 一种基于云检测的图像数据处理***及方法 |
| CN110991313A (zh) * | 2019-11-28 | 2020-04-10 | 华中科技大学 | 一种基于背景分类的运动小目标检测方法和*** |
| CN111931833A (zh) * | 2020-07-30 | 2020-11-13 | 上海卫星工程研究所 | 一种基于多源数据驱动的天基多维信息融合方法及*** |
| CN112616027A (zh) * | 2020-12-11 | 2021-04-06 | 中国科学院软件研究所 | 一种自动规划成像方法及装置 |
| CN113478485A (zh) * | 2021-07-06 | 2021-10-08 | 上海商汤智能科技有限公司 | 机器人及其控制方法、装置、电子设备、存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001076120A2 (en) * | 2000-04-04 | 2001-10-11 | Stick Networks, Inc. | Personal communication device for scheduling presentation of digital content |
| WO2002018874A1 (en) * | 2000-08-28 | 2002-03-07 | Marine Research Wa Pty Ltd | Real or near real time earth imaging system |
| US20050249281A1 (en) * | 2004-05-05 | 2005-11-10 | Hui Cheng | Multi-description coding for video delivery over networks |
| US20080215204A1 (en) * | 2006-12-06 | 2008-09-04 | Mercury Computer Systems, Inc. | Methods, apparatus and systems for enhanced synthetic vision and multi-sensor data fusion to improve operational capabilities of unmanned aerial vehicles |
| CN102034103A (zh) * | 2010-12-03 | 2011-04-27 | 中国科学院软件研究所 | 一种遥感影像的线性要素提取方法 |
| CN106134476B (zh) * | 2008-11-24 | 2012-09-05 | 西安电子科技大学 | 星载实时并行数据处理*** |
| CN102904834A (zh) * | 2012-09-10 | 2013-01-30 | 中国航天科技集团公司第五研究院第五一三研究所 | 一种基于aos的星载数据处理*** |
| CN103455708A (zh) * | 2013-07-24 | 2013-12-18 | 安徽省电力科学研究院 | 基于卫星及气象信息的输电线路灾害监测与风险评估平台 |
| US20140085102A1 (en) * | 2008-09-15 | 2014-03-27 | Peter E. McCormick | Interface for communicating sensor data to a satellite network |
| CN103761524A (zh) * | 2014-01-17 | 2014-04-30 | 电子科技大学 | 一种基于图像的线性目标识别与提取方法 |
| CN106441237A (zh) * | 2015-08-10 | 2017-02-22 | 北京空间飞行器总体设计部 | 一种光学遥感卫星相机成像参数在轨自主调整方法 |
| CN106851084A (zh) * | 2016-11-21 | 2017-06-13 | 北京空间机电研究所 | 一种遥感相机星上实时处理算法上注更新平台 |
| CN108564587A (zh) * | 2018-03-07 | 2018-09-21 | 浙江大学 | 一种基于全卷积神经网络的大范围遥感影像语义分割方法 |
| US10139279B2 (en) * | 2015-05-12 | 2018-11-27 | BioSensing Systems, LLC | Apparatuses and methods for bio-sensing using unmanned aerial vehicles |
-
2019
- 2019-06-26 CN CN201910566120.0A patent/CN110207671B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001076120A2 (en) * | 2000-04-04 | 2001-10-11 | Stick Networks, Inc. | Personal communication device for scheduling presentation of digital content |
| WO2002018874A1 (en) * | 2000-08-28 | 2002-03-07 | Marine Research Wa Pty Ltd | Real or near real time earth imaging system |
| US20050249281A1 (en) * | 2004-05-05 | 2005-11-10 | Hui Cheng | Multi-description coding for video delivery over networks |
| US20080215204A1 (en) * | 2006-12-06 | 2008-09-04 | Mercury Computer Systems, Inc. | Methods, apparatus and systems for enhanced synthetic vision and multi-sensor data fusion to improve operational capabilities of unmanned aerial vehicles |
| US20140085102A1 (en) * | 2008-09-15 | 2014-03-27 | Peter E. McCormick | Interface for communicating sensor data to a satellite network |
| CN106134476B (zh) * | 2008-11-24 | 2012-09-05 | 西安电子科技大学 | 星载实时并行数据处理*** |
| CN102034103A (zh) * | 2010-12-03 | 2011-04-27 | 中国科学院软件研究所 | 一种遥感影像的线性要素提取方法 |
| CN102904834A (zh) * | 2012-09-10 | 2013-01-30 | 中国航天科技集团公司第五研究院第五一三研究所 | 一种基于aos的星载数据处理*** |
| CN103455708A (zh) * | 2013-07-24 | 2013-12-18 | 安徽省电力科学研究院 | 基于卫星及气象信息的输电线路灾害监测与风险评估平台 |
| CN103761524A (zh) * | 2014-01-17 | 2014-04-30 | 电子科技大学 | 一种基于图像的线性目标识别与提取方法 |
| US10139279B2 (en) * | 2015-05-12 | 2018-11-27 | BioSensing Systems, LLC | Apparatuses and methods for bio-sensing using unmanned aerial vehicles |
| CN106441237A (zh) * | 2015-08-10 | 2017-02-22 | 北京空间飞行器总体设计部 | 一种光学遥感卫星相机成像参数在轨自主调整方法 |
| CN106851084A (zh) * | 2016-11-21 | 2017-06-13 | 北京空间机电研究所 | 一种遥感相机星上实时处理算法上注更新平台 |
| CN108564587A (zh) * | 2018-03-07 | 2018-09-21 | 浙江大学 | 一种基于全卷积神经网络的大范围遥感影像语义分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| ZHENG LI，YULI XIA: "Compressive sensing for space image compressing", 《INTELLIGENT INFORMATION PROCESSING》 * |
| 李斌: "天基信息港及其多源信息融合应用", 《中国电子科学研究院学报》 * |
| 王之: "天基信息港的多源信息融合任务调度研究", 《中国空间科学技术》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110519485A (zh) * | 2019-09-09 | 2019-11-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110519485B (zh) * | 2019-09-09 | 2021-08-31 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110913226A (zh) * | 2019-09-25 | 2020-03-24 | 西安空间无线电技术研究所 | 一种基于云检测的图像数据处理***及方法 |
| CN110913226B (zh) * | 2019-09-25 | 2022-01-04 | 西安空间无线电技术研究所 | 一种基于云检测的图像数据处理***及方法 |
| CN110806198A (zh) * | 2019-10-25 | 2020-02-18 | 北京前沿探索深空科技有限公司 | 基于遥感图像的目标定位方法、装置以及控制器和介质 |
| CN110991313A (zh) * | 2019-11-28 | 2020-04-10 | 华中科技大学 | 一种基于背景分类的运动小目标检测方法和*** |
| CN110991313B (zh) * | 2019-11-28 | 2022-02-15 | 华中科技大学 | 一种基于背景分类的运动小目标检测方法和*** |
| CN111931833A (zh) * | 2020-07-30 | 2020-11-13 | 上海卫星工程研究所 | 一种基于多源数据驱动的天基多维信息融合方法及*** |
| CN111931833B (zh) * | 2020-07-30 | 2022-08-12 | 上海卫星工程研究所 | 一种基于多源数据驱动的天基多维信息融合方法及*** |
| CN112616027A (zh) * | 2020-12-11 | 2021-04-06 | 中国科学院软件研究所 | 一种自动规划成像方法及装置 |
| CN113478485A (zh) * | 2021-07-06 | 2021-10-08 | 上海商汤智能科技有限公司 | 机器人及其控制方法、装置、电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110207671B (zh) | 2021-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110207671A (zh) | 一种天基智能成像*** | |
| Jiang et al. | Survey of multispectral image fusion techniques in remote sensing applications | |
| CN206968975U (zh) | 一种无人机 | |
| CN110287939B (zh) | 天基智能图像处理方法 | |
| CN109508636A (zh) | 车辆属性识别方法、装置、存储介质及电子设备 | |
| Zhong et al. | 3D scene reconstruction with sparse LiDAR data and monocular image in single frame | |
| CN116543241B (zh) | 泄露气体云团的检测方法、装置、存储介质和电子设备 | |
| CN112507840A (zh) | 一种人机混合增强的小目标检测和跟踪方法及*** | |
| CN114255407A (zh) | 基于高分辨率的反无人机多目标识别和跟踪视频探测方法 | |
| Biswas et al. | Small object difficulty (sod) modeling for objects detection in satellite images | |
| Wang et al. | Near-surface pedestrian detection method based on deep learning for UAVs in low illumination environments | |
| CN112991246B (zh) | 一种可见光与红外视频图像融合方法及装置 | |
| Liu et al. | Manhole cover detection from natural scene based on imaging environment perception | |
| Li et al. | Driver drowsiness behavior detection and analysis using vision-based multimodal features for driving safety | |
| WO2022156652A1 (zh) | 交通工具运动状态评估方法、装置、设备以及介质 | |
| Lin et al. | A multi-target detection framework for multirotor UAV | |
| Chen et al. | A simulation-augmented benchmarking framework for automatic RSO streak detection in single-frame space images | |
| Pal et al. | A Comprehensive Review of AI-enabled Unmanned Aerial Vehicle: Trends, Vision, and Challenges | |
| CN112070893A (zh) | 一种基于深度学习的动态海面三维建模方法及存储介质 | |
| Żorski et al. | Object tracking and recognition using massively parallel processing with CUDA | |
| Yang et al. | Multi-modal Target Detection Based on Edge Computing | |
| Ren et al. | Lightweight recognition method of infrared sensor image based on deep learning method | |
| Pravalika et al. | Bridge Detection using Satellite Images | |
| Kotaridis et al. | Integrating Earth observation IMINT with OSINT data to create added-value multisource intelligence information: A case study of the Ukraine-Russia war. | |
| Wang | Real‐Time Analysis of Athletes’ Physical Condition in Training Based on Video Monitoring Technology of Optical Flow Equation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |