CN115424140A - 星载海量图像数据分布式协同快速高精度处理***及方法 - Google Patents

星载海量图像数据分布式协同快速高精度处理***及方法 Download PDF

Info

Publication number
CN115424140A
CN115424140A CN202210910161.9A CN202210910161A CN115424140A CN 115424140 A CN115424140 A CN 115424140A CN 202210910161 A CN202210910161 A CN 202210910161A CN 115424140 A CN115424140 A CN 115424140A
Authority
CN
China
Prior art keywords
image
image data
satellite
module
precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210910161.9A
Other languages
English (en)
Inventor
李晓博
刘洋
邵应昭
徐常志
张建华
谢卫莹
王元乐
张茗茗
丁跃利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Institute of Space Radio Technology
Original Assignee
Xian Institute of Space Radio Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Institute of Space Radio Technology filed Critical Xian Institute of Space Radio Technology
Priority to CN202210910161.9A priority Critical patent/CN115424140A/zh
Publication of CN115424140A publication Critical patent/CN115424140A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种星载海量图像数据分布式协同快速高精度处理***，包括：成像模式判断模块、区域匹配计算模块、快速筛选模块和高精度检测识别模块；成像模式判断模块判断遥感卫星当前工作的成像模式，当遥感卫星工作在远洋目标广域搜索成像模式时，将原始图像数据输入快速筛选模块，当遥感卫星工作在点目标详查成像模式时，将原始图像数据输入区域匹配计算模块；快速筛选模块从原始图像数据中筛选出疑似包含可疑目标的图像输入至高精度检测识别模块；区域匹配计算模块构建热点区域，从原始图像数据中筛选出属于热点区域的图像输入至高精度检测识别模块；高精度检测识别模块对输入的图像进行可疑目标检测和识别并输出检测结果。

Description

星载海量图像数据分布式协同快速高精度处理***及方法
技术领域
本发明属于航天遥感领域，特别涉及一种星载海量图像数据分布式协同快 速高精度处理***及方法。
背景技术
近年来，以深度学习为代表的新一代人工智能技术已在星载数据处理*** 中获得了广泛应用，该类方法在性能上较传统方法取得了较大提升。然而，随 着遥感卫星空间、时间、光谱分辨率的不断提升，卫星获取的数据量越来越大(数 据速率已达几十Gbps)，主流深度学习模型处理速率(FPGA或者AI芯片)仅 能达到几十Mbps(几十帧)到上百Mbps(几百帧)量级，已无法满足星载海 量数据实时高精度处理需求。
通过大数据分析可知，在遥感卫星获取的大量海洋遥感图像数据中，只有 极少部分数据(小于1％)包含真实舰船目标，而大部分均为纯海洋或者云层 等没有目标的无用数据。目前星载处理***在进行远洋目标检测处理时存在以 下不足：
整个处理流程需要对卫星获取的全部图像进行遍历处理，也就是说，具体 处理流程将获取的原始图像进行分块，不管图像块中有无目标，都会将每个图 像块送进高精度目标检测识别网络进行处理；同样，在对机场飞机、港口舰船 等固定区域目标进行检测识别处理中，也是进行遍历处理；现有方法极大浪费 了星载计算资源，增加了处理时延。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种星载海量图 像数据分布式协同快速高精度处理***及方法，有效提升卫星海量图像数据处 理的效率与精度。
本发明的技术解决方案是：
一种星载海量图像数据分布式协同快速高精度处理***，包括：成像模式 判断模块、区域匹配计算模块、快速筛选模块和高精度检测识别模块，其中：
成像模式判断模块：判断遥感卫星当前工作的成像模式，当遥感卫星工作 在远洋目标广域搜索成像模式时，将原始图像数据输入快速筛选模块，当遥感 卫星工作在点目标详查成像模式时，将原始图像数据输入区域匹配计算模块；
快速筛选模块：从原始图像数据中筛选出疑似包含可疑目标的图像输入至 高精度检测识别模块，丢弃其余图像；
区域匹配计算模块：构建热点区域，从原始图像数据中筛选出属于热点区 域的图像输入至高精度检测识别模块，丢弃其余图像；
高精度检测识别模块：对输入的图像进行目标检测和识别并输出检测结果。
优选的，所述快速筛选模块包括一个或多个数据处理单元，每个数据处理 单元均采用快速筛选网络对输入的图像进行筛选，所述快速筛选网络包括依次 设置的第一卷积层、第二卷积层、至少一个特征提取单元、第三卷积层、全连 接层和Softmax层，所述第一卷积层包括32个1×1的卷积核，所述第二卷积层 包括64个3×3的卷积核，所述特征提取单元包括依次设置的多通道特征提取单 元、Max pooling层和第四卷积层，所述多通道特征提取单元包括第一通道、 第二通道和第三通道，所述第一通道为32个1×1的卷积核后连接64个3×3的 卷积核，所述第二通道为32个3×3的卷积核后连接64个1×1的卷积核，所述 第三通道为64个1×1的卷积核，所述第四卷积层为64个3×3的卷积核，所述 第三卷积层包括32个3×3的卷积核；所述第一卷积层、第二卷积层、第一通道、 第二通道、第三通道、第三卷积层或者第四卷积层中的卷积核卷积后输出的特 征图利用Relu激活函数进行激活。
优选的，所述1×1的卷积核和3×3的卷积核，卷积步进均为1。
优选的，所述特征提取单元的数量为3～5个，依次串联。
优选的，所述高精度检测识别模块包括：多模态数据融合单元、高分信息 保持单元、主干网络和辅助超分辨率学习支路，其中：
多模态数据融合单元：将原始图像统一到同一分辨率下，通过多源数据融 合形成融合图像并输入至高分信息保持单元；所述原始图像包括全色图像、多 光谱图像和近红外图像；
高分信息保持单元：对融合图像进行细节保持与提升，得到细节增强的高 分图像并输入至主干网络；
主干网络：对细节增强的高分图像进行分层特征提取，得到图像的低层和 高层特征，采用高精度检测识别模型对图像中可疑目标类别进行判断，并计算 可疑目标的位置和置信度；
辅助超分辨率学习支路：利用主干网络得到的图像低层和高层特征进行超 分学习，获取复杂背景图像局部纹理、细节特征及高层次语义信息后对主干网 络的高精度检测识别模型进行修正。
优选的，所述辅助超分辨率学习支路包括编码器和解码器，所述编码器将 图像的低层特征匹配到高层特征的空间大小，再将低层特征与高层特征合并； 所述解码器对低层特征与高层特征合并后的信息进行解码，输出超分特征。
优选的，所述区域匹配计算模块构建热点区域，包括：
按照经纬度索引将地球表面分割成等大小的基本网格，对每个基本网格进 行标记编号，根据地面上注的信息形成一个或多个热点区域，每个热点区域由 一个或多个基本网格构成。
优选的，所述区域匹配计算模块从原始图像中提取属于热点区域的图像， 包括：
将原始图像分割为等大小的图像块，利用图像辅助数据中的GPS、姿态信 息计算图像块中心点对应的地面经纬度坐标，根据经纬度坐标确定图像块中心 点所在基本网格编号，而后判断该基本网格是否属于热点区域，如果属于则提 取该图像块，如果不属于则丢弃该图像块。
优选的，所述快速筛选模块和区域筛选模块包括多个并行的数据处理单元。
一种采用星载海量图像数据分布式协同快速高精度处理***进行图像处理 的方法，包括以下步骤：
(1)接收星载相机输入的原始图像数据；
(2)判断判断卫星工作的成像模式，当卫星工作在远洋目标广域搜索成像 模式时，进入步骤(3)，当卫星工作在点目标详查成像模式时，进入步骤(5)；
(3)将原始图像数据分割为等大小的图像块并依次输入快速筛选模块进行 疑似目标筛选处理，进入步骤(4)；
(4)当检测出图像块有疑似目标时，将图像块输入高精度检测识别模块进 行识别处理并输出检测结果，否则丢弃该图像块，直至完成所有原始图像数据 处理后退出；
(5)将原始图像数据分割为等大小的图像块，依次将图像块输入区域匹配 计算模块，判断该图像块是否属于热点区域，进入步骤(6)；
(6)当检测出图像块属于热点区域，将图像块输入高精度检测识别模块进 行识别处理并输出检测结果，否则丢弃该图像块，直至完成所有原始图像数据 处理。
本发明与现有技术相比的优点在于：
(1)本发明针对远洋目标稀疏特点，利用快速筛选网络对海量原始数据中 的疑似目标区域图像进行快速筛选，解决了受限资源情况下海量原始数据实时 处理的问题；
(2)本发明通过在星上处理***构建全球热点区域目标信息库，对先验固 定目标、有情报信息引导的目标进行快速匹配，剔除大量无效数据，提高了海 量原始数据处理速率；
(3)本发明针对不同成像应用模式采用不同计算节点，通过分布式协同处 理，在解决海量数据处理速率的同时，保证了处理精度；
(4)本发明快速筛选网络深度仅有12层，计算复杂度低，可在轨快速实 现云雾、小岛等复杂海杂波干扰场景下疑似目标的有效区分。
附图说明
图1为本发明星载海量图像数据分布式协同快速高精度处理***结构示意 图；
图2为为本发明远洋目标广域搜索处理流程图；
图3为本发明快速筛选网络结构示意图；
图4为本发明重点目标详查处理流程图；
图5为本发明高精度检测网络结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
星载海量图像数据分布式协同快速高精度处理***，如图1所示，包括： 成像模式判断模块、区域匹配计算模块、快速筛选模块和高精度检测识别模块。
本发明包括远洋目标广域搜索处理和重点目标详查处理两种工作模式，两 种模式首先分别基于高速并行计算节点，利用快速筛选网络和星载热点目标信 息库，从原始海量数据中提取出疑似目标区域图像后再将疑似目标区域图像送 入高精度检测识别模块进行高精度精细化处理，通过异构计算节点分布式协同 处理，在大幅降低了原始数据速率的同时保证了处理精度。
具体讲，如图2所示，远洋目标广域搜索处理模式主要用于远洋舰船目标 广域快速搜索发现，成像模式判断模块将相机输入的海量原始数据输入至快速 筛选模块，首先通过多个并行计算节点，对图像进行分块处理后利用快速筛选 网络对海量高速原始数据进行筛选，提取出疑似目标区域图像，大幅降低原始 数据速率，再将疑似目标区域图像送入高精度检测识别模块进行精细化处理， 通过利用目标稀疏性特征，在大幅提升处理速率的同时保证了处理精度。
在图2所示的实施例中，快速筛选模块包括两个由FPGA芯片构成的高速 并行计算单元组成，其具体工作流程如下：
FPGA接收高速原始图像数据，存储在DDR进行缓存；从DDR中读取大 小为M×N的图像块I；利用快速筛选网络判断图像块I里是否有可疑目标。
进一步，所述快速筛选网络使用1×1和3×3的卷积核进行搭建的卷积神经 网络，在进行卷积操作时，所有的卷积步进均为1，从而保证该卷积层输入与 输出数据的每一个通道数据在尺寸维度上保持一致，即输出数据通道数与卷积 核个数相同；卷积后输出的特征图利用Relu激活函数进行激活。如图3所示， 当遥感图像输入网络后，先用32个1×1的卷积核进行卷积，然后再用64个3×3 的卷积核进行处理。将第二层卷积得到的特征图输入到多通道特征提取模块进 行处理，该模块具有三个通道，第一个通道为32个1×1的卷积核后连接64个 3×3的卷积核，第二个通道为32个3×3的卷积核后连接64个1×1的卷积核， 第三个通道为64个1×1的卷积核，每一个多通道特征提取模块后都要接一个 Max pooling层和64个3×3卷积核构成的卷积层，共同组成特征提取单元。所 述Max pooling层为最大池化层。共经过3个特征提取单元后，将得到的特征 图利用一个包含32个3×3卷积核的卷积层进行处理，并将处理结果输入到全连 接层和Softmax层得到最终的分类结果，所述全连接层用于汇总所有结果，所 述Softmax层用于归一化结果，输出最终的分类结果，整个快筛网络深度仅有 12层，计算复杂度低，可在轨快速实现云雾、小岛等复杂海杂波干扰场景下疑 似目标的有效区分。
如图4所示，重点目标详查处理模式，主要用于港口、机场等重点目标详 查及有地面人为情报或者其它卫星(例如电子卫星)引导信息的情况，成像模 式判断模块将相机输入的海量原始数据输入至区域匹配计算模块，首先通过多 个并行计算节点，对原始数据进行分块并行处理，计算每个图像块对应的区域 经纬度信息，并根据星载热点目标信息库等先验信息实现区域匹配计算，提取 出疑似目标区域图像后再送入高精度检测识别模块进行精细化处理。通过利用 固定区域目标先验信息，在保证处理精度的同时大幅降低了处理速率。
具体讲，首先按照经纬度索引，将地球表面分割成等大小的网格，定义每 个网格大小为m×n，通过对地球表面进行网格划分，可通过不同网格进行组合， 精确描述出任意形状热点区域范围，在星上处理***进行数据筛选时，可精确 提取出对应目标区域图像，减少不相干数据处理，提升处理速率和精度，同时 也满足了用户对感兴趣任意区域详查观测需求。其中，m×n大小的选择主要取 决于星上处理***分块图像大小对应的地面区域范围，m×n大小与图像分块大 小越接近，提取的疑似区域图像块越准确、热点区域描述也越精确。因此，实 际工程中，需要结合星上处理***图像分块大小及不同热点区域形状规则进行 综合考虑，选择合适的m×n的大小。
在选定m×n大小后，对地球表面每个网格进行标记编号，记为Zk(i,j)。
其中，-floor(90/m)≤i≤floor(90/m)，
-floor(90/n)≤j≤floor(90/n)，
1≤k≤(180*2*90*2)/(m*n)。
某一热点区域Ax可由若干个基本网格Zk(i,j)构成：
Ax＝{Zx,1≤x≤(180*2*90*2)/(m*n)}。
全球热点区域信息库T为：
T＝Ax∪By∪Cz…
其中，Ax、By、Cz分别代表重点海域、港口、机场等各个热点区域集合。
全球热点区域信息库首次在地面构建后上注星上处理***使用，在卫星运 行过程中，可根据需求进行在线动态更新、维护及升级。
在图4所示的实施例中，快速筛选模块包括由FPGA芯片构成的高速并行 计算单元组成，其具体工作流程如下：
S1：FPGA接收高速原始图像数据，存储在DDR进行缓存；
S2：从DDR中读取大小为M×N的图像块I；
S3：利用图像辅助数据中的GPS、姿态等信息计算当前图像中心点对应的 地面经纬度坐标I(k,l)，并进行网格归一化处理I(i,j)；其中，i＝floor(180/M)， j＝floor(90/N)；
S4：将I(i,j)与热点区域信息库T进行匹配，I(i,j)∈T时，将图像块I发送 给高精度检测识别模块，进行高精度检测识别处理，否则，丢弃该图像块；
重复S2～S4，完成DDR中图像数据的处理后清空DDR，读入下一景图象 数据。
本发明高精度检测识别模块针对星上资源受限的条件下复杂背景目标高 精度检测识别处理需求，采用基于超分辨率辅助分支的高精度检测网络对输入 的图像进行处理。该网络以YOLOv5s结构作为基线，并引入多模态数据融合结 构、高分信息保持网络和辅助超分支路来保证复杂背景中目标高精度、低虚警 检测识别，且超分分支不参与推理阶段，对检测网络而言，没有引入额外的计 算量，不影响推理速度，易于在资源受限的星上部署，从而达到了检测精度与 处理速率上的最优，
具体讲，如图5所示，所述高精度检测网络包括多模态数据融合单元、高 分信息保持单元、主干网络和辅助超分辨率学习支路；
多模态数据融合单元：对原始图像数据中具有不同分辨率的多模态图像进 行归一化处理，统一到同一分辨率下，通过多源数据融合形成融合图像并输入 至高分信息保持单元；所述多模态图像包括全色图像、多光谱图像和近红外图 像。
具体讲，利用可见光全色、多光谱、红外不同模态信息之间的互补性，设 计基于多模态自适应融合的检测结构，从而获取区分目标更多的信息，进一步 提升算法的检测精度和普适性。首先将输入的全色图像、RGB图像和近红外图 像归一化为[0,1]区间，以相对较低的计算量将它们连接起来，以加速推断。具 体来说，融合图像定义为：
X＝Concat(Q、R、G、B、I)
其中融合图像为
Figure BDA0003773735710000081
C表示通道数，H和W分别表示图像的高度 和宽度，{Q}、{R,G,B}和{I}分别表示全色图像、RGB图像和近红外图像，Concat(·) 表示沿通道维度的连接操作。然后，将X下采样到原始图像的1/n大小，以完成 超分模块，并加速训练过程。采样图像表示为
Figure BDA0003773735710000091
由：X′＝D(X)生成， 其中D(·)表示使用双线性插值的n次降采样操作。然后将下采样结果输入主干， 以产生多层次的特征。
高分信息保持单元：对融合图像进行细节保持与提升，得到细节增强的高 分图像并输入至主干网络。
具体讲，通过构建高分信息保持网络，以保持遥感目标高分特性，克服了 小目标信息缺失的问题。YOLOv5主干中的Focus模块在空间域上按间隔分割 图像，然后重组新图像以调整输入图像的大小。具体来说，该操作是为图像中 的每个像素收集一个值，然后将其重构以获得更小的互补图像。重建的图像的 大小随着通道数量的增加而减小。因此，它会导致小目标的分辨率下降和空间 信息损失。考虑到小目标的检测更依赖于更高的分辨率，因此放弃Focus模块， 转而使用具体卷积操作，以防止分辨率下降导致的小目标丢失。
主干网络：对细节增强的高分图像进行分层特征提取，得到图像的低层和 高层特征，采用高精度检测识别模型完成对图像中可疑目标类别的判断，并计 算其位置和置信度。
辅助超分辨率学习支路：在地面***进行高精度检测识别模型训练时利用 主干网络得到的图像低层和高层特征进行超分学习，获取复杂背景图像局部纹 理、细节特征及高层次语义信息后对主干网络的高精度检测识别模型进行修正 完善，所述辅助超分辨率学习支路包括编码器和解码器，所述编码器将图像的 低级特征匹配到高级特征的空间大小，再将低级特征与高级特征合并；所述解 码器对低级特征与高级特征合并的信息进行解码，输出超分特征。
具体讲，所述辅助超分辨率学习支路为地面***训练高精度检测识别模型 师加入主干网络的单元，辅助超分辨率学习支路不参与星上推理计算，通过设 计基于辅助超分辨率的学习支路来提高网络高分信息保持能力，进一步提升算 法的检测精度。主干网中保留的用于多尺度检测的特征尺寸远小于原始输入图 像。现有的方法大多是进行上采样操作来恢复特征大小。不幸的是，由于纹理 和模式上的信息丢失，这种方法取得的效果有限。因此，使用这种方法对于检 测遥感图像中的小目标是不合适的。为了解决这个问题，本方法引入了一个辅 助的超分分支。具体来说，超分结构可以看作是一个简单的编码-解码器模型。 选择主干网的低层和高层特征作为超分分支的输入，以获取局部纹理、模式和 语义信息。在编码器中，首先对低级特征进行CBR模块和上采样操作，匹配 高级特征的空间大小，然后使用串联操作和两个CBRD模块将低级和高级特征 进行合并。CBR模块包括卷积、批处理归一化和ReLU激活函数，而CBRD 模块包括一个额外的drop-out。对于解码器，低分特性被升级到高分空间，其 中超分模块的输出大小是输入图像的两倍。解码器是使用三个反卷积层来实现 的。超分支路指导了空间维度的相关学习，并将其转移到主分支，从而提高了 目标检测的性能。超分分支在推理阶段被完整移除，不参与检测推理阶段，对 检测网络而言，没有引入额外的计算量，不影响推理速度。并且由于输入图像 为相对低分图像，与普通检测网络相比，可以实现加速的效果，以满足星载资 源受限情况下高效检测任务需求。
星载海量图像数据分布式协同快速高精度处理系方法，包括以下步骤：
1)接收星载相机输入的原始图像数据；
2)判断判断卫星工作的成像模式，当卫星工作在远洋目标广域搜索成像模 式时，进入步骤3)，当卫星工作在点目标详查成像模式时，进入步骤5)；
3)将原始图像数据分割为等大小的图像块并依次输入快速筛选模块进行疑 似目标筛选处理，进入步骤4)；
4)当检测出图像块有疑似目标时，将图像块输入高精度检测识别模块进行 识别处理并输出检测结果，否则丢弃该图像块，直至完成所有原始图像数据处 理，退出方法；
5)将原始图像数据分割为等大小的图像块，依次将图像块输入区域匹配计 算模块，利用图像辅助数据中的GPS、姿态等信息计算图像块中心点对应的地 面经纬度坐标，根据经纬度坐标确定图像块中心点所在基本网格编号，判断该 基本网格是否属于热点区域，进入步骤6)；
6)当检测出图像块属于热点区域，将图像块输入高精度检测识别模块进行 识别处理并输出检测结果，否则丢弃该图像块，直至完成所有原始图像数据处 理，退出方法。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (10)

1.星载海量图像数据分布式协同快速高精度处理***，其特征在于，包括：成像模式判断模块、区域匹配计算模块、快速筛选模块和高精度检测识别模块，其中：
成像模式判断模块：判断遥感卫星当前工作的成像模式，当遥感卫星工作在远洋目标广域搜索成像模式时，将原始图像数据输入快速筛选模块，当遥感卫星工作在点目标详查成像模式时，将原始图像数据输入区域匹配计算模块；
快速筛选模块：从原始图像数据中筛选出疑似包含可疑目标的图像输入至高精度检测识别模块，丢弃其余图像；
区域匹配计算模块：构建热点区域，从原始图像数据中筛选出属于热点区域的图像输入至高精度检测识别模块，丢弃其余图像；
高精度检测识别模块：对输入的图像进行目标检测和识别并输出检测结果。
2.根据权利要求1所述的星载海量图像数据分布式协同快速高精度处理***，其特征在于，所述快速筛选模块包括一个或多个数据处理单元，每个数据处理单元均采用快速筛选网络对输入的图像进行筛选，所述快速筛选网络包括依次设置的第一卷积层、第二卷积层、至少一个特征提取单元、第三卷积层、全连接层和Softmax层，所述第一卷积层包括32个1×1的卷积核，所述第二卷积层包括64个3×3的卷积核，所述特征提取单元包括依次设置的多通道特征提取单元、Max pooling层和第四卷积层，所述多通道特征提取单元包括第一通道、第二通道和第三通道，所述第一通道为32个1×1的卷积核后连接64个3×3的卷积核，所述第二通道为32个3×3的卷积核后连接64个1×1的卷积核，所述第三通道为64个1×1的卷积核，所述第四卷积层为64个3×3的卷积核，所述第三卷积层包括32个3×3的卷积核；所述第一卷积层、第二卷积层、第一通道、第二通道、第三通道、第三卷积层或者第四卷积层中的卷积核卷积后输出的特征图利用Relu激活函数进行激活。
3.根据权利要求2所述的星载海量图像数据分布式协同快速高精度处理***，其特征在于，所述1×1的卷积核和3×3的卷积核，卷积步进均为1。
4.根据权利要求2所述的星载海量图像数据分布式协同快速高精度处理***，其特征在于，所述特征提取单元的数量为3～5个，依次串联。
5.根据权利要求1所述的星载海量图像数据分布式协同快速高精度处理***，其特征在于，所述高精度检测识别模块包括：多模态数据融合单元、高分信息保持单元、主干网络和辅助超分辨率学习支路，其中：
多模态数据融合单元：将原始图像统一到同一分辨率下，通过多源数据融合形成融合图像并输入至高分信息保持单元；所述原始图像包括全色图像、多光谱图像和近红外图像；
高分信息保持单元：对融合图像进行细节保持与提升，得到细节增强的高分图像并输入至主干网络；
主干网络：对细节增强的高分图像进行分层特征提取，得到图像的低层和高层特征，采用高精度检测识别模型对图像中可疑目标类别进行判断，并计算可疑目标的位置和置信度；
辅助超分辨率学习支路：利用主干网络得到的图像低层和高层特征进行超分学习，获取复杂背景图像局部纹理、细节特征及高层次语义信息后对主干网络的高精度检测识别模型进行修正。
6.根据权利要求5所述的星载海量图像数据分布式协同快速高精度处理***，其特征在于，所述辅助超分辨率学习支路包括编码器和解码器，所述编码器将图像的低层特征匹配到高层特征的空间大小，再将低层特征与高层特征合并；所述解码器对低层特征与高层特征合并后的信息进行解码，输出超分特征。
7.根据权利要求1所述的星载海量图像数据分布式协同快速高精度处理***，其特征在于，所述区域匹配计算模块构建热点区域，包括：
按照经纬度索引将地球表面分割成等大小的基本网格，对每个基本网格进行标记编号，根据地面上注的信息形成一个或多个热点区域，每个热点区域由一个或多个基本网格构成。
8.根据权利要求7所述的星载海量图像数据分布式协同快速高精度处理***，其特征在于，所述区域匹配计算模块从原始图像中提取属于热点区域的图像，包括：
将原始图像分割为等大小的图像块，利用图像辅助数据中的GPS、姿态信息计算图像块中心点对应的地面经纬度坐标，根据经纬度坐标确定图像块中心点所在基本网格编号，而后判断该基本网格是否属于热点区域，如果属于则提取该图像块，如果不属于则丢弃该图像块。
9.根据权利要求1所述的星载海量图像数据分布式协同快速高精度处理***，其特征在于，所述快速筛选模块和区域筛选模块包括多个并行的数据处理单元。
10.一种采用权利要求1～9之一所述的星载海量图像数据分布式协同快速高精度处理***进行图像处理的方法，其特征在于，包括以下步骤：
(1)接收星载相机输入的原始图像数据；
(2)判断判断卫星工作的成像模式，当卫星工作在远洋目标广域搜索成像模式时，进入步骤(3)，当卫星工作在点目标详查成像模式时，进入步骤(5)；
(3)将原始图像数据分割为等大小的图像块并依次输入快速筛选模块进行疑似目标筛选处理，进入步骤(4)；
(4)当检测出图像块有疑似目标时，将图像块输入高精度检测识别模块进行识别处理并输出检测结果，否则丢弃该图像块，直至完成所有原始图像数据处理后退出；
(5)将原始图像数据分割为等大小的图像块，依次将图像块输入区域匹配计算模块，判断该图像块是否属于热点区域，进入步骤(6)；
(6)当检测出图像块属于热点区域，将图像块输入高精度检测识别模块进行识别处理并输出检测结果，否则丢弃该图像块，直至完成所有原始图像数据处理。
CN202210910161.9A 2022-07-29 2022-07-29 星载海量图像数据分布式协同快速高精度处理***及方法 Pending CN115424140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210910161.9A CN115424140A (zh) 2022-07-29 2022-07-29 星载海量图像数据分布式协同快速高精度处理***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210910161.9A CN115424140A (zh) 2022-07-29 2022-07-29 星载海量图像数据分布式协同快速高精度处理***及方法

Publications (1)

Publication Number Publication Date
CN115424140A true CN115424140A (zh) 2022-12-02

Family

ID=84195604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210910161.9A Pending CN115424140A (zh) 2022-07-29 2022-07-29 星载海量图像数据分布式协同快速高精度处理***及方法

Country Status (1)

Country Link
CN (1) CN115424140A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984084A (zh) * 2022-12-19 2023-04-18 中国科学院空天信息创新研究院 一种基于动态可拆分网络的遥感分布式数据处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984084A (zh) * 2022-12-19 2023-04-18 中国科学院空天信息创新研究院 一种基于动态可拆分网络的遥感分布式数据处理方法
CN115984084B (zh) * 2022-12-19 2023-06-06 中国科学院空天信息创新研究院 一种基于动态可拆分网络的遥感分布式数据处理方法

Similar Documents

Publication Publication Date Title
CN108764063B (zh) 一种基于特征金字塔的遥感影像时敏目标识别***及方法
CN111862126B (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN109271856B (zh) 基于扩张残差卷积的光学遥感图像目标检测方法
Li et al. Cross-layer attention network for small object detection in remote sensing imagery
CN110111345B (zh) 一种基于注意力网络的3d点云分割方法
CN114565860B (zh) 一种多维度增强学习合成孔径雷达图像目标检测方法
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN113420607A (zh) 无人机多尺度目标检测识别方法
Lei et al. End-to-end change detection using a symmetric fully convolutional network for landslide mapping
CN112288008A (zh) 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
Zhang et al. Self-attention guidance and multiscale feature fusion-based UAV image object detection
Chen et al. NIGAN: A framework for mountain road extraction integrating remote sensing road-scene neighborhood probability enhancements and improved conditional generative adversarial network
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN115035361A (zh) 基于注意力机制和特征交叉融合的目标检测方法及***
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
Hamida et al. Deep learning for semantic segmentation of remote sensing images with rich spectral content
Chen et al. Object-based multi-modal convolution neural networks for building extraction using panchromatic and multispectral imagery
CN114943902A (zh) 基于多尺度特征感知网络的城市植被无人机遥感分类方法
CN115100545A (zh) 针对低照度下失效卫星小部件的目标检测方法
Gao et al. Road extraction using a dual attention dilated-linknet based on satellite images and floating vehicle trajectory data
CN110793529B (zh) 一种快速匹配星图识别方法
CN116403121A (zh) 水体指数与极化信息多路径融合的遥感图像水域分割方法、***及设备
CN115631427A (zh) 一种基于混合注意力多场景船舶检测分割方法
CN115424140A (zh) 星载海量图像数据分布式协同快速高精度处理***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination