CN111464755B - 星载相机短曝光图像序列信噪比实时处理方法及*** - Google Patents

星载相机短曝光图像序列信噪比实时处理方法及*** Download PDF

Info

Publication number
CN111464755B
CN111464755B CN202010311683.8A CN202010311683A CN111464755B CN 111464755 B CN111464755 B CN 111464755B CN 202010311683 A CN202010311683 A CN 202010311683A CN 111464755 B CN111464755 B CN 111464755B
Authority
CN
China
Prior art keywords
data
satellite
short
memory
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010311683.8A
Other languages
English (en)
Other versions
CN111464755A (zh
Inventor
高昆
华梓铮
李果
顾海仑
王更科
周颖婕
杨桦
李若娴
陈卓一
孔祥皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010311683.8A priority Critical patent/CN111464755B/zh
Publication of CN111464755A publication Critical patent/CN111464755A/zh
Application granted granted Critical
Publication of CN111464755B publication Critical patent/CN111464755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种星载相机短曝光图像序列信噪比实时处理方法及***，涉及图像处理技术领域，包括：采集多帧连续短曝光图像；采集与多帧连续短曝光图像拍摄时间内对应的多个卫星姿态数据；对卫星姿态数据进行插值运算，得到与多帧连续短曝光图像一一对应的卫星姿态数据；对经过插值运算后的卫星姿态数据进行姿态运算，得到与插值运算后的姿态数据一一对应的多帧连续短曝光图像的矫正数据；对与矫正数据一一对应的多帧连续短曝光图像上的像素进行像素地址映射计算，并读取像素地址数据，得到增强后的图像数据；将增强后的图像数据进行应用；清空存储器中的数据。本发明通过星载FPGA获取增强后的图像数据，能够提高图像对比度，消除随机噪声。

Description

星载相机短曝光图像序列信噪比实时处理方法及***
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种星载相机短曝光图像序列信噪比实时处理方法及***。
背景技术
随着计算机图像的快速发展，成像已经被广泛地应用于军事、医学、商业以及日常生活中。由于在特种应用环境中，普通可见光图像受成像***本身的限制，以及周围环境的进光量的限制，导致图像噪声与图像本身所含信息差距较小，成像后的图像信噪比过低，导致目标模糊不清，甚至被背景噪声掩盖，因此在实际应用中需要对信噪比较低的图像进行图像增强处理。
当前，卫星图像的信噪比性能更多依赖于成像器件的动态范围，器件的性能成为制约卫星观测能力的瓶颈。为了实现卫星图像质量的整体提升，实现水色观测信噪比优于1000的指标要求，有必要对成像过程的噪声产生环节，以及噪声抑制方法进行更详细的分析，并明确信噪比提升的相关技术手段。
现有的图像增强方法包括直方图均衡法，首先，统计直方图每个灰度值出现的概率，其次，累积归一化的直方图，最后，计算新的像素值。通过使用累积函数对灰度值进行“调整”以实现对比度的增强，将图像中灰度概率密度较大灰度值扩展到附近的灰度概率密度小的灰度值上，以改变图像中灰度概率分布，使其均匀化。直方图均衡法能够有效地提高图像对比度和扩大灰度的动态范围。但是，由于该算法在统计概率分布时对处理的数据不加选择，可能会增加背景和噪声的对比度并且降低目标信号的对比度，使得变换后图像的灰度值减少，导致某些细节消失，致使最终显示的图像不清楚。
因此，针对监测仪光学孔径、探测器灵敏度和一次曝光时间有限，导致成像SNR偏低的现状，亟需一种图像短曝光叠加的方法，提高图像对比度，消除随机噪声。
发明内容
有鉴于此，本发明提供了一种星载相机短曝光图像序列信噪比实时处理方法及***，其中，通过星载FPGA获取增强后的图像数据，能够提高图像对比度，消除随机噪声。
本申请提供一种星载相机短曝光图像序列信噪比实时处理方法，该方法包括：
通过星载FPGA采集多帧连续短曝光图像，并将多帧连续短曝光图像存储至第一存储器中；
通过星载FPGA控制姿态传感器采集与多帧连续短曝光图像拍摄时间内对应的多个卫星姿态数据，并将多个卫星姿态数据存储至第二存储器中；
对卫星姿态数据进行插值运算，得到与多帧连续短曝光图像一一对应的卫星姿态数据，并存储至第三存储器中；
对经过插值运算后的卫星姿态数据进行姿态运算，得到与插值运算后的姿态数据一一对应的多帧连续短曝光图像的矫正数据，并将矫正数据存储至第四存储器中；
对与矫正数据一一对应的多帧连续短曝光图像上的像素进行像素地址映射计算，并读取像素地址数据，直至读取完所有的多帧连续短曝光图像上的像素地址数据，得到增强后的图像数据；
将处理得到的增强后的图像数据传输给任意设备继续进行处理，或者转换为视频信号输出至成像设备；
清空第一存储器、第二存储器、第三存储器和第四存储器中的数据。
可选地，插值运算的运算方法为：采用二次插值方式，向FPGA输入姿态数据的横纵坐标和插值使能信号，FPGA对输入的姿态数据的横纵坐标和插值使能信号采用赛灵思的浮点数运算IP核进行相应的双精度浮点数的乘法和除法。
可选地，姿态运算的运算方法为：向FPGA输入多个参数，多个参数包括相应的星载FPGA拍摄角度、姿态数据、高斯模板和使能信号，采用双精度浮点类型运算方法进行运算。
可选地，姿态运算输入相应的参数和输出相应的结果均按照流水线的形式进行。
可选地，矫正数据包括平移矩阵和旋转矩阵。
可选地，对与矫正数据一一对应的多帧连续短曝光图像上的像素进行像素地址映射计算，并读取像素地址数据，直至读取完所有的多帧连续短曝光图像上的像素地址数据，得到增强后的图像数据，具体为：
依次对矫正数据一一对应的多帧连续短曝光图像中每行像素进行像素地址映射计算，在完成一行像素地址映射计算后，读取一行像素地址数据并进行叠加运算，完成整幅图像计算，直至与矫正数据一一对应的多帧连续短曝光图像上的像素地址数据均完成计算，得到增强后的图像数据。
可选地，像素地址的容量为一行像素中所包含的像素的数量的2倍。
可选地，在将处理得到的增强后的图像数据传输给其它设备继续进行处理，或者转换为视频信号输出给成像设备显示之前，包括：
将处理得到的增强后的图像进行存储，图像存储的大小为10位。
可选地，姿态数据包括三维空间信息和时间信息，三维空间信息包括俯仰，平移和翻转角度。
本申请还提供一种基于星载相机短曝光图像序列信噪比实时处理***，该***包括：
采集模块一，用于通过星载FPGA采集多帧连续短曝光图像，并将多帧连续短曝光图像存储至第一存储器中；
采集模块二，用于通过星载FPGA控制姿态传感器获取与采集多帧连续短曝光图像拍摄时间内对应的多个卫星姿态数据，并将多个卫星姿态数据存储至第二存储器中；
运算模块一，用于对卫星姿态数据进行插值运算，得到与多帧连续短曝光图像一一对应的卫星姿态数据，并存储至第三存储器中；
运算模块二，用于对经过插值运算后的卫星姿态数据进行姿态运算，得到与姿态数据一一对应的多帧连续短曝光图像的矫正数据，并将矫正数据存储至第四存储器中；
运算模块三，用于对与矫正数据一一对应的多帧连续短曝光图像上的像素进行像素地址映射计算，并读取像素地址数据，直至读取完所有的多帧连续短曝光图像上的像素地址数据，得到增强后的图像数据；
应用模块，用于将处理得到的增强后的图像数据传输给任意设备继续进行处理，或者转换为视频信号输出至成像设备；
处理模块，用于清空第一存储器、第二存储器、第三存储器和第四存储器中的数据。
与现有技术相比，本发明提供的星载相机短曝光图像序列信噪比实时处理方法及***，至少实现了如下的有益效果：
1、本申请所提供的星载相机短曝光图像序列信噪比实时处理方法及***中，通过星载FPGA采集多帧连续短曝光图像，并通过星载FPGA控制姿态传感器采集多个卫星姿态数据，并对卫星姿态数据进行插值运算，获取与多帧连续短曝光图像一一对应的卫星姿态数据，能够消除因拍摄时刻抖动造成卫星姿态数据的变化，提高异常状态下的稳定性。
2、本申请所提供的星载相机短曝光图像序列信噪比实时处理方法及***模块中，通过多帧连续短曝光图像叠加能够有效地提升图像的信噪比，且信噪比提升倍数随着叠加帧数的增加而增加，但由于图像的配准偏差，信噪比提升倍数并不完全满足
Figure BDA0002457864440000041
倍的规律，而是会有一定程度的下降。
3、本申请所提供的星载相机短曝光图像序列信噪比实时处理方法及***中，在图像处理过程中，调用第一存储器、第二存储器、第三存储器和第四存储器对图像数据进行存储，对图像的处理过程均使用流水线式的处理方式，在实现多步骤同步进行的同时，能够大幅度提高图像的计算速度，降低硬件编程的复杂度及***占用的内存空间。
4、本申请所提供的星载相机短曝光图像序列信噪比实时处理方法及***中，基于FPGA技术的硬件***具有很大的灵活性，使用FPGA进行图像处理减少了pcb设计和时钟设计的难度。
当然，实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1示出了本申请实施例所提供的一种星载相机短曝光图像序列信噪比实时处理方法的流程图；
图2示出了本申请实施例所提供的另一种星载相机短曝光图像序列信噪比实时处理方法的流程图；
图3示出了本申请实施例所提供的又一种星载相机短曝光图像序列信噪比实时处理方法的流程图；
图4示出了本申请实施例所提供的一种基于星载相机短曝光图像序列信噪比实时处理***的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
以下将结合附图和具体实施例进行详细说明。
实施例一
图1为本申请实施例所提供的一种星载相机短曝光图像序列信噪比实时处理方法的流程图，如图1所示，本发明所提供的一种星载相机短曝光图像序列信噪比实时处理方法，该方法包括：
步骤S101，通过星载FPGA采集多帧连续短曝光图像，并将多帧连续短曝光图像存储至第一存储器中；
步骤S102，通过星载FPGA控制姿态传感器采集与多帧连续短曝光图像拍摄时间内对应的多个卫星姿态数据，并将多个卫星姿态数据存储至第二存储器中；
步骤S103，对卫星姿态数据进行插值运算，得到与多帧连续短曝光图像一一对应的卫星姿态数据，并存储至第三存储器中；
步骤S104，对经过插值运算后的卫星姿态数据进行姿态运算，得到与插值运算后的姿态数据一一对应的多帧连续短曝光图像的矫正数据，并将矫正数据存储至第四存储器中；
步骤S105，对与矫正数据一一对应的多帧连续短曝光图像上的像素进行像素地址映射计算，并读取像素地址数据，直至读取完所有的多帧连续短曝光图像上的像素地址数据，得到增强后的图像数据；
步骤S106，将处理得到的增强后的图像数据传输给任意设备继续进行处理，或者转换为视频信号输出至成像设备；
步骤S107，清空第一存储器、第二存储器、第三存储器和第四存储器中的数据。
具体地，通过星载FPGA(Field－Programmable Gate Array，Field－Programmable Gate Array)采集多帧连续短曝光图像，星载FPGA控制画幅式CCD相机将多帧连续短曝光图像按行存储至第一存储器中，在星载FPGA拍摄多帧连续短曝光图像的同时，通过星载FPGA控制姿态传感器采集多个卫星姿态数据，存储至第二存储器中，紧接着对多个卫星姿态数据进行插值运算，获取与多帧连续短曝光图像一一对应的卫星姿态数据，并对多帧连续短曝光图像进行姿态运算，获取每幅图像上像素的平移矩阵和旋转矩阵，即卫星姿态数据一一对应的多帧连续短曝光图像矫正数据，若多帧连续短曝光图像包括N张，则对应N组矫正数据，并将矫正数据存储至第四存储器中，对矫正数据对应的多帧连续短曝光图像上的像素进行像素地址计算，得到增强后的图像数据，并进行应用，在得到增强后的图像数据之后，对所有的存储器清空，以备再次使用。
需要说明的是，插值运算采用牛顿插值法，利用函数f(x)在某区间中若干点的函数值，做出适当的特定函数，在这些点上取已知值，在区间的其他点上用这特定函数的值作为函数f(x)的近似值。牛顿插值法相对于拉格朗日插值法具有承袭性的优势，即在增加额外的插值点时，可以利用之前的运算结果以降低运算量。
本发明所提供的一种星载相机短曝光图像序列信噪比实时处理方法，基于FPGA技术的硬件***具有很大的灵活性，使用FPGA进行图像处理减少了pcb设计和时钟设计的难度；通过星载FPGA采集多帧连续短曝光图像，并通过星载FPGA控制姿态传感器采集多个卫星姿态数据，并对卫星姿态数据进行插值运算，获取与多帧连续短曝光图像一一对应的卫星姿态数据，能够消除因拍摄时刻抖动造成卫星姿态数据的变化，提高异常状态下的稳定性；此外，在图像处理过程中，调用第一存储器、第二存储器、第三存储器和第四存储器对图像数据进行存储，对图像的处理过程均使用流水线式的处理方式，在实现多步骤同步进行的同时，能够大幅度提高图像的计算速度，降低硬件编程的复杂度及***占用的内存空间。
可选地，上述步骤S103中，插值运算的运算方法为：采用二次插值方式，向FPGA输入姿态数据的横纵坐标和插值使能信号，FPGA对输入的姿态数据的横纵坐标和插值使能信号采用赛灵思的浮点数运算IP核进行相应的双精度浮点数的乘法和除法。
具体地，插值运算是根据数据流的形式进行，如叠加16帧图像，则需要进行16次插值运算，将16个卫星姿态数据与相应的参数按照预定的顺序依次输入插值模块，经过一段时间延迟后，插值模块连续输出16个插值后的姿态。
可选地，上述步骤S104中，姿态运算的运算方法为：向FPGA输入多个参数，多个参数包括相应的星载FPGA拍摄角度、姿态数据、高斯模板和使能信号，采用双精度浮点类型运算方法进行运算。
具体地，姿态运算的目的是得到矫正数据，对所有的经过插值后的卫星姿态数据进行姿态运算，获取多个矫正数据，每个矫正数据对应一个图像和一个卫星姿态数据。
可选地，姿态运算输入相应的参数和输出相应的结果均按照流水线的形式进行。
具体地，数据输入和输出都是按照流水线的形式进行，即可以连续输入需要计算的一系列参数，并快速得到对应的图像姿态变换数据。
可选地，上述步骤S104中获取的矫正数据包括平移矩阵和旋转矩阵。
具体地，姿态运算过程中是对图像中的像素进行平移和旋转，每幅图像包括多个像素点，对每个像素点的位置进行平移和旋转，即可获得平移矩阵和旋转矩阵。
可选地，上述步骤S105中对与矫正数据一一对应的多帧连续短曝光图像上的像素进行像素地址映射计算，并读取像素地址数据，直至读取完所有的多帧连续短曝光图像上的像素地址数据，得到增强后的图像数据，具体为：
依次对矫正数据一一对应的多帧连续短曝光图像中每行像素进行像素行地址映射计算，在完成一行像素地址映射计算后，读取一行像素地址数据并进行叠加运算，完成整幅图像计算，直至与矫正数据一一对应的多帧连续短曝光图像上的像素地址数据均完成计算，得到增强后的图像数据。
具体地，依次读取存储在第四存储器中的矫正数据，将与矫正数据一一对应的多帧连续短曝光图像上的像素进行像素地址计算，依次计算每幅图像，每幅图像中对应的一行像素地址计算完成后，即读取每行像素地址中的数据，然后进行叠加运算，直到每幅图像上所有行的像素地址读取完毕，接下来进行下一幅图像上像素地址的计算，直至所有图像运算完成。
需要说明的是，每读取一行像素地址数据，随即进行叠加运算，是按照数据流的形式进行运算。
可选地，像素地址的容量为一行像素中所包含的像素的数量的2倍。
具体地，像素地址的容量设置为一行像素中像素的数量的2倍，既保证像素地址不会溢出，也能保证像素地址不会写满，当像素地址数据大于单行像素中像素的数量时，才会读取一行的像素地址数据，因此像素地址不会读空，从而保证了***的可靠性。
可选地，在上述步骤S106之前，也即在将处理得到的增强后的图像数据传输给其它设备继续进行处理，或者转换为视频信号输出给成像设备显示之前，包括：
将处理得到的增强后的图像进行存储，图像存储的大小为10位。
具体地，在完成了应用界面以及可交互操作的设计，对于相机拍摄图像和处理后的图像，都需要存储，图像存储的大小为10位，而***中显示图像大小存储为8位，并且该程序具有可实时演示能力。
可选地，上述步骤S102中获取的姿态数据包括三维空间信息和时间信息，三维空间信息包括俯仰，平移和翻转角度。
具体地，每个姿态数据中均包括三维空间信息和时间信息，而三维空间信息又包括俯仰、平移和翻转角度，在进行姿态数据插值时，即对三维空间信息进行运算，使其与多帧连续短曝光图像一一对应。
以下将结合具体案例对本发明进行进一步说明。
实施例二
图2为本申请实施例所提供的另一种星载相机短曝光图像序列信噪比实时处理方法的流程图，如图2所示，本发明所提供的另一种星载相机短曝光图像序列信噪比实时处理方法，该方法包括：
步骤S201，通过星载FPGA控制画幅式相机采集多帧连续短曝光图像，并按行存储至存储器DDR2中。
步骤S202，通过星载FPGA控制姿态传感器采集与多帧连续短曝光图像拍摄时间内对应的多个卫星姿态数据，并将采集的多个卫星姿态数据存储至存储器RAM1中，卫星姿态数据具有三维空间信息，空间信息包括俯仰、平移和翻转角度。
步骤S203，采用牛顿插值法对卫星姿态数据进行插值运算，得到与多帧连续短曝光图像一一对应的卫星姿态数据，并存储至存储器RAM2中，其中，牛顿插值法，利用函数f(x)在某区间中若干点的函数值，做出适当的特定函数，在这些点上取已知值，在区间的其他点上用特定函数的值作为函数f(x)的近似值。
具体的，牛顿插值法相对于拉格朗日插值法具有承袭性的优势，即在增加额外的插值点时，可以利用之前的运算结果以降低运算量。
步骤S204，对经过插值运算后的卫星姿态数据进行姿态运算，姿态运算是根据插值后的每幅图像中像素需要平移和旋转的角度进行运算，根据第三存储器中存储的卫星姿态数据计算出一一对应的多帧连续短曝光图像的矫正数据，有N张图像，则计算出N组数据，将计算出的数据存储至存储器RAM3中。
步骤S205，依次读取存储器RAM3中的矫正数据，按每幅图像中像素行计算，一行像素地址计算完成后，将地址中的数据读取出来，进行数据叠加，一行运算完成后，进行第二行数据的运算，一整副图像中像素地址运算完成后，进行下一幅图像的运算，直至所有图像运算完成。
步骤S206，将经过运算后的图像与存储在存储器DDR2中图像进行叠加，得到增强后的图像数据。
步骤S207，将处理得到的增强后的图像数据按照协议标准传输给任意设备继续进行处理，或者转换为视频信号输出至成像设备。
步骤S208，清空所有存储器中的数据。
实施例三
图3为本申请实施例所提供的又一种星载相机短曝光图像序列信噪比实时处理方法的流程图，如图3所示，本发明所提供的又一种星载相机短曝光图像序列信噪比实时处理方法，该方法包括：
步骤S301，选用星载FPGA作为SNR图像处理***的核心，星载FPGA控制画幅式CCD相机拍摄一组多帧连续短曝光图像，通过TLK2711传输到星载FPGA中，在星载FPGA中通过两个异步FIFO进行乒乓操作，进行数据交换，在兵乓操作的过程中，将多帧连续短曝光图像存储至第一存储器中。
需要说明的是，SNR图像处理***的核心器件采用Xilinx公司的Virtex V5LX110TFPGA。
该步骤中，针对画幅式CCD相机的本身问题，因进光量小图像信息较少，曝光时间长机内噪声较大的问题进行处理，使用短曝光多帧叠加的方法完成对短时间内连续图像的叠加处理，是图像相对于处理前或者其他处理方法的图像具有更高的信噪比，并能够较好的保持图像本身信息。
步骤S302，通过星载FPGA控制姿态传感器采集与多帧连续短曝光图像拍摄时间内对应的多个卫星姿态数据，并将多个卫星姿态数据存储至第二存储器中。
具体地，卫星姿态数据与多帧连续短曝光图像是不完全匹配的，为了获取更精确的卫星姿态数据，需要进行一系列的处理获取需要的数据。
需要说明的是，卫星姿态数据中包括逐点带权多项式(PWPM)，可以利用已知时刻的姿态和轨道，利用内插时刻与设定的已知时刻的时间差值作为度量，确定权重，根据最小二乘法算出待内插时刻姿态和轨道的多项式系数，利用这些系数推算出该时刻的外方位元素。
内插时刻到每个已知时刻的权重可用时间差值绝对值的倒数或时间差值绝对值平方的倒数来计算。
以下举例说明，当使用轨道上4个已知时刻t1、t2、t3、t4的外方位元素和对某一t时刻的外方位元素进行内插时，由于对同一时刻的姿态和轨道内插使用的多项式系数是相同的，因此，仅以Kappa(k)角为例给出计算公式，其中插值计算公式为：
Figure BDA0002457864440000111
其中，ν为插值结果，
Figure BDA0002457864440000112
和κt分别为不用时刻的Kappa(k)角，t为某一时刻。
通过4个已知时刻的Kappa(k)角可列出4个误差方程式，计算得到t时刻到已知时刻的权值p1、p2、p3、p4并构成权值矩阵P。通过最小二乘法，并基于权值矩阵P，构建法方程系数矩阵N-1和法方程自由项向量U。为方便推导，将N-1和U矩阵的内容表示成以下形式：
Figure BDA0002457864440000121
其中，c1～c9为法方程系数矩阵N-1中的项，u1～u3为法方程自由项向量U中的项。
根据最小二乘原理计算其他系数，使用算出来的系数来计算t时刻的Kappa(k)值，其计算式表示为：
k(t)＝(c1u1+c2u2+c3u3)+(c4u1+c5u2+c6u3)t+(c7u1+c8u2+c9u3)t2，其中，k(t)为Kappa(k)角的值。
在得到需要的卫星姿态信息后，可以选择合适的模型来对多帧连续短曝光图像进行几何校正，以下介绍使用的模型。
该模型以一维仿射投影影像为基础，提出了一种“中心投影―仿射投影”的改正方式，即利用成像时的几何关系，将行中心投影影像转换为相应的仿射投影影像后，以仿射影像为基础，通过控制点来进行空间位置纠正。利用该模型对SPOT 1级和2级立体影像的纠正试验证明，只需6个均匀分布的地面控制点即可完成纠正，几何纠正后，平面精度可达到6m，高程精度可达到7.5m。
步骤S303，对卫星姿态数据进行插值运算，得到与多帧连续短曝光图像一一对应的卫星姿态数据，并存储至第三存储器中。
该步骤中，由于多帧连续短曝光图像是在运动状态下拍摄的，造成多帧连续短曝光图像与卫星姿态数据并不是一一对应，因此，需要对卫星姿态数据进行插值运算，本申请采用牛顿插值法，利用函数f(x)在某区间中若干点的函数值，做出适当的特定函数，在这些点上取已知值，在区间的其他点上用特定函数的值作为函数f(x)的近似值。具体计算过程如下：
f(x)＝f(x0)+f[x0,x1](x-x0)+f[x0,x1,x2](x-x0)(x-x1)+…+f[x0,x1,…,xn-2,xn-1](x-x0)(x-x1)…(x-xn-2)(x-xn-1)+f[x0,x1,…,xn-1,xn](x-x0)(x-x1)…(x-xn-1)(x-xn)
其中，x0、x1、x2、xn-2，xn-1、xn为函数上的点。
姿态差值方法主要包括三部分，第一步通过分析实验数据测试生成的卫星姿态数据，包括俯仰，翻滚，转动三个方向，分别建立不同相位的正弦运动曲线。
第二部分将拍摄时刻的卫星姿态数据通过牛顿插值法得到，对应的多帧连续短曝光图像使用双三次插值根据原始基准姿态完成对应采集点的真实姿态生成，第三部分再根据带噪声数据生成的拍摄时间卫星姿态数据完成图像的校正。
步骤S304，对经过插值运算后的卫星姿态数据进行姿态运算，得到与插值运算后的姿态数据一一对应的多帧连续短曝光图像的矫正数据，并将矫正数据存储至第四存储器中。
具体地，姿态运算是对每幅多帧连续短曝光图像中的像素进行平移和旋转，例如多帧连续短曝光图像包括N张图像，则获取N组矫正数据。
步骤S305，对多帧连续短曝光图像上的像素进行像素地址映射，以及图像叠加。
具体地，像素地址映射是根据姿态运算模块的结果运算出相应的像素地址数据。例如，对于一幅2560*2560大小的图像，一行有2560个像素点，首先要计算出第一行2560个像素点在原始图像中的地址，并将一行像素中的2560个像素点的地址存储到FIFO中，当2560个地址存储完毕后，向仲裁状态机提出读取请求，按行地址及列地址读出数据，同时计算下一行的地址，将数据连续写入FIFO中。
该步骤中，像素地址映射以50MHZ的速率连续向像素地址FIFO中写入像素地址数据，当FIFO中个数大于2560个时，申请读取像素地址数据请求，若进入READ状态机，则将FIFO中的数据按照200MHZ的速率读出，一次读出2560个数据。由于产生读请求后，可能需要一定的时间才能进入READ状态(由于仲裁机制判断第一存储器正在进行读写操作，需要等待第一存储器空闲)，为了保证像素地址FIFO不会溢出，将FIFO的容量设置为一行像素中包含的像素数量的2倍，从而保证FIFO不会写满。此外，由于像素地址数据大于2560后才会产生读请求，所以像素地址FIFO不会读空，从而保证了***的可靠性。
该步骤中，在图像叠加过程中，当叠加帧数为9帧时，最终的提升倍数为2.5倍左右；当叠加帧数为16帧时，最终的提升倍数为3.2倍左右。
需要说明的是，第一存储器的内存中包含行地址、列地址和bank地址，因此需要将像素地址分别存储在行FIFO和列FIFO中。同时，由于第一存储器用户接口位宽大小为128位，而图像位深大小为16bit，因此需要进行位宽匹配，即地址匹配FIFO，完成后将叠加缓存区域的一行像素地址数据读取出来放到行缓存FIFO，重复上述步骤，直至所有多帧连续短曝光图像叠加完成。
步骤S306，将处理得到的增强后的图像数据传输给任意设备继续进行处理，或者转换为视频信号输出至成像设备。
具体地，完成了应用界面以及可交互式操作的设计，对于相机拍摄图像和处理后输出图像需要对应的存储，本申请图像大小存储为10位，***中的显示图像大小存储为8位，并且该程序具有可实时演示能力。
步骤S307，清空第一存储器、第二存储器、第三存储器和第四存储器中的数据。
具体地，将增强后的图像数据，传输至视频生成设备中，重新整合，展现出人眼可直接观测的红外图像，清空存储器中的数据，便于下一帧图像的增强处理。
步骤S308，处理实时性分析。
时间因素是星载FPGA处理图像的一个重要因素，以下详细说明上述步骤S203～S205耗费的时间，图像尺寸选取2560*2560尺寸的图像。
I.插值运算阶段
对于4帧图像的卫星姿态数据，插值运算需要440ns；8帧图像的卫星姿态数据，插值运算需要460ns；16帧图像的卫星姿态数据，插值运算需要490ns。
II.姿态运算阶段
姿态运算阶段，经过195个***时钟输出结果来看，4帧图像姿态运算需要995ns，8帧图像姿态运算需要1015ns，16帧图像姿态运算需要1055ns。
III.地址映射及图像叠加阶段
由于像素地址映射计算及图像校正叠加同时进行，因此像素地址映射与图像叠加的时间相同，4帧图像叠加需要494ms，8帧图像叠加需要986ms，16帧图像叠加需要1971ms。
实施例四
图4为本申请实施例所提供的一种基于星载相机短曝光图像序列信噪比实时处理***的结构示意图，如图4所示，本发明还提供一种基于星载相机短曝光图像序列信噪比实时处理***，其特征在于，该***包括：
采集模块一401，用于通过星载FPGA采集多帧连续短曝光图像，并将多帧连续短曝光图像存储至第一存储器中；
采集模块二402，用于通过星载FPGA控制姿态传感器获取与采集多帧连续短曝光图像拍摄时间内对应的多个卫星姿态数据，并将多个卫星姿态数据存储至第二存储器中；
运算模块一403，用于对卫星姿态数据进行插值运算，得到与多帧连续短曝光图像一一对应的卫星姿态数据，并存储至第三存储器中；
运算模块二404，用于对经过插值运算后的卫星姿态数据进行姿态运算，得到与姿态数据一一对应的多帧连续短曝光图像的矫正数据，并将矫正数据存储至第四存储器中；
运算模块三405，用于对与矫正数据一一对应的多帧连续短曝光图像上的像素进行像素地址映射计算，并读取像素地址数据，直至读取完所有的多帧连续短曝光图像上的像素地址数据，得到增强后的图像数据；
应用模块406，用于将处理得到的增强后的图像数据传输给任意设备继续进行处理，或者转换为视频信号输出至成像设备；
处理模块407，用于清空第一存储器、第二存储器、第三存储器和第四存储器中的数据。
具体地，通过采集模块一401获取多帧连续短曝光图像，同时通过采集模块二402获取多个卫星姿态数据，通过运算模块一403对多个卫星姿态数据进行插值运算，获取与多帧连续短曝光图像一一对应的卫星姿态数据，并通过运算模块二404进行姿态运算，接下来对多帧连续短曝光图像上的像素进行像素地址映射和图像叠加运算，以获取增强后的图像，并进行应用。
需要说明的是，该***在功耗为14.37W下，叠加完8帧图像耗时986毫秒，***完成后占用了XC5VLX110T型号的FPGA的81％的片上存储空间、43.95％的片外存储空间和93.75％的乘法器资源，硬件***平台重量为0.47kg。
本发明的一种基于星载相机短曝光图像序列信噪比实时处理***，可编程逻辑FPGA具有的很大的灵活性，单单使用FPGA进行图像处理减少了pcb设计及时钟设计的难度，赛灵思V5系列的FPGA拥有DSP48E运算硬核，可以较好的完成浮点数的运算，从一定程度上降低了浮点数运算的难度。
综上，本发明提供的星载相机短曝光图像序列信噪比FPGA实时处理模块，至少实现了如下的有益效果：
1、申请所提供的星载相机短曝光图像序列信噪比实时处理方法及***中，通过星载FPGA采集多帧连续短曝光图像，并通过星载FPGA控制姿态传感器采集多个卫星姿态数据，并对卫星姿态数据进行插值运算，获取与多帧连续短曝光图像一一对应的卫星姿态数据，能够消除因拍摄时刻抖动造成卫星姿态数据的变化，提高异常状态下的稳定性。
2、申请所提供的星载相机短曝光图像序列信噪比实时处理方法及***模块中，通过多帧连续短曝光图像叠加能够有效地提升图像的信噪比，且信噪比提升倍数随着叠加帧数的增加而增加，但由于图像的配准偏差，信噪比提升倍数并不完全满足
Figure BDA0002457864440000161
倍的规律，而是会有一定程度的下降。
3、本申请所提供的星载相机短曝光图像序列信噪比实时处理方法及***中，在图像处理过程中，调用第一存储器、第二存储器、第三存储器和第四存储器对图像数据进行存储，对图像的处理过程均使用流水线式的处理方式，在实现多步骤同步进行的同时，能够大幅度提高图像的计算速度，降低硬件编程的复杂度及***占用的内存空间。
4、本申请所提供的星载相机短曝光图像序列信噪比实时处理方法及***中，基于FPGA技术的硬件***具有很大的灵活性，使用FPGA进行图像处理减少了pcb设计和时钟设计的难度。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (9)

1.一种星载相机短曝光图像序列信噪比实时处理方法，其特征在于，所述方法包括：
通过星载FPGA采集多帧连续短曝光图像，并将所述多帧连续短曝光图像存储至第一存储器中；
通过星载FPGA控制姿态传感器采集与所述多帧连续短曝光图像拍摄时间内对应的多个卫星姿态数据，并将多个所述卫星姿态数据存储至第二存储器中；
对所述卫星姿态数据进行插值运算，得到与所述多帧连续短曝光图像一一对应的卫星姿态数据，并存储至第三存储器中；
对经过插值运算后的所述卫星姿态数据进行姿态运算，得到与插值运算后的所述姿态数据一一对应的所述多帧连续短曝光图像的矫正数据，并将所述矫正数据存储至第四存储器中；
对与所述矫正数据一一对应的所述多帧连续短曝光图像上的像素进行像素地址映射计算，并读取像素地址数据；依次对所述矫正数据一一对应的所述多帧连续短曝光图像中每行像素进行像素地址映射计算，在完成一行像素地址映射计算后，读取一行像素地址数据并进行叠加运算，完成整幅图像计算，直至与所述矫正数据一一对应的所述多帧连续短曝光图像上的像素地址数据均完成计算，得到增强后的图像数据；
将处理得到的增强后的图像数据传输给任意设备继续进行处理，或者转换为视频信号输出至成像设备；
清空第一存储器、第二存储器、第三存储器和第四存储器中的数据。
2.根据权利要求1所述的星载相机短曝光图像序列信噪比实时处理方法，其特征在于，所述插值运算的运算方法为：采用二次插值方式，向FPGA输入姿态数据的横纵坐标和插值使能信号，FPGA对输入的所述姿态数据的横纵坐标和所述插值使能信号采用赛灵思的浮点数运算IP核进行相应的双精度浮点数的乘法和除法。
3.根据权利要求1所述的星载相机短曝光图像序列信噪比实时处理方法，其特征在于，所述姿态运算的运算方法为：向FPGA输入多个参数，多个参数包括相应的星载FPGA拍摄角度、姿态数据、高斯模板和使能信号，采用双精度浮点类型运算方法进行运算。
4.根据权利要求3所述的星载相机短曝光图像序列信噪比实时处理方法，其特征在于，所述姿态运算输入相应的参数和输出相应的结果均按照流水线的形式进行。
5.根据权利要求1所述的星载相机短曝光图像序列信噪比实时处理方法，其特征在于，所述矫正数据包括平移矩阵和旋转矩阵。
6.根据权利要求5所述的星载相机短曝光图像序列信噪比实时处理方法，其特征在于，所述像素地址的容量为一行像素中所包含的像素的数量的2倍。
7.根据权利要求1所述的星载相机短曝光图像序列信噪比实时处理方法，其特征在于，在将处理得到的增强后的图像数据传输给其它设备继续进行处理，或者转换为视频信号输出给成像设备显示之前，包括：
将处理得到的增强后的图像进行存储，所述图像存储的大小为10位。
8.根据权利要求1所述的星载相机短曝光图像序列信噪比实时处理方法，其特征在于，所述姿态数据包括三维空间信息和时间信息，所述三维空间信息包括俯仰，平移和翻转角度。
9.一种基于星载相机短曝光图像序列信噪比实时处理***，其特征在于，所述***包括：
采集模块一，用于通过星载FPGA采集多帧连续短曝光图像，并将所述多帧连续短曝光图像存储至第一存储器中；
采集模块二，用于通过星载FPGA控制姿态传感器获取与采集所述多帧连续短曝光图像拍摄时间内对应的多个卫星姿态数据，并将多个所述卫星姿态数据存储至第二存储器中；
运算模块一，用于对所述卫星姿态数据进行插值运算，得到与所述多帧连续短曝光图像一一对应的卫星姿态数据，并存储至第三存储器中；
运算模块二，用于对经过插值运算后的所述卫星姿态数据进行姿态运算，得到与所述姿态数据一一对应的所述多帧连续短曝光图像的矫正数据，并将所述矫正数据存储至第四存储器中；
运算模块三，用于对与所述矫正数据一一对应的所述多帧连续短曝光图像上的像素进行像素地址映射计算，并读取像素地址数据；依次对所述矫正数据一一对应的所述多帧连续短曝光图像中每行像素进行像素地址映射计算，在完成一行像素地址映射计算后，读取一行像素地址数据并进行叠加运算，完成整幅图像计算，直至与所述矫正数据一一对应的所述多帧连续短曝光图像上的像素地址数据均完成计算，得到增强后的图像数据；
应用模块，用于将处理得到的增强后的图像数据传输给任意设备继续进行处理，或者转换为视频信号输出至成像设备；
处理模块，用于清空第一存储器、第二存储器、第三存储器和第四存储器中的数据。
CN202010311683.8A 2020-04-20 2020-04-20 星载相机短曝光图像序列信噪比实时处理方法及*** Active CN111464755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010311683.8A CN111464755B (zh) 2020-04-20 2020-04-20 星载相机短曝光图像序列信噪比实时处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010311683.8A CN111464755B (zh) 2020-04-20 2020-04-20 星载相机短曝光图像序列信噪比实时处理方法及***

Publications (2)

Publication Number Publication Date
CN111464755A CN111464755A (zh) 2020-07-28
CN111464755B true CN111464755B (zh) 2021-06-18

Family

ID=71682566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010311683.8A Active CN111464755B (zh) 2020-04-20 2020-04-20 星载相机短曝光图像序列信噪比实时处理方法及***

Country Status (1)

Country Link
CN (1) CN111464755B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027904A (zh) * 2016-06-29 2016-10-12 中国人民解放军国防科学技术大学 视频卫星姿态运动图像补偿方法
CN106197402A (zh) * 2016-07-04 2016-12-07 北京航空航天大学 一种像增强型星敏感器的多重曝光成像方法
CN108605098A (zh) * 2016-05-20 2018-09-28 深圳市大疆创新科技有限公司 用于卷帘快门校正的***和方法
CN109410130A (zh) * 2018-09-28 2019-03-01 华为技术有限公司 图像处理方法和图像处理装置
WO2019118319A1 (en) * 2017-12-15 2019-06-20 Gopro, Inc. High dynamic range processing on spherical images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102044053B (zh) * 2009-10-20 2012-09-26 西安费斯达自动化工程有限公司 基于fpga的逆透视变换方法
JP5921239B2 (ja) * 2012-02-10 2016-05-24 キヤノン株式会社 撮像装置ならびに制御方法およびプログラム
TWM501362U (zh) * 2014-11-14 2015-05-21 Shui-Mu Wang 複合材改良結構
CN109360229B (zh) * 2018-10-31 2020-11-17 歌尔光学科技有限公司 激光投射图像处理方法、装置和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108605098A (zh) * 2016-05-20 2018-09-28 深圳市大疆创新科技有限公司 用于卷帘快门校正的***和方法
CN106027904A (zh) * 2016-06-29 2016-10-12 中国人民解放军国防科学技术大学 视频卫星姿态运动图像补偿方法
CN106197402A (zh) * 2016-07-04 2016-12-07 北京航空航天大学 一种像增强型星敏感器的多重曝光成像方法
WO2019118319A1 (en) * 2017-12-15 2019-06-20 Gopro, Inc. High dynamic range processing on spherical images
CN109410130A (zh) * 2018-09-28 2019-03-01 华为技术有限公司 图像处理方法和图像处理装置

Also Published As

Publication number Publication date
CN111464755A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN108898630B (zh) 一种三维重建方法、装置、设备和存储介质
KR101939349B1 (ko) 기계학습모델을 이용하여 자동차용 어라운드 뷰 영상을 제공하는 방법
JP3058774B2 (ja) 映像合成装置及び映像合成方法
CN109618090A (zh) 对通过使用广角透镜捕获的图像的图像失真校正的方法和***
CN110909790A (zh) 图像的风格迁移方法、装置、终端及存储介质
WO2019205937A1 (zh) 瞳孔中心定位装置和方法、虚拟现实设备
CN113315884A (zh) 一种实时视频降噪方法、装置、终端及存储介质
CN110211039B (zh) 一种图像处理方法及其装置
US20090059018A1 (en) Navigation assisted mosaic photography
Song et al. Real-scene reflection removal with raw-rgb image pairs
CN111464755B (zh) 星载相机短曝光图像序列信噪比实时处理方法及***
Xiong et al. Hierarchical fusion for practical ghost-free high dynamic range imaging
JP6113406B2 (ja) 赤外線目標検出装置
Angelopoulou et al. FPGA-based real-time super-resolution on an adaptive image sensor
JPH1074258A (ja) 画像処理方法および装置
CN115937374A (zh) 一种数字人体建模方法、装置、设备及介质
CN116017123A (zh) 一种光电成像***及其成像方法
CN115546373A (zh) 一种基于FPGA和多分辨率哈希编码算法的NeRF渲染器及渲染方法
JP5682473B2 (ja) 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
JP2013005393A (ja) 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
CN114820299A (zh) 一种非均匀运动模糊超分辨图像复原方法及装置
Guo et al. Real-time image distortion correction system based on improved bilinear interpolation algorithm
Feng et al. Applying holo360 video and image super-resolution generative adversarial networks to virtual reality immersion
CN113570673B (zh) 三维人体和物体的渲染方法及其应用方法
WO2024095692A1 (ja) 撮像装置および撮像装置の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant