CN104010130B - 一种多窗口跟踪的稳像方法 - Google Patents
一种多窗口跟踪的稳像方法 Download PDFInfo
- Publication number
- CN104010130B CN104010130B CN201410185423.5A CN201410185423A CN104010130B CN 104010130 B CN104010130 B CN 104010130B CN 201410185423 A CN201410185423 A CN 201410185423A CN 104010130 B CN104010130 B CN 104010130B
- Authority
- CN
- China
- Prior art keywords
- image
- window
- tracking
- offset
- optical system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006641 stabilisation Effects 0.000 title claims abstract description 44
- 238000011105 stabilization Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000003384 imaging method Methods 0.000 claims abstract description 64
- 230000003287 optical effect Effects 0.000 claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims abstract description 46
- 238000005314 correlation function Methods 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 41
- 230000000087 stabilizing effect Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 11
- 230000002829 reductive effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 3
- 235000020061 kirsch Nutrition 0.000 description 3
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 235000013339 cereals Nutrition 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明是一种多窗口跟踪的稳像方法，包括获取目标场景的大视场图像；根据跟踪窗口的图像特征，获取稳像跟踪时的多个跟踪窗口；对目标场景再次成像，获得并存储每个跟踪窗口的窗口图像并作为参考图像；更新每个跟踪窗口的窗口图像，获取并对当前窗口图像与参考图像进行互相关函数计算，利用每个窗口图像的相关峰值的变化情况，获得每个窗口图像的加权系数，并对每个窗口图像偏移量加权处理，得到成像光学***焦平面图像整体偏移量；利用每个窗口图像偏移量的统计特性，将有效焦平面图像偏移量转换成成像光学***中摆镜转动的位置控制量并转换成模拟量，用于控制摆镜驱动器驱动成像光学***中的摆镜偏转；直至成像光学***完成高分辨率图像成像。
Description
技术领域
本发明属于高分辨率成像领域，具体地说，它涉及一种多窗口跟踪的稳像方法。
背景技术
稳像***是空间太阳望远镜和地面遥感卫星实现高分辨率成像的关键器件。在空间太阳观测和地面遥感过程中，卫星平台姿态控制的残余抖动引起光学***指向不稳定，导致成像相机采样积分时间内的图像抖动，进而严重地影响光学***的成像分辨率。解决这一问题的方法有两种：一种是提高航天器姿态控制***的控制精度以改进卫星平台随机抖动特性降低其对成像分辨率的影响，这种方法技术难度大、成本高；另一种是在空间太阳望远镜和地球遥感卫星上安装补偿图像偏移的稳像***以获得高质量的图像。
稳像***实时探测、校正主光轴随机抖动的原理图如图1所示。从光学***主镜来的主光线经摆镜镜面反射后成像在主成像相机和高帧频探测相机上。当稳像***不工作时，摆镜静止，由于光学***平台抖动等原因造成主光线在摆镜镜面上的入射角发生变化，主光线出射角相应变化，最终导致图像在主成像相机上晃动，得到模糊的图像，严重降低了光学***的空间分辨率。当稳像***工作时，由于高帧频探测相机的积分时间非常短，对于高频分量少的扰动仍可以采集到清晰的图像，根据这一图像序列与起始参考图像的相关计算结果，可以得到图像运动的方向和大小，进而用伺服控制算法得到实际的控制量，经过D/A转换驱动摆镜偏转，使经摆镜镜面反射的光线仍然趋向于原来的主光线，从而衰减图像的运动，达到在主成像相机的积分时间内稳定图像的目的，得到空间高分辨率的图像。
图像互相关算法作为稳像***探测图像运动方向和大小的关键算法，其计算精度和计算效率是影响***的跟踪精度和稳定性的重要因素之一。在十多年的稳像技术研究中，我们发现用互相关算法计算图像相对偏移量的方法具有以下特点：(1)互相关计算量巨大，一般随图像尺寸N成4次方增长；(2)受图像内容的影响，在图像的相互垂直方向上的两个偏移量的计算精度通常是不一样的，有时会出现一个方向计算精度尚可，另一个方向计算结果出错的情况，严重时导致稳像***振荡、无法正常工作；(3)探测视场内目标的时变特性会对探测精度产生不利影响，即随时间的推移，探测精度逐渐下降。
传统稳像***采用单一的小探测窗口(32×32像元或64×64像元)进行目标图像运动相关探测，运算量小，但同时也因探测窗口小且位置固定，探测相机拍摄到的图像即为相关探测目标图像，不具备目标图像选择功能，也无法考虑目标图像时变特性的影响。这样的稳像***和探测方法虽具有简单和计算量较少的特点，但相关探测精度因相关目标图像不同而不同，在某些情况下相关探测结果出现振荡、甚至出错，导致稳像***工作不稳定，严重影响光学***成像质量。
发明内容
(一)要解决的技术问题
为提高稳像***的跟踪精度、稳定性和可靠性，本发明的目的是研究一种新型的考虑了目标图像内容和时变特性影响且计算效率高的稳像***和探测方法，为此本发明的目的是提出了一种应用范围广、适用性强、且能适用于时变特性目标的在多窗口跟踪的稳像方法。
(二)技术方案
本发明提供一种多窗口跟踪的稳像方法的步骤如下：
步骤S1：获取目标场景的大视场图像；
步骤S2：根据设定跟踪窗口尺寸和选取跟踪窗口的图像特征，获取稳像跟踪时的多个跟踪窗口；
步骤S3：对目标场景再次成像，获得并存储每个跟踪窗口的窗口图像，并将每个窗口图像作为参考图像；
步骤S4：更新每个跟踪窗口的窗口图像，获取并对当前窗口图像与参考图像进行互相关函数计算，得到相关峰值的位置，获得每个窗口图像偏移量；
步骤S5：利用每个窗口图像的相关峰值的变化情况，获得每个窗口图像的加权系数，并对每个窗口图像偏移量进行加权处理，得到成像光学***焦平面图像整体偏移量；
步骤S6：利用每个窗口图像偏移量的统计特性，判断成像光学***的焦平面图像整体偏移量是否为有效偏移量，如果焦平面图像整体偏移量有效，则执行步骤S7，如果焦平面图像整体偏移量无效，则执行步骤S1；
步骤S7：利用伺服控制器将有效焦平面图像偏移量转换成成像光学***中摆镜转动的位置控制量，并将位置控制量转换成模拟量；
步骤S8：根据模拟量控制摆镜驱动器驱动成像光学***中的摆镜偏转；重复步骤S4～步骤S8，直至成像光学***完成高分辨率图像成像。
优选实施例，利用开窗探测相机对目标场景成像，以低帧频得到目标场景的大视场图像，以高帧频得到稳像跟踪时的多个跟踪窗口的窗口图像。
优选实施例，获取稳像跟踪时的多个跟踪窗口的步骤包括：根据设定跟踪窗口尺寸和选取跟踪窗口的图像特征，将大视场图像分割成多个跟踪窗口大小的图像，记录各跟踪窗口的位置并计算各跟踪窗口中的图像特征值，根据图像特征值的统计特性设定跟踪窗口选取阈值，选出稳像跟踪时的多个跟踪窗口。
优选实施例，所述当前窗口图像与参考图像进行互相关函数计算是找出函数最大值的位置，并用该函数最大值的位置周围的互相关函数值进行曲面拟合，拟合得到的曲面最大值为相关峰值，相关峰值表示当前图像与参考图像的相似程度，相关峰值所在位置表示当前图像与参考图像之间的偏移量。
优选实施例，所述成像光学***焦平面图像整体偏移量是各窗口图像偏移量的加权和，互相关峰值变化慢的窗口图像的加权系数大，变化快的窗口图像的加权系数小，当相关峰值变化速率超过设定阈值时，加权系数变为0。
(三)有益效果
本发明与现有技术相比的优点如下：
(1)本发明方法可动态优化选择多个跟踪窗口，提高成像光学***焦平面图像整体偏移量的计算精度和可靠性，使稳像***工作时的稳定性更好、可靠性更高。现有方法中探测相机成像视场很小，在稳像***稳像跟踪时仅有一个跟踪窗口，且窗口大小不变、位置固定，无法主动选择跟踪图像，而跟踪图像的内容对成像光学***焦平面图像偏移量的计算精度和可靠性具有决定性作用，严重时将影响稳像***的稳定性和可靠性。例如，当探测相机对准地球海面或是太阳黑子中心时，跟踪窗口图像为对比度极低的均匀图像，用这样的图像序列进行相关计算得到的计算结果无法正确描述成像光学***焦平面真实移动量，相关计算失效，稳像***不能正常工作。本发明方法采用开窗探测相机对大视场目标场景成像，视场范围较现有方法中的探测视场增大了数百倍从而使得视场内图像内容较之更为丰富，在这样的大视场图像中采用适于稳像跟踪的图像特征优化选择了多个跟踪窗口，跟踪窗口的个数、大小和位置可以动态调整。各跟踪窗口图像均包含明显内容且适于进行相关计算，相比现有方法的单一跟踪窗口随机图像，从跟踪图像内容方面降低了相关计算失效的概率，从而提高了稳像***的稳定性和可靠性，使稳像***通用性更好、适用范围更广。同时，本发明方法采用多个跟踪窗口主要是考虑了对于同一光轴抖动所引起的成像光学***焦平面图像运动的相关探测精度因不同跟踪图像而不同，各个跟踪窗口的图像偏移量加权得到成像光学***焦平面图像偏移量可减小相关计算误差，提高稳像***的闭环跟踪精度，从而使成像光学***拍摄到的高分辨率图像更清晰。
(2)本发明方法考虑了跟踪图像的时变特性对相关探测精度的影响，根据各个窗口图像相关峰值的变化情况修正其在成像光学***焦平面图像运动中的加权系数，减缓了相关探测精度随时间延长而下降的趋势，使得稳像效果更好，尤其是对成像光学***长时间的曝光拍摄。现有方法是单一跟踪窗口的随机图像相关探测，跟踪场景不同，图像变化情况不同。例如太阳观测时，米粒组织的寿命只有8分钟，而太阳黑子的寿命可长达数小时甚至几天，当跟踪视场对准米粒组织时，对于长于1分钟的成像光学***高分辨率图像拍摄，稳像效果会明显下降。本发明方法中成像光学***焦平面图像整体偏移量是各窗口图像偏移量的加权和，相关峰值变化慢的窗口图像的加权系数大，变化快的窗口图像的加权系数小，当相关峰值变化速率超过设定阈值时，加权系数变为0，使得图像内容变化快的跟踪窗口偏移量在焦平面图像整体偏移量加权计算中的占比减少，从而减缓相关探测精度随时间延长而下降的趋势。对于相同场景、相同曝光时间(尤其是长曝光时间)的高分辨率图像拍摄，本发明方法的稳像效果优于现有方法。
(3)采用本发明方法的稳像***的实时性与现有***实时性基本相同。本发明方法在多个跟踪窗口选定后仅输出多个跟踪窗口图像，当跟踪窗口为1时，采用本发明方法的实时性与现有***相同，当跟踪窗口多于1个时，研制的计算控制单元可采用并行处理技术，同时计算多个跟踪窗口的图像偏移量，使***实时性与现有***基本相同。所以采用本发明方法的稳像***与现有***实时性基本相同，但稳像效果和适用范围却优于现有***。
附图说明
图1为稳像***工作原理示意图；
图2为采用本发明方法的稳像***组成框图；
图3为本发明方法的流程图；
图4为本发明的跟踪窗口选择示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
如图2示出本发明方法所采用多窗口跟踪的稳像***。该稳像***由开窗探测相机、计算控制单元、摆镜驱动器、摆镜和计算机监控单元组成的稳像***，其中：
开窗探测相机，用于在稳像跟踪前的单一窗口大视场成像和稳像跟踪时的多窗口小视场成像，采用高速CMOS(互补金属氧化物半导体)相机或具有多窗口开窗功能的CCD(电荷耦合元件)相机，开窗探测相机分辨率达到1280×1024像素，输出帧频500帧/秒，并可根据用户需要设置相机输出图像的大小、位置和帧频，开窗探测相机将探测到的数字图像信号(单窗口大视场图像或多窗口小视场图像)传输到计算控制单元的现场可编程逻辑门阵列(FPGA)和数据处理器(DSP)，并接收来自计算控制单元的相机控制指令；
计算控制单元是由现场可编程逻辑门阵列(FPGA)、数据处理器(DSP)和DA转换器组成，现场可编程逻辑门阵列与数据处理器连接，DA转换器与数据处理器连接。计算控制单元分别与开窗探测相机、计算机监控单元和摆镜驱动器连接，用于接收开窗探测相机输出的大视场图像，由图像特征函数优选多个跟踪窗口，设定开窗探测相机小视场成像窗口并接收小视场图像，对多跟踪窗口进行相关计算再加权得到探测焦面上图像的运动量，稳像跟踪过程中根据各窗口相关系数的变化修改加权系数，由伺服控制器得到摆镜的位置控制数字量，并由DA转换成模拟数据输出到摆镜驱动器，计算控制单元将开窗探测相机输出图像的大小、位置和帧频的相机工作模式控制指令经计算控制单元的DSP后到FPGA再传输到开窗探测相机，稳像跟踪时计算控制单元的DSP将摆镜的位置控制数字量输出到DA并转换成摆镜位置控制电压模拟量输出到摆镜驱动器，根据接收到的计算机监控单元的监控指令，计算控制单元的DSP还将计算控制单元的伺服控制器参数等状态信息输出到计算机监控单元；
摆镜驱动器，将计算控制单元输出的摆镜位置控制电压模拟量放大为摆镜驱动电压模拟量输出到摆镜，采用市场上供应的摆镜驱动器；
摆镜，由摆镜驱动器输出的摆镜驱动电压模拟量驱动偏转以减小成像光轴的抖动达到稳像的目的，采用市场上供应的摆镜平台，摆镜镜片为自研产品，口径由成像光学***决定；
计算机监控单元，与计算控制单元相连，用于监控稳像***工作状态，采用Windows操作***的商业计算机，计算机监控单元可根据监控内容(稳像***控制器参数等)输出监控计算控制单元的监控指令到计算控制单元，并接收计算控制单元返回的监控信息。
本发明方法在该稳像***中的具体实现步骤如图3所示。
步骤1：启动稳像***所有组件：开窗探测相机、计算控制单元、摆镜驱动器、摆镜和计算机监控单元，***进入窗口搜索模式；
开窗探测相机为单一窗口大视场成像输出模式，帧频设置为flow，单位为帧每秒，200≤flow≤500；接收目标场景的光信号，目标场景的光信号经光电转换和模拟数字转换产生目标场景大视场数字图像I，以下简称为大视场图像I。大视场图像I长度为A个像素、宽度为B个像素。
步骤2：根据设定跟踪窗口尺寸和选取跟踪窗口的图像特征，选取稳像***稳像跟踪时的多个跟踪窗口。
图4示出跟踪窗口选取示意图，确定跟踪窗口长度为P个像素、跟踪窗口宽度为Q个像素，其中P<A、Q<B；如图4虚线所示，将大视场图像I分割为Nwindow个跟踪窗口大小的小视场图像；以序列号标识每个小视场图像，如图4中数字所示；第i个小视场图像表示为Wi，i为小视场图像的序列号，i＝1，2，……，Nwindow；图4中第i个小视场图像Wi左上角第一个像素在大视场图像I中的坐标为(ai，bi)，用以表示第i个小视场图像Wi的位置，ai，bi是坐标(ai，bi)的坐标点。
选用能够描述小视场图像内容且计算量小、抗噪声干扰能力强的图像特征算子S，计算各小视场图像的特征值，如公式(1)～(4)示出：
其中：
S(j)为小视场图像特征算子S的第j个算子矩阵，j为算子矩阵序列号，Noperator为算子矩阵个数，h为算子矩阵维数，s11(j)为小视场图像特征算子S的第j个算子矩阵的第1行第1列元素，sh1(j)为小视场图像特征算子S的第j个算子矩阵的第h行第1列元素，以此类推第j个矩阵算子的其他元素；
Di(p，q)是与小视场图像特征算子S的算子矩阵同维的第i个小视场图像Wi的像素灰度值矩阵，wi(p，q)为第i个小视场图像Wi在坐标(p，q)处像素的灰度值，p，q是坐标(p，q)的坐标点；
Fi(j)是小视场图像特征算子S的第j个算子矩阵S(j)与第i个小视场图像Wi的所有像素灰度值矩阵Di(p，q)点乘的和；
Gi为第i个小视场图像Wi的特征值。
小视场图像特征算子的算子矩阵个数、算子矩阵维数和算子矩阵元素因算子类型不同而不同，具体可使用Robert(罗伯特)算子、Sobel(索贝尔)算子、Prewitt(普鲁伊特)算子、Kirsch(基尔希)算子等算子中的一种，各算子形式如下：
Robert算子：那么Noperator＝2，h＝2；
Sobel算子：那么Noperator＝2，h＝3；
Prewi“算子：那么Noperator＝2，h＝3；
Kirsch算子：
那么Noperator＝8，h＝3；
根据所有小视场图像的特征值的统计特性设定跟踪窗口选取阈值T，如公式(5)～(7)。选取小视场图像特征值大于该阈值的窗口为稳像跟踪时的跟踪窗口。稳像跟踪时的跟踪窗口共Ntrack个，Ntrack≥1，将所有跟踪窗口的位置和尺寸信息传送给开窗探测相机，启动开窗探测相机进入多窗口小视场成像输出模式。
T＝Gmean+Gσ (7)
其中，表示向下取整，Gmean和Gσ分别是所有小视场图像特征值的平均值和方差。
步骤3：对目标场景再次成像，获得并存储每个跟踪窗口的窗口图像，并将每个窗口图像作为参考图像；稳像***进入稳像跟踪模式，开窗探测相机为多窗口小视场成像输出模式，帧频设置为fhigh，单位为帧每秒，1000≤fhigh≤10000；接收目标场景的光信号，经光电转换和模拟数字转换后输出目标场景小视场跟踪窗口数字图像，共Ntrack个，以下简称为跟踪窗口图像。第k个跟踪窗口图像表示为Mk，k为跟踪窗口图像的序列号，k＝1，2，…，Ntrack；在计算控制单元的存储器内存储所有跟踪窗口图像，并将每个跟踪窗口图像作为各自跟踪窗口的参考图像，第k个参考图像记为Rk，后续跟踪窗口图像以参考图像为基准计算它们与参考图像的偏移量。
步骤4：更新每个跟踪窗口的窗口图像，获取并对当前窗口图像与参考图像进行互相关函数计算，得到相关峰值的位置，计算各跟踪窗口图像的偏移量。
开窗探测相机保持多窗口小视场成像输出模式和输出帧频fhigh，更新每个跟踪窗口图像，以t表示跟踪窗口图像的更新次数，第t次更新称为当前更新。以每个跟踪窗口更新后的跟踪窗口图像作为各自跟踪窗口的活动图像，当前更新的第k个活动图像表示为Lk。计算第k个活动图像与第k个参考图像的互相关函数Ck(x，y)，见公式(8)，以下简称为第k个跟踪窗口的相关函数Ck(x，y)，x，y是互相关函数Ck(x，y)的坐标变量。
Ck(x，y)＝IFFT[FFT(Rk)×FFT*(Lk)] (8)
其中FFT、IFFT分别表示正、逆快速傅里叶变换，*号表示傅里叶变换的复共轭，×号表示矩阵叉乘。
找出第k个跟踪窗口的相关函数Ck(x，y)最大值所在位置的坐标(xmaxk，ymaxk)，xmaxk，ymaxk是坐标(xmaxk，ymaxk)的坐标点，是个常量。以第k个跟踪窗口的相关函数Ck(x，y)最大值的位置为中心，用相关函数Ck(x，y)最大值周围的3×3矩阵区域的相关函数值进行曲面拟合，拟合得到的曲面最大值为相关峰值Cmaxk，相关峰值Cmaxk的位置为第k个跟踪窗口图像的偏移量δxk，δyk，计算公式见公式(9)、(10)。所有跟踪窗口的相关峰值都保存在计算控制单元的存储区内以备后续使用。
其中Ck(xmaxk，ymaxk)是第k个跟踪窗口的相关函数Ck(x，y)在坐标(xmaxk，ymaxk)的相关函数值，也就是第k个跟踪窗口的相关函数Ck(x，y)最大值；Ck(xmaxk-1，ymaxk)第k个跟踪窗口的相关函数Ck(x，y)在坐标(xmaxk-1，ymaxk)的相关函数值；以此类推其他互相关函数值。
步骤5：利用每个窗口图像的相关峰值的变化情况，获得每个窗口图像的加权系数，并对每个窗口图像偏移量进行加权处理，计算成像光学***焦平面图像的整体偏移量。
成像光学***焦平面图像的整体偏移量δx、δy是各跟踪窗口图像偏移量的加权和，见公式(11)，计算结果保存在计算控制单元的存储区内以备后续使用。由于各跟踪窗口图像的内容不同且随时间而变化的情况也不同，为了提高焦平面图像整体偏移量的计算精度，公式(11)中的加权系数需进行修正。一般，各跟踪窗口图像的相关峰值变化情况表示窗口图像内容变化情况，内容变化快的跟踪窗口图像的偏移量计算精度下降也快，应减小这样的跟踪窗口图像在公式(11)中的加权系数，具体的各跟踪窗口图像第t次更新的加权系数修正方法见公式(12)。
其中，vk为第k个跟踪窗口图像当前更新的加权系数；Cmaxk、和是第k个跟踪窗口图像的当前更新、第t-1次更新和第1次更新的相关峰值，这些相关峰值从计算控制单元存储区内提取。
步骤6：利用每个窗口图像偏移量的统计特性，判断成像光学***的焦平面图像整体偏移量是否为有效偏移量，如果焦平面图像整体偏移量有效，则执行步骤7，如果焦平面图像整体偏移量无效，则执行步骤1；
计算所有跟踪窗口图像偏移量的平均值δxmean、δymean和方差δxσ、δyσ，见公式(13)、(14)。当成像光学***焦平面图像的整体偏移量与跟踪窗口图像偏移量平均值的偏差不超过一倍跟踪窗口图像偏移量方差，即|δx-δxmean|≤δxσ且|δy-δymean|≤dyσ时，认为成像光学***焦平面图像的整体偏移量计算有效，转入步骤7；否则，稳像***退出稳像跟踪模式重新进入窗口搜索模式，即返回步骤1；
步骤7：利用伺服控制器将有效焦平面图像偏移量转换成成像光学***中摆镜转动的位置控制量，并将位置控制量转换成模拟量；由步骤5得到的成像光学***焦平面图像的整体偏移量δx、δy经过伺服控制器后得到摆镜转动的位置控制量ux、uy，并将摆镜转动的位置控制量ux、uy保存在计算控制单元的存储区。
其中qx0，qx1，qx2和qy0，qy1，qy2分别为水平和垂直两个方向伺服控制器的三个参数，参数值由***性能指标决定；ux、uy和分别是当前循环和第t-1次循环的摆镜转动的位置控制量；δx、δy、δx(t-1)、δy(t-1)和δx(t-2)、δy(t-2)分别是当前循环、第t-1次循环和第t-2次循环的成像光学***焦平面图像的整体偏移量。
步骤8：由步骤7得到的摆镜转动的位置控制量ux、uy经过数字模拟转换后输出位置控制电压模拟量，摆镜驱动器将该模拟量放大输出到摆镜，进而驱动成像光学***中的摆镜偏转；重复执行上述步骤4～步骤8，对稳像***进行实时反馈控制，直到成像光学***完成高分辨率图像成像。
成像光学***得到一幅高分辨率图像后，稳像***退出稳像跟踪模式，进入待机模式，摆镜控制电压设为中置电压，等待下一次稳像命令。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。
Claims (4)
1.一种多窗口跟踪的稳像方法，该方法包括步骤如下：
步骤S1：获取目标场景的大视场图像；
步骤S2：根据设定跟踪窗口尺寸和选取跟踪窗口的图像特征，获取稳像跟踪时的多个跟踪窗口；
步骤S3：对目标场景再次成像，获得并存储每个跟踪窗口的窗口图像，并将每个窗口图像作为参考图像；
步骤S4：更新每个跟踪窗口的窗口图像，获取并对当前窗口图像与参考图像进行互相关函数计算，得到相关峰值的位置，获得每个窗口图像偏移量，所述当前窗口图像与参考图像进行互相关函数计算是找出函数最大值的位置，并用该函数最大值的位置周围的互相关函数值进行曲面拟合，拟合得到的曲面最大值为相关峰值，相关峰值表示当前图像与参考图像的相似程度，相关峰值所在位置表示当前图像与参考图像之间的偏移量；
步骤S5：利用每个窗口图像的相关峰值的变化情况，获得每个窗口图像的加权系数，并对每个窗口图像偏移量进行加权处理，得到成像光学***焦平面图像整体偏移量；
步骤S6：利用每个窗口图像偏移量的统计特性，判断成像光学***的焦平面图像整体偏移量是否为有效偏移量，如果焦平面图像整体偏移量有效，则执行步骤S7，如果焦平面图像整体偏移量无效，则执行步骤S1；
步骤S7：利用伺服控制器将有效焦平面图像偏移量转换成成像光学***中摆镜转动的位置控制量，并将位置控制量转换成模拟量；
步骤S8：根据模拟量控制摆镜驱动器驱动成像光学***中的摆镜偏转；重复步骤S4～步骤S8，直至成像光学***完成高分辨率图像成像。
2.如权利要求1所述的多窗口跟踪的稳像方法，其特征在于，利用开窗探测相机对目标场景成像，以低帧频得到目标场景的大视场图像，以高帧频得到稳像跟踪时的多个跟踪窗口的窗口图像。
3.如权利要求2所述的多窗口跟踪的稳像方法，其特征在于，获取稳像跟踪时的多个跟踪窗口的步骤包括：根据设定跟踪窗口尺寸和选取跟踪窗口的图像特征，将大视场图像分割成多个跟踪窗口大小的图像，记录各跟踪窗口的位置并计算各跟踪窗口中的图像特征值，根据图像特征值的统计特性设定跟踪窗口选取阈值，选出稳像跟踪时的多个跟踪窗口。
4.如权利要求1所述的多窗口跟踪的稳像方法，其特征在于，所述成像光学***焦平面图像整体偏移量是各窗口图像偏移量的加权和，互相关峰值变化慢的窗口图像的加权系数大，变化快的窗口图像的加权系数小，当相关峰值变化速率超过设定阈值时，加权系数变为0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410185423.5A CN104010130B (zh) | 2014-05-05 | 2014-05-05 | 一种多窗口跟踪的稳像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410185423.5A CN104010130B (zh) | 2014-05-05 | 2014-05-05 | 一种多窗口跟踪的稳像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104010130A CN104010130A (zh) | 2014-08-27 |
| CN104010130B true CN104010130B (zh) | 2017-02-15 |
Family
ID=51370615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410185423.5A Active CN104010130B (zh) | 2014-05-05 | 2014-05-05 | 一种多窗口跟踪的稳像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104010130B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107992100B (zh) * | 2017-12-13 | 2021-01-15 | 中国科学院长春光学精密机械与物理研究所 | 基于可编程逻辑阵列的高帧频图像跟踪方法和*** |
| CN111402340B (zh) * | 2020-03-08 | 2020-11-03 | 中国科学院微小卫星创新研究院 | 一种对地观测卫星的成像控制***及方法 |
| CN111612760B (zh) * | 2020-05-20 | 2023-11-17 | 阿波罗智联(北京)科技有限公司 | 用于检测障碍物的方法和装置 |
| CN113411478B (zh) * | 2021-06-17 | 2022-11-04 | 西安应用光学研究所 | 一种用于空中光电监视***的跨探测器多视窗漫游方法 |
| CN115793722B (zh) * | 2023-02-13 | 2023-04-11 | 中国科学院云南天文台 | 一种地平式太阳望远镜库德焦面的高精度跟踪方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1298592A1 (fr) * | 2001-07-31 | 2003-04-02 | Sagem S.A. | Stabilisation des images d'une scène, correction des offsets de niveaux de gris, détection d'objets mobiles et harmonisation de deux appareils de prise de vues fondés sur la stabilisation des images |
| CN101477291A (zh) * | 2008-12-17 | 2009-07-08 | 杭州海康威视数字技术股份有限公司 | 摄像快速自动聚焦方法及其摄像装置 |
| EP2149108A2 (en) * | 2007-04-23 | 2010-02-03 | Fotonation Ireland Limited | Detection and estimation of camera movement |
| CN101950116A (zh) * | 2010-09-14 | 2011-01-19 | 浙江工业大学 | 一种应用于多主体场景的视频自动聚焦方法 |
| CN103115631A (zh) * | 2013-01-25 | 2013-05-22 | 西安电子科技大学 | 遥感相机成像参数误差校正***及方法 |
-
2014
- 2014-05-05 CN CN201410185423.5A patent/CN104010130B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1298592A1 (fr) * | 2001-07-31 | 2003-04-02 | Sagem S.A. | Stabilisation des images d'une scène, correction des offsets de niveaux de gris, détection d'objets mobiles et harmonisation de deux appareils de prise de vues fondés sur la stabilisation des images |
| EP2149108A2 (en) * | 2007-04-23 | 2010-02-03 | Fotonation Ireland Limited | Detection and estimation of camera movement |
| CN101477291A (zh) * | 2008-12-17 | 2009-07-08 | 杭州海康威视数字技术股份有限公司 | 摄像快速自动聚焦方法及其摄像装置 |
| CN101950116A (zh) * | 2010-09-14 | 2011-01-19 | 浙江工业大学 | 一种应用于多主体场景的视频自动聚焦方法 |
| CN103115631A (zh) * | 2013-01-25 | 2013-05-22 | 西安电子科技大学 | 遥感相机成像参数误差校正***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104010130A (zh) | 2014-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104010130B (zh) | 一种多窗口跟踪的稳像方法 | |
| US9124807B2 (en) | Imaging apparatus, control method therefor, and storage medium | |
| US7634143B2 (en) | Image processing apparatus and method, recording medium, and program | |
| US8964047B2 (en) | Self-correcting adaptive long-stare electro-optical system | |
| US9615039B2 (en) | Systems and methods for reducing noise in video streams | |
| CN112037129B (zh) | 图像超分辨率重建方法、装置、设备及存储介质 | |
| US8654202B2 (en) | Correction of captured and stabilized images | |
| CN103108108A (zh) | 影像稳定方法及影像稳定装置 | |
| US20110025919A1 (en) | Automated Video Data Fusion Method | |
| US11615510B2 (en) | Kernel-aware super resolution | |
| WO2015007065A1 (zh) | 一种降低tdi-ccd相机图像模糊度的方法 | |
| US11244426B2 (en) | Method for image super resolution imitating optical zoom implemented on a resource-constrained mobile device, and a mobile device implementing the same | |
| CN111862169B (zh) | 目标跟拍方法、装置、云台相机及存储介质 | |
| US9247188B2 (en) | Image capturing apparatus, image capturing system, and image capturing method that performs inverse transform processing on an image using an inverse transform filter | |
| US8958649B2 (en) | Video generation with temporally-offset sampling | |
| US20230319407A1 (en) | Image processing device, image display system, method, and program | |
| US20200410637A1 (en) | Interframe registration and adaptive step size-based non-uniformity correction method for infrared image | |
| US9313429B1 (en) | Reducing roll-induced smear in imagery | |
| KR20150146424A (ko) | 이미지에서 추정된 깊이를 결정하기 위한 방법 및 시스템 | |
| Armstrong et al. | Nonuniformity correction for improved registration and high-resolution image reconstruction in IR imagery | |
| CN111932478A (zh) | 一种非制冷红外焦平面的自适应非均匀校正方法 | |
| KR101773311B1 (ko) | 이미지 캡처 장치, 이미지 캡처 시스템, 및 이미지 캡처 방법 | |
| US20230308759A1 (en) | Signal processing device and signal processing method | |
| US10616451B2 (en) | Image processing devices and methods for operating the same | |
| CN115060377B (zh) | 一种机载自适应非均匀性校正方法及其*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |