CN102158651A - Tdi-ccd相机实时像移数字补偿***及补偿方法 - Google Patents
Tdi-ccd相机实时像移数字补偿***及补偿方法 Download PDFInfo
- Publication number
- CN102158651A CN102158651A CN2011100713147A CN201110071314A CN102158651A CN 102158651 A CN102158651 A CN 102158651A CN 2011100713147 A CN2011100713147 A CN 2011100713147A CN 201110071314 A CN201110071314 A CN 201110071314A CN 102158651 A CN102158651 A CN 102158651A
- Authority
- CN
- China
- Prior art keywords
- compensation
- tdi
- ccd
- time
- image motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开一种TDI-CCD的实时数字像移补偿***及其补偿方法。本发明提出的像移数字补偿方法充分利用了推扫速度和TDI-CCD电荷转移速度比值的先决条件,从积分方向像移产生的机理反演推导出像移补偿的IIR滤波器形式。结合IIR滤波器的硬件结构,采用流水线的方式实现了采集过程中数字像移补偿的实时***。考虑到硬件中数字像移补偿模块中包含加减运算,在计算过程中采用扩充位数的有符号数来防止数据溢出和提高运算精度。本***由TDI-CCD、光机***、探测器驱动采集板、USB接口设备和上位机像移补偿控制和采集软件组成,通过补偿前后的图像进行对比,证明本方法和***对积分方向的像移能够实现实时补偿。
Description
技术领域
本发明涉及一种相机像移数字补偿***及补偿方法,具体涉及一种TDI-CCD相机实时像移数字补偿***及补偿方法。
背景技术
TDI-CCD是目前微光场景下应用的核心探测器之一。与普通线列CCD相比,TDI-CCD利用时间延时积分技术,在扫描方向上排列级探测象元构成级TDI-CCD。在第一曝光积分周期内收集到的信号电荷并不直接输出,而是同垂直方向上的其它级信号电荷累加,从最后一级串行输出。累加后的N级相关信号输出幅度为单级的N倍,而各级噪声不相关叠加后为单级的倍,从而将信噪比提高到单级探测器的倍。
在叠加N级相关信号的过程中,当信号电荷在相邻电荷寄存器中的转移时间和相邻象元到达同一视场的时间不一致时,相互累加的信号就不是单级探测器信号的N倍,从而产生了积分方向上的像移。实际应用中,光学***的像差、振动、偏航等都会引起像移。而同一型号探测器信号电荷在相邻寄存器中的转移时间是固定值,推扫速度与之不匹配是造成TDI器件在积分方向产生像移的最主要因素。
针对TDI-CCD在积分方向上的像移,常用的补偿方式有光机补偿法、电子学补偿法以及图像补偿法。光机补偿法是从相机的姿态方面加以校正,对控制精度要求较高,需要在设计前期对相机的像移有较准确的预测;电子学补偿法对实时性要求较高,常用的自适应运动图像模糊算法没有充分利用已知条件,硬件实现比较困难;图像补偿法由于缺乏实时性,得不到广泛应用。
发明内容
本发明的目的在于提供一种TDI-CCD实时像移数字补偿***和补偿方法,在充分利用推扫速度和信号电荷转移速度比的先决条件下,在采集数据的过程中,由上位机经USB发送控制参数,来选择数字补偿***中IIR滤波器对获取的每列像元像素进行滤波,实时补偿TDI器件在积分方向的像移。
假定L级TDI-CCD固有的信号电荷在相邻电荷寄存器中的转移时间为单位时间量t,速度匹配情况下L*t时间后累加输出的信号电荷被采样为:y(n)=L*x(n),其中x(n)表示第n个像元产生的灰度值;y(n)表示L级积分后产生的灰度值;当推扫速度不匹配造成扫描方向上相邻两行探测器到达同一视场的时间为M*t(M为正整数,M≠L),累加后得到的像素灰度值为:
y′(n)=x(n)+x(n-M)+......+x(n-M*(L-1))
从而造成每行图像均产生像移。根据上述情况,从y′(n)中复原x(n)是像移补偿的关键。
本发明中像移补偿的技术方案为:对上式两边作Z变换,得到
x(n)=y′(n)-y′(n-ML)+x(n-M)
上述差分方程可用IIR无限冲击响应滤波器硬件实现。按照IIR滤波器的递归特性,得到像移补偿硬件的初步结构,见附图2。
本发明中保证像移补偿***实时性的技术方案为:在上述方案实施过程中,对第n-1个线列象元信号y′(n-1)进行像移补偿后再输入第n个象元的信号y′(n)。第n个象元的像移补偿用到了象元n之前时刻的值。为了保证整个像移补偿***的实时性,采用流水线的结构来实现,实现过程需要保证:
(1)给定x(n)的初始值,才能够保证流水线正常运行;
(2)在补偿第n个象元时需要用到之前时刻的中间值:前ML时刻产生像移的信号y′(n-ML)和前M时刻恢复像移后的信号x(n-M)。开辟((M*L+1)+M)*N比特的缓冲区(N为线列象元数),存放ML+1行的输入值和M行的输出值。当第n个象元的像移补偿完毕后对缓冲区第n个象元相关信息进行更新。
在实现补偿的过程中进行了定点数加减运算,FPGA处理起来可能出现溢出和有效字长效应问题。采用增加数据位数提高运算精度的方法,将8比特数据转换为如下形式:
上述形式在只有一次中间加减运算的过程中就能达到所需的精度。
本发明中实现上述像移补偿方案的步骤为:
S1、采集第一行数据x(n)作为IIR滤波器的初值,开辟((M*L+1)+M)*N比特缓冲区存放象元一定时刻之前的像素值,
S2、探测器输出数据串行输入补偿模块,将数据扩充为适于硬件计算的格式,
S3、将产生像移的第n个像素和它ML时刻之前的像移像素相减,得到的差值和此象元前M时刻补偿后的像素相加,得到第n个像素象元补偿像移后的数值,实现补偿方法中x(n)=y′(n)-y′(n-ML)+x(n-M),
S4、保存此象元像移补偿前后的值,更新缓冲区,
S5、对单个像素的补偿处理在下一相邻象元进入采集***之前完成,对线列产生的所有行信号作类似处理,从补偿模块输出的串行灰度数据直接作为图像灰度信息,直到整幅图像采集完毕。
在探测器驱动采集板的FPGA中固化速度比从1到30的上述方案下的像移补偿模块,在顶层模块中设置状态机,等待上位机传输的速度比参数,来选择此次采集选用哪个IIR滤波器组进行像移补偿。
本发明的有益效果在于:充分利用了TDI-CCD推扫速度和电荷转移速度比值的先决条件,从积分方向像移产生的机理反演推导出像移补偿的IIR滤波器形式。在采集***中集成了FPGA硬件实现的像移补偿模块,结合流水线的结构保证像移补偿在不影响相机采集的情况下实时处理,处理过程中采用计算数据扩充位数的方式解决了定点灰度值加减运算时可能存在的溢出和有限字长效应问题。
附图说明
图1是本发明中像移采集补偿控制***的结构示意图。
图2是本发明中TDI-CCD推扫的演示图。
图3是本发明中FPGA硬件实现的IIR滤波器结构图。
图4是本发明中上位机TDI-CCD像移补偿和采集控制软件界面。
图5A是实验中推扫速度和电荷转移速度比为8时不加补偿的图像;
图5B是实验中推扫速度和电荷转移速度比为8时像移补偿的图像。
具体实施方式
本发明中采用4096x 16级TDI-CCD进行实时采集和像移补偿实验。实验中用到:光机***的控制采用Zolix公司的控制台,带动TDI-CCD探测器和光学***推扫;数据采集和像移补偿的数字硬件流水线结构,采用Verilog HDL在Xilinx公司Spartan3XC3S1500系列FPGA硬件实现;上位机的TDI-CCD像移补偿和采集的控制软件由Visual C++6.0编写,通过Cypress公司的68013A接口芯片来分时发送控制参数和采集接收图像数据。
实验前平台搭建的准备如下:将TDI-CCD线列经过机械机构支撑垂直放置在转台上,转台转动的方向和相邻积分级间电荷转移的方向相反,通过上位机Zolix自带的控制软件设置转动速度;USB传输线连接PC机和采集板的B型USB口,安装上位机用到的USB2.0硬件驱动,下载Cypress68013A所需要的固件。
在上位机像移补偿和采集控制软件中选择采集图像的存储目录。实验选择推扫速度为M=6模式。设置相应的转台速度。由上位机的像移补偿和采集控制软件发送TDI级数选择参数和推扫速度参数经USB至探测器驱动采集板中的FPGA。FPGA根据TDI级数参数控制TDI-CCD探测器;FPGA的像移补偿控制状态机收到推扫速度参数后,选择与速度比对应的像移补偿模块进行流水线处理。参数发送后,在上位机控制软件选择“采集TDI-CCD图像”,开始数据采集。图像数据采集补偿后经USB上传至上位机,以位图格式存储于采集前设置的文件夹中。
为了对比像移补偿的效果,在推扫速度和电荷转移速度比为8的不匹配情况,采集补偿前后的图像。第一次上位机控制软件发送M=1,L=16参数,FPGA中像移补偿控制模块选择不补偿直接上传图像;第二次发送M=8,L=16参数,FPGA选择像移补偿模块后再次对同一视场成像。采集到的两幅图像如附图5A和附图5B所示。
Claims (3)
1.一种TDI-CCD像移实时补偿***,它包括TDI-CCD探测器驱动采集板、带有像移补偿控制和采集软件的上位机,其特征在于:
所述的TDI-CCD探测器驱动采集板中的FPGA固化速度比从1到30实现的像移补偿模块,构造状态机的方式等待上位机发送不同的速度比来选择;
所述的上位机中的TDI-CCD像移补偿控制和采集软件经由USB发送积分级数和推扫速度比参数,实时控制相机驱动采集板中探测器控制和像移补偿模块;
USB连接线连接探测器驱动采集板和上位机,负责两者的数据交换;***的TDI-CCD探测器驱动采集板将接收到的模拟信号放大后,进行A/D转换,转换后的数字信号格式编排后,传送至探测器驱动板中的像移补偿模块,补偿的参数由上位机中的像移补偿控制和采集软件控制,补偿后的数字信号经USB上传至上位机。
2.一种基于权利要求1所述***的TDI-CCD像移数字补偿方法,其特征在于包括以下步骤:
S1、在已知推扫速度和电荷转移速度的前提下,采用无限冲击响应滤波器的模式,设置IIR滤波器的初值,开辟缓冲区存放行像元固定时刻以前的像素值;
S2、探测器输出数据串行输入补偿模块,将数据扩充为适于硬件计算的格式;
S3、根据IIR滤波器的硬件结构,将输入像移后的数据和此时刻之前的像移数据、恢复像移后的数据进行硬件定点加减运算,得到像元当前时刻补偿像移后的数值;
S4、保存此像元像移补偿前后的值,更新缓冲区,存储并及时更新像元缓冲区的值,保证IIR滤波器可以以流水线的结构实现;
S5、输入相邻下一像元的像移灰度值,按S2、S3步骤恢复出像移图像。
3.根据权利要求2所述的一种基于权利要求1所述***的TDI-CCD像移数字补偿方法,其特征在于:所述步骤S3中的硬件定点加减法运算采用防止溢出和提高运算精度的扩充位数的有符号定点数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011100713147A CN102158651A (zh) | 2011-03-23 | 2011-03-23 | Tdi-ccd相机实时像移数字补偿***及补偿方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011100713147A CN102158651A (zh) | 2011-03-23 | 2011-03-23 | Tdi-ccd相机实时像移数字补偿***及补偿方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102158651A true CN102158651A (zh) | 2011-08-17 |
Family
ID=44439807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011100713147A Pending CN102158651A (zh) | 2011-03-23 | 2011-03-23 | Tdi-ccd相机实时像移数字补偿***及补偿方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102158651A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104486535A (zh) * | 2014-12-29 | 2015-04-01 | 中国科学院长春光学精密机械与物理研究所 | 帧转移型ccd航空相机扫描像移补偿方法 |
CN106959454A (zh) * | 2017-03-20 | 2017-07-18 | 上海航天控制技术研究所 | 一种基于数字域tdi及连续复线阵成像模式的颤振反演方法 |
CN107864347A (zh) * | 2017-10-27 | 2018-03-30 | 天津津航技术物理研究所 | 一种红外tdi探测器预处理电路噪声的统计方法 |
CN107888849A (zh) * | 2017-10-27 | 2018-04-06 | 天津津航技术物理研究所 | 一种线列tdi型红外探测器面阵成像模式的实现方法 |
CN114185365A (zh) * | 2021-10-22 | 2022-03-15 | 中国科学院长春光学精密机械与物理研究所 | 一种支持异速像移补偿功能的航空相机控制器 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999009582A1 (fr) * | 1997-08-19 | 1999-02-25 | Nikon Corporation | Dispositif et procede servant a observer un objet |
JP2000092398A (ja) * | 1998-09-02 | 2000-03-31 | Tokyo Seimitsu Co Ltd | イメージセンサ |
US6782334B1 (en) * | 2003-04-01 | 2004-08-24 | Lockheed Martin Corporation | Method and system for calibration of time delay integration imaging devices |
CN101854489A (zh) * | 2010-04-12 | 2010-10-06 | 中国科学院长春光学精密机械与物理研究所 | 实现面阵cmos图像传感器时间延迟积分的装置 |
CN101860657A (zh) * | 2010-05-14 | 2010-10-13 | 中国科学院上海技术物理研究所 | 大视场可见红外双通道相机实时图像采集方法及*** |
-
2011
- 2011-03-23 CN CN2011100713147A patent/CN102158651A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999009582A1 (fr) * | 1997-08-19 | 1999-02-25 | Nikon Corporation | Dispositif et procede servant a observer un objet |
JP2000092398A (ja) * | 1998-09-02 | 2000-03-31 | Tokyo Seimitsu Co Ltd | イメージセンサ |
US6782334B1 (en) * | 2003-04-01 | 2004-08-24 | Lockheed Martin Corporation | Method and system for calibration of time delay integration imaging devices |
CN101854489A (zh) * | 2010-04-12 | 2010-10-06 | 中国科学院长春光学精密机械与物理研究所 | 实现面阵cmos图像传感器时间延迟积分的装置 |
CN101860657A (zh) * | 2010-05-14 | 2010-10-13 | 中国科学院上海技术物理研究所 | 大视场可见红外双通道相机实时图像采集方法及*** |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104486535A (zh) * | 2014-12-29 | 2015-04-01 | 中国科学院长春光学精密机械与物理研究所 | 帧转移型ccd航空相机扫描像移补偿方法 |
CN104486535B (zh) * | 2014-12-29 | 2017-07-14 | 中国科学院长春光学精密机械与物理研究所 | 帧转移型ccd航空相机扫描像移补偿方法 |
CN106959454A (zh) * | 2017-03-20 | 2017-07-18 | 上海航天控制技术研究所 | 一种基于数字域tdi及连续复线阵成像模式的颤振反演方法 |
CN106959454B (zh) * | 2017-03-20 | 2019-06-04 | 上海航天控制技术研究所 | 一种基于数字域tdi及连续复线阵成像模式的颤振反演方法 |
CN107864347A (zh) * | 2017-10-27 | 2018-03-30 | 天津津航技术物理研究所 | 一种红外tdi探测器预处理电路噪声的统计方法 |
CN107888849A (zh) * | 2017-10-27 | 2018-04-06 | 天津津航技术物理研究所 | 一种线列tdi型红外探测器面阵成像模式的实现方法 |
CN107888849B (zh) * | 2017-10-27 | 2020-07-28 | 天津津航技术物理研究所 | 一种线列tdi型红外探测器面阵成像模式的实现方法 |
CN114185365A (zh) * | 2021-10-22 | 2022-03-15 | 中国科学院长春光学精密机械与物理研究所 | 一种支持异速像移补偿功能的航空相机控制器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102158651A (zh) | Tdi-ccd相机实时像移数字补偿***及补偿方法 | |
CN103002232B (zh) | 成像装置 | |
CN101309361B (zh) | 固态图像捕获设备和电子信息装置 | |
CN101543060A (zh) | 摄像设备、摄像电路和图像处理电路 | |
CN108600658B (zh) | 用于对地观测帧转移面阵ccd像移匹配的曝光时间调节方法 | |
CN102956027A (zh) | 基于摄像头图像处理芯片的图像增强处理***及处理方法 | |
US10972694B2 (en) | Imaging apparatus, imaging system, and control method of imaging apparatus | |
TW200541321A (en) | Methods and devices for obtaining sampling clocks | |
CN109862281B (zh) | 全局快门方式下曝光时间可调的Camera Link成像*** | |
CN103115631A (zh) | 遥感相机成像参数误差校正***及方法 | |
CN108449528B (zh) | 像移补偿电路、航空异速像移恢复装置及方法 | |
CN105721772A (zh) | 一种异步时域视觉信息成像方法 | |
CN102608579B (zh) | 一种sar数据接收处理***及方法 | |
CN106130507B (zh) | 高速并行位同步滤波器时变系数更新环路 | |
CN108965736A (zh) | 一种亚像素级超分辨成像方法、装置、设备、***及介质 | |
CN106657832A (zh) | 高帧频科学级ccd成像***及方法 | |
JPH09504911A (ja) | 画像を変換する方法およびデバイス | |
CN102905087A (zh) | 固态成像装置和模数转换输出位计数控制方法 | |
CN101634555B (zh) | 一种面阵ccd相机像移补偿方法 | |
CN114966691B (zh) | 卫星sar数据记录快视与应用*** | |
RU111280U1 (ru) | Устройство определения координат звезд | |
EP0355158B1 (en) | Method and apparatus for processing sampled data signals | |
CN114363517A (zh) | 一种嵌入式微扫描超分辨实时处理***及方法 | |
CN113892126A (zh) | 一种基于fpga架构的实时景深合成算法和*** | |
CN112616031A (zh) | 基于脉冲阵列图像传感器的高速目标追踪方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110817 |