CN114820317B - 一种像素偏移的超分辨时间延迟积分成像方法 - Google Patents

一种像素偏移的超分辨时间延迟积分成像方法 Download PDF

Info

Publication number
CN114820317B
CN114820317B CN202210460299.3A CN202210460299A CN114820317B CN 114820317 B CN114820317 B CN 114820317B CN 202210460299 A CN202210460299 A CN 202210460299A CN 114820317 B CN114820317 B CN 114820317B
Authority
CN
China
Prior art keywords
super
resolution
pixel
imaging
image shift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210460299.3A
Other languages
English (en)
Other versions
CN114820317A (zh
Inventor
贺小军
戴路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chang Guang Satellite Technology Co Ltd
Original Assignee
Chang Guang Satellite Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chang Guang Satellite Technology Co Ltd filed Critical Chang Guang Satellite Technology Co Ltd
Priority to CN202210460299.3A priority Critical patent/CN114820317B/zh
Publication of CN114820317A publication Critical patent/CN114820317A/zh
Application granted granted Critical
Publication of CN114820317B publication Critical patent/CN114820317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种像素偏移的超分辨时间延迟积分成像方法，涉及航天光学遥感成像领域，为解决现有像素偏移的超分辨成像技术存在只能进行面阵成像，无法实现TDI推扫成像，以及存在处理过程复杂，不利于灵活高效应用，同时降低沿轨和垂轨的MTF，使得超分辨效果不能达到预期等问题，本方法提出像移速度大小及方向的微失配引入列间与行间像素偏移的超分辨TDI推扫成像方法，使得推扫成像***获取的来自四个离散开窗获取的同一地物区域影像，在物方具有亚像素级的偏移，可确保每一个开窗的成像质量不产生明显下降，满足超分辨重建条件的前提下，还可实现数字域TDI等成像模式，适应高分辨成像需求，实现灵活高效的超分辨成像。

Description

一种像素偏移的超分辨时间延迟积分成像方法
技术领域
本发明涉及航天光学遥感成像领域，具体涉及一种像素偏移的超分辨时间延迟积分成像方法。本发明适用TDI推扫成像或者工业TDI推扫成像领域的时间延迟积分(TDI)成像，突破光学***的分辨率限制，通过像素偏移及超分辨重建获取更高分辨率图像。本发明可用于空间光学遥感或工业领域的显示器面板检测等领域，实现轻小型相机的超分辨成像。
背景技术
在工业领域，DALSA公司推出的Linea HS 32K TDI采用了两个像素偏移的TDI阵列，同时采集两幅图像，实现超分辨重建，该技术完全依赖传感器本身的架构，且因只有列间像素偏移，无法真正实现行列两个方向的超分辨成像，应用效果受限。
在航天光学遥感领域，美国HERA SYSTEM商业卫星公司2019年申请关于像素偏移的超分辨成像专利(Image Stabilization and pixel shifting for a nanosatelliteimage system，专利号US010338376B2)，通过光学分光并采用两片5120×5120像元的图像传感器分别采集两组图像，该方法均依赖高精度微位移机构，实现两片传感器亚像元级的像素偏移，且只能进行面阵成像，无法实现TDI推扫成像。
首都师范大学2016年申请了关于像素偏移的超分辨成像专利(一种获取亚像素位移序列图像的方法及***，公开号：CN106791405B)，采用了倾斜模态采样模式，像移速度矢量和传感器行方向呈一定夹角来产生亚像元偏移(2倍超分辨对应45°，3倍超分辨对应26.5°，4倍超分辨对应18.4°)，使用同一开窗超采样方式，开窗大小、放置夹角以及数字域积分处理算法均与超分辨倍数耦合，处理过程过于复杂，不利于灵活高效应用，且传感器的大角度倾斜应用会使得采样窗口由正方形蜕化为菱形，降低沿轨和垂轨的MTF，使得超分辨效果不能达到预期。
发明内容
本发明为解决现有像素偏移的超分辨成像技术存在只能进行面阵成像，无法实现TDI推扫成像，以及存在处理过程复杂，不利于灵活高效应用，同时降低沿轨和垂轨的MTF，使得超分辨效果不能达到预期等问题，提供一种像素偏移的超分辨时间延迟积分成像方法。
一种像素偏移的超分辨时间延迟积分成像方法，该方法由以下步骤实现：
步骤一、根据设定的超分辨比率β、积分级数M、像元尺寸d,行转移时间TL、MTF蜕化容限η、像移速度υf和像移速度稳定度ψ，计算偏流失配角Δθ、像移失配率Δυ、像素偏移开窗数量N及开窗间距L0；
所述像素偏移开窗数量N≥β2；
根据沿轨MTF容限约束方程，约束像移失配率Δυ的最大值；用下式表示为：
Figure BDA0003621776950000021
根据像移失配率Δυ，计算对应的开窗间隔L0，用下式表示为：
Figure BDA0003621776950000022
根据垂轨MTF容限约束方程，约束偏流失配角Δθ的最大值；用下式表示为：
Figure BDA0003621776950000023
根据偏流角失配角Δθ计算得到对应的开窗间隔；
Figure BDA0003621776950000024
根据像移失配率计算行转移时间；采用下式表示为：
Figure BDA0003621776950000025
采用像移稳定性约束方程，表征平台稳定性对开窗间隔的约束；采用下式表示为：
Figure BDA0003621776950000026
式中GSD为卫星像元分辨率，H为轨道高度。
步骤二、根据步骤一计算所得成像参数进行像素偏移采样与超分辨重构；
根据约束的像素错位规律，四个开窗区域采集获得图像帧P1～P4，其超分辨像素重构如下述方程组：
Figure BDA0003621776950000031
以上方程存在多解，可采用维纳滤波、卡尔曼滤波等现有最优估计方法，实现超分辨重构最优解求取；获得超分辨重构图像P。
本发明的有益效果：本发明所述的成像方法是在单片高速CMOS图像传感器上，利用航天遥感TDI推扫成像及工业TDI推扫成像中像移速度稳定的基本特点，采用偏流微失配方式产生列间像素偏移，采用像移微失配方式(现有方法是采用大的偏流与像移失配来实现的，如引用标准所述，其超分效果及成像模式灵活性受限明显)产生行间像素偏移，从而在不附加任何硬件装置的情况下，实现灵活高效的超分辨成像。
本发明方法提出像移速度大小及方向的微失配引入列间与行间像素偏移的超分辨TDI推扫成像方法，使得推扫成像***获取的来自四个离散开窗获取的同一地物区域影像，在物方具有亚像素级的偏移，可确保每一个开窗的成像质量不产生明显下降，满足超分辨重建条件的前提下，还可实现数字域TDI等成像模式，适应高分辨成像需求。
附图说明
图1为本发明所述的一种像素偏移的超分辨时间延迟积分成像方法中行向及列向像素偏移产生机制示意图；
图2为超分辨多开窗示意图；
图3为超分辨像素对应关系图。
具体实施方式
结合图1至图3说明本实施方式，一种像素偏移的超分辨时间延迟积分成像方法，提出了超分辨成像几个关键参数的求取方法：偏流失配角Δθ：像移方向与传感器列方向(即数字域TDI积分方向)的夹角，偏流失配角过大，会影响TDI积分图像的MTF，偏流失配角过小，会使得开窗间距L0增大，对像移速度稳定性要求变高，不利于工程应用。
像移失配率Δυ：像移速度在数字域TDI积分方向上的分量与数字域TDI积分过程的电荷转移速度之间的相对误差率，像移失配率过大，会影响TDI积分图像的MTF，像移失配率过小，会使得开窗间距增大，对像移速度稳定性要求变高，不利于工程应用；
像素偏移开窗数量N及开窗间距L0：根据超分辨比率β确定开窗个数以及各开窗的间距行数，使其刚好满足像素偏移量。
***输入参数：超分辨比率β、积分级数M、像元尺寸d,行转移时间TL、MTF蜕化容限η、像移速度υf、像移速度稳定度ψ，有如下方程组：方程(1-1)是信息量守恒方程，只有获取的信息量以不小于超分辨比率的平方倍增加，才能保证超分辨后图像质量；方程(1-2)是沿轨MTF容限约束方程，给定的MTF容限会约束像移失配率的最大值；方程(1-3)是开窗间隔计算方程，根据像移失配率可以计算得到对应的开窗间隔；方程(1-4)是垂轨MTF容限约束方程，给定的MTF容限会约束偏流角失配角的最大值；方程(1-5)是开窗间隔计算方程，根据偏流角失配角可以计算得到对应的开窗间隔；方程(1-6)是像移失配率定义方程，可根据像移失配率计算行转移时间参数；方程(1-7)是像移稳定性约束方程，用于表征平台稳定性对开窗间隔的约束。
Figure BDA0003621776950000051
像素偏移采样与超分辨重构：根据四个开窗采集的像素错位规律获得图像帧P1～P4，其物方像素重叠规律如公式(2)所示，超分辨重构过程是对该方程组的求解过程，由于该方程组存在迭代关系，无法直接获得解析解，可采用最优估计方法，获得超分辨重构图像P。
Figure BDA0003621776950000052
本实施方式中，以某型支持多开窗的高速面阵CMOS空间光学相机为例，其原始分辨率为2米，通过超分辨成像实现1米分辨率，卫星平台稳定度为0.0001°/s，MTF蜕化容限为0.97，则可计算得到像移失配率容限0.00124，偏流失配角容限为0.0071°，计算得到开窗间距L0应不小于202行；
根据平台稳定度指标，各开窗成像时差范围内，平台稳定度引入的偏差应不超过开窗间像素偏移量的1/3，以保证超分辨处理精度，获得该开窗间距L0应不大于228行，所以工程实践中开窗间隔L0可以取202与228之间的任意整数作为L0的设计值，假设取220作为L0设计值，计算出偏离失配角为0.0651°和像移失配率为0.001136，作为相机工作参数设置依据。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (2)

1.一种像素偏移的超分辨时间延迟积分成像方法，其特征是：该方法由以下步骤实现：
步骤一、根据设定的超分辨比率β、积分级数M、像元尺寸d,行转移时间TL、MTF蜕化容限η、像移速度υf和像移速度稳定度ψ，计算成像参数，包括偏流失配角Δθ、像移失配率Δυ、像素偏移开窗数量N、开窗间距L0及L1；
所述像素偏移开窗数量N≥β2；
根据沿轨MTF容限约束方程，约束像移失配率Δυ的最大值；用下式表示为：
Figure FDA0004130666880000011
根据像移失配率Δυ，计算对应的开窗间隔L0，用下式表示为：
Figure FDA0004130666880000012
根据垂轨MTF容限约束方程，约束偏流失配角Δθ的最大值；用下式表示为：
Figure FDA0004130666880000013
根据偏流角失配角Δθ计算得到对应的开窗间隔；
Figure FDA0004130666880000014
根据所述行转移时间TL计算像移失配率；采用下式表示为：
Figure FDA0004130666880000015
采用像移稳定性约束方程，表征平台稳定性对开窗间隔的约束；采用下式表示为：
Figure FDA0004130666880000016
式中GSD为卫星像元分辨率，H为轨道高度；
步骤二、根据步骤一计算所得的失配角Δθ、像移失配率Δυ、像素偏移开窗数量N及开窗间距L0进行像素偏移采样与超分辨重构；
根据约束的像素错位规律，对四个开窗区域采集获得图像帧P1～P4，其超分辨像素重构如下述方程组：
Figure FDA0004130666880000021
采用最优估计方法对方程组求解，实现超分辨重构最优解求取；获得超分辨重构图像P。
2.根据权利要求1所述的一种像素偏移的超分辨时间延迟积分成像方法，其特征在于：步骤二中的最优估计方法包括维纳滤波或卡尔曼滤波方法。
CN202210460299.3A 2022-04-28 2022-04-28 一种像素偏移的超分辨时间延迟积分成像方法 Active CN114820317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210460299.3A CN114820317B (zh) 2022-04-28 2022-04-28 一种像素偏移的超分辨时间延迟积分成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210460299.3A CN114820317B (zh) 2022-04-28 2022-04-28 一种像素偏移的超分辨时间延迟积分成像方法

Publications (2)

Publication Number Publication Date
CN114820317A CN114820317A (zh) 2022-07-29
CN114820317B true CN114820317B (zh) 2023-04-21

Family

ID=82509857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210460299.3A Active CN114820317B (zh) 2022-04-28 2022-04-28 一种像素偏移的超分辨时间延迟积分成像方法

Country Status (1)

Country Link
CN (1) CN114820317B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104122549A (zh) * 2014-07-21 2014-10-29 电子科技大学 基于反卷积的雷达角超分辨成像方法
CN109348126A (zh) * 2018-11-07 2019-02-15 中国科学院光电研究院 一种用于空间相机的面阵数字tdi连续推扫成像方法
CN114201489A (zh) * 2021-11-30 2022-03-18 深圳市魔方卫星科技有限公司 一种快速并行的在轨像移匹配方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101562698B (zh) * 2009-04-07 2011-02-23 中国科学院长春光学精密机械与物理研究所 空间相机偏流角间歇式实时调整方法
DE102014112648A1 (de) * 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
CN107888836B (zh) * 2017-12-05 2020-09-29 中国科学院长春光学精密机械与物理研究所 一种基于辅助焦面的推扫式遥感相机调焦方法
KR102619516B1 (ko) * 2019-03-25 2023-12-28 텔레다인 디지털 이미징, 아이엔씨. 초해상도 이미지를 생성하기 위한 방법 및 관련 디바이스
CN112498746B (zh) * 2020-11-16 2022-06-28 长光卫星技术股份有限公司 一种自主规划卫星沿经线推扫时间及姿态的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104122549A (zh) * 2014-07-21 2014-10-29 电子科技大学 基于反卷积的雷达角超分辨成像方法
CN109348126A (zh) * 2018-11-07 2019-02-15 中国科学院光电研究院 一种用于空间相机的面阵数字tdi连续推扫成像方法
CN114201489A (zh) * 2021-11-30 2022-03-18 深圳市魔方卫星科技有限公司 一种快速并行的在轨像移匹配方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姚烨 ; 乔彦峰 ; 钟兴 ; 于树海 ; 戴路 ; 白杨.凝视成像降质模型的超分辨率重建.光学学报.2017,全文. *

Also Published As

Publication number Publication date
CN114820317A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN103148870A (zh) 基于高精度配准控制点的卫星ccd阵列影像几何检校方法
CN114820317B (zh) 一种像素偏移的超分辨时间延迟积分成像方法
Wang et al. A fine image motion compensation method for the panoramic TDI CCD camera in remote sensing applications
CN105929400A (zh) 基于精确测量的恒定prf下变航速机载sar数据补偿方法
CN102607815B (zh) 基于点目标像拼合的光学***横向放大率测量方法与装置
CN103248838A (zh) 基于数字域tdi算法的cmos相机图像调偏流方法
Tao et al. Realize the image motion self-registration based on TDI in digital domain
CN113920046B (zh) 一种多分片卫星影像拼接和几何模型构建方法
CN102620914B (zh) 采用线光源的光学***横向放大率测量方法
US20150304653A1 (en) Mapping electrical crosstalk in pixelated sensor arrays
CN114862723A (zh) 一种基于测量密集星场的天文望远镜像场畸变标定方法
Pál et al. A Hexapod Design for All-sky Sidereal Tracking
Surdej et al. The 4m international liquid mirror telescope (ILMT)
CN106568437A (zh) 静止卫星成像导航与配准恒星南北参数提取方法及***
CN108519161B (zh) 一种红外焦平面非均匀性校正方法
CN114170192A (zh) 星载光学相机焦面震颤精细检测方法
Zhang et al. Theoretic studies of full constraints on a star tracker's influential error sources for in-orbit calibration
CN109870155B (zh) 太阳直射光/行星反射光到达时间差分估测方法
LoPresto et al. The center-to-limb wavelength shift of a number of Fraunhofer lines
CN102607817B (zh) 利用线光源的光学***横向放大率测量方法
CN115164938B (zh) 一种线阵摆扫式光学遥感卫星在轨几何定标方法
Sohn et al. A New Technique for Measuring Absolute Proper Motions with HST: Using Background Galaxies as Positional References
CN114279463B (zh) 一种基于单帧星图角速度估计的卷帘畸变校正方法
Sheng et al. Research on geometric calibration of spaceborne linear array whiskbroom camera
CN106441591A (zh) 一种星载高分辨率热红外影像几何定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Super Resolution Time Delay Integration Imaging Method with Pixel Shift

Granted publication date: 20230421

Pledgee: Changchun Rural Commercial Bank Co.,Ltd. Exhibition Center sub branch

Pledgor: Changguang Satellite Technology Co.,Ltd.

Registration number: Y2024220000024

PE01 Entry into force of the registration of the contract for pledge of patent right