CN107194874A - 基于偏置稳像的超分辨成像***及方法 - Google Patents

基于偏置稳像的超分辨成像***及方法 Download PDF

Info

Publication number
CN107194874A
CN107194874A CN201710383337.9A CN201710383337A CN107194874A CN 107194874 A CN107194874 A CN 107194874A CN 201710383337 A CN201710383337 A CN 201710383337A CN 107194874 A CN107194874 A CN 107194874A
Authority
CN
China
Prior art keywords
image
super
resolution
resolution imaging
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710383337.9A
Other languages
English (en)
Other versions
CN107194874B (zh
Inventor
郑珍珍
董磊
胡海鹰
朱永生
王威
盛蕾
陈起行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhongkechen New Satellite Technology Co ltd
Original Assignee
Shanghai Engineering Center for Microsatellites
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Engineering Center for Microsatellites filed Critical Shanghai Engineering Center for Microsatellites
Priority to CN202010960660.XA priority Critical patent/CN112017122B/zh
Priority to CN201710383337.9A priority patent/CN107194874B/zh
Publication of CN107194874A publication Critical patent/CN107194874A/zh
Application granted granted Critical
Publication of CN107194874B publication Critical patent/CN107194874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于偏置稳像的超分辨成像***及方法,本发明公开的基于偏置稳像的超分辨成像***包括:***成像组镜、分光镜、高帧频探测器、高分辨成像探测器及数据处理器;平行光经***成像组镜汇聚后在分光镜表面分成两路,一路由高帧频探测器成像;数据处理器根据图像数据计算位移补偿值;驱动装置驱动高分辨成像探测器成像像面移动所述位移补偿值。

Description

基于偏置稳像的超分辨成像***及方法
技术领域
本发明涉及天基成像领域,特别涉及基于偏置稳像的超分辨成像***及方法。
背景技术
随着对地成像分辨率越来越高的需求,除在光学***设计上进行技术开发外,考虑采取超分辨成像技术,从***设计上,进一步提升卫星整体的对地成像分辨率。
超分辨率重建技术利用低分辨率图像(LR)序列之间的冗余性、相似性及一些先验知识进行数据融合从而重建出一个具有更高空间分辨率的图像(HR),同时去除图像噪声、模糊等。基于重建的方法是指按照图象退化模型,利用一定的数学理论对退化图象进行反退化,得到超分辨重建图象,如频域解混叠超分辨重建方法、基于集合理论的超分辨重建方法、基于概率统计理论的超分辨重建方法等。
自1984年Tsai和Huang首次提出了利用具有亚像素位移的多帧LR图像进行HR重建的频域解混叠方法,国内外众多学者对超分辨率重建方法进行了研究并取得***的成果。所有这些方法都是希望能从一系列同一场景多帧欠采样低分辨率视觉影像来获得更高分辨率的图像,采用无噪声、无退化、大小和辐射亮度完全相同的重采样成像模型,并用相应频谱混叠公式给出了一个解混叠方法。在此基础上,研究了混入噪声和图像有模糊退化情形下的模型,并给出了加权迭代和正则化迭代两种解混叠方法。这些方法利用的是图像之间的相对位移量和不同的点扩展函数所提供的信息,而并没有利用图像分辨率差异所能提供的信息。所以进一步发展中,人们在统计先验知识的使用上也采用了新的方法,如使用了基于高斯平滑先验知识的MAP估计器来增强卫星遥感图像。
目前,将数字超分辨率成像技术应用于星载平台的典型***主要有SPOT卫星和SkySat卫星,其中,SPOT卫星主要采用了亚像元采样方式提升分辨率,而SkySat卫星主要采用光学-数字处理联合设计技术以及亚像元偏移多帧曝光采样方式提升分辨率。我国目前卫星的超分辨成像技术未见有报道。
发明内容
本发明解决的问题是现有稳像成像***结构复杂,不利于使用,且成像分辨率低;为解决所述问题,本发明提供基于偏置稳像的超分辨成像***及方法。
本发明提供的基于偏置稳像的超分辨成像***包括:***成像组镜、分光镜、高帧频探测器、高分辨成像探测器及数据处理器;平行光经***成像组镜汇聚后在分光镜表面分成两路,一路由高帧频探测器成像;数据处理器根据图像数据计算位移补偿值;驱动装置驱动高分辨成像探测器成像像面移动所述位移补偿值。
本发明提供的基于偏置稳像的超分辨成像方法,包括:
步骤一、高帧频探测器成像,数据处理器根据图像数据计算探测位移数据,形成位移补偿值;
步骤二、驱动装置驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值;
步骤三、高分辨成像探测器获取当前帧,并存入缓存,并判断缓存内图像数是否达到预设量,如果达到则对缓存内图像做超分辨处理;如果没有达到则进入步骤四;
步骤四、驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值与固定偏置之和;高分辨成像探测器再次获取当前帧图像;
步骤五、再次判断缓存内图像数是否达到预设量,达到则对缓存内图像做分辨处理;没达到则回到步骤四。
进一步,所述分辨处理包括:
步骤5.1、对缓冲内图像进行图像配准,形成低分序列图像;
步骤5.2、对所述低分序列图像进行超分辨重建。
进一步,所述步骤5.1包括:以缓冲内图像序列中的任意一帧为原参考图像,其他帧为待配准图像;建立数字金字塔对数据进行降采样处理,得到新的图像序列;对新的图像序列依次进行特征提取、特征匹配、相似性计算、几何校正,完成待配准图像的配准,形成低分序列图像。
进一步,所述步骤5.2包括:采用MAP、贝叶斯超分辨重构算法对低分序列图像进行处理,并判断是否达到收敛条件;如果达到则进行去模糊去噪声处理,得到高分图像;如果没有达到收敛条件,则重复步骤5.1和步骤5.2,或者只重复步骤5.2,直至达到收敛条件。
进一步,所述固定偏置为0.5像元偏置。
本发明的优点包括:
本发明所提供的基于偏置稳像的超分辨成像***及方法综合考虑***相机本身的特性及超分辨方法的约束,在稳像中采用亚像素的固定偏置,使得***获取序列图像的过程中,实现亚像元采样,获取一个稳定的亚像元变化,并能有效地降低卫星姿态变化导致的运动模糊,从而为下一步超分辨图像重构提供优质的图像。
本发明充分利用稳像装置,加入固定亚像元偏置量,获取了错位采样图像,通过后期的图像处理技术对图像进行超分辨处理,提高了图像分辨,并节约了***资源。
附图说明
图1是本发明实施例提供的基于偏置稳像的超分辨成像***的结构示意图;
图2是本发明实施例提供的基于偏置稳像的超分辨成像方法的图像配准流程示意图;
图3是本发明实施例提供的基于偏置稳像的超分辨成像方法的流程示意图。
具体实施方式
下文中,结合附图和实施例对本发明的精神和实质做进一步阐述。
如图1所示,本发明实施例提供的基于偏置稳像的超分辨成像***包括:***成像组镜01、分光镜02、高帧频探测器03、高分辨成像探测器04及数据处理器;平行光经***成像组镜01汇聚后在分光镜02表面分成两路,一路由高帧频探测器03成像;数据处理器根据图像数据计算位移补偿值;驱动装置驱动高分辨成像探测器04的探测面移动所述位移补偿值。
所述驱动装置可以采用压电陶瓷,在移动过程中,可以配合曝光时间加入0.5像元偏置,获取亚采样图像。
本发明实施例提供的基于偏置稳像的超分辨成像方法,包括:
步骤一、地面发出稳像偏置超分成像的指令,星上缓存清零;高帧频探测器成像,数据处理器获取图像计算探测位移数据,计算探测位移数据指的是数据处理器根据所成图像计算成像***位置偏移量,该技术已为本领域技术人员所公知,在此不再详述。
步骤二、星上数据处理器根据当前位移数据形成位移补偿值,并反馈至高分辨成像探测器,通过压电电机驱动高分辨成像像面移动;所述位移补偿数据用于弥补用于成像***位置偏移引起的光学模糊和运动模糊;计算位移补偿数据的方法已为本领域技术人员所熟知,在此不再详述。
步骤三、高分辨探测器获取当前帧图像f1并存入缓存;对缓存内图像数目进行判断,如果图像数小于预设量,星上数据处理器将位移量加入固定偏置,由压电电机驱动高分辨成像像面移动;
所述固定偏置为经验值,用于进一步弥补运动模糊,本实施例中为0.5像元,在其他实施例中由本领域技术人员根据实际情况进行选择,也可以选择0;所述预设量本实施例中取4,在其他实施例中由本领域技术人员根据实际情况进行选择。
步骤四、高分辨成像探测器再次获取当前帧图像f2;再对缓存内图像数目进行判断,如果图像数小于预设量,回到步骤二;
步骤五、当图像数目等于预设量时,星上处理器对缓存内图像进行超分辨处理,获得高清的超分辨图像,将图像存储至相机的存储设备内,将缓存内的图像清空;
步骤六、若不发送任务中止指令,返回步骤二重新进行成像及超分辨过程。
所述超分辨处理包括:
步骤5.1、对缓冲内图像进行图像配准,形成低分序列图像;
图像配准指对同一区域的两幅或多幅图像进行最佳匹配的处理过程。图像配准是解决本***图像超分辨的必要前提。基于星载相机的特性及星载遥感图像数据处理的要求,图像配准方案需具备处理速度快、配准精度高、算法鲁棒性强的特点。
如图2所示,图像配准包括:原始影像序列经由图像金字塔处理后再依次进行特征提取、特征匹配、相似性计算等操作,映射回原图像位置后进行几何校正,得到配准图像。其中图像金字塔、积分图像、BOX滤波等处理大大改进了传统方法处理速度慢的缺点,并保证了配准精度。
特征提取指从图像中提取出用来匹配的信息,本实施例中,采用积分图像和不断增大的盒子滤波模板求取响应图像,能够快速找到感兴趣点(即图像中较亮或较暗的位置),作为用于特征匹配的图像特征。从待配准图像中提取特征之后,依据图像特征点的描述子进行特征匹配,并和特征点关联,再释放积分图像,亦可增加迭代模块,进一步检查全局匹配一致性,消除不匹配特征对。相似性计算用于估计图像之间相似程度的指标,以判断所提取的特征点是否能够匹配。几何校正指根据待配准图像与参考图像之间的几何畸变选择能拟合两幅图像之间变化的最佳几何变换模型,并根据优化策略求取两图像之间最佳变换参数,进而通过坐标变换与插值对待配准图像进行处理,得到校正后的图像,所述图像为低分辨序列图像。本领域技术人员可以根据所述描述实现图像配准,在此不再详述。
步骤5.2、对所述低分序列图像进行超分辨重建,对图像进行基于重构的超分辨重建,利用该过程优化成像***退化模型,使其更加符合成像实际情况。超分辨重建包括:依次利用MAP、贝叶斯超分辨重建算法对将图像配准获取的低分辨序列图像进行恢复重建。配准和重建这两个步骤独立或者联合反复迭代进行,直到收敛条件成立。然后通过图像去噪声和去模糊的后期处理得到重建后的高分辨图像。MAP、贝叶斯超分辨重建算法已为本领域技术人员所熟知,在此不再详述。
本发明所提供的方法已经用于型号,所成图像分辨率提高。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (6)

1.一种基于偏置稳像的超分辨成像***,其特征在于,包括:***成像组镜、分光镜、高帧频探测器、高分辨成像探测器及数据处理器;平行光经***成像组镜汇聚后在分光镜表面分成两路,一路由高帧频探测器成像;数据处理器根据图像数据计算位移补偿值;驱动装置驱动高分辨成像探测器成像像面移动所述位移补偿值。
2.采用权利要求1所提供的基于偏置稳像的超分辨成像***的超分辨成像方法,其特征在于,包括:
步骤一、高帧频探测器成像,数据处理器根据图像数据计算探测位移数据,形成位移补偿值;
步骤二、驱动装置驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值;
步骤三、高分辨成像探测器获取当前帧,并存入缓存,并判断缓存内图像数是否达到预设量,如果达到则对缓存内图像做超分辨处理;如果没有达到则进入步骤四;
步骤四、驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值与固定偏置之和;高分辨成像探测器再次获取当前帧图像;
步骤五、再次判断缓存内图像数是否达到预设量,达到则对缓存内图像做分辨处理;没达到则回到步骤四。
3.依据权利要求2的超分辨成像方法,其特征在于,所述分辨处理包括:
步骤5.1、对缓冲内图像进行图像配准,形成低分序列图像;
步骤5.2、对所述低分序列图像进行超分辨重建。
4.依据权利要求3的超分辨成像方法,其特征在于,所述步骤5.1包括:以缓冲内图像序列中的任意一帧为原参考图像,其他帧为待配准图像;建立数字金字塔对数据进行降采样处理,得到新的图像序列;对新的图像序列依次进行特征提取、特征匹配、相似性计算、几何校正,完成待配准图像的配准,形成低分序列图像。
5.依据权利要求3的超分辨成像方法,其特征在于,所述步骤5.2包括:采用MAP、贝叶斯超分辨重构算法对低分序列图像进行处理,并判断是否达到收敛条件;如果达到则进行去模糊去噪声处理,得到高分图像;如果没有达到收敛条件,则重复步骤5.1和步骤5.2,或者只重复步骤5.2,直至达到收敛条件。
6.依据权利要求3的超分辨成像方法,其特征在于,所述固定偏置为0.5像元偏置。
CN201710383337.9A 2017-05-26 2017-05-26 基于偏置稳像的超分辨成像***及方法 Active CN107194874B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010960660.XA CN112017122B (zh) 2017-05-26 2017-05-26 超分辨成像方法
CN201710383337.9A CN107194874B (zh) 2017-05-26 2017-05-26 基于偏置稳像的超分辨成像***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710383337.9A CN107194874B (zh) 2017-05-26 2017-05-26 基于偏置稳像的超分辨成像***及方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010960660.XA Division CN112017122B (zh) 2017-05-26 2017-05-26 超分辨成像方法

Publications (2)

Publication Number Publication Date
CN107194874A true CN107194874A (zh) 2017-09-22
CN107194874B CN107194874B (zh) 2020-10-02

Family

ID=59874948

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010960660.XA Active CN112017122B (zh) 2017-05-26 2017-05-26 超分辨成像方法
CN201710383337.9A Active CN107194874B (zh) 2017-05-26 2017-05-26 基于偏置稳像的超分辨成像***及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010960660.XA Active CN112017122B (zh) 2017-05-26 2017-05-26 超分辨成像方法

Country Status (1)

Country Link
CN (2) CN112017122B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090869A (zh) * 2017-11-27 2018-05-29 中国空间技术研究院 一种基于面阵cmos光学相机的星上超分辨率重建方法
CN108897003A (zh) * 2018-05-03 2018-11-27 北京理工大学 一种双模控制的相控阵激光雷达***及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394309A (zh) * 2014-12-16 2015-03-04 中国科学院国家天文台 一种图像稳定的超分辨率成像***及方法
CN104410789A (zh) * 2014-12-08 2015-03-11 西安电子科技大学 凝视型超分辨率成像装置及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602997B2 (en) * 2005-01-19 2009-10-13 The United States Of America As Represented By The Secretary Of The Army Method of super-resolving images
CN101980291B (zh) * 2010-11-03 2012-01-18 天津大学 基于随机微位移的超分辨率图像重建方法
US8750647B2 (en) * 2011-02-03 2014-06-10 Massachusetts Institute Of Technology Kinetic super-resolution imaging
CN103047972B (zh) * 2012-12-25 2014-11-19 中国科学院长春光学精密机械与物理研究所 一种地球静止轨道卫星平台面阵凝视相机分辨率提升方法
CN105069748B (zh) * 2015-07-16 2017-11-10 哈尔滨工业大学 一种基于微小卫星物方扫描技术获取高分辨率图像的方法
CN106525238B (zh) * 2016-10-27 2018-08-03 中国科学院光电研究院 一种基于超分辨率重建的星载多光谱成像***设计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104410789A (zh) * 2014-12-08 2015-03-11 西安电子科技大学 凝视型超分辨率成像装置及方法
CN104394309A (zh) * 2014-12-16 2015-03-04 中国科学院国家天文台 一种图像稳定的超分辨率成像***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任航等: "基于灰度投影法运动估计的成像CCD平移补偿法", 《激光与红外》 *
郑晓锋: "基于运动探测光机补偿的稳像技术", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090869A (zh) * 2017-11-27 2018-05-29 中国空间技术研究院 一种基于面阵cmos光学相机的星上超分辨率重建方法
CN108090869B (zh) * 2017-11-27 2021-07-09 中国空间技术研究院 一种基于面阵cmos光学相机的星上超分辨率重建方法
CN108897003A (zh) * 2018-05-03 2018-11-27 北京理工大学 一种双模控制的相控阵激光雷达***及方法

Also Published As

Publication number Publication date
CN107194874B (zh) 2020-10-02
CN112017122B (zh) 2024-02-09
CN112017122A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN111080724B (zh) 一种红外和可见光的融合方法
CN107025632B (zh) 一种图像超分辨率重建方法及***
US7447382B2 (en) Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation
CN108961163A (zh) 一种高分辨率卫星影像超分辨重建方法
US20090263043A1 (en) Blind deconvolution and super-resolution method for sequences and sets of images and applications thereof
CN106408524A (zh) 基于二维图像辅助的深度图像增强方法
CN108090869B (zh) 一种基于面阵cmos光学相机的星上超分辨率重建方法
CN105550993B (zh) 基于多重变换域的超分辨率重建方法
Joze et al. Imagepairs: Realistic super resolution dataset via beam splitter camera rig
CN111986134B (zh) 面阵相机遥感成像方法及装置
CN102122387A (zh) 一种鲁棒的超分辨率图像重建方法
Khattab et al. Regularization-based multi-frame super-resolution: a systematic review
Anger et al. Fast and accurate multi-frame super-resolution of satellite images
CN112261315A (zh) 基于相机阵列孔径合成的高分辨率计算成像***及方法
CN107194874A (zh) 基于偏置稳像的超分辨成像***及方法
CN109658361A (zh) 一种顾及运动估计误差的运动场景超分辨率重建方法
CN104574338B (zh) 基于多角度线阵ccd传感器的遥感图像超分辨率重建方法
CN105225211A (zh) 一种基于振动提高视频分辨率的方法
US8184149B2 (en) Ophthalmic apparatus and method for increasing the resolution of aliased ophthalmic images
CN106558036B (zh) 一种星载超分辨成像***设计方法
He et al. Blind super-resolution image reconstruction using a maximum a posteriori estimation
US8571356B2 (en) Image processing apparatus, image processing method, and image processing program
CN106920213A (zh) 一种高分辨率图像的获取方法及***
Molini et al. Deep learning for super-resolution of unregistered multi-temporal satellite images
CN101131429B (zh) 带像差和小孔径衍射像质退化成像***的图像复原方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220516

Address after: 201306 building C, No. 888, Huanhu West 2nd Road, Lingang New Area, Pudong New Area, Shanghai

Patentee after: Shanghai Zhongkechen New Satellite Technology Co.,Ltd.

Address before: 201210 No. 99 Haike Road, Pudong New Area, Shanghai (building 4-5)

Patentee before: SHANGHAI ENGINEERING CENTER FOR MICROSATELLITES

TR01 Transfer of patent right