CN112017122B - 超分辨成像方法 - Google Patents

超分辨成像方法 Download PDF

Info

Publication number
CN112017122B
CN112017122B CN202010960660.XA CN202010960660A CN112017122B CN 112017122 B CN112017122 B CN 112017122B CN 202010960660 A CN202010960660 A CN 202010960660A CN 112017122 B CN112017122 B CN 112017122B
Authority
CN
China
Prior art keywords
resolution
images
image
super
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010960660.XA
Other languages
English (en)
Other versions
CN112017122A (zh
Inventor
郑珍珍
董磊
胡海鹰
朱永生
王威
盛蕾
陈起行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Engineering Center for Microsatellites
Original Assignee
Shanghai Engineering Center for Microsatellites
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Engineering Center for Microsatellites filed Critical Shanghai Engineering Center for Microsatellites
Priority to CN202010960660.XA priority Critical patent/CN112017122B/zh
Publication of CN112017122A publication Critical patent/CN112017122A/zh
Application granted granted Critical
Publication of CN112017122B publication Critical patent/CN112017122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种超分辨成像方法,高帧频探测器成像,数据处理器根据图像数据计算探测位移数据,形成位移补偿值;驱动装置驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值;所述位移补偿值用于弥补成像***位置偏移引起的光学模糊和运动模糊;高分辨成像探测器获取当前帧,并存入缓存,并判断缓存内图像数是否达到预设量,如果达到则对缓存内图像做超分辨处理;如果没有达到则进入步骤四;驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值与固定偏置之和;高分辨成像探测器再次获取当前帧图像;再次判断缓存内图像数是否达到预设量,达到则对缓存内图像做超分辨处理;没达到则回到步骤四或步骤二。

Description

超分辨成像方法
技术领域
本发明涉及天基成像领域,特别涉及基于偏置稳像的超分辨成像方法。
背景技术
随着对地成像分辨率越来越高的需求,除在光学***设计上进行技术开发外,考虑采取超分辨成像技术,从***设计上,进一步提升卫星整体的对地成像分辨率。
超分辨率重建技术利用低分辨率图像(LR)序列之间的冗余性、相似性及一些先验知识进行数据融合从而重建出一个具有更高空间分辨率的图像(HR),同时去除图像噪声、模糊等。基于重建的方法是指按照图象退化模型,利用一定的数学理论对退化图象进行反退化,得到超分辨重建图象,如频域解混叠超分辨重建方法、基于集合理论的超分辨重建方法、基于概率统计理论的超分辨重建方法等。
自1984年Tsai和Huang首次提出了利用具有亚像素位移的多帧LR图像进行HR重建的频域解混叠方法,国内外众多学者对超分辨率重建方法进行了研究并取得***的成果。所有这些方法都是希望能从一系列同一场景多帧欠采样低分辨率视觉影像来获得更高分辨率的图像,采用无噪声、无退化、大小和辐射亮度完全相同的重采样成像模型,并用相应频谱混叠公式给出了一个解混叠方法。在此基础上,研究了混入噪声和图像有模糊退化情形下的模型,并给出了加权迭代和正则化迭代两种解混叠方法。这些方法利用的是图像之间的相对位移量和不同的点扩展函数所提供的信息,而并没有利用图像分辨率差异所能提供的信息。所以进一步发展中,人们在统计先验知识的使用上也采用了新的方法,如使用了基于高斯平滑先验知识的MAP估计器来增强卫星遥感图像。
目前,将数字超分辨率成像技术应用于星载平台的典型***主要有SPOT卫星和SkySat卫星,其中,SPOT卫星主要采用了亚像元采样方式提升分辨率,而SkySat卫星主要采用光学-数字处理联合设计技术以及亚像元偏移多帧曝光采样方式提升分辨率。我国目前卫星的超分辨成像技术未见有报道。
发明内容
本发明解决的问题是现有稳像成像***结构复杂,不利于使用,且成像分辨率低;为解决所述问题,本发明提供基于偏置稳像的超分辨成像***及方法。
本发明提供的基于偏置稳像的超分辨成像***包括:***成像组镜、分光镜、高帧频探测器、高分辨成像探测器及数据处理器;平行光经***成像组镜汇聚后在分光镜表面分成两路,一路由高帧频探测器成像;数据处理器根据图像数据计算位移补偿值;驱动装置驱动高分辨成像探测器成像像面移动所述位移补偿值。
本发明提供的基于偏置稳像的超分辨成像方法,包括:
高帧频探测器成像,数据处理器根据图像数据计算探测位移数据,形成位移补偿值;
驱动装置驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值;
所述位移补偿值用于弥补成像***位置偏移引起的光学模糊和运动模糊;
高分辨成像探测器获取当前帧,并存入缓存,并判断缓存内图像数是否达到预设量,如果达到则对缓存内图像做超分辨处理;如果没有达到则:
驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值与固定偏置之和;高分辨成像探测器再次获取当前帧图像;以及
再次判断缓存内图像数是否达到预设量,达到则对缓存内图像做超分辨处理;没达到则驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值为所述位移补偿值或所述位移补偿值与固定偏置之和。
进一步,超分辨成像***包括:***成像组镜、分光镜、高帧频探测器、高分辨成像探测器及数据处理器;平行光经***成像组镜汇聚后在分光镜表面分成两路,一路由高帧频探测器成像;数据处理器根据图像数据计算位移补偿值;驱动装置驱动高分辨成像探测器成像像面移动所述位移补偿值。
进一步,所述分辨处理包括:
对缓冲内图像进行图像配准,形成低分序列图像;
对所述低分序列图像进行超分辨重建。
进一步,所述对缓冲内图像进行图像配准,形成低分序列图像包括:以缓冲内图像序列中的任意一帧为原参考图像,其他帧为待配准图像;建立数字金字塔对数据进行降采样处理,得到新的图像序列;对新的图像序列依次进行特征提取、特征匹配、相似性计算、几何校正,完成待配准图像的配准,形成低分序列图像。
进一步,所述对所述低分序列图像进行超分辨重建包括:采用MAP、贝叶斯超分辨重构算法对低分序列图像进行处理,并判断是否达到收敛条件;如果达到则进行去模糊去噪声处理,得到高分图像;如果没有达到收敛条件,则重复对缓冲内图像进行图像配准形成低分序列图像,以及对所述低分序列图像进行超分辨重建,或者只对所述低分序列图像进行超分辨重建,直至达到收敛条件。
进一步,所述固定偏置为0.5像元偏置。
本发明的优点包括:
本发明所提供的基于偏置稳像的超分辨成像***及方法综合考虑***相机本身的特性及超分辨方法的约束,在稳像中采用亚像素的固定偏置,使得***获取序列图像的过程中,实现亚像元采样,获取一个稳定的亚像元变化,并能有效地降低卫星姿态变化导致的运动模糊,从而为下一步超分辨图像重构提供优质的图像。
本发明充分利用稳像装置,加入固定亚像元偏置量,获取了错位采样图像,通过后期的图像处理技术对图像进行超分辨处理,提高了图像分辨,并节约了***资源。
附图说明
图1是本发明实施例提供的基于偏置稳像的超分辨成像***的结构示意图;
图2是本发明实施例提供的基于偏置稳像的超分辨成像方法的图像配准流程示意图;
图3是本发明实施例提供的基于偏置稳像的超分辨成像方法的流程示意图。
具体实施方式
下文中,结合附图和实施例对本发明的精神和实质做进一步阐述。
应当注意,本发明的各方法的步骤的编号并未限定所述方法步骤的执行顺序。除非特别指出,各方法步骤可以以不同顺序执行。
如图1所示,本发明实施例提供的基于偏置稳像的超分辨成像***包括:***成像组镜01、分光镜02、高帧频探测器03、高分辨成像探测器04及数据处理器;平行光经***成像组镜01汇聚后在分光镜02表面分成两路,一路由高帧频探测器03成像;数据处理器根据图像数据计算位移补偿值;驱动装置驱动高分辨成像探测器04的探测面移动所述位移补偿值。
所述驱动装置可以采用压电陶瓷,在移动过程中,可以配合曝光时间加入0.5像元偏置,获取亚采样图像。
本发明实施例提供的基于偏置稳像的超分辨成像方法,包括:
步骤一、地面发出稳像偏置超分成像的指令,星上缓存清零;高帧频探测器成像,数据处理器获取图像计算探测位移数据,计算探测位移数据指的是数据处理器根据所成图像计算成像***位置偏移量,该技术已为本领域技术人员所公知,在此不再详述。
步骤二、星上数据处理器根据当前位移数据形成位移补偿值,并反馈至高分辨成像探测器,通过压电电机驱动高分辨成像像面移动;所述位移补偿值用于弥补用于成像***位置偏移引起的光学模糊和运动模糊;计算位移补偿值的方法已为本领域技术人员所熟知,在此不再详述。
步骤三、高分辨探测器获取当前帧图像f1并存入缓存;对缓存内图像数目进行判断,如果图像数小于预设量,星上数据处理器将位移量加入固定偏置,由压电电机驱动高分辨成像像面移动;
所述固定偏置为经验值,用于进一步弥补运动模糊,本实施例中为0.5像元,在其他实施例中由本领域技术人员根据实际情况进行选择,也可以选择0;所述预设量本实施例中取4,在其他实施例中由本领域技术人员根据实际情况进行选择。
步骤四、高分辨成像探测器再次获取当前帧图像f2;再对缓存内图像数目进行判断,如果图像数小于预设量,回到步骤二;
步骤五、当图像数目等于预设量时,星上处理器对缓存内图像进行超分辨处理,获得高清的超分辨图像,将图像存储至相机的存储设备内,将缓存内的图像清空;
步骤六、若不发送任务中止指令,返回步骤二重新进行成像及超分辨过程。
所述超分辨处理包括:
步骤5.1、对缓冲内图像进行图像配准,形成低分序列图像;
图像配准指对同一区域的两幅或多幅图像进行最佳匹配的处理过程。图像配准是解决本***图像超分辨的必要前提。基于星载相机的特性及星载遥感图像数据处理的要求,图像配准方案需具备处理速度快、配准精度高、算法鲁棒性强的特点。
如图2所示,图像配准包括:原始影像序列经由图像金字塔处理后再依次进行特征提取、特征匹配、相似性计算等操作,映射回原图像位置后进行几何校正,得到配准图像。其中图像金字塔、积分图像、BOX滤波等处理大大改进了传统方法处理速度慢的缺点,并保证了配准精度。
特征提取指从图像中提取出用来匹配的信息,本实施例中,采用积分图像和不断增大的盒子滤波模板求取响应图像,能够快速找到感兴趣点(即图像中较亮或较暗的位置),作为用于特征匹配的图像特征。从待配准图像中提取特征之后,依据图像特征点的描述子进行特征匹配,并和特征点关联,再释放积分图像,亦可增加迭代模块,进一步检查全局匹配一致性,消除不匹配特征对。相似性计算用于估计图像之间相似程度的指标,以判断所提取的特征点是否能够匹配。几何校正指根据待配准图像与参考图像之间的几何畸变选择能拟合两幅图像之间变化的最佳几何变换模型,并根据优化策略求取两图像之间最佳变换参数,进而通过坐标变换与插值对待配准图像进行处理,得到校正后的图像,所述图像为低分辨序列图像。本领域技术人员可以根据所述描述实现图像配准,在此不再详述。
步骤5.2、对所述低分序列图像进行超分辨重建,对图像进行基于重构的超分辨重建,利用该过程优化成像***退化模型,使其更加符合成像实际情况。超分辨重建包括:依次利用MAP、贝叶斯超分辨重建算法对将图像配准获取的低分辨序列图像进行恢复重建。配准和重建这两个步骤独立或者联合反复迭代进行,直到收敛条件成立。然后通过图像去噪声和去模糊的后期处理得到重建后的高分辨图像。MAP、贝叶斯超分辨重建算法已为本领域技术人员所熟知,在此不再详述。
本发明所提供的方法已经用于型号,所成图像分辨率提高。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (6)

1.一种超分辨成像方法,其采用一种超分辨成像***,其特征在于,
高帧频探测器成像,数据处理器根据图像数据计算探测位移数据,形成位移补偿值;
驱动装置驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值;所述位移补偿值用于弥补成像***位置偏移引起的光学模糊和运动模糊;
高分辨成像探测器获取当前帧,并存入缓存,并判断缓存内图像数是否达到预设量,如果达到则对缓存内图像做超分辨处理;如果没有达到则:
驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值与固定偏置之和;
高分辨成像探测器再次获取当前帧图像;以及
再次判断缓存内图像数是否达到预设量,达到则对缓存内图像做超分辨处理;没达到则驱动高分辨成像探测器成像像面移动,移动量为所述位移补偿值与固定偏置之和,其中固定偏置为亚像素的固定偏置。
2.依据权利要求1所述的超分辨成像方法,其特征在于,超分辨成像***包括:***成像组镜、分光镜、高帧频探测器、高分辨成像探测器及数据处理器;平行光经***成像组镜汇聚后在分光镜表面分成两路,一路由高帧频探测器成像;数据处理器根据图像数据计算位移补偿值;驱动装置驱动高分辨成像探测器成像像面移动所述位移补偿值。
3.依据权利要求1所述的超分辨成像方法,其特征在于,所述超分辨处理包括:
对缓冲内图像进行图像配准,形成低分序列图像;以及
对所述低分序列图像进行超分辨重建。
4.依据权利要求3所述的超分辨成像方法,其特征在于,所述对缓冲内图像进行图像配准,形成低分序列图像包括:以缓冲内图像序列中的任意一帧为原参考图像,其他帧为待配准图像;建立数字金字塔对数据进行降采样处理,得到新的图像序列;对新的图像序列依次进行特征提取、特征匹配、相似性计算、几何校正,完成待配准图像的配准,形成低分序列图像。
5.依据权利要求3所述的超分辨成像方法,其特征在于,所述对所述低分序列图像进行超分辨重建包括:采用MAP、贝叶斯超分辨重构算法对低分序列图像进行处理,并判断是否达到收敛条件;如果达到则进行去模糊去噪声处理,得到高分图像;如果没有达到收敛条件,则重复对缓冲内图像进行图像配准形成低分序列图像,以及对所述低分序列图像进行超分辨重建,或者只对所述低分序列图像进行超分辨重建,直至达到收敛条件。
6.依据权利要求3所述的超分辨成像方法,其特征在于,所述固定偏置为0.5像元偏置。
CN202010960660.XA 2017-05-26 2017-05-26 超分辨成像方法 Active CN112017122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010960660.XA CN112017122B (zh) 2017-05-26 2017-05-26 超分辨成像方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710383337.9A CN107194874B (zh) 2017-05-26 2017-05-26 基于偏置稳像的超分辨成像***及方法
CN202010960660.XA CN112017122B (zh) 2017-05-26 2017-05-26 超分辨成像方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710383337.9A Division CN107194874B (zh) 2017-05-26 2017-05-26 基于偏置稳像的超分辨成像***及方法

Publications (2)

Publication Number Publication Date
CN112017122A CN112017122A (zh) 2020-12-01
CN112017122B true CN112017122B (zh) 2024-02-09

Family

ID=59874948

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710383337.9A Active CN107194874B (zh) 2017-05-26 2017-05-26 基于偏置稳像的超分辨成像***及方法
CN202010960660.XA Active CN112017122B (zh) 2017-05-26 2017-05-26 超分辨成像方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710383337.9A Active CN107194874B (zh) 2017-05-26 2017-05-26 基于偏置稳像的超分辨成像***及方法

Country Status (1)

Country Link
CN (2) CN107194874B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090869B (zh) * 2017-11-27 2021-07-09 中国空间技术研究院 一种基于面阵cmos光学相机的星上超分辨率重建方法
CN108897003B (zh) * 2018-05-03 2021-05-04 北京理工大学 一种双模控制的相控阵激光雷达***及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980291A (zh) * 2010-11-03 2011-02-23 天津大学 基于随机微位移的超分辨率图像重建方法
CN103047972A (zh) * 2012-12-25 2013-04-17 中国科学院长春光学精密机械与物理研究所 一种地球静止轨道卫星平台面阵凝视相机分辨率提升方法
CN104394309A (zh) * 2014-12-16 2015-03-04 中国科学院国家天文台 一种图像稳定的超分辨率成像***及方法
CN105069748A (zh) * 2015-07-16 2015-11-18 哈尔滨工业大学 一种基于微小卫星物方扫描技术获取高分辨率图像的方法
CN106525238A (zh) * 2016-10-27 2017-03-22 中国科学院光电研究院 一种基于超分辨率重建的星载多光谱成像***设计方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602997B2 (en) * 2005-01-19 2009-10-13 The United States Of America As Represented By The Secretary Of The Army Method of super-resolving images
US8750647B2 (en) * 2011-02-03 2014-06-10 Massachusetts Institute Of Technology Kinetic super-resolution imaging
CN104410789A (zh) * 2014-12-08 2015-03-11 西安电子科技大学 凝视型超分辨率成像装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980291A (zh) * 2010-11-03 2011-02-23 天津大学 基于随机微位移的超分辨率图像重建方法
CN103047972A (zh) * 2012-12-25 2013-04-17 中国科学院长春光学精密机械与物理研究所 一种地球静止轨道卫星平台面阵凝视相机分辨率提升方法
CN104394309A (zh) * 2014-12-16 2015-03-04 中国科学院国家天文台 一种图像稳定的超分辨率成像***及方法
CN105069748A (zh) * 2015-07-16 2015-11-18 哈尔滨工业大学 一种基于微小卫星物方扫描技术获取高分辨率图像的方法
CN106525238A (zh) * 2016-10-27 2017-03-22 中国科学院光电研究院 一种基于超分辨率重建的星载多光谱成像***设计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于亚像素级位移的超分辨率成像***设计;胡萌萌;中国优秀硕士学位论文全文数据库;第1-64页 *
基于灰度投影法运动估计的成像CCD平移补偿法;任航;张涛;;应用光学(03);第417-422页 *
基于运动探测光机补偿的稳像技术;郑晓锋;中国优秀硕士学位论文全文数据库;第1-80 *

Also Published As

Publication number Publication date
CN112017122A (zh) 2020-12-01
CN107194874B (zh) 2020-10-02
CN107194874A (zh) 2017-09-22

Similar Documents

Publication Publication Date Title
CN107025632B (zh) 一种图像超分辨率重建方法及***
CN101616310B (zh) 可变视角及分辨率的双目视觉***目标图像稳定化方法
CN102231792B (zh) 基于特征匹配的电子稳像方法
CN110599400B (zh) 一种基于epi的光场图像超分辨的方法
CN108961163A (zh) 一种高分辨率卫星影像超分辨重建方法
CN102222320B (zh) 基于全变分迭代反向投影的单帧图像空间分辨率增强方法
CN110211169B (zh) 基于多尺度超像素和相位相关的窄基线视差的重构方法
CN108090869B (zh) 一种基于面阵cmos光学相机的星上超分辨率重建方法
CN105550993B (zh) 基于多重变换域的超分辨率重建方法
CN104144282A (zh) 一种适用于空间机器人视觉***的快速数字稳像方法
CN103268599B (zh) 多线阵ccd亚像元错位成像超分辨率重构方法
CN112017122B (zh) 超分辨成像方法
CN112184549B (zh) 基于时空变换技术的超分辨图像重建方法
CN104376547A (zh) 运动模糊图像复原方法
Anger et al. Fast and accurate multi-frame super-resolution of satellite images
Yu et al. Split-attention multiframe alignment network for image restoration
CN104574338A (zh) 基于多角度线阵ccd传感器的遥感图像超分辨率重建方法
CN107631728B (zh) 一种星载图像辅助导航方法
CN105225211A (zh) 一种基于振动提高视频分辨率的方法
CN109615584B (zh) 一种基于单应性约束的sar图像序列map超分辨率重建方法
US8571356B2 (en) Image processing apparatus, image processing method, and image processing program
Bull et al. Perceptual improvements for super-resolution of satellite imagery
CN106920213A (zh) 一种高分辨率图像的获取方法及***
JP2013069012A (ja) 多眼撮像装置
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant