CN117495713B - 遥感模糊图像复原方法及*** - Google Patents

遥感模糊图像复原方法及*** Download PDF

Info

Publication number
CN117495713B
CN117495713B CN202410001280.1A CN202410001280A CN117495713B CN 117495713 B CN117495713 B CN 117495713B CN 202410001280 A CN202410001280 A CN 202410001280A CN 117495713 B CN117495713 B CN 117495713B
Authority
CN
China
Prior art keywords
image
blurred
edge
blurred image
restored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410001280.1A
Other languages
English (en)
Other versions
CN117495713A (zh
Inventor
李醒飞
邢伟达
拓卫晓
杨辰熙
封善斋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202410001280.1A priority Critical patent/CN117495713B/zh
Publication of CN117495713A publication Critical patent/CN117495713A/zh
Application granted granted Critical
Publication of CN117495713B publication Critical patent/CN117495713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供了一种遥感模糊图像复原方法及***,可以应用于图像处理技术领域。遥感模糊图像复原方法,应用于上位机包括:根据点扩散函数,对模糊图像进行全变差正则化,得到第一复原图像,模糊图像是从图像采集装置获取得到的;根据模糊图像的边缘信息,对模糊图像进行复原,得到边缘复原图像和无边缘复原图像;将边缘复原图像和无边缘复原图像进行叠加,得到第二复原图像;将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域。将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到目标复原图像。

Description

遥感模糊图像复原方法及***
技术领域
本发明涉及图像处理技术领域,尤其涉及一种遥感模糊图像复原方法及***。
背景技术
卫星在轨工作时,星上运动部件及外部环境引起的平台颤振使得成像目标的光学图像与成像器件焦平面之间存在相对运动,造成曝光时间内像点在焦面上的运动,产生像移。
随着遥感卫星分辨率不断提高,遥感图像对平台颤振也越来越敏感,产生的像移越明显,从而导致图像愈模糊。
发明内容
鉴于上述问题,本发明提供了遥感模糊图像复原方法及***。
根据本发明的第一个方面,提供了一种遥感模糊图像复原方法,应用于上位机,包括:根据点扩散函数,对模糊图像进行全变差正则化,得到第一复原图像,模糊图像是从图像采集装置获取得到的。根据模糊图像的边缘信息,对模糊图像进行复原,得到边缘复原图像和无边缘复原图像,边缘复原图像是对模糊图像的边缘信息进行复原得到的,无边缘复原图像是对去除边缘信息的模糊图像进行复原得到的。将边缘复原图像和无边缘复原图像进行叠加,得到第二复原图像。将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域。将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到目标复原图像。
根据本发明的实施例,根据所述模糊图像的边缘信息,对所述模糊图像进行复原,得到边缘复原图像和无边缘复原图像包括:根据模糊图像的边缘信息,通过Canny算法对模糊图像进行边缘提取,得到与边缘信息对应的边缘模糊图像。将模糊图像与边缘模糊图像做差运算,得到无边缘模糊图像。对边缘模糊图像和无边缘模糊图像分别进行全变差正则化,得到与边缘图像对应的边缘复原图像、与无边缘模糊图像对应的无边缘复原图像。
根据本发明的实施例,方法还包括:通过局部熵形态学操作,对模糊图像进行分割,得到模糊图像的平滑域和模糊图像的纹理域。
根据本发明的实施例,模糊图像包括至少一个模糊子图像,通过局部熵形态学操作,对模糊图像进行分割,得到模糊图像的平滑域和模糊图像的纹理域包括:将模糊子图像的邻域灰度均值和像素灰度组成特征二元组。根据模糊子图像的尺度和特征二元组出现的频数,计算得到特征二元组出现的频率。根据特征二元组出现的频率,对模糊子图像进行熵计算,得到局部熵子图像,其中熵计算公式如下。
p ij 表示特征二元组为(i, j)出现的概率,计算局部熵是以像素点为中心的N*N的区域进行熵计算,H表示所述模糊子图像的熵,L表示所述模糊子图像的像素灰度等级。以及根据局部熵子图像,得到模糊图像的平滑域和模糊图像的纹理域。
根据本发明的实施例,根据局部熵子图像,得到模糊图像的平滑域和模糊图像的纹理域包括:对局部熵图像进行开运算,得到待处理图像,局部熵图像包括至少一个局部熵子图像。利用二值图像孔洞填充函数,对待处理图像的孔洞进行填充,得到模糊图像的纹理域。对模糊图像的纹理域进行取反操作,得到模糊图像的平滑域。
根据本发明的实施例,将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域包括:将模糊图像的平滑域与第一复原图像做与运算,得到第一复原图像的平滑域。将模糊图像的纹理域与第二复原图做与运算,得到第二复原图像的纹理域。
根据本发明的实施例,将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到目标复原图像,其中融合计算公式如下。
I1表示第一复原图像,P表示为第一复原图像的平滑区域,I2表示第二复原图像,W表示为第二复原图像的纹理区域,I3表示目标复原图像。
根据本发明的实施例,根据点扩散函数,对模糊图像进行全变差正则化,得到第一复原图像,还包括:获取图像采集装置采集模糊图像的曝光时间。从数据采集装置获取图像采集装置在曝光时间内的角速度信息,角速度信息是通过角速度传感器采集得到的。根据图像采集装置的初始角位移、曝光时间和角速度信息,得到曝光角位移,曝光角位移为图像采集装置在曝光时间内的角位移。根据图像采集装置的焦距、曝光角位移,得到在曝光时间内的像位移,像位移为模糊图像在曝光时间内发生的位移量。根据像位移、模糊图像中像元的宽度和可调参数,构建点扩散函数。
本发明的第二方面提供了一种遥感模糊图像复原***,包括:单轴角振动平台,图像采集装置,安装在单轴角振动平台上,单轴角振动平台被配置为驱动图像采集装置转动,图像采集装置被配置为采集模糊图像。上位机,与图像采集装置电连接,被配置为接收模糊图像,并执行上述方法对模糊图像进行处理,得到目标复原图像。
根据本发明的实施例,上述遥感模糊图像复原***还包括:角速度传感器,安装在图像采集装置与单轴角振动平台之间,单轴角振动平台被配置为通过角速度传感器驱动图像采集装置转动,角速度传感器适用于在曝光时间内对图像采集装置进行角速度信息采集。数据采集装置,与上位机和角速度传感器电连接,数据采集装置被配置为将从角速度传感器获取得到的角速度信息传输至上位机。
本发明的第三方面提供了一种电子设备,包括:一个或多个处理器。存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述方法。
本发明的第四方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述方法。
本发明的第五方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述方法。
根据本发明提供的遥感模糊图像复原方法及***,通过根据点扩散函数,对模糊图像进行全变差正则化,得到边缘和平滑区域复原效果较好的第一复原图像。根据模糊图像的边缘信息,对模糊图像进行复原,得到边缘复原图像和无边缘复原图像。将边缘复原图像和无边缘复原图像进行叠加,得到纹理细节复原效果较好的第二复原图像。
将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域。将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到清晰且细节恢复良好的目标复原图像。
附图说明
通过以下参照附图对本发明实施例的描述,本发明的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本发明实施例的遥感模糊图像复原方法的应用场景图;
图2示意性示出了根据本发明实施例的遥感模糊图像复原***示意图;
图3示意性示出了根据本发明实施例的遥感模糊图像复原方法的流程图;
图4示意性示出了根据本发明实施例的遥感模糊图像复原方法中模糊图像;
图5示意性示出了根据本发明实施例的遥感模糊图像复原方法中第一复原图像;
图6示意性示出了根据本发明实施例的遥感模糊图像复原方法的第二复原图像;
图7示意性示出了根据本发明实施例的遥感模糊图像复原方法中模糊图像的纹理域示意图;
图8示意性示出了根据本发明实施例的遥感模糊图像复原方法中模糊图像的平滑域示意图;
图9示意性示出了根据本发明实施例的遥感模糊图像复原方法中目标复原图像;
图10示意性示出了根据本发明实施例的第一复原图像的细节部分图;
图11示意性示出了根据本发明实施例的第二复原图像的细节部分图;
图12示意性示出了根据本发明实施例的目标复原图像的细节部分图;以及
图13示意性示出了根据本发明实施例的适于实现遥感模糊图像复原方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本发明的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本发明的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本发明实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。
在本发明的技术方案中,所涉及的用户信息(包括但不限于用户个人信息、用户图像信息、用户设备信息,例如位置信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、存储、使用、加工、传输、提供、发明和应用等处理,均遵守相关国家和地区的相关法律法规和标准,采取了必要保密措施,不违背公序良俗,并提供有相应的操作入口,供用户选择授权或者拒绝。
卫星在轨工作时,星上运动部件及外部环境引起的平台颤振使得成像目标的光学图像与成像器件焦平面之间存在相对运动,造成曝光时间内像点在焦面上的运动,产生像移,进而导致图像模糊。
本发明的实施例提供了一种遥感模糊图像复原方法,应用于上位机,包括:根据点扩散函数,对模糊图像进行全变差正则化,得到第一复原图像,模糊图像是从图像采集装置获取得到的;根据模糊图像的边缘信息,对模糊图像进行复原,得到边缘复原图像和无边缘复原图像,边缘复原图像是对模糊图像的边缘信息进行复原得到的,无边缘复原图像是对去除边缘信息的模糊图像进行复原得到的;将边缘复原图像和无边缘复原图像进行叠加,得到第二复原图像;将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域。将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到目标复原图像。
图1示意性示出了根据本发明实施例的遥感模糊图像复原方法的应用场景图。
如图1所示,根据该实施例的应用场景100可以包括第一终端设备101、第二终端设备102、第三终端设备103、网络104和上位机105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和上位机105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中的至少一个通过网络104与上位机105交互,以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
上位机105可以是提供各种服务的服务器,例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本发明实施例所提供的遥感模糊图像复原方法一般可以由上位机105执行。相应地,本发明实施例所提供的遥感模糊图像复原装置一般可以设置于上位机105中。本发明实施例所提供的遥感模糊图像复原方法也可以由不同于上位机105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或上位机105通信的服务器或服务器集群执行。相应地,本发明实施例所提供的遥感模糊图像复原装置也可以设置于不同于上位机105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或上位机105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
一种遥感模糊图像复原***,包括:单轴角振动平台,图像采集装置,安装在单轴角振动平台上,单轴角振动平台被配置为驱动图像采集装置转动,图像采集装置被配置为采集模糊图像。上位机,与图像采集装置电连接,被配置为接收模糊图像,并执行本发明的遥感模糊图像复原方法对模糊图像进行处理,得到目标复原图像。
根据本发明的实施例,图像采集装置可以是相机。上位机可以是服务器,也可以是具有存储器和处理器的计算机等。
根据本发明的实施例,角速度传感器可以是磁流体动力学角速度传感器、光纤陀螺等。
根据本发明的实施例,上述遥感模糊图像复原***还包括:角速度传感器,安装在图像采集装置与单轴角振动平台之间,单轴角振动平台被配置为通过角速度传感器驱动图像采集装置转动,角速度传感器适用于在曝光时间内对图像采集装置进行角速度信息采集。数据采集装置,与上位机和角速度传感器电连接,数据采集装置被配置为将从角速度传感器获取得到的角速度信息传输至上位机。
图2示意性示出了根据本发明实施例的遥感模糊图像复原***示意图。
如图2所示,图像采集装置可以是相机1。将角速度传感器2安装在相机1的X轴方向上,角速度传感器2、相机1和单轴角振动平台3刚性固连在一起,并安装在气浮平台10上。单轴角振动台3可采用带宽为0-2500赫兹的高频角振动平台,用于模拟卫星平台上的高频微角振动。
利用上位机5给单轴角振动台3一个激励信号7,单轴角振动台3发生转动,角速度传感器2同时开始测量相机1在X轴上的角速度,并由数据采集卡4进行数据采集,传输至上位机5。
***运行稳定后,上位机5给出触发脉冲,当相机1接收到触发脉冲后,开始曝光,并拍摄靶标,得到由微角振动导致的模糊图像,并传输至上位机5。
根据本发明的实施例,将相机1和角速度传感器2刚性固连在角振动台上,通过上位机5给单轴角振动台3一个单频正弦激励信号,单轴角振动台3带动相机1和角速度传感器2一起转动,角速度传感器2持续输出角速度数据8,并由数据采集卡4进行采集后,传送至上位机5。相机1采用外触发采集模式成像,待***稳定运行后,上位机5给出触发脉冲,相机1在触发脉冲上升沿开始曝光,相机1开始曝光对靶标进行成像,获取模糊的靶标图像6(模糊图像9),并传输至上位机5。通过触发脉冲位置可准确定位到曝光时间段内角速度传感器2的输出数据,通过对角速度信息进行计算得到非盲图像复原所需点扩散函数。
根据采集装置的角速度信息,计算得到点扩散函数,角速度信息是在曝光时间内,通过角速度传感器对图像采集装置的角速度采集得到的。
图3示意性示出了根据本发明实施例的遥感模糊图像复原方法的流程图。
如图3所示,该实施例的遥感模糊图像复原方法包括操作S310~操作S350。
在操作S310,根据点扩散函数,对模糊图像进行全变差正则化,得到第一复原图像。
在操作S320,根据模糊图像的边缘信息,对模糊图像进行复原,得到边缘复原图像和无边缘复原图像。
在操作S330,将边缘复原图像和无边缘复原图像进行叠加,得到第二复原图像。
在操作S340,将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域。
在操作S350,将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到目标复原图像。
图4示意性示出了根据本发明实施例的遥感模糊图像复原方法中模糊图像。
根据本发明的实施例,模糊图像是从图像采集装置获取得到的,模糊图像如图4所示。
根据本发明的实施例,点扩散函数可以是全变差正则化中的函数。
根据本发明的实施例,模糊图像的边缘信息可以是距离模糊图像中心点等长的边框与模糊图像的外框组成的图像信息,也可以是根据实际需要自由设定的图像边缘信息。例如,模糊图像中距离左侧边框5毫米之内的像素点信息,可以是模糊图像的边缘信息。
根据本发明的实施例,边缘复原图像是对模糊图像的边缘信息进行复原得到的,无边缘复原图像是对去除边缘信息的模糊图像进行复原得到的。
根据本发明的实施例,通过提取模糊图像的边缘信息。再根据边缘信息对模糊图像进行处理,再通过复原方法得到边缘复原图像和无边缘复原图像,复原方法可以是全变差正则化、RL(Reinforcement Learning,强化学习)算法、维纳滤波算法等。
根据本发明的实施例,逻辑运算可以是图像加法运算、图像减法运算、图像或运算等。
根据本发明的实施例,将第一复原图像的平滑域和第二复原图像的纹理域进行融合,使得融合得到的目标复原图像具有平滑区域和纹理细节复原效果较好的特点。
根据本发明的实施例,通过根据点扩散函数,对模糊图像进行全变差正则化,得到边缘和平滑区域复原效果较好的第一复原图像。根据模糊图像的边缘信息,对模糊图像进行复原,得到边缘复原图像和无边缘复原图像。将边缘复原图像和无边缘复原图像进行叠加,得到纹理细节复原效果较好的第二复原图像。
将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域。将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到清晰且细节恢复良好的目标复原图像。
根据本发明的实施例,根据点扩散函数,对模糊图像进行全变差正则化,得到第一复原图像,还包括:获取图像采集装置采集模糊图像的曝光时间。从数据采集装置获取图像采集装置在曝光时间内的角速度信息,角速度信息是通过角速度传感器采集得到的。根据图像采集装置的初始角位移、曝光时间和角速度信息,得到曝光角位移,曝光角位移为图像采集装置在曝光时间内的角位移。根据图像采集装置的焦距、曝光角位移,得到在曝光时间内的像位移,像位移为模糊图像在曝光时间内发生的位移量。根据像位移、模糊图像中像元的宽度和可调参数,构建点扩散函数。
根据本发明的实施例,计算曝光时间内的角位移。从上位机中读取角速度传感器测得的角速度数据。设所测角速度为w(t),对角速度进行积分,可以得到相机曝光时间内的角位移如下。
式中:为光轴X轴方向转动的角位移,/>为曝光开始前一时刻相机位置,tste分别为曝光开始时间和结束时间。
根据本发明的实施例,计算曝光时间内的像移。根据计算可以得到曝光时间内的像移x(t)计算公式如下。
式中:f为相机的焦距,α为光轴与目标点X轴方向初始夹角。
根据本发明的实施例,构建点扩散函数。设成像***一个像元的宽度为p,将像移转换至像素坐标系中。
式中:P(t)表示t时刻像点距离平衡位置的像元个数,k为可调参数,k值取决于成像过程中的环境噪声、像点弥散、离焦等因素,取值范围一般为
对探测到的像点轨迹进行等时间间隔采样,统计每个像元上的采样间隔数,可得到像点轨迹上的光能分布情况。归一化后可得到各像元的光能权值,移动轨迹上所有像元的权值构成了点扩散函数h。
根据本发明的实施例,利用构建得到点扩散函数,结合TV正则化(TotalVariation Regularization,全变差正则化)图像复原算法对模糊图像直接进行图像复原。TV正则化图像复原算法是将图像的梯度作为正则化项引入到图像复原优化模型中,基于图像退化模型给出TV正则化复原优化模型的目标函数如下。
式中:B表示模糊图像,I表示待确定目标复原图像,h表示点扩散函数,代表卷积运算,/>L 2 范数,/>为数据保真项,R(i)为正则化项,λi为正则化项系数,用于控制数据保真项和正则化项之间的权重比例,为角振动频率88Hz导致的模糊图像。
图5示意性示出了根据本发明实施例的遥感模糊图像复原方法中第一复原图像。
根据本发明的实施例,将构建得到的点扩散函数h,以及读取上位机中存储的模糊图像B,令目标函数E(i)最小进行求解,如图4所示,解出即可得到边缘和平滑区域复原效果较好,纹理细节区域效果不好的第一复原图像I1
根据本发明的实施例,根据模糊图像的边缘信息,对模糊图像进行处理,得到边缘复原图和无边缘复原图像包括:根据模糊图像的边缘信息,通过Canny算法对模糊图像进行边缘提取,得到与边缘信息对应的边缘模糊图像。将模糊图像与边缘模糊图像做差运算,得到无边缘模糊图像。对边缘模糊图像和无边缘模糊图像分别进行全变差正则化,得到与边缘图像对应的边缘复原图像、与无边缘模糊图像对应的无边缘复原图像。
根据本发明的实施例,读取图像采集装置中的模糊图像B,利用Canny算法对模糊图像B进行边缘提取,Canny算法所需高斯滤波器一般选用***默认大小,边缘提取所需阈值一般根据图像的灰度情况确定。边缘提取后得到边缘模糊图像B1,将模糊图像B与边缘模糊图像B1做差,得到无边缘模糊图像B2。
边缘模糊图像B1和无边缘模糊图像B2分别代入TV正则化模型中,分别求解得到B1和B2的复原图像,即边缘复原图像和无边缘复原图像。
图6示意性示出了根据本发明实施例的遥感模糊图像复原方法的第二复原图像。
如图6所示,边缘复原图像和无边缘复原图像进行叠加,得到边缘和平滑区域复原效果不好,纹理细节复原效果较好的第二复原图像。第二复原图像记为I2
根据本发明的实施例,方法还包括:通过局部熵形态学操作,对模糊图像进行分割,得到模糊图像的平滑域和模糊图像的纹理域。
根据本发明的实施例,模糊图像包括至少一个模糊子图像,通过局部熵形态学操作,对模糊图像进行分割,得到模糊图像的平滑域和模糊图像的纹理域包括:将模糊子图像的邻域灰度均值和像素灰度组成特征二元组。根据模糊子图像的尺度和特征二元组出现的频数,计算得到特征二元组出现的频率。根据特征二元组出现的频率,对模糊子图像进行熵计算,得到局部熵子图像,其中熵计算公式如下。
p ij 表示特征二元组为(i, j)出现的概率,计算局部熵是以像素点为中心的N*N的区域进行熵计算。以及根据局部熵子图像,得到模糊图像的平滑域和模糊图像的纹理域。
根据本发明的实施例,读取图像采集装置中的模糊图像B,并对模糊图像B进行局部熵运算。选择图像的邻域灰度均值作为灰度分布的空间特征量,与图像的像素灰度组成特征二元组,记为(i, j),其中i表示像素的灰度值范围为[0,L-1],j表示邻域灰度均值取值范围也为[0,L-1],L为图像的灰度等级,令p ij 表示图像中灰度值为(i, j)出现的概率。
其中f(i, j)为特征二元组(i, j)出现的频数,N为图像的尺度。
根据本发明的实施例,根据局部熵子图像,得到模糊图像的平滑域和模糊图像的纹理域包括:对局部熵图像进行开运算,得到待处理图像,局部熵图像包括至少一个局部熵子图像。利用二值图像孔洞填充函数,对待处理图像的孔洞进行填充,得到模糊图像的纹理域。对模糊图像的纹理域进行取反操作,得到模糊图像的平滑域。
根据本发明的实施例,是以像素点为中心的N*N的区域进行熵计算,一般N=9,在模糊图像B所构成的矩阵中进行滑窗依次计算,得到至少一个局部熵子图像,最后将至少一个局部熵子图像采用默认参数进行二值化处理,得到局部熵图像E1
根据本发明的实施例,将局部熵图像E1进行开运算,得到待处理图像。实现连通图像中孤立部分进一步的消除图像中噪声,更好的保持边缘位置,开运算所需参数要根据图像具体效果进行调节。
图7示意性示出了根据本发明实施例的遥感模糊图像复原方法中模糊图像的纹理域示意图。
图8示意性示出了根据本发明实施例的遥感模糊图像复原方法中模糊图像的平滑域示意图。
如图7至8所示,再利用二值图像孔洞填充函数,对待处理图像的孔洞进行填充,得到模糊图像的纹理域W,取反得到模糊图像的平滑域P
根据本发明的实施例,将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域包括:将模糊图像的平滑域与第一复原图像做与运算,得到第一复原图像的平滑域。将模糊图像的纹理域与第二复原图做与运算,得到第二复原图像的纹理域。
根据本发明的实施例,边缘模糊图像B1和无边缘模糊图像B2分别代入TV正则化模型中,分别求解得到边缘复原图像和无边缘复原图像。分别将模糊图像的平滑域和第一复原图像I1、模糊图像的纹理域和第二复原图像I2做与运算,提取复原图像I1的平滑域和复原图像I2的纹理域。
根据本发明的实施例,将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到目标复原图像,其中融合计算公式如下。
I1表示第一复原图像,P表示为第一复原图像的平滑区域,I2表示第二复原图像,W表示为第二复原图像的纹理区域,I3表示目标复原图像。
图9示意性示出了根据本发明实施例的遥感模糊图像复原方法中目标复原图像。
图10示意性示出了根据本发明实施例的第一复原图像的细节部分图。
图11示意性示出了根据本发明实施例的第二复原图像的细节部分图。
图12示意性示出了根据本发明实施例的目标复原图像的细节部分图。
如图9至12所示,目标复原图像的细节部分(图12)中纹理区域(如数字“8”“9”“10”下面的条纹)复原效果优于图10,目标复原图像的细节部分(图12)中平滑区域(如数字“8”“9”“10”周围白色区域)复原效果优于图11。
利用角速度传感器(如磁流体动力学角速度传感器、光纤陀螺等)获取相机的颤振信息,利用颤振测量信息构建点扩散函数,实现图像的非盲复原。首先,利用TV正则化直接复原模糊图像,得到边缘和平滑区域复原效果较好的第一复原图像。然后,采用Canny算法提取模糊图像边缘,利用TV正则化算法分别对提取的边缘图像和去除边缘的模糊图像进行图像复原,分别得到边缘复原图像和无边缘复原图像,并将两幅复原图像进行叠加,得到一幅纹理细节复原效果较好的第二复原图像。最后,利用局部熵形态学操作分割模糊图像,得到模糊图像的纹理域和平滑域,分别将平滑域和第一复原图像、纹理域和第二复原图像做与运算,提取第一复原图像的平滑域和第二复原图像的纹理域,并进行融合,获得清晰且细节恢复良好的高质量遥感图像。此方法可以在不增加卫星体积和成本的条件下,实现遥感模糊图像的高质量复原。
利用高频角速度传感器如磁流体动力学角速度传感器、光纤陀螺等作为测量微角振动信息的元件,实现宽频瞬态角速率的高精度测量。通过角速度传感器获取相机的角速度信息,可以构建出更精确的点扩散函数,为后续采用非盲图像复原算法提供基础。
利用TV正则化算法结合Canny算法(边缘检测算法)对模糊图像进行高质量复原,再通过局部熵形态学操作进行图像分割,将复原效果好的部分进行融合,能够在去除噪声的同时保护图像边缘和纹理细节,具有增强边缘、保护细节的优点。通过精确的点扩散函数与所提出的图像复原算法相结合,显著的提高了图像质量,得到清晰的图像。
图13示意性示出了根据本发明实施例的适于实现遥感模糊图像复原方法的电子设备的方框图。
如图13所示,根据本发明实施例的电子设备1300包括处理器1301,其可以根据存储在只读存储器(ROM)1302中的程序或者从存储部分1308加载到随机访问存储器(RAM)1303中的程序而执行各种适当的动作和处理。处理器1301例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器1301还可以包括用于缓存用途的板载存储器。处理器1301可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1303中,存储有电子设备1300操作所需的各种程序和数据。处理器 1301、ROM 1302以及RAM 1303通过总线1304彼此相连。处理器1301通过执行ROM 1302和/或RAM1303中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 1302和RAM 1303以外的一个或多个存储器中。处理器1301也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例,电子设备1300还可以包括输入/输出(I/O)接口1305,输入/输出(I/O)接口1305也连接至总线1304。电子设备1300还可以包括连接至输入/输出(I/O)接口1305的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1306;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1307;包括硬盘等的存储部分1308;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至输入/输出(I/O)接口1305。可拆卸介质1311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1310上,以便于从其上读出的计算机程序根据需要被安装入存储部分1308。
本发明还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的;也可以是单独存在,而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本发明实施例的方法。
根据本发明的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。例如,根据本发明的实施例,计算机可读存储介质可以包括上文描述的ROM 1302和/或RAM 1303和/或ROM 1302和RAM 1303以外的一个或多个存储器。
本发明的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机***中运行时,该程序代码用于使计算机***实现本发明实施例所提供的遥感模糊图像复原方法。
在该计算机程序被处理器1301执行时执行本发明实施例的***/装置中限定的上述功能。根据本发明的实施例,上文描述的***、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分1309被下载和安装,和/或从可拆卸介质1311被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分1309从网络上被下载和安装,和/或从可拆卸介质1311被安装。在该计算机程序被处理器1301执行时,执行本发明实施例的***中限定的上述功能。根据本发明的实施例,上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本发明的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本发明中。特别地,在不脱离本发明精神和教导的情况下,本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上对本发明的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本发明的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本发明的范围之内。

Claims (9)

1.一种遥感模糊图像复原方法,应用于上位机,其特征在于,所述方法包括:
根据点扩散函数,对模糊图像进行全变差正则化,得到第一复原图像,所述模糊图像是从图像采集装置获取得到的;
根据所述模糊图像的边缘信息,对所述模糊图像进行复原,得到边缘复原图像和无边缘复原图像,所述边缘复原图像是对所述模糊图像的边缘信息进行复原得到的,所述无边缘复原图像是对去除边缘信息的所述模糊图像进行复原得到的;
将所述边缘复原图像和所述无边缘复原图像进行叠加,得到第二复原图像;
将模糊图像的平滑域与所述第一复原图像做与运算,得到第一复原图像的平滑域;
将模糊图像的纹理域与所述第二复原图做与运算,得到第二复原图像的纹理域;以及
将所述第一复原图像的平滑域和所述第二复原图像的纹理域进行融合,得到目标复原图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述模糊图像的边缘信息,对所述模糊图像进行复原,得到边缘复原图像和无边缘复原图像包括:
根据所述模糊图像的边缘信息,通过Canny算法对所述模糊图像进行边缘提取,得到与所述边缘信息对应的边缘模糊图像;
将所述模糊图像与所述边缘模糊图像做差运算,得到无边缘模糊图像;以及
对所述边缘模糊图像和所述无边缘模糊图像分别进行全变差正则化,得到与所述边缘模糊图像对应的边缘复原图像、与所述无边缘模糊图像对应的无边缘复原图像。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过局部熵形态学操作,对所述模糊图像进行分割,得到所述模糊图像的平滑域和所述模糊图像的纹理域。
4.根据权利要求3所述的方法,其特征在于,所述模糊图像包括至少一个模糊子图像,所述通过局部熵形态学操作,对所述模糊图像进行分割,得到所述模糊图像的平滑域和所述模糊图像的纹理域包括:
将所述模糊子图像的邻域灰度均值和像素灰度组成特征二元组;
根据所述模糊子图像的尺度和所述特征二元组出现的频数,计算得到特征二元组出现的频率;
根据所述特征二元组出现的频率,对所述模糊子图像进行熵计算,得到局部熵子图像,其中熵计算公式如下:
p ij 表示特征二元组为(i, j)出现的概率,计算局部熵是以像素点为中心的N*N的区域进行熵计算,H表示所述模糊子图像的熵,L表示所述模糊子图像的像素灰度等级;以及
根据所述局部熵子图像,得到所述模糊图像的平滑域和所述模糊图像的纹理域。
5.根据权利要求4所述的方法,其特征在于,所述根据所述局部熵子图像,得到所述模糊图像的平滑域和所述模糊图像的纹理域包括:
对所述局部熵图像进行开运算,得到待处理图像,所述局部熵图像包括至少一个所述局部熵子图像;
利用二值图像孔洞填充函数,对所述待处理图像的孔洞进行填充,得到所述模糊图像的纹理域;以及
对所述模糊图像的纹理域进行取反操作,得到所述模糊图像的平滑域。
6.根据权利要求1所述的方法,其特征在于,所述将所述第一复原图像的平滑域和所述第二复原图像的纹理域进行融合,得到目标复原图像,其中融合计算公式如下:
I1表示所述第一复原图像,P表示为所述第一复原图像的平滑区域,I2表示所述第二复原图像,W表示为所述第二复原图像的纹理区域,I3表示所述目标复原图像。
7.根据权利要求1所述的方法,其特征在于,所述根据点扩散函数,对模糊图像进行全变差正则化,得到第一复原图像,还包括:
获取所述图像采集装置采集所述模糊图像的曝光时间;
从数据采集装置获取所述图像采集装置在所述曝光时间内的角速度信息,所述角速度信息是通过角速度传感器采集得到的;
根据所述图像采集装置的初始角位移、所述曝光时间和所述角速度信息,得到曝光角位移,所述曝光角位移为所述图像采集装置在所述曝光时间内的角位移;
根据所述图像采集装置的焦距、所述曝光角位移,得到在所述曝光时间内的像位移,所述像位移为所述模糊图像在所述曝光时间内发生的位移量;以及
根据所述像位移、所述模糊图像中像元的宽度和可调参数,构建所述点扩散函数。
8.一种遥感模糊图像复原***,其特征在于,所述***包括:
单轴角振动平台,
图像采集装置,安装在所述单轴角振动平台上,所述单轴角振动平台被配置为驱动所述图像采集装置转动,所述图像采集装置被配置为采集模糊图像;
上位机,与所述图像采集装置电连接,被配置为接收所述模糊图像,并执行权利要求1~7中任一项所述的方法对所述模糊图像进行处理,得到目标复原图像。
9.根据权利要求8所述的***,其特征在于,所述***还包括:
角速度传感器,安装在所述图像采集装置与所述单轴角振动平台之间,所述单轴角振动平台被配置为通过所述角速度传感器驱动所述图像采集装置转动,所述角速度传感器适用于在曝光时间内对所述图像采集装置进行角速度信息采集;
数据采集装置,与所述上位机和所述角速度传感器电连接,所述数据采集装置被配置为将从所述角速度传感器获取得到的所述角速度信息传输至所述上位机。
CN202410001280.1A 2024-01-02 2024-01-02 遥感模糊图像复原方法及*** Active CN117495713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410001280.1A CN117495713B (zh) 2024-01-02 2024-01-02 遥感模糊图像复原方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410001280.1A CN117495713B (zh) 2024-01-02 2024-01-02 遥感模糊图像复原方法及***

Publications (2)

Publication Number Publication Date
CN117495713A CN117495713A (zh) 2024-02-02
CN117495713B true CN117495713B (zh) 2024-04-19

Family

ID=89685377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410001280.1A Active CN117495713B (zh) 2024-01-02 2024-01-02 遥感模糊图像复原方法及***

Country Status (1)

Country Link
CN (1) CN117495713B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156965A (zh) * 2011-04-02 2011-08-17 北京理工大学 一种存在运动物体的场景运动模糊图像恢复方法
CN110097509A (zh) * 2019-03-26 2019-08-06 杭州电子科技大学 一种局部运动模糊图像的复原方法
CN111080532A (zh) * 2019-10-16 2020-04-28 北京理工大学深圳研究院 基于理想边缘外推的遥感影像超分辨率复原方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156965A (zh) * 2011-04-02 2011-08-17 北京理工大学 一种存在运动物体的场景运动模糊图像恢复方法
CN110097509A (zh) * 2019-03-26 2019-08-06 杭州电子科技大学 一种局部运动模糊图像的复原方法
CN111080532A (zh) * 2019-10-16 2020-04-28 北京理工大学深圳研究院 基于理想边缘外推的遥感影像超分辨率复原方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BLIND IMAGE RESTORATION OF BLURRED IMAGES USING FAILING DETECTION PROCESS;Takahiro Nagata et al.;《2018 IEEE Global Conference on Signal and Information Processing (GlobalSIP)》;20190221;第16-20页 *
Restoration of Motion Blurred Images Based on Rich Edge Region Extraction Using a Gray-Level Co-OccurrenceMatrix;Minghua Zhao et al.;《IEEE Access ( Volume: 6 )》;20180314;第6卷;第15532 - 15540页 *
基于 MHD 角速度传感器的面阵相机模糊图像复原;赵苓等;《天津大学学报(自然科学与工程技术版)》;20230831;第56卷(第08期);第796-806页 *
基于多通道空间光谱全变差的衍射光谱图像复原算法;王旭等;《计 算 机 研 究 与 发 展》;20201231;第57卷(第2期);第413-423页 *
基于振铃约束的全变差正则化图像去模糊算法;杨竹青等;《太赫兹科学与电子信息学报》;20210630;第19卷(第3期);第490-496页 *

Also Published As

Publication number Publication date
CN117495713A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
JP6605640B2 (ja) 制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法
Oliveira et al. Parametric blur estimation for blind restoration of natural images: Linear motion and out-of-focus
US9998666B2 (en) Systems and methods for burst image deblurring
Delbracio et al. Removing camera shake via weighted fourier burst accumulation
US10852208B2 (en) Quantifying gas leak rates using frame images acquired by a camera
Hardie et al. Fast super-resolution using an adaptive Wiener filter with robustness to local motion
Fishbain et al. Real-time stabilization of long range observation system turbulent video
Hassan et al. Single image defocus estimation by modified Gaussian function
Sun et al. Vision‐based displacement measurement enhanced by super‐resolution using generative adversarial networks
Kapuriya et al. Detection and restoration of multi-directional motion blurred objects
Kozacik et al. Comparison of turbulence mitigation algorithms
CN112435278B (zh) 一种基于动态目标检测的视觉slam方法及装置
WO2021183283A1 (en) Automatic fisheye camera calibration for video analytics
CN117495713B (zh) 遥感模糊图像复原方法及***
Du et al. A motion-blurred restoration method for surface damage detection of wind turbine blades
Halder et al. Model-free prediction of atmospheric warp based on artificial neural network
CN114677590A (zh) 遥感图像处理方法、装置、设备及介质
Wang et al. Single-frame super-resolution for high resolution optical remote-sensing data products
CN114549613A (zh) 基于深度超分辨率网络的结构位移测量方法及装置
CN114862686A (zh) 图像处理方法、装置及电子设备
US10721419B2 (en) Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image
Sörös et al. Multiframe visual-inertial blur estimation and removal for unmodified smartphones
Kirichuk et al. Algorithm of image reconstruction in the problem of object detection during circular microscanning
Wang et al. Multi-frame image restoration based on a new degradation model of hazy and blurred image
Woods et al. Spatial-frequency-based metric for image superresolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant