CN107292839B - 一种基于图像块自适应调整的tdi颤振图像复原方法 - Google Patents
一种基于图像块自适应调整的tdi颤振图像复原方法 Download PDFInfo
- Publication number
- CN107292839B CN107292839B CN201710424251.6A CN201710424251A CN107292839B CN 107292839 B CN107292839 B CN 107292839B CN 201710424251 A CN201710424251 A CN 201710424251A CN 107292839 B CN107292839 B CN 107292839B
- Authority
- CN
- China
- Prior art keywords
- row
- image
- flutter
- line
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000000694 effects Effects 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims 2
- 238000003384 imaging method Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像块自适应调整的TDI颤振图像复原方法。在TDI颤振遥感成像中,由于TDI相机的逐行推扫特性,颤振图像每行的模糊核都存在差异,对颤振图像采用逐行恢复可以大大提高图像复原效果。当行间模糊核差异性较小时,适当增加当前行的待复原图像块行数,有利于提高图像的复原效果;当行间模糊核差异性较大时,图像块行数的增加对图像复原效果没有显著作用。而图像块行数的增加会延长图像整体复原时间。通过构建模糊核之间的相似程度公式,比较颤振图像行与行之间的模糊核差异程度,决定用来复原当前行所需的图像块尺寸,实现遥感颤振图像逐行恢复过程中图像块尺寸的自适应调节,可以在保证图像复原效果的同时兼顾复原时间。
Description
技术领域
本发明属于遥感图像处理领域,尤其涉及一种根据行间模糊核相似程度,逐行构建尺寸自适应的图像块用于TDI颤振图像复原的方法。
背景技术
由于国家安全和国防建设的需求,高分辨对地观测技术已经作为我国国防科技工业的重点完成任务之一,但是卫星上的颤振制约高分辨对地观测能力,已经成为影响卫星光学成像质量的重要因素之一。TDI-CCD相机作为卫星上可见光成像的一种重要载荷,其基于对同一目标多次曝光,通过延迟积分的方法增加光能收集。但当卫星存在颤振的情况下,曝光时间的增加会加重图像的模糊效果。同时由于TDI相机采用逐行推扫成像的方法,其获得的图像每行模糊核都存在差异。
针对遥感卫星中,TDI-CCD相机获得的图像模糊不清,且图像的点扩散函数(PSF)存在空间变化性的问题。目前,已采用根据颤振路径获得模糊核,对模糊图像实现逐行复原的方法。颤振路径的探测方面,主要有基于梯度的多幅图像配准、相位幅角相关匹配等方法。图像去模糊方面,主要采用维纳滤波、Richardson-Lucy(RL)算法、全变分方法等。由于维纳滤波、RL算法能过对图像实现快速复原,但会产生大量振铃,当待复原图像块尺寸比较小时,对图像的复原效果相对不稳定;全变分方法能够确保振铃有效抑制,但难以恢复图像细节。在对图像进行逐行去模糊的过程中,提取的待复原图像块尺寸一般固定不变,如果选择的尺寸值较大,则图像复原时间较长;如果选择的尺寸值较小,则图像的复原效果可能较差。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于图像块自适应调整的TDI颤振图像复原方法,在图像PSF空间变化的情况下,对逐行进行复原的图像块实现自适应控制尺寸,保证图像复原效率的同时,提高TDI颤振图像的复原效果。
本发明的目的是通过以下技术方案来实现的:一种基于图像块自适应调整的TDI颤振图像复原方法,该方法包括以下步骤:
1)获取颤振路径,同时根据颤振路径计算TDI颤振图像每行的模糊核;分别将各行模糊核像素信息、模糊核尺寸信息构建成矩阵;
2)逐行获得模糊核沿推扫方向的尺寸,计算模糊核沿推扫方向上的边缘区域的像素值与总像素值的比值w;判断w与阈值w0的大小,w>w0时执行步骤3),否则进入下一行;w0≥0.1;
3)计算行间模糊核相似程度ks,判断ks与阈值ks0的大小,ks>ks0时,增加图像块尺寸,否则,图像块尺寸不变或减小;ks0在0.7到0.9之间;
4)利用图像块对颤振图像实现逐行复原。
进一步地,所述的步骤2)中,所述边缘区域为模糊核除中间三行外的区域,设待复原行模糊核沿推扫方向的尺寸大小为h,在对颤振图像进行逐行复原过程中,如果h值小于等于3像素,则表明沿推扫方向上的TDI颤振很小,图像块行数的增加对图像复原效果无影响,直接取以待复原行为中间行,长度为4h,宽度为颤振图像列数的图像块;如果h值大于3像素,则计算模糊核中间三行外的像素值与总像素值的比值,如果比值大于0.1,则说明沿推扫方向的颤振较大,需要计算行间模糊核相似程度,判定待复原图像块的最佳尺寸;如果比值小于等于0.1,则说明沿推扫方向的颤振较小,直接取以待复原行为中间行,长为4h,宽为颤振图像列数的图像块用于复原。
进一步地,所述的步骤3)中,行间模糊核相似程度ks的计算公式如下:
其中,k1为待复原行的模糊核,k2为待复原行的邻近行的模糊核,i、j分别为模糊核中列向、行向的像素位置,r、c分别为k2相对于k1列向、行向的偏移量,表示L2正则化公式;如果矩阵ks(k1,k2)的行、列数为奇数,则用其中间值作为k1、k2的相似度程度判定;如果矩阵ks(k1,k2)的行、列数为偶数,则取其中间两行两列的最大值,作为k1、k2的相似度程度判定。
进一步地,所述的步骤3)中,与待复原行的距离在h以内的邻近行,若其与待复原行之间的模糊核相似程度值小于等于0.7,则说明待复原行与邻近行之间的模糊核差异较大,设置与待复原行相距2h大小的行为图像块的边界行;若其与待复原行之间的模糊核相似程度值大于0.7,则不断扩展图像块尺寸,直到图像块上下边界行与待复原行的模糊核相似程度小于0.7,或者图像块上下边界行到待复原行的距离达到3h;若待复原行与其邻近行的模糊核大小持续保持在0.95及以上,说明两者的模糊核非常相似,可以将图像块上下边界行扩展至与待复原行的距离为4h大小。
本发明的意义是:由于TDI-CCD相机逐行推扫成像的特性,获得的颤振图像各行模糊核之间存在差异,需要对颤振图像进行逐行复原。逐行复原过程中,选取的图像块一般以待复原行为中心,模糊核推扫方向上尺寸的四倍为长度,颤振图像列数为宽度。但实验发现,待复原图像块的长度和行间模糊核的差异程度共同影响颤振图像的复原效果:当行间模糊核非常相似时,适当增加待复原图像块的尺寸可以有效提高图像复原效果;当行间模糊核相差很大时,增加图像块尺寸对图像的恢复效果没有作用,甚至可能降低图像复原效果。卫星的颤振路径具有随机性,因此获得的颤振图像行间模糊核的差异程度也存在随机性,这时就需要构建判定行间模糊核相似程度的公式,通过行间模糊核的相似程度,自适应调整待复原图像块尺寸,保证在复原效率相对高的情况下,提高TDI颤振图像复原效果。
附图说明
图1为本发明通过构建模糊核相似程度实现自适应调整待复原图像块尺寸的流程图;
图2为本发明选取的TDI颤振路径图,(a)为沿推扫方向的颤振路径图,(b)为垂直于推扫方向的颤振路径图;
图3为本发明的遥感图像清晰图;
图4为本发明的遥感图像颤振图;
图5为本发明的最终图像复原图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
本发明提供的一种基于图像块自适应调整的TDI颤振图像复原方法,该方法包括以下步骤:
1)获取颤振路径,同时根据颤振路径计算TDI颤振图像每行的模糊核;分别将各行模糊核像素信息、模糊核尺寸信息构建成矩阵;
2)逐行获得模糊核沿推扫方向的尺寸,计算模糊核沿推扫方向上的边缘区域的像素值与总像素值的比值w;判断w与阈值w0的大小,w>w0时执行步骤3),否则进入下一行;w0≥0.1;
3)对TDI颤振图像进行逐行去模糊的过程中,计算待复原行的模糊核与其邻近行的模糊核相似情况,即计算行间模糊核相似程度ks,判断ks与阈值ks0的大小,ks>ks0时,增加图像块尺寸,否则,图像块尺寸不变或减小;ks0在0.7到0.9之间;
4)利用图像块对颤振图像实现逐行复原。
进一步地,所述的步骤2)中,所述边缘区域为模糊核除中间三行外的区域;因为TDI-CCD相机的逐行扫描特性,模糊核沿推扫方向的尺寸大小即为模糊核行数,设为h;在对颤振图像进行逐行复原过程中,如果h值小于等于3像素,则表明沿推扫方向上的TDI颤振很小,图像块行数的增加对图像复原效果无影响,直接取以待复原行为中间行,长度为4h,宽度为颤振图像列数的图像块;如果h值大于3像素,则计算模糊核中间三行外的像素值与总像素值的比值,如果比值大于0.1,则说明沿推扫方向的颤振较大,需要计算行间模糊核相似程度,判定待复原图像块的最佳尺寸;如果比值小于等于0.1,则说明沿推扫方向的颤振较小,直接取以待复原行为中间行,长为4h,宽为颤振图像列数的图像块用于复原。
进一步地,所述的步骤3)中,行间模糊核相似程度ks的计算公式如下:
其中,k1为待复原行的模糊核,k2为待复原行的邻近行的模糊核,i、j分别为模糊核中列向、行向的像素位置,r、c分别为k2相对于k1列向、行向的偏移量,表示L2正则化公式;如果矩阵ks(k1,k2)的行、列数为奇数,则用其中间值作为k1、k2的相似度程度判定;如果矩阵ks(k1,k2)的行、列数为偶数,则取其中间两行两列的最大值,作为k1、k2的相似度程度判定。
进一步地,所述的步骤3)中:
与待复原行的距离在h以内的邻近行,若其与待复原行之间的模糊核相似程度值小于等于0.7,则说明待复原行与邻近行之间的模糊核差异较大,设置与待复原行相距2h大小的行为图像块的边界行;
若其与待复原行之间的模糊核相似程度值大于0.7,则不断扩展图像块尺寸,直到图像块上下边界行与待复原行的模糊核相似程度小于0.7,或者图像块上下边界行到待复原行的距离达到3h;
若待复原行与其邻近行的模糊核相似程度值持续保持在0.95及以上,说明两者的模糊核非常相似,可以将图像块上下边界行扩展至与待复原行的距离为4h大小。
进一步地,所述的步骤4)具体为:
(4.1)根据颤振路径信息,对颤振图像逐行消形变;
逐行复原过程中,计算当前行模糊核中心的沿推扫方向(横向)偏移量和垂直推扫方向(纵向)偏移量,将待复原图像块根据偏移量实现平移。
(4.2)利用去模糊公式,对颤振图像逐行去模糊。
去模糊公式采用数值保真项优化的TDI遥感图像复原方法,公式如下:
上述公式中,第一项为数值保真项,第二项为正则化项。I表示原始清晰图像,B为模糊图像,k为卷积核,包含了0阶到2阶的偏微分算子,μ为正则项权重因子,为梯度算子,表示0到2阶偏微分算子对应的的数值保真项所占的权重。
实施例1
本实施例中,根据模糊核相似程度自适应控制待复原图像块尺寸的具体步骤如图1所示,应用本发明的方法实现TDI颤振图像复原的具体步骤如下:
步骤1:根据颤振路径获得图像每行的模糊核大小。本实施例采用两种不同正弦函数组合而成的颤振路径,对遥感图像进行颤振。
组合后的颤振路径公式如下,路径图参见图2。
motionx=amp1*cos(degree1)*sin(2π*freq1*t*x+phase1)+amp2*cos(degree2)*sin(2π*freq2*t*x+phase2);
motiony=amp1*sin(degree1)*sin(2π*freq1*t*x+phase1)+amp2*sin(degree2)*sin(2π*freq2*t*x+phase2);
motion=motionx+motiony;
上述公式中,amp1、amp2为颤振振幅,degree1、degree2为两种正弦函数运动方向与推扫方向的夹角,freq1、freq2为颤振频率,phase1、phase2为颤振相位,t为遥感图像单行积分时间,x为从1到图像行数和积分级数总和的间隔为1的向量,motionx、motiony分别表示垂直于推扫方向和沿推扫方向的颤振路径,motion为实际颤振路径。
由于TDI-CCD相机的逐行推扫特性,遥感图像成像过程中每行受到的颤振模糊都不同,根据遥感图像各行的颤振路径获得其模糊核信息。
原始清晰遥感图像和颤振后的遥感图像参见图3、图4。
步骤2:设模糊核沿推扫方向上的尺寸为h。在对TDI颤振图像进行逐行复原过程中,判断颤振图像模糊核推扫方向上的尺寸h的大小:如果h小于等于3,则表明沿推扫方向上的颤振很小,待复原图像块行数取4h;如果h大于3,计算推扫方向上除中间三行外的值占总值的比重。如果比值小于0.1,则表明沿推扫方向的颤振较小,可以忽略,待复原图像块行数大小直接取4h。如果比值大于等于0.1,则表明沿推扫方向的颤振不可忽视,待复原图像块的行数大小可能影响图像的复原效果,进入步骤3。
步骤3:利用构建的模糊核相似程度公式测量行间模糊核的差异性情况。行间模糊核相似程度公式如下:
其中,k1、k2为颤振图像两行的模糊核,i、j分别为模糊核中列向、行向的像素位置,r、c分别为k2相对于k1列向、行向的偏移量,表示L2正则化公式。设定k1的行数、列数分别为kr1、kc1,k2的行数、列数分别为kr2、kc2,ks(k1,k2)矩阵中第(kr1+kr2)/2行到第(kr1+kr2)/2+2行,第(kc1+kc2)/2列到第(kc1+kc2)/2+2列中的最大值,作为模糊核k1、k2之间相似程度判据。
当复原颤振图像每一行时,利用上述模糊核相似程度公式计算获得当前行与邻近行的模糊核相似程度。先计算当前行以上,与当前行距离为1到2h的临近行和当前行的模糊核相似情况,如果相似程度值小于等于0.7,则直接采用待复原图像块的上行距离当前行为2h;如果相似程度值大于0.7时,不断向上扩展图像块行数,并计算该行与当前行的模糊核相似程度情况,直到当前行与图像块最上行的相似程度值小于0.7或者图像块最上行距离当前行为3h;如果相似程度值持续在0.95以上,则将图像块最上行与当前行的距离延伸到4h。待复原图像块的最下行选取与其最上行选取一致。
步骤4:利用去模糊算法对颤振图像实现逐行去模糊,最终的遥感颤振复原图参见图5。去模糊方法采用数值保真项优化的TDI遥感图像复原方法,公式如下:
Claims (3)
1.一种基于图像块自适应调整的TDI颤振图像复原方法,其特征在于,该方法包括以下步骤:
1)获取颤振路径,同时根据颤振路径计算TDI颤振图像每行的模糊核;分别将各行模糊核像素信息、模糊核尺寸信息构建成矩阵;
2)逐行获得模糊核沿推扫方向的尺寸,计算模糊核沿推扫方向上的边缘区域的像素值与总像素值的比值w;判断w与阈值w0的大小,w>w0时执行步骤3),否则进入下一行;w0≥0.1;所述边缘区域为模糊核除中间三行外的区域,设待复原行模糊核沿推扫方向的尺寸大小为h;
3)计算行间模糊核相似程度ks,判断ks与阈值ks0的大小,ks>ks0时,增加图像块尺寸,否则,图像块尺寸不变或减小;ks0在0.7到0.9之间;具体为:与待复原行的距离在h以内的邻近行,若其与待复原行之间的模糊核相似程度值小于等于0.7,则说明待复原行与邻近行之间的模糊核差异较大,设置与待复原行相距2h大小的行为图像块的边界行;若其与待复原行之间的模糊核相似程度值大于0.7,则不断扩展图像块尺寸,直到图像块上下边界行与待复原行的模糊核相似程度小于0.7,或者图像块上下边界行到待复原行的距离达到3h;若待复原行与其邻近行的模糊核大小持续保持在0.95及以上,说明两者的模糊核非常相似,可以将图像块上下边界行扩展至与待复原行的距离为4h大小;
4)利用图像块对颤振图像实现逐行复原。
2.根据权利要求1所述的一种基于图像块自适应调整的TDI颤振图像复原方法,其特征在于,所述的步骤2)中,在对颤振图像进行逐行复原过程中,如果h值小于等于3像素,则表明沿推扫方向上的TDI颤振很小,图像块行数的增加对图像复原效果无影响,直接取以待复原行为中间行,长度为4h,宽度为颤振图像列数的图像块;如果h值大于3像素,则计算模糊核中间三行外的像素值与总像素值的比值,如果比值大于0.1,则说明沿推扫方向的颤振较大,需要计算行间模糊核相似程度,判定待复原图像块的最佳尺寸;如果比值小于等于0.1,则说明沿推扫方向的颤振较小,直接取以待复原行为中间行,长为4h,宽为颤振图像列数的图像块用于复原。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710424251.6A CN107292839B (zh) | 2017-06-07 | 2017-06-07 | 一种基于图像块自适应调整的tdi颤振图像复原方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710424251.6A CN107292839B (zh) | 2017-06-07 | 2017-06-07 | 一种基于图像块自适应调整的tdi颤振图像复原方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107292839A CN107292839A (zh) | 2017-10-24 |
CN107292839B true CN107292839B (zh) | 2020-01-14 |
Family
ID=60096176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710424251.6A Expired - Fee Related CN107292839B (zh) | 2017-06-07 | 2017-06-07 | 一种基于图像块自适应调整的tdi颤振图像复原方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107292839B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107966137B (zh) * | 2017-11-22 | 2019-05-31 | 安徽农业大学 | 一种基于tdiccd拼接区图像的卫星平台颤振探测方法 |
CN110233964A (zh) * | 2019-05-29 | 2019-09-13 | 天津大学 | 一种应用于tdi cmos图像传感器的防抖动方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101742050A (zh) * | 2009-12-03 | 2010-06-16 | 浙江大学 | 针对运动模糊核空间移变的tdiccd图像复原方法 |
-
2017
- 2017-06-07 CN CN201710424251.6A patent/CN107292839B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101742050A (zh) * | 2009-12-03 | 2010-06-16 | 浙江大学 | 针对运动模糊核空间移变的tdiccd图像复原方法 |
Non-Patent Citations (2)
Title |
---|
Good Regions to Deblur;Zhe Hu等;《Computer Vision-ECCV 2012》;20121231;第59-72页 * |
光学遥感运动退化成像仿真与图像复原技术;叶鹏钊;《中国博士学位论文全文数据库信息科技辑》;20170401;第63-67页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107292839A (zh) | 2017-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2535864B1 (en) | Image processing device and method | |
CN111510691B (zh) | 颜色插值方法及装置、设备、存储介质 | |
US8675997B2 (en) | Feature based image registration | |
JP5047287B2 (ja) | 動き解析への用途を有するスパース積分画像記述子 | |
CN111164959B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
CN106934771B (zh) | 一种基于局部相关性的红外图像条纹噪声去除方法 | |
CN105608689B (zh) | 一种全景拼接消除图像特征误匹配方法及装置 | |
US20170032503A1 (en) | System and method for images distortion correction | |
CN107784631B (zh) | 图像去模糊方法及装置 | |
CN107292839B (zh) | 一种基于图像块自适应调整的tdi颤振图像复原方法 | |
CN103561194A (zh) | 一种基于自适应滤波的扫描图像去网纹方法 | |
CN113454687A (zh) | 图像处理方法、装置和***,计算机可读存储介质 | |
CN115294149A (zh) | 一种天文图像背景提取方法及*** | |
CN105279742B (zh) | 一种快速的基于分块噪声能量估计的图像去噪方法 | |
JP6375138B2 (ja) | パープルフリンジ除去処理方法及びその処理を遂行するパープルフリンジ除去処理装置 | |
CN106920213B (zh) | 一种高分辨率图像的获取方法及*** | |
Panagiotopoulou et al. | Super-resolution image reconstruction employing Kriging interpolation technique | |
JP2020091910A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN113066014A (zh) | 一种图像超分辨方法及装置 | |
CN101364303B (zh) | 边缘像素提取及处理方法 | |
Schöberl et al. | Sparsity-based defect pixel compensation for arbitrary camera raw images | |
KR101444850B1 (ko) | 불량화소 보정 장치 및 방법 | |
JPWO2006117844A1 (ja) | 画像処理装置、画像処理方法、及び情報端末装置 | |
CN113375808B (zh) | 一种基于场景的红外图像非均匀性校正方法 | |
Xu et al. | Interlaced scan CCD image motion deblur for space-variant motion blurs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200114 Termination date: 20210607 |
|
CF01 | Termination of patent right due to non-payment of annual fee |