CN113344779B - 基于卡通纹理分解和深度学习的sar图像超分辨方法及*** - Google Patents
基于卡通纹理分解和深度学习的sar图像超分辨方法及*** Download PDFInfo
- Publication number
- CN113344779B CN113344779B CN202110505235.6A CN202110505235A CN113344779B CN 113344779 B CN113344779 B CN 113344779B CN 202110505235 A CN202110505235 A CN 202110505235A CN 113344779 B CN113344779 B CN 113344779B
- Authority
- CN
- China
- Prior art keywords
- image
- cartoon
- texture
- resolution
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 82
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像超分辨领域,提供了一种基于卡通纹理分解和深度学习的SAR图像超分辨方法及***。该方法包括,获取SAR图像的高分辨率图像HR和低分辨率图像LR,构成LR‑HR图像对,构建训练集和测试集;分别对高分辨率图像HR和低分辨率图像LR进行卡通纹理分解;构建深度学习网络模型,采用训练集对构建深度学习网络模型进行训练,包括:将LR‑HR卡通图像对输入深度学习网络模型的卡通图像处理网络进行训练,将LR‑HR纹理图像对输入深度学习网络模型的纹理图像处理网络进行训练,调整模型参数,直至深度学习网络模型收敛,得到训练完成后的深度学习网络模型;将待处理的SAR图像输入训练后的深度学习网络模型,得到超分辨SAR图像。
Description
技术领域
本发明属于图像超分辨领域,尤其涉及一种基于卡通纹理分解和深度学习的SAR图像超分辨方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
合成孔径雷达相对于光学雷达具有全天时、全天候对地监测的能力。它可以应用在灾后救援,军事侦察,非法船只偷渡监测等领域。通过从低分辨率SAR图像重建出高分辨率图像,可以增强图像的地物信息,提高图像的应用水平。通过软件的方法来提高SAR图像分辨率,可以降低成本。
现存的超分辨方法主要有基于插值的超分辨算法,基于重构的超分辨算法,基于深度学习的超分辨算法,由于基于深度学习的具有很多优点,是目前主流的一种方法。
但是,现存的深度学习网络大多针对整张图像做相同的处理,这就导致一张图像中光滑的部分在进行图像恢复时增加了运算复杂度。
发明内容
为了解决上述背景技术中存在的技术问题,本发明提供一种基于卡通纹理分解和深度学习的SAR图像超分辨方法及***,其首先将一张图像分为卡通部分和纹理部分,然后对每一部分做相应的处理,这样就可以减少整体的运算复杂度。
为了实现上述目的,本发明采用如下技术方案:
本发明的第一个方面提供一种基于卡通纹理分解和深度学习的SAR图像超分辨方法。
基于卡通纹理分解和深度学习的SAR图像超分辨方法,包括:
获取SAR图像的高分辨率图像HR和低分辨率图像LR,构成LR-HR图像对,构建训练集和测试集;
分别对高分辨率图像HR和低分辨率图像LR进行卡通纹理分解;
构建深度学习网络模型,采用训练集对构建深度学习网络模型进行训练,包括:将LR-HR卡通图像对输入深度学习网络模型的卡通图像处理网络进行训练,将LR-HR纹理图像对输入深度学习网络模型的纹理图像处理网络进行训练,调整模型参数,直至深度学习网络模型收敛,得到训练完成后的深度学习网络模型;
将待处理的SAR图像输入训练后的深度学习网络模型,得到超分辨SAR图像。
进一步的,所述低分辨率图像LR的获取包括:获取SAR图像的高分辨率图像HR,对高分辨率图像HR进行下采样,并将下采样后的图像扩展为所述高分辨率图像HR的尺寸,得到低分辨率图像LR,形成LR-HR图像对。
进一步的,所述对高分辨率图像HR进行卡通纹理分解包括,将高分辨率图像HR分解成卡通部分和纹理部分,得到HR卡通图像和HR纹理图像。
进一步的,所述对低分辨率图像LR进行卡通纹理分解包括,将低分辨率图像LR分解成卡通部分和纹理部分,得到LR卡通图像和LR纹理图像。
进一步的,所述卡通图像处理网络包括一层卷积层、六个残差模块和四个上采样模块,LR-HR卡通图像作为卷积层的输入特征,后接Rule函数作为激活函数,得到的信息作为第一个残差模块的输入信息,输入给残差模块的图像特征通过跳跃连接到本残差模块的输出部分,上一残差模块的输入信息和输出信息共同作为下一残差块的输入信息,上采样模块中的第一个卷积层的输入为最后一个残差模块的输出信息和第一个残差模块的输入信息。
进一步的,所述纹理图像处理网络一层卷积层、十二个残差模块和四个上采样模块,LR-HR纹理图像作为卷积层的输入特征,后接Rule函数作为激活函数,得到的信息作为第一个残差模块的输入信息,输入给残差模块的图像特征通过跳跃连接到本残差模块的输出部分,上一残差模块的输入信息和输出信息共同作为下一残差块的输入信息,上采样模块中的第一个卷积层的输入为最后一个残差模块的输出信息和第一个残差模块的输入信息。
进一步的,得到超分辨SAR图像的过程包括:将待处理的SAR图像进行卡通纹理分解,得到待处理的LR-卡通图像和LR-纹理图像,分别输入深度学习网络模型的卡通图像处理网络和纹理图像处理网络,得到HR-卡通图像和HR-纹理图像,将这两个图像进行叠加,得到超分辨率SAR图像。
本发明的第二个方面提供一种基于卡通纹理分解和深度学习的SAR图像超分辨***。
基于卡通纹理分解和深度学习的SAR图像超分辨***,包括:
获取模块,其被配置为:获取SAR图像的高分辨率图像HR和低分辨率图像LR,构成LR-HR图像对,构建训练集和测试集;
卡通纹理分解模块,其被配置为:分别对高分辨率图像HR和低分辨率图像LR进行卡通纹理分解;
模型构建与训练模块,其被配置为:构建深度学习网络模型,采用训练集对构建深度学习网络模型进行训练,包括:将LR-HR卡通图像对输入深度学习网络模型的卡通图像处理网络进行训练,将LR-HR纹理图像对输入深度学习网络模型的纹理图像处理网络进行训练,调整模型参数,直至深度学习网络模型收敛,得到训练完成后的深度学习网络模型;
超分辨SAR图像转化模块,其被配置为:将待处理的SAR图像输入训练后的深度学习网络模型,得到超分辨SAR图像。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一个方面所述的基于卡通纹理分解和深度学习的SAR图像超分辨方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述第一个方面所述的基于卡通纹理分解和深度学习的SAR图像超分辨方法中的步骤。
与现有技术相比,本发明的有益效果是:
本发明首先将一个图像分解成卡通部分和纹理部分,卡通部分包含图像的结构特征,图像光滑,重建简单;纹理部分包含纹理结构和噪声部分,图像重建复杂。这样可以对图像的两部分别处理,为每一部分选取更适合的网络结构,减少运算的复杂度;解决了现有技术直接针对整幅图像做超分辨重建,容易造成计算成本的浪费的问题。
本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1是本发明基于卡通纹理分解和深度学习的SAR图像超分辨方法的流程图;
图2是本发明基于卡通纹理分解和深度学习的SAR图像超分辨方法的算法图;
图3是本发明基于卡通纹理分解和深度学习的SAR图像超分辨方法的结构图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1-2所示,本实施例提供了一种基于卡通纹理分解和深度学***台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。本实施例中,该方法包括以下步骤:
S101:获取SAR图像的高分辨率图像HR和低分辨率图像LR,构成LR-HR图像对,构建训练集和测试集。
具体的,将500张SAR图像双三次下采样得到高分辨率图像对应的低分辨率图像,得到LR-HR(低分辨率-高分辨率)图像对。
示例的,用公式(1)进行下采样得到相应的低分辨率图像,得到400组LR-HR图像对作为训练集,100组LR-HR图像对作为测试集。
y=x↓s (1)
其中,y是低分辨率图像,x代表高分辨率图像。
S102:分别对高分辨率图像HR和低分辨率图像LR进行卡通纹理分解。
具体的,分别对得到LR、HR图像进行卡通纹理分解,将LR、HR图像分解为卡通部分和纹理部分,形成LR-卡通、HR-卡通图像对,LR-纹理、HR-纹理图像对。其中,卡通纹理分解方法为:判断原始图像中的每一个像素点,属于卡通部分还是纹理部分。计算每个像素点与其周围像素点共同的局部总变分,与一个通过低通滤波器后的图像的对应位置像素点的局部总变分进行比较,纹理部分像素点通过低通滤波器时,局部总变分会呈现非常强的衰减趋势。
S103:构建深度学习网络模型,采用训练集对构建深度学习网络模型进行训练,包括:将LR-HR卡通图像对输入深度学习网络模型的卡通图像处理网络进行训练,将LR-HR纹理图像对输入深度学习网络模型的纹理图像处理网络进行训练,调整模型参数,直至深度学习网络模型收敛,得到训练完成后的深度学习网络模型。
具体的,搭建超分辨率深度学习网络;初始化网络参数,确定损失函数;将LR-卡通、HR-卡通图像对输入卡通图像处理网络进行网络训练,将训练好的模型1进行保存;LR-纹理、HR-纹理图像对输入纹理图像处理网络进行训练,将训练好的模型2进行保存。
其中,初始化网络参数,包括学习率,终止学习率,超分辨率放大倍数scale,batch-size,采用Adam算法进行网络优化,损失函数为loss,确定参数后对网络分别进行训练。
式中,Yi代表高分辨率图像中第i点的像素值,代表经过网络处理之后估计图像第i点的像素值。
示例的,初始化学习速率为0.00001,终止学习速率为0.0000001,scale设定为4,batch size为48,采用Adam优化方法对损失函数loss进行优化。需要强调的是上述学习率,终止学习率,超分辨率放大倍数scale和batch-size参数数值的设定仅代表本发明的一种实施方案,而不应该理解为对本发明的限制。
纹理图像处理网络将SRResnet进行简化,包括12个残差模块,将其中的BN层去掉;卡通图像处理网络对纹理图像处理网络做进一步简化处理,包括6个参差块。上采样模块中都使用子像素卷积的方法。网络保存了SRResnet的部分特征结构。
示例的,如图3所示:本网络采用了SRResnet的部分特征结构,对其进行简化处理。网络1由卷积层、12个残差模块和4个上采样模块构成。网络2由卷积层、6个残差模块和4个上采样模块构成。原始图像作为第一个卷积层的输入特征,后接一个Rule函数作为激活,输出信息作为第一个残差模块的输入信息,输入给残差模块的图像特征通过跳跃连接到本残差模块的输出部分,上一残差模块的输入信息和输出信息共同作为下一残差块的输入信息。残差模块包含2个3×3的卷积层,第一个卷积层后接Rule作为激活函数,上采样模块由两个3×3的卷积层和一层子像素卷积层组成。上采样模块由两个3×3的卷积层和一个子像素卷积层组成,上采样模块中的第一个卷积层的输入为最后一个残差模块的输出信息和第一个残差模块的输入信息,上采样模块中第一个卷积层的输出作为子像素卷积的输入信息。
将LR-卡通、HR-卡通图像对输入卡通图像处理网络进行网络训练,优化模型参数直至训练完成,将训练好的模型1进行保存;LR-纹理、HR-纹理图像对输入纹理图像处理网络进行训练,优化模型参数直至训练完成,将训练好的模型2进行保存。
S104:将待处理的SAR图像输入训练后的深度学习网络模型,得到超分辨SAR图像。
具体的,输入待处理SAR图像,先对SAR图像进行卡通纹理分解,卡通部分用模型1进行处理,纹理部分用模型2进行处理,将模型1和模型2的输出图像进行叠加,可以得到所需的超分辨率SAR图像。
实施例二
本实施例提供了一种基于卡通纹理分解和深度学习的SAR图像超分辨***
基于卡通纹理分解和深度学习的SAR图像超分辨***,包括:
获取模块,其被配置为:获取SAR图像的高分辨率图像HR和低分辨率图像LR,构成LR-HR图像对,构建训练集和测试集;
卡通纹理分解模块,其被配置为:分别对高分辨率图像HR和低分辨率图像LR进行卡通纹理分解;
模型构建与训练模块,其被配置为:构建深度学习网络模型,采用训练集对构建深度学习网络模型进行训练,包括:将LR-HR卡通图像对输入深度学习网络模型的卡通图像处理网络进行训练,将LR-HR纹理图像对输入深度学习网络模型的纹理图像处理网络进行训练,调整模型参数,直至深度学习网络模型收敛,得到训练完成后的深度学习网络模型;
超分辨SAR图像转化模块,其被配置为:将待处理的SAR图像输入训练后的深度学习网络模型,得到超分辨SAR图像。
此处需要说明的是,上述获取模块、卡通纹理分解模块、模型构建与训练模块和超分辨SAR图像转化模块对应于实施例一中的步骤S101至S104,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
实施例三
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例一所述的基于卡通纹理分解和深度学习的SAR图像超分辨方法中的步骤。
实施例四
本实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述实施例一所述的基于卡通纹理分解和深度学习的SAR图像超分辨方法中的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.基于卡通纹理分解和深度学习的SAR图像超分辨方法,其特征在于,包括:
获取SAR图像的高分辨率图像HR和低分辨率图像LR,构成LR-HR图像对,构建训练集和测试集;
分别对高分辨率图像HR和低分辨率图像LR进行卡通纹理分解;
构建深度学习网络模型,采用训练集对构建深度学习网络模型进行训练,包括:将LR-HR卡通图像对输入深度学习网络模型的卡通图像处理网络进行训练,将LR-HR纹理图像对输入深度学习网络模型的纹理图像处理网络进行训练,调整模型参数,直至深度学习网络模型收敛,得到训练完成后的深度学习网络模型;具体的,搭建超分辨率深度学习网络;初始化网络参数,确定损失函数;将LR-卡通、HR-卡通图像对输入卡通图像处理网络进行网络训练,将训练好的卡通图像处理网络模型进行保存;LR-纹理、HR-纹理图像对输入纹理图像处理网络进行训练,将训练好的纹理图像处理网络进行保存;
其中,初始化网络参数,包括学习率,终止学习率,超分辨率放大倍数scale,batch-size,采用Adam算法进行网络优化,损失函数为loss,确定参数后对网络分别进行训练;
式中,Yi代表高分辨率图像中第i点的像素值,代表经过网络处理之后估计图像第i点的像素值;
纹理图像处理网络将SRResnet进行简化,包括卷积层、12个残差模块和4个上采样模块,将残差模块的BN层去掉;卡通图像处理网络对纹理图像处理网络做进一步简化处理,包括卷积层、6个残差模块和4个上采样模块;其中,残差模块包含2个3×3的卷积层,第一个卷积层后接Rule作为激活函数,上采样模块由两个3×3的卷积层和一层子像素卷积层组成;
将LR-卡通、HR-卡通图像对输入卡通图像处理网络进行网络训练,优化模型参数直至训练完成,将训练好的卡通图像处理网络模型进行保存;LR-纹理、HR-纹理图像对输入纹理图像处理网络进行训练,优化模型参数直至训练完成,将训练好的纹理图像处理网络模型进行保存;
将待处理的SAR图像输入训练后的深度学习网络模型,得到超分辨SAR图像;具体的,输入待处理SAR图像,先对SAR图像进行卡通纹理分解,卡通部分用卡通图像处理网络模型进行处理,纹理部分用纹理图像处理网络模型进行处理,将卡通图像处理网络模型和纹理图像处理网络模型的输出图像进行叠加,得到所需的超分辨率SAR图像。
2.根据权利要求1所述的基于卡通纹理分解和深度学习的SAR图像超分辨方法,其特征在于,所述低分辨率图像LR的获取包括:获取SAR图像的高分辨率图像HR,对高分辨率图像HR进行下采样,并将下采样后的图像扩展为所述高分辨率图像HR的尺寸,得到低分辨率图像LR,形成LR-HR图像对。
3.根据权利要求1所述的基于卡通纹理分解和深度学习的SAR图像超分辨方法,其特征在于,所述对高分辨率图像HR进行卡通纹理分解包括,将高分辨率图像HR分解成卡通部分和纹理部分,得到HR卡通图像和HR纹理图像。
4.根据权利要求1所述的基于卡通纹理分解和深度学习的SAR图像超分辨方法,其特征在于,所述对低分辨率图像LR进行卡通纹理分解包括,将低分辨率图像LR分解成卡通部分和纹理部分,得到LR卡通图像和LR纹理图像。
5.基于卡通纹理分解和深度学习的SAR图像超分辨***,其特征在于,包括:
获取模块,其被配置为:获取SAR图像的高分辨率图像HR和低分辨率图像LR,构成LR-HR图像对,构建训练集和测试集;
卡通纹理分解模块,其被配置为:分别对高分辨率图像HR和低分辨率图像LR进行卡通纹理分解;
模型构建与训练模块,其被配置为:构建深度学习网络模型,采用训练集对构建深度学习网络模型进行训练,包括:将LR-HR卡通图像对输入深度学习网络模型的卡通图像处理网络进行训练,将LR-HR纹理图像对输入深度学习网络模型的纹理图像处理网络进行训练,调整模型参数,直至深度学习网络模型收敛,得到训练完成后的深度学习网络模型;具体的,搭建超分辨率深度学习网络;初始化网络参数,确定损失函数;将LR-卡通、HR-卡通图像对输入卡通图像处理网络进行网络训练,将训练好的卡通图像处理网络模型进行保存;LR-纹理、HR-纹理图像对输入纹理图像处理网络进行训练,将训练好的纹理图像处理网络进行保存;
其中,初始化网络参数,包括学习率,终止学习率,超分辨率放大倍数scale,batch-size,采用Adam算法进行网络优化,损失函数为loss,确定参数后对网络分别进行训练;
式中,Yi代表高分辨率图像中第i点的像素值,代表经过网络处理之后估计图像第i点的像素值;
纹理图像处理网络将SRResnet进行简化,包括卷积层、12个残差模块和4个上采样模块,将残差模块的BN层去掉;卡通图像处理网络对纹理图像处理网络做进一步简化处理,包括卷积层、6个残差模块和4个上采样模块;其中,残差模块包含2个3×3的卷积层,第一个卷积层后接Rule作为激活函数,上采样模块由两个3×3的卷积层和一层子像素卷积层组成;
将LR-卡通、HR-卡通图像对输入卡通图像处理网络进行网络训练,优化模型参数直至训练完成,将训练好的卡通图像处理网络模型进行保存;LR-纹理、HR-纹理图像对输入纹理图像处理网络进行训练,优化模型参数直至训练完成,将训练好的纹理图像处理网络模型进行保存;
超分辨SAR图像转化模块,其被配置为:将待处理的SAR图像输入训练后的深度学习网络模型,得到超分辨SAR图像;具体的,输入待处理SAR图像,先对SAR图像进行卡通纹理分解,卡通部分用卡通图像处理网络模型进行处理,纹理部分用纹理图像处理网络模型进行处理,将卡通图像处理网络模型和纹理图像处理网络模型的输出图像进行叠加,得到所需的超分辨率SAR图像。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4中任一项所述的基于卡通纹理分解和深度学习的SAR图像超分辨方法中的步骤。
7.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-4中任一项所述的基于卡通纹理分解和深度学习的SAR图像超分辨方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110505235.6A CN113344779B (zh) | 2021-05-10 | 2021-05-10 | 基于卡通纹理分解和深度学习的sar图像超分辨方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110505235.6A CN113344779B (zh) | 2021-05-10 | 2021-05-10 | 基于卡通纹理分解和深度学习的sar图像超分辨方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113344779A CN113344779A (zh) | 2021-09-03 |
CN113344779B true CN113344779B (zh) | 2023-08-18 |
Family
ID=77470410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110505235.6A Active CN113344779B (zh) | 2021-05-10 | 2021-05-10 | 基于卡通纹理分解和深度学习的sar图像超分辨方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113344779B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114693547A (zh) * | 2022-03-03 | 2022-07-01 | 大连海事大学 | 基于图像超分辨的射频图像增强方法及射频图像识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107341765A (zh) * | 2017-05-05 | 2017-11-10 | 西安邮电大学 | 一种基于卡通纹理分解的图像超分辨率重建方法 |
CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
CN110310227A (zh) * | 2019-06-27 | 2019-10-08 | 电子科技大学 | 一种基于高低频信息分解的图像超分辨率重建方法 |
CN110766608A (zh) * | 2019-08-28 | 2020-02-07 | 西安理工大学 | 一种纹理分类的图像超分辨率重建的方法 |
-
2021
- 2021-05-10 CN CN202110505235.6A patent/CN113344779B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107341765A (zh) * | 2017-05-05 | 2017-11-10 | 西安邮电大学 | 一种基于卡通纹理分解的图像超分辨率重建方法 |
CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
CN110310227A (zh) * | 2019-06-27 | 2019-10-08 | 电子科技大学 | 一种基于高低频信息分解的图像超分辨率重建方法 |
CN110766608A (zh) * | 2019-08-28 | 2020-02-07 | 西安理工大学 | 一种纹理分类的图像超分辨率重建的方法 |
Non-Patent Citations (1)
Title |
---|
基于卡通纹理分解和稀疏表示的图像超分辨率重建;徐川;端木春江;;软件工程(第05期);第19-21页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113344779A (zh) | 2021-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111429347A (zh) | 图像超分辨率重建方法、装置及计算机可读存储介质 | |
US20190005619A1 (en) | Image upscaling system, training method thereof, and image upscaling method | |
CN107103585B (zh) | 一种图像超分辨率*** | |
CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
CN113421187B (zh) | 一种超分辨率重建方法、***、存储介质、设备 | |
CN113344779B (zh) | 基于卡通纹理分解和深度学习的sar图像超分辨方法及*** | |
CN112598602A (zh) | 一种基于掩码的深度学习视频去摩尔纹方法 | |
CN111738435A (zh) | 一种基于移动设备的在线稀疏训练方法及*** | |
CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及*** | |
CN114494022B (zh) | 模型训练方法、超分辨率重建方法、装置、设备及介质 | |
CN109993701B (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 | |
US20230306562A1 (en) | Systems, methods, and apparatuses for implementing self-supervised visual representation learning using order and appearance recovery on a vision transformer | |
Gu et al. | Super-resolution by predicting offsets: An ultra-efficient super-resolution network for rasterized images | |
Peng | Super-resolution reconstruction using multiconnection deep residual network combined an improved loss function for single-frame image | |
CN116091893A (zh) | 一种基于U-net网络的地震图像反褶积方法及*** | |
CN115511733A (zh) | 一种图像退化建模方法、神经网络训练方法和装置 | |
CN105894481B (zh) | 用于视频监控设备的直方图均衡化方法及装置 | |
CN111932473B (zh) | 一种多分辨率稀疏编码的相位信息降噪算法及存储介质 | |
CN115705616A (zh) | 基于结构一致性统计映射框架的真实图像风格迁移方法 | |
CN117474797B (zh) | 一种多尺度互补学习的图像去噪方法及装置 | |
CN107680058A (zh) | Ct图像去噪中基于格林空间的固定滞后平滑滤波方法 | |
CN116127273B (zh) | 积雪指数获取方法、装置、存储介质和设备 | |
CN116051662B (zh) | 图像处理方法、装置、设备和介质 | |
CN117893731B (zh) | 伪装目标检测网络优化方法、检测方法、电子设备及介质 | |
CN114419330B (zh) | 一种二维深度假图泛化检测方法、***、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |