CN115100301A - 基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及*** - Google Patents
基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及*** Download PDFInfo
- Publication number
- CN115100301A CN115100301A CN202210847465.5A CN202210847465A CN115100301A CN 115100301 A CN115100301 A CN 115100301A CN 202210847465 A CN202210847465 A CN 202210847465A CN 115100301 A CN115100301 A CN 115100301A
- Authority
- CN
- China
- Prior art keywords
- convolution
- image
- neural network
- fast fourier
- reconstructed image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000006835 compression Effects 0.000 title claims abstract description 14
- 238000007906 compression Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000005259 measurement Methods 0.000 claims abstract description 22
- 238000005070 sampling Methods 0.000 claims description 49
- 238000013527 convolutional neural network Methods 0.000 claims description 29
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000004913 activation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000013461 design Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000395036 Scaphochlamys Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及***。图像压缩感知方法包括:获取多个图像块测量值;对多个图像块测量值进行初始重建获得初始重建图像;基于快速傅里叶卷积对初始重建图像进行进一步重建获得傅里叶卷积重建图像;将傅里叶卷积重建图像输入基于卷积滤波流网络的像素级滤波器获得滤波处理结果,将滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。快速傅里叶卷积对初始重建图像进一步重建,快速傅里叶卷积感受野能够覆盖整个图像,有效利用了全局上下文信息,再通过像素级滤波器获取像素局部邻域的局部信息,两者结合有效提升压缩感知图像重建效果和视觉效果。
Description
技术领域
本发明属于图像压缩感知技术领域,尤其涉及一种基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及***。
背景技术
在图像压缩感知重建算法的研究中,一些传统的算法如MH(如2020年由W.Shi、F.Jiang、S.Liu等在IEEE Transactions on Image Processing上公开的论文“Imagecompressed sensing using convolutional neural network[J]”中有公开MH算法),大多从图像先验着手添加额外的优化方法或结合迭代阈值算法,其大多计算复杂度较高,图像重建质量不理想。基于深度学习的算法如ReconNet(如2016年K.Kulkarni、S.Lohit、P.Turaga等人在Proceedings ofthe IEEE Conference on ComputerVision and PatternRecognition(CVPR)上发表的论文“ReconNet:Non-iterative reconstruction of imagesfromcompressively sensedmeasurements[C]”,中有公开ReconNet算法),具有较低的计算成本,但大多数采用小感受野,导致损失了图像本身的非局部信息,重构质量不高,同时深度学习方法的可解释性较差这一问题还未得以解决。
发明内容
本发明旨在至少解决现有技术中存在的技术问题,提供一种基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及***。
为了实现本发明的上述目的,根据本发明的第一个方面,本发明提供了一种基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法,包括:获取多个图像块测量值;对多个图像块测量值进行初始重建获得初始重建图像;基于快速傅里叶卷积对初始重建图像进行进一步重建获得傅里叶卷积重建图像;将傅里叶卷积重建图像输入基于卷积滤波流网络的像素级滤波器获得滤波处理结果,将滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。
为了实现本发明的上述目的,根据本发明的第二个方面,本发明提供了一种快速傅里叶卷积与卷积滤波流的图像压缩感知***,包括:采样模块,用于对原始图像进行压缩采样获得多个图像块测量值;初始重建模块,用于对多个图像块测量值进行初始重建获得初始重建图像;傅里叶卷积重建模块,基于快速傅里叶卷积进一步对初始重建图像进行重建获得傅里叶卷积重建图像;像素级滤波器,对傅里叶卷积重建图像进行滤波处理,所述像素级滤波器采用卷积滤波流网络架构;融合模块,将像素级滤波器的滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。
上述技术方案:本发明在对图像进行初始重建后,基于快速傅里叶卷积进一步对初始重建图像进行重建,快速傅里叶卷积具有非局部感受野,感受野能够覆盖整个图像,有效利用了全局上下文信息,有助于提升重建图像质量,再通过像素级滤波器获取像素局部邻域的局部信息,具有良好的可解释性,快速傅里叶卷积和卷积滤波流结合充分利用信号的稀疏性以及信号自身的机构信息,有效提升压缩感知图像重建效果和视觉效果。
附图说明
图1是本发明一种优选实施方式中图像压缩感知方法的流程示意图;
图2是本发明一种优选实施方式中图像压缩感知方法的详细流程示意图;
图3是本发明一种优选实施方式中图像压缩感知***的结构框图;
图4是本发明一种优选实施方式中采样模块结构示意图;
图5是本发明一种优选实施方式中像素洗牌过程示意图;
图6是本发明一种优选实施方式中初始重建模块结构示意图;
图7是本发明一种优选实施方式中快速傅里叶卷积网络结构示意图;
图8是本发明一种优选实施方式中傅里叶卷积重建模块结构示意图;
图9是本发明一种优选实施方式中30%采样率下图像压缩感知***最终重建图像与滤波器流图。
附图说明:
C卷积层;B批归一化层(Batch Normalization,简称BN);R激活函数层;F实部快速傅里叶变换层;IF实部快速傅里叶逆变换层;U上采样层;M最大池化层。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
卷积神经网络作为深度学习的核心,是最近一些研究领域取得巨大进展的主要驱动力,而卷积神经网络的核心则是感受野,感受野是卷积神经网络特征映射的输入图像的区域。现代设计的卷积神经网络中大多采用具有小感受野的卷积层,这种局部操作在层数较少的情况下不能做到特征提取的长距离依赖,只能通过堆叠卷积层以达到线性或者指数增加感受野的大小,或通过使用空洞卷积来增加感受野。然而,对于压缩感知中的图像重建问题,对上下文信息是比较敏感的,小型感受野相对不利于图像重建,因为一个较大的感受野对于理解图像的全局结构,解决压缩感知的图像重建具有重要的作用。
快速傅里叶卷积(FastFourierConvolution,简称FFC)是近期提出的一种新型的卷积模块,如在2020年期刊IEEE Transactions on ImageProcessing,2020,29:375-388中公开了由W.Shi、F.Jiang、S.Liu等发表的论文“Image compressed sensing usingconvolutional neural network[J]”,该论文提出了快速傅里叶卷积,其优势是具有非局部的感受野,且在卷积单元内跨尺度特征融合。根据傅里叶理论中的频域卷积定理,仅需改变频域中的一个点即可影响空间域里的全局特征,快速傅里叶卷积允许图像范围内的接受域,能够覆盖整个图像,本申请发明人发现其甚至是可以在图像重建阶段的一些早期卷积层中使用。
本申请公开了一种快速傅里叶卷积网络结构,如图7所示。快速傅里叶卷积网络由两条相互并联的路径组成,一条路径为局部路径,其在一部分输入特征通道上进行普通卷积处理,另一条路径为全局路径,其在频谱域中运行操作。每条路径均可以捕获具有不用感受野的信息,并相互补充,且路径间的信息交换是在内部执行的。将输入图像X沿着特征通道维数分割为X={Xl,Xg},Xl用于局部路径学习,Xg用于在全局路径中捕获全局上下文信息。
在该快速傅里叶卷积网络结构中,如图7所示,局部路径包括两条并联的支路,每条支路上设置一个卷积层,两条支路输出的处理图像进行元素求和后再通过一个批归一化层和一个激活函数层获得局部张量Yl。全局路径也包括两条并联的支路,其中一条支路上设置一个卷积层,另一条支路上依次设置第一全局卷积层、第一全局批归一化层、第一全局激活层、全局残差网络、第二全局卷积层,全局残差网络包括依次连接的实部快速傅里叶变换层、第二全局卷积层、第二全局批归一化层、第二全局激活层、实部快速傅里叶逆变换层、全局元素求和单元以及跳线,该跳线将第一全局激活层的输出图像引入到全局元素求和单元与实部快速傅里叶逆变换层的输出图像进行元素求和,将求和结果再依次输入到一个批归一化层和一个激活层获得全局张量Yg,融合局部张量Yl和全局张量Yg获得快速傅里叶卷积网络输出图像。
设某个快速傅里叶卷积网络的输入特征图为其中,H×W是空间分辨率,C是特征通道数,首先沿着特征通道数的维度分割为X={Xl,Xg},局部部分被用于局部路径学习,被用于捕获全局上下文,αin∈[0,1],αin表示输入分配给全局路径的通道百分比。输出张量对应的Y={Yl,Yg}里面有局部分割输出和全局分割输出,输出的张量维度也由一个超参数αout∈[0,1],αout表示输出分配给全局路径的通道百分比,快速傅里叶卷积更新的过程可以表示为:
Yl=Yl→l+Yg→l=fl(Xl)+fg→l(Xg);
Yg=Yg→g+Yl→g=fg(Xg)+fl→g(Xl);
对于旨在捕获小尺度信息的Yl→l、通过路径间转换的分量Yg→l和Yl→g均使用普通的卷积,Yg→g为频谱转换器,目的是将原始空间特征转换为频谱域,某个使用加速版本的Cooley-Tukey算法的离散傅里叶变换,有效地将卷积的感受野扩展到输入特征图的全分辨率。如图7所示,在全局路径中使用实部快速傅里叶变换(real FFT)来解释全局上下文,其只使用一半的频谱,应用逆变换来恢复空间结构,保证输出为实值,最后再将全局路径和局部路径融合输出。
在图像压缩感知理论中,大多数现代研究图像逆问题的技术都将研究重点集中在计算优化的正则化技术上,有效利用好各类图像先验从而获得更好的图像重建效果,但带来的却是昂贵的计算代价。同时基于深度学习的压缩感知图像算法有效利用了数据驱动的方法,让图像重建可以更快速,但其缺乏可解释性和鲁棒性的保证。受到现有技术中卷积滤波流思想启发,如2009年S.M.Seitz、S.Baker等人在2009IEEE 12th InternationalConference on Computer Vision.Kyoto上发表的论文“Filter flow”文中公开的滤波器流思想,本申请提出了一种新的图像压缩感知卷积滤波流框架,卷积滤波流(Convolutional Filter Flow,CFF)既保留良好的可解释性以及对重建结果的控制,又保证了计算的快速推理。对于压缩感知中这类低级图像处理任务提供新的解决方案。
在卷积滤波流中,对输入图像的局部邻域中的像素进行线性组合,用来重建输出图像中对应位置的像素,与普通的卷积不同之处在于,滤波器的权重是随空间位置而变化的,本申请对给定的输入图像估计回归滤波器的权重。必要来说,卷积滤波流不关注原始图像与欠采样图像之间的流,而是关注整个卷积滤波流以及图像的变换。虽然卷积滤波流基于卷积神经网络,但是却不同于其他基于深度学习的压缩感知重建算法,因为卷积滤波流可以展示出从输入图像到输出重建图像的显式表述,其如何变换的是直观透明可以解释的。
其中,i,j控制着邻域的大小。卷积滤波流将图像变换I1→I2建模为一个线性映射,与前文描述一样,每个输出的像素只取决于对应输入像素的局部邻域,通过学习的方法找到这样的流可以被卷积滤波流框架求解为一个受约束的线性***。
I2=TI1,T∈Γ (2)
其中,T是一个矢量矩阵,其每一行定义了I1中像素的线性组合,作用于输入图像的矢量矩阵,在I2的适当位置生成像素。T∈Γ为整个附加约束集的占位符,例如普通的卷积对应的T通常是一个循环矩阵,其行为单个滤波器权重集的循环排列,这些滤波器权重通常被约束为具有紧凑的局部非零。式(2)看起来简化了,但在理论上直接求解是欠考虑的,比如当图像大小不一时,需要让滤波器在空间上进行变化,这就需要开展可学习的方法。
为了更好的估计输入图像与输出图像之间的变换,卷积滤波流通过学习的方式训练一个可学习的函数fw(·),w为卷积滤波流网络的超参数,卷积滤波流模型可以表示为:
需要给定图像对i=1,...,N,在压缩感知理论中,将退化图像作为I1,原始图像作为I2,构成图像训练对以寻找最优的参数w。在损失函数的设计上,力求最小化重建图像与原始图像I2之间的差值,损失函数设置为:
通过设计fw(·)的结构作为硬约束,选择合适的正则化项作为软约束。中每个像素仅依赖于I1中以对应像素为中心的局部邻域,相当于引入了对输出的每个像素仅依赖于对应输入像素局部邻域的结构约束,此邻域的大小也是一个超参数。
输入像素局部邻域的结构约束是通过“im2col”操作实现的,其作用实际上是优化卷积的运算,通过将矩阵间的卷积操作转换为矩阵间的乘法操作,这是基于卷积相乘再相加的操作同向量内积极其相似,减少了时间和空间成本,解决了按照卷积操作的数学步骤来做而导致的内存读取不连续问题。
卷积滤波流是一个完全自监督学习的框架,作为深度学习的一种“理想状态”,卷积滤波流模型不需要手动标注数据,可以直接从无标签的数据中进行学习。给定原始图像块,并对其进行压缩采样,进行初始重建得到初始重建的图像块,与原始图像块构成训练对,通过自监督的方式完成对模型参数的训练。
本发明还公开了一种基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法,如图1所示,包括:
步骤S1,获取多个图像块测量值。多个图像块测量值为待压缩感知图像压缩采样后获得的多个图像块测量值。
步骤S2,对多个图像块测量值进行初始重建获得初始重建图像。
步骤S3,基于快速傅里叶卷积对初始重建图像进行进一步重建获得傅里叶卷积重建图像。
步骤S4,将傅里叶卷积重建图像输入基于卷积滤波流网络的像素级滤波器获得滤波处理结果,将滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。
在本实施方式中,为降低基于快速傅里叶卷积与卷积滤波流网络整体的计算复杂度,采用块压缩感知(Block-based Compressive Sensing,BCS)算法对原始图像进行分块操作,为了提高采样自适应性,如图4所示,步骤S1具体为:将原始图像输入采样网络获得多个图像块测量值,采样网络包括采样卷积层,采样卷积层包括ns个采样卷积核,采样卷积核的大小为S×S×k。块压缩感知采用大小为ns×kS2的测量矩阵,记作As,对于图像块Ii而言,其压缩采样过程可以表示为yi=AsIi。本本申请采样过程具体做法为将测量矩阵As中的每一行当作一个卷积核,用一个无偏差的卷积层模拟块压缩采样过程,那么则有当采样率为M/N时,每个大小为S×S×k的卷积核,因为图像块Ii大小也是S×S×k,那么测量矩阵As中有ns行,其中ns=MkS2/N,即可以从一个图像块中测量出ns个测量值。那么压缩采样过程可以表示为:
y=S(I)=Ws*I,其中S(·)表示压缩采样操作,y表示压缩感知测量值,Ws为卷积核,其大小为S×S×k且共有ns个,*表示卷积操作,I为输入的待测量图像,采样网络可以表示为图4。通过学习方式训练测量矩阵能够更有效地利用图像本身的特性,如结构化信息等,为后续的重建过程奠定良好的基础。
在本实施方式中,为了将图像块观测值转换为与原始图像大小一致的图像,以便后续进一步重构,优选地,如图6所示,步骤S2具体包括:
将多个图像块测量值输入初始重建卷积层获得图像块的向量表示;如图5所示,通过像素洗牌操作将多个图像块的向量表示重塑为与原始图像大小一致的初始重建图像。
在本实施方式中,在本申请的初始重建网络中,输入为采样网络的输出压缩采样后的测量值y,同采样网络类似,首先采用一层卷积层将测量值的信息提取变换为图像信息。其具体做法如下:首先将设置为一层卷积层的卷积核,其大小为1×1×ns,且共有kS2个滤波器,因为测量值y大小也为1×1×ns,每个图像块中含有kS2个元素,输出为1×1×kS2大小的张量,此输出即为每个初始重建图像块的向量表示。然后,如图5所示,通过像素洗牌操作将1×1×kS2的张量输出重塑为S×S×k,共有ns个图像块,保证了初始重建的图像与原始图像大小保持一致,可以实现张量的拼接和整形。
在本实施方式中,为了有效地将卷积的感受野扩展到输入特征图的全分辨率,如图8所示,步骤S3具体包括:
将初始重建图像依次输入快速傅里叶卷积网络、多个快速傅里叶卷积残差网络和第一卷积层处理获得全局特征图像;将初始重建图像和全局特征图像进行元素求和获得傅里叶卷积重建图像。早期通过快速傅里叶卷积网络提取全局上下文信息,参数设置为αin=0,αout=0.5,卷积核大小为3×3×64。通过多个快速傅里叶卷积残差网络将有效地将卷积的感受野扩展到输入特征图的全分辨率,优选但不限于有5个个快速傅里叶卷积残差网络,最后一层采用1×1的标准卷积的第一卷积层将特征图与初始重建图像一起拼接为图像信息,获得傅里叶卷积重建图像。
在本实施方式中,通过步骤S3处理,其输出的傅里叶卷积重建图像是较优的退化图像,具备了对后续卷积滤波流中像素级滤波器的学习条件。
在本实施方式中,为了让像素级滤波器不但注重局部信息,还需要注重全局上下文信息,以便提高重构质量。优选地,如图3所示,像素级滤波器包括第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和映射层;傅里叶卷积重建图像输入第一卷积神经网络和第二卷积神经网络分别获得第一图像和第二图像,傅里叶卷积重建图像输入第一卷积神经网络获得第一图像,傅里叶卷积重建图像输入第二卷积神经网络获得第二图像;对第一图像和第二图像进行元素求和并将求和结果依次输入第三卷积神经网络和映射层处理获得滤波处理结果;第一卷积神经网络的深度大于第二卷积神经网络的深度,具体的,深度是指卷积神经网络的层数。第三卷积神经网络包括多层卷积,优选但不限于为3层卷积。
在本实施方式中,如图3所示,将像素级滤波器分为两条并行并联路径,其中,第一卷积神经网络为第一条路径,第二卷积神经网络为第二条路径。第一条路径优选但不限于为基于Resnet18改进的18层深度卷积神经网络,具有较大的感受野,能够通过考虑上下文信息来估计像素滤波器。第二条路径优选但不限于为全分辨率的相对较浅的卷积神经网络,包括多个级联的处理网络,处理网络包括依次串联的卷积层、激活层和批量归一化层,第二条路径通过保持原始图像的分辨率,保护原始图像的空间信息不受损失。最后合并拼接两条路径输出的第一图像和第二图像。将合并拼接后的图像输入第三卷积神经网络,第三卷积神经网络优选但不限于包括依次连接的第二卷积层、第二激活层、第二批量归一化层、第三卷积层、第三激活层、第三批量归一化层、第四卷积层。映射层优选但不限于为Softmax分类器。像素级滤波器的过程可描述为:
本发明还公开了一种快速傅里叶卷积与卷积滤波流的图像压缩感知***,如图2所示,在一种优选实施方式中,该***包括:采样模块,用于对原始图像进行压缩采样获得多个图像块测量值;初始重建模块,用于对多个图像块测量值进行初始重建获得初始重建图像;傅里叶卷积重建模块,基于快速傅里叶卷积进一步对初始重建图像进行重建获得傅里叶卷积重建图像;像素级滤波器,对傅里叶卷积重建图像进行滤波处理,像素级滤波器采用卷积滤波流网络架构;融合模块,将像素级滤波器的滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。
在本实施方式中,优选地,采样模块包括一个采样卷积层,如图4所示。
在本实施方式中,优选地,初始重建模块包括依次连接的初始重建卷积层和像素洗牌单元,如图6所示,初始重建过程可以表示为:
在本实施方式中,优选地,傅里叶卷积重建模块包括第一求和单元,以及依次连接的快速傅里叶卷积网络、多个快速傅里叶卷积残差网络和第一卷积层;快速傅里叶卷积网络的输入端与初始重建模块的输出端连接,第一卷积层的输出端与第一求和单元的第一输入端连接,初始重建模块的输出端还与第一求和单元的第二输入端连接,第一求和单元输出傅里叶卷积重建图像。快速傅里叶卷积网络FFC结构如图7所示,傅里叶卷积重建模块的网络结构如图8所示。
在本实施方式中,傅里叶卷积重建模块可表示为:
其中,为快速傅里叶卷积残差网络的重建图像,同时作为整体快速傅里叶卷积滤波流与卷积滤波流网络的退化图像;RF(·)表示依次连接的快速傅里叶卷积网络、多个快速傅里叶卷积残差网络和第一卷积层;为初始重建图像,作为残差连接防止网络训练时出现梯度消散,让整体网络框架学习到“恒等映射+扰动”,而不是最优的映射,以提高重构质量。
在本实施方式中,优选地,如图2所示,像素级滤波器包括第一卷积神经网络、第二卷积神经网络、第三卷积神经网络、第二求和单元和映射层,第一卷积神经网络的深度大于第二卷积神经网络的深度,第三卷积神经网络包括多层卷积;傅里叶卷积重建模块的输出端分别与第一卷积神经网络的输入端和第二卷积神经网络的输入端连接,第一卷积神经网络的输出端和第二卷积神经网络的输出端均与第二求和单元的输入端连接,第二求和单元的输出端与第三卷积神经网络的输入端连接,第三卷积神经网络的输出端与映射层的输入端连接。
在本实施方式中,从采样模块到融合模块构成了一个基于卷积滤波流的图像压缩感知框架,给定输入图像I2,基于快速傅里叶卷积与卷积滤波流模型网络的简要流程是:首先使用采样网络S获得压缩感知测量值y,接着使用初始重建网络R0从测量值中学***均绝对误差(MAE)作为代价函数,力求初始重建图像以及重建图像都尽可能的逼近原始图像I2,所以在网络训练过程中对初始重建图像以及重建图像都施加约束,构建训练过程中的损失函数为:
其中,N表示训练数据集中图像块总数量;i表示训练数据集中图像块索引,i=1,...,N;表示第i个图像块对应的原始图像;表示第i个图像块对应的初始重建图像;表示第i个图像块对应的傅里叶卷积重建图像;fw(·)为像素级滤波器学习得到的滤波函数;表示对第i个图像块对应的傅里叶卷积重建图像的滤波结果。
在本发明的一种应用场景中,搭建采样模块到融合模块的网络结构后构建训练集,选用与多个主流基于深度学习的压缩感知重建算法一致的数据集91image,每张训练图像以57个像素为步长裁剪出36184张图像块作为训练集,图像块大小为64×64。测试集包括Set11、BSD68等常用的标准数据集。使用Adam优化算法,训练次数为200批次(epochs),批处理大小为32(batch size),学习率为10-4,滤波器大小设置为17,则FFC-CFFNet在每个图像的像素位置输出大小为17×17=289个权值。
对本发明提供压缩感知重建方法、现有的MH算法、ReconNet、CSNet、ISTANet+四种压缩感知重建算法进行对比,发现在Set11数据集下,本发明提出的方法相比于MH算法、ReconNet、CSNet、ISTANet+的平均PSNR在10%采样率下分别提升2.13dB、5.50dB、0.58dB、1.46dB,在20%采样率下分别提升2.28dB、6.67dB、1.88dB、0.41dB,在30%采样率下分别提升2.16dB、7.97dB、2.73dB、0.01dB。在BSD68数据集下,本发明提出的重构算法相比于MH算法、ReconNet、CSNet、ISTANet+的平均PSNR在10%采样率下分别提升2.69dB、3.04dB、0.54dB、1.36dB,在20%采样率下分别提升2.61dB、4.47dB、0.08dB、0.56dB,在30%采样率下分别提升2.50dB、5.02dB、0.28dB、0.94dB。在Set11数据集下,本发明提出的方法相比于MH算法、ReconNet、CSNet、ISTANet+的平均SSIM在10%采样率下分别提升0.0865、0.2442、0.0275、0.0651,在20%采样率下分别提升0.0504、0.1901、0.0213、0.0094,在30%采样率下分别提升0.0437、0.1415、0.0588、0.0118。在BSD68数据集下,发明提出的方法相比于MH算法、ReconNet、CSNet、ISTANet+的平均SSIM在10%采样率下分别提升0.1337、0.1414、0.0172、0.0895,在20%采样率下分别提升0.1127、0.1768、0.0063、0.0178,在30%采样率下分别提升0.0910、0.1344、0.0352、0.0404。可见本发明提供的方法在数据集下平均PSNR和平均SSIM是重建质量最优的,说明本发明提供的重构***是一个可实现高质量重建的图像压缩感知重建网络模型。PSNR是指峰值信噪比(Peak Signal to Noise Ratio),SSIM是指结构相似性(Structure Similarity)。
在本应用场景中,对卷积滤波流学习到的像素级滤波器进行可视化分析,如图9所示,展示了在30%采样率下本发明***的重建图像以及对应的滤波器流的可视化图,模型训练学习的是像素级的滤波器流,最终的重建图像是通过快速傅里叶卷积的重建图像与滤波器流进行广播机制的不同维度的相乘操作得到。使用2Dt-SNE给每个质心分配一个颜色,并可视化最近的质心在每个滤波器的位置,通过计算期望的滤波器流向量来可视化其分布,展示了在滤波器流可视化图中的不同颜色是对应像素在对应的空间位置的变化,颜色的深浅表示变化的强度。可视化的结果提供了一个显式的表述,表明了卷积滤波流框架学到的内容,同时卷积滤波流模型网络架构中每个模块的设计均发挥着作用,无论是模型架构的可解释性还是提供的显式表述,这是相比于其他卷积神经网络重建模型在可解释性方面是显著的优势。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
Claims (10)
1.基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法,其特征在于,包括:
获取多个图像块测量值;
对多个图像块测量值进行初始重建获得初始重建图像;
基于快速傅里叶卷积对初始重建图像进行进一步重建获得傅里叶卷积重建图像;
将傅里叶卷积重建图像输入基于卷积滤波流网络的像素级滤波器获得滤波处理结果,将滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。
2.如权利要求1所述的快速傅里叶卷积与卷积滤波流的图像压缩感知方法,其特征在于,所述获取多个图像块测量值的步骤,具体为:
将原始图像输入采样网络获得多个图像块测量值,所述采样网络包括采样卷积层。
3.如权利要求1所述的快速傅里叶卷积与卷积滤波流的图像压缩感知方法,其特征在于,所述对多个图像块测量值进行初始重建获得初始重建图像步骤,具体包括:
将多个图像块测量值输入初始重建卷积层获得图像块的向量表示;
通过像素洗牌操作将多个图像块的向量表示重塑为与原始图像大小一致的初始重建图像。
4.如权利要求1所述的快速傅里叶卷积与卷积滤波流的图像压缩感知方法,其特征在于,所述基于快速傅里叶卷积对初始重建图像进行进一步重建获得傅里叶卷积重建图像的步骤,包括:
将初始重建图像依次输入快速傅里叶卷积网络、多个快速傅里叶卷积残差网络和第一卷积层处理获得全局特征图像;
将初始重建图像和全局特征图像进行元素求和获得傅里叶卷积重建图像。
5.如权利要求1或2或3或4所述的快速傅里叶卷积与卷积滤波流的图像压缩感知方法,其特征在于,所述像素级滤波器包括第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和映射层;
所述傅里叶卷积重建图像输入第一卷积神经网络和第二卷积神经网络分别获得第一图像和第二图像;
对第一图像和第二图像进行元素求和并将求和结果依次输入第三卷积神经网络和映射层处理获得滤波处理结果;
第一卷积神经网络的深度大于第二卷积神经网络的深度,第三卷积神经网络包括多层卷积。
6.快速傅里叶卷积与卷积滤波流的图像压缩感知***,其特征在于,包括:
采样模块,用于对原始图像进行压缩采样获得多个图像块测量值;
初始重建模块,用于对多个图像块测量值进行初始重建获得初始重建图像;
傅里叶卷积重建模块,基于快速傅里叶卷积进一步对初始重建图像进行重建获得傅里叶卷积重建图像;
像素级滤波器,对傅里叶卷积重建图像进行滤波处理,所述像素级滤波器采用卷积滤波流网络架构;
融合模块,将像素级滤波器的滤波处理结果与傅里叶卷积重建图像进行卷积获得最终重建图像。
7.如权利要求6所述的快速傅里叶卷积与卷积滤波流的图像压缩感知***,其特征在于,所述采样模块包括一个采样卷积层;
和/或,所述初始重建模块包括依次连接的初始重建卷积层和像素洗牌单元。
8.如权利要求6所述的快速傅里叶卷积与卷积滤波流的图像压缩感知***,其特征在于,所述傅里叶卷积重建模块包括第一求和单元,以及依次连接的快速傅里叶卷积网络、多个快速傅里叶卷积残差网络和第一卷积层;
所述快速傅里叶卷积网络的输入端与初始重建模块的输出端连接,第一卷积层的输出端与第一求和单元的第一输入端连接,初始重建模块的输出端还与第一求和单元的第二输入端连接,第一求和单元输出傅里叶卷积重建图像。
9.如权利要求6或7或8所述的快速傅里叶卷积与卷积滤波流的图像压缩感知***,其特征在于,所述像素级滤波器包括第一卷积神经网络、第二卷积神经网络、第三卷积神经网络、第二求和单元和映射层,第一卷积神经网络的深度大于第二卷积神经网络的深度,第三卷积神经网络包括多层卷积;
所述傅里叶卷积重建模块的输出端分别与第一卷积神经网络的输入端和第二卷积神经网络的输入端连接,第一卷积神经网络的输出端和第二卷积神经网络的输出端均与第二求和单元的输入端连接,第二求和单元的输出端与第三卷积神经网络的输入端连接,第三卷积神经网络的输出端与映射层的输入端连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210847465.5A CN115100301A (zh) | 2022-07-19 | 2022-07-19 | 基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210847465.5A CN115100301A (zh) | 2022-07-19 | 2022-07-19 | 基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115100301A true CN115100301A (zh) | 2022-09-23 |
Family
ID=83298716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210847465.5A Pending CN115100301A (zh) | 2022-07-19 | 2022-07-19 | 基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115100301A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117058507A (zh) * | 2023-08-17 | 2023-11-14 | 浙江航天润博测控技术有限公司 | 基于傅里叶卷积可见光和红外图像多尺度特征融合方法 |
WO2024077785A1 (zh) * | 2022-10-13 | 2024-04-18 | 深圳云天励飞技术股份有限公司 | 基于卷积神经网络模型的图像识别方法、装置及终端设备 |
-
2022
- 2022-07-19 CN CN202210847465.5A patent/CN115100301A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024077785A1 (zh) * | 2022-10-13 | 2024-04-18 | 深圳云天励飞技术股份有限公司 | 基于卷积神经网络模型的图像识别方法、装置及终端设备 |
CN117058507A (zh) * | 2023-08-17 | 2023-11-14 | 浙江航天润博测控技术有限公司 | 基于傅里叶卷积可见光和红外图像多尺度特征融合方法 |
CN117058507B (zh) * | 2023-08-17 | 2024-03-19 | 浙江航天润博测控技术有限公司 | 基于傅里叶卷积可见光和红外图像多尺度特征融合方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨*** | |
CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及*** | |
CN111407245B (zh) | 一种基于摄像头的非接触式心率、体温测量方法 | |
CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
CN115100301A (zh) | 基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及*** | |
CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、***和介质 | |
CN109146787B (zh) | 一种基于插值的双相机光谱成像***的实时重建方法 | |
CN112819910A (zh) | 基于双鬼注意力机制网络的高光谱图像重建方法 | |
CN113222124B (zh) | 用于图像语义分割的SAUNet++网络与图像语义分割方法 | |
CN105761251A (zh) | 一种基于低秩和结构稀疏的视频前景背景分离方法 | |
CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
CN114565539B (zh) | 一种基于线上知识蒸馏的图像去雾方法 | |
CN114170286A (zh) | 一种基于无监督深度学习的单目深度估计方法 | |
CN114331913B (zh) | 基于残差注意力块的运动模糊图像复原方法 | |
CN115984747A (zh) | 一种基于动态滤波器的视频显著性目标检测方法 | |
CN116152128A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 | |
CN115018711A (zh) | 一种用于仓库调度的图像超分辨率重建方法 | |
CN116128768B (zh) | 一种带有去噪模块的无监督图像低照度增强方法 | |
CN116708807A (zh) | 监控视频的压缩重建方法、压缩重建装置 | |
CN115205148A (zh) | 基于双路径残差网络的图像去模糊方法 | |
CN114140334A (zh) | 一种基于改进生成对抗网络的复杂煤矿图像去雾方法 | |
Hua et al. | An Efficient Multiscale Spatial Rearrangement MLP Architecture for Image Restoration | |
CN114118199A (zh) | 一种用于智能泵腔体内窥镜故障诊断的图像分类方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |