CN116309067B - 一种光场图像空间超分辨率方法 - Google Patents
一种光场图像空间超分辨率方法 Download PDFInfo
- Publication number
- CN116309067B CN116309067B CN202310290252.1A CN202310290252A CN116309067B CN 116309067 B CN116309067 B CN 116309067B CN 202310290252 A CN202310290252 A CN 202310290252A CN 116309067 B CN116309067 B CN 116309067B
- Authority
- CN
- China
- Prior art keywords
- sub
- channel information
- image array
- aperture image
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 claims description 49
- 230000009466 transformation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种光场图像空间超分辨率方法,包括:获取低空间分辨率光场图像的初始图像,分别提取初始图像的子孔径图像阵列Y、U、V通道信息;对初始图像的子孔径图像阵列Y通道信息进行处理,获取高空间分辨率的子孔径图像阵列Y通道信息;基于初始图像的子孔径图像阵列Y通道信息和高空间分辨率的子孔径图像阵列Y通道信息,获取最终高空间分辨率的子孔径图像阵列Y通道信息;对初始图像的子孔径图像阵列U、V通道信息进行处理,获取最终高空间分辨率的子孔径图像阵列U、V通道信息;基于最终高空间分辨率的子孔径图像阵列Y、U、V通道信息,获取最终高空间分辨率的子孔径图像阵列。本发明能够提高光场图像空间的重建质量和效率。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种光场图像空间超分辨率方法。
背景技术
光场相机可以通过单次拍摄获得场景的三维信息,在三维重建、再聚焦、虚拟现实等领域有着广泛的应用。然而,由于空间分辨率和角度分辨率之间的内在权衡,即光场相机只能获取高角度分辨率和低空间分辨率的光场图像或者高空间分辨率和低角度分辨率的光场图像,并不能同时获取高空间分辨率和高角度分辨率的光场图像。所获取的光场图像的空间分辨率较低,这阻碍了其在高分辨率场景中的应用。因此,如何让利用低空间分辨率的光场图像来重建高空间分辨率的光场图像具有重要的理论意义和实际应用价值。
一些传统的光场图像空间超分辨率方法首先获取图像的先验信息,然后重建出高空间分辨率的图像,但是难以获得高质量的结果。随着卷积神经网络的快速发展,提出了一些基于学习的光场图像方法,他们大都关注光场图像数据的高维特征,使用卷积来表征空间域或者角域的像素信息,但忽略了光场图像固有的视差结构。各视点之间的互补信息没有得到充分利用,尤其是图像之间的角度相关性没有得到充分的探索,导致空间超分辨率后的光场图像存在模糊、鬼影等噪声,降低了光场图像的图像质量。因此,亟需一种光场图像空间超分辨率方法来解决上述问题。
发明内容
本发明的目的是针对上述技术问题,提出一种光场图像空间超分辨率方法,融合多维度光场图像特征并重组光场角度结构特征的空间超分辨率,能够有效提升空间超分辨率后光场图像的图像质量。
为实现上述目的,本发明提供了如下方案:
一种光场图像空间超分辨率方法,包括:
获取低空间分辨率光场图像的初始图像,分别提取所述初始图像的子孔径图像阵列Y、U、V通道信息;
对所述初始图像的子孔径图像阵列Y通道信息进行处理,获取高空间分辨率的子孔径图像阵列Y通道信息;基于所述初始图像的子孔径图像阵列Y通道信息和所述高空间分辨率的子孔径图像阵列Y通道信息,获取最终高空间分辨率的子孔径图像阵列Y通道信息;
对所述初始图像的子孔径图像阵列U、V通道信息进行处理,获取最终高空间分辨率的子孔径图像阵列U、V通道信息;
基于所述最终高空间分辨率的子孔径图像阵列Y通道信息和所述最终高空间分辨率的子孔径图像阵列U、V通道信息,获取最终高空间分辨率的子孔径图像阵列。
进一步地,提取所述初始图像的子孔径图像阵列Y、U、V通道信息包括:
基于所述初始图像提取子孔径图像阵列,对所述子孔径图像阵列进行空间转换,分别提取所述子孔径图像阵列Y、U、V通道信息。
进一步地,获取所述高空间分辨率的子孔径图像阵列Y通道信息包括:
对所述初始图像的子孔径图像阵列Y通道信息进行第一次处理,获取第一次融合信息;对所述第一次融合信息进行第二次处理,获取第二次融合信息;对所述第二次融合信息进行第三次处理,获取所述高空间分辨率的子孔径图像阵列Y通道信息。
进一步地,对所述初始图像的子孔径图像阵列Y通道信息进行第一次处理,获取所述第一次融合信息包括:
对所述初始图像的子孔径图像阵列Y通道信息进行维度变换并利用多维度融合网络,获取子孔径图像阵列空间特征、角度特征的Y通道信息,将所述子孔径图像阵列空间特征、角度特征的Y通道信息与所述初始图像的子孔径图像阵列Y通道信息相加,获取所述第一次融合信息。
进一步地,对所述第一次融合信息进行第二次处理,获取所述第二次融合信息包括:
对所述第一次融合信息进行维度变换并利用所述多维度融合网络,获取子孔径图像阵列极平面水平特征、垂直特征的Y通道信息,将所述子孔径图像阵列极平面水平特征、垂直特征的Y通道信息与所述初始图像的子孔径图像阵列Y通道信息相加,获取所述第二次融合信息。
进一步地,对所述第二次融合信息进行第三次处理,获取所述高空间分辨率的子孔径图像阵列Y通道信息包括:
对所述第二次融合信息进行角度维度的重新排列并利用光场图像空间超分辨率网络,获取所述高空间分辨率的子孔径图像阵列Y通道信息。
进一步地,获取所述最终高空间分辨率的子孔径图像阵列Y通道信息包括:
对所述初始图像的子孔径图像阵列Y通道信息进行双线性上采样,获得处理后的Y通道信息,将所述处理后的Y通道信息与所述高空间分辨率的子孔径图像阵列Y通道信息进行相加,获取所述最终高空间分辨率的子孔径图像阵列Y通道信息。
进一步地,获取所述最终高空间分辨率的子孔径图像阵列U、V通道信息包括:
对所述初始图像的子孔径图像阵列U、V通道信息进行双线性上采样,获取所述最终高空间分辨率的子孔径图像阵列U、V通道信息。
进一步地,获取所述最终高空间分辨率的子孔径图像阵列包括:
将所述最终高空间分辨率的子孔径图像阵列Y通道信息和所述最终高空间分辨率的子孔径图像阵列U、V通道信息进行合并和空间转换,获取所述最终高空间分辨率的子孔径图像阵列。
本发明的有益效果为:
(1)本发明所提出的光场图像空间重建方法充分利用了光场图像子孔径阵列图像之间的空间、角度和极平面结构信息以及角度相关性,可以一次性重建高空间分辨率的光场图像子孔径阵列图像。
(2)对比传统光场图像空间重建算法,本发明深入挖掘光场子孔径阵列图像的空间、角度和极平面信息并且更好的探究角度相关性,提高了重建质量;本发明重建低分辨率的光场子孔径阵列图像任意倍数的高空间分辨率的光场子孔径阵列图像,获取分辨率更大的光场图像子孔径图像,提高了重建效率以及光场成像技术在多个图像处理应用中的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种光场图像空间超分辨率方法流程图;
图2为本发明实施例的光场图像空间超分辨率框架图;
图3为本发明实施例的多维特征融合网络框架图;
图4为本发明实施例的空间超分辨率网络框架图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本实施例提供了一种光场图像空间超分辨率方法,如图1-2所示,具体步骤及过程如下:
S1、获取初始图像,提取子孔径图像阵列Y通道信息。
获取初始图像为低空间分辨率光场图像,从低空间分辨率光场图像中提取低空间分辨率的子孔径阵列图像,其维度为h×w×3×m×n,其中,h×w为子孔径阵列图像中单个子孔径图像的两个空间分辨率,m×n为子孔径阵列图像角度分辨率的两个维度,3为RGB三个通道。将低空间分辨率的子孔径阵列图像从RGB空间转换到YUV空间,提取Y通道信息,其维度为h×w×m×n。
本实施例中低空间分辨率光场图像子孔径图像阵列的维度为3×5×5×64×64,空间超分辨率后的高空间分辨率光场图像子孔径图像阵列的维度为3×5×5×128×128,提取的子孔径图像阵列的Y通道信息维度为5×5×64×64。
S2、构建多维度特征融合网络,对子孔径图像阵列Y通道信息进行维度变化并送入多维度融合网络,获取第一次融合信息。
对低空间分辨率的子孔径图像阵列Y通道信息增加特征通道c,并将四维的低空间分辨率子孔径阵列图像Y通道信息的两个角度维度m×n进行合并,获得四维子孔径阵列图像,其维度为(m·n)×c×h×w,对子孔径阵列图像Y通道信息将四维子孔径阵列图像进行维度变换为(m·n)×c×h×w和(h·w)×c×m×n,并送入多维度融合网络提取空间和角度特征的Y通道信息,将得到的空间和角度特征信息相加并和初始信息相融合得到第一次融合信息。
本实施例中,将四维的低空间分辨率子孔径阵列图像Y通道信息的两个角度维度5×5进行合并,获得三维子孔径阵列图像,其维度为25×64×64。
如图3所示,多维度特征融合网络包括7层,分别是FE_1,SF_1,AF_1,FU_1,EPI_H,EPI_V,FU_2,7层网络均是一层卷积核为3×3,步长为1×1的卷积操作。其中,网络层FE_1是为了提取更多的特征信息,增加一个通道维度,此时的维度为25×32×64×64;网络层SF_1,提取空间特征;再将初始特征维度变换,维度为(64×64)×32×5×5,AF_1层提取角度特征;网络层FU_1为初始特征、空间特征和角度特征维度变换后相加融合后的卷积操作,将结果作为第一次融合特征。
S3、对第一次融合信息进行维度变化并送入多维度融合网络,获取第二次融合信息。
对第一次融合信息进行维度变换提取极平面特征信息,维度分别为(m·h)×c×n×w、(n·w)×c×m×h,送入多维度融合网络提取极平面水平和垂直特征的Y通道信息,将得到的极平面水平和垂直特征的Y通道信息相加并和初始信息相融合得到第二次融合信息,融合后的维度为(m·n)×c×h×w。
本实施例中,对第一次融合特征维度变化,维度分为(5^1×64^1)×32×5^2×64^2,(5^2×64^2)×32×5^1×64^1,分别送入EPI_H、EPI_V网络层提取极平面水平和垂直特征。网络层FU_2为初始特征、极平面水平特征和极平面空间特征维度变换后相加融合后的卷积操作,结果作为第二次融合特征。
S4、对第二次融合信息在角度维度重新排列并送入光场图像空间超分辨率网络,获取高空间分辨率子孔径图像阵列Y通道信息。
对第二次融合信息在角度维度上重新排列,具体为:单独提取角度维度上水平和垂直特征,提取后的维度分别为1×n×c×h×w、m×1×c×h×w;然后将水平和垂直特征按视差的先后顺序依次放入堆栈中,此时的维度为1×(m+n)×c×h×w。
将堆栈中的信息送入光场图像空间超分辨率网络,具体为:光场图像空间超分辨率网络首先对第二次融合特征的光场子孔径阵列,选择角坐标上水平和垂直元素相同的子孔径图像所在水平和垂直堆栈中的子孔径图像的像素信息,此时维度分别为1×m×c×h×w,n×1×c×h×w;再对选择到的信息合并,维度为(m+n)×c×h×w;接着为一层三维卷积操作,融合角度信息,卷积核为3×3×3,步长为1×1×1,维度为1×c×(m+n)×h×w;然后为维度变换后通过一层卷积,还原角度维度,卷积核为3×3,步长为1×1,维度为m×c×h×w;其次在上采样操作中,首先通过一层卷积,卷积核为3×3,步长为1×1,维度为m×(c·s^2)×h×w(s为超分辨的尺寸),接着一层子像素卷积操作,维度为m×c×(h·s)×(w·s),最后一层卷积操作将通道维度降低,卷积核为3×3,步长为1×1,维度为m×1×(h·s)×(w·s)。光场图像空间超分辨率网络循环n次,最后将n次结果在第一个维度合并,得到高空间分辨率子孔径图像阵列Y通道信息,维度为1×(m·n)×(h·s)×(w·s)。
如图4所示,光场图像空间超分辨率网络共包含9层,分别为SR_H,SR_V,SR_1,SR_2,SR_3,SR_4,SR_5,SR_6,SR_7。其中SR_H、SR_V网络层是对第二次融合特征的光场子孔径阵列,角坐标上水平和垂直元素相同的子孔径图像所在水平和垂直堆栈中的像素信息选择;SR_1网络层是对选择到的信息合并,此时维度为10×32×64×64;SR_2网络层为一层卷积核为3×3×3,步长为1×1×1的卷积操作,为了刚好的利用角度相关性,采用的三维卷积;SR_3,SR_4,SR_6,SR_7均是一层卷积核为3×3,步长为1×1的卷积操作,SR_3网络层为了将角度维度还原,此时的维度为5×32×64×64;SR_4和SR_5为上采样操作,其中SR_4网络层提升通道维度数,SR_5网络层利用子像素卷积将光场子孔径图像空间分辨率提升2倍,此时维度为5×32×128×128;SR_6网络层将通道还原为1,此时维度为5×1×128×128;SR_7网络层是对其他符合角坐标上水平和垂直元素相同的子孔径图像的循环SR_H,SR_V,SR_1,SR_2,SR_3,SR_4,SR_5,SR_6操作,一共循环5次,合并后获得高空间分辨率子孔径图像阵列Y通道信息,此时维度为1×25×128×128。
S5、将初始子孔径图像阵列Y通道信息双线性插值上采样后和高空间分辨率子孔径图像阵列Y通道信息相加,获取最终高空间分辨率子孔径图像阵列Y通道信息;
S6、对低空间分辨率光场图像的子孔径图像阵列的U和V通道信息进行双线性上采样处理,获得最终高空间分辨率子孔径图像阵列U和V通道信息;
S7、将最终高空间分辨率子孔径图像阵列Y通道信息与最终高空间分辨率子孔径图像阵列U和V通道信息进行合并,并将合并后的数据转化到RGB空间,获得最终高空间分辨率子孔径图像阵列,此时维度为3×5×5×128×128。
本实施例首先利用低空间分辨率光场图像的子孔径图像阵列提取空间、角度以及极平面上水平和垂直信息;其次,融合提取的结构特征;接着,重组子孔径阵列角度维度上的元素特征,并通过空间超分辨率网络重建高空间分辨率光场子孔径图像阵列的Y通道信息;随后,利用双线性插值算法将原始低空间分辨率光场子孔径图像阵列的Y通道信息进行双线性上采样处理,与空间超分辨率网络得到的高空间分辨率光场子孔径图像阵列的Y通道信息相加作为最终的高空间分辨率光场子孔径图像阵列的Y通道信息;同时将低空间分辨率光场子孔径图像阵列的U和V通道信息进行双线性上采样处理,获得最终高空间分辨率子孔径图像阵列U和V通道信息。最后,将最终高空间分辨率子孔径图像阵列Y通道信息与最终高空间分辨率子孔径图像阵列U和V通道信息进行合并,并将合并后的数据转化到RGB空间,获得最终高空间分辨率子孔径图像阵列。
本发明所提出的光场图像空间重建方法充分利用了光场图像子孔径阵列图像之间的空间、角度和极平面结构信息以及角度相关性,可以一次性重建高空间分辨率的光场图像子孔径阵列图像。对比传统光场图像空间重建算法,本发明可以深入挖掘光场子孔径阵列图像的空间、角度和极平面信息并且更好的探究角度相关性,提高了重建质量;同时,本发明可以重建低分辨率的光场子孔径阵列图像任意倍数的高空间分辨率的光场子孔径阵列图像,提高了重建效率。
以上所述的实施例仅是对本发明优选方式进行的描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (4)
1.一种光场图像空间超分辨率方法,其特征在于,包括:
获取低空间分辨率光场图像的初始图像,分别提取所述初始图像的子孔径图像阵列Y、U、V通道信息;
对所述初始图像的子孔径图像阵列Y通道信息进行处理,获取高空间分辨率的子孔径图像阵列Y通道信息,具体包括:对所述初始图像的子孔径图像阵列Y通道信息进行第一次处理,获取第一次融合信息;对所述第一次融合信息进行第二次处理,获取第二次融合信息;对所述第二次融合信息进行第三次处理,获取所述高空间分辨率的子孔径图像阵列Y通道信息;
其中,对所述初始图像的子孔径图像阵列Y通道信息进行第一次处理,获取所述第一次融合信息包括:
对所述初始图像的子孔径图像阵列Y通道信息进行维度变换并利用多维度融合网络,获取子孔径图像阵列空间特征、角度特征的Y通道信息,将所述子孔径图像阵列空间特征、角度特征的Y通道信息与所述初始图像的子孔径图像阵列Y通道信息相加,获取所述第一次融合信息;
对所述第一次融合信息进行第二次处理,获取所述第二次融合信息包括:
对所述第一次融合信息进行维度变换并利用所述多维度融合网络,获取子孔径图像阵列极平面水平特征、垂直特征的Y通道信息,将所述子孔径图像阵列极平面水平特征、垂直特征的Y通道信息与所述初始图像的子孔径图像阵列Y通道信息相加,获取所述第二次融合信息;
对所述第二次融合信息进行第三次处理,获取所述高空间分辨率的子孔径图像阵列Y通道信息包括:
对所述第二次融合信息进行角度维度的重新排列并利用光场图像空间超分辨率网络,获取所述高空间分辨率的子孔径图像阵列Y通道信息;
基于所述初始图像的子孔径图像阵列Y通道信息和所述高空间分辨率的子孔径图像阵列Y通道信息,获取最终高空间分辨率的子孔径图像阵列Y通道信息,具体包括:对所述初始图像的子孔径图像阵列Y通道信息进行双线性上采样,获得处理后的Y通道信息,将所述处理后的Y通道信息与所述高空间分辨率的子孔径图像阵列Y通道信息进行相加,获取所述最终高空间分辨率的子孔径图像阵列Y通道信息;对所述初始图像的子孔径图像阵列U、V通道信息进行处理,获取最终高空间分辨率的子孔径图像阵列U、V通道信息;
基于所述最终高空间分辨率的子孔径图像阵列Y通道信息和所述最终高空间分辨率的子孔径图像阵列U、V通道信息,获取最终高空间分辨率的子孔径图像阵列。
2.根据权利要求1所述的光场图像空间超分辨率方法,其特征在于,提取所述初始图像的子孔径图像阵列Y、U、V通道信息包括:
基于所述初始图像提取子孔径图像阵列,对所述子孔径图像阵列进行空间转换,分别提取所述子孔径图像阵列Y、U、V通道信息。
3.根据权利要求1所述的光场图像空间超分辨率方法,其特征在于,获取所述最终高空间分辨率的子孔径图像阵列U、V通道信息包括:
对所述初始图像的子孔径图像阵列U、V通道信息进行双线性上采样,获取所述最终高空间分辨率的子孔径图像阵列U、V通道信息。
4.根据权利要求1所述的光场图像空间超分辨率方法,其特征在于,获取所述最终高空间分辨率的子孔径图像阵列包括:
将所述最终高空间分辨率的子孔径图像阵列Y通道信息和所述最终高空间分辨率的子孔径图像阵列U、V通道信息进行合并和空间转换,获取所述最终高空间分辨率的子孔径图像阵列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310290252.1A CN116309067B (zh) | 2023-03-21 | 2023-03-21 | 一种光场图像空间超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310290252.1A CN116309067B (zh) | 2023-03-21 | 2023-03-21 | 一种光场图像空间超分辨率方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116309067A CN116309067A (zh) | 2023-06-23 |
CN116309067B true CN116309067B (zh) | 2023-09-29 |
Family
ID=86834039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310290252.1A Active CN116309067B (zh) | 2023-03-21 | 2023-03-21 | 一种光场图像空间超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116309067B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8768102B1 (en) * | 2011-02-09 | 2014-07-01 | Lytro, Inc. | Downsampling light field images |
CN105046672A (zh) * | 2015-06-30 | 2015-11-11 | 北京工业大学 | 一种图像超分辨率重建方法 |
CN109636769A (zh) * | 2018-12-18 | 2019-04-16 | 武汉大学 | 基于双路密集残差网络的高光谱和多光谱图像融合方法 |
WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
WO2020191475A1 (en) * | 2019-03-25 | 2020-10-01 | Teledyne Digital Imaging, Inc. | Method for generating a super-resolution image and related device |
CN112102173A (zh) * | 2020-10-26 | 2020-12-18 | 安庆师范大学 | 光场图像角度超分辨率重建方法 |
CN112381711A (zh) * | 2020-10-27 | 2021-02-19 | 深圳大学 | 光场图像重建模型训练及快速超分辨率重建方法 |
CN112802039A (zh) * | 2021-01-26 | 2021-05-14 | 桂林电子科技大学 | 一种基于全局边缘注意力的全景分割方法 |
CN112950475A (zh) * | 2021-03-05 | 2021-06-11 | 北京工业大学 | 一种基于残差学习及空间变换网络的光场超分辨率重建方法 |
CN113139898A (zh) * | 2021-03-24 | 2021-07-20 | 宁波大学 | 基于频域分析和深度学习的光场图像超分辨率重建方法 |
CN114359041A (zh) * | 2021-11-24 | 2022-04-15 | 宁波大学 | 一种光场图像空间超分辨率重建方法 |
CN114897680A (zh) * | 2022-04-14 | 2022-08-12 | 安庆师范大学 | 融合光场子孔径图像与宏像素图像的角度超分辨率方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102514727B1 (ko) * | 2021-07-20 | 2023-03-27 | 창원대학교 산학협력단 | 대칭 시리즈 합성곱 신경망 기반 초해상도 모델을 이용한 영상 처리 방법 및 시스템 |
-
2023
- 2023-03-21 CN CN202310290252.1A patent/CN116309067B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8768102B1 (en) * | 2011-02-09 | 2014-07-01 | Lytro, Inc. | Downsampling light field images |
CN105046672A (zh) * | 2015-06-30 | 2015-11-11 | 北京工业大学 | 一种图像超分辨率重建方法 |
WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
CN109636769A (zh) * | 2018-12-18 | 2019-04-16 | 武汉大学 | 基于双路密集残差网络的高光谱和多光谱图像融合方法 |
WO2020191475A1 (en) * | 2019-03-25 | 2020-10-01 | Teledyne Digital Imaging, Inc. | Method for generating a super-resolution image and related device |
CN112102173A (zh) * | 2020-10-26 | 2020-12-18 | 安庆师范大学 | 光场图像角度超分辨率重建方法 |
CN112381711A (zh) * | 2020-10-27 | 2021-02-19 | 深圳大学 | 光场图像重建模型训练及快速超分辨率重建方法 |
CN112802039A (zh) * | 2021-01-26 | 2021-05-14 | 桂林电子科技大学 | 一种基于全局边缘注意力的全景分割方法 |
CN112950475A (zh) * | 2021-03-05 | 2021-06-11 | 北京工业大学 | 一种基于残差学习及空间变换网络的光场超分辨率重建方法 |
CN113139898A (zh) * | 2021-03-24 | 2021-07-20 | 宁波大学 | 基于频域分析和深度学习的光场图像超分辨率重建方法 |
CN114359041A (zh) * | 2021-11-24 | 2022-04-15 | 宁波大学 | 一种光场图像空间超分辨率重建方法 |
CN114897680A (zh) * | 2022-04-14 | 2022-08-12 | 安庆师范大学 | 融合光场子孔径图像与宏像素图像的角度超分辨率方法 |
Non-Patent Citations (2)
Title |
---|
双路径反馈网络的图像超分辨重建算法;陶状;廖晓东;沈江红;;计算机***应用(第04期);全文 * |
基于特征交互融合与注意力的光场图像超分辨率;徐欣宜; 邓慧萍; 向森; 吴谨;《激光与光电子学进展》;第60卷(第14期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116309067A (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
Zhao et al. | Is super-resolution with optical flow feasible? | |
CN113139898B (zh) | 基于频域分析和深度学习的光场图像超分辨率重建方法 | |
CN112102173B (zh) | 光场图像角度超分辨率重建方法 | |
CN112767253B (zh) | 一种多尺度特征融合的双目图像超分辨率重建方法 | |
CN114897680B (zh) | 融合光场子孔径图像与宏像素图像的角度超分辨率方法 | |
CN112785502B (zh) | 一种基于纹理迁移的混合相机的光场图像超分辨率方法 | |
WO2022016350A1 (zh) | 光场图像的处理方法、编码器、解码器及存储介质 | |
KR20190059157A (ko) | 영상 화질 개선방법 및 그 장치 | |
Chen et al. | Single-image super-resolution using multihypothesis prediction | |
CN114066777B (zh) | 一种光场图像角度重建方法 | |
Zou et al. | Super-Resolution Reconstruction of Images Based on Microarray Camera. | |
CN113538243A (zh) | 基于多视差注意力模块组合的超分辨图像重建方法 | |
CN115953294A (zh) | 一种基于浅层通道分离与聚合的单图像超分辨率重建方法 | |
Chandramouli et al. | A generative model for generic light field reconstruction | |
CN116309067B (zh) | 一种光场图像空间超分辨率方法 | |
CN116503251A (zh) | 一种结合混合专家的生成对抗网络遥感图像超分辨重建方法 | |
Liu et al. | Second-order attention network for magnification-arbitrary single image super-resolution | |
CN114998405A (zh) | 基于图像驱动的数字化人体模型构建方法 | |
CN111951159B (zh) | 一种强噪声条件下光场epi图像超分辨率的处理方法 | |
CN114004773A (zh) | 基于深度学习以及反向映射实现的单目多视点视频合成方法 | |
CN116309064B (zh) | 一种基于子孔径图像的光场图像角度超分辨率方法 | |
Wang et al. | Multi-scale detail enhancement network for image super-resolution | |
Zou et al. | Microarray Camera Image Super-Resolution with Neural Network and Fusion of V-System | |
LU500980B1 (en) | A method for light field angular reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |