CN113592716B - 光场图像空间域超分辨率方法、***、终端及存储介质 - Google Patents

光场图像空间域超分辨率方法、***、终端及存储介质 Download PDF

Info

Publication number
CN113592716B
CN113592716B CN202110906481.2A CN202110906481A CN113592716B CN 113592716 B CN113592716 B CN 113592716B CN 202110906481 A CN202110906481 A CN 202110906481A CN 113592716 B CN113592716 B CN 113592716B
Authority
CN
China
Prior art keywords
resolution
image
viewpoint
alignment
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110906481.2A
Other languages
English (en)
Other versions
CN113592716A (zh
Inventor
安平
陈欣
陈亦雷
黄新彭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202110906481.2A priority Critical patent/CN113592716B/zh
Publication of CN113592716A publication Critical patent/CN113592716A/zh
Application granted granted Critical
Publication of CN113592716B publication Critical patent/CN113592716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种光场图像空间域超分辨率方法、***、终端及存储介质，包括：将视点图像按照角度位置分为多组，对应设置多个视点图像对齐方案；将不同角度位置的视点图像，以其自身作为待超分辨率的中心视点图像，利用基于频域图像金字塔分解的视差提取方法，对其周围不同预设对齐范围内的待对齐视点图像进行视差对齐，对齐至中心视点图像位置；将待训练视点图像先剪裁后下采样再对齐，然后进行训练，得到光场图像超分辨率模型；将对齐后的待测试视点图像输入到光场图像超分辨率模型中，预测得到空间域超分辨率后的视点图像。本发明，将基于相位的视点图像视差对齐与基于深度学习的光场图像超分辨率方法相结合，得到了质量更高的超分辨率结果。

Description

光场图像空间域超分辨率方法、***、终端及存储介质
技术领域
本发明涉及图像处理技术领域，特别涉及一种光场图像空间域超分辨率方法、***、终端及存储介质。
背景技术
光场成像(Light Field Imaging)是目前捕捉场景3D外观使用最广泛的方法之一，不同于普通的二维图像只能捕捉空间中光线的空间信息，记录空间内光线的2D投影，而光场图像能够记录整个空间内的光线分布。光场图像的获取依赖于相机阵列或者特制的光场相机。简易的光场相机可以由传统相机在原有的感光元件和主透镜之间放置一层微透镜阵列(Array of Microlens)改造而成，这层微透镜阵列将透过相机主透镜的光线进行再次折射并投射在感光元件上，使得光场相机不仅可以根据微透镜位置记录下入射光线的入射位置，还可以记录下入射光线的入射方向。因此利用光场成像技术能够广泛应用于深度估计(Depth Estimation)、图像重聚焦(Refocus)、三维建模(3D Reconstruction)等领域，具有十分重要的研究意义。
由光场相机直接得到的图像被称作光场原图，光场原图由一个个小的微透镜图像所组成，将微透镜图像的像素点按照其原有位置重新排列可以得到来自不同视角的视点图像。其中，微透镜图像的像素点数目决定了视点图像的个数，而微透镜图像的个数决定了每张视点图像的像素点数目。因此，光场图像的尺寸(或光场的分辨率)可以记作[A,B,C,D]，其中A,B表示光场的空间分辨率，即每一个视点图像的尺寸为A×B；C,D表示光场的角度分辨率，即光场原图中包含C×D个视点图像。光场同时记录了光线的角度与位置信息，实现了高维的图像数据表达，但是由于光场采集设备的限制，在有限的成像条件下光场图像的空间分辨率和角度分辨率需要折衷，光场的角度分辨率的提高是以牺牲空间分辨率为代价的。这导致了光场图像的空间分辨率远低于传统成像设备得到的二维图像分辨率，而角度分辨率也十分不足，通常只有9×9或14×14；同时，由于微透镜的限制，真实光场图像的边缘视点图像通常不可用。因此，为了提高光场图像质量以实现更好的应用，需要提高光场在角度域或空间域的分辨率。
根据光场的特性，可以将光场超分辨率分为空间域超分辨率(即增加视点图像分辨率)和角度域超分辨率(即增加视点图像数量)。针对光场空间域分辨率不足的问题，最直接的方法是将每张视点图像依次进行二维图像超分辨率，得到视点图像超分辨率后的光场图像。在现有技术中，大多数基于深度学习的方法都通过设计不同的网络结构，针对视点图像提取出不同的特征用于空间域超分辨率，但这样做忽略了视点图像之间的视差关系，将导致相邻视点图像内容的不连续，直接影响光场的后续应用；同时，网络不仅需要学习不同角度位置的视点图像像素之间的差异信息，还需要学习其角度位置的差异性信息。因此在进行空间域超分辨率处理时，如何在对光场图像进行基于深度学习的超分辨率处理时，将光场本身特性考虑在内，而不是将不同的视点图像作为不同的独立整体来考虑，是目前需要进一步解决的问题。
发明内容
本发明针对上述现有技术中存在的问题，提出一种光场图像空间域超分辨率方法、***、终端及存储介质，利用光场视点图像之间的视差关系进行基于相位的视点图像视差对齐，并将其与基于深度学习的光场图像超分辨率方法相结合，得到了质量更高的超分辨率结果。
为解决上述技术问题，本发明是通过如下技术方案实现的：
根据本发明的第一方面，提供一种光场图像空间域超分辨率方法，其包括：
S11：将视点图像按照角度位置分为多组，对应设置多个视点图像对齐范围不同的对齐方案；
S12：将不同角度位置的视点图像，以其自身作为待超分辨率的中心视点图像，利用基于频域图像金字塔分解的视差提取方法，按照所述S11对应的对齐方案，对其周围预设对齐范围内的待对齐视点图像进行视差对齐，对齐至中心视点图像位置，得到一组对齐后的视点图像；
S13：将待训练的视点图像先剪裁为预设大小的图像块，后下采样，再按照所述S12进行对齐，然后输出至深度学习网络中进行训练，得到对应不同对齐方案的光场图像超分辨率模型；
S14：将待测试的视点图像按照所述S12对齐，将对齐后的视点图像输入到所述S13得到的对应其对齐方案的光场图像超分辨率模型中，预测得到空间域超分辨率后的视点图像。
较佳地，所述S11具体包括：
将7×7的光场视点图像按照角度位置分为6组，对应设置了6个视点图像对齐方案；
其中，所述6个对齐方案的对齐范围包括：3×3，5×5、7×7。
较佳地，所述S12具体包括：
进行对齐操作时，将不同角度位置的视点图像，以其自身作为待超分辨率的中心视点图像，按照所述对齐方案设置模块对应的对齐方案，对其周围预设对齐范围内四个方向的待对齐视点图像进行视差对齐，预设对齐范围内如有超过边界的缺失视点图像，将其用全零矩阵进行补齐；
其中，所述四个方向分别为0°、45°、90°、135°；
所述视差对齐具体包括：采用基于频域图像金字塔分解的视差提取方法，以参考视点图像为1相位，以待对齐视点图像为0相位，计算所述参考视点图像与所述待对齐视点图像之间的相位差，并以此相位差作为视差信息，将该相位差叠加至所述待对齐视点图像的原始相位上。
较佳地，所述S13具体包括：
S131：将待训练的高分辨率视点图像裁剪为相同尺寸的待训练的高分辨率视点图像的图像块；
S132：通过双三次插值法将所述S131得到的待训练的高分辨率视点图像的图像块下采样为待训练的低分辨率的视点图像的图像块；
S133：将所述S132得到的待训练的低分辨率的视点图像的图像块按照所述S12进行对齐，得到一组对齐后的待训练的低分辨率的视点图像块；
S134：将所述S133得到的一组对齐后的待训练的低分辨率的视点图像块以及未下采样的待训练的高分辨率的中心视点图像的图像块输入到深度学习网络中进行训练，得到对应6个不同对齐方案的光场图像超分辨率模型。
较佳地，所述S14具体包括：
S141：将待测试的高分辨率的视点图像下采样为待测试的低分辨率的视点图像；
S142：将所述S141得到的待测试的低分辨率的视点图像按照所述S12进行对齐，得到一组对齐后的待测试的低分辨率的视点图像；
S143：将所述S142得到的一组对齐后的待测试的低分辨率的视点图像输入到所述S13得到的对应其对齐方案的光场图像超分辨率模型中，预测得到空间域超分辨率后的视点图像。
根据本发明的第二方面，还提供一种光场图像空间域超分辨率***，其包括：对齐方案设置模块、视点图像对齐模块、视点图像模型训练模块以及视点图像超分辨率模块；其中，
所述对齐方案设置模块用于：将视点图像按照角度位置分为数组，对应设置数个视点图像对齐范围不同的对齐方案；
所述视点图像对齐模块用于：将不同角度位置的视点图像，以其自身作为待超分辨率的中心视点图像，利用基于频域图像金字塔分解的视差提取方法，按照所述对齐方案设置模块对应的对齐方案，对其周围预设对齐范围内的待对齐视点图像进行视差对齐，对齐至中心视点图像位置，得到一组对齐后的视点图像；
所述视点图像模型训练模块用于：将待训练的视点图像先剪裁为预设大小的图像块，后下采样，再利用所述视点图像对齐模块进行对齐，然后输出至深度学习网络中进行训练，得到对应不同对齐方案的光场图像超分辨率模型；
所述视点图像超分辨率模块用于：将按照所述视点图像对齐模块对齐后的待测试的视点图像输入到所述视点图像模型训练模块得到的对应其对齐方案的光场图像超分辨率模型中，预测得到空间域超分辨率后的视点图像。
较佳地，所述对齐方案设置模块用于将7×7的光场视点图像按照角度位置分为6组，对应设置了6个视点图像对齐方案；
其中，所述6个对齐方案的对齐范围包括：3×3，5×5、7×7。
较佳地，所述视点图像对齐模块用于：
将不同角度位置的视点图像，以其自身作为待超分辨率的中心视点图像，按照所述对齐方案设置模块对应的对齐方案，对其周围预设对齐范围内四个方向的待对齐视点图像进行视差对齐，预设对齐范围内如有超过边界的缺失视点图像，将其用全零矩阵进行补齐；
其中，所述四个方向分别为0°、45°、90°、135°；
所述视差对齐具体包括：采用基于频域图像金字塔分解的视差提取方法，以参考视点图像为1相位，以待对齐视点图像为0相位，计算所述参考视点图像与所述待对齐视点图像之间的相位差，并以此相位差作为视差信息，将该相位差叠加至所述待对齐视点图像的原始相位上；。
较佳地，所述视点图像模型训练模块包括：待训练裁剪模块、待训练下采样模块、待训练对齐模块以及训练模块；其中，
所述待训练裁剪模块用于将待训练的高分辨率视点图像裁剪为相同尺寸的待训练的高分辨率视点图像的图像块；
所述待训练下采样模块用于通过双三次插值法将所述待训练裁剪模块得到的待训练的高分辨率视点图像的图像块下采样为待训练的低分辨率的视点图像的图像块；
所述待训练对齐模块用于将所述待训练下采样模块得到的待训练的低分辨率的视点图像的图像块利用所述视点图像对齐模块进行对齐，得到一组对齐后的待训练的低分辨率的视点图像块；
所述训练模块用于将所述待训练对齐模块得到的一组对齐后的待训练的低分辨率的视点图像块以及未下采样的待训练的高分辨率的中心视点图像的图像块输入到深度学习网络中进行训练，得到对应6个不同对齐方案的光场图像超分辨率模型。
较佳地，所述视点图像超分辨率模块包括：待测试下采样模块、待测试对齐模块以及超分辨率模块；其中，
所述待测试下采样模块用于将待测试的高分辨率的视点图像下采样为待测试的低分辨率的视点图像；
所述待测试对齐模块用于将所述待测试下采样模块得到的待测试的低分辨率的视点图像利用所述视点图像对齐模块进行对齐，得到一组对齐后的待测试的低分辨率的视点图像；
所述超分辨率模块用于将所述待测试对齐模块得到的一组对齐后的待测试的低分辨率的视点图像输入到所述视点图像模型训练模块得到的对应其对齐方案的光场图像超分辨率模型中，预测得到空间域超分辨率后的视点图像。
根据本发明的第三方面，还提供一种终端，其包括：存储器、处理器及存储在存储器上并能在处理器上运行的计算机程序，所述处理器执行所述计算机程序时用于实现上述所述的光场图像空间域超分辨率方法。
根据本发明的第四方面，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时用于实现上述所述的光场图像空间域超分辨率方法。
相较于现有技术，本发明具有以下优点：
(1)本发明提供的光场图像空间域超分辨率方法、***、终端及存储介质，通过利用光场视点图像之间的视差关系进行基于相位的视点图像视差对齐，并将其与基于深度学习的光场图像超分辨率方法相结合，得到了质量更高的超分辨率结果；
(2)本发明提供的光场图像空间域超分辨率方法、***、终端及存储介质，将基于频域图像金字塔分解的运动放大的方法应用于视点图像对齐，相比于常规的视差对齐方法不需要额外的深度图用于辅助，节省了许多计算资源；此外，通过计算或深度学习提取得到的深度图精确度有限，而基于频域图像金字塔分解的视差提取的对齐方法，能够计算得到更丰富的亚像素信息；
(3)本发明提供的光场图像空间域超分辨率方法、***、终端及存储介质，采用先对齐再超分的策略；在将视点图像输入网络中进行学习前，先将其对齐到同一角度位置，这样做消除了原本视点图像之间的视差信息，更有利于网络对输入视点图像的学习和建模。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例的光场图像空间域超分辨率方法的流程图；
图2为本发明一较佳实施例的S11中的不同对齐方案的示意图；
图3为本发明一较佳实施例的S12中7×7对齐范围的对齐示意图；
图4为本发明一较佳实施例的S13中的深度学习网络的示意图；
图5为本发明一实施例的光场图像空间域超分辨率***的示意图。
附图标记说明：
1-对齐方案设置模块，
2-视点图像对齐模块，
3-视点图像模型训练模块，
4-视点图像超分辨率模块。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示为本发明一实施例的光场图像空间域超分辨率方法的流程图。
请参考图1，本实施例的光场图像空间域超分辨率方法包括：
S11：将视点图像按照角度位置分为多组，对应设置多个视点图像对齐范围不同的对齐方案；
S12：将不同角度位置的视点图像，以其自身作为待超分辨率的中心视点图像，利用基于频域图像金字塔分解的视差提取方法，按照所述S11对应的对齐方案，对其周围预设对齐范围内的待对齐视点图像进行视差对齐，对齐至中心视点图像位置，得到一组对齐后的视点图像；
S13：将待训练的视点图像先剪裁为预设大小的图像块，后下采样，再按照所述S12进行对齐，然后输出至深度学习网络中进行训练，得到对应不同对齐方案的光场图像超分辨率模型；
S14：将待测试的视点图像按照所述S12对齐，将对齐后的视点图像输入到所述S13得到的对应其对齐方案的光场图像超分辨率模型中，预测得到空间域超分辨率后的视点图像。
较佳实施例中，S11具体包括：
将7×7的光场视点图像按照角度位置分为如图2所示的6组，对应设置了6个视点图像对齐方案，相同纹理的视点图像作为一组对应一个对齐方案；
其中，6个对齐方案的对齐范围包括：3×3、5×5、7×7。本实施例的6个不同的对齐方案中，其中四个对齐方案对应的对齐范围为3×3，一个对齐方案对应的对齐范围为5×5，一个对齐方案对应的对齐范围为7×7。
较佳实施例中，S12使用四分之一倍频程金字塔对参考视点图像和待对齐视点图像进行分解，得到两者在不同频域区间的子带，以参考视点图像为“1”相位、待对齐视点图像为“0”相位，计算每个子带上参考视点图像和待对齐视点图像两两之间的相位差，各个频带上的相位差可以看作参考视点图像和待对齐视点图像之间的全局“运动信息”，也就是视差信息。因此，将该相位差叠加至待对齐视点图像的原始相位上，即可达到对待对齐视点图像进行视差对齐的效果，将待对齐视点图像对齐至参考视点图像的角度位置。
以下简单解释其原理，以一维图像强度分布f为例，在全局运动的情况下，当位移随时间变化的函数为δ(t)时，一维图像中不同坐标位置的强度可表示为f(x+δ(t))。将该强度值进行傅里叶级数分解，可得：
其中，A为幅值，ω为频率。每一个ω频率值对应一个频域子带，子带描述为：
Sω(x，t)＝Aωeiω(x+δ(t)) (2)
从公式(2)可以看出，子带Sω的相位ω(x+δ(t))中包含着运动信息δ(t)，因此我们可以通过操控相位来控制运动信息。
因此，为了放大运动信息，利用时间滤波器对相位进行滤波(假定滤波器只去除了直流分量)即可得到隔离出Bω(x,t)＝ωδ(t)，将其以放大系数α放大后，叠加至频带Sω的原始相位上，可得：
通过上述操作，我们得到了运动信息放大后的f(x+(1+α)δ(t))。因此，对于二维图像，通过可操控金字塔分解进行相位放大即可达到放大局部运动的效果。而对于光场图像而言，视点图像之间也存在着“运动信息”，且这种“运动信息”是全局的，即视差信息。那么我们可以得出结论：光场视点图像之间的相位差蕴含着光场视点图像之间的视差信息。
而当我们只处理两张视点图像时，分析其时域的相位变化只需要考虑两个视点图像之间对应频带的相位差异。由于没有时间的概念，因此δ(t)被简化为δ。对于视点图像A和B，以视点图像A为“1”相位，视点图像B为“0”相位，计算其对应频带上的相位差，将该相位差叠加至视点图像B的频带的原始相位上，即可将视点图像B视差对齐至视点图像A的角度位置。
进行对齐操作时，将不同角度位置的视点图像，以其自身作为待超分辨率的中心视点图像，按照所述S11对应的对齐方案，对其周围预设对齐范围内四个方向的待对齐视点图像进行视差对齐，预设对齐范围如有超过边界的缺失视点图像，将其用全零矩阵进行补齐，如图3所示为7×7对齐范围内四个方向的待对齐视点图像(除中心黑色方块之外的黑色方块)与待超分辨率的中心视点图像(中心黑色方块)。
较佳实施例中，S13具体包括：
S131：将待训练的高分辨率视点图像裁剪为相同尺寸(64×64)的待训练的高分辨率视点图像的图像块；
一实施例中，使用Kalantari等人所提供的训练数据集(100张真实光场图像)作为训练数据集，即待训练的高分辨率视点图像；
S132：通过双三次插值法将S131得到的待训练的高分辨率视点图像的图像块下采样为待训练的低分辨率的视点图像的图像块；
S133：将S132得到的待训练的低分辨率的视点图像的图像块按照所述S12进行对齐，得到一组对齐后的待训练的低分辨率的视点图像块；
S134：将S133得到的一组对齐后的待训练的低分辨率的视点图像块以及未下采样的待训练的高分辨率的中心视点图像的图像块输入到深度学习网络中进行训练，得到对应6个不同对齐方案的光场图像超分辨率模型。
一实施例中，深度学习网络结构如图4所示，分为局部特征提取、全局特征提取和上采样三个部分。首先利用四层结构相同的残差网络分别对四个不同方向的待训练的低分辨率的视点图像块提取局部特征并将其连接为全局特征，随后再利用残差网络对全局特征进一步地提取深层特征，进一步地，将从中心视点图像的低分辨率图像块中提取出的特征作为全局残差加至深层特征中，输入上采样模块得到输出，使用L1损失函数对输出与为未下采样的高分辨率的中心视点图像的图像块进行拟合，最终得到6个不同对齐方案所对应的光场图像超分辨率模型。
较佳实施例中，S14具体包括：
S141：将待测试的高分辨率的视点图像下采样为待测试的低分辨率的视点图像；
一实施例中，使用Kalantari等人所提供的测试数据集(30张真实光场图像)作为测试数据集，即待测试的高分辨率的视点图像；
S142：将所述S141得到的待测试的低分辨率的视点图像按照所述S12进行对齐，得到一组对齐后的待测试得低分辨率的视点图像；
S143：将所述S142得到的一组对齐后的待测试得低分辨率的视点图像输入到所述S13得到的对应其对齐方案的光场图像超分辨率模型中，预测得到空间域超分辨率后的视点图像。
如图5所示为本发明一实施例的光场图像空间域超分辨率***的示意图。
请参考图4，本实施例的光场图像空间域超分辨率***包括：视点图像视差对齐模块1、对齐方案设置模块2、视点图像模型训练模块3以及视点图像超分辨率模块4；其中，
对齐方案设置模块1用于：将视点图像按照角度位置分为多组，对应设置多个视点图像对齐范围不同的对齐方案；
视点图像对齐模块2用于：将不同角度位置的视点图像，以其自身作为待超分辨率的中心视点图像，利用基于频域图像金字塔分解的视差提取方法，按照所述对齐方案设置模块1对应的对齐方案，对其周围预设对齐范围内的待对齐视点图像进行视差对齐，对齐至中心视点图像位置，得到一组对齐后的视点图像；
视点图像模型训练模块3用于：将待训练的视点图像先剪裁至预设大小，后下采样，再利用视点图像对齐模块2进行对齐，然后输出至深度学习网络中进行训练，得到对应其不同对齐方案的光场图像超分辨率模型；
视点图像超分辨率模块4用于：将按照所述视点图像对齐模块对齐后的待测试的视点图像输入到视点图像模型训练模块3得到的对应其对齐方案的光场图像超分辨率模型中，预测得到空间域超分辨率后的视点图像。
较佳实施例中，对齐方案设置模块用于将7×7的光场视点图像按照角度位置分为6组，对应设置了6个视点图像对齐方案；
其中，6个对齐方案的对齐范围包括：3×3，5×5、7×7。
较佳实施例中，视点图像对齐模块用于：
进行对齐操作时，将不同角度位置的视点图像，以其自身作为待超分辨率的中心视点图像，按照所述对齐方案设置模块对应的对齐方案，对其周围预设对齐范围内四个方向的待对齐视点图像进行视差对齐，预设对齐范围如有超过边界的缺失视点图像，将其用全零矩阵进行补齐；
其中，所述四个方向分别为0°、45°、90°、135°；
所述视差对齐具体包括：采用基于频域图像金字塔分解的视差提取方法，以参考视点图像为1相位，以待对齐视点图像为0相位，计算所述参考视点图像与所述待对齐视点图像之间的相位差，并以此相位差作为视差信息，将该相位差叠加至所述待对齐视点图像的原始相位上。
较佳实施例中，视点图像模型训练模块包括：待训练裁剪模块、待训练下采样模块、待训练对齐模块以及训练模块；其中，
待训练裁剪模块用于将待训练的高分辨率视点图像裁剪为相同尺寸的待训练的高分辨率视点图像的图像块；
待训练下采样模块用于通过双三次插值法将待训练裁剪模块得到的待训练的高分辨率视点图像的图像块下采样为待训练的低分辨率的视点图像的图像块；
待训练对齐模块用于将待训练下采样模块得到的待训练的低分辨率的视点图像的图像块利用视点图像对齐模块进行对齐，得到一组对齐后的待训练的低分辨率的视点图像块；
训练模块用于将待训练对齐模块得到的一组对齐后的待训练的低分辨率的视点图像块以及未下采样的待训练的高分辨率的中心视点图像的图像块输入到深度学习网络中进行训练，得到对应6个不同对齐方案的光场图像超分辨率模型。
较佳实施例中，视点图像超分辨率模块包括：待测试下采样模块、待测试对齐模块以及超分辨率模块；其中，
待测试下采样模块用于将待测试的高分辨率的视点图像下采样为待测试的低分辨率的视点图像；
待测试对齐模块用于将待测试下采样模块得到的待测试的低分辨率的视点图像利用视点图像对齐模块进行对齐，得到一组对齐后的待测试的低分辨率的视点图像；
超分辨率模块用于将待测试对齐模块得到的一组对齐后的待测试的低分辨率的视点图像输入到视点图像模型训练模块得到的对应其对齐方案的光场图像超分辨率模型中，预测得到空间域超分辨率后的视点图像。
本发明上述实施例提供的光场图像空间与超分辨率方法及***，利用光场视点图像之间的视差关系进行基于相位的视点图像视差对齐，并将其与基于深度学习的光场图像超分辨率方法相结合，得到了质量更高的超分辨率结果。
下面在上述Kalantari等人所提供的测试数据集(30张真实光场图像)上进行实验，用于评估本发明所提出的方法。本实验的实验环境为Win10***、MATLAB R2016b实验平台、PyTorch 1.3.0和Python3.7。实验的客观评价指标为PSNR(Peak Signal to NoiseRatio)和SSIM(Structural Similarity)。PSNR和SSIM(0-1)的值越高，表示方法性能越好。
表1为本发明算法与没有进行视点图像对齐步骤的本算法以及双三次插值上采样方法的客观指标对比。从表中可以看出，本发明算法在PSNR和SSIM两项指标上有着更为出色的表现。同时也能看出，通过增加视点图像对齐步骤，能够有效地提高光场图像超分辨率质量。
表1客观评价指标对比
由上述实验可以看出，本发明所提出的光场图像空间域超分辨率方法与***，能够有效提高光场图像超分辨率质量。
基于上述的实施例，在另一实施例中，本发明还提供一种终端，包括存储器、处理器及存储在存储器上并能在处理器上运行的计算机程序，处理器执行程序时用于实现上述任一实施例中的光场图像空间域超分辨率方法。
基于上述的实施例，在另一实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时用于实现上述任一实施例中的光场图像空间域超分辨率方法。
需要说明的是，本发明提供的方法中的步骤，可以利用***中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现***的组成，即，方法中的实施例可理解为构建***的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims (10)

1.一种光场图像空间域超分辨率方法，其特征在于，包括：
S11：将视点图像按照角度位置分为多组，对应设置多个视点图像对齐范围不同的对齐方案；
S12：将不同角度位置的视点图像，以其自身作为待超分辨率的中心视点图像，利用基于频域图像金字塔分解的视差提取方法，按照所述S11对应的对齐方案，对其周围预设对齐范围内的待对齐视点图像进行视差对齐，对齐至中心视点图像位置，得到一组对齐后的视点图像；
S13：将待训练的视点图像先剪裁为预设大小的图像块，后下采样，再按照所述S12进行对齐，然后输出至深度学习网络中进行训练，得到对应不同对齐方案的光场图像超分辨率模型；
S14：将待测试的视点图像按照所述S12进行对齐，将对齐后的视点图像输入到所述S13得到的对应其对齐方案的光场图像超分辨率模型中，预测得到空间域超分辨率后的视点图像；
所述S12具体包括：
将不同角度位置的视点图像，以其自身作为待超分辨率的中心视点图像，按照所述S11对应的对齐方案，对其周围预设对齐范围内四个方向的视点图像进行视差对齐，预设对齐范围内如有超过边界的缺失视点图像，将其用全零矩阵进行补齐；
其中，所述四个方向分别为0°、45°、90°、135°；
所述视差对齐具体包括：采用基于频域图像金字塔分解的视差提取方法，以参考视点图像为1相位，以待对齐视点图像为0相位，计算所述参考视点图像与所述待对齐视点图像之间的相位差，并以此相位差作为视差信息，将该相位差叠加至所述待对齐视点图像的原始相位上。
2.根据权利要求1所述的光场图像空间域超分辨率方法，其特征在于，所述S11具体包括：将7×7的光场视点图像按照角度位置分为6组，对应设置了6个视点图像对齐方案；
其中，所述6个视点图像对齐方案的对齐范围包括：3×3，5×5、7×7。
3.根据权利要求1所述的光场图像空间域超分辨率方法，其特征在于，所述S13具体包括：
S131：将待训练的高分辨率视点图像裁剪为相同尺寸的待训练的高分辨率视点图像的图像块；
S132：通过双三次插值法将所述S131得到的待训练的高分辨率视点图像的图像块下采样为待训练的低分辨率的视点图像的图像块；
S133：将所述S132得到的待训练的低分辨率的视点图像的图像块按照所述S12进行对齐，得到一组对齐后的待训练的低分辨率的视点图像块；
S134：将所述S133得到的一组对齐后的待训练的低分辨率的视点图像块以及未下采样的待训练的高分辨率的中心视点图像的图像块输入到深度学习网络中进行训练，得到对应6个不同对齐方案的光场图像超分辨率模型。
4.根据权利要求1所述的光场图像空间域超分辨率方法，其特征在于，所述S14具体包括：
S141：将待测试的高分辨率的视点图像下采样为待测试的低分辨率的视点图像；
S142：将所述S141得到的待测试的低分辨率的视点图像按照所述S12进行对齐，得到一组对齐后的待测试的低分辨率的视点图像；
S143：将所述S142得到的一组对齐后的待测试的低分辨率的视点图像输入到所述S13得到的对应其对齐方案的光场图像超分辨率模型中，预测得到空间域超分辨率后的视点图像。
5.一种光场图像空间域超分辨率***，其特征在于，包括：对齐方案设置模块、视点图像对齐模块、视点图像模型训练模块以及视点图像超分辨率模块；其中，
所述对齐方案设置模块用于：将视点图像按照角度位置分为数组，对应设置数个视点图像对齐范围不同的对齐方案；
所述视点图像对齐模块用于：将不同角度位置的视点图像，以其自身作为待超分辨率的中心视点图像，利用基于频域图像金字塔分解的视差提取方法，按照所述对齐方案设置模块对应的对齐方案，对其周围预设对齐范围内的待对齐视点图像进行视差对齐，对齐至中心视点图像位置，得到一组对齐后的视点图像；
所述视点图像模型训练模块用于：将待训练的视点图像先剪裁为预设大小的图像块，后下采样，再利用所述视点图像对齐模块进行对齐，然后输出至深度学习网络中进行训练，得到对应不同对齐方案的光场图像超分辨率模型；
所述视点图像超分辨率模块用于将按照所述视点图像对齐模块对齐后的待测试的视点图像输入到所述视点图像模型训练模块得到的对应其对齐方案的光场图像超分辨率模型中，预测得到空间域超分辨率后的视点图像；
所述视点图像对齐模块用于：
将不同角度位置的视点图像，以其自身作为待超分辨率的中心视点图像，按照所述对齐方案设置模块对应的对齐方案，对其周围预设对齐范围内四个方向的待对齐视点图像进行视差对齐，预设对齐范围内如有超过边界的缺失视点图像，将其用全零矩阵进行补齐；
其中，所述四个方向分别为0°、45°、90°、135°；
所述视差对齐具体包括：采用基于频域图像金字塔分解的视差提取方法，以参考视点图像为1相位，以待对齐视点图像为0相位，计算所述参考视点图像与所述待对齐视点图像之间的相位差，并以此相位差作为视差信息，将该相位差叠加至所述待对齐视点图像的原始相位上。
6.根据权利要求5所述的光场图像空间域超分辨率***，其特征在于，所述对齐方案设置模块用于将7×7的光场视点图像按照角度位置分为6组，对应设置了6个视点图像对齐方案；
其中，所述6个视点图像对齐方案的对齐范围包括：3×3，5×5、7×7。
7.根据权利要求5所述的光场图像空间域超分辨率***，其特征在于，所述视点图像模型训练模块包括：待训练裁剪模块、待训练下采样模块、待训练对齐模块以及训练模块；其中，
所述待训练裁剪模块用于：将待训练的高分辨率视点图像裁剪为相同尺寸的待训练的高分辨率视点图像的图像块；
所述待训练下采样模块用于：通过双三次插值法将所述待训练裁剪模块得到的待训练的高分辨率视点图像的图像块下采样为待训练的低分辨率的视点图像的图像块；
所述待训练对齐模块用于：将所述待训练下采样模块得到的待训练的低分辨率的视点图像的图像块利用所述视点图像对齐模块进行对齐，得到一组对齐后的待训练的低分辨率的视点图像块；
所述训练模块用于：将所述待训练对齐模块得到的一组对齐后的待训练的低分辨率的视点图像块以及未下采样的待训练的高分辨率的中心视点图像的图像块输入到深度学习网络中进行训练，得到对应6个不同对齐方案的光场图像超分辨率模型。
8.根据权利要求5所述的光场图像空间域超分辨率***，其特征在于，所述视点图像超分辨率模块包括：待测试下采样模块、待测试对齐模块以及超分辨率模块；其中，
所述待测试下采样模块用于将待测试的高分辨率的视点图像下采样为待测试的低分辨率的视点图像；
所述待测试对齐模块用于将所述待测试下采样模块得到的待测试的低分辨率的视点图像利用所述视点图像对齐模块进行对齐，得到一组对齐后的待测试的低分辨率的视点图像；
所述超分辨率模块用于将所述待测试对齐模块得到的一组对齐后的待测试的低分辨率的视点图像输入到所述视点图像模型训练模块得到的对应其对齐方案的光场图像超分辨率模型中，预测得到空间域超分辨率后的视点图像。
9.一种终端，其特征在于，包括：存储器、处理器及存储在存储器上并能在处理器上运行的计算机程序，所述处理器执行所述计算机程序时用于实现如权利要求1至4任一项所述的光场图像空间域超分辨率方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时用于实现如权利要求1至4任一项所述的光场图像空间域超分辨率方法。
CN202110906481.2A 2021-08-09 2021-08-09 光场图像空间域超分辨率方法、***、终端及存储介质 Active CN113592716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110906481.2A CN113592716B (zh) 2021-08-09 2021-08-09 光场图像空间域超分辨率方法、***、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110906481.2A CN113592716B (zh) 2021-08-09 2021-08-09 光场图像空间域超分辨率方法、***、终端及存储介质

Publications (2)

Publication Number Publication Date
CN113592716A CN113592716A (zh) 2021-11-02
CN113592716B true CN113592716B (zh) 2023-08-01

Family

ID=78256198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110906481.2A Active CN113592716B (zh) 2021-08-09 2021-08-09 光场图像空间域超分辨率方法、***、终端及存储介质

Country Status (1)

Country Link
CN (1) CN113592716B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074218A (zh) * 2017-12-29 2018-05-25 清华大学 基于光场采集装置的图像超分辨率方法及装置
CN112070675A (zh) * 2020-09-07 2020-12-11 武汉工程大学 一种基于图的正则化光场超分辨率方法和光场显微装置
CN112102165A (zh) * 2020-08-18 2020-12-18 北京航空航天大学 一种基于零样本学习的光场图像角域超分辨***及方法
CN112785502A (zh) * 2021-01-25 2021-05-11 江南大学 一种基于纹理迁移的混合相机的光场图像超分辨率方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464853B (zh) * 2014-05-21 2019-07-16 索尼公司 图像处理设备和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074218A (zh) * 2017-12-29 2018-05-25 清华大学 基于光场采集装置的图像超分辨率方法及装置
CN112102165A (zh) * 2020-08-18 2020-12-18 北京航空航天大学 一种基于零样本学习的光场图像角域超分辨***及方法
CN112070675A (zh) * 2020-09-07 2020-12-11 武汉工程大学 一种基于图的正则化光场超分辨率方法和光场显微装置
CN112785502A (zh) * 2021-01-25 2021-05-11 江南大学 一种基于纹理迁移的混合相机的光场图像超分辨率方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Light Field Spatial Super-resolution via Deep Combinatorial Geometry Embedding and Structural Consistency Regularization;Jing Jin等;《IEEE》;全文 *
融合多尺度特征的光场图像超分辨率方法;赵圆圆等;《光电工程》;第47卷(第12期);全文 *

Also Published As

Publication number Publication date
CN113592716A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
Lee et al. Local texture estimator for implicit representation function
CN113284054B (zh) 图像增强方法以及图像增强装置
CN112308200B (zh) 神经网络的搜索方法及装置
CN101477684B (zh) 一种利用位置图像块重建的人脸图像超分辨率方法
CN108475415B (zh) 用于图像处理的方法和***
CN111105352A (zh) 超分辨率图像重构方法、***、计算机设备及存储介质
Guo et al. Deep spatial-angular regularization for light field imaging, denoising, and super-resolution
WO2016019484A1 (en) An apparatus and a method for providing super-resolution of a low-resolution image
Wang et al. High-fidelity view synthesis for light field imaging with extended pseudo 4DCNN
CN111626927B (zh) 采用视差约束的双目图像超分辨率方法、***及装置
CN111951195A (zh) 图像增强方法及装置
CN115147271A (zh) 一种用于光场超分辨率的多视图信息注意力交互网络
CN111932480A (zh) 去模糊视频恢复方法、装置、终端设备以及存储介质
CN115220211A (zh) 基于深度学习和光场成像的显微成像***及方法
CN115937794A (zh) 小目标对象检测方法、装置、电子设备及存储介质
CN117291808B (zh) 一种基于流先验与极偏补偿的光场图像超分辨处理方法
Huang et al. Light-field reconstruction and depth estimation from focal stack images using convolutional neural networks
JP3699921B2 (ja) 画像再構成法及び画像再構成装置
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
CN110335228B (zh) 一种图像视差的确定方法、装置及***
CN114359041A (zh) 一种光场图像空间超分辨率重建方法
CN113592716B (zh) 光场图像空间域超分辨率方法、***、终端及存储介质
CN117114987A (zh) 基于亚像素和梯度引导的光场图像超分辨率重建方法
Burt A pyramid-based front-end processor for dynamic vision applications
Schirrmacher et al. SR 2: Super-resolution with structure-aware reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant