CN108074218A - 基于光场采集装置的图像超分辨率方法及装置 - Google Patents
基于光场采集装置的图像超分辨率方法及装置 Download PDFInfo
- Publication number
- CN108074218A CN108074218A CN201711474559.8A CN201711474559A CN108074218A CN 108074218 A CN108074218 A CN 108074218A CN 201711474559 A CN201711474559 A CN 201711474559A CN 108074218 A CN108074218 A CN 108074218A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- mrow
- super
- acquisition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000000007 visual effect Effects 0.000 claims abstract description 55
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 230000007935 neutral effect Effects 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于光场采集装置的图像超分辨率方法及装置，光场采集装置包括多个USB摄像头和相机，以构成一个具有3×3视角的光场采集装置，在侧视角的多个USB摄像头以正方形的空间形式规则排布且围绕在相机周围，其中，方法包括：通过采集光场图像获取多个侧视角低分辨率图像和中间视角高分辨率图像；利用字典学习和深度学习对所采集到的多个侧视角低分辨率图像进行超分辨率；根据多张不同视角的光场图像之间的视差得到场景的深度信息。该方法可以通过单视角和多视角信息，预测恢复输入图像的高频部分，并且利用多视角高分辨率图像的信息，计算场景的深度，降低了制作成本，保证空间和角度分辨率的准确性。
Description
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于光场采集装置的图像超分辨率方法及装置。
背景技术
光场采集及其重建技术是计算机视觉领域中一个非常重要的问题，利用光场进行三维重建相比传统的三维重建方法有着极大的优势：对硬件资源的依赖小、很方便于PC上进行实时重建；适用性强，场景复杂程度对计算的复杂度没有影响。然而，使用三维扫描仪虽然可以进行高精度的三维重建，但其昂贵的设备价格和使用场合的局限性限制了实际的应用。光场技术在照明工程、光场渲染、重光照、重聚焦摄像、合成孔径成像、3D显示、安防监控等场合有着广泛的应用。
相关技术中，光场采集装置主要有：使用相机阵列，最常见的有球形相机阵列和平面/直线相机阵列，一般需要使用几十个或者上百个相机布置在场景中的合适位置对同一场景进行同步的采集；使用镜头阵列，通过一次拍摄出场景不同景深的照片，能够实现场景的任意范围聚焦，并且这样的光场相机已经面世进入到商业应用领域，采集装置往往对相机的空间分辨率要求较高，因此高昂的硬件成本限制了其发展。
光场三维重建技术的核心问题之一是提高光场图像的分辨率。由于所采集的图像分辨率将直接影响场景深度的计算，因此，对所采集图像进行超分辨率将提高深度估计的精度以及三维重建的准确性。利用高分辨率图像信息可以对场景进行三维建模，在此基础上可以实现场景任意视点、任意光照的虚拟成像，以及图像分割、立体显示等非常有意义的应用。传统的光场图像超分辨率算法主要是基于多视点的字典学习方法，通过提取不同视点、不同分辨率图像中的字典信息，建立相互对应关系，利用高分辨率图像块加权相加的方式对低分辨率图像进行超分辨率。由于光场采集装置为了获取较大的角度分辨率，不同视角的图像往往视差比较大，这种情况下字典学习的方法不能够有效进行超分辨，造成鬼影、模糊等结果，这样大大制约了光场图像所携带信息的准确性，从而进一步影响后续场景重建的精度，有待解决。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于光场采集装置的图像超分辨率方法，该方法可以大大的降低制作成本，保证空间和角度分辨率的准确性，能实现光场相机重对焦。
本发明的另一个目的在于提出一种基于光场采集装置的图像超分辨率装置。
为达到上述目的，本发明一方面实施例提出了一种基于光场采集装置的图像超分辨率方法，所述光场采集装置包括多个USB摄像头和相机，以构成一个具有3×3视角的光场采集装置，在侧视角的所述多个USB摄像头以正方形的空间形式规则排布且围绕在所述相机周围，其中，所述方法包括以下步骤：通过所述光场采集装置采集光场图像，以获取多个侧视角低分辨率图像和中间视角高分辨率图像；利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率；根据多张不同视角的光场图像之间的视差得到场景的深度信息。
本发明实施例的基于光场采集装置的图像超分辨率方法，通过单视角和多视角信息，预测恢复输入图像的高频部分，并且利用多视角高分辨率图像的信息，进一步计算场景的深度，可用于场景重建、大场景监控的情形，大大的降低了制作成本，保证空间和角度分辨率的准确性，能实现光场相机重对焦。
另外，根据本发明上述实施例的基于光场采集装置的图像超分辨率方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率，进一步包括：将所述中间视角高分辨率图像降采样，利用所述深度学习方法将其通过训练好的卷积神经网络进行该视角的超分辨率，与降采样前的图像相减得到残差图像，以反映神经网络超分辨率的残差；将所述多个侧视角低分辨率图像与所述中间高分辨率图像利用图像分块提取字典信息，并做低分辨率图像块与高分辨率图像块的信息对应；将每个侧视角低分辨率图像通过所述卷积神经网络进行初步超分辨率，利用信息对应关系，将所述残差图像转换到侧视角，与经过神经网络的初步得到的超分辨率结果相加，以获取最终超分辨率结果。
进一步地，在本发明的一个实施例中，通过以下公式得到每个位置对应的残差图像块：
其中，为侧视角重建的高分辨率图像块，k为选取的最近似的9个中间高分辨率图像块的索引，ωk为第k个的权重，为形成第j个侧视角高分辨图像块所需要的第k个中间高分辨图像块，R为在中间高分辨率图像上取值，j为侧视角图像块的索引。
进一步地，在本发明的一个实施例中，所述最终超分辨率结果为：
其中，为重建的超分辨率图像块，HR为超分辨率，fCNN(SLR)为经过神经网络进行的图像块超分辨率，SERR为降采样前的图像相减得到残差图像，LR代表低分辨率。
进一步地，在本发明的一个实施例中，所述根据多张不同视角的光场图像之间的视差得到场景的深度信息，进一步包括：获取每张光场图像的边缘置信度，以得到边缘置信度掩膜；根据所述边缘置信度掩膜得到被标记为置信边缘的像素点的视差值；通过联合双边中值滤波对初始视差图进行滤波，获取非边缘区域的像素点和视差置信度小于预设阈值的像素点的视差值；根据各像素点的视差值生成视差图。
为达到上述目的，本发明另一方面实施例提出了一种基于光场采集装置的图像超分辨率装置，所述光场采集装置包括多个USB摄像头和相机，以构成一个具有3×3视角的光场采集装置，在侧视角的所述多个USB摄像头以正方形的空间形式规则排布且围绕在所述相机周围，其中，所述装置包括：采集模块，用于通过所述光场采集装置采集光场图像，以获取多个侧视角低分辨率图像和中间视角高分辨率图像；超分辨率模块，用于利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率；获取模块，用于根据多张不同视角的光场图像之间的视差得到场景的深度信息。
本发明实施例的基于光场采集装置的图像超分辨率装置，通过单视角和多视角信息，预测恢复输入图像的高频部分，并且利用多视角高分辨率图像的信息，进一步计算场景的深度，可用于场景重建、大场景监控的情形，大大的降低了制作成本，保证空间和角度分辨率的准确性，能实现光场相机重对焦。
另外，根据本发明上述实施例的基于光场采集装置的图像超分辨率装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述超分辨率模块，进一步包括：计算单元，用于将所述中间视角高分辨率图像降采样，利用所述深度学习方法将其通过训练好的卷积神经网络进行该视角的超分辨率，与降采样前的图像相减得到残差图像，以反映神经网络超分辨率的残差；提取单元，用于将所述多个侧视角低分辨率图像与所述中间高分辨率图像利用图像分块提取字典信息，并做低分辨率图像块与高分辨率图像块的信息对应；第一获取单元，用于将每个侧视角低分辨率图像通过所述卷积神经网络进行初步超分辨率，利用信息对应关系，将所述残差图像转换到侧视角，与经过神经网络的初步得到的超分辨率结果相加，以获取最终超分辨率结果。
进一步地，在本发明的一个实施例中，通过以下公式得到每个位置对应的残差图像块：
其中，为侧视角重建的高分辨率图像块，k为选取的最近似的9个中间高分辨率图像块的索引，ωk为第k个的权重，为形成第j个侧视角高分辨图像块所需要的第k个中间高分辨图像块，R为在中间高分辨率图像上取值，j为侧视角图像块的索引。
进一步地，在本发明的一个实施例中，所述最终超分辨率结果为：
其中，为重建的超分辨率图像块，HR为超分辨率，fCNN(SLR)为经过神经网络进行的图像块超分辨率，SERR为降采样前的图像相减得到残差图像，LR代表低分辨率。
进一步地，在本发明的一个实施例中，所述获取模块，进一步包括：第二获取单元，用于获取每张光场图像的边缘置信度，以得到边缘置信度掩膜；第三获取单元，用于根据所述边缘置信度掩膜得到被标记为置信边缘的像素点的视差值；第四获取单元，用于通过联合双边中值滤波对初始视差图进行滤波，获取非边缘区域的像素点和视差置信度小于预设阈值的像素点的视差值；生成单元，用于根据各像素点的视差值生成视差图。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的光场采集装置的结构示意图；
图2为根据本发明实施例的基于光场采集装置的图像超分辨率方法的流程图；
图3为根据本发明一个实施例的超分辨率光场采集装置的三维重建方法的流程图；
图4为根据本发明实施例的基于光场采集装置的图像超分辨率装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在介绍本发明实施例的基于光场采集装置的图像超分辨率方法及装置之前，首先介绍本发明实施例的光场采集装置。
如图1所示光场采集装置包括多个USB摄像头和相机，以构成一个具有3×3视角的光场采集装置，在侧视角的多个USB摄像头以正方形的空间形式规则排布且围绕在相机周围。
具体地，光场采集装置可以包括：8个非专业低质量USB摄像头，1个高分辨率相机，1个定制铝架。其中，侧视角的8个低质量摄像头以正方形规则排布周围，同一边上的相邻两个摄像头的距离为60mm，9个摄像装置组成3×3视角的稀疏光场采集装置，对于高分辨率相机，本发明实施例可以采用佳能600D单反相机。
在利用本发明实施例的光场采集装置采集图像之前，首先要设置所有相机的焦点，并校准整个装置***的固有参数；将每个侧视角图像投影到参照平面平行于中间视角图像的平面上，根据校准结果，使图像校正成光场图像。如此得到的所有侧视角图像分布于具有平均间距的3×3网格上。
另外，在后续的图像处理流程中，需要对所有相机采集到的图像的重叠区域进行裁剪，经过裁剪处理后，由高分辨率相机采集到的中间视角图像的分辨率为2944×1808，侧视角图像的分辨率均为368×266，为中间视角图像分辨率的1/8。
综上，根据本发明实施例的光场采集装置，由8个非专业质量USB摄像头和1个高分辨率相机组成，实现对场景的多视角采集。该光场采集装置通过校正，能够采集具有较高角度分辨率的三维稀疏光场，采集速度快、效率高，与传统的使用多相机阵列采集光场的装置相比，本发明实施例的光场采集装置只需要使用一个高质量相机，硬件成本低，采集速度快、效率高，而且该光场采集装置结构简单，使用方便，适用范围广。
下面参照附图描述根据本发明实施例提出的基于光场采集装置的图像超分辨率方法及装置，首先将参照附图描述根据本发明实施例提出的基于光场采集装置的图像超分辨率方法。
图2是本发明实施例的基于光场采集装置的图像超分辨率方法的流程图。
如图2所示，该基于光场采集装置的图像超分辨率方法包括以下步骤：
在步骤S201中，通过光场采集装置采集光场图像，以获取多个侧视角低分辨率图像和中间视角高分辨率图像。
可以理解的是，如图3所示，本发明实施例以输入1张侧视角低分辨率图像S和中间视角高分辨率图像R为例，并分别应用于所有8个侧视角，以通过光场采集装置采集光场图像，以获取多个侧视角低分辨率图像和中间视角高分辨率图像。
在步骤S202中，利用字典学习和深度学习对所采集到的多个侧视角低分辨率图像进行超分辨率。
进一步地，在本发明的一个实施例中，利用字典学习和深度学习对所采集到的多个侧视角低分辨率图像进行超分辨率，进一步包括：将中间视角高分辨率图像降采样，利用深度学习方法将其通过训练好的卷积神经网络进行该视角的超分辨率，与降采样前的图像相减得到残差图像，以反映神经网络超分辨率的残差；将多个侧视角低分辨率图像与中间高分辨率图像利用图像分块提取字典信息，并做低分辨率图像块与高分辨率图像块的信息对应；将每个侧视角低分辨率图像通过卷积神经网络进行初步超分辨率，利用信息对应关系，将残差图像转换到侧视角，与经过神经网络的初步得到的超分辨率结果相加，以获取最终超分辨率结果。
可以理解的是，本发明实施例可以将周围8个视角的低分辨率图像与中间高分辨率图像利用图像分块提取字典信息，并做低分辨率图像块与高分辨率图像块的信息对应。
具体地，中间视角高分辨率图像R的字典信息为DR＝{fR,1,…,fR,N}，其中fR,i(i＝1,2,…,N)为从R中提取的图像块的第一梯度和第二梯度结果。同理，对应位置的残差图像RERR的字典信息也可以用相同的方法得到，记为{eR,1,…,eR,N}。对于侧视角的低分辨率图像中的每个图像块位置j，计算第一梯度和第二梯度，并在DR中采用L2范数距离计算得到9近邻记为从而得到残差字典中相对应的9个特征，记为
进一步地，在本发明的一个实施例中，通过以下公式得到每个位置对应的残差图像块：
其中，为侧视角重建的高分辨率图像块，k为选取的最近似的9个中间高分辨率图像块的索引，ωk为第k个的权重，为形成第j个侧视角高分辨图像块所需要的第k个中间高分辨图像块，R为在中间高分辨率图像上取值，j为侧视角图像块的索引。
进一步地，在本发明的一个实施例中，最终超分辨率结果为：
其中，为重建的超分辨率图像块，HR为超分辨率，fCNN(SLR)为经过神经网络进行的图像块超分辨率，SERR为降采样前的图像相减得到残差图像，LR代表低分辨率。
可以理解的是，本发明实施例可以对于每一个侧视角的低分辨率图像，将其通过卷积神经网络进行初步超分辨率，利用信息对应关系，将残差图像转换到侧视角，与经过神经网络的初步得到的超分辨率结果相加，得到最终超分辨率结果。
具体地，根据残差候选字典利用加权平均得到S中每个位置j对应的残差图像块其中，从而利用字典学习的方法估计得到了S对应的残差图像，记为SERR。随后将原侧视角低分辨率图像通过卷积神经网络并与残差图像相加，最终得到超分辨率后的光场图像，即
在步骤S203中，根据多张不同视角的光场图像之间的视差得到场景的深度信息。
进一步地，在本发明的一个实施例中，根据多张不同视角的光场图像之间的视差得到场景的深度信息，进一步包括：获取每张光场图像的边缘置信度，以得到边缘置信度掩膜；根据边缘置信度掩膜得到被标记为置信边缘的像素点的视差值；通过联合双边中值滤波对初始视差图进行滤波，获取非边缘区域的像素点和视差置信度小于预设阈值的像素点的视差值；根据各像素点的视差值生成视差图。
可以理解的是，本发明实施例的光场深度信息计算，具体包括以下步骤：
步骤1：计算每张图像的边缘置信度，以得到边缘置信度掩膜；
步骤2：根据边缘置信度掩膜计算被标记为置信边缘的像素点的视差值；
步骤3：通过联合双边中值滤波对初始视差图进行滤波；
步骤4:计算非边缘区域的像素点和视差置信度小于预设阈值的像素点的视差值；
步骤5：根据各像素点的视差值生成视差图。
根据本发明实施例提出的基于光场采集装置的图像超分辨率方法，通过单视角和多视角信息，预测恢复输入图像的高频部分，并且利用多视角高分辨率图像的信息，进一步计算场景的深度，可用于场景重建、大场景监控的情形，大大的降低了制作成本，保证空间和角度分辨率的准确性，能实现光场相机重对焦。
其次参照附图描述根据本发明实施例提出的基于光场采集装置的图像超分辨率装置。
图4是本发明实施例的基于光场采集装置的图像超分辨率装置的结构示意图。
如图4所示，该基于光场采集装置的图像超分辨率装置10包括：采集模块100、超分辨率模块200和获取模块300。
其中，采集模块100用于通过光场采集装置采集光场图像，以获取多个侧视角低分辨率图像和中间视角高分辨率图像。超分辨率模块200用于利用字典学习和深度学习对所采集到的多个侧视角低分辨率图像进行超分辨率。获取模块300用于根据多张不同视角的光场图像之间的视差得到场景的深度信息。本发明实施例的装置10可以通过单视角和多视角信息，预测恢复输入图像的高频部分，并且利用多视角高分辨率图像的信息，进一步计算场景的深度，降低了制作成本，保证空间和角度分辨率的准确性，能实现光场相机重对焦。
进一步地，在本发明的一个实施例中，超分辨率模块，进一步包括：计算单元，用于将中间视角高分辨率图像降采样，利用深度学习方法将其通过训练好的卷积神经网络进行该视角的超分辨率，与降采样前的图像相减得到残差图像，以反映神经网络超分辨率的残差；提取单元，用于将多个侧视角低分辨率图像与中间高分辨率图像利用图像分块提取字典信息，并做低分辨率图像块与高分辨率图像块的信息对应；第一获取单元，用于将每个侧视角低分辨率图像通过卷积神经网络进行初步超分辨率，利用信息对应关系，将残差图像转换到侧视角，与经过神经网络的初步得到的超分辨率结果相加，以获取最终超分辨率结果。
进一步地，在本发明的一个实施例中，通过以下公式得到每个位置对应的残差图像块：
其中，为侧视角重建的高分辨率图像块，k为选取的最近似的9个中间高分辨率图像块的索引，ωk为第k个的权重，为形成第j个侧视角高分辨图像块所需要的第k个中间高分辨图像块，R为在中间高分辨率图像上取值，j为侧视角图像块的索引。
进一步地，在本发明的一个实施例中，最终超分辨率结果为：
其中，为重建的超分辨率图像块，HR为超分辨率，fCNN(SLR)为经过神经网络进行的图像块超分辨率，SERR为降采样前的图像相减得到残差图像，LR代表低分辨率。
进一步地，在本发明的一个实施例中，获取模块，进一步包括：第二获取单元，用于获取每张光场图像的边缘置信度，以得到边缘置信度掩膜；第三获取单元，用于根据边缘置信度掩膜得到被标记为置信边缘的像素点的视差值；第四获取单元，用于通过联合双边中值滤波对初始视差图进行滤波，获取非边缘区域的像素点和视差置信度小于预设阈值的像素点的视差值；生成单元，用于根据各像素点的视差值生成视差图。
需要说明的是，前述对基于光场采集装置的图像超分辨率方法实施例的解释说明也适用于该实施例的基于光场采集装置的图像超分辨率装置，此处不再赘述。
根据本发明实施例提出的基于光场采集装置的图像超分辨率，通过单视角和多视角信息，预测恢复输入图像的高频部分，并且利用多视角高分辨率图像的信息，进一步计算场景的深度，可用于场景重建、大场景监控的情形，降低了制作成本，保证空间和角度分辨率的准确性，能实现光场相机重对焦。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于光场采集装置的图像超分辨率方法，其特征在于，所述光场采集装置包括多个USB摄像头和相机，以构成一个具有3×3视角的光场采集装置，在侧视角的所述多个USB摄像头以正方形的空间形式规则排布且围绕在所述相机周围，其中，所述方法包括：
通过所述光场采集装置采集光场图像，以获取多个侧视角低分辨率图像和中间视角高分辨率图像；
利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率；以及
根据多张不同视角的光场图像之间的视差得到场景的深度信息。
2.根据权利要求1所述的基于光场采集装置的图像超分辨率方法，其特征在于，所述利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率，进一步包括：
将所述中间视角高分辨率图像降采样，利用所述深度学习方法将其通过训练好的卷积神经网络进行该视角的超分辨率，与降采样前的图像相减得到残差图像，以反映神经网络超分辨率的残差；
将所述多个侧视角低分辨率图像与所述中间高分辨率图像利用图像分块提取字典信息，并做低分辨率图像块与高分辨率图像块的信息对应；
将每个侧视角低分辨率图像通过所述卷积神经网络进行初步超分辨率，利用信息对应关系，将所述残差图像转换到侧视角，与经过神经网络的初步得到的超分辨率结果相加，以获取最终超分辨率结果。
3.根据权利要求2所述的基于光场采集装置的图像超分辨率方法，其特征在于，通过以下公式得到每个位置对应的残差图像块：
<mrow>
<mover>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>^</mo>
</mover>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>9</mn>
</msubsup>
<msub>
<mi>&omega;</mi>
<mi>k</mi>
</msub>
<msubsup>
<mi>e</mi>
<mrow>
<mi>R</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>j</mi>
</msubsup>
</mrow>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>9</mn>
</msubsup>
<msub>
<mi>&omega;</mi>
<mi>k</mi>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
其中，为侧视角重建的高分辨率图像块，k为选取的最近似的9个中间高分辨率图像块的索引，ωk为第k个的权重，为形成第j个侧视角高分辨图像块所需要的第k个中间高分辨图像块，R为在中间高分辨率图像上取值，j为侧视角图像块的索引。
4.根据权利要求3所述的基于光场采集装置的图像超分辨率方法，其特征在于，所述最终超分辨率结果为：
<mrow>
<msup>
<mover>
<mi>S</mi>
<mo>^</mo>
</mover>
<mrow>
<mi>H</mi>
<mi>R</mi>
</mrow>
</msup>
<mo>=</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>C</mi>
<mi>N</mi>
<mi>N</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msup>
<mi>S</mi>
<mrow>
<mi>L</mi>
<mi>R</mi>
</mrow>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>S</mi>
<mrow>
<mi>E</mi>
<mi>R</mi>
<mi>R</mi>
</mrow>
</msup>
<mo>,</mo>
</mrow>
其中，为重建的超分辨率图像块，HR为超分辨率，fCNN(SLR)为经过神经网络进行的图像块超分辨率，SERR为降采样前的图像相减得到残差图像，LR代表低分辨率。
5.根据权利要求1-4任一项所述的基于光场采集装置的图像超分辨率方法，其特征在于，所述根据多张不同视角的光场图像之间的视差得到场景的深度信息，进一步包括：
获取每张光场图像的边缘置信度，以得到边缘置信度掩膜；
根据所述边缘置信度掩膜得到被标记为置信边缘的像素点的视差值；
通过联合双边中值滤波对初始视差图进行滤波，获取非边缘区域的像素点和视差置信度小于预设阈值的像素点的视差值；以及
根据各像素点的视差值生成视差图。
6.一种基于光场采集装置的图像超分辨率装置，其特征在于，所述光场采集装置包括多个USB摄像头和相机，以构成一个具有3×3视角的光场采集装置，在侧视角的所述多个USB摄像头以正方形的空间形式规则排布且围绕在所述相机周围，其中，所述装置包括：
采集模块，用于通过所述光场采集装置采集光场图像，以获取多个侧视角低分辨率图像和中间视角高分辨率图像；
超分辨率模块，用于利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率；以及
获取模块，用于根据多张不同视角的光场图像之间的视差得到场景的深度信息。
7.根据权利要求6所述的基于光场采集装置的图像超分辨率装置，其特征在于，所述超分辨率模块，进一步包括：
计算单元，用于将所述中间视角高分辨率图像降采样，利用所述深度学习方法将其通过训练好的卷积神经网络进行该视角的超分辨率，与降采样前的图像相减得到残差图像，以反映神经网络超分辨率的残差；
提取单元，用于将所述多个侧视角低分辨率图像与所述中间高分辨率图像利用图像分块提取字典信息，并做低分辨率图像块与高分辨率图像块的信息对应；
第一获取单元，用于将每个侧视角低分辨率图像通过所述卷积神经网络进行初步超分辨率，利用信息对应关系，将所述残差图像转换到侧视角，与经过神经网络的初步得到的超分辨率结果相加，以获取最终超分辨率结果。
8.根据权利要求7所述的基于光场采集装置的图像超分辨率装置，其特征在于，通过以下公式得到每个位置对应的残差图像块：
<mrow>
<mover>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>^</mo>
</mover>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>9</mn>
</msubsup>
<msub>
<mi>&omega;</mi>
<mi>k</mi>
</msub>
<msubsup>
<mi>e</mi>
<mrow>
<mi>R</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>j</mi>
</msubsup>
</mrow>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>9</mn>
</msubsup>
<msub>
<mi>&omega;</mi>
<mi>k</mi>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
其中，为侧视角重建的高分辨率图像块，k为选取的最近似的9个中间高分辨率图像块的索引，ωk为第k个的权重，为形成第j个侧视角高分辨图像块所需要的第k个中间高分辨图像块，R为在中间高分辨率图像上取值，j为侧视角图像块的索引。
9.根据权利要求8所述的基于光场采集装置的图像超分辨率装置，其特征在于，所述最终超分辨率结果为：
<mrow>
<msup>
<mover>
<mi>S</mi>
<mo>^</mo>
</mover>
<mrow>
<mi>H</mi>
<mi>R</mi>
</mrow>
</msup>
<mo>=</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>C</mi>
<mi>N</mi>
<mi>N</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msup>
<mi>S</mi>
<mrow>
<mi>L</mi>
<mi>R</mi>
</mrow>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>S</mi>
<mrow>
<mi>E</mi>
<mi>R</mi>
<mi>R</mi>
</mrow>
</msup>
<mo>,</mo>
</mrow>
其中，为重建的超分辨率图像块，HR为超分辨率，fCNN(SLR)为经过神经网络进行的图像块超分辨率，SERR为降采样前的图像相减得到残差图像，LR代表低分辨率。
10.根据权利要求6-9任一项所述的基于光场采集装置的图像超分辨率装置，其特征在于，所述获取模块，进一步包括：
第二获取单元，用于获取每张光场图像的边缘置信度，以得到边缘置信度掩膜；
第三获取单元，用于根据所述边缘置信度掩膜得到被标记为置信边缘的像素点的视差值；
第四获取单元，用于通过联合双边中值滤波对初始视差图进行滤波，获取非边缘区域的像素点和视差置信度小于预设阈值的像素点的视差值；以及
生成单元，用于根据各像素点的视差值生成视差图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711474559.8A CN108074218B (zh) | 2017-12-29 | 2017-12-29 | 基于光场采集装置的图像超分辨率方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711474559.8A CN108074218B (zh) | 2017-12-29 | 2017-12-29 | 基于光场采集装置的图像超分辨率方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108074218A true CN108074218A (zh) | 2018-05-25 |
| CN108074218B CN108074218B (zh) | 2021-02-23 |
Family
ID=62156067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711474559.8A Active CN108074218B (zh) | 2017-12-29 | 2017-12-29 | 基于光场采集装置的图像超分辨率方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108074218B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876907A (zh) * | 2018-05-31 | 2018-11-23 | 大连理工大学 | 一种面向目标对象的主动式三维重建方法 |
| CN109302600A (zh) * | 2018-12-06 | 2019-02-01 | 成都工业学院 | 一种立体场景拍摄装置 |
| CN109447919A (zh) * | 2018-11-08 | 2019-03-08 | 电子科技大学 | 结合多视角与语义纹理特征的光场超分辨率重建方法 |
| CN110555800A (zh) * | 2018-05-30 | 2019-12-10 | 北京三星通信技术研究有限公司 | 图像处理装置及方法 |
| CN111630840A (zh) * | 2018-08-23 | 2020-09-04 | 深圳配天智能技术研究院有限公司 | 一种超分辨图像的获取方法及获取装置、图像传感器 |
| WO2020207172A1 (zh) * | 2019-04-09 | 2020-10-15 | 深圳市视觉动力科技有限公司 | 基于三维光场技术的光学无人机监测方法及*** |
| CN111800560A (zh) * | 2019-04-08 | 2020-10-20 | 豪威科技股份有限公司 | 使用晶圆级集成工艺的光场相机及方法 |
| CN111815513A (zh) * | 2020-06-09 | 2020-10-23 | 四川虹美智能科技有限公司 | 红外图像采集方法和装置 |
| CN111815515A (zh) * | 2020-07-01 | 2020-10-23 | 成都智学易数字科技有限公司 | 基于医学教育的对象三维绘制方法 |
| CN111818298A (zh) * | 2020-06-08 | 2020-10-23 | 北京航空航天大学 | 一种基于光场的高清视频监控***及方法 |
| CN112037136A (zh) * | 2020-09-18 | 2020-12-04 | 中国科学院国家天文台南京天文光学技术研究所 | 基于孔径调制的超分辨率成像方法 |
| CN112102165A (zh) * | 2020-08-18 | 2020-12-18 | 北京航空航天大学 | 一种基于零样本学习的光场图像角域超分辨***及方法 |
| WO2021121037A1 (zh) * | 2019-12-16 | 2021-06-24 | 首都师范大学 | 一种应用深度采样进行光场重构的方法及*** |
| CN113220251A (zh) * | 2021-05-18 | 2021-08-06 | 北京达佳互联信息技术有限公司 | 物体显示方法、装置、电子设备及存储介质 |
| CN113538307A (zh) * | 2021-06-21 | 2021-10-22 | 陕西师范大学 | 基于多视角超分辨深度网络的合成孔径成像方法 |
| CN113592716A (zh) * | 2021-08-09 | 2021-11-02 | 上海大学 | 光场图像空间域超分辨率方法、***、终端及存储介质 |
| WO2023231138A1 (zh) * | 2022-05-30 | 2023-12-07 | 元潼(北京)技术有限公司 | 基于元成像的多视角图像超分辨重建方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838568A (zh) * | 2012-11-26 | 2014-06-04 | 诺基亚公司 | 用于生成超分辨图像的方法、装置和计算机程序产品 |
| CN104050662A (zh) * | 2014-05-30 | 2014-09-17 | 清华大学深圳研究生院 | 一种用光场相机一次成像直接获取深度图的方法 |
| CN105023275A (zh) * | 2015-07-14 | 2015-11-04 | 清华大学 | 超分辨率光场采集装置及其的三维重建方法 |
| CN105551050A (zh) * | 2015-12-29 | 2016-05-04 | 深圳市未来媒体技术研究院 | 一种基于光场的图像深度估计方法 |
-
2017
- 2017-12-29 CN CN201711474559.8A patent/CN108074218B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838568A (zh) * | 2012-11-26 | 2014-06-04 | 诺基亚公司 | 用于生成超分辨图像的方法、装置和计算机程序产品 |
| CN104050662A (zh) * | 2014-05-30 | 2014-09-17 | 清华大学深圳研究生院 | 一种用光场相机一次成像直接获取深度图的方法 |
| CN105023275A (zh) * | 2015-07-14 | 2015-11-04 | 清华大学 | 超分辨率光场采集装置及其的三维重建方法 |
| CN105551050A (zh) * | 2015-12-29 | 2016-05-04 | 深圳市未来媒体技术研究院 | 一种基于光场的图像深度估计方法 |
Non-Patent Citations (4)
| Title |
|---|
| VINCENT MASSELUS: "Relighting with 4D Incident Light Fields", 《ACM DIGITAL LIBRARY》 * |
| 张驰等: "光场成像技术及其在计算机视觉中的应用", 《中国图像图形学报》 * |
| 李梦娜: "全光场多视角图像超分辨率重建", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 肖照林: "基于相机阵列的光场成像与深度估计方法研究", 《中国博士学位论文全文数据库信息科技辑》 * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11967045B2 (en) | 2018-05-30 | 2024-04-23 | Samsung Electronics Co., Ltd | Image processing device and method |
| CN110555800A (zh) * | 2018-05-30 | 2019-12-10 | 北京三星通信技术研究有限公司 | 图像处理装置及方法 |
| CN108876907A (zh) * | 2018-05-31 | 2018-11-23 | 大连理工大学 | 一种面向目标对象的主动式三维重建方法 |
| CN111630840A (zh) * | 2018-08-23 | 2020-09-04 | 深圳配天智能技术研究院有限公司 | 一种超分辨图像的获取方法及获取装置、图像传感器 |
| CN109447919B (zh) * | 2018-11-08 | 2022-05-06 | 电子科技大学 | 结合多视角与语义纹理特征的光场超分辨率重建方法 |
| CN109447919A (zh) * | 2018-11-08 | 2019-03-08 | 电子科技大学 | 结合多视角与语义纹理特征的光场超分辨率重建方法 |
| CN109302600A (zh) * | 2018-12-06 | 2019-02-01 | 成都工业学院 | 一种立体场景拍摄装置 |
| CN109302600B (zh) * | 2018-12-06 | 2023-03-21 | 成都工业学院 | 一种立体场景拍摄装置 |
| CN111800560A (zh) * | 2019-04-08 | 2020-10-20 | 豪威科技股份有限公司 | 使用晶圆级集成工艺的光场相机及方法 |
| CN111800560B (zh) * | 2019-04-08 | 2022-02-08 | 豪威科技股份有限公司 | 使用晶圆级集成工艺的光场相机及方法 |
| WO2020207172A1 (zh) * | 2019-04-09 | 2020-10-15 | 深圳市视觉动力科技有限公司 | 基于三维光场技术的光学无人机监测方法及*** |
| CN111818274A (zh) * | 2019-04-09 | 2020-10-23 | 深圳市视觉动力科技有限公司 | 基于三维光场技术的光学无人机监测方法及*** |
| US20220210375A1 (en) * | 2019-04-09 | 2022-06-30 | Shenzhen Vision Power Technology Co., Ltd. | Method and system for optical monitoring of unmanned aerial vehicles based on three-dimensional light field technology |
| WO2021121037A1 (zh) * | 2019-12-16 | 2021-06-24 | 首都师范大学 | 一种应用深度采样进行光场重构的方法及*** |
| CN111818298A (zh) * | 2020-06-08 | 2020-10-23 | 北京航空航天大学 | 一种基于光场的高清视频监控***及方法 |
| CN111818298B (zh) * | 2020-06-08 | 2021-10-22 | 北京航空航天大学 | 一种基于光场的高清视频监控***及方法 |
| CN111815513A (zh) * | 2020-06-09 | 2020-10-23 | 四川虹美智能科技有限公司 | 红外图像采集方法和装置 |
| CN111815515B (zh) * | 2020-07-01 | 2024-02-09 | 成都智学易数字科技有限公司 | 基于医学教育的对象三维绘制方法 |
| CN111815515A (zh) * | 2020-07-01 | 2020-10-23 | 成都智学易数字科技有限公司 | 基于医学教育的对象三维绘制方法 |
| CN112102165B (zh) * | 2020-08-18 | 2022-12-06 | 北京航空航天大学 | 一种基于零样本学习的光场图像角域超分辨***及方法 |
| CN112102165A (zh) * | 2020-08-18 | 2020-12-18 | 北京航空航天大学 | 一种基于零样本学习的光场图像角域超分辨***及方法 |
| CN112037136B (zh) * | 2020-09-18 | 2023-12-26 | 中国科学院国家天文台南京天文光学技术研究所 | 基于孔径调制的超分辨率成像方法 |
| CN112037136A (zh) * | 2020-09-18 | 2020-12-04 | 中国科学院国家天文台南京天文光学技术研究所 | 基于孔径调制的超分辨率成像方法 |
| CN113220251A (zh) * | 2021-05-18 | 2021-08-06 | 北京达佳互联信息技术有限公司 | 物体显示方法、装置、电子设备及存储介质 |
| CN113220251B (zh) * | 2021-05-18 | 2024-04-09 | 北京达佳互联信息技术有限公司 | 物体显示方法、装置、电子设备及存储介质 |
| CN113538307A (zh) * | 2021-06-21 | 2021-10-22 | 陕西师范大学 | 基于多视角超分辨深度网络的合成孔径成像方法 |
| CN113592716A (zh) * | 2021-08-09 | 2021-11-02 | 上海大学 | 光场图像空间域超分辨率方法、***、终端及存储介质 |
| CN113592716B (zh) * | 2021-08-09 | 2023-08-01 | 上海大学 | 光场图像空间域超分辨率方法、***、终端及存储介质 |
| WO2023231138A1 (zh) * | 2022-05-30 | 2023-12-07 | 元潼(北京)技术有限公司 | 基于元成像的多视角图像超分辨重建方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108074218B (zh) | 2021-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108074218A (zh) | 基于光场采集装置的图像超分辨率方法及装置 | |
| Yang et al. | Dense depth posterior (ddp) from single image and sparse range | |
| CN106846463B (zh) | 基于深度学习神经网络的显微图像三维重建方法及*** | |
| CN108921781B (zh) | 一种基于深度的光场拼接方法 | |
| CN104376552B (zh) | 一种3d模型与二维图像的虚实配准方法 | |
| CN103337094B (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
| CN101443817B (zh) | 用于确定场景的三维重建时的对应关系的方法和装置 | |
| Liang et al. | Learning non-local spatial-angular correlation for light field image super-resolution | |
| Jung et al. | Reconstruction of three-dimensional occluded object using optical flow and triangular mesh reconstruction in integral imaging | |
| CN109741240A (zh) | 一种基于层次聚类的多平面图像拼接方法 | |
| Zhang et al. | Aerial orthoimage generation for UAV remote sensing | |
| DE102019208216A1 (de) | Detektion, 3D-Rekonstruktion und Nachverfolgung von mehreren relativ zueinander bewegten starren Objekten | |
| CN113989758A (zh) | 一种用于自动驾驶的锚引导3d目标检测方法及装置 | |
| CN115082254A (zh) | 一种变电站精益管控数字孪生*** | |
| CN112465704A (zh) | 一种全局-局部自适应优化的全景光场拼接方法 | |
| CN113436130B (zh) | 一种非结构光场智能感知***与装置 | |
| Chen et al. | Swinfsr: Stereo image super-resolution using swinir and frequency domain knowledge | |
| CN114757862A (zh) | 用于红外光场设备的图像增强渐进式融合方法 | |
| Chen et al. | Virtual view synthesis for 3D light-field display based on scene tower blending | |
| CN117291808A (zh) | 一种基于流先验与极偏补偿的光场图像超分辨处理方法 | |
| CN108615221A (zh) | 基于剪切二维极线平面图的光场角度超分辨率方法及装置 | |
| CN112767246A (zh) | 光场图像多倍率空间超分辨方法及装置 | |
| CN116152442A (zh) | 一种三维点云模型生成方法及装置 | |
| CN109961092A (zh) | 一种基于视差锚点的双目视觉立体匹配方法及*** | |
| CN114913064A (zh) | 基于结构保持和多对多匹配的大视差图像拼接方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |