CN110246162A - 一种全聚焦光场图像组成方法及*** - Google Patents

一种全聚焦光场图像组成方法及*** Download PDF

Info

Publication number
CN110246162A
CN110246162A CN201910534802.3A CN201910534802A CN110246162A CN 110246162 A CN110246162 A CN 110246162A CN 201910534802 A CN201910534802 A CN 201910534802A CN 110246162 A CN110246162 A CN 110246162A
Authority
CN
China
Prior art keywords
light field
refocusing
imaging
image
field image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910534802.3A
Other languages
English (en)
Inventor
关鸿亮
徐翎丰
段福洲
苏文博
郭甜
杨帆
张玉瑶
陈璐
孟祥慈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Normal University
Original Assignee
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University filed Critical Capital Normal University
Priority to CN201910534802.3A priority Critical patent/CN110246162A/zh
Publication of CN110246162A publication Critical patent/CN110246162A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种全聚焦光场图像组成方法及***。该方法包括：获取光原始图像；对所述光场原始图像进行数字重聚焦，得到光场的焦点堆栈；对所述焦点堆栈进行宏像素方差计算，得到空间点的匹配代价；根据所述匹配代价计算成像索引；通过所述成像索引，从所述焦点堆栈中提取出所述光场原始图像中所有点的成像；根据所有所述点的成像组成全聚焦光场图像。本发明通过使用光场图像进行全聚焦图像的求取，能够在不增加成像复杂度的情况下得到全部清晰的成像。

Description

一种全聚焦光场图像组成方法及***
技术领域
本发明涉及全聚焦光场图像领域，特别是涉及一种全聚焦光场图像组成方法及***。
背景技术
我们常常会通过手机或是单反相机记录身边的场景，而这类传统相机由于受到景深范围的限制，其通过单次拍摄得到的影像中只能够有部分区域的清晰成像，其余区域则会由于失焦而出现模糊的现象。虽然失焦模糊有时会使拍摄的照片产生一种朦胧的“文艺”感，在摄影界也会有人专门去研究失焦的运用，但在大部分应用领域中，相机的失焦都是一个亟待解决的问题。
发明内容
本发明的目的是提供一种全聚焦光场图像组成方法及***，通过使用光场图像进行全聚焦图像的求取，能够在不增加成像复杂度的情况下得到全部清晰的成像。
为实现上述目的，本发明提供了如下方案：
一种全聚焦光场图像组成方法，所述方法包括：
获取光原始图像；
对所述光场原始图像进行数字重聚焦，得到光场的焦点堆栈；
对所述焦点堆栈进行宏像素方差计算，得到空间点的匹配代价；
根据所述匹配代价计算成像索引；
通过所述成像索引，从所述焦点堆栈中提取出所述光场原始图像中所有点的成像；
根据所有所述点的成像组成全聚焦光场图像。
可选的，所述对所述光场原始图像进行数字重聚焦的重聚焦公式为：
式中，Lα为重聚焦之后的光场图像；L为重聚焦之前的光场图像；(s，t)为空间坐标；(u，v)为角度坐标；α为重聚焦参数，所述重聚焦参数为重聚焦后的深度与重聚焦之前的深度的比值。
可选的，所述对所述焦点堆栈进行宏像素方差计算，得到空间点的匹配代价的匹配代价计算公式为：
式中，Cα(s，t)为深度为α的重聚焦图像中空间坐标为(s，t)的点的匹配代价值；N为宏像素P内的点的数量；I(u，v)为宏像素P内角度坐标为(u，v)的点；为宏像素P中像素的平均值。
可选的，所述根据所述匹配代价计算成像索引的计算公式为：
D(s，t)＝argαminCα(s，t)
式中，D(s，t)为空间坐标为(s，t)的点的最清晰成像索引值。
本发明还提供了一种全聚焦光场图像组成***，所述***包括：
图像获取模块，用于获取光原始图像；
重聚焦模块，用于对所述光场原始图像进行数字重聚焦，得到光场的焦点堆栈；
方差计算模块，用于对所述焦点堆栈进行宏像素方差计算，得到空间点的匹配代价；
成像索引计算模块，用于根据所述匹配代价计算成像索引；
提取模块，用于通过所述成像索引，从所述焦点堆栈中提取出所述光场原始图像中所有点的成像；
全聚焦光场图像组成模块，用于根据所述点的成像组成全聚焦光场图像。
可选的，所述对所述光场原始图像进行数字重聚焦的重聚焦公式为：
式中，Lα为重聚焦之后的光场图像；L为重聚焦之前的光场图像；(s，t)为空间坐标；(u，v)为角度坐标；α为重聚焦参数，所述重聚焦参数为重聚焦后的深度与重聚焦之前的深度的比值。
可选的，所述对所述焦点堆栈进行宏像素方差计算，得到空间点的匹配代价的匹配代价计算公式为：
式中，Cα(s，t)为深度为α的重聚焦图像中空间坐标为(s，t)的点的匹配代价值；N为宏像素P内的点的数量；I(u，v)为宏像素P内角度坐标为(u，v)的点；为宏像素P中像素的平均值。
可选的，所述根据所述匹配代价计算成像索引的计算公式为：
D(s，t)＝argαminCα(s，t)
式中，D(s，t)为空间坐标为(s，t)的点的最清晰成像索引值。
与现有技术相比，本发明具有以下技术效果：本发明利用光场相机各个成像视角之间的成像一致性特征来对图像中空间点的对焦质量进行评价，进而以各空间点的对焦质量评价结果作为索引，从光场焦点堆栈中提取出各空间点处最清晰的成像，组成目标场景的全聚焦图像。通过使用光场图像进行全聚焦图像的求取，能够在不增加成像复杂度的情况下得到全部清晰的成像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例全聚焦光场图像组成方法的流程图；
图2为本发明实施例全聚焦光场图像组成***的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种全聚焦光场图像组成方法及***，通过使用光场图像进行全聚焦图像的求取，能够在不增加成像复杂度的情况下得到全部清晰的成像。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，一种全聚焦光场图像组成方法包括以下步骤：
步骤101：获取光原始图像。
步骤102：对所述光场原始图像进行数字重聚焦，得到光场的焦点堆栈。
重聚焦公式为：
式中，Lα为重聚焦之后的光场图像；L为重聚焦之前的光场图像；(s，t)为空间坐标；(u，v)为角度坐标；α为重聚焦参数，所述重聚焦参数为重聚焦后的深度与重聚焦之前的深度的比值。
步骤103：对所述焦点堆栈进行宏像素方差计算，得到空间点的匹配代价。
匹配代价计算公式为：
式中，Cα(s，t)为深度为α的重聚焦图像中空间坐标为(s，t)的点的匹配代价值；N为宏像素P内的点的数量；I(u，v)为宏像素P内角度坐标为(u，v)的点；为宏像素P中像素的平均值。
步骤104：根据所述匹配代价计算成像索引。
成像索引计算公式为：
D(s，t)＝argαmincα(s,t)
式中，D(s，t)为空间坐标为(s，t)的点的最清晰成像索引值。
步骤105：通过所述成像索引，从所述焦点堆栈中提取出所述光场原始图像中所有点的成像。
步骤106：根据所有所述点的成像组成全聚焦光场图像。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明利用光场相机各个成像视角之间的成像一致性特征来对图像中空间点的对焦质量进行评价，进而以各空间点的对焦质量评价结果作为索引，从光场焦点堆栈中提取出各空间点处最清晰的成像，组成目标场景的全聚焦图像。通过使用光场图像进行全聚焦图像的求取，能够在不增加成像复杂度的情况下得到全部清晰的成像。
如图2所示，本发明还提供了一种全聚焦光场图像组成***，所述***包括：
图像获取模块201，用于获取光原始图像。
重聚焦模块202，用于对所述光场原始图像进行数字重聚焦，得到光场的焦点堆栈。
重聚焦公式为：
式中，Lα为重聚焦之后的光场图像；L为重聚焦之前的光场图像；(s，t)为空间坐标；(u，v)为角度坐标；α为重聚焦参数，所述重聚焦参数为重聚焦后的深度与重聚焦之前的深度的比值。
方差计算模块203，用于对所述焦点堆栈进行宏像素方差计算，得到空间点的匹配代价。
匹配代价计算公式为：
式中，Cα(s，t)为深度为α的重聚焦图像中空间坐标为(s，t)的点的匹配代价值；N为宏像素P内的点的数量；I(u，v)为宏像素P内角度坐标为(u，v)的点；为宏像素P中像素的平均值。
成像索引计算模块204，用于根据所述匹配代价计算成像索引。
成像索引计算公式为：
D(s，t)＝argαmincα(s,t)
式中，D(s，t)为空间坐标为(s，t)的点的最清晰成像索引值。
提取模块205，用于通过所述成像索引，从所述焦点堆栈中提取出所述光场原始图像中所有点的成像。
全聚焦光场图像组成模块206，用于根据所述点的成像组成全聚焦光场图像。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种全聚焦光场图像组成方法，其特征在于，所述方法包括：
获取光原始图像；
对所述光场原始图像进行数字重聚焦，得到光场的焦点堆栈；
对所述焦点堆栈进行宏像素方差计算，得到空间点的匹配代价；
根据所述匹配代价计算成像索引；
通过所述成像索引，从所述焦点堆栈中提取出所述光场原始图像中所有点的成像；
根据所有所述点的成像组成全聚焦光场图像。
2.根据权利要求1所述的全聚焦光场图像组成方法，其特征在于，所述对所述光场原始图像进行数字重聚焦的重聚焦公式为：
式中，Lα为重聚焦之后的光场图像；L为重聚焦之前的光场图像；(s，t)为空间坐标；(u，v)为角度坐标；α为重聚焦参数，所述重聚焦参数为重聚焦后的深度与重聚焦之前的深度的比值。
3.根据权利要求1所述的全聚焦光场图像组成方法，其特征在于，所述对所述焦点堆栈进行宏像素方差计算，得到空间点的匹配代价的匹配代价计算公式为：
式中，Cα(s，t)为深度为α的重聚焦图像中空间坐标为(s，t)的点的匹配代价值；N为宏像素P内的点的数量；I(u，v)为宏像素P内角度坐标为(u，v)的点；为宏像素P中像素的平均值。
4.根据权利要求1所述的全聚焦光场图像组成方法，其特征在于，所述根据所述匹配代价计算成像索引的计算公式为：
D(s，t)＝argαminCα(s，t)
式中，D(s，t)为空间坐标为(s，t)的点的最清晰成像索引值。
5.一种全聚焦光场图像组成***，其特征在于，所述***包括：
图像获取模块，用于获取光原始图像；
重聚焦模块，用于对所述光场原始图像进行数字重聚焦，得到光场的焦点堆栈；
方差计算模块，用于对所述焦点堆栈进行宏像素方差计算，得到空间点的匹配代价；
成像索引计算模块，用于根据所述匹配代价计算成像索引；
提取模块，用于通过所述成像索引，从所述焦点堆栈中提取出所述光场原始图像中所有点的成像；
全聚焦光场图像组成模块，用于根据所述点的成像组成全聚焦光场图像。
6.根据权利要求5所述的全聚焦光场图像组成***，其特征在于，所述对所述光场原始图像进行数字重聚焦的重聚焦公式为：
式中，Lα为重聚焦之后的光场图像；L为重聚焦之前的光场图像；(s，t)为空间坐标；(u，v)为角度坐标；α为重聚焦参数，所述重聚焦参数为重聚焦后的深度与重聚焦之前的深度的比值。
7.根据权利要求5所述的全聚焦光场图像组成***，其特征在于，所述对所述焦点堆栈进行宏像素方差计算，得到空间点的匹配代价的匹配代价计算公式为：
式中，Cα(s，t)为深度为α的重聚焦图像中空间坐标为(s，t)的点的匹配代价值；N为宏像素P内的点的数量；I(u，v)为宏像素P内角度坐标为(u，v)的点；为宏像素P中像素的平均值。
8.根据权利要求5所述的全聚焦光场图像组成***，其特征在于，所述根据所述匹配代价计算成像索引的计算公式为：
D(s，t)＝argαminCα(s，t)
式中，D(s，t)为空间坐标为(s，t)的点的最清晰成像索引值。
CN201910534802.3A 2019-06-20 2019-06-20 一种全聚焦光场图像组成方法及*** Pending CN110246162A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910534802.3A CN110246162A (zh) 2019-06-20 2019-06-20 一种全聚焦光场图像组成方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910534802.3A CN110246162A (zh) 2019-06-20 2019-06-20 一种全聚焦光场图像组成方法及***

Publications (1)

Publication Number Publication Date
CN110246162A true CN110246162A (zh) 2019-09-17

Family

ID=67888155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910534802.3A Pending CN110246162A (zh) 2019-06-20 2019-06-20 一种全聚焦光场图像组成方法及***

Country Status (1)

Country Link
CN (1) CN110246162A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967242A (zh) * 2021-02-26 2021-06-15 北京信息科技大学 一种基于视觉特征聚合的光场质量评价方法
CN114078153A (zh) * 2021-11-18 2022-02-22 清华大学 面向散射场景的光场编码摄像方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105721768A (zh) * 2014-12-19 2016-06-29 汤姆逊许可公司 从聚焦堆叠生成适合的切片图像的方法和装置
CN109360235A (zh) * 2018-09-29 2019-02-19 中国航空工业集团公司上海航空测控技术研究所 一种基于光场数据的混合深度估计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105721768A (zh) * 2014-12-19 2016-06-29 汤姆逊许可公司 从聚焦堆叠生成适合的切片图像的方法和装置
CN109360235A (zh) * 2018-09-29 2019-02-19 中国航空工业集团公司上海航空测控技术研究所 一种基于光场数据的混合深度估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
潘佳琪: "基于深度线索的光场相机深度研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967242A (zh) * 2021-02-26 2021-06-15 北京信息科技大学 一种基于视觉特征聚合的光场质量评价方法
CN112967242B (zh) * 2021-02-26 2023-07-04 北京信息科技大学 一种基于视觉特征聚合的光场质量评价方法
CN114078153A (zh) * 2021-11-18 2022-02-22 清华大学 面向散射场景的光场编码摄像方法及装置

Similar Documents

Publication Publication Date Title
CN108833785B (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
US10341594B2 (en) Light field capture control methods and apparatuses, light field capture devices
CN103733617B (zh) 用以捕获立体图像对的***和方法
CN108377343B (zh) 用于高动态范围成像的曝光选择器及其相关的方法
CN107995424B (zh) 基于深度图的光场全聚焦图像生成方法
US10708486B2 (en) Generation of a depth-artificial image by determining an interpolated supplementary depth through interpolation based on the original depths and a detected edge
Yuan et al. Multiscale gigapixel video: A cross resolution image matching and warping approach
JP6308748B2 (ja) 画像処理装置、撮像装置及び画像処理方法
WO2019221013A4 (en) Video stabilization method and apparatus and non-transitory computer-readable medium
CN108776980A (zh) 一种面向微透镜光场相机的标定方法
EP2350973A1 (en) Stereoscopic image processing device, method, recording medium and stereoscopic imaging apparatus
KR101941801B1 (ko) Led 디스플레이에 이용되는 영상 처리 방법 및 장치
EP2704423A1 (en) Image processing apparatus, image processing method, and image processing program
CN112753217B (zh) 混合深度处理
CN103973958A (zh) 图像处理方法及设备
KR20110078175A (ko) 영상 데이터 생성 방법 및 장치
CN112261387B (zh) 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端
TW201030448A (en) Method for high dynamic range imaging
CN113129241B (zh) 图像处理方法及装置、计算机可读介质、电子设备
CN103136745B (zh) 利用散焦碉堡图像执行深度估计的***及方法
CN106357987A (zh) 一种曝光方法和装置
CN105931210B (zh) 一种高分辨率图像重建方法
CN104618648A (zh) 一种全景视频拼接***及拼接方法
JP2015152484A (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
CN105657394A (zh) 基于双摄像头的拍摄方法、拍摄装置及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190917