CN110084749B - 一种焦距非一致的光场图像的拼接方法 - Google Patents
一种焦距非一致的光场图像的拼接方法 Download PDFInfo
- Publication number
- CN110084749B CN110084749B CN201910310016.5A CN201910310016A CN110084749B CN 110084749 B CN110084749 B CN 110084749B CN 201910310016 A CN201910310016 A CN 201910310016A CN 110084749 B CN110084749 B CN 110084749B
- Authority
- CN
- China
- Prior art keywords
- light field
- image
- sub
- aperture image
- focal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims abstract description 89
- 230000009466 transformation Effects 0.000 claims abstract description 67
- 238000013507 mapping Methods 0.000 claims abstract description 23
- 230000003287 optical effect Effects 0.000 claims abstract description 22
- 238000012216 screening Methods 0.000 claims abstract description 7
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 125000004435 hydrogen atom Chemical class [H]* 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种焦距非一致的光场图像的拼接方法,包括:输入待拼接的光场数据,得到光场焦栈,对光场焦栈中每一深度层进行焦距一致性匹配,得到每个深度层对应的焦距一致性匹配标签,并依据焦距一致性匹配标签合成焦距一致图像;分别对光场子孔径图像和焦距一致图像进行特征点提取、匹配和筛选,得到特征点和匹配特征点对;根据匹配特征点对预测全局单应性变换矩阵,并建立局部映射的权值矩阵,再预测最优单应性变换矩阵;根据最优单应性变换矩阵映射中心子孔径图像,并计算边缘子孔径图像和中心子孔径图像之间的变换矩阵,映射4D光场,得到光场拼接结果。本发明解决了焦距不一致时的光场之间的拼接问题,实现了精确的光场拼接方法。
Description
技术领域
本发明涉及计算机视觉与数字图像处理领域,尤其涉及一种焦距非一致的光场图像的拼接方法。
背景技术
近年来,光场成像技术蓬勃发展,其作为计算机视觉与数字图像处理领域中一项关键技术,通过在主透镜和传感器中间加入一个微透镜阵列,通过单次拍摄同时记录光线的强度信息和角度信息,引起了学术界和业界的极大兴趣。尤其是随着光学传感器的分辨率的上升和光场相机技术的成熟以及市场化,光场成像技术的实用价值变得越来越高。相比于传统的数码相机,基于微透镜阵列的光场相机优势在于在记录场景空间位置信息的同时,也保存了光线的方向信息,因此可以被广泛应用于虚拟视觉、3D可视化、工业成像等领域。然而,受光学结构的限制,光场相机的光场视场角小。在光学结构设计中,如果没有要求,光场缝合在扩大视场角方面起着重要作用,以扩大其应用范围。然而,当捕获多个光场时,每个光场的焦距可能不同,即以下所述的焦距不一致,导致光场中相应深度处的焦距不一致,降低了特征匹配和光场配准的精度,降低了光场拼接的质量。
现有的光场拼接方法通过特征匹配和单应性矩阵映射的方法进行光场配准,通过构造配准后光场重叠区域的能量损失函数来寻找光场的最优缝合线,实现光场融合;其可以实现视差较小的光场拼接,但是针对视差较大的光场数据,其拼接效果较差。
另外一种方法是利用结合视差容忍的图像拼接方法来减小视差对拼接结果带来的影响,这种方式能在一定程度上解决视差所带来的错位和重影效果,但是针对景深变化剧烈的场景,其拼接效果并不优秀;且单独对光场相应子孔径图像进行图像拼接会引入整个光场在空间域和角度域不一致的问题。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为解决上述技术问题,本发明提出一种焦距非一致的光场图像的拼接方法,解决了焦距不一致时的光场之间的拼接问题,实现了精确的光场拼接方法。
为了达到上述目的,本发明采用以下技术方案:
本发明公开了一种焦距非一致的光场图像的拼接方法,包括以下步骤:
A1:输入待拼接的光场数据,进行解码和预处理得到光场子孔径图像,根据光场子孔径图像得到光场焦栈,对光场焦栈中每一深度层进行焦距一致性匹配,得到每个深度层对应的焦距一致性匹配标签,并依据焦距一致性匹配标签合成焦距一致图像;
A2:分别对光场子孔径图像和焦距一致图像进行特征点提取、匹配和筛选,得到特征点和匹配特征点对;
A3:根据匹配特征点对预测全局单应性变换矩阵,并根据特征点与网格化的光场子孔径图像的中心点的深度关系、特征点与网格化的光场子孔径图像的中心点的位置关系、以及光场焦栈一致关系来建立局部映射的权值矩阵,再根据全局单应性变换矩阵和局部映射的权值矩阵来预测最优单应性变换矩阵;
A4:根据最优单应性变换矩阵映射中心子孔径图像,并计算边缘子孔径图像和中心子孔径图像之间的变换矩阵,依据最优单应性变换矩阵以及边缘子孔径图像和中心子孔径图像之间的变换矩阵,映射4D光场,得到光场拼接结果。
优选地,步骤A1中根据光场子孔径图像得到光场焦栈,对光场焦栈中每一深度层进行焦距一致性匹配具体包括:将光场子孔径图像进行重聚焦得到光场焦栈,对光场焦栈中每一深度层进行焦距一致性匹配具体包括散焦分析步骤和光场焦栈中预匹配步骤。
优选地,对光场焦栈中每一深度层进行焦距一致性匹配,得到每个深度层对应的焦距一致性匹配标签具体包括以下步骤:
根据散焦分析,在光场焦栈中得到每一深度层对应的初始焦距一致性匹配标签:
对光场焦栈中每一深度层的预匹配为:
其中,Li(u,v,x,y)是光场Li在子孔径视角(u,v)下的渲染图像;D(x,y)是深度层图;uN和vN是视角u和v方向下分别包含的总视角数目。
优选地,步骤A1中依据焦距一致性匹配标签合成的焦距一致图像RGIi(x,y)为:
优选地,步骤A2具体包括:分别对光场子孔径图像和焦距一致图像进行特征点提取和匹配,然后将提取到的特征点构成一个新的集合;再对这个集合依据深度层划分特征点进行分类,对每一类特征点进行特征点筛选,得到特征点和匹配特征点对。
优选地,步骤A3中根据特征点与网格化的光场子孔径图像的中心点的深度关系、特征点与网格化的光场子孔径图像的中心点的位置关系、以及光场焦栈一致关系建立的局部映射的权值矩阵由权值wi组成,权值wi为:
其中,α、β是比例系数,η∈[0,1]是权值wi的最小阈值,(x*,y*)是网格化的光场子孔径图像的中心点的位置坐标,(xi,yi)是特征点所在的位置坐标,D是光场图像的深度层图。
其中,wi是权值矩阵,Η是全局单应性变换矩阵,矩阵A∈R2N×9由矩阵变换02N×1=A×Η得到,N为步骤A2中得到的特征点的数量。
优选地,步骤A4中计算边缘子孔径图像和中心子孔径图像之间的变换矩阵包括:
其中dk是第k深度层对应图像的视差,(u,v)表示边缘子孔径图像的视角,(uc,vc)表示中心子孔径图像的视角。
优选地,步骤A4中依据最优单应性变换矩阵以及边缘子孔径图像和中心子孔径图像之间的变换矩阵,映射4D光场采用下式:
与现有技术相比,本发明的有益效果在于:本发明的焦距非一致光场图像的拼接方法,利用了光场可以重聚焦从而改变光场图像焦距的特性,采用在光场焦栈中清晰且焦距一致的深度层合成焦距一致图像来指导采集图像焦距不一致时的拼接;且根据光场边缘子孔径图像和中心子孔径图像之间的变换矩阵和对应中心子孔径图像间的最优单应性变换矩阵来映射整个光场,从而通过合成焦距一致图来指导整个光场的拼接,解决了焦距不一致时的光场间拼接问题,实现了精确的光场拼接。
附图说明
图1是本发明优选实施例的焦距非一致的光场图像的拼接方法的流程示意图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。需要注意的是,在下面的实施过程中所述的光场图像类型,特征提取、匹配、融合以及焦距一致匹配都仅为列举说明,本发明所涵盖的范围不局限于所列举的这些方法。
如图1所示,本发明优选实施例公开了一种焦距非一致的光场图像的拼接方法,包括以下步骤:
A1:根据光场图像得到光场焦栈,对光场焦栈中每一深度层进行焦距一致性匹配,得到每个深度层对应的焦距一致性匹配标签;依据焦距一致性匹配标签,合成焦距一致图像;
在本实施例中,以两个光场的拼接为例,L1(x,y,u,v)为参考光场,L2(x,y,u,v)为待拼接光场,多个光场的拼接可以使用相同的方法扩展。对输入的光场数据进行解码和预处理,得到光场的子孔径图像方法如下:
S1(u0,v0)={L1(x,y,u,v)|u=u0,v=v0}
S2(u0,v0)={L2(x,y,u,v)|u=u0,v=v0}
其中S1(u0,v0)和S2(u0,v0)是光场在视角(u0,v0)处的子孔径图像。
然后,使用光场重聚焦方法得到光场焦栈(也即光场的子孔径图像通过重聚焦得到一系列聚焦位置不同的光场集合,这些集合即为光场焦栈):
其中,αi是第i个光场焦栈中对应的标签;Lαi(x,y,u,v)是标签αi下的光场焦栈(重聚焦光场)。
根据散焦分析,在光场焦栈中得到每一深度层对应的初始焦距一致性匹配标签:
根据初始焦距一致性匹配标签和限定的搜索步长,确定最终焦距一致性匹配标签范围:
其中,γ是光场焦栈中的搜索步长。
每一深度层的预匹配具体为:
其中,是光场焦栈中重聚焦图像/>和/>的全局单应性变换矩阵;Li(u,v,x,y)是光场Li在子孔径视角(u,v)下的渲染图像;D(x,y)是深度层图;uN和vN是视角u和v方向下分别包含的总视角数目。
依据焦距一致性匹配标签,合成的焦距一致图像具体为:
A2:分别对光场子孔径图像和焦距一致图像进行特征点提取,匹配和筛选,得到匹配特征点对;
具体地,分别对光场子孔径图像和焦距一致图像进行SIFT特征点提取和匹配,然后将提取到的特征点构成一个新的集合;之后对这个集合依据深度层划分特征点进行分类,使用连续一致抽样检测(RANSAC)算法进行筛选,剔除离群点,最后合并每一组筛选后的特征点对,得到最终有效的匹配特征点对,即:
ΩR=SIFT(RGI1,RGI2),ΩC=SIFT(CSI1,CSI2)
其中,P是一对待筛选的特征点;K是深度层数;D(x,y)是步骤A1中得到的深度层图;RGI1、RGI2分别是光场L1和L2的焦距一致图像;CSI1、CSI2分别是光场L1和L2对应的中心子孔径图像;ΩR为从焦距一致图像中提取的特征点对组成的集合,ΩC为从中心子孔径图像中提取的特征点对组成的集合,ΩF为筛选过后的特征点对组成的集合。
A3:根据匹配特征点对,预测全局单应性变换矩阵,并根据特征点与网格化光场中心点的深度关系、特征点与网格化光场中心点的位置关系、以及光场焦栈一致关系来建立局部映射的权值矩阵,再根据全局单应性变换矩阵和局部映射的权值矩阵来预测最优单应性变换矩阵;
其中,根据匹配特征点对,预测全局单应性变换矩阵H为:
p'=Hp
其中p'和p是特征点对集合ΩF中的特征点。
将输入的中心子孔径图像分割成大小相等的矩形网格,根据特征点与网格化光场中心点的深度关系、特征点与网格化光场中心点的位置关系、以及光场焦栈一致关系建立的局部映射的权值矩阵由权值wi组成,权值wi为:
其中α、β是比例系数,η∈[0,1]是权值wi的最小阈值,(x*,y*)是网格中心点的位置坐标,(xi,yi)是特征点所在的位置坐标,D是光场图像的深度层图。
其中,wi是权值矩阵,Η是全局单应性变换矩阵,矩阵A∈R2N×9由矩阵变换02N×1=A×Η得到,N为步骤A2中得到的特征点的数量。
A4:根据最优单应性变换矩阵映射中心子孔径图像;计算边缘子孔径图像和中心子孔径图像之间的变换矩阵;依据中心子孔径图像的网格单应性矩阵和变换矩阵,映射4D光场,得到光场拼接结果。
其中dk是第k深度层对应图像的视差,(u,v)表示边缘子孔径图像的视角,(uc,vc)表示中心子孔径图像的视角。
依据中心子孔径图像的网格单应性矩阵和变换矩阵,映射4D光场:
根据Ηu,v得到光场拼接结果。
本发明优选实施例提出的焦距非一致光场图像的拼接方法,利用了光场可以重聚焦从而改变光场图像焦距的特性,采用在光场焦栈中清晰且焦距一致的深度层合成焦距一致图像来指导采集图像焦距不一致时的拼接;且根据光场边缘子孔径图像和中心子孔径图像之间的变换矩阵和对应中心子孔径图像间的最优单应性变换矩阵来映射整个光场,从而通过合成焦距一致图来指导整个光场的拼接,解决了焦距不一致时的光场间拼接问题,实现了精确的光场拼接。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (10)
1.一种焦距非一致的光场图像的拼接方法,其特征在于,包括以下步骤:
A1:输入待拼接的光场数据,进行解码和预处理得到光场子孔径图像,根据光场子孔径图像得到光场焦栈,对光场焦栈中每一深度层进行焦距一致性匹配,得到每个深度层对应的焦距一致性匹配标签,并依据焦距一致性匹配标签合成焦距一致图像;
A2:分别对光场子孔径图像和焦距一致图像进行特征点提取、匹配和筛选,得到特征点和匹配特征点对;
A3:根据匹配特征点对预测全局单应性变换矩阵,并根据特征点与网格化的光场子孔径图像的中心点的深度关系、特征点与网格化的光场子孔径图像的中心点的位置关系、以及光场焦栈一致关系来建立局部映射的权值矩阵,再根据全局单应性变换矩阵和局部映射的权值矩阵来预测最优单应性变换矩阵;
A4:根据最优单应性变换矩阵映射中心子孔径图像,并计算边缘子孔径图像和中心子孔径图像之间的变换矩阵,依据最优单应性变换矩阵以及边缘子孔径图像和中心子孔径图像之间的变换矩阵,映射4D光场,得到光场拼接结果。
2.根据权利要求1所述的焦距非一致的光场图像的拼接方法,其特征在于,步骤A1中根据光场子孔径图像得到光场焦栈,对光场焦栈中每一深度层进行焦距一致性匹配具体包括:将光场子孔径图像进行重聚焦得到光场焦栈,对光场焦栈中每一深度层进行焦距一致性匹配具体包括散焦分析步骤和光场焦栈中预匹配步骤。
3.根据权利要求1所述的焦距非一致的光场图像的拼接方法,其特征在于,对光场焦栈中每一深度层进行焦距一致性匹配,得到每个深度层对应的焦距一致性匹配标签具体包括以下步骤:
根据散焦分析,在光场焦栈中得到每一深度层对应的初始焦距一致性匹配标签:
对光场焦栈中每一深度层的预匹配为:
6.根据权利要求1所述的焦距非一致的光场图像的拼接方法,其特征在于,步骤A2具体包括:分别对光场子孔径图像和焦距一致图像进行特征点提取和匹配,然后将提取到的特征点构成一个新的集合;再对这个集合依据深度层划分特征点进行分类,对每一类特征点进行特征点筛选,得到特征点和匹配特征点对。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910310016.5A CN110084749B (zh) | 2019-04-17 | 2019-04-17 | 一种焦距非一致的光场图像的拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910310016.5A CN110084749B (zh) | 2019-04-17 | 2019-04-17 | 一种焦距非一致的光场图像的拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110084749A CN110084749A (zh) | 2019-08-02 |
CN110084749B true CN110084749B (zh) | 2023-03-31 |
Family
ID=67415405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910310016.5A Active CN110084749B (zh) | 2019-04-17 | 2019-04-17 | 一种焦距非一致的光场图像的拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110084749B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111225221B (zh) * | 2020-01-15 | 2021-12-14 | 未来新视界文化科技(嘉善)有限公司 | 全景视频图像处理方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105241396A (zh) * | 2015-10-20 | 2016-01-13 | 北京航空航天大学 | 一种基于数字全息图的高精度球面子孔径拼接融合方法 |
EP3065395A1 (en) * | 2015-03-05 | 2016-09-07 | Thomson Licensing | Processing of light field data |
JP2017034387A (ja) * | 2015-07-30 | 2017-02-09 | 日本電信電話株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
CN108921781A (zh) * | 2018-05-07 | 2018-11-30 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
CN109064410A (zh) * | 2018-10-24 | 2018-12-21 | 清华大学深圳研究生院 | 一种基于超像素的光场图像拼接方法 |
-
2019
- 2019-04-17 CN CN201910310016.5A patent/CN110084749B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3065395A1 (en) * | 2015-03-05 | 2016-09-07 | Thomson Licensing | Processing of light field data |
JP2017034387A (ja) * | 2015-07-30 | 2017-02-09 | 日本電信電話株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
CN105241396A (zh) * | 2015-10-20 | 2016-01-13 | 北京航空航天大学 | 一种基于数字全息图的高精度球面子孔径拼接融合方法 |
CN108921781A (zh) * | 2018-05-07 | 2018-11-30 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
CN109064410A (zh) * | 2018-10-24 | 2018-12-21 | 清华大学深圳研究生院 | 一种基于超像素的光场图像拼接方法 |
Non-Patent Citations (2)
Title |
---|
基于光场深度序列的大视野图像拼接算法;王文锋等;《光学学报》;20180427;第38卷(第09期);第1-8页 * |
基于空间平面分割和投影变换的光场图像拼接算法;毛一鸣等;《激光与光电子学进展》;20181225;第59卷(第10期);第1-8页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110084749A (zh) | 2019-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108921781B (zh) | 一种基于深度的光场拼接方法 | |
CN112884064B (zh) | 一种基于神经网络的目标检测与识别方法 | |
CN112435325B (zh) | 基于vi-slam和深度估计网络的无人机场景稠密重建方法 | |
Fu et al. | Joint camera spectral sensitivity selection and hyperspectral image recovery | |
Zhao et al. | Pyramid global context network for image dehazing | |
CN109064410B (zh) | 一种基于超像素的光场图像拼接方法 | |
CN104599258B (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
CN101394573B (zh) | 一种基于特征匹配的全景图生成方法及*** | |
CN112465704B (zh) | 一种全局-局部自适应优化的全景光场拼接方法 | |
CN112465796B (zh) | 一种融合焦点堆栈和全聚焦图像的光场特征提取方法 | |
CN107036579A (zh) | 一种基于单目液透镜变焦光学***的目标相对定位方法 | |
Zhang et al. | Synthetic aperture based on plenoptic camera for seeing through occlusions | |
US11967096B2 (en) | Methods and apparatuses of depth estimation from focus information | |
CN110084749B (zh) | 一种焦距非一致的光场图像的拼接方法 | |
CN112070675B (zh) | 一种基于图的正则化光场超分辨率方法和光场显微装置 | |
Ma et al. | STSRNet: Self-texture transfer super-resolution and refocusing network | |
CN114170526A (zh) | 基于轻量化网络的遥感影像多尺度目标检测识别方法 | |
CN104104911B (zh) | 全景图像生成过程中的时间戳消除和重置方法及*** | |
CN117422858A (zh) | 一种双光图像目标检测方法、***、设备和介质 | |
Gai et al. | Blind separation of superimposed images with unknown motions | |
CN103873773A (zh) | 基于主辅协同双光路设计的全向成像方法 | |
CN111325218A (zh) | 基于光场图像的Hog特征检测与匹配方法 | |
Pei et al. | Focus measure for synthetic aperture imaging using a deep convolutional network | |
CN106683064B (zh) | 一种基于二维耦合卷积的多聚焦图像融合方法 | |
Yan et al. | Focal length estimation guided with object distribution on FocaLens dataset |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |