CN110827338B - 一种分区域自适应匹配的光场数据深度重建方法 - Google Patents
一种分区域自适应匹配的光场数据深度重建方法 Download PDFInfo
- Publication number
- CN110827338B CN110827338B CN201911063001.XA CN201911063001A CN110827338B CN 110827338 B CN110827338 B CN 110827338B CN 201911063001 A CN201911063001 A CN 201911063001A CN 110827338 B CN110827338 B CN 110827338B
- Authority
- CN
- China
- Prior art keywords
- window
- matching
- matched
- pixel
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000005259 measurement Methods 0.000 claims abstract description 25
- 238000009499 grossing Methods 0.000 claims abstract description 20
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000005290 field theory Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种分区域自适应匹配的光场数据深度重建方法，所述分区域自适应匹配的光场数据深度重建方法包括以下步骤：步骤110，定义中心视图与待匹配视图中的待匹配像素点的距离测度函数；步骤120，为不同区域的待匹配像素点选择不同的匹配窗口，其中，所述不同区域包括纹理区域、平滑区域和边缘遮挡区域；步骤130，统计匹配窗口正确匹配像素点的个数作为窗口的距离测度值，并在所述平滑区域加上平滑因子；步骤140，优化匹配视差，并计算场景深度。本发明能够在四维光场理论下实现高精度的深度重建。
Description
技术领域
本发明涉及计算机视觉与数字图像处理技术领域，特别是关于一种分区域自适应匹配的光场数据深度重建方法。
背景技术
光场包含光线的空间和角度信息，是对场景中光线的辐照度刻画，广泛应用于场景渲染、深度信息获取以及计算摄影与三维重构。七维全光函数
最早被提出用来形式描述光场，描述了空间中任意时刻任意波长的光线辐照度信息。Levoy，Gortler等人提出了光场的双平面参数化表示，即四维光场L(x,y,u,v)。基于四维光场的理论，Ng和Levoy等人设计基于微透镜阵列采集***的手持相机，实现了单次曝光下的四维光场数据采集和重聚焦成像。
由光场数据获取场景深度信息当前有如下三类方法：
第一种是基于多视点像素匹配的深度获取方法，对于该方法而言，光场可以看作一组不同视点下的透视图，该方法通过像素匹配获取任意物点在所有视点下的视差信息。
第二种是基于极线图的深度获取方法，该方法是计算梯度方向或者尺度变换求极值，得到极线图中直线的斜率。
第三种基于聚焦堆栈深度获取方法，其是通过清晰度评价和聚焦堆栈的其它特性，估计深度。
但是，上述光场数据获取场景深度信息方法仍然无法进行高精度的深度重建。
发明内容
本发明的目的在于提供一种分区域自适应匹配的光场数据深度重建方法，为基于光场的数字重聚焦和三维场景重构提供高精度的深度信息。
为实现上述目的，本发明提供一种分区域自适应匹配的光场数据深度重建方法，所述分区域自适应匹配的光场数据深度重建方法包括以下步骤：
步骤110，定义中心视图与待匹配视图中的待匹配像素点的距离测度函数；
步骤120，为不同区域的待匹配像素点选择不同的匹配窗口，其中，所述不同区域包括纹理区域、平滑区域和边缘遮挡区域；
步骤130，统计匹配窗口正确匹配像素点的个数作为窗口的距离测度值，并在所述平滑区域加上平滑因子；
步骤140，优化匹配视差，并计算场景深度。
进一步地，所述步骤110中的“距离测度函数”表示下式(2)：
Ei，j(x，y，s)＝||Lu0，v0(x，y)-Lui，vj(x+is，y+js)|| (2)
式(2)中，Lu0，v0(x，y)表示中心视图中像素点坐标(x，y)对应的像素值；Lui，vj(x+is，y+js)表示待匹配视图中像素点坐标(x+is，y+js)对应的像素值；所述中心视图Lu0，v0(x，y)为中心视点(u0，v0)所成的图像；所述待匹配视图Lui，vj(x，y)为所述中心视点(u0，v0)之外的其余视点(ui，vj)所成的图像；Ei，j(x，y，s)表示像素点坐标(x，y)在视差s下的距离测度值。
进一步地，步骤120具体包括：
步骤121，在中心视图和待匹配视图中的纹理区域与平滑区域，选择以待匹配像素点为中心点的矩形区域作为匹配窗口；以及
步骤122，在中心视图和待匹配视图中的边缘遮挡区域，选择以待匹配像素点为顶点的窗口作为匹配窗口。
进一步地，步骤121中，所述匹配窗口大小选择为所述中心点与邻域灰度值之间的差异较大且位于所述遮挡区域的边界以内的矩形区域，其表示为下式(3)：
式(3)中，(s，t)表示所述中心视图中像素点坐标(x，y)的邻域坐标，f(s，t)为邻域的像素值，#表示取个数，f(x，y)表示像素点坐标(x，y)的像素值，N(x，y)表示以像素点坐标(x，y)为中心的矩形区域。
进一步地，将步骤121所选择的匹配窗口分为8个方向，选择的所述匹配窗口内像素点处于同一色度块中，选取如下式(4)所表示的待匹配像素点与窗口内像素点的灰度值之间的差异较大的匹配方向的窗口作为匹配模块：
式(4)中，l表示匹配方向，Wl表示l方向的以待匹配像素点为顶点的窗口，f(x，y)表示所述中心视图中的像素点坐标(x，y)的像素值，f(x′，y′)表示所述中心视图中像素点坐标(x，y)的Wl邻域坐标(x′，y′)的像素值。
进一步地，步骤130具体包括：
步骤131，在中心视图中的非平滑区域统计匹配窗口内正确的匹配像素点的个数，作为窗口的距离测度函数；以及
步骤132，在中心视图中的平滑区域统计匹配窗口内正确的匹配像素点的个数以及平滑项，作为窗口的距离测度函数。
进一步地，所述步骤131中的非平滑区域匹配窗口的距离测度值CONF(x，y，s)表示为下式(7)：
CONF(x，y，s)＝conf(x，y，s)，(x，y)∈WR×R (7)
式(7)中，WR×R表示以匹配窗口中的待匹配像素点(x，y)为中心的匹配窗口，以R为边长的矩形区域，CONF(x，y，s)表示非平滑区域匹配窗口中的待匹配像素点(x，y)在视差s下的距离测度值，conf(x，y，s)表示匹配窗口中的待匹配像素点(x，y)在视差s下的距离测度值，其通过式(5)和式(6)获取得到：
式(5)和式(6)中，temp表示经统计后的匹配窗口中正确匹配像素点的数量，E(x，y，s)表示匹配窗口中的待匹配像素点(x，y)在视差s下的距离测度值，W表示匹配窗口，#[W]表示窗口内像素点的个数，conf(x，y，s)表示匹配窗口中的待匹配像素点(x，y)在视差s下的距离测度值。
进一步地，步骤132中的平滑区域匹配窗口的距离测度CONF(x，y，s)表示为下式(8)：
CONF(x，y，s)＝βconf(x，y，s)+(β-1)α(x，y)，(x，y)∈WRxR (8)
式(8)中，CONF(x，y，s)表示平滑区域匹配窗口的距离测度值，
表示匹配过程中当前视差值与下一个视差值的差值，β为平滑项的权重系数。
进一步地，步骤140具体包括：
步骤141，根据式(7)和式(8)，利用下式(9)，求解所述窗口距离测度函数得到初步视差图：
s(x，y)＝argmax(CONF(x，y，s)) (9)
步骤142，采用TV模型优化平滑区域；以及
步骤143，根据式(9)优化后的视差图s(x，y)，计算深度图Z。
通过采用本发明提供的方法，能够在四维光场理论下实现高精度的深度重建。
附图说明
图1为是本发明实施例提供的分区域自适应匹配的光场数据深度重建方法的流程图；
图2是光场中视差与深度的关系示意图；
图3a是遮挡物体区域匹配窗口选取示意图；
图3b是被遮挡物体区域匹配窗口选取示意图；
图4是边缘遮区域匹配窗口方向示意图；
图5a至图5c为根据本发明提供的方法求解的视差图以及误差图；
图6a至图6d为根据本发明提供的方法求解其它场景的视差图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示，本实施例所提供的分区域自适应匹配的光场数据深度重建方法包括以下步骤：
步骤110，定义中心视图与待匹配视图中的待匹配像素点的距离测度函数。
步骤120，为不同区域的待匹配像素点选择不同的匹配窗口。
步骤130，统计匹配窗口正确匹配像素点的个数作为窗口的距离测度值，并在平滑区域加上平滑因子。
步骤140，优化匹配视差，并计算场景深度。
在一个实施例中，步骤110具体包括：
考虑到镜头的边缘容易产生像差，通常选取镜头中心处的视点(u0，v0)(下文简称为中心视点(u0，v0))所成的图像作为中心视图Lu0，v0(x，y)，中心视点(u0，v0)之外的其余视点(ui，vj)所成的图像作为待匹配视图Lui，vj(x，y)。
利用灰度值的差异来描述两个像素点之间的对应关系。待匹配视图中任一像素点坐标(xi，yj)与中心视图中任一像素点坐标(x，y)之间的相关性，可以通过式(1)表示的距离测度函数E(x，y)进行度量：
E(x，y)＝||Lu0，v0(x，y)-Lui，vi(xi，yj)|| (1)
式(1)中，E(x，y)表示待匹配视图中像素点坐标(xi，yj)与中心视图中像素点坐标(x，y)之间的距离测度值；Lu0，v0(x，y)＝L(u0，v0，x，y)，其表示中心视图中像素点坐标(x，y)对应的像素值；Lui，vj(xi，yj)＝L(ui，vj，xi，yj)，其表示待匹配视图中像素点坐标(xi，yj)对应的像素值；||*||为描述距离的算子，选取L2范数进行计算。
引入“极线约束”，即中心视图与两幅图像中具有对应关系的像素点一定位于极线上。得到像素点在任意视点下关于视差s的距离测度函数表示为式(2)：
Ei，j(x，y，s)＝||Lu0，v0(x，y)-Lui，vj(x+is，y+js)|| (2)
式(2)中，Ei，j(x，y，s)表示像素点坐标(x，y)在视差s下的距离测度值，Lu0，v0(x，y)表示中心视图中像素点坐标(x，y)对应的像素值；Lui，vj(x+is，y+js)表示待匹配视图中像素点坐标(x+is，y+js)对应的像素值；i＝ui-u0表示u方向上的ui的坐标位移，j＝vj-v0表示v方向上的vj的坐标位移，即i＝0，j＝0表示中心视点(u0，v0)，依此类推，i＝1，j＝1表示视点(u1，v1)。
在一个实施例中，步骤120具体包括：
步骤121，在中心视图和待匹配视图中的纹理区域与平滑区域，选择以待匹配像素点为中心点的矩形区域作为匹配窗口；以及
步骤122，在中心视图和待匹配视图中的边缘遮挡区域，选择以待匹配像素点为顶点的窗口作为匹配窗口。
在一个实施例中，步骤121具体包括：
在中心视图的纹理区域与平滑区域，本实施例选择以待匹配像素点为中心点的矩形区域作为匹配窗口。匹配窗口大小选择中心点与邻域灰度值之间的差异较大的矩形区域，且不能超过遮挡区域的边界。其中，“平滑区域”指的是该区域没有纹理，像素值大小一样。“遮挡区域”指的是在不同的视图中的纹理结构不同。
中心点与邻域灰度值之间的差异判别公式如式(3)所示：
式(3)中，(s，t)表示中心视图中像素点坐标(x，y)的邻域坐标，f(s，t)为邻域的像素值，f(x，y)表示像素点坐标(x，y)的像素值，N(x，y)表示以像素点坐标(x，y)为中心的矩形区域，该矩形区域的大小由Tn的取值决定。#表示取个数，Tn表示判断邻域内灰度值之间的差异是否满足匹配要求。Tn的选取要考虑算法的效率以及场景差异，实验得证，Tn一般选择0.65匹配精度较优。
在一个实施例中，步骤122具体包括：
将步骤121所选择的匹配窗口分为8个方向(如图4所示)。一般情况下，在8个方向中至少存在一个方向以待匹配像素点为顶点的窗口，满足窗口内的纹理、梯度等匹配特征存在于其它待匹配视图中。选择匹配窗口内像素点处于同一色度块中，选取如下式(4)所表示的待匹配像素点与以待匹配像素点为顶点的窗口内像素点的灰度值之间的差异较大的匹配方向的窗口作为匹配模块：
式(4)中，l表示匹配方向，Wl表示l方向的以待匹配像素点为顶点的窗口(如图4浅灰色(接近白色)区域所示)，(x′，y′)表示中心视图中像素点坐标(x，y)的Wl邻域坐标，f(x，y)表示中心视图中的像素点坐标(x，y)的像素值，f(x′，y′)表示所述中心视图中像素点坐标(x，y)的Wl邻域坐标(x′，y′)的像素值。
上述实施例中，色度块是指场景的RGB图像转换为YCbCr图像，其中场景的CbCr通道为色度通道，通过多CbCr进行聚类分割，可得场景的色度块。
在一个实施例中，步骤130具体包括：
步骤131，在中心视图中的非平滑区域统计匹配窗口内正确的匹配像素点的个数，作为窗口的距离测度函数。其中，非平滑区域包括遮挡区域和纹理区域，窗口的距离测度为窗口内正确匹配像素点的个数与窗口内像素点的总个数的比值。
步骤132，在中心视图中的平滑区域统计匹配窗口内正确的匹配像素点的个数以及平滑项，作为窗口的距离测度函数。窗口的距离测度为窗口内正确匹配像素点的个数与窗口内像素点的总个数的比值加上平滑项。
在一个实施例中，步骤131具体如下：
利用中心视图的区域W作为匹配过程中的匹配窗口，选取待匹配视点(ui，vj)所对应的视图中与区域W同样的窗口，利用公式(2)计算中心视图的匹配窗口和选取的待匹配视图中的窗口中对应位置像素点的距离测度值，在该距离测度值小于门限值ζ的情形下，则认为该像素点正确匹配。其中，门限值ζ根据线性插值的误差来确定，线性插值的误差是用于精确匹配视差值不是像素距离的整数倍的情形。
统计匹配窗口内正确匹配像素点的个数作为匹配窗口的距离测度值，采用下式(5)计算匹配窗口的距离测度值，对下式(5)进行归一化，而得到下式(6)：
式(5)和式(6)中，(x，y)表示匹配窗口中的待匹配像素点坐标，temp表示经统计后的匹配窗口中正确匹配像素点的数量，E(x，y，s)表示匹配窗口中的待匹配像素点(x，y)在视差s下的距离测度值，W表示匹配窗口，#[W]表示窗口内像素点的个数，conf(x，y，s)表示匹配窗口中的待匹配像素点(x，y)在视差s下的距离测度值。
在非平滑区域窗口匹配的距离测度值CONF(x，y，s)表示为下式(7)：
CONF(x，y，s)＝conf(x，y，s)，(x，y)∈WR×R (7)
式(7)中，WR×R表示以匹配窗口中的待匹配像素点(x，y)为中心的匹配窗口，以R为边长的矩形区域，CONF(x，y，s)表示非平滑区域匹配窗口中的待匹配像素点(x，y)在视差s下的距离测度值，conf(x，y，s)表示匹配窗口中的待匹配像素点(x，y)在视差s下的距离测度值，其通过式(5)和式(6)计算得到的conf。
在一个实施例中，步骤132具体包括：
为了解决平滑区域误匹配的问题，引入匹配窗口内，正确匹配像素点对应视差图像像素点的均值与当前视差值的差值作为平滑项α(x，y)，则平滑区域匹配窗口的距离测度CONF(x，y，s)表示为下式(8)：
CONF(x，y，s)＝βconf(x，y，s)+(β-1)α(x，y)，(x，y)∈WR×R (8)
式(8)中，CONF(x，y，s)表示平滑区域匹配窗口的距离测度值。β为平滑项的权重系数，依赖场景，若场景中平滑区域较多，β的取值最好接近0；若场景中平滑区域较少，β的取值最好接近1，因此，β的取值设置在0到1之间的范围内，优选0.2。
在一个实施例中，步骤140具体包括：
步骤141，求解所述窗口距离测度函数得到初步视差图。
步骤142，平滑区域处采用全变分TV模型进行优化。
步骤143，计算深度图。
在一个实施例中，步骤141具体包括：
根据式(7)和式(8)，利用下式(9)，求解优化问题得到初步视差图s(x，y)：
s(x，y)＝argmax(CONF(x，y，s)) (9)
在一个实施例中，步骤142具体包括：
采用TV模型优化平滑区域，通过TV模型可以起到平滑滤波的作用，还能较好的保证边缘结构。
在一个实施例中，如图2所示，图2示出了四维光场中视差与深度的关系示意图。在图2中，u1，u2为(u，v)平面上的视点(v为0)，B为视点距离，A1为物点A对应的像点，s为物点A在视点u1，u2下在(x，y)成像平面上的视差。
步骤143具体包括：根据式(9)优化后的视差图s(x，y)，利用式(10)，将优化后的视差图s(x，y)转换为深度图z，也就是说，光场相机单次曝光时，微透镜阵列与主透镜之间的距离F、聚焦面的深度Z0以及相邻视点之间的距离B皆为固定值，根据式(9)得到的视差s，则可以计算得到深度Z：
式(10)中，Z0表示聚焦面的深度，F表示主透镜到成像面之间的距离，B表示相邻视点之间的距离，Z表示空间场景的深度，s与上式中的s(x，y)表示的意义相同。
图3a和图3b示出遮挡区域选择匹配窗口的示意图，其中图3a为遮挡区域，图3b为被遮挡区域。图5a至图5c示出根据本发明提供的方法进行视差求解和相应的误差分析的示例，其中图5a为中心视图，图5b为重建的视差图，图5c局部均方误差图。图6a至图6d示出根据本发明提供的方法进行深度重建的效果示例，其中图6a和图6c均为中心视图，图6b和图6d均为准确视差图。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种分区域自适应匹配的光场数据深度重建方法，其特征在于，包括以下步骤：
步骤110，定义中心视图与待匹配视图中的待匹配像素点的距离测度函数；
步骤120，为不同区域的待匹配像素点选择不同的匹配窗口，其中，所述不同区域包括纹理区域、平滑区域和边缘遮挡区域；
步骤130，统计匹配窗口正确匹配像素点的个数作为窗口的距离测度值，并在所述平滑区域加上平滑因子；步骤120具体包括：
步骤121，在中心视图和待匹配视图中的纹理区域与平滑区域，选择以待匹配像素点为中心点的矩形区域作为匹配窗口；步骤121中，所述匹配窗口大小选择为所述中心点与邻域灰度值之间的差异较大且位于所述遮挡区域的边界以内的矩形区域，其表示为下式(3)：
式(3)中，(s，t)表示所述中心视图中像素点坐标(x，y)的邻域坐标，f(s，t)为邻域的像素值，#表示取个数，f(x，y)表示像素点坐标(x，y)的像素值，N(x，y)表示以像素点坐标(x，y)为中心的矩形区域，Tn表示判断邻域内灰度值之间的差异是否满足匹配要求；
步骤122，在中心视图和待匹配视图中的边缘遮挡区域，选择以待匹配像素点为顶点的窗口作为匹配窗口；
步骤140，优化匹配视差，并计算场景深度。
2.如权利要求1所述的分区域自适应匹配的光场数据深度重建方法，其特征在于，所述步骤110中的“距离测度函数”表示下式(2)：
Ei，j(x，y，s)＝||Lu0，v0(x，y)-Lui，vj(x+is，y+js)|| (2)
式(2)中，Lu0，v0(x，y)表示中心视图中像素点坐标(x，y)对应的像素值；Lui，vj(x+is，y+js)表示待匹配视图中像素点坐标(x+is，y+js)对应的像素值；所述中心视图Lu0，v0(x，y)为中心视点(u0，v0)所成的图像；所述待匹配视图Lui，vj(x，y)为所述中心视点(u0，v0)之外的其余视点(ui，vj)所成的图像；Ei，j(x，y，s)表示像素点坐标(x，y)在视差s下的距离测度值。
3.如权利要求1所述的分区域自适应匹配的光场数据深度重建方法，其特征在于，将步骤121所选择的匹配窗口分为8个方向，选择的所述匹配窗口内像素点处于同一色度块中，选取如下式(4)所表示的待匹配像素点与窗口内像素点的灰度值之间的差异较大的匹配方向的窗口作为匹配模块：
式(4)中，l表示匹配方向，Wl表示l方向的以待匹配像素点为顶点的窗口，f(x，y)表示所述中心视图中的像素点坐标(x，y)的像素值，f(x′，y′)表示所述中心视图中像素点坐标(x，y)的Wl邻域坐标(x′，y′)的像素值。
4.如权利要求1所述的分区域自适应匹配的光场数据深度重建方法，其特征在于，步骤130具体包括：
步骤131，在中心视图中的非平滑区域统计匹配窗口内正确的匹配像素点的个数，作为窗口的距离测度函数；以及
步骤132，在中心视图中的平滑区域统计匹配窗口内正确的匹配像素点的个数以及平滑项，作为窗口的距离测度函数。
5.如权利要求4所述的分区域自适应匹配的光场数据深度重建方法，其特征在于，所述步骤131中的非平滑区域匹配窗口的距离测度值CONF(x，y，s)表示为下式(7)：
CONF(x，y，s)＝conf(x，y，s)，(x，y)∈WR×R (7)
式(7)中，WR×R表示以匹配窗口中的待匹配像素点(x，y)为中心的匹配窗口，以R为边长的矩形区域，CONF(x，y，s)表示非平滑区域匹配窗口中的待匹配像素点(x，y)在视差s下的距离测度值，conf(x，y，s)表示匹配窗口中的待匹配像素点(x，y)在视差s下的距离测度值，其通过式(5)和式(6)获取得到：
式(5)和式(6)中，temp表示经统计后的匹配窗口中正确匹配像素点的数量，E(x，y，s)表示匹配窗口中的待匹配像素点(x，y)在视差s下的距离测度值，W表示匹配窗口，#[W]表示窗口内像素点的个数，conf(x，y，s)表示匹配窗口中的待匹配像素点(x，y)在视差s下的距离测度值，ζ表示门限值。
6.如权利要求5所述的分区域自适应匹配的光场数据深度重建方法，其特征在于，步骤132中的平滑区域匹配窗口的距离测度CONF(x，y，s)表示为下式(8)：
CONF(x，y，s)＝βconf(x，y，s)+(β-1)α(x，y)，(x，y)∈WRxR (8)
式(8)中，CONF(x，y，s)表示平滑区域匹配窗口的距离测度值，β为平滑项的权重系数，α(x，y)表示平滑项。
7.如权利要求6所述的分区域自适应匹配的光场数据深度重建方法，其特征在于，步骤140具体包括：
步骤141，根据式(7)和式(8)，利用下式(9)，求解所述窗口距离测度函数得到初步视差图：
s(x，y)＝argmax(CONF(x，y，s)) (9)
步骤142，采用TV模型优化平滑区域；以及
步骤143，根据式(9)优化后的视差图s(x，y)，计算深度图Z。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911063001.XA CN110827338B (zh) | 2019-10-31 | 2019-10-31 | 一种分区域自适应匹配的光场数据深度重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911063001.XA CN110827338B (zh) | 2019-10-31 | 2019-10-31 | 一种分区域自适应匹配的光场数据深度重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110827338A CN110827338A (zh) | 2020-02-21 |
| CN110827338B true CN110827338B (zh) | 2022-08-16 |
Family
ID=69552382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911063001.XA Active CN110827338B (zh) | 2019-10-31 | 2019-10-31 | 一种分区域自适应匹配的光场数据深度重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110827338B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721142B (zh) * | 2023-08-10 | 2023-10-20 | 山东黄河三角洲国家级自然保护区管理委员会 | 基于区域匹配正则化的由光场数据估计视差的方法及应用 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023189A (zh) * | 2016-05-17 | 2016-10-12 | 北京信息科技大学 | 一种基于匹配优化的光场数据深度重建方法 |
| CN111932601A (zh) * | 2019-09-27 | 2020-11-13 | 北京信息科技大学 | 一种基于YCbCr颜色空间光场数据的稠密深度重建方法 |
-
2019
- 2019-10-31 CN CN201911063001.XA patent/CN110827338B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023189A (zh) * | 2016-05-17 | 2016-10-12 | 北京信息科技大学 | 一种基于匹配优化的光场数据深度重建方法 |
| CN111932601A (zh) * | 2019-09-27 | 2020-11-13 | 北京信息科技大学 | 一种基于YCbCr颜色空间光场数据的稠密深度重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| 史立根等.基于ＹＣｂＣｒ颜色空间光场数据的稠密深度重建.《第十六届中国体视学与图像分析学术会议——交叉、融合、创新》.2019, * |
| 基于4D光场数据的深度信息获取;陈佃文;《中国优秀硕士学位论文全文数据库信息科技辑》;20160815;第I138-1349页 * |
| 基于ＹＣｂＣｒ颜色空间光场数据的稠密深度重建;史立根等;《第十六届中国体视学与图像分析学术会议——交叉、融合、创新》;20191020;第168-169页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110827338A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12002233B2 (en) | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints | |
| CN108682026B (zh) | 一种基于多匹配基元融合的双目视觉立体匹配方法 | |
| US20170094243A1 (en) | Systems and Methods for Synthesizing Images from Image Data Captured by an Array Camera Using Restricted Depth of Field Depth Maps in which Depth Estimation Precision Varies | |
| US9025862B2 (en) | Range image pixel matching method | |
| US20140327736A1 (en) | External depth map transformation method for conversion of two-dimensional images to stereoscopic images | |
| US8897545B2 (en) | Apparatus and method for determining a confidence value of a disparity estimate | |
| US20110032341A1 (en) | Method and system to transform stereo content | |
| CN111932601B (zh) | 一种基于YCbCr颜色空间光场数据的稠密深度重建方法 | |
| CN106023189B (zh) | 一种基于匹配优化的光场数据深度重建方法 | |
| CN110827338B (zh) | 一种分区域自适应匹配的光场数据深度重建方法 | |
| CN112669355B (zh) | 基于rgb-d超像素分割的聚焦堆栈数据拼接融合的方法及*** | |
| CN112215879A (zh) | 一种光场极平面图像的深度提取方法 | |
| CN110942480A (zh) | 一种单目单帧多光谱三维成像方法 | |
| CN114742847A (zh) | 一种基于空角一致性光场抠图方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Andong Inventor after: Liu Chang Inventor after: Qiu Jun Inventor after: Shi Ligen Inventor before: Liu Chang Inventor before: Qiu Jun Inventor before: Shi Ligen |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220609 Address after: 265 Yihe road Dongying Shandong 257091 Applicant after: Shandong Yellow River Delta National Nature Reserve Management Committee Applicant after: BEIJING INFORMATION SCIENCE AND TECHNOLOGY University Address before: 100192 Beijing city Haidian District Qinghe small Camp Road No. 12 Applicant before: BEIJING INFORMATION SCIENCE AND TECHNOLOGY University Applicant before: NORTH University OF CHINA |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |