CN105913070B - 一种基于光场相机的多线索显著性提取方法 - Google Patents

一种基于光场相机的多线索显著性提取方法 Download PDF

Info

Publication number
CN105913070B
CN105913070B CN201610291249.1A CN201610291249A CN105913070B CN 105913070 B CN105913070 B CN 105913070B CN 201610291249 A CN201610291249 A CN 201610291249A CN 105913070 B CN105913070 B CN 105913070B
Authority
CN
China
Prior art keywords
pixel
super
light field
image
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610291249.1A
Other languages
English (en)
Other versions
CN105913070A (zh
Inventor
汪萌
张骏
杨勋
王丽娟
高隽
张旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201610291249.1A priority Critical patent/CN105913070B/zh
Publication of CN105913070A publication Critical patent/CN105913070A/zh
Application granted granted Critical
Publication of CN105913070B publication Critical patent/CN105913070B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于光场相机的多线索显著性提取方法，包括：1利用Lytro光场相机采集真实场景中的五维光场数据，获取光场全聚焦图像、深度图像、焦点堆栈图像序列和多视角图像序列；2对全聚焦图像进行超像素分割，在不同光场图像上提取超像素对之间的色彩、位置和深度差异特征；3分别提取相邻焦平面图像和相邻视角图像的平均光流特征，计算聚焦流差异特征和视角流差异特征；4将色彩、深度、聚焦流和视角流差异特征加权求和，并将位置差异特征作为权重，获得多线索初始显著结果；5优化初始显著结果，获取光场相机的多线索显著性。本发明能解决当前二维或三维显著性提取方法无法获取和使用视觉多线索的缺陷，有效提高复杂多变场景下的图像显著性提取的精度。

Description

一种基于光场相机的多线索显著性提取方法
技术领域
本发明属于计算机/机器视觉、图像处理和分析领域，具体地说是一种基于光场相机的多线索显著性提取方法。
背景技术
随着多媒体信息技术的飞速发展，图像数据的复杂性和多样性不断增加，视觉信息的有效获取及处理是准确高效地描述外部多变环境的关键。显著性提取的目的之一就是在大量视觉信息中选择重要的感兴趣部分，并优先考虑所提取的显著部分分配资源，加快信息处理速度和效果，是计算机/机器视觉领域内研究热点之一，已广泛应用于图像视频压缩、目标跟踪与识别和图像检索等领域中。
根据可利用的图像数据源，当前图像显著性提取方法可以分为三类：二维显著性提取、三维显著性提取和光场显著性提取。
二维显著性提取方法是利用传统CCD相机获取二维图像，并提取底层/中层/高层显著特征，例如亮度、颜色、纹理、格式塔特征及目标或人脸等先验特征，使用线性或非线性的特征整合方式进行显著性提取。然而，二维图像是光线在传感器上投影积分，只包含特定方向的光线强度。因此，二维显著性提取方法易受前背景颜色相似、背景杂乱、遮挡等干扰因素的影响。随着图像数据的大规模增加，二维显著性提取方法已不适用复杂场景。
三维显著性提取方法是利用三维传感器记录场景的深度信息，该类信息能够弥补传统二维信息的不足，在一定程度上提升显著性提取的精确度。然而，三维显著性提取方法依赖于三维传感器的深度精度，目前深度相机存在分辨率较低、随机跳变和噪声的负面效应，因此仍然不能有效克服多变物理环境下的光照、尺度及背景的影响。
光场显著性提取方法是利用光场相机能够通过一次曝光同时记录光辐射在空间中的强度和方向信息的优势，获取具有丰富视觉线索的光场图像，融合不同光场图像上的显著性特征，提高挑战性场景的显著性提取性能。然而，目前可利用的光场数据较少且较为简单，例如场景杂乱有限、单一居中的显著性目标、缺少光照变化以及显著区域较大；当前光场显著性提取方法忽略了光场全光要素，提取性能较低。
因此，目前的显著性方法都不再满足实际需求，导致目前挑战性较大的复杂多变场景的显著性提取准确度不高，效率较低。
发明内容
本发明旨在解决当前二维或三维显著性提取方法无法获取和有效使用视觉多线索的缺陷，关注全光函数包含的所有视觉要素，提供一种基于光场相机的多线索显著性提取方法，以期提高复杂多变场景下的图像显著性提取的精度，从而深入理解由不同视觉线索引导的内在注意机制，为光场相机的视觉应用提供一种新思路。
为解决上述技术问题，本发明采用的技术方案是：
1、一种基于光场相机的多线索显著性提取方法，所述光场相机包括一个主透镜、一个微透镜阵列和一个成像传感器；其特点是，所述多线索显著性提取方法是按如下步骤进行：
步骤1、利用光场相机采集真实场景的五维光场数据集，记为L＝{L1,L2,…,Ln,…,LN}；Ln表示第n个五维光场数据，且Ln＝(x,y,s,t,λ)；x和y分别表示所述成像传感器像平面的空间分辨率；s和t分别表示所述微透镜阵列像平面的角度分辨率；λ为波长；1≤n≤N；
步骤2、从所述第n个五维光场数据Ln中获取光场多线索图像，包括第n个光场焦点堆栈图像序列Fn＝{F1n,F2n,…,Fkn,…,FKn}、第n个光场全聚焦图像In(x,y)、第n个光场深度图像Dn(x,y)和第n个光场多视角图像序列Hn＝{H1n,H2n,…,Hqn,…,HQn}；其中，Fkn表示第n个五维光场数据Ln中第k个焦平面图像；Hqn表示第n个五维光场数据Ln中第q个视角图像；1≤k≤K；1≤q≤Q；
步骤3、提取所述第n个光场全聚焦图像In(x,y)中的超像素，并计算任意超像素对之间的色彩差异特征
3.1、利用简单线性迭代聚类算法对所述第n个光场全聚焦图像In(x,y)进行超像素分割，获得一组超像素，记为spn＝{sp1n,sp2n,…,spin,…,spMn}，1≤i≤M；M表示所述第n个光场全聚焦图像In(x,y)的超像素个数；其中spin表示所述第n个光场全聚焦图像In(x,y)中第i个超像素；且prin表示所述第n个光场全聚焦图像In(x,y)中第i个超像素中的第r个像素，且Ri表示所述第n个光场全聚焦图像In(x,y)中第i个超像素所包含的像素个数；
3.2、将所述第n个光场全聚焦图像In(x,y)所在的RGB彩色空间转换到CIE Lab彩色空间后，计算第i个超像素spin在亮度L、红绿对立色a和蓝黄对立色b三个色彩通道上的均值，从而构成所述第i个超像素spin的光场色彩特征
3.3、利用式(1)计算第i个超像素spin和第j个超像素spjn之间的色彩差异特征1≤j≤M；
步骤4、计算所述第n个光场全聚焦图像In(x,y)中任意超像素对之间的位置差异特征
4.1、利用式(2)计算第i个超像素spin在所述第n个光场全聚焦图像In(x,y)中的空间归化中心位置特征
式(2)中：和分别为第i个超像素spin中所有像素在所述成像传感器像平面中的横坐标均值和纵坐标均值；
4.2、利用式(3)计算第i个超像素spin和第j个超像素spjn之间的中心位置差异特征
式(3)中：σc为高斯函数的空间权重；
4.3、利用基于聚焦信息的背景先验建模算法，从第n个光场焦点堆栈图像序列Fn中选取具有最大背景似然分数的焦平面图像计算所述具有最大背景似然分数的焦平面图像所对应的一组超像素中第i个超像素spin的背景概率
4.4、利用式(4)计算所述第n个光场全聚焦图像In(x,y)的质心与第i个超像素spin的空间归一化中心位置之间的距离din：
4.5、利用式(5)计算所述第n个光场全聚焦图像In(x,y)中第i个超像素spin的区域位置特征
式(6)中：σbg为另一个高斯函数的空间权重；
4.6、利用式(6)计算所述第n个光场全聚焦图像In(x,y)中第i个超像素spin和第j个超像素spjn之间的位置差异特征
式(6)中，表示向量的外积；
步骤5、计算所述第n个光场深度图像Dn(x,y)中任意超像素对之间的深度差异特征
5.1、计算第i个超像素spin在所述第n个光场深度图像Dn(x,y)上的均值，从而获得所述第i个超像素spin的光场深度特征
5.2、利用式(7)计算第i个超像素spin和第j个超像素spjn之间的深度差异特征
步骤6、计算所述第n个光场焦点堆栈图像序列Fn中任意超像素对之间的聚焦流差异特征
6.1、利用光流算法提取所述第n个光场焦点堆栈图像序列Fn中第k个焦平面图像Fkn与第k+1个焦平面图像F(k+1)n之间的聚焦流水平特征和聚焦流垂直特征
6.2、利用式(8)计算所述聚焦流水平特征和聚焦流垂直特征的振幅
6.3、利用式(9)计算第n个光场焦点堆栈图像序列Fn中所有相邻焦平面图像之间的聚焦流特征均值
6.4、计算第i个超像素spin在所述聚焦流特征均值上的均值，从而获得所述第i个超像素spin的光场聚焦流特征
6.5、利用式(10)计算所述第n个光场焦点堆栈图像序列Fn中第i个超像素spin和第j个超像素spjn之间的聚焦流差异特征
步骤7、计算所述第n个光场多视角图像序列Hn中任意超像素对之间的视角流差异特征
7.1、利用光流算法提取第n个光场多视角图像序列Hn中第q个视角图像Hqn与第q+1个视角图像H(q+1)n的视角流水平特征和视角流垂直特征
7.2、利用式(11)计算所述视角流水平特征和视角流垂直特征的振幅
7.3、利用式(12)计算第n个光场多视角图像序列Ηn中所有相邻视角图像之间的视角流特征均值
7.4、计算第i个超像素spin在所述视角流特征均值上的均值，从而获得所述第i个超像素spin的光场视角流特征
7.5、利用式(13)计算第n个光场多视角图像序列Hn中第i个超像素spin和第j个超像素spjn之间的视角流差异特征
步骤8、利用式(14)计算所述第n个光场中第i个超像素spin的多线索初始显著结果Sin；
式(14)中：⊙表示向量的内积；为第i个超像素spin和第j个超像素spjn之间视觉线索的特征差异， 为所述第n个光场中第i个超像素spin和第j个超像素spjn之间线索的权重；为全局归一化算子，并有：
步骤9、优化所述多线索初始显著结果Sin；
9.1、利用基于非线性最小二乘回归的显著性优化算法，对所述多线索初始显著结果Sin进行优化，获得第一次优化显著结果S′in；
9.2、利用基于无向图正则化的显著性优化算法，对所述第一次优化显著结果S′in进行优化，获得第二次优化显著结果S″in；
9.3、利用式(15)计算两次优化后的归一化显著结果
与已有技术相比，本发明的有益效果是：
1、本发明利用光场相机采集复杂多变场景的光场五维数据，这些场景包括了多变光照、部分遮挡、相机运动、显著区域较小等难点，充分补充了当前光场显著性数据在数量和难度上的不足，以此获取包含空间、角度和波长信息的全光要素，并从中计算获得具有不同视觉属性的光场焦点堆栈图像序列、多视角图像序列、深度图像和全聚焦图像，其中焦平面图像描述了在不同深度平面上的焦点信息，多视角图像描述了输入光线方向和光强，解决了当前二维或三维显著性提取方法无法获取和使用视觉多线索的缺陷，有效提高了复杂多变场景下的图像显著性提取的精度，以及图像显著性提取的充分性。
2、本发明对具有不同视觉属性的光场图像提取任意超像素对之间的视觉差异特征，获得由色彩、深度、聚焦流、视角流和空间位置驱动的显著性区域，有效利用了不同视觉线索的互补性，提高了图像显著性提取的准确性，可以在光场技术中进行很好地应用。
3、本发明分别提取光场焦点堆栈图像序列和光场多视角图像序列的平均场景流特征，在一定程度上保留了焦点和视角局部变化处的深度不连续性和颜色对比度，部分估计了深度位移，有效提取了由不规则聚焦流和视角流方向和振幅引起的显著区域，提高了光场流特征在显著性提取中的作用。
4、本发明对多线索初始显著结果进行两步优化，利用前景和背景约束精化显著区域的局部轮廓，利用超像素之间的拓扑关系构建无向图，均匀地增强了显著区域，抑制了背景。
附图说明
图1为本发明的显著性提取方法工作流程图；
图2a为本发明方法进行显著性提取时获取的一幅光场全聚焦图像；
图2b为本发明方法进行显著性提取时获取的一幅光场深度图像；
图2c为本发明方法进行显著性提取时获取的三幅光场焦平面图像；
图2d为本发明方法进行显著性提取时获取的三幅光场多视角图像；
图3a为本发明方法进行显著性提取时获取的色彩显著性效果图；
图3b为本发明方法进行显著性提取时获取的深度显著性效果图；
图3c为本发明方法进行显著性提取时获取的聚焦流显著性效果图；
图3d为本发明方法进行显著性提取时获取的视角流显著性效果图；
图3e为本发明方法进行显著性提取时获取的空间位置显著性效果图；
图3f为本发明方法进行显著性提取时获取的多线索加权求和显著性效果图；
图3g为本发明方法进行显著性提取时获取的空间位置加权的多线索初始显著性效果图；
图3h为本发明方法进行显著性提取时获取的优化后显著性效果图；
图4为本发明方法以“查全率/查准率曲线”为度量标准，在利用Lytro相机采集的数据集上，与当前其他光场显著性提取方法进行量化对比的分析图。
具体实施方式
本实施例中，一种基于光场相机的多线索显著性提取方法主要用于物体跟踪与识别、异常检测等应用中。本发明方法的特点是利用新型光场相机一次曝光同时获取焦点堆栈序列、多视角序列、全聚焦和深度图像，对全聚焦图像提取紧凑的超像素分割块，将其作为显著性度量的基本要素，从色彩、深度、场景流和空间位置等方面计算任意超像素对之间的欧式距离，度量不同视觉线索的显著性特征，为不同显著性特征赋予权重后整合为各超像素唯一的显著度，最终提取图像的显著图。
如图1所示，本实施例中，光场相机包括一个主透镜、一个微透镜阵列和一个成像传感器；一种基于光场相机的多线索显著性提取方法按如下步骤进行：
步骤1、利用光场相机采集真实场景的五维光场数据集，记为L＝{L1,L2,…,Ln,…,LN}；Ln表示第n个五维光场数据，且Ln＝(x,y,s,t,λ)；x和y分别表示成像传感器像平面的空间分辨率；s和t分别表示微透镜阵列像平面的角度分辨率；λ为波长；1≤n≤N；
在本实验测试中，所使用的光场相机为Lytro相机，其传感器像平面坐标系为XOY，微透镜阵列像平面为SOT；在室内和室外多种不同光照条件下获取复杂场景，五维光场数据个数N＝255，空间分辨率为328×328，角度分辨率为7×7，波长λ＝3，表示彩色图像的红色R、绿色G、蓝色B三个通道。
步骤2、从第n个五维光场数据Ln中获取光场多线索图像，包括第n个光场焦点堆栈图像序列Fn＝{F1n,F2n,…,Fkn,…,FKn}、第n个光场全聚焦图像In(x,y)、第n个光场深度图像Dn(x,y)和第n个光场多视角图像序列Hn＝{H1n,H2n,…,Hqn,…,HQn}；其中，Fkn表示第n个五维光场数据Ln中第k个焦平面图像；Hqn表示第n个五维光场数据Ln中第q个视角图像；1≤k≤K；1≤q≤Q；
光场聚焦图像是利用数字重聚焦原理从五维光场数据中获取一系列聚焦在场景不同区域的图像序列。数字重聚焦原理是指根据光线直线传播原理和三角形相似性原理，把光场图像上的像素投影到主透镜重聚焦像平面上，然后通过积分成像原理将同一位置处的光线进行积分获得主透镜重聚焦图像。具体方法可参考论文“Light Field Photographywith a Hand-held Plenoptic Camera”，文章于2005年作为斯坦福大学计算机科学技术报告发表，论文编号：CTSR2005-02；
光场全聚焦图像是通过确定使焦点堆栈图像中的每个微小区域最清晰的调焦系数，融合焦平面图像而生成的彩色图像。具体方法可参考论文“Interactive digitalphotomontage”，文章于2004年发表在期刊《ACM Transactions on Graphics》23卷3期294-302页；
多视角图像是指同一场景在不同视角捕获的图像。在光场参数空间中，固定任意一个角度坐标轴s，在所有空间坐标(x,y)中连续变化另一个角度坐标轴t，便可得到光场的一组多视角图像。连续地变化角度坐标轴s，则可获得该光场空间中所有不同视角的图像。具体方法可参考论文“Multi-Perspective Stereoscopy from Light Fields”，文章于2011年发表在期刊《ACM Transactions on Graphics》30卷6期190:1-190:10页；
深度图像中任意一点代表场景中该点到相机中心所在平面的距离，反映了场景中物体的三维几何信息。具体方法可参考论文“Flexible depth of field photography”，文章于2008年发表在欧洲计算机视觉会议(ECCV)论文集60-73页。
步骤3、提取第n个光场全聚焦图像In(x,y)中的超像素，并计算任意超像素对之间的色彩差异特征
3.1、利用简单线性迭代聚类算法对第n个光场全聚焦图像In(x,y)进行超像素分割，获得一组超像素，记为spn＝{sp1n,sp2n,…,spin,…,spMn}，1≤i≤M；M表示第n个光场全聚焦图像In(x,y)的超像素个数；其中spin表示第n个光场全聚焦图像In(x,y)中第i个超像素；且prin表示第n个光场全聚焦图像In(x,y)中第i个超像素中的第r个像素，且Ri表示第n个光场全聚焦图像In(x,y)中第i个超像素所包含的像素个数；
简单线性迭代聚类算法是将RGB彩色图像转换至CIE Lab色彩空间，利用亮度L、红绿对立色a、蓝黄对立色b、x坐标和y坐标组成五维特征向量，对该向量构造距离准则，进行局部聚类，形成紧凑、近似均匀的超像素。简单线性迭代聚类算法的优势在于，通过加权距离函数合并了颜色和空间邻近像素，控制了超像素大小和紧凑程度，通过减少搜索空间提升了分割效率。在实验测试中，M＝400。具体方法可参考论文“SLIC superpixels comparedto state-of-the-art superpixel methods”，文章于2012年发表在期刊《IEEETransactions on Pattern Analysis and Machine Intelligence》34卷11期2274-2282页。
3.2、将第n个光场全聚焦图像In(x,y)所在的RGB彩色空间转换到CIE Lab彩色空间后，计算第i个超像素spin在亮度L、红绿对立色a和蓝黄对立色b三个色彩通道上的均值，从而构成第i个超像素spin的光场色彩特征
3.3、利用式(1)计算第i个超像素spin和第j个超像素spjn之间的色彩差异特征1≤j≤M；
步骤4、计算第n个光场全聚焦图像In(x,y)中任意超像素对之间的位置差异特征
4.1、利用式(2)计算第i个超像素spin在第n个光场全聚焦图像In(x,y)中的空间归一化中心位置特征
式(2)中：和分别为第i个超像素spin中所有像素在成像传感器像平面中的横坐标均值和纵坐标均值；在实验测试中，h＝360，w＝360。
4.2、利用式(3)计算第i个超像素spin和第j个超像素spjn之间的中心位置差异特征
式(3)中：σc为高斯函数的空间权重；在实验测试中，σc＝2/3。
4.3、利用基于聚焦信息的背景先验建模算法，从第n个光场焦点堆栈图像序列Fn中选取具有最大背景似然分数的焦平面图像计算具有最大背景似然分数的焦平面图像所对应的一组超像素中第i个超像素的背景概率
4.4、利用式(4)计算第n个光场全聚焦图像In(x,y)的质心与第i个超像素spin的空间归一化中心位置之间的距离din：
4.5、利用式(5)计算第n个光场全聚焦图像In(x,y)中第i个超像素spin的区域位置特征
式(6)中：σbg为另一个高斯函数的空间权重；在实验测试中，σbg＝1。
4.6、利用式(6)计算第n个光场全聚焦图像In(x,y)中第i个超像素spin和第j个超像素spjn之间的位置差异特征
式(6)中，表示向量的外积；
步骤5、计算第n个光场深度图像Dn(x,y)中任意超像素对之间的深度差异特征
5.1、计算第i个超像素spin在第n个光场深度图像Dn(x,y)上的均值，从而获得第i个超像素spin的光场深度特征
5.2、利用式(7)计算第i个超像素spin和第j个超像素spjn之间的深度差异特征
步骤6、计算第n个光场焦点堆栈图像序列Fn中任意超像素对之间的聚焦流差异特征
6.1、利用光流算法提取第n个光场焦点堆栈图像序列Fn中第k个焦平面图像Fkn与第k+1个焦平面图像F(k+1)n之间的聚焦流水平特征和聚焦流垂直特征
光流算法通过检测图像像素点的强度随时间的变化推断出物体移动速度和方向的方法，拓展到焦点堆栈序列可获取不同焦平面的局部变化，一定程度上能够预估不同焦平面处的深度不连续处及显著区域存在的位置。具体方法可参考论文“Beyond Pixels:Exploring New Representations and Applications for Motion Analysis”，文章于2009年作为麻省理工学院博士学位论文发表。
6.2、利用式(8)计算聚焦流水平特征和聚焦流垂直特征的振幅
6.3、利用式(9)计算第n个光场焦点堆栈图像序列Fn中所有相邻焦平面图像之间的聚焦流特征均值
6.4、计算第i个超像素spin在聚焦流特征均值上的均值，从而获得第i个超像素spin的光场聚焦流特征
6.5、利用式(10)计算第n个光场焦点堆栈图像序列Fn中第i个超像素spin和第j个超像素spjn之间的聚焦流差异特征
步骤7、计算第n个光场多视角图像序列Hn中任意超像素对之间的视角流差异特征
7.1、利用光流算法提取第n个光场多视角图像序列Hn中第q个视角图像Hqn与第q+1个视角图像H(q+1)n的视角流水平特征和视角流垂直特征
7.2、利用式(11)计算视角流水平特征和视角流垂直特征的振幅
7.3、利用式(12)计算第n个光场多视角图像序列Ηn中所有相邻视角图像之间的视角流特征均值
7.4、计算第i个超像素spin在视角流特征均值上的均值，从而获得第i个超像素spin的光场视角流特征
7.5、利用式(13)计算第n个光场多视角图像序列Hn中第i个超像素spin和第j个超像素spjn之间的视角流差异特征
步骤8、利用式(14)计算第n个光场中第i个超像素spin的多线索初始显著结果Sin；
式(14)中：⊙表示向量的内积；为第i个超像素spin和第j个超像素spjn之间视觉线索的特征差异， 为第n个光场中第i个超像素spin和第j个超像素spjn之间线索的权重；为全局归一化算子，并有：在实验测试中，色彩、深度、聚焦流和视角流权重分别为0.50、0.17、0.23和0.10。
步骤9、优化多线索初始显著结果Sin；
9.1、利用基于非线性最小二乘回归的显著性优化算法，对多线索初始显著结果Sin进行优化，获得第一次优化显著结果S′in；
基于非线性最小二乘回归的显著性优化算法是将显著区域值置1，背景区域值置0，定义含有均方误差的背景项、前景项和平滑项的损失函数，利用最小二乘法优化初始显著结果，获得更为清晰的二值目标和背景分割结果。其中，背景项使得具有较大背景概率的超像素具有较小显著值，前景项使得具有较大前景概率的超像素具有较大显著值，平滑项使得相邻超像素具有连续的显著值。具体方法可参考论文“Saliency Optimization fromRobust Background Detection”，文章于2014年发表于计算机视觉与模式识别(CVPR)会议论文集2814-2821页。
9.2、利用基于无向图正则化的显著性优化算法，对第一次优化显著结果S′in进行优化，获得第二次优化显著结果S″in；
基于无向图正则化的显著性优化算法是构建包含平滑约束和拟合约束的稀疏连接图，通过最小化基于正则化的能量函数优化显著结果。其中，平滑约束使得邻近像素或分割块具有相同的显著值，从而有效增强显著目标、抑制背景；拟合约束控制优化显著结果与初始显著结果的差异。具体方法可参考论文“Graph-Regularized Saliency DetectionWith Convex-Hull-Based CenterPrior”，文章于2013年发表在期刊《Signal ProcessingLetters》20卷7期637-640页。
9.3、利用式(15)计算两次优化后的归一化显著结果
图2a、图2b、图2c和图2d为本方法使用的Lytro光场相机采集真实场景五维数据所获取的全聚焦图像、深度图像、焦点堆栈图像和多视角图像实例。图3a、图3b、图3c、图3d、图3e、图3f、图3g和图3h为本方法的光场显著性提取方法对给定一组光场图像，获取的色彩显著性、深度显著性、聚焦流显著性、视角流显著性、空间位置显著性、多线索加权求和显著性和空间位置加权后，以及经过两次优化后的最终显著性的视觉效果。图4为本方法的光场显著性提取方法以“查全率/查准率曲线”为度量标准，与当前其他光场显著性提取方法进行量化对比的分析图。图4中，Ours表示本发明的光场显著性提取方法；Zhang et al.表示基于色彩、深度和背景先验的光场显著性提取方法；WSC表示基于稀疏编码理论的光场显著性提取方法；LFS表示基于目标和背景建模的显著性提取方法。3种方法均在本发明使用的Lytro光场相机采集的真实场景图像集上进行测试。由图4的定量曲线图可见，本发明方法表现出“查全率/查准率曲线”靠近右上角，且当查全率相同时，错检概率较低。
表1为本发明的光场显著性提取方法以“F-measure”和“平均绝对值误差MAE”为度量标准，并利用Lytro相机采集的数据集，与当前其他光场显著性提取方法进行量化对比的分析表，“F-measure”是“查全率/查准率曲线”度量的统计指标，其值越接近1，表明显著性提取的效果越好，“MAE”度量了显著性提取结果与真实结果的平均绝对差异程度，其值越接近0，表明显著性提取的效果越好。
表1
显著性提取方法 Ours Zhang et al. WSC LFS
F-measure 0.6095 0.5537 0.5525 0.4880
MAE 0.1388 0.1578 0.1454 0.2214
由表1的定量分析表可见，本发明方法获得的“F-measure”和“MAE”均高于其他光场显著性提取方法。
以上，仅为本发明较佳的一种实施方式，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或相关参数改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种基于光场相机的多线索显著性提取方法，所述光场相机包括一个主透镜、一个微透镜阵列和一个成像传感器；其特征是，所述多线索显著性提取方法是按如下步骤进行：
步骤1、利用光场相机采集真实场景的五维光场数据集，记为L＝{L1,L2,…,Ln,…,LN}；Ln表示第n个五维光场数据，且Ln＝(x,y,s,t,λ)；x和y分别表示所述成像传感器像平面的空间分辨率；s和t分别表示所述微透镜阵列像平面的角度分辨率；λ为波长；1≤n≤N；
步骤2、从所述第n个五维光场数据Ln中获取光场多线索图像，包括第n个光场焦点堆栈图像序列Fn＝{F1n,F2n,…,Fkn,…,FKn}、第n个光场全聚焦图像In(x,y)、第n个光场深度图像Dn(x,y)和第n个光场多视角图像序列Hn＝{H1n,H2n,…,Hqn,…,HQn}；其中，Fkn表示第n个五维光场数据Ln中第k个焦平面图像；Hqn表示第n个五维光场数据Ln中第q个视角图像；1≤k≤K；1≤q≤Q；
步骤3、提取所述第n个光场全聚焦图像In(x,y)中的超像素，并计算任意超像素对之间的色彩差异特征
3.1、利用简单线性迭代聚类算法对所述第n个光场全聚焦图像In(x,y)进行超像素分割，获得一组超像素，记为spn＝{sp1n,sp2n,…,spin,…,spMn}，1≤i≤M；M表示所述第n个光场全聚焦图像In(x,y)的超像素个数；其中spin表示所述第n个光场全聚焦图像In(x,y)中第i个超像素；且prin表示所述第n个光场全聚焦图像In(x,y)中第i个超像素中的第r个像素，且Ri表示所述第n个光场全聚焦图像In(x,y)中第i个超像素所包含的像素个数；
3.2、将所述第n个光场全聚焦图像In(x,y)所在的RGB彩色空间转换到CIE Lab彩色空间后，计算第i个超像素spin在亮度L、红绿对立色a和蓝黄对立色b三个色彩通道上的均值，从而构成所述第i个超像素spin的光场色彩特征
3.3、利用式(1)计算第i个超像素spin和第j个超像素spjn之间的色彩差异特征1≤j≤M；
步骤4、计算所述第n个光场全聚焦图像In(x,y)中任意超像素对之间的位置差异特征
4.1、利用式(2)计算第i个超像素spin在所述第n个光场全聚焦图像In(x,y)中的空间归一化中心位置特征
式(2)中：和分别为第i个超像素spin中所有像素在所述成像传感器像平面中的横坐标均值和纵坐标均值；
4.2、利用式(3)计算第i个超像素spin和第j个超像素spjn之间的中心位置差异特征
式(3)中：σc为高斯函数的空间权重；
4.3、利用基于聚焦信息的背景先验建模算法，从第n个光场焦点堆栈图像序列Fn中选取具有最大背景似然分数的焦平面图像计算所述具有最大背景似然分数的焦平面图像所对应的一组超像素中第i个超像素spin的背景概率
4.4、利用式(4)计算所述第n个光场全聚焦图像In(x,y)的质心与第i个超像素spin的空间归一化中心位置之间的距离din：
4.5、利用式(5)计算所述第n个光场全聚焦图像In(x,y)中第i个超像素spin的区域位置特征
式(6)中：σbg为另一个高斯函数的空间权重；
4.6、利用式(6)计算所述第n个光场全聚焦图像In(x,y)中第i个超像素spin和第j个超像素spjn之间的位置差异特征
式(6)中，表示向量的外积；
步骤5、计算所述第n个光场深度图像Dn(x,y)中任意超像素对之间的深度差异特征
5.1、计算第i个超像素spin在所述第n个光场深度图像Dn(x,y)上的均值，从而获得所述第i个超像素spin的光场深度特征
5.2、利用式(7)计算第i个超像素spin和第j个超像素spjn之间的深度差异特征
步骤6、计算所述第n个光场焦点堆栈图像序列Fn中任意超像素对之间的聚焦流差异特征
6.1、利用光流算法提取所述第n个光场焦点堆栈图像序列Fn中第k个焦平面图像Fkn与第k+1个焦平面图像F(k+1)n之间的聚焦流水平特征和聚焦流垂直特征
6.2、利用式(8)计算所述聚焦流水平特征和聚焦流垂直特征的振幅
6.3、利用式(9)计算第n个光场焦点堆栈图像序列Fn中所有相邻焦平面图像之间的聚焦流特征均值
6.4、计算第i个超像素spin在所述聚焦流特征均值上的均值，从而获得所述第i个超像素spin的光场聚焦流特征
6.5、利用式(10)计算所述第n个光场焦点堆栈图像序列Fn中第i个超像素spin和第j个超像素spjn之间的聚焦流差异特征
步骤7、计算所述第n个光场多视角图像序列Hn中任意超像素对之间的视角流差异特征
7.1、利用光流算法提取第n个光场多视角图像序列Hn中第q个视角图像Hqn与第q+1个视角图像H(q+1)n的视角流水平特征和视角流垂直特征
7.2、利用式(11)计算所述视角流水平特征和视角流垂直特征的振幅
7.3、利用式(12)计算第n个光场多视角图像序列Ηn中所有相邻视角图像之间的视角流特征均值
7.4、计算第i个超像素spin在所述视角流特征均值上的均值，从而获得所述第i个超像素spin的光场视角流特征
7.5、利用式(13)计算第n个光场多视角图像序列Hn中第i个超像素spin和第j个超像素spjn之间的视角流差异特征
步骤8、利用式(14)计算所述第n个光场中第i个超像素spin的多线索初始显著结果Sin；
式(14)中：⊙表示向量的内积；为第i个超像素spin和第j个超像素spjn之间视觉线索的特征差异， 为第n个光场中第i个超像素spin和第j个超像素spjn之间线索的权重；为全局归一化算子，并有：
步骤9、优化所述多线索初始显著结果Sin；
9.1、利用基于非线性最小二乘回归的显著性优化算法，对所述多线索初始显著结果Sin进行优化，获得第一次优化显著结果S′in；
9.2、利用基于无向图正则化的显著性优化算法，对所述第一次优化显著结果S′in进行优化，获得第二次优化显著结果S″in；
9.3、利用式(15)计算两次优化后的归一化显著结果
CN201610291249.1A 2016-04-29 2016-04-29 一种基于光场相机的多线索显著性提取方法 Expired - Fee Related CN105913070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610291249.1A CN105913070B (zh) 2016-04-29 2016-04-29 一种基于光场相机的多线索显著性提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610291249.1A CN105913070B (zh) 2016-04-29 2016-04-29 一种基于光场相机的多线索显著性提取方法

Publications (2)

Publication Number Publication Date
CN105913070A CN105913070A (zh) 2016-08-31
CN105913070B true CN105913070B (zh) 2019-04-23

Family

ID=56752489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610291249.1A Expired - Fee Related CN105913070B (zh) 2016-04-29 2016-04-29 一种基于光场相机的多线索显著性提取方法

Country Status (1)

Country Link
CN (1) CN105913070B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024035B2 (en) 2016-12-01 2021-06-01 Interdigital Ce Patent Holdings, Sas Method for processing a light field image delivering a super-rays representation of a light field image
CN107578035B (zh) * 2017-09-30 2020-06-16 深圳市颐通科技有限公司 基于超像素-多色彩空间的人体轮廓提取方法
EP3486866A1 (en) 2017-11-15 2019-05-22 Thomson Licensing A method for processing a light field video based on the use of a super-rays representation
CN107959805B (zh) * 2017-12-04 2019-09-13 深圳市未来媒体技术研究院 基于混合相机阵列的光场视频成像***及视频处理方法
CN109344818B (zh) * 2018-09-28 2020-04-14 合肥工业大学 一种基于深度卷积网络的光场显著目标检测方法
CN111862106B (zh) * 2019-04-30 2023-09-29 曜科智能科技（上海）有限公司 基于光场语义的图像处理方法、计算机装置、及存储介质
CN110211115B (zh) * 2019-06-03 2023-04-07 大连理工大学 一种基于深度引导元胞自动机的光场显著性检测实现方法
CN111881925B (zh) * 2020-08-07 2023-04-18 吉林大学 一种基于相机阵列选择性光场重聚焦的显著性检测方法
CN117496187B (zh) * 2023-11-15 2024-06-11 安庆师范大学 一种光场图像显著性检测方法
CN117253054B (zh) * 2023-11-20 2024-02-06 浙江优众新材料科技有限公司 一种光场显著性检测方法及其相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999926A (zh) * 2012-11-12 2013-03-27 北京交通大学 一种基于底层特征融合的图像视觉显著性计算方法
CN104090972A (zh) * 2014-07-18 2014-10-08 北京师范大学 用于三维城市模型检索的图像特征提取和相似性度量方法
CN104103082A (zh) * 2014-06-06 2014-10-15 华南理工大学 一种基于区域描述和先验知识的图像显著性检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999926A (zh) * 2012-11-12 2013-03-27 北京交通大学 一种基于底层特征融合的图像视觉显著性计算方法
CN104103082A (zh) * 2014-06-06 2014-10-15 华南理工大学 一种基于区域描述和先验知识的图像显著性检测方法
CN104090972A (zh) * 2014-07-18 2014-10-08 北京师范大学 用于三维城市模型检索的图像特征提取和相似性度量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Saliency detection with a deeper investigation of light field;Jun Zhang et al.;《IJCAI"15 Proceedings of the 24th International Conference Artificial Intelligence》;20150725;第2212-2218页 *
融合光场焦点堆栈和全聚焦图像的显著性检查算法;李俊峰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160415;第2016年卷(第4期);全文 *

Also Published As

Publication number Publication date
CN105913070A (zh) 2016-08-31

Similar Documents

Publication Publication Date Title
CN105913070B (zh) 一种基于光场相机的多线索显著性提取方法
Chen et al. Improved saliency detection in RGB-D images using two-phase depth estimation and selective deep fusion
CN104850850B (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
Chen et al. Attention-based multi-level fusion network for light field depth estimation
CN109101981B (zh) 一种街景场景下基于全局图像条纹码的回环检测方法
Nedović et al. Stages as models of scene geometry
CN103955690B (zh) 一种紧凑的图像局部特征描述子的构造方法
CN109903331A (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN111882586B (zh) 一种面向剧场环境的多演员目标跟踪方法
US20150332117A1 (en) Composition modeling for photo retrieval through geometric image segmentation
Babahajiani et al. Object recognition in 3D point cloud of urban street scene
CN103198475A (zh) 基于多层次迭代可视化优化的全聚焦合成孔径透视成像方法
Bebeselea-Sterp et al. A comparative study of stereovision algorithms
Zou et al. Microarray camera image segmentation with Faster-RCNN
CN111783608B (zh) 一种换脸视频检测方法
CN105574545A (zh) 环境图像多视角语义切割方法及装置
Zhang et al. Wide-area crowd counting: Multi-view fusion networks for counting in large scenes
Wei et al. Iterative feature matching for self-supervised indoor depth estimation
Koch et al. Comparison of monocular depth estimation methods using geometrically relevant metrics on the IBims-1 dataset
Zhao et al. Learning probabilistic coordinate fields for robust correspondences
Tian et al. HPM-TDP: An efficient hierarchical PatchMatch depth estimation approach using tree dynamic programming
CN108876849B (zh) 基于辅助标识的深度学习目标识别及定位方法
Yang et al. The large-scale crowd analysis based on sparse spatial-temporal local binary pattern
Wei et al. Crowd distribution estimation with multi-scale recursive convolutional neural network
Almatrouk et al. Elemental Images Labelling and Grouping to Minimise Disparity Error in Texture-less Regions of Holoscopic Images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190423