CN110310269A - 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法 - Google Patents
基于极平面多尺度Gabor特征相似度的光场图像质量评价方法 Download PDFInfo
- Publication number
- CN110310269A CN110310269A CN201910569095.1A CN201910569095A CN110310269A CN 110310269 A CN110310269 A CN 110310269A CN 201910569095 A CN201910569095 A CN 201910569095A CN 110310269 A CN110310269 A CN 110310269A
- Authority
- CN
- China
- Prior art keywords
- polar plane
- light field
- field image
- gabor characteristic
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,方法包括:对参考光场图像和失真光场图像分别提取极平面图;分别计算参考极平面图和失真极平面图三个尺度和四个方向下的Gabor特征图;分别融合参考极平面图和失真极平面图同一尺度不同方向的Gabor特征图得到极平面多尺度Gabor特征图,进而计算得到极平面多尺度Gabor特征相似度图;基于极平面多尺度Gabor特征相似度图得到最终失真光场图像质量评价值。本发明利用极平面多尺度Gabor特征描述极平面图像的细节信息,进而反映出光场图像中场景结构的变化,具有较好的光场图像质量评价性能。
Description
技术领域
本发明属于图像处理领域,涉及图像质量评价方法,尤其是涉及一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法。
背景技术
随着视觉媒体技术的快速发展,光场成像引起了学术界和工业界的密切关注,并广泛地应用于计算机图形学领域,如三维重建、多视图分割、合成孔径成像等。与传统成像不同,光场成像收集来自空间中通过任意点任意方向上的光流。由此所得到的光场图像往往更能够反映出真实场景中位置和方向信息。
光场图像在生成、处理、压缩、存储、传输和渲染的过程中不可避免地会引入各种失真从而影响光场图像的感知质量和相关的***性能。尽管目前已有大量的工作在图像质量评价领域开展,但现有的大多数质量评价算法都是针对于自然图像而设计,它们往往不适用于光场图像质量评价。由于不同的图像类型具有不同的图像特征,光场图像携带更多的场景信息,因此设计符合人类视觉***对光场图像主观感知度的质量评价方法成为图像质量评价领域的迫切需求。
发明内容
本发明的目的在于突破现有技术的局限性,提出了基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,解决现有技术的评估方法未能考虑光场图像的结构特性。
本发明解其技术问题所采用的技术方案是:
一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,步骤如下:
接收参考光场图像Lr={Lr,1,Lr,2,...,Lr,K}和失真光场图像Ld={Ld,1,Ld,2,...,Ld,K},其中,K为视点数目;
提取参考光场图像Lr的参考极平面图Er,并提取失真光场图像Ld的失真极平面图Ed;
计算参考极平面图Er三个尺度和四个方向下的参考Gabor特征图Rs,o,并计算失真极平面图Ed三个尺度和四个方向下的失真Gabor特征图Ds,o;
计算参考Gabor特征图Rs,o在同一尺度不同方向下的Gabor特征图Rs(x,y),并计算失真Gabor特征图Ds,o在同一尺度不同方向下的Gabor特征图Ds(x,y),将所述Rs(x,y)和Ds(x,y)进行融合得到极平面多尺度Gabor特征相似度图GSims;
基于极平面多尺度Gabor特征相似度图GSims得到最终失真光场图像质量评价值。
优选的,提取参考光场图像Lr的参考极平面图Er,并提取失真光场图像Ld的失真极平面图Ed,具体包括:将每个视点下光场图像中固定行的信息汇集形成极平面图,用公式表示为:
Er=Er(n,i)=Lr(n,i)
Ed=Ed(n,i)=Ld(n,i)
其中,Lr(n,i)为第i个视点下参考光场图像的第n行,Ld(n,i)为第i个视点下失真光场图像的第n行,Er(n,i)表示第n张参考极平面图的第i行,Ed(n,i)表示第n张失真极平面图的第i行;对于分辨率为M×N、视点数为K的光场图像,可以得到N张分辨率为M×K的极平面图。
优选的,计算参考极平面图Er三个尺度和四个方向下的参考Gabor特征图Rs,o,并计算失真极平面图Ed三个尺度和四个方向下的失真Gabor特征图Ds,o,具体如下:
其中,s和o分别表示特征提取的尺度和方向,s=1,2,3,o=1,2,3,4;Gs,o为Gabor滤波器,表示如下:
其中,fo和yo分别表示滤波器的中心频率和方向,σx和σy分别表示带宽和角度, σx=1.1,
优选的,计算参考极平面图Er三个尺度和四个方向下的参考Gabor特征图Rs,o,并计算失真极平面图Ed三个尺度和四个方向下的失真Gabor特征图Ds,o,具体如下:
优选的,将所述Rs(x,y)和Ds(x,y)进行融合得到极平面多尺度Gabor特征相似度图GSims,具体如下:
其中,Cs为稳定系数,Cs=1。
优选的,基于极平面多尺度Gabor特征相似度图GSims得到最终失真光场图像质量评价值,具体包括:
步骤6.1,计算单一尺度下的失真光场图像质量评价值,如下:
其中,M×K表示极平面图的大小,N为极平面图的总数,Ω表示输入图像的全部像素点,μ为GSims的均值;
步骤6.2,计算最终失真光场图像Ld的质量评价值,如下:
其中,βs用于调节每个尺度的影响程度,β1=0.05,β2=0.15,β3=0.25,β4=0.55。
本发明的有益效果如下:
本发明提供了一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,通过Gabor滤波器来模拟人脑处理多分辨率信息的特殊功能,利用多尺度机制更好地描述光场图像中场景结构变化的细节内容,反应人眼视主观视觉***对于光场图像的主观感知度,具有较好的光场图像质量评价性能。
附图说明
图1是本发明的流程示意图。
具体实施方式
以下结合附图及实施例对本发明进行进一步的详细说明。
本发明为了解决现有技术的评估方法未能考虑光场图像的结构特性,提供一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,如图1所示,具体步骤如下:
步骤1,接收参考光场图像Lr={Lr,1,Lr,2,...,Lr,K}和失真光场图像Ld={Ld,1,Ld,2,...,Ld,K},其中K为视点数目。
步骤2,分别提取参考光场图像Lr和失真光场图像Ld的参考极平面图Er和失真极平面图Ed。从光场图像L={L1,L2,...,LK}(K为视点数目)提取极平面图的方法如下:
将每个视点下光场图像中固定行的信息汇集形成极平面图,用公式表示为:
Er=Er(n,i)=Lr(n,i)
Ed=Ed(n,i)=Ld(n,i)
其中,Lr(n,i)为第i个视点下参考光场图像的第n行,Ld(n,i)为第i个视点下失真光场图像的第n行,Er(n,i)表示第n张参考极平面图的第i行,Ed(n,i)表示第n张失真极平面图的第i行;对于分辨率为M×N、视点数为K的光场图像,可以得到N张分辨率为M×K的极平面图。
步骤3,分别计算参考极平面图Er和失真极平面图Ed三个尺度和四个方向下的参考Gabor特征图Rs,o和失真Gabor特征图Ds,o,用公式表示为:
其中,s和o分别表示分解的尺度和方向,s=1,2,3,o=1,2,3,4。Gs,o为Gabor滤波器,如下:
其中,fo和yo分别表示滤波器的中心频率和方向,σx和σy分别表示带宽和角度, σx=1.1,
步骤4,分别融合同一尺度不同方向下的参考Gabor特征图Rs,o和失真Gabor特征图Ds,o得到极平面多尺度Gabor特征相似度图GSims。
具体地,对于参考Gabor特征图Rs,o和失真Gabor特征图Ds,o,同一尺度不同方向下的Gabor特征图的计算方式如下:
极平面多尺度Gabor特征相似度图的计算方法如下:
其中Cs为稳定系数,Cs=1。
步骤5,基于极平面多尺度Gabor特征相似度图GSims得到最终失真光场图像质量评价值。
具体地,计算单一尺度下的失真光场图像质量评价值如下:
其中,M×K表示极平面图的大小,N为极平面图的总数,Ω表示输入图像的全部像素点,μ为GSims的均值。
最终失真光场图像Ld的质量评价值的计算方法如下:
其中,βs用于调节每个尺度的影响程度,β1=0.05,β2=0.15,β3=0.25,β4=0.55。
上述实施例仅是用来说明本发明,而并非用作对本发明的限定。只要是依据本发明的技术实质,对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。
Claims (6)
1.一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,其特征在于,步骤如下:
接收参考光场图像Lr={Lr,1,Lr,2,...,Lr,K}和失真光场图像Ld={Ld,1,Ld,2,...,Ld,K},其中,K为视点数目;
提取参考光场图像Lr的参考极平面图Er,并提取失真光场图像Ld的失真极平面图Ed;
计算参考极平面图Er三个尺度和四个方向下的参考Gabor特征图Rs,o,并计算失真极平面图Ed三个尺度和四个方向下的失真Gabor特征图Ds,o;
计算参考Gabor特征图Rs,o在同一尺度不同方向下的Gabor特征图Rs(x,y),并计算失真Gabor特征图Ds,o在同一尺度不同方向下的Gabor特征图Ds(x,y),将所述Rs(x,y)和Ds(x,y)进行融合得到极平面多尺度Gabor特征相似度图GSims;
基于极平面多尺度Gabor特征相似度图GSims得到最终失真光场图像质量评价值。
2.根据权利要求1所述的一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,其特征在于,提取参考光场图像Lr的参考极平面图Er,并提取失真光场图像Ld的失真极平面图Ed,具体包括:将每个视点下光场图像中固定行的信息汇集形成极平面图,用公式表示为:
Er=Er(n,i)=Lr(n,i)
Ed=Ed(n,i)=Ld(n,i)
其中,Lr(n,i)为第i个视点下参考光场图像的第n行,Ld(n,i)为第i个视点下失真光场图像的第n行,Er(n,i)表示第n张参考极平面图的第i行,Ed(n,i)表示第n张失真极平面图的第i行;对于分辨率为M×N、视点数为K的光场图像,可以得到N张分辨率为M×K的极平面图。
3.根据权利要求1所述的一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,其特征在于,计算参考极平面图Er三个尺度和四个方向下的参考Gabor特征图Rs,o,并计算失真极平面图Ed三个尺度和四个方向下的失真Gabor特征图Ds,o,具体如下:
其中,s和o分别表示特征提取的尺度和方向,s=1,2,3,o=1,2,3,4;Gs,o为Gabor滤波器,表示如下:
其中,fo和yo分别表示滤波器的中心频率和方向,σx和σy分别表示带宽和角度,σx=1.1,
4.根据权利要求1所述的一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,其特征在于,计算参考极平面图Er三个尺度和四个方向下的参考Gabor特征图Rs,o,并计算失真极平面图Ed三个尺度和四个方向下的失真Gabor特征图Ds,o,具体如下:
5.根据权利要求4所述的一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,其特征在于,将所述Rs(x,y)和Ds(x,y)进行融合得到极平面多尺度Gabor特征相似度图GSims,具体如下:
其中,Cs为稳定系数,Cs=1。
6.根据权利要求1所述的一种基于极平面多尺度Gabor特征相似度的光场图像质量评价方法,其特征在于,基于极平面多尺度Gabor特征相似度图GSims得到最终失真光场图像质量评价值,具体包括:
步骤6.1,计算单一尺度下的失真光场图像质量评价值,如下:
其中,M×K表示极平面图的大小,N为极平面图的总数,Ω表示输入图像的全部像素点,μ为GSims的均值;
步骤6.2,计算最终失真光场图像Ld的质量评价值,如下:
其中,βs用于调节每个尺度的影响程度,β1=0.05,β2=0.15,β3=0.25,β4=0.55。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910569095.1A CN110310269B (zh) | 2019-06-27 | 2019-06-27 | 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910569095.1A CN110310269B (zh) | 2019-06-27 | 2019-06-27 | 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110310269A true CN110310269A (zh) | 2019-10-08 |
CN110310269B CN110310269B (zh) | 2022-11-01 |
Family
ID=68077814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910569095.1A Active CN110310269B (zh) | 2019-06-27 | 2019-06-27 | 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110310269B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111524104A (zh) * | 2020-04-13 | 2020-08-11 | 华侨大学 | 基于多尺度轮廓波特征的全参考光场图像质量评价方法 |
CN112967242A (zh) * | 2021-02-26 | 2021-06-15 | 北京信息科技大学 | 一种基于视觉特征聚合的光场质量评价方法 |
CN117911367A (zh) * | 2024-01-18 | 2024-04-19 | 安庆师范大学 | 一种光场图像全参考质量评价方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110026910A1 (en) * | 2009-07-28 | 2011-02-03 | National Taiwan University | Photometric calibration method and device |
CN105744256A (zh) * | 2016-03-31 | 2016-07-06 | 天津大学 | 基于图谱视觉显著的立体图像质量客观评价方法 |
CN106504230A (zh) * | 2016-10-11 | 2017-03-15 | 华侨大学 | 基于相位一致性的全参考彩色屏幕图像质量评估方法 |
US20170177975A1 (en) * | 2015-12-21 | 2017-06-22 | Ningbo University | Image quality objective evaluation method based on manifold feature similarity |
CN107705286A (zh) * | 2017-08-23 | 2018-02-16 | 南京航空航天大学 | 一种彩色图像质量综合评价方法 |
CN108447059A (zh) * | 2018-04-09 | 2018-08-24 | 华侨大学 | 一种全参考光场图像质量评价方法 |
CN109255358A (zh) * | 2018-08-06 | 2019-01-22 | 浙江大学 | 一种基于视觉显著性和深度图的3d图像质量评价方法 |
CN109523508A (zh) * | 2018-09-27 | 2019-03-26 | 宁波大学 | 一种密集光场质量评价方法 |
CN109801273A (zh) * | 2019-01-08 | 2019-05-24 | 华侨大学 | 一种基于极平面线性相似度的光场图像质量评价方法 |
-
2019
- 2019-06-27 CN CN201910569095.1A patent/CN110310269B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110026910A1 (en) * | 2009-07-28 | 2011-02-03 | National Taiwan University | Photometric calibration method and device |
US20170177975A1 (en) * | 2015-12-21 | 2017-06-22 | Ningbo University | Image quality objective evaluation method based on manifold feature similarity |
CN105744256A (zh) * | 2016-03-31 | 2016-07-06 | 天津大学 | 基于图谱视觉显著的立体图像质量客观评价方法 |
CN106504230A (zh) * | 2016-10-11 | 2017-03-15 | 华侨大学 | 基于相位一致性的全参考彩色屏幕图像质量评估方法 |
CN107705286A (zh) * | 2017-08-23 | 2018-02-16 | 南京航空航天大学 | 一种彩色图像质量综合评价方法 |
CN108447059A (zh) * | 2018-04-09 | 2018-08-24 | 华侨大学 | 一种全参考光场图像质量评价方法 |
CN109255358A (zh) * | 2018-08-06 | 2019-01-22 | 浙江大学 | 一种基于视觉显著性和深度图的3d图像质量评价方法 |
CN109523508A (zh) * | 2018-09-27 | 2019-03-26 | 宁波大学 | 一种密集光场质量评价方法 |
CN109801273A (zh) * | 2019-01-08 | 2019-05-24 | 华侨大学 | 一种基于极平面线性相似度的光场图像质量评价方法 |
Non-Patent Citations (6)
Title |
---|
YU TIAN 等: "Light Field Image Quality Assessment via the Light Field Coherence", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
丰明坤 等: "基于视觉显著失真度的图像质量自适应评价方法", 《电子与信息学报》 * |
卢彦飞 等: "应用log-Gabor韦伯特征的图像质量评价", 《光学精密工程》 * |
王翔 等: "基于Gabor滤波器的全参考图像质量评价方法", 《浙江大学学报(工学版)》 * |
田钰 等: "利用边缘相似度的光场图像质量评价", 《信号处理》 * |
田钰: "基于视觉感知的光场图像质量评价研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111524104A (zh) * | 2020-04-13 | 2020-08-11 | 华侨大学 | 基于多尺度轮廓波特征的全参考光场图像质量评价方法 |
CN111524104B (zh) * | 2020-04-13 | 2023-03-24 | 华侨大学 | 基于多尺度轮廓波特征的全参考光场图像质量评价方法 |
CN112967242A (zh) * | 2021-02-26 | 2021-06-15 | 北京信息科技大学 | 一种基于视觉特征聚合的光场质量评价方法 |
CN112967242B (zh) * | 2021-02-26 | 2023-07-04 | 北京信息科技大学 | 一种基于视觉特征聚合的光场质量评价方法 |
CN117911367A (zh) * | 2024-01-18 | 2024-04-19 | 安庆师范大学 | 一种光场图像全参考质量评价方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110310269B (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bando et al. | Extracting depth and matte using a color-filtered aperture | |
JP6465818B2 (ja) | 粒子径を求める方法及び装置 | |
CN110310269A (zh) | 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法 | |
CN109242834A (zh) | 一种基于卷积神经网络的无参考立体图像质量评价方法 | |
CN108447059B (zh) | 一种全参考光场图像质量评价方法 | |
CN105976351B (zh) | 基于中央偏移的立体图像质量评价方法 | |
Liu et al. | Blind omnidirectional image quality assessment based on structure and natural features | |
Pintus et al. | State‐of‐the‐art in Multi‐Light Image Collections for surface visualization and analysis | |
CN109345502A (zh) | 一种基于视差图立体结构信息提取的立体图像质量评价方法 | |
DE202014010866U1 (de) | Spekularitätsbestimmung von Bildern | |
CN106023307A (zh) | 基于现场环境的快速重建三维模型方法及*** | |
CN110691236B (zh) | 一种全景视频质量评价方法 | |
CN105631890B (zh) | 基于图像梯度和相位一致性的失焦图片质量评价方法 | |
CN107018410B (zh) | 一种基于预注意机制和空间依赖性的无参考图像质量评价方法 | |
CN116152697A (zh) | 一种混凝土结构裂缝的三维模型测量方法及相关装置 | |
Hashim et al. | No reference Image Quality Measure for Hazy Images. | |
CN109801273B (zh) | 一种基于极平面线性相似度的光场图像质量评价方法 | |
Lyapustin et al. | Towards true detail restoration for super-resolution: A benchmark and a quality metric | |
CN113128517B (zh) | 色调映射图像混合视觉特征提取模型建立及质量评价方法 | |
Angot et al. | A 2D to 3D video and image conversion technique based on a bilateral filter | |
CN109523508A (zh) | 一种密集光场质量评价方法 | |
CN111524104B (zh) | 基于多尺度轮廓波特征的全参考光场图像质量评价方法 | |
CN110796635A (zh) | 一种基于剪切波变换的光场图像质量评价方法 | |
CN109661817B (zh) | 一种用于生成像素光束的数据表示的装置和方法 | |
CN108648186A (zh) | 基于初级视觉感知机制的无参考立体图像质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |