CN106851246B - 用于确定三维图像或视频的视觉疲劳度的方法和设备 - Google Patents

用于确定三维图像或视频的视觉疲劳度的方法和设备 Download PDF

Info

Publication number
CN106851246B
CN106851246B CN201710066363.9A CN201710066363A CN106851246B CN 106851246 B CN106851246 B CN 106851246B CN 201710066363 A CN201710066363 A CN 201710066363A CN 106851246 B CN106851246 B CN 106851246B
Authority
CN
China
Prior art keywords
rendering
depth
video
visual fatigue
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710066363.9A
Other languages
English (en)
Other versions
CN106851246A (zh
Inventor
王铁石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710066363.9A priority Critical patent/CN106851246B/zh
Publication of CN106851246A publication Critical patent/CN106851246A/zh
Priority to US15/706,230 priority patent/US10277881B2/en
Application granted granted Critical
Publication of CN106851246B publication Critical patent/CN106851246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/002Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本公开实施例提出了用于确定三维(3D)图像或3D视频的视觉疲劳度的方法、设备和计算机可读存储介质。该方法包括:确定所述3D图像或所述3D视频中至少一帧3D图像的至少一部分像素的景深值;以及根据所述景深值来确定所述3D图像或所述3D视频的视觉疲劳度。

Description

用于确定三维图像或视频的视觉疲劳度的方法和设备
技术领域
本公开总体上涉及显示领域,更具体地涉及用于确定三维(3D)图像或视频的视觉疲劳度的方法、设备和计算机可读存储介质。
背景技术
随着技术的进步,电影院已经不再是仅有的能够观看3D影片的场所。事实上,在家同样也能利用电视(与立体眼镜配合)来观看3D视频,或者用手机(例如,与头戴式设备(HMD)相配合)也可以观看3D视频。
然而,一个常见的现象是:每当看一段时间的3D视频时,人们便通常会感觉眩晕、呕吐、眼睛干涩等不适症状,有些类似于晕车症状。这是晕动病(motion sickness)的一种。更具体地,其涉及眼睛观察到运动,但身体没有感受到运动的晕动病,有时也被称为视觉疲劳。
发明内容
然而,目前尚没有针对3D图像或3D视频的客观的视觉疲劳度确定方案。为此,提出了根据本公开实施例的用于确定3D图像或视频的视觉疲劳度的方法、设备和计算机可读存储介质。
根据本公开的第一方面,提出了一种用于确定三维(3D)图像或3D视频的视觉疲劳度的方法。该方法包括:确定所述3D图像或所述3D视频中至少一帧3D图像的至少一部分像素的景深值;以及根据所述景深值来确定所述3D图像或所述3D视频的视觉疲劳度。
在一些实施例中,确定所述3D图像或所述3D视频的至少一帧3D图像的至少一部分像素的景深值的步骤包括:确定所述至少一部分像素中每个像素的视差;以及根据所述视差来确定相应像素的景深值。在一些实施例中,根据所述景深值来确定所述3D图像或所述3D视频的视觉疲劳度的步骤包括:根据所述景深值来确定所述至少一部分像素中的空间相邻像素的空间景深差值;根据所述空间景深差值来确定所述3D图像或所述3D视频的空间视觉疲劳度;以及至少部分根据所述空间视觉疲劳度来确定所述视觉疲劳度。在一些实施例中,所述空间相邻像素包括一个或多个空间方向上的相邻或间隔相邻的像素。在一些实施例中,根据所述空间景深差值来确定所述3D图像或所述3D视频的空间视觉疲劳度的步骤包括:将全部所述空间景深差值的标准差确定为所述3D图像或所述3D视频的空间视觉疲劳度。在一些实施例中,根据所述景深值来确定所述3D视频的视觉疲劳度的步骤包括:计算所述3D视频的两帧3D图像中对应像素的时间景深差值;以及根据所述时间景深差值来确定所述3D视频的时间视觉疲劳度;以及至少部分根据所述时间视觉疲劳度来确定所述视觉疲劳度。在一些实施例中,所述两帧3D图像是在时间前向和/或后向上相邻或间隔相邻的两帧3D图像。在一些实施例中,根据所述时间景深差值来确定所述3D视频的时间视觉疲劳度的步骤包括:将全部所述时间景深差值的标准差确定为所述3D视频的时间视觉疲劳度。在一些实施例中,根据所述景深值来确定所述3D图像或所述3D视频的视觉疲劳度的步骤包括:针对所述至少一部分像素来计算其景深值与预定景深值的标准误差,作为标准视觉疲劳度;以及至少部分根据所述标准视觉疲劳度来确定所述视觉疲劳度。在一些实施例中,根据所述景深值来确定所述3D图像或所述3D视频的视觉疲劳度的步骤包括:根据空间视觉疲劳度、时间视觉疲劳度、和标准视觉疲劳度中任意两项或更多项来确定所述视觉疲劳度。在一些实施例中,在确定所述3D图像或所述3D视频中至少一帧3D图像的至少一部分像素的景深值的步骤之前,所述方法还包括将所述3D图像或所述3D视频中至少一帧3D图像分为多个分区,其中,确定所述3D图像或所述3D视频中至少一帧3D图像的至少一部分像素的景深值的步骤和根据所述景深值来确定所述3D图像或所述3D视频的视觉疲劳度的步骤是针对所述多个分区中至少一个分区来执行的,以分别确定相应分区的视觉疲劳度,以及根据所述至少一个分区的视觉疲劳度来确定所述3D图像或所述3D视频中至少一帧3D图像的视觉疲劳度。在一些实施例中,根据所述至少一个分区的视觉疲劳度来确定所述3D图像或所述3D视频中至少一帧3D图像的视觉疲劳度的步骤包括:根据所述至少一个分区中每个分区的大小和/或位置,确定相应分区的权重;以及根据各分区的视觉疲劳度及其相应权重来确定所述3D图像或所述3D视频中至少一帧3D图像的视觉疲劳度。
根据本公开的第二方面,提出了一种用于确定三维“3D”图像或3D视频的视觉疲劳度的设备。该设备包括:景深值确定单元,用于确定所述3D图像或所述3D视频中至少一帧3D图像的至少一部分像素的景深值;以及视觉疲劳度确定单元,用于根据所述景深值来确定所述3D图像或所述3D视频的视觉疲劳度。
此外,根据本公开的第三方面,提出了一种用于存储计算机程序的非瞬时计算机可读存储介质,所述计算机程序在由处理器执行时使得所述处理器执行以下操作:确定3D图像或3D视频中至少一帧3D图像的至少一部分像素的景深值;以及根据所述景深值来确定所述3D图像或所述3D视频的视觉疲劳度。
通过采用根据本公开实施例的用于确定3D图像或视频的视觉疲劳度的方法、设备和/或计算机可读存储介质,可以相对客观的确定某个3D图像/视频的视觉疲劳度,为用户提供一个广泛适用的标准,同时该方案容易实现、计算简单。本公开实施例通过计算不同位置、不同时间相同位置的景深差异,反映了3D图像或视频的疲劳度值,从而解决视觉疲劳度不能客观检测的问题。
附图说明
通过下面结合附图说明本公开的优选实施例,将使本公开的上述及其它目的、特征和优点更加清楚,其中:
图1是示出了根据本公开实施例的用于说明如何根据视差来计算景深值的示例示意图。
图2是示出了根据本公开实施例的用于确定3D图像或3D视频的视觉疲劳度的示例方法的流程图。
图3是示出了根据本公开实施例的示例分区方案的示意图。
图4是示出了根据本公开实施例的用于空间视觉疲劳度计算的示例像素的示意图。
图5是示出了根据本公开实施例的用于时间视觉疲劳度计算的示例像素的示意图。
图6是示出了根据本公开实施例的用于确定3D图像或3D视频的视觉疲劳度的示例设备的框图。
图7是示出了根据本公开实施例的图6所示设备的硬件布置图。
具体实施方式
下面参照附图对本公开的优选实施例进行详细说明,在描述过程中省略了对于本公开来说是不必要的细节和功能,以防止对本公开的理解造成混淆。在本说明书中,下述用于描述本公开原理的各种实施例只是说明,不应该以任何方式解释为限制公开的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本公开的示例性实施例。下述描述包括多种具体细节来帮助理解,但这些细节应认为仅仅是示例性的。因此,本领域普通技术人员应认识到,在不脱离本公开的范围和精神的情况下,可以对本文中描述的实施例进行多种改变和修改。此外,为了清楚和简洁起见,省略了公知功能和结构的描述。此外,贯穿附图,相同的附图标记用于相同或相似的功能和操作。
以下,以本公开应用于电子设备的场景为例,对本公开进行了详细描述。但本公开并不局限于此,本公开也可以应用于任何适用的设备。就电子设备而言,本公开并不局限于电子设备的具体操作***,可以包括(但不限于)iOS、Windows Phone、Symbian(塞班)、Android(安卓)、Windows、Linux、Unix等,不同的电子设备可以采用相同的操作***,也可以采用不同的操作***。
在本公开中,术语“包括”和“含有”及其派生词意为包括而非限制;术语“或”是包含性的,意为和/或。以下,将首先解释一些将在本公开中使用的术语。
立体图像或三维(3D)图像:一般而言,目前常见的立体(3D)图像通常是通过针对左右眼产生大体相同但存在细微差异(即,下文中的“视差”)的两个不同平面图像,进而使得人脑产生立体感觉来实现的。因此,一幅3D图像通常包括针对左眼的左眼图像和针对右眼的右眼图像。
3D视频:时间连续的一系列3D图像。
视差:3D图像中同一对象在左眼图像和右眼图像之间存在的位置偏移。
景深或深度:3D图像或3D视频中用户看到的3D对象(或其中的一个像素)与用户双眼所成直线之间的垂直距离。一般来说,这里的景深与摄影领域中的景深的定义略有区别。本文中的景深并不像摄影领域中的景深一样是一个清晰成像的范围,而是一个特定值。在3D计算领域中,该值一般又被称为Z值。此外,请注意:这里所提到的3D图像或3D视频中的一个像素指的可以是左眼图像和右眼图像中的对应像素,即一个左眼像素和一个右眼像素,且因此3D图像/视频中某个像素的景深实际上指的是左眼图像和右眼图像中对应像素所形成的3D像素的景深,其可以通过例如如下所述的方法根据视差来确定。
总体上,3D图像或视频对人眼所造成的疲劳通常可以认为主要是由于3D图像或视频中出现的视差变化造成的。由于人眼在观察3D对象时,需要通过睫状肌来调整晶状体的曲率,进而能够对不同远近的3D对象进行清晰的成像,因此当要观察的3D图像或视频中出现高频的景深变化时,人眼必须频繁地调整晶状体来清晰成像,从而导致眼睛的疲劳度上升,进而引发大脑的相应疲劳。根据此一发现,提出了根据本公开实施例的用于评估和/或确定3D图像或视频的视觉疲劳度的客观方法。然而请注意:本公开不限于此,而是也可以适用于其它相似领域或可适用的领域。
在本公开一些实施例中,大体上提出了一种用于确定三维(3D)图像或视频的视觉疲劳度的方法、设备和计算机可读存储介质。其可以概括为首先确定三维图像中每个像素的景深值。然后,根据一个或多个像素的景深值,来确定该三维图像的时间视觉疲劳度、空间视觉疲劳度、和标准视觉疲劳度中的一项或多项,并进而据此最终确定综合视觉疲劳度。
首先,将结合图1来详细说明如何确定3D图像或视频中每个像素的景深值。图1是示出了根据本公开实施例的用于说明如何根据视差来计算景深值的示例示意图。
如图1所示,一幅3D图像通常是由两个相机分别拍摄同一对象(例如,图1中的对象P)以分别获得左眼图像和右眼图像得到的。不失一般性,可以假定这两个相机的轴是平行的,已知两个相机的焦距都是f且两个相机之间的距离(两条平行相机轴之间的距离)为b,则如果视差为d(如图1所示,d=x1-x2),可以根据相似三角形得到以下公式,给出对象P的景深z:
然而,这仅是针对图1所示情况的简化公式。在例如存在多个相机(多个视图)、相机焦距不同、和/或相机的轴不平行等的情况下,可以使用更为复杂的公式根据视差d来得到景深z。此外,在一些实施例中,3D图像或视频的数据本身也可以携带针对每个像素点的与景深有关的元数据。然而,使用何种方式根据视差来导出景深值并不影响如何确定3D图像的视觉疲劳度,因此本文不再赘述。
接下来,将结合图2~图5来详细描述用于确定3D图像或3D视频的视觉疲劳度的方法。
图2是示出了根据本公开实施例的用于确定3D图像或3D视频的视觉疲劳度的示例方法200的流程图。如图2所示,在可选步骤S210中可以将3D图像或3D视频中至少一帧3D图像分为一个或多个分区。例如,在图3所示示例中,将3D图像分为了9个分区,从左上到右下依次编号为分区1~9。然而请注意:本公开实施例不限于此,事实上也可以分为更多或更少的分区,且分区形状不一定是正方形。例如,可以将3D图像分为2个分区、3个分区…以此类推。此外,也可以将分区设置为长方形、圆形、三角形或任何其他形状。此外,还可以将3D图像中例如图3的分区5单独为一区,而剩下的为另一区,以突出画面中心的对象。
分区的目的是为了赋予每个分区不同的权重值,并根据这些权重值和针对每个分区计算出的视觉疲劳度来得到综合视觉疲劳度。原因在于:人眼在观察3D画面时,一般不可能同时看到画面中的所有对象,其晶状体通常仅针对要观察的对象来进行调整。所以,向观察对象所在的分区赋予更高的权重值,同时调整其它分区的权重,能够更准确地确定3D图像或视频的视觉疲劳度。例如,大部分3D影片中需要观众注意的对象一般在分区5中,而在分区2、4、6和8中的对象相对较不重要,且在分区1、3、7和9中的对象基本不重要,所以可以相应地分配权重。例如,向分区5赋予较高权重,向分区2、4、6和8赋予中等权重,以及向分区1、3、7和9赋予较低权重。然而,本公开不限于此,而是可以根据需要向各个分区赋予全部或部分相同或不同的权重。
然而请注意,此一步骤S210并不是必须的,事实上也可以不对3D图像或视频进行分区。
接下来,可以针对前述各个分区中的至少一个分区执行后续操作。对于没有被执行后续操作的分区,可以认为其视觉疲劳度为空,且可以忽略其视觉疲劳度或者采用缺省视觉疲劳度。
在步骤S220中,可以确定3D图像或3D视频中至少一帧3D图像的景深值。例如,可以采用如图1所示的方案或者用其他方式来确定3D图像或3D视频(或每个分区)中全部或部分像素的景深值。此外,该步骤S220可以在步骤S210之前执行或并行执行,而不一定在S210的分区之后执行。
接下来,将执行与各种视觉疲劳度相关的计算,包括(但不限于):空间视觉疲劳度(S230)、时间视觉疲劳度(S240)、和/或标准视觉疲劳度(S250)。在步骤S260中,可以根据这三种视觉疲劳度中的任何一种、两种或全部三种来进行。此外,这三个步骤可以并行、顺序、乱序或以其他任何方式来执行。接下来,将对它们逐一详细描述。
将结合图4来详细描述步骤S230中如何计算3D图像/视频的空间视觉疲劳度。图4是示出了根据本公开实施例的用于空间视觉疲劳度计算的示例像素的示意图。
具体地,图4示出了一幅3D图像中以Px,y为中心的部分像素。当计算像素Px,y的空间视觉疲劳度时,可以取与Px,y相邻的像素Px+1,y,并计算这二者的景深值之差Px,y-Px+1,y。在另一些实施例中,也可以取不同方向上相邻的像素(例如,Px-1,y、Px,y+1、或Px,y-1等),并计算这二者的景深值之差,例如Px,y-Px-1,y等。此外,也可以取各个方向上与Px,y间隔相邻的像素,例如Px,y-2、Px,y+2、Px-2,y、Px+2,y之一,并计算这二者的景深值之差,例如Px,y-Px-2,y等。此外,也可以取一个范围内的与Px,y相邻的多个像素,例如Px,y-2和Px,y-1,并计算这二者与Px,y的景深值差值的平均值此外,也可以取不同方向上一个范围内的与Px,y相邻的多个像素,例如Px,y-1、Px,y+1、Px-1,y、Px+1,y、Px+1,y-1、Px+1,y+1、Px-1,y-1、Px-1,y+1,并计算这八者与Px,y的景深值差值的平均值更一般地,可以取同一帧中包括Px,y在内的某个像素集合,并计算该集合中除了Px,y之外的像素与Px,y的景深值差值的平均值(在本文中可以称为像素Px,y的空间景深差值)。以下为了描述简单,将以计算像素Px,y与像素Px+1,y为例,并计算这二者的景深值之差作为Px,y的空间景深差值。此外,尽管上面使用了平均值,但实际上也可以不求平均,只要是针对每个像素采用相同的计算方法,这些像素的景深差值即可如下所述相互比较和/或运算。
在计算过每个像素点的空间景深差值之后,可以如下计算该3D图像/视频/分区中的空间景深差值的标准差(或均方差):
作为该3D图像/视频/分区的空间视觉疲劳度,其中,Pi为针对第i个像素所计算出的空间景深差值,Pavel为空间景深差值的平均值,n为该3D图像/视频/分区中的像素数目,S1为空间视觉疲劳度。
空间视觉疲劳度的目的在于表现同一幅画面中由于观察者所看到的相邻像素的不同景深所导致的视觉疲劳度。例如,当观察者的观察点在远处的对象和近处的对象之间来回切换时,容易产生视觉疲劳。从而,空间视觉疲劳度体现了3D图像或视频中的此一特征。大体上,疲劳度越小,观众在观看时就越不容易疲劳。
接下来,将结合图5来详细描述步骤S240中如何计算3D视频的时间视觉疲劳度。图5是示出了根据本公开实施例的用于时间视觉疲劳度计算的示例像素的示意图。
图5中示出了3D视频中的两帧3D图像,分别为时刻t1和t2的3D图像,其中每一帧3D图像都类似于图4所示的3D图像。在一个实施例中,时刻t1和t2的3D图像可以是时间上连续的两帧3D图像。在另一个实施例中,时刻t1和t2的3D图像可以是时间上间隔相邻的两帧3D图像,例如中间隔了一帧或多帧。此外,在图5所示实施例中,时间t1可以小于时间t2,即用户可以先看到t1帧,然后看到t2帧。当然,时间t1也可以大于时间t2,即用户可以先看到t2帧,然后看到t1帧。
当例如计算t1帧的像素Px,y的时间视觉疲劳度时,可以取与t1帧的Px,y时间相邻的t2帧的像素Px,y,并计算这二者的景深值之差。在另一些实施例中,也可以取不同时间方向(前向/后向)上相邻的像素(例如,t0帧(图中未示出)的Px,y等),并计算这二者的景深值之差。此外,也可以取全部两个方向上与t1帧的Px,y时间相邻的像素。更一般地,可以取包括t1帧的Px,y在内的不同帧的像素集合,并计算该集合中除了Px,y之外的像素与Px,y的景深值差值的平均值(在本文中可以称为像素Px,y的时间景深差值)。例如,该集合可以包括(但不限于)t0帧的Px,y、t2帧的Px,y、t3帧的Px,y、t2帧的Px-1,y、和/或t3帧的Px,y+1等等。以下为了描述简单,将以计算t1帧的像素Px,y与t2帧的像素Px,y为例来计算这二者的景深值之差,作为作为Px,y的时间景深差值。此外,尽管上面使用了平均值,但实际上也可以不求平均,只要是针对每个像素采用相同的计算方法,这些像素的景深差值即可如下所述相互比较和/或运算。
在计算过每个像素点的时间景深差值之后,可以如下计算该3D图像/视频/分区中的时间景深差值的标准差:
作为该3D图像/视频/分区的时间视觉疲劳度,其中,Pj为针对第j个像素所计算出的时间景深差值,Pave2为时间景深差值的平均值,n为该3D图像/视频/分区中的像素数目,S2为时间视觉疲劳度。
时间视觉疲劳度的目的在于表现在时间上相邻或间隔相邻的两幅或多幅画面中由于观察者所看到的同一位置像素随时间变化的不同景深所导致的视觉疲劳度。例如,当观察者看到某一个对象在同一像素上在远处和近处来回切换时,容易产生视觉疲劳,从而时间视觉疲劳度体现了3D视频中的此一特征。
此外,在更常见的例子中,当一个对象例如在画面中横向运动且出现景深变化时(例如,横跨画面向远方移动),此时上述空间视觉疲劳度和时间视觉疲劳度就同时体现出来。在这种情况下,可以同时采用这两种视觉疲劳度度量来综合考量3D视频的视觉疲劳度。
此外,考虑到即使用户在观察同一静止画面时(即便其中所有对象都处于同一景深处),也会产生一定程度的视觉疲劳,因此还可以引入标准视觉疲劳度的概念。即,除了上述空间视觉疲劳度和时间视觉疲劳度之外,还可以在步骤S250中计算每个像素的景深值与某一缺省景深值或最佳观看景深值的差值的标准误差(或均方根误差)S3。从而,可以通过标准视觉疲劳度来表征3D图像/视频的缺省疲劳度。
在步骤S230、S240和/或S250中计算过各种视觉疲劳度之后,可以在步骤S260中对其进行综合考虑,以确定综合视觉疲劳度。一种较为直观的方式为求平均。例如,当计算了时间和空间视觉疲劳度之后,可以使用公式来确定最终视觉疲劳度。又例如,当计算了标准、时间和空间视觉疲劳度之后,可以使用公式来确定最终视觉疲劳度。此外,也可以采用加权方式来确定最终视觉疲劳度,以反映3D图像/视频的不同特征。例如,某个3D影片中运动场面众多,则可以相应提高时间视觉疲劳度的权重。又例如,某个3D影片中同时存在很多远处与近处的待观察对象,则可以相应提高空间视觉疲劳度的权重。
接下来,如果在可选步骤S210中将3D图像/视频分为了多个分区,则可以在可选步骤S270中,根据确定了视觉疲劳度的至少一个分区来确定总体视觉疲劳度。例如,可以如上所述针对不同分区采用不同权重来得到总体视觉疲劳度。
至此,已结合图2~5描述了用于确定3D图像或3D视频的视觉疲劳度的方法200。通过采用该方法200,可以相对客观地确定某个3D图像/视频的视觉疲劳度,为用户提供一个广泛适用的标准,同时该方案容易实现、计算简单。本公开实施例通过计算不同位置、不同时间相同位置的景深差异,反映了3D图像或视频的疲劳度值,从而解决视觉疲劳度不能客观检测的问题。
图6是示出了根据本公开实施例的用于确定3D图像或视频的视觉疲劳度的示例设备600的框图。如图6所示,设备600可以包括:景深值确定单元610和视觉疲劳度确定单元620。
景深值确定单元610可以用于确定3D图像或3D视频中至少一帧3D图像的至少一部分像素的景深值。景深值确定单元610可以是设备600的中央处理单元(CPU)、数字信号处理器(DSP)、微处理器、微控制器等等,其可以与设备600的通信部分(例如,无线收发信机、以太网卡、xDSL调制解调器等)和/或存储部分(例如,RAM、SD卡等)相配合,获取待处理的3D图像或视频的全部或部分数据,并确定其至少一部分像素的景深值。
视觉疲劳度确定单元620可以用于根据景深值来确定3D图像或3D视频的视觉疲劳度。视觉疲劳度确定单元620也可以是设备600的中央处理单元(CPU)、数字信号处理器(DSP)、微处理器、微控制器等等,其可以获取由景深值确定单元610确定的景深值,并根据该景深值来确定3D图像或3D视频的视觉疲劳度。
此外,设备600还可以包括图6中未示出的其他功能单元,例如:总线、存储器、电源、天线、通信部分、存储部分。然而,它们并不影响对本申请的原理的理解,且因此此处省略对它们的详细描述。
图7是示出了根据本公开实施例的图6所示设备600的示例硬件布置700的框图。硬件布置700包括处理器706(例如,数字信号处理器(DSP))。处理器706可以是用于执行本文描述的流程的不同动作的单一处理单元或者是多个处理单元。布置700还可以包括用于从其他实体接收信号的输入单元702、以及用于向其他实体提供信号的输出单元704。输入单元702和输出单元704可以被布置为单一实体或者是分离的实体。
此外,布置700可以包括具有非易失性或易失性存储器形式的至少一个可读存储介质708,例如是电可擦除可编程只读存储器(EEPROM)、闪存、和/或硬盘驱动器。可读存储介质708包括计算机程序710,该计算机程序710包括代码/计算机可读指令,其在由布置700中的处理器706执行时使得硬件布置700和/或包括硬件布置700在内的设备600可以执行例如上面结合图2所描述的流程及其任何变形。
计算机程序710可被配置为具有例如计算机程序模块710A~710C架构的计算机程序代码。因此,在例如设备600中使用硬件布置700时的示例实施例中,布置700的计算机程序中的代码包括:模块710A,用于确定3D图像或3D视频中至少一帧3D图像的至少一部分像素的景深值。计算机程序中的代码还包括:模块710B,用于根据景深值来确定3D图像或3D视频的视觉疲劳度。
计算机程序模块实质上可以执行图2中所示出的流程中的各个动作,以模拟设备600。换言之,当在处理器706中执行不同计算机程序模块时,它们可以对应于设备600中的上述不同单元。
尽管上面结合图7所公开的实施例中的代码手段被实现为计算机程序模块,其在处理器706中执行时使得硬件布置700执行上面结合图2所描述的动作,然而在备选实施例中,该代码手段中的至少一项可以至少被部分地实现为硬件电路。
处理器可以是单个CPU(中央处理单元),但也可以包括两个或更多个处理单元。例如,处理器可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))。处理器还可以包括用于缓存用途的板载存储器。计算机程序可以由连接到处理器的计算机程序产品来承载。计算机程序产品可以包括其上存储有计算机程序的计算机可读介质。例如,计算机程序产品可以是闪存、随机存取存储器(RAM)、只读存储器(ROM)、EEPROM,且上述计算机程序模块在备选实施例中可以用UE内的存储器的形式被分布到不同计算机程序产品中。
至此已经结合优选实施例对本公开进行了描述。应该理解,本领域技术人员在不脱离本公开的精神和范围的情况下,可以进行各种其它的改变、替换和添加。因此,本公开的范围不局限于上述特定实施例,而应由所附权利要求所限定。
此外,在本文中被描述为通过纯硬件、纯软件和/或固件来实现的功能,也可以通过专用硬件、通用硬件与软件的结合等方式来实现。例如,被描述为通过专用硬件(例如,现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)来实现的功能,可以由通用硬件(例如,中央处理单元(CPU)、数字信号处理器(DSP))与软件的结合的方式来实现,反之亦然。

Claims (13)

1.一种用于确定三维“3D”图像或3D视频的视觉疲劳度的方法,包括:
确定所述3D图像或所述3D视频中至少一帧3D图像的至少一部分像素的景深值;以及
根据所述景深值来确定所述3D图像或所述3D视频的视觉疲劳度,
其中,根据所述景深值来确定所述3D图像或所述3D视频的视觉疲劳度的步骤包括:根据所述景深值来确定所述至少一部分像素中的空间相邻像素的空间景深差值;根据所述空间景深差值来确定所述3D图像或所述3D视频的空间视觉疲劳度;以及至少部分根据所述空间视觉疲劳度来确定所述视觉疲劳度,
其中,根据所述空间景深差值来确定所述3D图像或所述3D视频的空间视觉疲劳度的步骤包括:
其中,Pi为针对第i个像素所计算出的空间景深差值,Pavel为空间景深差值的平均值,n为所述3D图像或所述3D视频中的像素数目,S1为空间视觉疲劳度。
2.根据权利要求1所述的方法,其中,确定所述3D图像或所述3D视频的至少一帧3D图像的至少一部分像素的景深值的步骤包括:
确定所述至少一部分像素中每个像素的视差;以及
根据所述视差来确定相应像素的景深值。
3.根据权利要求1所述的方法,其中,所述空间相邻像素包括一个或多个空间方向上的相邻或间隔相邻的像素。
4.根据权利要求1所述的方法,其中,根据所述空间景深差值来确定所述3D图像或所述3D视频的空间视觉疲劳度的步骤包括:
将全部所述空间景深差值的标准差确定为所述3D图像或所述3D视频的空间视觉疲劳度。
5.根据权利要求1所述的方法,其中,根据所述景深值来确定所述3D视频的视觉疲劳度的步骤还包括:
计算所述3D视频的两帧3D图像中对应像素的时间景深差值;以及
根据所述时间景深差值来确定所述3D视频的时间视觉疲劳度;以及
至少部分根据所述空间视觉疲劳度和所述时间视觉疲劳度来确定所述视觉疲劳度。
6.根据权利要求5所述的方法,其中,所述两帧3D图像是在时间前向和/或后向上相邻或间隔相邻的两帧3D图像。
7.根据权利要求5所述的方法,其中,根据所述时间景深差值来确定所述3D视频的时间视觉疲劳度的步骤包括:
将全部所述时间景深差值的标准差确定为所述3D视频的时间视觉疲劳度。
8.根据权利要求1所述的方法,其中,根据所述景深值来确定所述3D图像或所述3D视频的视觉疲劳度的步骤包括:
针对所述至少一部分像素来计算其景深值与预定景深值的标准误差,作为标准视觉疲劳度;以及
至少部分根据所述空间视觉疲劳度和所述标准视觉疲劳度来确定所述视觉疲劳度。
9.根据权利要求1所述的方法,其中,根据所述景深值来确定所述3D图像或所述3D视频的视觉疲劳度的步骤包括:
根据空间视觉疲劳度、时间视觉疲劳度、和标准视觉疲劳度来确定所述视觉疲劳度。
10.根据权利要求1所述的方法,其中,在确定所述3D图像或所述3D视频中至少一帧3D图像的至少一部分像素的景深值的步骤之前,所述方法还包括将所述3D图像或所述3D视频中至少一帧3D图像分为多个分区,
其中,确定所述3D图像或所述3D视频中至少一帧3D图像的至少一部分像素的景深值的步骤和根据所述景深值来确定所述3D图像或所述3D视频的视觉疲劳度的步骤是针对所述多个分区中至少一个分区来执行的,以分别确定相应分区的视觉疲劳度,以及
根据所述至少一个分区的视觉疲劳度来确定所述3D图像或所述3D视频中至少一帧3D图像的视觉疲劳度。
11.根据权利要求10所述的方法,其中,根据所述至少一个分区的视觉疲劳度来确定所述3D图像或所述3D视频中至少一帧3D图像的视觉疲劳度的步骤包括:
根据所述至少一个分区中每个分区的大小和/或位置,确定相应分区的权重;以及
根据各分区的视觉疲劳度及其相应权重来确定所述3D图像或所述3D视频中至少一帧3D图像的视觉疲劳度。
12.一种用于确定三维“3D”图像或3D视频的视觉疲劳度的设备,包括:
景深值确定单元,用于确定所述3D图像或所述3D视频中至少一帧3D图像的至少一部分像素的景深值;以及
视觉疲劳度确定单元,用于根据所述景深值来确定所述3D图像或所述3D视频的视觉疲劳度,
其中,视觉疲劳度确定单元具体用于:根据所述景深值来确定所述至少一部分像素中的空间相邻像素的空间景深差值;根据所述空间景深差值来确定所述3D图像或所述3D视频的空间视觉疲劳度;以及至少部分根据所述空间视觉疲劳度来确定所述视觉疲劳度,
其中,视觉疲劳度确定单元还具体用于如下根据所述空间景深差值来确定所述3D图像或所述3D视频的空间视觉疲劳度:
其中,Pi为针对第i个像素所计算出的空间景深差值,Pavel为空间景深差值的平均值,n为所述3D图像或所述3D视频中的像素数目,S1为空间视觉疲劳度。
13.一种用于存储计算机程序的非瞬时计算机可读存储介质,所述计算机程序在由处理器执行时使得所述处理器执行以下操作:
确定3D图像或3D视频中至少一帧3D图像的至少一部分像素的景深值;以及
根据所述景深值来确定所述3D图像或所述3D视频的视觉疲劳度,
其中,所述计算机程序在由处理器执行时使得所述处理器具体执行以下操作:根据所述景深值来确定所述至少一部分像素中的空间相邻像素的空间景深差值;根据所述空间景深差值来确定所述3D图像或所述3D视频的空间视觉疲劳度;以及至少部分根据所述空间视觉疲劳度来确定所述视觉疲劳度,
其中,所述计算机程序在由处理器执行时使得所述处理器如下根据所述空间景深差值来确定所述3D图像或所述3D视频的空间视觉疲劳度:
其中,Pi为针对第i个像素所计算出的空间景深差值,Pavel为空间景深差值的平均值,n为所述3D图像或所述3D视频中的像素数目,S1为空间视觉疲劳度。
CN201710066363.9A 2017-02-06 2017-02-06 用于确定三维图像或视频的视觉疲劳度的方法和设备 Active CN106851246B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710066363.9A CN106851246B (zh) 2017-02-06 2017-02-06 用于确定三维图像或视频的视觉疲劳度的方法和设备
US15/706,230 US10277881B2 (en) 2017-02-06 2017-09-15 Methods and devices for determining visual fatigue of three-dimensional image or video and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710066363.9A CN106851246B (zh) 2017-02-06 2017-02-06 用于确定三维图像或视频的视觉疲劳度的方法和设备

Publications (2)

Publication Number Publication Date
CN106851246A CN106851246A (zh) 2017-06-13
CN106851246B true CN106851246B (zh) 2019-08-23

Family

ID=59122797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710066363.9A Active CN106851246B (zh) 2017-02-06 2017-02-06 用于确定三维图像或视频的视觉疲劳度的方法和设备

Country Status (2)

Country Link
US (1) US10277881B2 (zh)
CN (1) CN106851246B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109089111B (zh) * 2018-10-22 2020-05-26 Oppo广东移动通信有限公司 一种立体视频舒适度评价方法、***及终端设备
CN114587951B (zh) * 2022-03-23 2023-06-13 清华大学 用眼调节设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102027752A (zh) * 2008-05-12 2011-04-20 汤姆森特许公司 用于测量立体运动画面的潜在眼睛疲劳的***和方法
CN102750695A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于机器学习的立体图像质量客观评价方法
CN104067612A (zh) * 2012-01-04 2014-09-24 汤姆逊许可公司 3d图像序列的处理
CN105959679A (zh) * 2016-04-27 2016-09-21 宁波大学 一种立体图像视觉舒适度和深度感联合优化方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101682208B1 (ko) * 2010-10-22 2016-12-02 삼성전자주식회사 디스플레이 장치 및 방법
CN103281959A (zh) * 2011-05-20 2013-09-04 松下电器产业株式会社 视觉疲劳度测定装置、视觉疲劳度测定方法、视觉疲劳度测定***及三维眼镜
CN103780894B (zh) * 2012-10-18 2016-02-10 财团法人工业技术研究院 具视觉疲劳估算的立体影片播放方法与控制***
US9182817B2 (en) * 2013-03-12 2015-11-10 Intel Corporation Techniques for automated evaluation of 3D visual content
CN103458259B (zh) * 2013-08-27 2016-04-13 Tcl集团股份有限公司 一种3d视频引起人眼疲劳度的检测方法、装置及***
CN104754322B (zh) * 2013-12-27 2018-01-23 华为技术有限公司 一种立体视频舒适度评价方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102027752A (zh) * 2008-05-12 2011-04-20 汤姆森特许公司 用于测量立体运动画面的潜在眼睛疲劳的***和方法
CN104067612A (zh) * 2012-01-04 2014-09-24 汤姆逊许可公司 3d图像序列的处理
CN102750695A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于机器学习的立体图像质量客观评价方法
CN105959679A (zh) * 2016-04-27 2016-09-21 宁波大学 一种立体图像视觉舒适度和深度感联合优化方法

Also Published As

Publication number Publication date
US10277881B2 (en) 2019-04-30
CN106851246A (zh) 2017-06-13
US20180227563A1 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
US9924153B2 (en) Parallel scaling engine for multi-view 3DTV display and method thereof
JP2005353047A (ja) 立体画像処理方法および立体画像処理装置
US9154765B2 (en) Image processing device and method, and stereoscopic image display device
JP4928476B2 (ja) 立体像生成装置、その方法およびそのプログラム
US9581787B2 (en) Method of using a light-field camera to generate a three-dimensional image, and light field camera implementing the method
WO2016115849A1 (zh) 图像亮度的调节方法及调节装置、显示装置
CN104333747B (zh) 一种立体拍照方法和立体拍照设备
CN112136324A (zh) 在dibr***(mfp-dibr)中产生立体视点的基于多焦面的方法
US20160054572A1 (en) Stereoscopic image
EP2713613A2 (en) Apparatus and method for processing multi-view image
CN109191506A (zh) 深度图的处理方法、***及计算机可读存储介质
CN107071384A (zh) 虚拟主动视差计算补偿的双目渲染方法及***
CN115174805B (zh) 全景立体图像的生成方法、装置和电子设备
CN106851246B (zh) 用于确定三维图像或视频的视觉疲劳度的方法和设备
CN102724539B (zh) 一种3d显示方法及显示装置
KR101606539B1 (ko) 360도 원형 디스플레이의 3차원 영상 렌더링 방법
WO2012176526A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
CN106680996A (zh) 头戴式虚拟现实显示器的显示方法及显示控制***
WO2015101008A1 (zh) 3d显示方法及3d显示装置
CN105100769B (zh) 一种视觉特效图像或视频对的生成方法及装置
TWI685242B (zh) 多視角裸眼式立體影像的生成方法及其顯示方法以及電子裝置
Chappuis et al. Subjective evaluation of an active crosstalk reduction system for mobile autostereoscopic displays
US20240236288A9 (en) Method And Apparatus For Generating Stereoscopic Display Contents
US20240137481A1 (en) Method And Apparatus For Generating Stereoscopic Display Contents
JP6042732B2 (ja) 画像生成方法、画像生成装置及び画像生成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant