CN105323573A - 三维图像显示装置和方法 - Google Patents

三维图像显示装置和方法 Download PDF

Info

Publication number
CN105323573A
CN105323573A CN201410338749.7A CN201410338749A CN105323573A CN 105323573 A CN105323573 A CN 105323573A CN 201410338749 A CN201410338749 A CN 201410338749A CN 105323573 A CN105323573 A CN 105323573A
Authority
CN
China
Prior art keywords
view
depth
depth layer
pixel
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410338749.7A
Other languages
English (en)
Other versions
CN105323573B (zh
Inventor
焦少慧
周明才
洪涛
李炜明
王海涛
王西颖
南东暻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecom R&D Center
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201410338749.7A priority Critical patent/CN105323573B/zh
Priority to KR1020150061078A priority patent/KR102325296B1/ko
Priority to US15/326,594 priority patent/US10666933B2/en
Priority to PCT/KR2015/004822 priority patent/WO2016010246A1/ko
Publication of CN105323573A publication Critical patent/CN105323573A/zh
Application granted granted Critical
Publication of CN105323573B publication Critical patent/CN105323573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/022Stereoscopic imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供了一种三维图像显示装置和方法。所述三维图像显示装置包括:深度层划分单元,用于将三维图像划分为多个深度层;像素确定单元,用于确定与每个深度层相应的不规则像素;三维图像产生单元,用于使用像素确定单元确定的与每个深度层相应的不规则像素,产生与每个深度层相应的三维图像;三维图像合成单元,用于将三维图像产生单元产生的三维图像合成为最终的三维显示图像。

Description

三维图像显示装置和方法
技术领域
本申请涉及一种三维(3D)图像显示装置和方法,更具体地讲,涉及一种使用不规则像素进行三维图像显示的三维图像显示装置及其三维图像显示方法。
背景技术
3D影像通常具有水平方向上的连续视差变化或者具有水平和垂直方向上的连续视差变化。裸眼3D显示则是一项可以让用户无需佩戴眼镜就能裸眼观看自然的3D影像的技术。近些年随着电子科技技术的进步,裸眼3D显示技术开始向实用化迈进。大部分的裸眼3D显示***包括一块高分辨率的显示面板和一个光线方向调制装置(例如,微透镜阵列)。在显示面板上可显示被称为交错图像的二维图像。通过光线方向调制装置,显示面板上显示的交错图像中的不同部分被折射到三维空间中的不同方向从而形成3D图像。
交错图像中通常包含多个视角的图像信息,并且交错图像中的相邻像素通常代表不同角度的图像信息,因此需要通过透镜的折射来分离相邻像素所呈现的图像。然而,由于相邻像素之间的光线容易彼此干扰,因此观看者可能不能清晰的观看分离出来的图像,这种由于图像未完全分离而产生的现象称为串扰(crosstalk)。尽管目前市场上已开发出裸眼3D显示器,但目前的裸眼3D显示器由于这种串扰现象而导致显示质量较差。串扰严重时,显示的三维图像上会出现叠影错误,导致显示质量低下;而串扰现象较轻时,也会导致显示的三维图像模糊,继而影响显示画面的清晰度,降低用户的人眼感知分辨率。即使在理想情况下(即,多个视角的图像可以通过透镜的折射作用完全分离),从像素发出的光线在传播过程中也会发生扩散,导致光束的宽度发生改变,使得相邻光束之间发生相互干扰作用,影响所显示内容的分辨率。
此外,在裸眼3D显示***中,由于物理光线传播的因素,所能显示的三维内容的深度范围有限,并且三维内容的显示分辨率也和其所在的深度平面有关系。
可使用3D内容的显示分辨率和深度范围来衡量一个裸眼3D显示***的性能。可使用调制传输函数(MTF:ModulationTransferFunction)来量化三维内容的显示分辨率。MTF可通过测定1毫米(mm)的范围内能呈现出多少条线来度量分辨率。MTF值=(照度的最大值-照度的最小值)/(照度的最大值+照度的最小值)。因此,MTF值总是介于0和1之间。MTF值越大,说明当前显示三维内容的分辨率越高,反之则越低。
图1是示出用于估计显示分辨率的调制传输函数的示例的示意图。在该示例中,采用亮度随正弦变化的周期图形(即,“正弦光栅”)作为三维显示的内容进行测试。测试中的正弦光栅具有不同的频率和不同的深度平面,MTF的测试结果可见图1。从图1可看出,裸眼3D显示***具有一个中心深度平面(CDP:CentralDepthPlane),在该中心深度平面上,具有最高的显示分辨率,而随着远离该深度平面,裸眼3D显示***所具备的显示分辨率逐渐下降,会发生串扰错误和模糊现象。也就是说,裸眼3D显示***由于物理光线传播的因素,所能显示的3D内容的深度范围(DOF:DepthofField)有限。
现在市场上的裸眼3D显示器通常具有较低的显示分辨率和有限的深度范围。更为致命的是,现有的相关产品不能很好的消除串扰现象,导致“画质差”,这是制约裸眼3D显示器的应用发展的主要原因。
因此,需要一种提供能够较好地消除串扰错误,并具备高分辨率和大深度范围的3D图像显示装置和方法来满足日益增长的需求。
发明内容
根据本发明的一方面,提供了一种三维图像显示装置,所述装置包括:深度层划分单元,用于将三维图像划分为多个深度层;像素确定单元,用于确定与每个深度层相应的不规则像素;三维图像产生单元,用于使用像素确定单元确定的与每个深度层相应的不规则像素,产生与每个深度层相应的三维图像;三维图像合成单元,用于将三维图像产生单元产生的三维图像合成为最终的三维显示图像。
所述深度层划分单元可使用深度剥离算法将三维图像划分为多个深度层。
可基于所述三维图像显示装置的光线方向调制装置的光学特性设置多个深度平面,所述像素确定单元可基于每个深度层所属的深度平面来确定与每个深度层相应的不规则像素。
所述三维图像显示装置还可包括:轮廓细节提取单元,用于从所述三维图像提取轮廓细节特征,并确定所述轮廓细节特征的频率方向和频率大小。像素确定单元可基于与每个深度层相应的轮廓细节的频率方向、与每个深度层相应的轮廓细节的频率大小和每个深度层所属的深度平面中的至少一个来确定与每个深度层相应的不规则像素。
所述三维图像产生单元可基于三维图像显示装置的多视角图像信息,使用所确定的与每个深度层相应的不规则像素来绘制多个多视角图像,并对绘制的所述多个多视角图像进行像素重排来产生与每个深度层相应的三维图像。
所述多视角图像信息包括视点的位置信息和视线张角大小信息中的至少一个。
所述三维图像合成单元可确定三维图像产生单元产生的与所述多个深度层分别相应的多个三维图像中的不同部分在深度方向上的前后位置关系,并按照所确定的前后位置关系,按照从后到前的覆盖顺序来合成所述多个三维图像,以形成最终的三维显示图像。
所述像素确定单元可从预设的多种不规则像素中为每个深度层选择至少一种不规则像素。
所述不规则像素可以是由多个相邻的规则像素或子像素组成的像素块。
所述不规则像素可具有与规则像素不同的形状或尺寸。
根据本发明的另一方面,提供了一种三维图像显示装置的三维图像显示方法,所述方法包括:将三维图像划分为多个深度层;确定与每个深度层相应的不规则像素;使用确定的与每个深度层相应的不规则像素,产生与每个深度层相应的三维图像;将产生的三维图像合成为最终的三维显示图像。
划分深度层的步骤可包括:使用深度剥离算法将三维图像划分为多个深度层。
可基于所述三维图像显示装置的光线方向调制装置的光学特性设置多个深度平面,确定不规则像素的步骤可基于每个深度层所属的深度平面来确定与每个深度层相应的不规则像素。
所述方法还可包括:从所述三维图像提取轮廓细节特征,并确定所述轮廓细节特征的频率方向和频率大小。确定不规则像素的步骤可基于与每个深度层相应的轮廓细节的频率方向、与每个深度层相应的轮廓细节的频率大小和每个深度层所属的深度平面中的至少一个来确定与每个深度层相应的不规则像素。
产生三维图像的步骤可包括:基于所述三维图像显示装置的多视角图像信息,使用所确定的与每个深度层相应的不规则像素来绘制多个多视角图像,并对绘制的所述多个多视角图像进行像素重排来产生与每个深度层相应的三维图像。
所述多视角图像信息可包括视点的位置信息和视线张角大小信息中的至少一个。
合成三维图像的步骤可包括:确定在产生三维图像的步骤中产生的与所述多个深度层分别相应的多个三维图像中的不同部分在深度方向上的前后位置关系,并按照所确定的前后位置关系,按照从后到前的覆盖顺序来合成所述多个三维图像,以形成最终的三维显示图像。
确定不规则像素的步骤可包括:从预设的多种不规则像素中为每个深度层选择至少一种不规则像素。
所述不规则像素可以是由多个相邻的规则像素或子像素组成的像素块。
所述不规则像素可具有与规则像素不同的形状或尺寸。
有益效果
通过使用根据本发明的示例性实施例的三维图像显示装置和方法,能够有效消除串扰错误,提高三维显示的感知分辨率,增大三维图像可显示的深度范围并加快三维图像的处理,同时降低三维图像显示装置的制造陈本。
附图说明
通过下面结合附图对本发明的示例性实施例进行的描述,本发明的上述和其他目的和特点将会变得更加清楚,其中:
图1是示出用于估计显示分辨率的调制传输频率的示意图;
图2是示出根据本发明的示例性实施例的三维图像显示装置的框图;
图3是示出根据本发明的示例性实施例的深度剥离的示例性结果的示意图;
图4是示出根据本发明的示例性实施例的不规则像素的示例;
图5是示出现有的三维图像显示与使用根据本发明的示例性实施例的三维图像显示装置产生的三维图像显示的对比的示意图;
图6是示出根据本发明的示例性实施例的通过使用不规则像素显示三维图像来减少串扰的原理图;
图7是示出根据本发明的示例性实施例的三维图像显示方法的流程图;
图8示出在根据本发明的示例性实施例的三维图像显示装置中采用不同不规则像素进行显示测试所获得的MTF值的曲线图;
图9示出对使用规则像素和使用不规则像素进行显示测试时所获得的MTF值进行对比分析的结果。
在附图中,相同的附图标号将被理解为是指相同的部件。
具体实施方式
提供以下参照附图进行的描述以帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。所述描述包括各种特定细节以帮助理解,但这些细节被认为仅是示例性的。因此,本领域的普通技术人员将认识到:在不脱离本发明的范围和精神的情况下,可对这里描述的实施例进行各种改变和修改。此外,为了清楚和简明,可省略已知功能和构造的描述。
图2是示出根据本发明的示例性实施例的三维图像显示装置100的框图。
如图2中所示,根据本发明的示例性实施例的三维图像显示装置100包括:深度层划分单元110、像素确定单元120、三维图像产生单元130和三维图像合成单元140。
深度层划分单元110可将待显示的三维图像划分为多个深度层。在本发明的示例性实施例中,深度层划分单元110可使用深度剥离算法来将待显示的三维图像划分为预定数量的多个深度层。
具体地讲,深度层划分单元110可首先将待显示的三维图像中的各个像素转换为片元(fragment),即,将具有水平方向的坐标值x和垂直方向的坐标值y的像素转换为具有水平方向的坐标值x、垂直方向的坐标值y和深度方向的坐标值z的像素(即,片元),其中,片元的深度方向的坐标值z是指与该片元对应的像素的深度值(以下,简称为片元的深度值)。然后,深度层划分单元110可基于每个片元的深度值对片元进行深度方向上的排序,并基于深度排序的结果和预设的深度层的层数来产生并输出多个深度层。例如,如果预先确定需要划分4个深度层,并且所述三维图像的最大深度值是4,最小深度值是-4,则可将深度值为2至4的片元划分到第一深度层,深度值为0至2的片元划分到第二深度层,深度值为-2至0的片元划分到第三深度层,深度值为-4至-2的片元划分到第四深度层,由此划分并输出多个深度层。应理解,深度层的数量以及每个深度层的深度范围不限于以上所列出的,而是可根据需要而具体设置,例如,对于以上示例,也可根据将深度值为3至4的片元划分到第一深度层,深度值为0至3的片元划分到第二深度层,深度值为-3至0的片元划分到第三深度层,深度值为-4至-3的片元划分到第四深度层。
图3是示出是示出根据本发明的示例性实施例的深度剥离的示例性结果的示意图。
如图3中所示,在使用深度层划分单元110对如图3(a)中所示的3D图像进行深度剥离之后,可形成如图3(b)中所示的多个深度层,每个深度层中可呈现3D对象图像的一部分。
应该理解,尽管在以上描述中,深度层划分单元110使用深度剥离算法来将待显示的三维图像划分为多个深度层,但本发明不限于此,还可使用其他各种方法来划分深度层,例如,还可使用显著性检测结果(saliencemap)方法来划分深度层。
返回到图2,像素确定单元120可确定与深度层划分单元110划分出的每个深度层相应的不规则像素。
仅作为一个示例,在本发明的示例性实施例中,可根据三维图像显示装置100的光线方向调制装置(例如,透镜阵列等)的光学特性设置多个深度平面(即,划分多个深度范围)。例如,可将图1中示出的中心深度平面设置为第一深度平面,将三维图像显示装置100的显示深度范围内除与中心深度平面相应的深度以外的深度所处平面设置为第二深度平面,并将三维图像显示装置100的显示深度范围以外的深度所处平面设置为第三深度平面。像素确定单元120可基于每个深度层的深度范围来确定其所属的深度平面,并基于每个深度层所属的深度平面来确定与每个深度层相应的不规则像素。
具体地讲,对于划分出的多个深度层中的某个深度层L。如果该深度层L属于上述第一深度平面(即,中心深度平面),则由于在该显示平面上,显示的图像具有最高的显示分辨率,因此可以以现有的规则像素显示与该深度层相应的三维图像部分。如果深度层L属于上述第二深度平面(即,三维图像显示装置100的显示深度范围内除与中心深度平面相应的深度以外的深度所处平面)或第三深度平面(即,三维图像显示装置100的显示深度范围以外的深度所处平面),则像素确定单元120可为深度层L确定相应的不规则像素。
图4是示出根据本发明的示例性实施例的不规则像素的示例。在本发明的示例性实施例中,所述不规则像素是由多个相邻的规则像素或子像素组成的像素块并与规则像素具有不同的形状或尺寸。仅作为示例,可预先设置多种不规则像素,像素确定单元120可从预设的多种不规则像素中为深度层L选择至少一种不规则像素,像素确定单元120可通过比较使用每种不规则像素来显示与深度层L相应的3D图像部分时的显示分辨率来确定将使用哪种不规则像素。可选择地,像素确定单元120也可通过比较使用所述预设多种不规则像素中的两种或更多种不规则像素的组合来显示与深度层L相应的3D图像部分时的显示分辨率来确定将使用哪些不规则像素。此外,像素确定单元120还可自行组合相邻规则像素或子像素来形成具有不同形状和尺寸的多个候选不规则像素,确定使用这些候选规则像素显示与深度层L相应的3D图像部分时的显示分辨率,并将显示分辨率最高时所使用的候选不规则像素确定为最终将使用的与深度层L相应的不规则像素。
以上描述了使用深度自适应方法来确定不规则像素(即,基于每个深度层所属的深度平面来确定与每个深度层相应的不规则像素)的示例,但本发明不限于此。优选地,在本发明的示例性实施例中,还可使用频率自适应方法来确定每个深度层的不规则像素,即,根据待显示的三维图像的频率特征(包括频率的方向和大小)来确定每个深度层的不规则像素。仅作为示例,所述三维图像显示装置100还可包括轮廓细节提取单元(未示出)来从待显示的三维图像提取轮廓细节特征,并确定所述轮廓细节特征的方向(即,频率方向)和频率大小。然后,像素确定单元120可基于与每个深度层相应的轮廓细节(即,与该深度层相应的像素所表现的轮廓细节)的方向以及与每个深度层相应的轮廓细节的频率大小中的至少一个来确定与每个深度层相应的不规则像素,使其在不同的频率方向上具有不同的宽度(例如,使像素宽度和频率大小成反比)。
应该理解,可使用本领域技术人员已知的各种方法(例如,多尺度Gabor滤波)提取三维图像中的轮廓细节,为了简明,在此将不再进行详细描述。
优选地,根据本发明的示例性实施例的像素确定单元120还可基于上述深度自适应方法和频率自适应方法两者来确定与每个深度层对应的不规则像素,也就是说,像素确定单元120可基于与每个深度层相应的轮廓细节的方向、与每个深度层相应的轮廓细节的频率大小和每个深度层所属的深度平面中的至少一个来确定与每个深度层相应的不规则像素。
此外,尽管在以上描述中,所划分的深度层和所设置的深度平面在深度范围上不一致,但应该理解,在其他实施例中,深度层划分单元110在划分深度层时也可使所划分的深度层和所设置的深度平面在深度范围上一致。
返回到图1,三维图像产生单元130可使用由像素确定单元120确定的与每个深度层相应的不规则像素,产生与每个深度层相应的三维图像。
具体地讲,所述三维图像产生单元130可基于三维图像显示装置100的多视角图像信息(包括视点的位置信息和视线张角大小信息中的至少一个并与三维图像显示装置100本身的硬件性能参数设置有关),使用所确定的与每个深度层相应的不规则像素来绘制多个多视角图像(每个多视角图像可对应于一个视点或视角位置),并对绘制的所述多个多视角图像进行像素重排来产生与每个深度层相应的三维图像。
绘制多视角图像并对绘制的多个多视角图像进行像素重排的方法对于本领域技术人员是已知的,因此为了简明,在此不再进行详细解释。
然后,三维图像合成单元140可将三维图像产生单元130产生的与所述多个深度层分别相应的多个三维图像合成为最终的三维显示图像。
具体地讲,所述三维图像合成单元140可首先确定三维图像产生单元130产生的与多个深度层分别相应的多个三维图像中的不同部分在深度方向上的前后位置关系,然后按照所确定的前后位置关系,按照从后到前的覆盖顺序来合成所述多个三维图像,以形成最终的三维显示图像。也就是说,在合成三维显示图像时,可从深度最深的深度层的三维图像开始进行合成,最终合成的三维显示图像中的每个位置的图像由用于合成所述三维显示图像的多个三维图像之中的在该位置具有最小深度的三维图像在该位置处的图像所确定。
图5是示出现有的三维图像显示与使用根据本发明的示例性实施例的三维图像显示装置100产生的三维图像显示的对比的示意图。图5(a)是使用现有技术的规则像素显示具有深度的三维图像的显示画面,图5(b)是使用根据本发明的示例性实施例的三维图像显示装置100显示同一三维图像的显示画面。如图5中所示,与传统的使用规则像素来显示三维图像的显示结果相比,根据本发明的示例性实施例的三维图像显示装置100产生的三维图像具有更高的显示分辨率,并且显示的深度范围也得到了较大的提高。
图6是示出根据本发明的示例性实施例的通过使用不规则像素显示三维图像来减少串扰的原理图。
图6中的左图是使用规则像素来显示三维图像的示意图,在传统的使用规则像素显示三维图像的显示装置中,由于硬件装置的设计上的限制,人眼可能观测到相邻两个像素的亮度,而这两个像素可能恰恰代表不同视角的图像,因此容易发生串扰现象。图6中的右图是使用根据本发明的示例性实施例的不规则像素显示三维图像的示例,在该图中,由于所使用的不规则像素的尺寸大于规则像素,因此在与图6的左图的相同位置处,人眼仅能观测到一个像素的亮度,因此不会发生串扰现象,由此可减少三维图像显示过程中的串扰现象的发生。
图7是示出根据本发明的示例性实施例的三维图像显示方法的流程图。
如图7中所示,在步骤710,可使用根据本发明的示例性实施例的三维图像显示装置100中的深度层划分单元110将待显示的将三维图像划分为多个深度层。在本发明的示例性实施例中,深度层划分单元110可使用深度剥离算法将三维图像划分为多个深度层。具体地讲,深度层划分单元110可首先将待显示的三维图像中的各个像素转换为片元(fragment),即,将具有水平方向的坐标值x和垂直方向的坐标值y的像素转换为具有水平方向的坐标值x、垂直方向的坐标值y和深度方向的坐标值z(即,所述像素的深度值)的像素(即,片元)。然后,深度层划分单元110可基于每个片元的深度值对片元进行深度方向上的排序,并基于深度排序的结果和预设的深度层的层数来产生并输出多个深度层。
然后,在步骤730,根据本发明的示例性实施例的三维图像显示装置100中的像素确定单元120可确定与深度层划分单元110所划分的每个深度层相应的不规则像素。所述不规则像素可以是由多个相邻的规则像素或子像素组成的像素块,并且可与规则像素具有不同的形状或尺寸。像素确定单元120可从预设的多种不规则像素中为每个深度层选择至少一种不规则像素。
仅作为示例,在本发明的示例性实施例中,可根据三维图像显示装置100的光线方向调制装置(例如,透镜阵列等)的光学特性设置多个深度平面,像素确定单元120可基于每个深度层所属的深度平面来确定与每个深度层相应的不规则像素。在前文中已详细描述了设置深度平面以及依据深度层所属的深度平面来确定不规则像素的方法,因此为了简明,在此将不再进行详细描述。
优选地,作为另一示例,在步骤730,所述像素确定单元120还可根据待显示的三维图像的频率特征(包括频率的方向和大小)来确定每个深度层的不规则像素。具体地讲,三维图像显示装置100还可包括轮廓细节提取单元(未示出)来从待显示的三维图像提取轮廓细节特征,并确定所述轮廓细节特征的方向(即,频率方向)和频率大小。然后,像素确定单元120可基于与每个深度层相应的轮廓细节(即,与该深度层相应的像素所表现的轮廓细节)的方向以及与每个深度层相应的轮廓细节的频率大小中的至少一个来确定与每个深度层相应的不规则像素。
优选地,像素确定单元120还可基于与每个深度层相应的轮廓细节的方向、与每个深度层相应的轮廓细节的频率大小和每个深度层所属的深度平面中的至少一个来确定与每个深度层相应的不规则像素。
在确定了与每个深度层相应的不规则像素之后,在步骤750,三维图像显示装置100中的三维图像产生单元130可使用在步骤730所确定的与每个深度层相应的不规则像素,产生与每个深度层相应的三维图像。
具体地讲,三维图像产生单元130可基于所述三维图像显示装置100的多视角图像信息,使用在步骤730确定的与每个深度层相应的不规则像素来绘制多个多视角图像,并对绘制的所述多个多视角图像进行像素重排来产生与每个深度层相应的三维图像。在本发明的示例性实施例中,所述多视角图像信息包括视点的位置信息和视线张角大小信息中的至少一个。
最后,在步骤770,所述三维图像显示装置100的三维图像合成单元140可将在步骤750中产生的三维图像合成为最终的三维显示图像。具体地讲,三维图像合成单元140可确定在步骤750中产生的与多个深度层分别相应的多个三维图像中的不同部分在深度方向上的前后位置关系,并按照所确定的前后位置关系,按照从后到前的覆盖顺序来合成所述多个三维图像,以形成最终的三维显示图像。
图8示出在根据本发明的示例性实施例的三维图像显示装置中采用不同不规则像素进行显示测试所获得的MTF值的曲线图。如图8中所示,图8中以符号示出的曲线是使用规则像素进行显示而获得的MTF值,其余符号示出的曲线是使用不规则像素进行显示而获得的MTF值。
从图8可看出不同形状的不规则像素对于MTF值的改善幅度是不同的,但基本上所有的不规则像素都能提高除CDP(即,与图8中MTF值最高处的深度对应的深度平面)以外的某些深度平面上的显示分辨率。
图9示出对使用规则像素和使用不规则像素进行显示测试时所获得的MTF值进行对比分析的结果。
在图9中,测试频率为0.097周期/mm。如图9中所示,随着离CDP(深度为10mm)越远,使用根据本发明的示例性实施例的不规则像素对于显示分辨率的改善也愈加明显。
因此,通过使用根据本发明的示例性实施例的三维图像显示装置和方法,能够有效消除串扰错误,提高三维显示的感知分辨率,增大三维图像可显示的深度范围并加快三维图像的处理,同时降低三维图像显示装置的制造成本。
本发明示例性实施例可实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储其后可由计算机***读出的数据的任意数据存储装置。计算机可读记录介质的示例包括:只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光数据存储装置和载波(诸如经有线或无线传输路径通过互联网的数据传输)。计算机可读记录介质也可分布于连接网络的计算机***,从而计算机可读代码以分布式存储和执行。此外,完成本发明的功能程序、代码和代码段可容易地被与本发明相关的领域的普通程序员在本发明的范围之内解释。
尽管已经参照其示例性实施例具体显示和描述了本发明,但是本领域的技术人员应该理解,在不脱离权利要求所限定的本发明的精神和范围的情况下,可以对其进行形式和细节上的各种改变。

Claims (20)

1.一种三维图像显示装置,所述装置包括:
深度层划分单元,用于将三维图像划分为多个深度层;
像素确定单元,用于确定与每个深度层相应的不规则像素;
三维图像产生单元,用于使用像素确定单元确定的与每个深度层相应的不规则像素,产生与每个深度层相应的三维图像;
三维图像合成单元,用于将三维图像产生单元产生的三维图像合成为最终的三维显示图像。
2.如权利要求1所述的三维图像显示装置,其中,所述深度层划分单元使用深度剥离算法将三维图像划分为多个深度层。
3.如权利要求1所述的三维图像显示装置,其中,基于所述三维图像显示装置的光线方向调制装置的光学特性设置多个深度平面,所述像素确定单元基于每个深度层所属的深度平面来确定与每个深度层相应的不规则像素。
4.如权利要求3所述的三维图像显示装置,其中,所述三维图像显示装置还包括:轮廓细节提取单元,用于从所述三维图像提取轮廓细节特征,并确定所述轮廓细节特征的频率方向和频率大小,
其中,像素确定单元基于与每个深度层相应的轮廓细节的频率方向、与每个深度层相应的轮廓细节的频率大小和每个深度层所属的深度平面中的至少一个来确定与每个深度层相应的不规则像素。
5.如权利要求1所述的三维图像显示装置,其中,所述三维图像产生单元基于三维图像显示装置的多视角图像信息,使用所确定的与每个深度层相应的不规则像素来绘制多个多视角图像,并对绘制的所述多个多视角图像进行像素重排来产生与每个深度层相应的三维图像。
6.如权利要求5所述的三维图像显示装置,其中,所述多视角图像信息包括视点的位置信息和视线张角大小信息中的至少一个。
7.如权利要求1所述的三维图像显示装置,其中,所述三维图像合成单元确定三维图像产生单元产生的与所述多个深度层分别相应的多个三维图像中的不同部分在深度方向上的前后位置关系,并按照所确定的前后位置关系,按照从后到前的覆盖顺序来合成所述多个三维图像,以形成最终的三维显示图像。
8.如权利要求1所述的三维图像显示装置,其中,所述像素确定单元从预设的多种不规则像素中为每个深度层选择至少一种不规则像素。
9.如权利要求1至8中的至少一项所述的三维图像显示装置,其中,所述不规则像素是由多个相邻的规则像素或子像素组成的像素块。
10.如权利要求9所述的三维图像显示装置,其中,所述不规则像素具有与规则像素不同的形状或尺寸。
11.一种三维图像显示装置的三维图像显示方法,所述方法包括:
将三维图像划分为多个深度层;
确定与每个深度层相应的不规则像素;
使用确定的与每个深度层相应的不规则像素,产生与每个深度层相应的三维图像;
将产生的三维图像合成为最终的三维显示图像。
12.如权利要求11所述的三维图像显示方法,其中,划分深度层的步骤包括:使用深度剥离算法将三维图像划分为多个深度层。
13.如权利要求11所述的三维图像显示方法,其中,基于所述三维图像显示装置的光线方向调制装置的光学特性设置多个深度平面,
其中,确定不规则像素的步骤包括:基于每个深度层所属的深度平面来确定与每个深度层相应的不规则像素。
14.如权利要求13所述的三维图像显示方法,其中,所述方法还包括:从所述三维图像提取轮廓细节特征,并确定所述轮廓细节特征的频率方向和频率大小,
其中,确定不规则像素的步骤包括:基于与每个深度层相应的轮廓细节的频率方向、与每个深度层相应的轮廓细节的频率大小和每个深度层所属的深度平面中的至少一个来确定与每个深度层相应的不规则像素。
15.如权利要求11所述的三维图像显示方法,其中,产生三维图像的步骤包括:
基于所述三维图像显示装置的多视角图像信息,使用所确定的与每个深度层相应的不规则像素来绘制多个多视角图像,并对绘制的所述多个多视角图像进行像素重排来产生与每个深度层相应的三维图像。
16.如权利要求15所述的三维图像显示方法,其中,所述多视角图像信息包括视点的位置信息和视线张角大小信息中的至少一个。
17.如权利要求11所述的三维图像显示方法,其中,合成三维图像的步骤包括:确定在产生三维图像的步骤中产生的与所述多个深度层分别相应的多个三维图像中的不同部分在深度方向上的前后位置关系,并按照所确定的前后位置关系,按照从后到前的覆盖顺序来合成所述多个三维图像,以形成最终的三维显示图像。
18.如权利要求11所述的三维图像显示方法,其中,确定不规则像素的步骤包括:从预设的多种不规则像素中为每个深度层选择至少一种不规则像素。
19.如权利要求11至18中的至少一项所述的三维图像显示方法,其中,所述不规则像素是由多个相邻的规则像素或子像素组成的像素块。
20.如权利要求19所述的三维图像显示方法,其中,所述不规则像素具有与规则像素不同的形状或尺寸。
CN201410338749.7A 2014-07-16 2014-07-16 三维图像显示装置和方法 Active CN105323573B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410338749.7A CN105323573B (zh) 2014-07-16 2014-07-16 三维图像显示装置和方法
KR1020150061078A KR102325296B1 (ko) 2014-07-16 2015-04-30 3d 영상 디스플레이 장치 및 방법
US15/326,594 US10666933B2 (en) 2014-07-16 2015-05-14 3D image display device and method
PCT/KR2015/004822 WO2016010246A1 (ko) 2014-07-16 2015-05-14 3d 영상 디스플레이 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410338749.7A CN105323573B (zh) 2014-07-16 2014-07-16 三维图像显示装置和方法

Publications (2)

Publication Number Publication Date
CN105323573A true CN105323573A (zh) 2016-02-10
CN105323573B CN105323573B (zh) 2019-02-05

Family

ID=55250050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410338749.7A Active CN105323573B (zh) 2014-07-16 2014-07-16 三维图像显示装置和方法

Country Status (3)

Country Link
US (1) US10666933B2 (zh)
KR (1) KR102325296B1 (zh)
CN (1) CN105323573B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015357A (zh) * 2020-08-12 2020-12-01 浙江迅实科技有限公司 一种3d立体画的制作方法及其产品
CN112180618A (zh) * 2019-06-12 2021-01-05 上海麦界信息技术有限公司 立体光场显示装置
WO2021197370A1 (zh) * 2020-03-31 2021-10-07 京东方科技集团股份有限公司 一种光场显示方法及***、存储介质和显示面板

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3107673A1 (en) * 2018-07-30 2020-02-06 Xenselab Llc System and methods for x-ray imaging and a contrast agent
WO2020246642A1 (ko) * 2019-06-07 2020-12-10 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN112929636A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 3d显示设备、3d图像显示方法
KR102550216B1 (ko) 2022-07-20 2023-06-29 남세엔터테인먼트 유한회사 영상 처리 장치, 서버, 영상 처리 시스템, 영상 처리 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101939998A (zh) * 2008-02-08 2011-01-05 皇家飞利浦电子股份有限公司 自动立体显示器件
CN102197415A (zh) * 2008-10-21 2011-09-21 皇家飞利浦电子股份有限公司 用于提供场景的分层深度模型的方法和装置
WO2011121437A1 (en) * 2010-03-31 2011-10-06 Thomson Licensing 3d disparity maps
CN103348360A (zh) * 2011-01-07 2013-10-09 索尼电脑娱乐美国公司 二维图像的再投影的形态学反混叠(mlaa)
CN103747229A (zh) * 2014-01-27 2014-04-23 电子科技大学 三维视频虚拟视点合成中彩色混叠及阴影部分的处理方法
US20140118507A1 (en) * 2012-10-26 2014-05-01 Korea Advanced Institute Of Science And Technology Apparatus and method for depth manipulation of stereoscopic 3d image

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856314B2 (en) * 2002-04-18 2005-02-15 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
SE525665C2 (sv) 2003-05-08 2005-03-29 Forskarpatent I Syd Ab Matris av pixlar samt elektronisk bildanordning innefattande nämnda matris av pixlar
US7330528B2 (en) * 2003-08-19 2008-02-12 Agilent Technologies, Inc. System and method for parallel image reconstruction of multiple depth layers of an object under inspection from radiographic images
EP3480649B1 (en) 2007-02-13 2021-08-25 Samsung Display Co., Ltd. Subpixel layouts and subpixel rendering methods for directional displays and systems
TW201005673A (en) 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
WO2010048632A1 (en) 2008-10-24 2010-04-29 Real D Stereoscopic image format with depth information
KR101239058B1 (ko) 2008-11-08 2013-03-05 쓰리디원 주식회사 원거리용 무안경방식 입체영상 디스플레이 장치
DE102009009443B3 (de) 2009-02-14 2010-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Monitor und Verfahren zum Darstellen autostereoskopisch wahrnehmbarer Bilder
EP2490451A1 (en) 2011-02-18 2012-08-22 Koninklijke Philips Electronics N.V. Autostereoscopic display device
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
KR101220098B1 (ko) 2011-05-12 2013-01-11 한국항공대학교산학협력단 저전력 단말을 위한 3차원 입체영상 변환 시스템 및 그 방법
KR101960844B1 (ko) * 2011-11-01 2019-03-22 삼성전자주식회사 영상 처리 장치 및 방법
KR20130060598A (ko) 2011-11-30 2013-06-10 삼성디스플레이 주식회사 입체 영상 표시 장치
JP5167439B1 (ja) 2012-02-15 2013-03-21 パナソニック株式会社 立体画像表示装置及び立体画像表示方法
KR101885088B1 (ko) 2012-11-22 2018-08-06 삼성전자주식회사 깊이 영상을 이용한 컬러 영상 처리 장치 및 방법
US9137524B2 (en) * 2012-11-27 2015-09-15 Qualcomm Incorporated System and method for generating 3-D plenoptic video images
KR20140089860A (ko) 2013-01-07 2014-07-16 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
US9368070B2 (en) * 2013-10-07 2016-06-14 Google Inc. Variable resolution seamless tileable display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101939998A (zh) * 2008-02-08 2011-01-05 皇家飞利浦电子股份有限公司 自动立体显示器件
CN102197415A (zh) * 2008-10-21 2011-09-21 皇家飞利浦电子股份有限公司 用于提供场景的分层深度模型的方法和装置
WO2011121437A1 (en) * 2010-03-31 2011-10-06 Thomson Licensing 3d disparity maps
CN103348360A (zh) * 2011-01-07 2013-10-09 索尼电脑娱乐美国公司 二维图像的再投影的形态学反混叠(mlaa)
US20140118507A1 (en) * 2012-10-26 2014-05-01 Korea Advanced Institute Of Science And Technology Apparatus and method for depth manipulation of stereoscopic 3d image
CN103747229A (zh) * 2014-01-27 2014-04-23 电子科技大学 三维视频虚拟视点合成中彩色混叠及阴影部分的处理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112180618A (zh) * 2019-06-12 2021-01-05 上海麦界信息技术有限公司 立体光场显示装置
CN112180618B (zh) * 2019-06-12 2023-05-12 上海麦界信息技术有限公司 立体光场显示装置
WO2021197370A1 (zh) * 2020-03-31 2021-10-07 京东方科技集团股份有限公司 一种光场显示方法及***、存储介质和显示面板
US11825064B2 (en) 2020-03-31 2023-11-21 Boe Technology Group Co., Ltd. Light field display method and system, storage medium and display panel
CN112015357A (zh) * 2020-08-12 2020-12-01 浙江迅实科技有限公司 一种3d立体画的制作方法及其产品
CN112015357B (zh) * 2020-08-12 2023-05-05 浙江迅实科技有限公司 一种3d立体画的制作方法及其产品

Also Published As

Publication number Publication date
US10666933B2 (en) 2020-05-26
KR102325296B1 (ko) 2021-11-11
KR20160009487A (ko) 2016-01-26
CN105323573B (zh) 2019-02-05
US20170208323A1 (en) 2017-07-20

Similar Documents

Publication Publication Date Title
CN105323573A (zh) 三维图像显示装置和方法
CN103945208B (zh) 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法
CN102695064B (zh) 即时立体影像产生装置与方法
CN103096106B (zh) 图像处理设备和方法
JP6147275B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
CN103348360B (zh) 二维图像的再投影的形态学反混叠(mlaa)
US10229528B2 (en) Method for visualizing three-dimensional images on a 3D display device and 3D display device
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
JPWO2012176431A1 (ja) 多視点画像生成装置、多視点画像生成方法
CN105144234A (zh) 使用与示例相似图像相关联的示例近似深度映射图对输入图像生成深度映射图
CN102972038A (zh) 图像处理装置、图像处理方法、程序、集成电路
JP2014078095A (ja) 画像処理装置、画像処理方法、及びプログラム
CN104581141A (zh) 一种立体图像视觉舒适度评价方法
US20120176367A1 (en) Morphological anti-aliasing (mlaa) of a re-projection of a two-dimensional image
CN103106652A (zh) 图像处理设备、图像处理方法和程序
CN104980733A (zh) 一种裸眼3d显示器的串扰测试方法及其测试图像
CN107483912B (zh) 一种基于浮点型柱状透镜光栅的多视点图像融合方法
CN105120252A (zh) 一种面向虚拟多视点绘制的深度感知增强方法
CN103916661A (zh) 显示方法和显示设备
Dąbała et al. Manipulating refractive and reflective binocular disparity
CN103728729B (zh) 一种裸眼三维显示器
US8817081B2 (en) Image processing apparatus, image processing method, and program
CN112862968B (zh) 目标植被模型的渲染显示方法、装置、设备及存储介质
CN102780900A (zh) 一种多人多视角立体显示器影像显示方法
CN104809137B (zh) 一种二维页面的三维网页制作方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant