CN104519333A - 基于眼睛位置的分层显示方案的图像产生设备和显示装置 - Google Patents

基于眼睛位置的分层显示方案的图像产生设备和显示装置 Download PDF

Info

Publication number
CN104519333A
CN104519333A CN201410453046.9A CN201410453046A CN104519333A CN 104519333 A CN104519333 A CN 104519333A CN 201410453046 A CN201410453046 A CN 201410453046A CN 104519333 A CN104519333 A CN 104519333A
Authority
CN
China
Prior art keywords
pixel
image
layer
eyes
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410453046.9A
Other languages
English (en)
Inventor
朴柱容
南东暻
李硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR20130132712A external-priority patent/KR20150039060A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104519333A publication Critical patent/CN104519333A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供一种基于眼睛位置的分层显示方案的图像产生设备和显示装置,其中,所述图像产生设备可基于与基于用户眼睛位置匹配的像素相关的信息来产生三维(3D)图像的层图像。

Description

基于眼睛位置的分层显示方案的图像产生设备和显示装置
本申请要求于2013年9月30日提交到韩国知识产权局的第10-2013-0116425号韩国专利申请和于2013年11月4日提交到韩国知识产权局的第10-2013-0132712号韩国专利申请的优先权权益,所述专利申请的公开通过引用合并于此。
技术领域
以下描述的示例实施例涉及一种产生图像以显示三维(3D)图像的方案及3D图像显示装置。
背景技术
在与三维(3D)图像识别相关的因素中,首要因素是通过用户的两眼观看的图像之间的差距(disparity)。将不同图像提供给用户的两眼的方法可被分类为立体型和自动立体型。立体型方法可通过利用偏振光的划分、分时和用于区分原色的波长的波分对期望图像进行滤波。自动立体型方法可使用视差屏障或柱状透镜使图像能够仅在预定空间内被观看。
自动立体型方法可缓解佩戴眼镜的不便。然而,在自动立体型方法中,大量的视图可用于拓宽观看区域,图像质量会由于视图之间的串扰而劣化,并且图像质量还会在确定的最佳观看距离之外的位置处显著地劣化。
发明内容
可补充分辨率减小的一个解决方案可以是分层显示器,其中,所述分辨率减小与期望表现的光的方向的数量成比例地发生。分层显示器可使用至少两个显示面板基于观看位置表现不同信息。分层显示器可根据上层面板的分辨率的最大水平显示具有较小深度的图像。分层显示器可表示如下***,所述***可包括至少两层面板而不包括透镜或屏障,并沿不同方向表现不同信号。然而,随着期望显示的图像的数量增加,用于产生图像的计算复杂性会增加。
以下描述可通过跟踪眼睛的位置并在有限数量的位置处显示期望图像来实现3D图像,同时保持分层显示器在显示图像方面的优点,并且限制关于表现视图或方向的数量方面的计算复杂性的增加。以下描述可同时解决传统方法中的分辨率的劣化和新方法中的计算复杂性的增加。
以下描述涉及自动立体三维(3D)显示器中的有利于分辨率表现的分层显示器。分层显示器可使用眼睛跟踪在期望位置处显示期望图像,从而减小操作复杂性,使得分层显示器可被更加有效地利用。为了显示不受限的各种方向的图像,操作复杂性会增加。当不能表现各种方向的信息时,可采用使期望表现的信息和将被表现的信息之间的差异最小化的方法。在此示例中,差异的概率可增加,因此图像的质量可下降。这里,通过将期望显示图像的位置极端地限制到眼睛的位置,操作复杂性可减小,并且期望表现的值和将被观察到的值之间的差可减小,由此可显示高质量图像。另外,通过选择适合于眼睛位置的期望显示的图像,可向观看者提供与在3D空间中的预定位置存在的实际对象类似的真实体验。因为可基于观看者的数量调整在空间中期望表现的位置的数量,所以当获得多个观看者的眼睛的位置时可相应地显示图像。
通过提供一种图像产生设备来实现前述和/或其他方面,所述图像产生设备包括:接收器,接收用户眼睛的位置;匹配单元,基于眼睛的位置对包括在多个层中的多个像素进行匹配;产生器,基于与匹配的像素相关的信息来产生所述多个层的多个层图像。所述多个层可被构造为显示三维(3D)图像。
匹配单元可通过基于眼睛的位置从所述多个层中的每个层选择至少一个像素来产生匹配信息。匹配单元可对位于从光发射器发射的光到达用户眼睛的路径上的像素进行匹配。
与匹配的像素相关的信息可包括第一匹配信息和第二匹配信息。匹配单元可基于用户左眼的位置产生第一匹配信息,基于用户右眼的位置产生第二匹配信息。
所述设备还可包括:图像接收器,接收与用户左眼的位置相应的第一图像和与用户右眼的位置相应的第二图像。产生器可基于第一图像、第二图像和与匹配的像素相关的信息来产生所述多个层图像。所述设备还可包括:图像确定器,基于眼睛的位置确定第一图像和第二图像。
匹配单元可对位于如下路径上的像素进行匹配,其中,沿着该路径,从光发射器发射的光穿过在所述多个层中的一个层中包括的像素的中心并到达用户眼睛。匹配单元可对位于如下路径上的像素进行匹配,其中,沿着该路径,从光发射器发射的光穿过在所述多个层中的一个层中包括的像素的边界之间的内部区域并到达用户眼睛。匹配单元可对位于如下路径上的像素进行匹配,其中,沿着该路径,从光发射器发射的光穿过布置在所述多个层之间的透镜并到达用户眼睛。所述透镜可被布置在与透镜相邻的两个层之中的与更接近光发射器的层分开透镜的焦距的位置处。
产生器可产生所述多个层图像,以使期望显示在眼睛位置处的图像与基于与匹配的像素相关的信息和所述多个层图像将显示在眼睛位置处的图像之间的差异最小化。
产生器可基于包括所述多个层的分层显示器的类型来产生所述多个层图像。分层显示器的类型可包括用于控制层的透射率的第一类型和用于控制层的偏振旋转度的第二类型。
用户眼睛的位置可包括关于多个用户的多个眼睛的位置。匹配单元可基于所述多个眼睛的位置对所述多个像素进行匹配。产生器可产生层图像以将3D图像提供给所述多个用户中的每个用户。
匹配单元可通过基于眼睛的位置在所述多个层中的每个层中选择同一类型的子像素来产生匹配信息。
通过提供一种显示装置来实现前述和/或其他方面,所述显示装置包括:多个面板,被构造为显示3D图像;获得器,获得与目标位置相应的匹配信息,所述匹配信息包括与属于不同面板的匹配像素相关的信息;控制器,基于所述匹配信息,控制所述多个面板以使3D图像显示在目标位置处。所述匹配信息可包括与位于从光发射器发射的光到达目标位置的路径上的匹配像素相关的信息。
所述装置还可包括:传感器,感测目标位置。传感器可包括使用多个视觉传感器的第一传感器和使用视觉传感器和深度传感器的第二传感器中的至少一个。
所述多个面板可包括以下项中的至少一个:第一面板,在与该面板相应的层上使光的亮度衰减;第二面板,在与该面板相应的层上旋转光的偏振方向。
控制器可确定与所述多个面板相应的多个层图像,以使期望显示在目标位置处的图像与基于匹配信息和所述多个面板将显示在目标位置处的图像之间的差异最小化。
所述装置还可包括:透镜,布置在所述多个面板之间。透镜可被布置在与透镜相邻的两个面板之中的与更接近光发射器的面板分开透镜的焦距的位置处。透镜可将光的方向限制到预定区域。
通过提供一种图像产生方法来实现前述和/或其他方面,所述图像产生方法包括:获得关于用户眼睛位置的信息;基于关于眼睛位置的信息,获得属于不同层的像素之间的匹配信息;基于关于眼睛位置的信息,获取期望显示的图像;基于匹配信息和获取的图像,产生与多个层相应的多个层图像。
所述方法还可包括:将所述多个层图像中的每个层图像应用于相应层。
示例实施例的另外方面将在下面的描述中被部分阐述,并且部分将从描述中是显然的,或者可通过本公开的实践而得知。
附图说明
从下面结合附图进行的对示例实施例的描述,这些和/或其他方面将变得清楚和更易于理解,其中:
图1示出根据示例实施例的用于在用户眼睛的位置处显示三维(3D)图像的显示装置;
图2A和图2B示出根据示例实施例的图像产生设备;
图3至图6示出根据示例实施例的在分层显示器中匹配像素的示例;
图7A和图7B示出根据示例实施例的穿过透镜的光的路径;
图8和图9示出根据示例实施例的在包括透镜的分层显示器中匹配像素的示例;
图10A和图10B示出根据示例实施例的显示装置;以及
图11A和图11B示出根据示例实施例的图像产生方法。
具体实施方式
现在将详细参照实施例,实施例的示例在附图中示出,其中,相同的参考标号始终表示相同的元件。下面通过参照附图描述示例实施例以解释本公开。
图1示出根据示例实施例的用于在用户眼睛的位置处显示三维(3D)图像的显示装置。
参照图1,显示装置可包括多个层110和120。显示装置可使用多个层110和120通过区分将被用户的左眼141识别的光与将被右眼142识别的光来显示3D图像。下文中,将详细地描述在显示装置中使用多个层110和120显示3D图像的方法。
可跟踪用户的左眼141和右眼142的位置。为了利用双眼视差显示3D图像,应当在左眼141和右眼142处再现不同的图像。显示装置可使用分层显示器在左眼141和右眼142处再现不同的图像。例如,为了在左眼141和右眼142处显示不同的图像,可产生将被显示在第一层120上的第一图像和将被显示在第二层110上的第二图像。
在多个用户的情况下,可跟踪多个用户的眼睛的位置。在此示例中,显示装置可产生将被显示在第一层120上的第一图像和将被显示在第二层110上的第二图像,从而可分别在第一用户的左眼、第一用户的右眼、第二用户的左眼和第二用户的右眼处再现期望的不同的图像。
当产生将被显示在第一层120上的第一图像和将被显示在第二层110上的第二图像时,显示装置不在除了跟踪的用户眼睛的位置之外的位置处再现图像。换言之,显示装置仅再现与跟踪的用户眼睛的位置相应的图像。因此,可减小计算复杂性。此外,本公开不限于使用两个层的情况。当使用至少三个层时,可显示更精确的3D图像。
多个层110和120中的每个层可包括各种类型的显示面板。例如,多个层110和120可包括被构造为控制通过光的透射率的显示面板。显示面板可控制通过光的透射率,从而表现颜色。由光发射器130发射的光可对应于具有红色(R)、绿色(G)和蓝色(B)属性的白光。显示面板可分别控制R属性的透射率、G属性的透射率和B属性的透射率。显示面板可包括多个像素,并控制穿过每个像素的光的R属性的透射率、G属性的透射率和B属性的透射率。多个像素中的每个像素可包括被构造为控制R属性的透射率的R子像素、被构造为控制G属性的透射率的G子像素和被构造为控制B属性的透射率的B子像素。多个像素中的每个像素可使用R属性的透射率、G属性的透射率和B属性的透射率的组合来表现白光。然而,多个像素中的每个像素还可包括被构造为控制白色(W)属性的透射率的单独的W子像素。
因为左眼141和右眼142在空间上分开,所以由光发射器130发射的光可沿不同路径到达左眼141和右眼142。例如,穿过包括在第一层120中的像素121的光可穿过包括在第二层110中的像素111,到达左眼141。穿过包括在第一层120中的像素121的光可穿过包括在第二层110中的像素114,到达右眼142。在此示例中,可基于包括在第一层120中的像素121的透射率和包括在第二层110中的像素111的透射率的组合来确定在左眼141的位置处识别的光。可基于包括在第一层120中的像素121的透射率和包括在第二层110中的像素114的透射率的组合来确定在右眼142的位置处识别的光。
显示装置可控制包括在第一层120中的像素121、包括在第二层110中的像素111和包括在第二层110中的像素114以区分将在左眼141的位置显示的图像和将在右眼142的位置显示的图像。例如,针对包括在第一层120中的像素121,显示装置可控制R属性的透射率为0.9,G属性的透射率为0.6,B属性的透射率为0.5。针对包括在第二层110中的像素111,显示装置可控制R属性的透射率为0.1,G属性的透射率为0.5,B属性的透射率为0.8。针对包括在第二层110中的像素114,显示装置可控制R属性的透射率为0.9,G属性的透射率为0.1,B属性的透射率为0.5。
在此示例中,可基于针对位于路径上的像素121和111的R属性的透射率的组合、G属性的透射率的组合和B属性的透射率的组合来确定到达左眼141的位置的光的颜色。可基于透射率的乘积计算透射率的组合。例如,到达左眼141的位置的光的R属性可被表现为与像素121的R属性的透射率0.9和像素111的R属性的透射率0.1的乘积相应的0.09。到达左眼141的位置的光的G属性可被表现为与像素121的G属性的透射率0.6和像素111的G属性的透射率0.5的乘积相应的0.30。到达左眼141的位置的光的B属性可被表现为与像素121的B属性的透射率0.5和像素111的B属性的透射率0.8的乘积相应的0.40。
类似地,因为到达右眼142的位置的光可穿过包括在第一层120中的像素121和包括在第二层110中的像素114,所以可基于相对于位于路径上的像素121和114的R属性的透射率的组合、G属性的透射率的组合和B属性的透射率的组合来确定到达右眼142的位置的光的颜色。可基于透射率的乘积计算透射率的组合。例如,到达右眼142的位置的光的R属性可被表现为与像素121的R属性的透射率0.9和像素114的R属性的透射率0.9的乘积相应的0.81。到达右眼142的位置的光的G属性可被表现为与像素121的G属性的透射率0.6和像素114的G属性的透射率0.1的乘积相应的0.06。到达右眼142的位置的光的B属性可被表现为与像素121的B属性的透射率0.5和像素114的B属性的透射率0.5的乘积相应的0.25。
具有RGB属性的透射率(0.09,0.30,0.40)的光可到达左眼141的位置,具有RGB属性的透射率(0.81,0.06,0.25)的光可到达右眼142的位置。因此,显示装置可利用到达用户的两眼的图像之间的差异将3D图像提供给用户。
在示例实施例中,多个层110和120可包括被构造为控制穿过多个层110和120的光的偏振旋转度的显示面板。显示面板可控制穿过多个层110和120的光的偏振旋转度,从而表现颜色。显示面板可分别控制R属性的偏振旋转度、G属性的偏振旋转度和B属性的偏振旋转度。显示面板可包括多个像素,并控制穿过每个像素的光的R属性的偏振旋转度、G属性的偏振旋转度和B属性的偏振旋转度。多个像素中的每个像素可包括被构造为控制R属性的偏振旋转度的R子像素、被构造为控制G属性的偏振旋转度的G子像素和被构造为控制B属性的偏振旋转度的B子像素。多个像素中的每个像素可通过R属性的偏振旋转度、G属性的偏振旋转度和B属性的偏振旋转度的组合来表现白光。然而,多个像素中的每个像素还可包括被构造为控制W属性的偏振旋转度的单独的W子像素。
显示装置可控制包括在第一层120中的像素121、包括在第二层110中的像素111和包括在第二层110中的像素114以区分将在左眼141的位置处显示的图像和将在右眼142的位置处显示的图像。例如,针对包括在第一层120中的像素121,显示装置可控制R属性的偏振旋转度为80°,G属性的偏振旋转度为45°,B属性的偏振旋转度为30°。针对包括在第二层110中的像素111,显示装置可控制R属性的偏振旋转度为5°,G属性的偏振旋转度为15°,B属性的偏振旋转度为30°。针对包括在第二层110中的像素114,显示装置可控制R属性的偏振旋转度为10°,G属性的偏振旋转度为5°,B属性的偏振旋转度为50°。
在此示例中,可基于针对位于路径上的像素121和111的R属性的偏振旋转度的组合、G属性的偏振旋转度的组合和B属性的偏振旋转度的组合来确定到达左眼141的位置的光的颜色。可基于偏振旋转度之和来计算偏振旋转度的组合。例如,到达左眼141的位置的光的R属性可被表现为与像素121的R属性的偏振旋转度80°和像素111的R属性的偏振旋转度5°之和相应的85°。到达左眼141的位置的光的G属性可被表现为与像素121的G属性的偏振旋转度45°和像素111的G属性的偏振旋转度15°之和相应的60°。到达左眼141的位置的光的B属性可被表现为与像素121的B属性的偏振旋转度30°和像素111的B属性的偏振旋转度30°之和相应的60°。
类似地,因为到达右眼142的位置的光可穿过包括在第一层120中的像素121和包括在第二层110中的像素114,所以可基于针对位于路径上的像素121和114的R属性的偏振旋转度的组合、G属性的偏振旋转度的组合和B属性的偏振旋转度的组合来确定到达右眼142的位置的光的颜色。可基于偏振旋转度之和来计算偏振旋转度的组合。例如,到达右眼142的位置的光的R属性可被表现为与像素121的R属性的偏振旋转度80°和像素114的R属性的偏振旋转度10°之和相应的90°。到达右眼142的位置的光的G属性可被表现为与像素121的G属性的偏振旋转度45°和像素114的G属性的偏振旋转度5°之和相应的50°。到达右眼142的位置的光的B属性可被表现为与像素121的B属性的偏振旋转度30°和像素114的B属性的偏振旋转度50°之和相应的80°。
具有RGB属性的偏振旋转度(85°,60°,60°)的光可到达左眼141的位置,具有RGB属性的偏振旋转度(90°,50°,80°)的光可到达右眼142的位置。因此,显示装置可利用到达用户的两眼的图像之间的差异将3D图像提供给用户。
显示装置可控制图像被显示在多个层110和120上,从而显示3D图像。下文中,显示在多个层110和120上的图像可被称为层图像。关于第一层120的第一层图像可包括用于控制包括在第一层120中的多个像素121、122和123中的每个像素的信息。例如,第一层图像可包括用于控制包括在第一层120中的多个像素121、122和123中的每个像素的透射率和/或偏振旋转度的信息。另外,关于第二层110的第二层图像可包括用于控制包括在第二层110中的多个像素111、112、113、114、115和116中的每个像素的信息。例如,第二层图像可包括用于控制包括在第二层110中的多个像素111、112、113、114、115和116中的每个像素的透射率和/或偏振旋转度的信息。
显示装置可使用多个显示面板提供使不同图像能够根据用户两眼的位置被观察的技术。因此,显示装置可防止分辨率与将被表现的光束方向的数量成比例地减小。显示装置可基于图像的深度显示最大面板分辨率水平的图像。
虽然在附图中未示出,但是显示装置可使用至少三个层将3D图像提供给用户。显示装置可产生层图像以控制所述至少三个层。
显示装置可基于关于用户眼睛位置的信息降低为产生层图像所执行的操作的复杂性。显示装置可从被构造为跟踪用户眼睛位置的传感器接收关于用户眼睛位置的信息,并基于接收的信息产生层图像。在此示例中,提供3D图像的服务区域的大小可减小到被估计作为用户眼睛位置的区域的大小。显示装置可在被估计作为用户眼睛位置的区域中显示3D图像,因此,产生层图像所执行的操作的复杂性可减小。显示装置可在提供高分辨率3D图像的同时提供要求低操作复杂性的技术。
显示装置可基于关于多个用户的眼睛位置的信息将3D图像提供给多个用户。在3D图像被提供给多个用户的情况下,提供3D图像的服务区域的大小可仍然减小到被估计作为每个用户的眼睛位置的区域的大小。因此,产生层图像所执行的操作的复杂性可减小。将参照图2A至图11B详细地描述基于关于用户眼睛位置的信息产生多个层图像的方法。
图2A和图2B示出根据示例实施例的图像产生设备200。
参照图2A,图像产生设备200可包括接收器210、匹配单元220和产生器230。接收器210可接收用户眼睛的位置。可使用3D空间中的坐标表示用户眼睛的位置,并且用户眼睛的位置可包括用户两眼的位置。接收器210可接收多个用户的眼睛的位置。
接收器210可从被构造为跟踪用户眼睛位置的传感器(未示出)接收用户眼睛的位置。接收器210可以以有线或无线方式连接到传感器。可使用各种方案来实现被构造为跟踪用户眼睛位置的传感器。例如,传感器可使用多个视觉传感器跟踪用户眼睛的位置。传感器可分析由多个视觉传感器中的每个视觉传感器拍摄的图像以跟踪用户眼睛在3D空间中的位置。在示例中,传感器可使用视觉传感器和深度传感器跟踪用户眼睛的位置。传感器可通过将由视觉传感器拍摄的图像与使用深度传感器拍摄的图像进行组合来跟踪3D空间中用户眼睛的位置。在示例中,传感器可使用单个视觉传感器并基于预先提供的关于眼睛之间的距离的信息来跟踪用户眼睛的位置。传感器可通过将由视觉传感器拍摄的图像与预先提供的关于眼睛之间的距离的信息进行组合来跟踪用户眼睛在3D空间中的位置。
匹配单元220可基于接收的眼睛的位置来匹配包括在多个层中的多个像素。匹配单元220可产生用户两眼中的每只眼睛的匹配信息。例如,匹配单元220可接收左眼141的位置,并基于由光发射器130发射的光到达左眼141所沿的路径对包括在第一层120中的像素121与包括在第二层110中的像素111进行匹配。类似地,匹配单元220可对包括在第一层120中的像素122与包括在第二层110中的像素112进行匹配。匹配单元220可对包括在第一层120中的像素123与包括在第二层110中的像素113进行匹配。匹配单元220可接收右眼142的位置,并基于由光发射器130发射的光到达右眼142所沿的路径对包括在第一层120中的像素121与包括在第二层110中的像素114进行匹配。匹配单元220可对包括在第一层120中的像素122与包括在第二层110中的像素115进行匹配,并对包括在第一层120中的像素123与包括在第二层110中的像素116进行匹配。匹配单元220可如表1中所示以表格的形式存储匹配信息。
[表1]
匹配单元220可使用各种方案来对属于不同层的像素进行匹配。例如,匹配单元220可将多个层中的一个层确定为参考层。匹配单元220可分别对包括在参考层中的多个像素与包括在其他层中的像素进行匹配。匹配单元220可将与用户眼睛位置最接近的最上层确定为参考层,或者将与光发射器最接近的最下层确定为参考层。在示例中,匹配单元220可对包括在每个像素中的子像素进行匹配。在此示例中,匹配单元220可对相同类型的子像素进行匹配。将参照图3至图9详细地描述通过匹配单元220对属于不同层的像素进行匹配的方案。
产生器230可基于匹配信息产生多个层图像。产生器230可接收期望显示在用户眼睛位置处的图像。期望显示在用户眼睛位置处的图像可包括期望显示在用户左眼处的图像和期望显示在用户右眼处的图像。产生器230可基于关于用户两眼的匹配信息和关于期望表现在两眼位置处的图像的信息,来计算多个层图像。
包括在匹配信息中的多个匹配元组可重复地包括相同像素。因此,可能在期望显示在用户眼睛位置处的图像和通过多个层实际显示在用户眼睛位置处的图像之间存在差异。
参照表1,匹配信息可包括匹配元组{像素121,像素111}、{像素122,像素112}、{像素123,像素113}、{像素121,像素114}、{像素122,像素115}和{像素123,像素116}。虽然将通过匹配元组{像素121,像素111}显示的图像可能不同于将通过匹配元组{像素121,像素114}显示的图像,但是将通过匹配元组{像素121,像素111}显示的图像和将通过匹配元组{像素121,像素114}显示的图像二者可使用像素121。匹配信息还可包括包含像素121的其他匹配元组。另外,除了像素121之外的像素也可被多个匹配元组共同使用。因此,由于匹配关系的内在的连锁效应,会难以计算将用于显示被期望原封不动地显示在用户眼睛位置处的图像的层图像。
产生器230可产生多个层图像,以使通过多个层实际显示在眼睛位置处的图像和期望显示在眼睛位置处的图像之间的差异最小化。多个层图像和期望显示在用户眼睛位置处的图像之间的关系可由等式1表示。
[等式1]
Lactual=f(X1,...,XN,W)
在等式1中,Lactual表示实际显示在用户眼睛位置处的图像,XN表示关于第N层的层图像,W表示匹配信息。将实际显示在用户眼睛位置处的图像可对应于与匹配信息和N个层图像相关的函数。
产生器230可使用等式2计算N个层图像。
[等式2]
arg min X 1 , . . . , X N | | L desired - f ( X 1 , . . . , X N , W ) | |
在等式2中,Ldesired表示期望显示在用户眼睛位置处的图像。产生器230可计算多个层图像X1、…、XN,其中,所述多个层图像X1、…、XN使期望显示在眼睛位置处的图像Ldesired和实际显示在用户眼睛位置处的图像Lactual之间的差异最小化。
在等式1和2中使用的函数f可基于构成每个层的显示面板的类型而改变。例如,当每个层包括被构造为控制光的透射率的基于衰减的显示面板时,可如等式3所示计算穿过每个层的光的最终亮度。
[等式3]
lactual=x1·····xN
在等式3中,lactual表示在实际显示在用户眼睛位置处的图像中包括的单个像素的亮度,xN表示包括在第N层中的像素之中对lactual做出贡献的像素的透射率。使用等式3,可如等式4所给出的表示等式2。
[等式4]
arg min X 1 , . . . , X N | | L desired - X 1 ⊗ . . . ⊗ X N | | W
在等式4中,表示矢量乘积运算,也就是外积运算,W可被定义为有效像素匹配信息。当每个层的分辨率对应于(宽&高)时,XN可对应于尺寸为(宽×高)×1的矩阵,Ldesired可对应于尺寸为(宽×高)×(宽×高)的矩阵。另外,W表示包括(2×宽×高)数量的“1”的尺寸为(宽×高)×(宽×高)的稀疏矩阵。W可对应于如下矩阵:针对朝向用户眼睛位置发射的每个波束,与对相关波束做出贡献的像素相应的元素的值对应于“1”,剩余元素的值对应于“0”。
产生器230可使用等式4,针对有效匹配信息计算使实际在用户眼睛位置处观察到的图像和期望显示在用户眼睛位置处的图像之间的差异最小化的多个层图像。
在示例中,当每个层包括被构造为控制光的偏振旋转度的基于偏振旋转的显示面板时,可如等式5所示计算穿过每个层的光的最终偏振旋转度。
[等式5]
lθ,actual=xθ,1+…+xθ,N
在等式5中,lθ,actual表示在实际显示在用户眼睛位置处的图像中包括的单个像素的偏振旋转度,xθ,N表示包括在第N层中的像素之中对lθ,actual做出贡献的像素的偏振旋转度。使用等式5,可如等式6所示表示等式2。
[等式6]
arg min X θ , 1 , . . . , X θ , N | | L θ , desired - W X θ , 1 . . . X θ , N T | |
在等式6中,Lθ,desired表示期望显示在用户眼睛位置处的图像,Xθ,N表示关于第N层的层图像,W可被定义为有效像素匹配信息。当每个层的分辨率对应于(宽&高)时,Xθ,N可对应于尺寸为(宽×高)×1的矩阵,Lθ,desired可对应于包括(2×宽×高)数量的“1”的尺寸为(2×宽×高)×(N×宽×高)的稀疏矩阵。W可对应于如下矩阵:针对朝向用户眼睛位置发射的每个波束,与对相关波束做出贡献的像素相应的元素的值对应于“1”,剩余元素的值对应于“0”。
产生器230可将期望显示的图像的值转换为偏振旋转度,并使用等式6计算使实际显示的图像的偏振旋转度和基于构成每个层的像素的偏振旋转度所确定的观察图像的偏振旋转度之间的差异最小化的多个层图像。
在示例中,当使用两个被构造为控制光的偏振旋转度的基于偏振旋转的显示面板时,产生器230可使用实验获得的模型计算函数f。例如,当这两个面板之间的偏振薄膜被移除并且使用这两个面板构造分层显示器时,穿过两个层的光的偏振旋转度可如等式7所示被建模。
[等式7]
l actual = x 1 + x 2 - x 1 x 2 c
在等式7中,c表示面板的特性,并可综合地包括例如在工艺处理期间产生的各个面板的特性或与面板的类型相应的特性。等式7可被布置为如等式8所示。
[等式8]
( 1 - l actual c ) = ( 1 - x 1 c ) ( 1 - x 2 c )
产生器230可将等式8中的x的域转换为xc的域,从而导出如等式9所示的关系表达式。在此示例中,xc=1-x/c。具体地讲,等式8的可被转换为lc,等式8的可被转换为xc,1,等式8的可被转换为xc,2
[等式9]
lc=xc,1·xc,2
在等式9中,lc表示在转换域中的在实际显示在用户眼睛位置处的图像中包括的单个像素的值,xc,N表示包括在第N层中的像素之中对lc做出贡献的像素的值。产生器230可使用等式10计算在转换域中的每个层图像。
[等式10]
arg min X c , 1 , . . . , X c , N | | L c , desired - X c , 1 ⊗ . . . ⊗ X c , N | | W
在等式10中,Xc,N表示在转换域中的关于第N层的层图像。产生器230可通过将获取的层图像的域逆转换为原域来计算多个层图像。
在示例中,产生器230可通过使用对数运算转换等式9中的域,来用加法运算替代包括在等式9中的乘法运算。在此示例中,产生器230可在执行了两个域转换的域中计算层图像。所述两个域转换可包括xc=1-x/c的域转换和xlog=log x的域转换。产生器230可通过对计算的层图像的域执行xlog=log x的域逆转换和xc=1-x/c的域逆转换,来计算多个层图像。
参照图2B,图像产生设备200还可包括图像接收器250。图像接收器250可接收期望显示在用户眼睛位置处的图像。图像接收器250可将接收的图像提供给产生器230。图像产生设备200还可包括图像确定器240。图像确定器240可基于用户眼睛的位置确定将显示在用户眼睛位置处的图像。图像确定器240可基于用户眼睛的位置确定将显示在用户眼睛位置处的图像内容的不同项。图像确定器240可使不同图像能够基于用户眼睛的位置被观看,从而将多视图3D图像提供给用户。图像接收器250可将由图像确定器240确定的图像提供给产生器230。
图3至图6示出根据示例实施例的在分层显示器中匹配像素的示例。在图3至图6中,为了便于描述,示出包括两个层的分层显示器。然而,示例实施例还可应用于包括至少三个层的分层显示器。
参照图3,图像产生设备可使用朝向用户眼睛位置330发射的多个光束产生匹配信息。由光发射器发射的光可穿过层320和层310,并朝向用户眼睛位置330行进。然而,图像产生设备可通过从用户眼睛位置330反跟踪光行进的路径来产生匹配信息。
图像产生设备可将多个层310和320之一确定为参考层。例如,图像产生设备可将与最接近于用户眼睛位置330的最上层相应的层310确定为参考层。
图像产生设备可使用穿过包括在参考层中的多个像素的中心的光束来产生匹配信息。图像产生设备可使用从用户眼睛位置330起的穿过属于被确定为参考层的层310的像素311的中心312的光的路径来产生匹配信息。在此示例中,层310的像素311和层320的像素321可位于相应路径上。因此,图像产生设备可将像素311和像素321设置为单个匹配对。
图像产生设备可使用从用户眼睛位置330起的穿过属于被确定为参考层的层310的像素313的中心314的光的路径来产生匹配信息。在此示例中,层310的像素313和层320的像素322可位于相应路径上。因此,图像产生设备可将像素313和像素322设置为单个匹配对。
图像产生设备可使用与层320的像素对应的数据结构来存储匹配信息,其中,层320与最接近于光发射器的最下层相应。图像产生设备可在与层320的像素相应的数据结构中存储与层320的像素匹配的层310的像素的索引。例如,层320的像素321可匹配于层310的像素311。因此,图像产生设备可在与层320的像素321相应的数据结构中存储层310的像素311的索引“7”。另外,层320的像素322可匹配于层310的像素313。因此,图像产生设备可在与层320的像素322相应的数据结构中存储层310的像素313的索引“14”。当包括在层310中的像素的大小与包括在层320中的像素的大小相同时,可能存在不与任何像素匹配的像素,例如,像素323。
参照图4,图像产生设备可将与最接近于光发射器的最下层相应的层420确定为参考层。图像产生设备可使用穿过包括在参考层中的多个像素的中心的光束来产生匹配信息。
图像产生设备可使用从用户眼睛位置430起的穿过属于被确定为参考层的层420的像素421的中心422的光的路径来产生匹配信息。在此示例中,层410的像素411和层420的像素421可位于相应路径上。因此,图像产生设备可将像素411和像素421设置为单个匹配对。
图像产生设备可使用从用户眼睛位置430起的穿过属于被确定为参考层的层420的像素423的中心424的光的路径来产生匹配信息。在此示例中,层410的像素412和层420的像素423可位于相应路径上。因此,图像产生设备可将像素412和像素423设置为单个匹配对。
图像产生设备可使用与层410的像素对应的数据结构来存储匹配信息,其中,层410与最接近于用户眼睛位置430的最上层相应。图像产生设备可在与层410的像素相应的数据结构中存储与层410的像素匹配的层420的像素的索引。例如,层410的像素411可匹配于层420的像素421。因此,图像产生设备可在与层410的像素411相应的数据结构中存储层420的像素421的索引“4”。另外,层410的像素412可匹配于层420的像素423。因此,图像产生设备可在与层410的像素412相应的数据结构中存储层420的像素423的索引“11”。
当包括在层410中的像素的大小与包括在层420中的像素的大小相同时,可能存在与多个像素匹配的像素,例如,像素413。从用户眼睛位置430起的穿过属于被确定为参考层的层420的像素425的中心的光的路径可穿过层410的像素413的内部414。另外,从用户眼睛位置430起的穿过属于被确定为参考层的层420的像素426的中心的光的路径可穿过层410的像素413的内部415。在此示例中,图像产生设备可在与层410的像素413相应的数据结构中存储层420的像素425的索引“15”和层420的像素426的索引“16”。
参照图5,图像产生设备可将与最接近于用户眼睛位置530的最上层相应的层510确定为参考层。图像产生设备可使用穿过包括在参考层中的多个像素的边界之间的内部区域的光束来产生匹配信息。
图像产生设备可使用从用户眼睛位置530起的、穿过属于被确定为参考层的层510的像素511的边界512和513之间的内部区域的光的路径来产生匹配信息。层520的像素522和像素521可位于穿过像素511的边界512的光的路径531和穿过像素511的边界513的光的路径532之间的区域中。图像产生设备可将像素511和像素522设置为单个匹配对,将像素511和像素521设置为另一单个匹配对。
图像产生设备可使用从用户眼睛位置530起的、穿过属于被确定为参考层的层510的像素514的边界513和515之间的内部区域的光的路径来产生匹配信息。层520的像素521和像素523可位于穿过像素514的边界513的光的路径532和穿过像素514的边界515的光的路径533之间的区域中。图像产生设备可将像素514和像素521设置为单个匹配对,将像素514和像素523设置为另一单个匹配对。
图像产生设备可使用与层520的像素对应的数据结构来存储匹配信息,其中,层520与最接近于光发射器的最下层相应。图像产生设备可在与层520的像素相应的数据结构中存储与层520的像素匹配的层510的像素的索引。例如,层520的像素521可与层510的像素511和像素514匹配。因此,图像产生设备可在与层520的像素521相应的数据结构中存储层510的像素511的索引“8”和层510的像素514的索引“9”。
参照图6,图像产生设备可将与最接近于光发射器的最下层相应的层620确定为参考层。图像产生设备可使用穿过包括在参考层中的多个像素的边界之间的内部区域的光束来产生匹配信息。
图像产生设备可使用从用户眼睛位置630起的、穿过属于被确定为参考层的层620的像素621的边界622和623之间的内部区域的光的路径来产生匹配信息。层610的像素612和像素611可位于穿过像素621的边界622的光的路径631和穿过像素621的边界623的光的路径632之间的区域中。图像产生设备可将像素612和像素621设置为单个匹配对,将像素611和像素621设置为另一单个匹配对。
图像产生设备可使用从用户眼睛位置630起的、穿过属于被确定为参考层的层620的像素624的边界623和625之间的内部区域的光的路径来产生匹配信息。层610的像素611和像素613可位于穿过像素624的边界623的光的路径632和穿过像素624的边界625的光的路径633之间的区域中。图像产生设备可将像素611和像素624设置为单个匹配对,将像素613和像素624设置为另一单个匹配对。
图像产生设备可使用与层610的像素对应的数据结构来存储匹配信息,其中,层610和最接近于用户眼睛位置630的最上层相应。图像产生设备可在与层610的像素相应的数据结构中存储与层610的像素匹配的层620的像素的索引。例如,层610的像素611可与层620的像素621和像素624匹配。因此,图像产生设备可在与层610的像素611相应的数据结构中存储层620的像素621的索引“8”和层620的像素624的索引“9”。
图7A和图7B示出根据示例实施例的穿过透镜的光的路径。图像产生设备可使用以透镜被布置在多个层之间的结构设置的分层显示器。
参照图7A,透镜710可被布置在两个相邻层之中的与更接近光发射器的层分开焦距720的位置处。从分开焦距720的位置入射到透镜710的光可沿与从相应位置朝向透镜710的中心的直线平行的方向折射。例如,在与透镜710的中心分开焦距720的位置730入射到透镜710的中心的光不会折射,而是沿路径731行进。在位置730入射到透镜710的左边部分的光会在穿过透镜710时折射,并沿路径732行进。路径732可与路径731平行。在位置730入射到透镜710的右边部分的光会在穿过透镜710时折射,并沿路径733行进。路径733可与路径731平行。
作为示例,在与透镜710的右边部分分开焦距720的位置740入射到透镜710的中心的光不会折射,而是沿路径741行进。在位置740入射到透镜710的左边部分的光会在穿过透镜710时折射,并沿路径742行进。路径742可与路径741平行。在位置740入射到透镜710的右边部分的光会在穿过透镜710时折射,并沿路径743行进。路径743可与路径741平行。
参照图7B,由光发射器发射的光可穿过点725和透镜710。图像产生设备可通过从用户眼睛位置反跟踪光所经过的路径来产生匹配信息。例如,当路径742或路径743对应于从用户眼睛位置反跟踪的路径时,图像产生设备可使用与路径742或路径743平行且穿过透镜710的中心715的路径744。图像产生设备可检测沿路径744分开焦距720的点725,作为位于光的路径上的点。
图8和图9示出根据示例实施例的在包括透镜的分层显示器中匹配像素的示例。
参照图8,图像产生设备可使用以透镜层840被布置在多个层810和820之间的结构设置的分层显示器。透镜层840可被布置在与层820分开焦距841的位置处。
图像产生设备可使用朝向用户眼睛位置830的多个光束来产生匹配信息。虽然由光发射器发射的光可穿过层820、透镜层840和层810并朝向用户眼睛位置830行进,但是图像产生设备可通过从用户眼睛位置830反跟踪光行进的路径来产生匹配信息。
图像产生设备可将多个层810和820之一确定为参考层。例如,图像产生设备可将与最接近于用户眼睛位置830的最上层相应的层810确定为参考层。
图像产生设备可使用穿过包括在参考层中的多个像素的中心的光束来产生匹配信息。图像产生设备可使用从用户眼睛位置830起的、穿过属于被确定为参考层的层810的像素811的中心813的光的路径831来产生匹配信息。属于透镜层840的透镜842可位于路径831上。如参照图7A和图7B所述,图像产生设备可使用与路径831平行并且光朝向透镜842的中心843行进所沿的路径833。层820的像素821可位于路径833上。因此,图像产生设备可将像素811和像素821设置为单个匹配对。
图像产生设备可使用从用户眼睛位置830起的、穿过属于被确定为参考层的层810的像素812的中心814的光的路径832来产生匹配信息。属于透镜层840的透镜842可位于路径832上。图像产生设备可使用与路径832平行并且光朝向透镜842的中心843行进所沿的路径834。层820的像素821可位于路径834上。因此,图像产生设备可将像素812和像素821设置为单个匹配对。
图像产生设备可使用与层820的像素对应的数据结构来存储匹配信息,其中,层820和最接近于光发射器的最下层相应。图像产生设备可在与层820的像素相应的数据结构中存储与层820的像素匹配的层810的像素的索引。例如,层820的像素821可与层810的像素811和层810的像素812匹配。因此,图像产生设备可在与层820的像素821相应的数据结构中存储层810的像素811的索引“9”和层810的像素812的索引“10”。
参照图9,图像产生设备可使用以透镜层940被布置在多个层910和920之间的结构设置的分层显示器。透镜层940可被布置在与层920分开焦距941的位置处。
图像产生设备可将与最接近于用户眼睛位置930的最上层相应的层910确定为参考层。图像产生设备可使用穿过包括在参考层中的多个像素的边界之间的内部区域的光束来产生匹配信息。
图像产生设备可使用从用户眼睛位置930起的、穿过属于被确定为参考层的层910的像素911的边界912和913的光的路径来产生匹配信息。属于透镜层940的透镜942可位于穿过像素911的边界912的光的路径931和穿过像素911的边界913的光的路径932之间的区域中。如参照图7A和图7B所述,图像产生设备可使用与路径931平行并且光朝向透镜942的中心行进所沿的路径933以及与路径932平行并且光朝向透镜942的中心行进所沿的路径934。层920的像素921可位于路径933和路径934之间的区域中。因此,图像产生设备可将像素911和像素921设置为单个匹配对。
因为像素911的左边界912与像素911的左相邻像素的右边界相同,所以图像产生设备可将该左相邻像素和像素921设置为单个匹配对。因为像素911的右边界913与像素911的右相邻像素的左边界相同,所以图像产生设备可将像素911的右相邻像素和像素921设置为单个匹配对。
图像产生设备可使用从用户眼睛位置930起的、穿过属于被确定为参考层的层910的像素914的边界916的光的路径来产生匹配信息。属于透镜层940的透镜943可位于路径935上。图像产生设备可使用与路径935平行并且光朝向透镜943的中心行进所沿的路径936。层920的像素922可位于路径936上。因此,图像产生设备可将像素914和像素922设置为单个匹配对。因为像素914的右边界916与像素914的右相邻像素915的左边界相同,所以图像产生设备可将像素914的右相邻像素915和像素922设置为单个匹配对。
图像产生设备可使用从用户眼睛位置930起的穿过属于透镜层940的像素943的边界944的光的路径937来产生匹配信息。图像产生设备可使用与路径937平行并且光朝向透镜943的中心行进所沿的路径938。层910的像素915可位于路径937上。层920的像素923可位于路径938上。因此,图像产生设备可将像素915和像素923设置为单个匹配对。
图像产生设备可使用与层920的像素对应的数据结构来存储匹配信息,其中,层920和最接近于光发射器的最下层相应。图像产生设备可在与层920的像素相应的数据结构中存储与层920的像素匹配的层910的像素的索引。例如,层920的像素922可与层910的像素915匹配。因此,图像产生设备可在与层920的像素922相应的数据结构中存储层910的像素914的索引“11”和层910的像素915的索引“12”。
图10A和图10B示出根据示例实施例的显示装置1000。
参照图10A,显示装置1000可包括多个面板1010、获得器1020和控制器1030。多个面板1010可使用分层显示器的结构显示3D图像。
获得器1020可获得与目标位置相应的匹配信息。目标位置可包括期望显示3D图像的位置。例如,目标位置可对应于用户眼睛的位置1050。匹配信息可包括与包括在不同面板中的匹配像素相关的信息。获得器1020可基于目标位置从预建立的存储空间加载与目标位置相应的匹配信息。预建立的存储空间可综合地包括包含在显示装置中的存储器或被远程放置的以有线和无线方式连接到显示装置的数据库。在示例中,获得器1020可基于目标位置直接产生匹配信息。
控制器1030可基于将在目标位置显示的3D图像的匹配信息来控制多个面板1010。参照图10B,显示装置1000还可包括传感器1040。传感器1040可被构造为感测目标位置。例如,传感器1040可感测用户眼睛的位置1050,并将与用户眼睛的位置1050相关的信息提供给获得器1020。
参照图1至图9提供的描述可应用于图10A和图10B中示出的各个模块,因此,为了简明,将省略重复描述。
图11A和图11B示出根据示例实施例的图像产生方法。
参照图11A,图像产生方法可包括:操作1110,获得关于用户眼睛位置的信息;操作1120,基于关于眼睛位置的信息获得属于不同层的像素之间的匹配信息;操作1130,基于关于眼睛位置的信息获取期望显示的图像;操作1140,基于获得的匹配信息和获取的图像产生与多个层相应的多个层图像。参照图11B,图像产生方法还可包括:操作1150,将多个层图像中的每个层图像应用于相应层。
参照图1至图10B提供的描述可应用于图11A和图11B中示出的各个操作,因此,为了简明,将省略重复描述。
这里描述的单元可使用硬件组件和软件组件来实现。例如,硬件组件可包括麦克风、放大器、带通滤波器、音频到数字转换器和处理装置。例如,处理装置可使用一个或更多个通用或专用计算机(诸如处理器、控制器和算术逻辑单元)、数字信号处理器、微计算机、场可编程阵列、可编程逻辑单元、微处理器或能够以预定义的方式响应和执行指令的任何其他装置来实现。处理装置可运行操作***(OS)以及在OS上运行的一个或更多个软件应用。处理装置还可响应于软件的执行而访问、存储、操纵、处理和创建数据。出于简洁的目的,对处理装置的描述被用作单数;然而,本领域的技术人员将理解,处理装置可包括多个处理元件和多种类型的处理元件。例如,处理装置可包括多个处理器或者包括处理器和控制器。另外,不同的处理配置是可行的,诸如并行处理器。
软件可包括用于独立地或共同地指示或配置处理装置进行期望操作的计算机程序、代码段、指令或它们的某组合。软件和数据可被永久地或暂时地实现在任何类型的机器、组件、物理或虚拟设备、计算机存储介质或装置中,或者实现在能够将指令或数据提供给处理装置或由处理装置解释的传播信号波中。软件还可分布于联网的计算机***中,从而以分布式方式存储和执行软件。软件和数据可通过一个或更多个非暂时性计算机可读记录介质存储。
根据上述示例性实施例的方法可被记录在包括用于执行由计算机实施的各种操作的程序指令的计算机可读介质中。所述介质还可单独地或与程序指令结合地包括数据文件、数据结构等。计算机可读介质的示例包括:磁介质,诸如硬盘、软盘和磁带;光介质,诸如CD ROM盘和DVD;磁光介质,诸如光盘;以及被专门构造为存储和执行程序指令的硬件装置,诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等。程序指令的示例包括诸如由编译器产生的机器代码和包含可由计算机使用解释器执行的更高级代码的文件二者。所描述的硬件装置可被构造为用作一个或更多个软件模块,以执行上述示例性实施例的操作,或者反之亦然。
以上已经描述了一些示例。然而,应理解,可进行各种修改。例如,如果所描述的技术按不同顺序执行和/或如果所描述的***、架构、装置或电路中的组件以不同方式组合和/或被其他组件或其等同物替代或补充,则可实现适当的结果。因此,其他实施方式在权利要求的范围内。

Claims (31)

1.一种图像产生设备,包括:
接收器,被构造为接收用户眼睛的位置;
匹配单元,被构造为基于眼睛的位置对包括在多个层中的多个像素进行匹配;
产生器,被构造为基于与匹配的像素相关的信息来产生所述多个层中的每个层的层图像。
2.如权利要求1所述的设备,其中,所述多个层被构造为显示三维(3D)图像。
3.如权利要求1所述的设备,其中,匹配单元通过基于眼睛的位置从所述多个层中的每个层选择至少一个像素来产生匹配信息。
4.如权利要求1所述的设备,其中,匹配单元对位于从光发射器发射的光到达用户眼睛的路径上的像素进行匹配。
5.如权利要求1所述的设备,其中,与匹配的像素相关的信息包括第一匹配信息和第二匹配信息,
匹配单元基于用户左眼的位置产生第一匹配信息,基于用户右眼的位置产生第二匹配信息。
6.如权利要求1所述的设备,还包括:
图像接收器,接收与用户左眼的位置相应的第一图像和与用户右眼的位置相应的第二图像,
其中,产生器基于第一图像、第二图像和与匹配的像素相关的信息来产生多个层图像。
7.如权利要求6所述的设备,还包括:
图像确定器,基于左眼的位置和右眼的位置确定第一图像和第二图像。
8.如权利要求1所述的设备,其中,匹配单元对位于如下路径上的像素进行匹配,其中,沿着该路径,从光发射器发射的光穿过在所述多个层中的一个层中包括的像素的中心并到达用户眼睛。
9.如权利要求1所述的设备,其中,匹配单元对位于如下路径上的像素进行匹配,其中,沿着该路径,从光发射器发射的光穿过在所述多个层中的一个层中包括的像素的边界之间的内部区域并到达用户眼睛。
10.如权利要求1所述的设备,其中,匹配单元对位于如下路径上的像素进行匹配,其中,沿着该路径,从光发射器发射的光穿过布置在所述多个层之间的透镜并到达用户眼睛。
11.如权利要求10所述的设备,其中,所述透镜被布置在与透镜相邻的两个层之中的与更接近光发射器的层分开透镜的焦距的位置处。
12.如权利要求1所述的设备,其中,产生器产生多个层图像,以使期望显示在眼睛位置处的图像与基于与匹配的像素相关的信息和所述多个层图像将显示在眼睛位置处的图像之间的差异最小化。
13.如权利要求12所述的设备,其中,基于包括在与匹配的像素相关的信息中的匹配像素的值的乘积和匹配像素的值之和中的至少一个来确定将显示在眼睛位置处的图像。
14.如权利要求13所述的设备,其中,当基于匹配像素的值的乘积确定将显示在眼睛位置处的图像时,产生器通过对数运算将乘法运算转换为加法运算,并使用加法运算计算匹配像素的值的乘积。
15.如权利要求12所述的设备,其中,当所述多个层的数量对应于“2”时,使用计算在将显示在眼睛位置处的图像中包括的像素的值,
其中,与匹配的像素相关的信息包括包含在第一层中的第一匹配像素和包含在第二层中的第二匹配像素,lactual表示在将显示在眼睛位置处的图像中包括的像素的值,x1表示第一匹配像素的值,x2表示第二匹配像素的值,c表示层的面板特性。
16.如权利要求1所述的设备,其中,产生器基于包括所述多个层的分层显示器的类型来产生多个层图像。
17.如权利要求16所述的设备,其中,分层显示器的类型包括用于控制层的透射率的第一类型和用于控制层的偏振旋转度的第二类型。
18.如权利要求1所述的设备,其中,用户眼睛的位置包括关于多个用户的多个眼睛的位置,匹配单元基于所述多个眼睛的位置对所述多个像素进行匹配,产生器产生层图像以将3D图像提供给所述多个用户中的每个用户。
19.如权利要求1所述的设备,其中,匹配单元通过基于眼睛的位置在所述多个层中的每个层中选择同一类型的子像素来产生匹配信息。
20.一种显示装置,包括:
多个面板,被构造为显示三维(3D)图像;
获得器,获得与目标位置相应的匹配信息,所述匹配信息包括与属于不同面板的匹配像素相关的信息;
控制器,基于所述匹配信息,控制所述多个面板以使3D图像显示在目标位置处。
21.如权利要求20所述的装置,其中,所述匹配信息包括与位于从光发射器发射的光到达目标位置的路径上的匹配像素相关的信息。
22.如权利要求20所述的装置,还包括:
传感器,感测目标位置。
23.如权利要求22所述的装置,其中,传感器包括以下项中的至少一个:
使用多个视觉传感器的第一传感器;
使用视觉传感器和深度传感器的第二传感器。
24.如权利要求20所述的装置,其中,所述多个面板包括以下项中的至少一个:
第一面板,在与第一面板相应的层上使光的亮度衰减;
第二面板,在与第二面板相应的层上旋转光的偏振方向。
25.如权利要求20所述的装置,其中,控制器确定与所述多个面板相应的多个层图像,以使期望显示在目标位置处的图像与基于匹配信息和所述多个面板将显示在目标位置处的图像之间的差异最小化。
26.如权利要求20所述的装置,还包括:
透镜,布置在所述多个面板之间,
其中,透镜被布置在与透镜相邻的两个面板之中的与更接近光发射器的面板分开透镜的焦距的位置处。
27.如权利要求26所述的装置,其中,透镜将光的方向限制到预定区域。
28.一种图像产生方法,包括:
获得关于用户眼睛位置的信息;
基于关于眼睛位置的信息,获得属于不同层的像素之间的匹配信息;
基于关于眼睛位置的信息,获取期望显示的图像;
基于匹配信息和获取的图像,产生与多个层相应的多个层图像。
29.如权利要求28所述的方法,还包括:
将所述多个层图像中的每个层图像应用于相应层。
30.一种三维图像显示方法,包括:
跟踪观看者眼睛的位置;
在显示设备的第一层上再现第一图像;
基于第一图像的光通过第二层到达观看者眼睛的位置的路径,在显示设备的第二层上再现第二图像。
31.如权利要求30所述的方法,其中,通过使用第一层和第二层中的至少一个层来再现图像,以控制光的透射率和偏振旋转度中的至少一个。
CN201410453046.9A 2013-09-30 2014-09-05 基于眼睛位置的分层显示方案的图像产生设备和显示装置 Pending CN104519333A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2013-0116425 2013-09-30
KR20130116425 2013-09-30
KR10-2013-0132712 2013-11-04
KR20130132712A KR20150039060A (ko) 2013-09-30 2013-11-04 사용자의 눈의 위치에 기초하는 레이어드 디스플레이 기법을 위한 영상 생성 장치 및 디스플레이 장치

Publications (1)

Publication Number Publication Date
CN104519333A true CN104519333A (zh) 2015-04-15

Family

ID=51453564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410453046.9A Pending CN104519333A (zh) 2013-09-30 2014-09-05 基于眼睛位置的分层显示方案的图像产生设备和显示装置

Country Status (4)

Country Link
US (1) US9948924B2 (zh)
EP (1) EP2854403A1 (zh)
JP (1) JP2015070618A (zh)
CN (1) CN104519333A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110603808A (zh) * 2017-05-04 2019-12-20 纯深度股份有限公司 基于头部跟踪的深度融合

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9674510B2 (en) * 2012-11-21 2017-06-06 Elwha Llc Pulsed projection system for 3D video
CN105549630B (zh) * 2015-12-24 2019-04-05 昆山龙腾光电有限公司 自动控制显示设备旋转的装置及方法
EP3619704A4 (en) 2017-05-01 2020-11-11 Pure Depth Inc. SACCADED SEQUENTIAL FIELD FRAGMENTATION REDUCTION BASED ON HEAD TRACKING
JP7067016B2 (ja) * 2017-10-23 2022-05-16 凸版印刷株式会社 多視点質感シミュレーションシステム及び多視点質感シミュレーション方法
WO2020004275A1 (ja) * 2018-06-26 2020-01-02 京セラ株式会社 3次元表示装置、制御コントローラ、3次元表示方法、3次元表示システム、および移動体
WO2021182265A1 (ja) * 2020-03-11 2021-09-16 ソニーグループ株式会社 表示装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040246199A1 (en) * 2003-02-21 2004-12-09 Artoun Ramian Three-dimensional viewing apparatus and method
CN101061415A (zh) * 2004-09-21 2007-10-24 纽鲁克公司 用于三维成像的复合双lcd面板显示器
CN101557536A (zh) * 2009-05-14 2009-10-14 福建华映显示科技有限公司 观看景深融合显示器的方法
TW201035966A (en) * 2009-03-17 2010-10-01 Chunghwa Picture Tubes Ltd Method of observing a depth fused display
CN101984670A (zh) * 2010-11-16 2011-03-09 深圳超多维光电子有限公司 一种立体显示方法、跟踪式立体显示器及图像处理装置
CN103118267A (zh) * 2013-01-25 2013-05-22 明基材料有限公司 自动调整三维影像显示视角的显示***
WO2013089249A1 (ja) * 2011-12-15 2013-06-20 株式会社ニコン 表示装置、表示制御装置、表示制御プログラム、およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005010304A (ja) 2003-06-17 2005-01-13 Sea Phone Co Ltd 表示装置、該表示装置の制御方法および制御用プログラム
KR20080057924A (ko) 2006-12-21 2008-06-25 엘지디스플레이 주식회사 다중 뷰 표시장치
KR101452539B1 (ko) * 2007-03-29 2014-10-22 소니 주식회사 액정 표시 장치 및 구동 제어 회로
KR20100033067A (ko) * 2008-09-19 2010-03-29 삼성전자주식회사 2차원과 3차원 겸용 영상 표시 장치 및 방법
KR101290013B1 (ko) 2008-10-07 2013-07-30 엘지디스플레이 주식회사 다중 뷰 영상표시장치
WO2010057219A1 (en) * 2008-11-17 2010-05-20 Luminit Llc Holographic substrate-guided wave-based see-through display
US9104275B2 (en) * 2009-10-20 2015-08-11 Lg Electronics Inc. Mobile terminal to display an object on a perceived 3D space
EP2562581A4 (en) 2010-04-21 2014-11-12 Panasonic Ip Corp America 3D VIDEO DISPLAY AND 3D VIDEO DISPLAY
US8510361B2 (en) * 2010-05-28 2013-08-13 George Massenburg Variable exponent averaging detector and dynamic range controller
JP5739624B2 (ja) * 2010-07-01 2015-06-24 キヤノン株式会社 光学機器、撮像装置、及び制御方法
US9171264B2 (en) * 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
JP5409589B2 (ja) * 2010-12-17 2014-02-05 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
CN102859264A (zh) * 2011-01-25 2013-01-02 松下电器产业株式会社 背光装置以及液晶显示装置
JP5710330B2 (ja) 2011-03-25 2015-04-30 株式会社ジャパンディスプレイ 表示装置
US20130038598A1 (en) 2011-08-08 2013-02-14 Himax Technologies Limited Image Processor, Display System, and Method for Producing Three Dimension Images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040246199A1 (en) * 2003-02-21 2004-12-09 Artoun Ramian Three-dimensional viewing apparatus and method
CN101061415A (zh) * 2004-09-21 2007-10-24 纽鲁克公司 用于三维成像的复合双lcd面板显示器
TW201035966A (en) * 2009-03-17 2010-10-01 Chunghwa Picture Tubes Ltd Method of observing a depth fused display
CN101557536A (zh) * 2009-05-14 2009-10-14 福建华映显示科技有限公司 观看景深融合显示器的方法
CN101984670A (zh) * 2010-11-16 2011-03-09 深圳超多维光电子有限公司 一种立体显示方法、跟踪式立体显示器及图像处理装置
WO2013089249A1 (ja) * 2011-12-15 2013-06-20 株式会社ニコン 表示装置、表示制御装置、表示制御プログラム、およびプログラム
CN103118267A (zh) * 2013-01-25 2013-05-22 明基材料有限公司 自动调整三维影像显示视角的显示***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110603808A (zh) * 2017-05-04 2019-12-20 纯深度股份有限公司 基于头部跟踪的深度融合
CN110603808B (zh) * 2017-05-04 2022-05-10 安波福技术有限公司 基于头部跟踪的深度融合

Also Published As

Publication number Publication date
JP2015070618A (ja) 2015-04-13
EP2854403A1 (en) 2015-04-01
US9948924B2 (en) 2018-04-17
US20150091897A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
CN104519333A (zh) 基于眼睛位置的分层显示方案的图像产生设备和显示装置
KR102447101B1 (ko) 무안경 3d 디스플레이를 위한 영상 처리 방법 및 장치
CN102056003B (zh) 使用主动亚像素渲染的高密度多视点图像显示***及方法
US9270981B2 (en) Apparatus and method for adaptively rendering subpixel
CN103988504A (zh) 用于子像素渲染的图像处理设备和方法
US10237539B2 (en) 3D display apparatus and control method thereof
TWI594018B (zh) 廣視角裸眼立體圖像顯示方法、裸眼立體顯示設備以及其操作方法
WO2016127630A1 (zh) 裸眼3d的显示处理方法、装置及显示设备
JP2007020179A (ja) 立体映像表示装置、及び3d映像−立体映像変換器
US20140043335A1 (en) Image processing device, image processing method, and program
CN102497563A (zh) 跟踪式裸眼立体显示控制方法、显示控制装置和显示***
US10244221B2 (en) Display apparatus and method
US20140292825A1 (en) Multi-layer display apparatus and display method using it
US20150237334A1 (en) Stereoscopic display device
CN103718547A (zh) 图像处理设备、图像处理方法及程序
US20240040098A1 (en) 3d system
US10277879B2 (en) 3D system including rendering with eye displacement
US11228752B2 (en) Device and method for displaying three-dimensional (3D) image
US10148933B2 (en) 3D system including rendering with shifted compensation
US9939652B2 (en) Display devices and image creating methods for layered display technologies
US20170140571A1 (en) 3d system including rendering with curved display
US20170142401A1 (en) 3d system including rendering with three dimensional transformation
US10225542B2 (en) 3D system including rendering with angular compensation
US10284837B2 (en) 3D system including lens modeling
KR20150039060A (ko) 사용자의 눈의 위치에 기초하는 레이어드 디스플레이 기법을 위한 영상 생성 장치 및 디스플레이 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20181204

AD01 Patent right deemed abandoned