CN115004694A

CN115004694A - 利用混合色域的投影***和方法

Info

Publication number: CN115004694A
Application number: CN202180010444.1A
Authority: CN
Inventors: T·达维斯; C·L·C·勒巴本雄; E·多瓦尔; M·J·里查兹
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2020-01-30
Filing date: 2021-01-28
Publication date: 2022-09-02
Also published as: EP4097970B1; EP4366302A3; EP4097970A1; WO2021155056A1; EP4366302A2; US20230078910A1; JP2023516536A

Abstract

投影***和方法因此涉及第一投影设备；第二投影设备；至少一个空间调制器；以及电子处理器，被配置为:接收二维视频数据，生成第一色域的第一多个强度值和第二色域的第二多个强度值，从第二色域的多个像素值中减去亮度阈值以产生多个正像素值和多个负像素值，将多个像素值中的相应像素值设置为预定值以获得第二色域的残差，将该残差添加到第一色域，将最大化的像素值添加到第一色域和第二色域以创建输出色域，并且将输出色域与原生色域混合以生成混合色域。

Description

利用混合色域的投影***和方法

相关申请的交叉引用

本申请要求2020年1月30日提交的美国临时专利申请第62/967,821号和2020年12月14日提交的美国临时专利申请第63/125,160号的优先权，这些申请通过引用结合于此。

技术领域

本申请总体上涉及渲染和投影图像的***和方法。

背景技术

能够显示三维(3D)图像的显示器可以使用不同的两组原色(“六原色”或6P)来显示左眼图像和右眼图像，它们在被一起观看时给出3D图像的外观。这种显示器也可用于显示二维(2D)图像。

发明内容

本公开的各个方面涉及用于渲染宽色域图像的设备、***和方法。

在本公开的一个示例性方面，提供了一种投影***，包括第一投影设备、第二投影设备、至少一个空间调制器、和电子处理器，该电子处理器被配置为:接收二维视频数据；从视频数据生成第一色域的虚拟原色的第一多个强度值和第二色域的虚拟原色的第二多个强度值；从第二色域的多个像素值中减去亮度阈值，以产生多个正像素值和多个负像素值；将第二色域的多个负像素值中的相应像素值设置为预定值，以获得第二色域的残差；将第二色域的残差加到第一色域；将最大化的像素值添加到二维视频数据内的第一色域和第二色域，以创建输出色域；将输出色域与投影***的原生(native)色域混合，以生成混合色域；并且基于混合色域驱动第一投影设备和第二投影设备。

在本公开的另一个示例性方面，提供了一种用投影***渲染宽色域图像的方法，该投影***包括第一投影设备、第二投影设备和至少一个空间调制器，该方法包括:接收二维视频数据；从视频数据生成第一色域的虚拟原色的第一多个强度值和第二色域的虚拟原色的第二多个强度值；从第二色域的多个像素值中减去亮度阈值，以产生多个正像素值和多个负像素值；将第二色域的多个负像素值中的相应像素值设置为预定值，以获得第二色域的残差；将第二色域的残差加到第一色域；将最大化的像素值添加到二维视频数据内的第一色域和第二色域，以创建输出色域；将输出色域与投影***的原生色域混合，以生成混合色域；并且基于混合色域驱动第一投影设备和第二投影设备。

在本公开的另一个示例性方面，提供了一种存储指令的非暂时性计算机可读介质，当由包括第一投影设备、第二投影设备和至少一个空间调制器的投影***的处理器执行所述指令时，使得投影***执行操作，所述操作包括接收二维视频数据；从视频数据生成第一色域的虚拟原色的第一多个强度值和第二色域的虚拟原色的第二多个强度值；从第二色域的多个像素值中减去亮度阈值，以产生多个正像素值和多个负像素值；将第二色域的多个负像素值中的相应像素值设置为预定值，以获得第二色域的残差；将第二色域的残差加到第一色域；将最大化的像素值添加到二维视频数据内的第一色域和第二色域，以创建输出色域；将输出色域与投影***的原生色域混合，以生成混合色域；并且基于混合色域驱动第一投影设备和第二投影设备。

这样，本公开的各个方面提供了具有高动态范围、高分辨率和宽色域的图像的显示，并且至少在图像投影、全息摄影、信号处理等技术领域中实现了改进。

附图说明

附图连同下面的详细描述一起被结合在说明书中并形成说明书的一部分，用于进一步说明概念的实施例，并解释那些实施例的各种原理和优点，在附图中，相同的附图标记在各个视图中指代相同或功能相似的元件。

本领域技术人员将会理解，附图中的元件是为了简单和清楚而示出的，并不一定是按比例绘制的。例如，图中的一些元件的尺寸可能相对于其他元件被夸大，以帮助改进对本公开的实施例的理解。

在附图中，在适当的地方用符号表示了装置和方法组件，仅示出了与理解本公开的实施例相关的那些具体细节，以免因受益于本文描述的本领域普通技术人员将容易明白的细节而模糊本公开。

图1A是根据本公开的各个方面的示例性6P投影***的光谱图。

图1B是根据本公开的各个方面的示例性投影***的框图。

图1C是根据本公开的各个方面的示例性投影***的框图。

图2是根据本公开的各个方面的包括在图1B和1C的***中的示例性控制器的框图。

图3是示出了根据本公开的各个方面由图2的控制器实施的示例性方法的流程图。

图4是根据本公开的各个方面的示例性色度图。

图5A是根据本公开的各个方面的示例性色度图。

图5B是根据本公开的各个方面的示例性色度图。

图6A是根据本公开的各个方面的示例性色度图。

图6B是根据本公开的各个方面的示例性色度图。

图7A是根据本公开的各个方面的示例性色度图。

图7B是根据本公开的各个方面的示例性色度图。

图8A是根据本公开的各个方面的示例性色度图。

图8B是根据本公开的各个方面的示例性色度图。

具体实施方式

如上所述，一些被配置成投影3D图像的6P显示器可以被用来投影/显示2D图像。当投影3D图像时，六种原色用于显示左眼和右眼图像，其中一组三原色(红、绿和蓝)用于左眼图像，另一组三原色用于右眼图像。与这种显示器一起使用的3D眼镜可以具有相应的滤光器(例如带通滤光器)，以允许每只眼睛看到适当的图像。通过用相同的数据驱动每对原色光源，二维图像可以由3D显示器显示，而不需要观看者佩戴3D眼镜。例如，2D红色数据值用于驱动红色1和红色2原色两者。类似地，2D绿色数据值用于驱动绿色1和绿色2原色两者，2D蓝色数据值用于驱动蓝色1和蓝色2原色两者。用组合的原色校准该***，并且可以产生图像。然而，相对于期望的色域(例如，所建立的用于制作和国际节目交换的超高清电视***的建议ITU-RBT.2020(08/2012)参数值，以下称为Rec2020色域)，所得到的色域可能受到显著限制。增加所得到的3D颜色体积的色域可以导致色度错误(例如色度限幅)发生率降低，并且在限幅不适合于3D颜色体积的像素时保持色调。

本公开及其方面可被以各种形式体现，包括由计算机实现的方法控制的硬件或电路、计算机程序产品、计算机***和网络、用户界面和应用编程接口；以及硬件实现的方法、信号处理电路、存储器阵列、专用集成电路、现场可编程门阵列等。前述概述仅旨在给出本公开的各个方面的一般概念，而不以任何方式限制本公开的范围。

在以下描述中，阐述了许多细节，例如电路配置、波形时序、电路操作等，以便提供对本公开的一个或多个方面的理解。对于本领域技术人员来说，显而易见的是，这些具体细节仅仅是示例性的，并不意图限制本申请的范围。

此外，虽然本公开主要集中于所接收的视频数据是Rec2020的示例，但是将会理解，这仅仅是实现的一个示例，并且可以利用其他颜色空间。还应当理解，所公开的***和方法可以用在任何投影***中，以改善2D图像在六原色显示器上的渲染。

投影仪***

为了便于描述，这里给出的示例***中的一些或全部由其每个组成部分的单个样本来示出。一些示例可能没有描述或说明***的所有组件。其他示例实施例可以包括更多或更少的每个所示组件，可以组合一些组件，或者可以包括附加或替代组件。例如，在一些实施例中，下面的图1B和1C的***100包括多于一个光源102。

如上所述，一些被称为6P***的3D显示器使用不同的两组原色同时显示左眼图像和右眼图像。图1A是根据一些实施例的6P***的光谱图1。光谱图1包括三个短波长2A、3A和4A(这里称为短原色)、和三个长波长2B、3B和4B(这里称为长原色)。这里描述的示例显示***被配置为将短原色2A、3A和4A用于左眼图像(例如，通过指定的左投影仪)，而将长原色2B、3B和4B用于右眼图像(例如，通过指定的右投影仪)。然而，在其他实现中，短原色2A、3A和4A可以用于右眼图像，而长原色2B、3B和4B可以用于左眼图像。短原色2A、3A和4A可以分别是例如第一蓝色波长、第一绿色波长和红蓝色波长。长原色2B、3B和4B可以分别是例如第二蓝色波长、第二绿色波长和第二红色波长。第一红色波长比第二红色波长短，第一绿色波长比第二绿色波长短，第一蓝色波长比第二蓝色波长短。应当理解，在进一步的实施例中，可以为每个眼睛图像使用短原色和长原色的组合。如下面更详细解释的，每个投影仪将(投影仪的指定原色的)调制光输出输出到显示器或观看屏幕上。在本文描述的实施例中，同时显示左眼图像和右眼图像。

图1B和1C分别是根据一些实施例的示例性显示***100的框图。每个***包括至少一些类似配置的组件，这些组件也被这样标记。显示***100被配置为显示从视频数据源101接收的3D和2D视频数据。显示***100可以是被配置成显示图像的任何种类的***，例如投影***或发光二极管(LED)显示***。显示***100包括光源102、照明光学器件104、分离器106、一个或多个调制器108、组合器110、投影光学器件112和控制器114。虽然图1B和1C示出了一个光源102，但是根据一些实施例的显示***100可以包含多个光源102。***100的组件可以容纳在单个投影设备(例如单个投影仪)中，或者在一些实施例中，可以容纳在多个设备中。例如，在一些实施例中，光源、调制器和显示***100的其他组件可以被分成两个或更多个分离的、协调的投影设备。在这样的实施例中，每一个分离的、协调的投影设备可以处理一组波长。例如，第一分离、协调的投影设备可以分离、调制和组合短原色2A、3A和4A，而第二分离、协调的投影设备可以分离、调制和组合长原色2B、3B和4B。

光源102由控制器114驱动，以产生在所示实施例中包括六种原色的照明光束。照明光束被引导通过照明光学器件104并进入分色器106。颜色分离器106将照明光束分离成六个原色光束，并将每个原色光束导向相关联的一个空间光调制器(SLM)108。每个调制器108基于来自控制器114的输入调制主照明光束，下面将更详细地描述。投影光学器件112聚焦调制光束以形成成像光束116。成像光束116然后被投射以在例如观察表面(未示出)上产生图像。在图1B的示例性***中，左眼图像和右眼图像可以被交替投影(也称为“时分复用”)。

在一些实施例中，每个原色可以与单独的调制器108相关联。作为替代，如图1B所示，调制器的数量可以被减少，例如可通过使用场序调制方案被减少。在一些实施例中，调制器可以包括对于每种原色包括多个调制器，例如在双调制投影仪中。在一些实施例中，每个调制器108与一组原色相关联。例如，如上文关于图1A所述，如图1C所示，6P***可以包括左投影仪和右投影仪。图1C示出了双头显示***100，其包括分离的调制器108A和108B、投影光学器件112A和112B(例如，第一投影设备112A和第二投影设备112B)、以及两个得到的成像光束116A和116B，每组成像光束分别被指定用于左眼通道和右眼通道。调制器108A、投影光学器件112A和得到的成像光束116A可以被认为是左投影仪(投影头)的组件，而调制器108B、投影光学器件112B和得到的成像光束116B可以被认为是右投影仪(投影头)的组件。如上所述，来自两个通道的光输出被同时示出，以在显示器或屏幕上产生单个得到的图像。此外，尽管图1B和1C将视频数据源101示为与显示***100分离，但是在一些实施例中，视频数据源101可以在显示***100内部(例如，在与显示***100相关联的存储器中)。在一些实施例中，分离器106、一个或多个调制器108和组合器110可以连续复制，使得分离器106、一个或多个调制器108和组合器110的第二组合在投影光学***112之前重复。另外，这里描述的方法可以在不包括分离器106和组合器110的设备中执行。因此，这种设备可以使用多个投影仪提供要在屏幕上组合的照明光束。

图2是根据一些实施例的控制器114的框图。控制器114包括电子处理器205、存储器210、和输入/输出接口215。电子处理器205获得并提供信息(例如，从存储器210和/或输入/输出接口215)，并通过执行一个或多个软件指令或模块来处理信息，所述软件指令或模块能够存储在例如存储器210的随机存取存储器(“RAM”)区域、或存储器210的只读存储器(“ROM”)、或另一种非暂时性计算机可读介质(未示出)中。软件可以包括固件、一个或多个应用程序、程序数据、过滤器、规则、一个或多个程序模块以及其他可执行指令。电子处理器205可以包括多个核心或单独的处理单元。电子处理器205配置成从存储器210中检索并执行与本文描述的控制过程和方法相关的软件等。

存储器210可以包括一个或多个非暂时性计算机可读介质，并且包括程序存储区域和数据存储区域。如本文所述，程序存储区和数据存储区可以包括不同类型存储器的组合。存储器210可以采取任何非暂时性计算机可读介质的形式。

输入/输出接口215被配置成接收输入并提供***输出。输入/输出接口215从显示***100内部和外部的设备(例如，光源102、一个或抖个调制器108、和视频数据源101)获得信息和信号，并向其提供信息和信号(例如，通过一个或多个有线和/或无线连接)。

图像渲染方法

图3是示出根据一些实施例的操作投影***的示例方法300的流程图。作为示例，方法300被描述为由图1B和1C中所示的控制器114执行，特别是由图2中所示的电子处理器205执行。

在块302，电子处理器205从视频数据源(例如图1B和1C所示的视频数据源101)接收视频数据。视频数据可以包括来自视频内容流或文件的一系列三色刺激像素值。在一些实施例中，视频数据包括诸如Rec2020(也称为ITU-R建议BT.2020)的颜色空间(或色域)中的像素值。在块304，电子处理器205从视频数据生成第一色域的虚拟原色的第一多个强度值，并且在块306，从视频数据生成第二色域的虚拟原色的第二多个强度值。特别地，2D图像的色域体积被分成两个虚拟色域:色域A和色域B。每个色域包括作为预定义原色的特定混合的虚拟原色。如下面更详细解释的，色域A被选择为尽可能接近预定义的色域，例如定义的标准颜色空间(例如，Rec2020)，而色域B被用于来自预定义原色的任何残余能量。换句话说，在适用时，色域A用于较低的亮度级别，并且色域B被添加以实现较高的亮度级别。在一些实施方式中，色域A被优化以实现最大可能的色域。

回到图3，在块308，电子处理器205将第一多个强度值转换成第一眼睛通道(例如，第一投影头的通道)的预定义原色的第三多个强度值，并将第二多个强度值转换成第二眼睛通道(例如，第二投影头的通道)的预定义原色的第四多个强度值。在一些实施方式中，第一眼睛通道和第二眼睛通道是同一投影头或投影设备的分离的通道。

在一些实施例中，将混合函数应用于色域A和色域B，以优化每个色域，使其接近视频数据的颜色空间(在本示例中，Rec2020)。换句话说，在这些实施例中，电子处理器205例如通过一个或多个混合函数将第一多个强度值和第二多个强度值转换成第一眼睛通道(例如，第一投影头的通道)的预定义原色的第三多个强度值。电子处理器205还例如通过一个或多个混合函数将第一多个强度值和第二多个强度值转换成第二眼睛通道(例如，第二投影头的通道)的预定义原色的第四多个强度值。下式[1]和[2]分别示出了在块308对于左眼通道和右眼通道执行的混合函数。

以及

R_L、G_L、B_L的矢量对应于第三多个强度值，例如右眼通道的原色，R_S、G_S、B_S的矢量对应于第四多个强度值，例如左眼通道的原色，其中R指的是红色原色，G指的是绿色原色，B指的是蓝色原色，下标L指的是“长”波长原色，下标S指的是“短”波长原色。在一些实施例中，右眼通道可以包括短波长原色，而左眼通道包括长波长原色。在这两个式子中，每个通道的色域A(包括R_A G_A B_A的矩阵)和色域B(包括R_B G_B B_B的矩阵)由混合矩阵(B_AL、B_BL、B_AS和B_BS的矩阵)缩放。混合矩阵的特定值可以是基于原色的位置和预定颜色空间确定的预定值。特定值也可能取决于所使用的投影/显示***(例如，投影头的类型)。下面更详细地描述了确定每种混合基质的示例方法。在本示例中，使用了以下混合矩阵值。

回到图3，在块310，电子处理器205基于第三多个强度值和第四多个强度值，动态地调整至少一个空间调制器(例如图1B和C中所示的调制器108)的像素水平。在***100是双头投影***的实施例中，调整每个投影头的调制器的像素水平。

如上所述，色域A被优化为尽可能接近预定义的色域，例如定义的标准颜色空间(例如Rec2020)，而色域B被用于来自预定义原色的任何残余能量。下面描述由处理器205实现的将接收的视频数据处理成色域A和B的两种示例性方法。

优化色域A的一种方法是缩放(例如，压缩)视频数据的色度以适合于光源102的可实现色域体积，这里称为色域缩放。在色域缩放方法中，定义了两个函数:

f_l(P)＝if(P<0.5),P,else 0.5

f_u(P)＝P-f_l(P)

P∈R₂₀₂₀,G₂₀₂₀,B₂₀₂₀

变量P表示接收到的视频数据的像素值，这里假设它是三色刺激Rec2020数据。函数f_l(P)表示色域A的查找表，而函数f_u(P)表示色域B的查找表。在本示例中，函数f_l(P)定义了从0到0.5增加的线性斜坡和超过0.5的平坦线，而函数fu(P)定义了从0到0.5的平坦线和从0.5起增加的线性斜坡。值0.5对应于亮度阈值。在一些实施例中，可以使用不同的亮度阈值。

对于接收到的视频数据的每个像素值，色域A和色域B如下导出:

换句话说，对于输入视频数据R₂₀₂₀、G₂₀₂₀和B₂₀₂₀的每个主通道，具有低于0.5(对应于***100的总亮度范围的50％和色域A的亮度范围的100％)的亮度水平的像素值被包括在色域A内，而超过0.5的像素值(意味着它们在色域A的亮度范围之外)被分配给色域B。导出的色域A和色域B信号然后被转换成如上关于块308以及式[1]和[2]所述的定义的原色。

将接收的视频数据处理到色域A中的另一种方法是对色度限幅以适合于色域A和B，以适合于光源102的可实现色域体积。首先，分别定义从源102的颜色空间到色域A和色域B的变换关系[C]_A和[C]_B。该推导可以如下执行。

已知用于左通道和右通道的归一化主矩阵(primary matrix)，两个通道中的任意点可被定义为:

其中，X、Y和Z的向量对应于任意点，NPM_LLL和NPM_SSS的矩阵分别对应于右眼通道和左眼通道的归一化主矩阵，R_L、G_L和B_L以及R_S、G_S和B_S的矩阵分别对应于右眼通道和左眼通道的非归一化矩阵。

上式[1]和[2]中定义的混合函数分别作为右眼通道和左眼通道的非归一化矩阵被代入。

将上述式子转换成主矩阵的形式，公式变为:

其中

[PM]_A＝[NPM]_LLL[B_AL]+[NPM]_SSS[B_AS]

以及

[PM]_B＝[NPM]_SSS[B_BS]+[NPM]_LLL[B_BL]

已知Rec2020的归一化主矩阵如下:

[NPM]_2020

从源Rec2020向量到色域A和B的变换分别是:

其中

以及

其中

如上所述，色域A用于较低的亮度水平，而色域B在适用的情况下用于实现较高的亮度水平。与其中色域A的亮度范围在所有通道上都是相同的色域缩放方法相反，而在这里，阈值向量被用作亮度阈值，这意味着色域A的亮度范围在每个通道中都不同。代表Rec2020空间中“A”和“B”色域之间的转换的阈值向量可以如下找到:

换句话说，阈值向量中的每个阈值是基于第一虚拟色域到预定义色域的变换而确定的。然后定义以下函数:

f_l(P)＝如果(P<T_P),P,否则T_P

f_u(P)＝P-f_l(P)

P∈R₂₀₂₀,G₂₀₂₀,B₂₀₂₀

变量P表示接收到的视频数据的像素值，这里假设它是三色刺激Rec2020数据。类似于上述色域缩放方法的函数f_l(P)和f_u(P),函数f_l(P)再次表示色域A的查找表，而函数f_u(P)表示色域B的查找表。在本示例中，函数f_l(P)定义了从0增加到阈值向量中定义的特定通道的阈值的线性斜坡，以及超过特定阈值的平坦线，而函数f_u(P)定义了从0到特定阈值的平坦线，以及从特定阈值起增加的线性斜坡。同样，这里特定阈值分别对应于色域A的每个通道的亮度阈值。在一些实施例中，函数f_l(P)和f_u(P)可以定义不同于上述线性斜坡的转换(只要函数的和等于1)。例如，函数f_l(P)和f_u(P)中的任一者或两者可以将曲线定义为到平坦线的曲线。

对于所接收到的视频数据的每个像素值，色域A和色域B被如下导出:

换句话说，对于输入视频数据R2020、G2020和B2020的每个主通道，亮度水平低于阈值向量的相应阈值T_R、T_G和T_B(对应于色域A的特定亮度范围)的像素值被包括在色域A内，而超过特定阈值的像素值(意味着它们在色域A的亮度范围之外)被分配给色域B。

如下式[3]和[4]所示，所导出的色域A和色域B的为负值的任何强度值然后被限幅为0。

在一些实现中，负值被限幅为1(或白色)而不是0。然后，所导出的色域A和色域B信号被转换成如上文关于块308以及上式[1]和[2]所述的定义的原色。

在另一个实施方式中，使用以下函数来实现色域缩放:

f_u(P)＝P-T₂₀₂₀

P∈R₂₀₂₀,G₂₀₂₀,B₂₀₂₀

在本示例中，变量P表示所接收到的视频数据的像素值，这里假设该数据是三色刺激Rec 2020数据。函数f_u(P)计算对***限幅行为的上限色域影响，并定义了线性斜坡，其从在阈值向量中定义的特定通道的阈值起在正方向上增加并从同一阈值起在负方向上减少的。

可基于B色域的残差来调整A色域。例如，B色域的推导如下:

其中

[C]_B+＝max(0,[C]_B)

所得到的B色域包括多个正像素值和多个负像素值。多个负像素值被设置为预定值(即，被限幅)以获得B色域的残差，被如下导出:

其中

L_R,L_G,L_B∈[0,1]

换句话说，被导出色域B的作为负值的任何强度值首先被限幅为0。然后，被导出色域B的任何相应强度值被设置为(1)限幅动作之后的强度值或者(2)预定阈值L中的最小值。预定阈值可以是0和1之间的任何值，例如0.5。作为一个例子，如果预定阈值是0.5，则任何高于0.5的强度值被设置为0.5，并且任何低于0.5的强度值保持相同的值。

限幅的色域B强度值然后被转换回所定义的标准颜色空间(例如Rec2020)，并被从初始视频数据中减去，如下定义:

其中R₂₀₂₀、G₂₀₂₀和B₂₀₂₀是所定义的标准颜色空间中视频数据的R、G、B值。

然后，基于所定义的标准颜色空间内的剩余视频数据来处理色域A:

然后，最大化的像素值被添加到色域A中，以添加白色，并将任何负的强度值带回到相应的色域中，同时保持所获得的色调。在一些实施方式中，不是将所导出的色域B的作为负值的任何强度值限幅到0，而是可以将最大化的像素值添加到色域B以添加白色。可以根据下式在色域A中计算源白点:

白点向量必须缩放的能使得当添加到像素时清除所有负强度值的最小量为:

Clip_A＝min(R_AfR_{A_WP_RECIP},G_AG_{A_WP_RECIP},B_AfB_{A_WP_RECIP},0)

白点向量以这个量缩放，使得色域A的最低值分量为零。

上面的式[1]和式[2]分别用于计算第一投影设备112A和第二投影设备112B的驱动值。这些驱动值定义了投影仪***的输出色域。

色域限幅方法将颜色限幅到色域A和B的边缘，其对于任何投影仪***，可以被创建为大致相同。换句话说，由一个投影仪产生的颜色可以由任何其他种类的投影仪忠实地再现，而不管源原色是否相同。

作为替代，在对负值限幅之前，可以将混合函数应用于色域A和B。通过将混合函数应用于每个色域，每个色域的值被转换成所接收到的视频数据的颜色空间的预定义原色。然后限幅可被如下所示地应用。

这种方法使得任何投影仪***的特定原色的色域覆盖范围最大化。

输出色域主要在低亮度使用三原色，而在较高亮度使用六原色。然而，这样的***可能易于出现位变异构故障(metameric failure)，其中观察者基于亮度不同地感知颜色。例如，随着更多的色域B被混合，投影***输出的光谱形状被改变。这可以通过尽可能多地使用六种原色并限制对于目标色域的子集使用三种原色来减轻。在一些实施方式中，这是通过将输出色域与投影***的原生色域混合来实现的。原生色域可以是投影仪***特有的色域，并且基于投影***的特定配置。因此，它可能因投影仪而异。原生色域被定义为一组三原色Rc、Gc、Bc，它们同等地得出长原色和短原色。例如:

色域C的主矩阵被定义为:

在一些实施方式中，[B_AL]+[B_AS]＝I₃，并且[B_BL]+[B_BS]＝I₃，[PM]_C可被定义为:

其中

为了从定义的标准颜色空间(例如Rec2020)向量转换到色域C:

其中

提供给第一投影设备112A和第二投影设备112B的原生驱动值由下式确定:

类似于色域A和B，根据下式，白色可以被添加到原生驱动值，以将任何负的强度值返回到色域C中，同时保持视频数据的色调:

可能存在长色域、短色域和原生色域(L色域、S色域和C色域)共享相同白点(例如D65)的情况。在这些情况下，白点和白点的倒数都等于[1，1，1]，并且将白色加到原生驱动值的计算简化为:

输出驱动值和原生驱动值可以根据混合函数

进行混合，该混合函数基于所定义的标准颜色空间的某种质量返回[0，1]中的标量值。例如，b可以具有以下形式:

b＝h(g(P)),其中

P∈R₂₀₂₀,G₂₀₂₀,B₂₀₂₀

是“质量”函数，并且

是“信号传递函数”

下面提供了示例性的b函数:

其中

是强度值饱和函数,

是线性信号传递函数的控制点

因此，用于输出色域和原生色域的混合的最终驱动值是:

在另一实现中，在输出色域的计算期间，输出色域和原生色域被直接混合。例如，如果[B_AL]+[B_AS]＝I₃并且[B_BL]+[B_BS]＝I₃(例如，利用最大的光)，则:

因此，同等地驱动色域A和B等同于同等地驱动长色域和短色域。通过相应地重新定义函数f_l(P)和f_u(P)，所定义的标准颜色空间可以在色域A和B之间平均分割:

f_l(P)＝if(g(P)<T₂₀₂₀),g(P),否则T₂₀₂₀

f_u(P)＝P-f_l(P),其中

P∈R₂₀₂₀,G₂₀₂₀,B₂₀₂₀

g(P)＝P*(1+b(P))*0.5

图4示出了色度图400。图400包括与显示***100相关联的色域和目标色域(这里为Rec2020)。色域402是Rec2020色域。色域404是由右眼通道的(长)原色R_L、G_L和B_L(LLL原色)定义的色域，而色域406是由左眼通道的(短)原色R_S、G_S和B_S(SSS原色)定义的色域。色域416是通过用相同的值驱动右眼和左眼通道的原色来定义的色域(“WCG”色域)。如图所示，色域408明显不同于Rec2020色域402。色域410是虚拟色域A，色域412是虚拟色域B。如上所述，色域A被定义为虚拟原色的组合，以尽可能接近Rec2020色域402，而色域B由在减去用于色域A的能量之后的虚拟原色的剩余能量输出来定义。如图所示，与总和色域408相比，色域A(色域410)更接近地匹配Rec2020色域402。

图5A示出了色度图500A，其包括上面关于图4描述的色域402、404、406、408、410和412。色度图500A包括输入色度(用黑色标记的色度)、和使用上述色域限幅方法实现的得到的输出色度(灰色)。将任何输入色度点连接到输出色度点的线(例如，将输入点502A连接到输出点502B的线)指示输入颜色是如何被改变的(如果需要的话)。注意，在图示的图500A中，最大输入大于亮度阈值，因此没有利用色域B，并且使用了上述第二限幅方法。

图5B示出了色度图500B，其包括上面关于图4描述的色域402、404、406、408、410和412。色度图500B包括输入色度(黑色)和使用上述色域限幅方法实现的得到的输出色度(灰色)。在图示的图500B中，最大输入小于亮度阈值，因此利用了色域B。

如上所述，混合矩阵是基于与Rec2020相比的原色位置被确定的导出值。具体地，混合矩阵被定义为将右眼通道和左眼通道的短原色和长原色分别放置在特定的期望位置。确定用于每个原色的混合矩阵的示例方法如下所述。

图6A示出了图4的色度图400的增强视图600A。如视图600A所示，短红色原色RS和长红色原色RL都在Rec2020色域402之外。因此，可以将色域A带入Rec2020色域402内。为了确定红色原色R的混合矩阵，一种方法是将原色绑定到Rec2020色域。这可以通过对于色域A将长绿色波长与短红色波长(RS)混合，以及对于色域B将长红色波长(RL)与短红色波长混合来实现。通过找到所得到的色度和Rec2020边界之间的最小距离点或交点，长红色波长和短红色波长与Rec2020边界之间的距离被最小化。然后，该位置用于定义混合矩阵。例如，增强视图600A的线表示长红色和短绿色波长的混合。点A表示混合物与Rec2020色域相交的位置。

另一种方法是，为了不受Rec2020色域的限制，最大化所得到的色域的覆盖范围。图6B示出了图4的色度图400的增强视图600B。这里，从Rec2020色域的蓝色和绿色原色之间的线到长红色(RL)和短红色(RS)波长的混合物的最长距离点。这导致对于色域A使用长红色，对于色域B使用短红色。

图7A示出了图4的色度图400的增强视图700A。如视图700A所示，短绿色原色GS和长绿色原色GL两者都围绕Rec2020色域402。同样，因此可以将色域A带入Rec2020色域402内。这里，通过定义两个绿色原色之间的线B与Rec2020边界的交点，原色被绑定到Rec2020色域402。然后，该位置用于定义混合矩阵。绿点C表示色域A绿色原色所在的点。

另一种方法是，为了不受Rec2020色域的限制，最大化所得到的色域的覆盖范围。图7B示出了图4的色度图400的增强视图700B。这里，从Rec2020色域的红色和蓝色原色之间的线到长绿色(GL)和短绿色(GS)波长的混合物的最长距离点。这导致使用短的绿色波长。

图8A示出了图4的色度图400的增强视图800A。如视图800A所示，短蓝色原色BS和长蓝色原色BL两者都位于Rec2020色域402之外。两种原色都朝向Rec2020色域402的边界向外。这里，通过定义长蓝色原色和短绿色波长之间的线D与Rec2020边界的交点，原色被绑定到Rec2020色域402。然后，该位置用于定义混合矩阵。点E表示色域A蓝色原色所在的点。

另一种方法是不将蓝色原色绑定到Rec2020色域，例如，最大化所得到的色域的覆盖范围。图8B示出了图4的色度图400的增强视图800B。这里，从Rec2020色域的红色和绿色原色之间的线到长蓝色(BL)和短绿色(GS)波长的混合物的最长距离点。然后，该位置用于定义混合矩阵。如图所示，长蓝色原色用于色域A，而短蓝色原色用于色域B。

在前面段落中公开的一些实施例中，阈值可以用于在‘A’和‘B’色域之间分割像素RGB码字范围。然后，“B”色域中的像素可以被限幅于该色域的边缘。残差(由于限幅而丢失的部分)被加回到‘A’色域中进行处理。另一方面，在一些其他实施例中，可以从输入像素中减去阈值以产生正值和负值。然后，该过程将这些值推入“B”色域，对结果进行限幅，将残差推入“A”色域。这种技术更多地利用了“B”色域，这样减少了整体限幅。下面的章节3-3.2示出了所公开的实施例的例子。

在前面段落中公开的一些实施例中，应用矩阵来将源转换成目标(“A”或“B”色域)，这可能导致负RGB值被限幅。此外，色调偏移可能难以管理。另一方面，在一些其他实施例中，使用限幅方法来表示不适合于三维颜色体积的颜色。该技术保留了色调，而仅仅是将被限幅像素去饱和。这使得颜色分级过程更加容易。当配色师推动亮度或饱和度并触及三维颜色体积的边缘时，他们将仅仅看到去饱和，这是直观识别的。

上述投影***和方法可以提供宽色域成像的渲染。根据本公开的***、方法和设备可以采用以下配置中的任何一种或多种。

(1)一种投影***，包括:第一投影设备；第二投影设备；至少一个空间调制器；和电子处理器，被配置为:接收二维视频数据；从视频数据生成第一色域的虚拟原色的第一多个强度值和第二色域的虚拟原色的第二多个强度值；从第二色域的多个像素值中减去亮度阈值，以产生多个正像素值和多个负像素值；将第二色域的多个负像素值中的相应像素值设置为预定值，以获得第二色域的残差；将第二色域的残差加到第一色域；将最大化的像素值添加到二维图像数据内的第一色域和第二色域，以创建输出色域；将输出色域与投影***的原生色域混合，以生成混合色域；并且基于混合色域驱动第一投影设备和第二投影设备。

(2)根据(1)所述的投影***，其中，所述电子处理器还被配置为:从第一色域的多个像素值中减去亮度阈值，以产生第二多个正像素值和第二多个负像素值；和将第一色域的第二多个负像素值中的相应像素值设置为预定值，以获得第一色域的残差。

(3)根据(1)或(2)中任一个所述的投影***，其中，所述第一色域由第一红色波长、第一绿色波长和第一蓝色波长组成，其中所述第二色域由第二红色波长、第二绿色波长和第二蓝色波长组成，其中所述第一红色波长不同于所述第二红色波长，其中所述第一绿色波长不同于所述第二绿色波长，并且其中所述第一蓝色波长不同于所述第二蓝色波长。

(4)根据(1)至(3)中任一项所述的投影***，其中，所述投影***的原生色域是在其中所述投影***同等地驱动所述第一色域和所述第二色域两者的色域。

(5)根据(1)至(4)中任一项所述的投影***，其中第一投影设备投影由第一色域的第一混合组成的第一图像，并且其中第二投影设备投影由第二色域的第二混合组成的第二图像。

(6)根据(1)至(5)中任一项所述的投影***，其中，电子处理器还被配置为基于与所述亮度阈值的比较，生成所述第一虚拟色域的虚拟原色的第一多个强度值和第二虚拟色域的第二多个强度值。

(7)根据(6)所述的投影***，其中，所述电子处理器还被配置成将所述第一多个强度值转换成显示***的第一投影头的预定义原色的第三多个强度值，并将所述第二多个强度值转换成显示***的第二投影头的预定义原色的第四多个强度值。

(8)根据(1)至(7)中任一项所述的投影***，其中，将输出色域与原生色域混合包括将最大化的像素值添加到原生色域。

(9)根据(1)至(8)中任一项所述的投影***，其中，所述亮度阈值是基于预定义颜色空间中的第一色域和第二色域之间的关系的向量。

(10)根据(1)至(9)中任一项所述的投影***，其中，将所述输出色域与所述原生色域混合维持所述二维视频数据的色调，或者保持所述二维视频数据的色度。

(11)一种通过投影***渲染宽色域图像的方法，所述投影***包括第一投影设备、第二投影设备、和至少一个空间调制器，该方法包括:接收二维视频数据，第一色域的虚拟原色的第一多个强度值和第二色域的虚拟原色的第二多个强度值，从第二色域的多个像素值中减去亮度阈值，以产生多个正像素值和多个负像素值；将第二色域的多个负像素值中的相应像素值设置为预定值，以获得第二色域的残差；将第二色域的残差加到第一色域；将最大化的像素值添加到二维图像数据内的第一色域和第二色域，以创建输出色域；将输出色域与投影***的原生色域混合，以生成混合色域；并且基于混合色域驱动第一投影设备和第二投影设备。

(12)根据(11)所述的方法，所述方法还包括:从第一色域的多个像素值中减去亮度阈值，以产生第二多个正像素值和第二多个负像素值；和将第一色域的第二多个负像素值中的相应像素值设置为预定值，以获得第一色域的残差。

(13)根据(11)或(12)中任一个所述的方法，其中，所述第一色域由第一红色波长、第一绿色波长和第一蓝色波长组成，其中所述第二色域由第二红色波长、第二绿色波长和第二蓝色波长组成，其中所述第一红色波长不同于所述第二红色波长，其中所述第一绿色波长不同于所述第二绿色波长，并且其中所述第一蓝色波长不同于所述第二蓝色波长。

(14)根据(11)至(13)中任一项所述的方法，其中，所述投影***的原生色域是在其中所述投影***同等地驱动所述第一色域和所述第二色域两者的色域。

(15)根据(11)至(14)中任一项所述的方法，其中第一投影设备投影由第一色域的第一混合组成的第一图像，并且其中第二投影设备投影由第二色域的第二混合组成的第二图像。

(16)根据(11)至(15)中任一项所述的方法，其中，方法还包括基于与所述亮度阈值的比较，生成所述第一虚拟色域的虚拟原色的第一多个强度值和第二虚拟色域的第二多个强度值。

(17)根据(16)所述的方法，其中，所述方法还包括将所述第一多个强度值转换成显示***的第一投影头的预定义原色的第三多个强度值，并将所述第二多个强度值转换成显示***的第二投影头的预定义原色的第四多个强度值。

(18)根据(11)至(17)中任一项所述的方法，其中，将输出色域与原生色域混合包括将最大化的像素值添加到原生色域。

(19)根据(11)至(18)中任一项所述的投影***，其中，所述亮度阈值是基于预定义颜色空间中的第一色域和第二色域之间的关系的向量。

(20)一种存储指令的非暂时性计算机可读介质，当由投影***的处理器执行该指令时，使得投影***执行包括根据权利要求11的方法的操作。

关于在此描述的过程、***、方法、启发法等，应该理解的是，尽管这些过程的步骤等已经被描述为根据特定的有序序列发生，但是这些过程可以用以不同于这里描述的顺序执行的所描述的步骤来实践。还应该理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略这里描述的某些步骤。换句话说，这里的过程描述是为了说明某些实施例的目的而提供的，并且不应该以任何方式被解释为限制权利要求。

因此，应该理解的是，上面的描述是说明性的，而不是限制性的。在阅读以上描述时，除了所提供的示例之外的许多实施例和应用将是显而易见的。不应该参照上面的描述来确定范围，而是应该参照所附的权利要求以及这些权利要求的等同物的全部范围来确定范围。预期并打算在本文讨论的技术中出现未来的发展，并且所公开的***和方法将被结合到这样的未来实施例中。总之，应该理解，本申请能够修改和变化。

权利要求中使用的所有术语旨在给出其最广泛的合理解释和其普通含义，如本文所述技术领域的技术人员所理解的，除非本文中有相反的明确指示。特别是如“一个”、“该”、“所述”等的单数冠词的使用应该被理解为叙述所指出的元件中的一个或多个，除非权利要求叙述了相反的明确限制。

提供本公开的摘要以允许读者快速确定技术公开的性质。提交它是基于这样的理解，即它将不被用来解释或限制权利要求的范围或含义。此外，在前面的具体实施方式中，可以看出，出于简化本公开的目的，各种特征在各种实施例中被组合在一起。这种公开方法不应被解释为反映了要求保护的实施例结合了比每个权利要求中明确记载的特征更多的特征的意图。相反，如以下权利要求所反映的，发明主题少于单个公开的实施例的所有特征。因此，以下权利要求由此被结合到具体实施方式中，每个权利要求本身作为单独要求保护的主题。

Claims

1.一种投影***，包括:

第一投影设备；

第二投影设备；

至少一个空间调制器；和

电子处理器，被配置为:

接收二维视频数据；

从视频数据生成第一色域的虚拟原色的第一多个强度值和第二色域的虚拟原色的第二多个强度值；

从第二色域的多个像素值中减去亮度阈值，以产生多个正像素值和多个负像素值；

将第二色域的多个负像素值中的相应像素值设置为预定值，以获得第二色域的残差；

将第二色域的残差加到第一色域；

将最大化的像素值添加到二维图像数据内的第一色域和第二色域，以创建输出色域；

将输出色域与投影***的原生色域混合，以生成混合色域；

基于混合色域驱动第一投影设备和第二投影设备。

2.根据权利要求1所述的投影***，其中，所述电子处理器还被配置为:

从第一色域的多个像素值中减去亮度阈值，以产生第二多个正像素值和第二多个负像素值；和

将第一色域的第二多个负像素值中的相应像素值设置为预定值，以获得第一色域的残差。

3.根据权利要求1至2中任一项所述的投影***，其中，所述第一色域由第一红色波长、第一绿色波长和第一蓝色波长组成，其中所述第二色域由第二红色波长、第二绿色波长和第二蓝色波长组成，其中所述第一红色波长不同于所述第二红色波长，其中所述第一绿色波长不同于所述第二绿色波长，并且其中所述第一蓝色波长不同于所述第二蓝色波长。

4.根据权利要求1至3中任一项所述的投影***，其中，所述投影***的原生色域是在其中所述投影***同等地驱动所述第一色域和所述第二色域两者的色域。

5.根据权利要求1至4中任一项所述的投影***，其中第一投影设备投影由第一色域的第一混合组成的第一图像，并且其中第二投影设备投影由第二色域的第二混合组成的第二图像。

6.根据权利要求1至5中任一项所述的投影***，其中，所述电子处理器还被配置为基于与所述亮度阈值的比较，生成所述第一虚拟色域的虚拟原色的第一多个强度值和第二虚拟色域的第二多个强度值。

7.根据权利要求6所述的投影***，其中，所述电子处理器还被配置成将所述第一多个强度值转换成显示***的第一投影头的预定义原色的第三多个强度值，并将所述第二多个强度值转换成显示***的第二投影头的预定义原色的第四多个强度值。

8.根据权利要求1至6中任一项所述的投影***，其中，将输出色域与原生色域混合包括将最大化的像素值添加到原生色域。

9.根据权利要求1至8中任一项所述的投影***，其中，所述亮度阈值是基于预定义颜色空间中的第一色域和第二色域之间的关系的向量。

10.根据权利要求1至9中任一项所述的投影***，其中，将所述输出色域与所述原生色域混合维持所述二维视频数据的色调，或者保持所述二维视频数据的色度。

11.一种通过投影***渲染宽色域图像的方法，所述投影***包括第一投影设备、第二投影设备、和至少一个空间调制器，该方法包括:

接收二维视频数据；

将第二色域的残差加到第一色域；

将最大化的像素值添加到二维图像数据内的第一色域和第二色域，以创建输出色域；以及

将输出色域与投影***的原生色域混合，以生成混合色域；

基于混合色域驱动第一投影设备和第二投影设备。

12.根据权利要求11所述的方法，进一步包括:

13.根据权利要求11至12中任一项所述的方法，其中，所述第一色域由第一红色波长、第一绿色波长和第一蓝色波长组成，其中所述第二色域由第二红色波长、第二绿色波长和第二蓝色波长组成，其中所述第一红色波长比所述第二红色波长短，其中所述第一绿色波长比所述第二绿色波长短，并且其中所述第一蓝色波长比所述第二蓝色波长短。

14.根据权利要求11至13中任一项所述的方法，其中，所述投影***的原生色域是在其中所述投影***同等地驱动所述第一色域和所述第二色域两者的色域。

15.根据权利要求11至14中任一项所述的方法，其中第一投影设备投影由第一色域的第一混合组成的第一图像，并且其中第二投影设备投影由第二色域的第二混合组成的第二图像。

16.根据权利要求11至15中任一项所述的方法，其中，所述方法进一步包括基于与所述亮度阈值的比较，生成所述第一虚拟色域的虚拟原色的第一多个强度值和第二虚拟色域的第二多个强度值。

17.根据权利要求16所述的方法，其中，所述方法进一步包括将所述第一多个强度值转换成显示***的第一投影头的预定义原色的第三多个强度值，并将所述第二多个强度值转换成显示***的第二投影头的预定义原色的第四多个强度值。

18.根据权利要求11至16中任一项所述的方法，其中，将输出色域与原生色域混合包括将最大化的像素值添加到原生色域。

19.根据权利要求11至18中任一项所述的方法，其中，所述亮度阈值是基于预定义颜色空间中的第一色域和第二色域之间的关系的向量。

20.一种非暂时性计算机可读介质，存储有指令，所述指令在由投影***的处理器执行时，使得投影***执行包括根据权利要求11所述的方法的操作。