CN102947876B - 在局部调光显示器上显示图像 - Google Patents

在局部调光显示器上显示图像 Download PDF

Info

Publication number
CN102947876B
CN102947876B CN201180030589.4A CN201180030589A CN102947876B CN 102947876 B CN102947876 B CN 102947876B CN 201180030589 A CN201180030589 A CN 201180030589A CN 102947876 B CN102947876 B CN 102947876B
Authority
CN
China
Prior art keywords
components
image
image data
value
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180030589.4A
Other languages
English (en)
Other versions
CN102947876A (zh
Inventor
A·尼南
贾文辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN102947876A publication Critical patent/CN102947876A/zh
Application granted granted Critical
Publication of CN102947876B publication Critical patent/CN102947876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • G09G3/342Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • G09G3/3426Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines the different display panel areas being distributed in two dimensions, e.g. matrix
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0238Improving the black level
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • G09G2320/062Adjustment of illumination source parameters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/0646Modulation of illumination source brightness and image signal correlated to each other
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428Gradation resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Liquid Crystal (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明描述了显示器、显示器部件、图像和视频处理装置以及相关的方法。用于驱动局部调光显示器的方法包括:由第一图像数据分量产生用于驱动空间光调制器的像素的控制值,和由第二图像数据分量产生用于驱动背光元件的控制值。第一和第二图像数据分量可以分别包括色调映射和比率图像。用于空间光调制器和/或背光的控制值可以利用成本有效的硬件来获得。

Description

在局部调光显示器上显示图像
技术领域
本发明涉及用于显示静止图像或移动图像的显示器。本发明具体涉及‘局部调光’或‘双调制’或‘多调制’显示器。
背景技术
某些显示器并入了包括光发射器阵列的背光,光发射器能够被独立控制。来自背光的光通过诸如LCD面板之类的空间光调制器(‘SLM’)被调制以显示图像。因为背光可以在图像暗的区域中被局部减光,所以这样的显示器能提供增大对比度的优点。
在以下专利和专利申请中描述了在其中能够控制入射到空间光调制器上的光量的显示器的一些非限制示例:
2005年5月10日提交并命名为“High Dynamic Range DisplayDevices”的美国专利No.6891672;
2008年7月22日提交并命名为“High Dynamic Range DisplayDevices”的美国专利No.7403332;
2008年7月31日公布并命名为“Rapid Image Rendering on Dualmodulator Displays”的美国专利公布No.2008/0180466;
2002年9月6日公布并命名为“High Dynamic Range DisplayDevices”的PCT公布No.WO2002/069030;
2003年9月18日公布并命名为“High Dynamic Range DisplayDevices”的PCT公布No.WO2003/077013;
2005年11月10日公布并命名为“Method for EfficientComputation of Image Frames for Dual Modulation Display SystemsUsing Key Frames”的PCT公布No.WO2005/107237;
2006年2月2日公布并命名为“Rapid Image Rendering on Dual Modulator Displays”的PCT公布No.WO2006/010244;
2006年6月29日公布并命名为“Wide Color Gamut Displays”的PCT公布No.WO2006/066380;以及
2008年8月7日公布并命名为“Calibration of Displays HavingSpatially-Variable Backlight”的PCT公布No.WO2008/092276;
其中的所有通过参考被并入于此,用于所有目的。
背光局部调光型或双调制型显示器需要具有某些机制,用于控制背光的元件。期望的是,以产生优良质量的图像的方式控制背光。同时,成本是个问题,所以期望以更便宜的硬件实现对于背光元件的控制。
Ward等人在2005年11月3日公开并且命名为“Encoding,Decoding and Representing High Dynamic Range Images”的PCT专利WO2005/104035(“Ward”)中描述了可以用于编码高动态范围图像的格式。该格式提供了包含图像的低动态范围版本的第一部分和包含能够用于修改图像的低动态范围版本以恢复图像的高动态范围版本的信息的第二部分。由此,Ward通过引用被合并于此,用于所有目的。
仍然存在这样的需要:对于在具有局部调光背光的显示器上显示图像的有效方式的需求,以及对于能够提供优良质量的图像的成本高效的局部调光显示器的需求。
除非另外指明,否则对于此部分中的任何方法或文档的参考并不承认该方法或文档构成现有技术。
发明内容
本发明具有多个方面。这些方面包括显示器、可以并入到显示器中的图像和视频处理部件、以及图像和视频处理方法。
一个方面提供了一种用于驱动局部调光显示器的装置。该显示器可以包括背光和空间光调制器,该背光包括多个单独可控的元件。该装置可以可选地与定时控制器、背光控制器或在显示器中的信号处理 路径的其他部件集成。该装置包括:解码器,被配置为提取第一图像数据分量和第二图像数据分量,该第一和第二图像数据分量能够被组合以产生图像的较高动态范围版本。第一图像数据分量包括图像的较低动态范围版本。装置的第一***被配置为基于第一图像数据分量产生用于空间光调制器的第一驱动信号。装置的第二***被配置为基于第二图像数据分量或基于第一和第二图像分量的组合产生用于背光的第二驱动信号。
第二***可以包括以下中的一个或多个:向下采样器,其被配置为向下采样所述第二图像数据分量;驱动值计算器,其被配置为归一化所述第二图像数据分量;和线性化器。
在一些实施例中,第一图像数据包括色调映射,以及所述第一***包括:光场模拟器,被配置为产生估计的光场,在施加所述第二驱动信号以驱动所述背光时在所述空间光调制器处将产生该估计的光场;以及色调映射调节器,被配置为根据所述估计的光场改变所述色调映射。
第一***可以包括一个或多个图像处理级。图像处理级可以包括以下的一个或多个:色彩校正级;和锐化滤波器。
本发明的另一方面提供了用于驱动局部调光显示器的方法。该显示器包括背光和空间光调制器。该背光包括多个单独可控的元件。该方法包括:获得能够被组合以产生图像的较高动态范围版本的第一和第二图像数据分量。该第一图像数据分量包括图像的较低动态范围版本。该方法基于第一图像数据分量产生用于空间光调制器的第一驱动信号,以及基于第二图像数据分量或基于第一和第二图像数据分量的组合产生用于背光的第二驱动信号。
在一些实施例中,该方法包括将第二图像数据的值修整到参考值。
产生第二驱动信号可以包括以下的一个或多个:向下采样第二图像数据;将第二图像数据分量线性化。
产生第一驱动信号可以包括图像处理步骤。该图像处理步骤可以 包括以下的一个或多个:向第一图像数据分量施加锐化滤波器;向第一图像数据分量施加色彩校正。
本发明的另一方面提供了携带计算机可读指令的非临时性计算机可读介质,当计算机处理器执行该指令时,使得计算机处理器执行用于驱动局部调光显示器的方法。该显示器可以是包括背光和空间光调制器的类型,该背光包括多个单独可控的元件。该方法包括:获得能够被组合以产生图像的较高动态范围版本的第一和第二图像数据分量,该第一图像数据分量包括图像的较低动态范围版本;基于第一图像数据分量产生用于空间光调制器的第一驱动信号;以及基于第二图像数据分量或基于第一和第二图像数据分量的组合产生用于背光的第二驱动信号。
上述方面是非限制的。本发明的另外方面和示例实施例的特征在附图和随后的详细描述中说明。
附图说明
附图示出示例非限制实施例。
图1是示出根据示例实施例的显示装置的框图。
图2是示出根据另一示例实施例的显示装置的框图。
图3是示出根据另一示例实施例的显示装置的框图。
图4是示出根据示例实施例的方法的流程图。
图5是示出根据另一示例实施例的方法的流程图。
图6是示出根据另一示例实施例的显示装置的框图。
具体实施方式
在整个以下的描述中,阐述具体细节以便使得本领域技术人员的理解更透彻。然而,可以不显示或详细描述已知的元件以避免不必要地模糊本公开。因此,说明书和图将被理解为说明性的涵义,而不是限制的涵义。
图1示出根据发明的示例实施例的装置10。装置10接收包括第 一部分12A和第二部分12B的输入图像数据12。第一部分12A编码较高动态范围图像的较低动态范围版本(例如较高动态范围图像的色调映射版本),第二部分12B包含可以与第一部分12A组合地应用以提供图像的较高动态范围版本的信息。在一些实施方式中,第二部分12B包括可以用来乘以由第一部分12A提供的像素值(例如亮度值)以产生较高动态范围图像的值。在一些实施方式中,第二部分12B包括具有像素值的图像,所述像素值是较高动态范围图像的像素值与较低动态范围图像的像素值的比率。在一些实施方式中,第二部分12B具有图像的格式。在这样的实施例中,第二部分12B具有比第一部分12A低的分辨率。第二部分12B可以通过适当的图像编解码器方式编码。部分12A和12B可以例如包括色调映射数据和比例数据,如Ward所描述。
装置10产生用于空间光调制器15的控制信号14。空间光调制器的示例是LCD面板。然而,空间光调制器15可以以任何技术为基础。控制信号14可以包括例如与用于空间光调制器15的像素的亮度值相对应的值。
如果空间光调制器15是其中像素包括彩色子像素的彩色空间光调制器,诸如RGB LCD面板或RGBW LCD面板,则一组控制信号14可以被提供以控制每一类的子像素。
控制信号14可以直接施加到空间光调制器15或通过适当的驱动电路17而施加。驱动电路17可以例如包括串行或并行数据总线,该数据总线连接到在控制器(诸如定时控制(T-CON)芯片)上的适当的接收器,该控制器控制空间光调制器15。在一些实施方式中,总线包括低电压差分信号传输(LVDS)数据路径。
装置10还产生用于背光22的控制信号20,该背光22包括单独可控的元件24。单独可控的元件24每个被配置为非均匀地照射空间光调制器15。例如当单独可控的元件24之一被控制以发射光到空间光调制器15上时,根据扩展函数,在空间光调制器15上的光分布可以在空间光调制器15的、与特定单独可控的元件24相对应的一个区 域中提供最大的光强度,以及提供随着人离开空间光调制器15上的相对应的区域而减小的强度。用于不同的单独可控的元件24的扩展函数可以重叠使得空间光调制器15的像素可以从多个单独可控的元件24接收光。
背光控制信号20控制由可控制元件24发射到空间光调制器15上的光的强度。控制信号20可以直接施加到空间光调制器22或通过适当的驱动电路19而施加。
可控制元件24可以以二维阵列布置,包括多个行或多个列的可控制元件24。在一些实施方式中,单独可控的元件24包括发光半导体结,诸如发光二极管(LED)。在图示的示例实施例中,背光22包括LED阵列25,每个单独可控的元件24包括一个或多个LED 25。在其他实施例中,背光22可以包括背光空间光调制器,每个单独可控的元件24可以包括该背光空间光调制器的一个或多个元件,其可以被控制以使得变化量的光从光源通过到达空间光调制器15上。
图1示出的实施例的一个特征是背光控制信号20从图像数据12的第二部分12B产生。用于从第二部分12B产生背光控制信号20的具体过程将依赖于第二部分12B中的数据的性质以及依赖于数据已经被编码的方式。
在图示的实施例,第二部分12B包括JPEG编码的比率图像,装置10包括对第二部分12B解码以提供比率数据31的JPEG解码器30。比率数据31以非线性比例表示,因此产生线性化的比率数据33的线性化器32跟在JPEG解码器30后面。必要时,线性化的比率数据通过向下采样器34被向下采样到可控制元件24的分辨率,控制信号20将被产生以用于该可控制元件24。向下采样的比率数据35被提供到驱动值计算器,该驱动值计算器确定控制值37,该控制值37将被施加以控制单独可控的背光元件24。在图示的实施例中,控制值37控制根据控制值产生控制信号20的驱动电路19。滤波器或其他图像处理级38可选地包括在用于产生控制值37的路径中。
驱动值计算器36可以以多种方式产生控制值。在一些实施方式 中,每当向下采样的比率数据35中的对应值(多个对应值)超过阈值时,用于单独可控的元件24的控制值被修整到预定值。例如,预定值可以对应于将对应元件24设定为完全开启(处于最大亮度)的值。
在一些实施方式中,驱动值计算器36通过包括使比率数据归一化的处理来产生控制值。归一化可以通过例如用比率数据的所有值除以代表值而完成。代表值可以包括极大值、平均值、均值、中值、X百分位值等。在一些实施方式中,超过代表值的比率数据的值被修整到代表值。
装置10包括对于图像数据12的第一部分12A解码的JPEG解码器30。解码第一部分12A的JPEG解码器30可以与解码第二部分12B的JPEG解码器相同或不同。所得的色调映射数据41可选地通过一个或多个图像处理级42。图像处理级可以包括例如色彩校正级43。如果存在的话,色彩校正级43可以对色调映射数据41执行颜色变换(例如通过将色彩座标值乘以适当的彩色变换矩阵)以补偿背光22和空间光调制器15的色彩特性。
锐化滤波器44也可选地存在。如果存在锐化滤波器44和色彩校正级43两者,则可以在色彩校正级43之前或之后设置锐化滤波器44。
所得的(可选地,校正的和/或锐化的和/或经受其他图像处理的)色调映射数据被处理以确定用于空间光调制器15的像素的驱动值。在图示的实施例中,这通过以下步骤完成:基于背光控制信号20中的驱动值执行光场模拟以提供估计的光场映射45,该估计的光场映射45指示在空间光调制器15的每个像素处来自背光22的光的强度,其源于根据背光驱动信号20驱动背光22。光场模拟通过LFS级46来执行。
对于空间光调制器15的每个像素,通过将来自于根据信号20驱动的每个元件24的、对该像素做出贡献的光相加来确定映射45。这可以利用对于元件24的已知的扩展函数来完成。扩展函数取决于元件24的光学特性以及从元件24到空间光调制器15的光学路径的 尺度和特性。
存在各种方式以减少用于确定映射45的计算和/或硬件成本。这些包括:
$以低于空间光调制器15的分辨率的分辨率计算映射45以及向上采样和/或内插以获得与空间光调制器15的像素相应的映射值;
$从入射在空间光调制器15的像素处的光的计算中排除远离该像素的元件24的贡献;
可以用于便于映射45的有效确定的其他的机制在2005年5月27日提交并且命名为“Rapid Image Rendering on Dual ModulatorDisplays”的WO2006/010244中描述,由此为了所有目的通过参考将其并入于此。
然后根据映射45修正色调映射数据以提供用于空间光调制器15的像素的驱动值14。装置10提供色调映射修正级47,该色调映射修正级47执行修正。
色调映射修正级47补偿以下事实:空间光调制器15的像素不一定用相同强度的光照射。替代地,光的强度可以在像素之间彼此不同。例如,考虑这种情况:色调映射数据指示来自空间光调制器15上的位置i,j处的像素的光的期望强度是Lij,映射45指示在入射到该像素处的光是L′ij,然后将能够看到,假定L′ij>Lij,则在位置i,j处的像素应被控制从而以因子Lij/L′ij衰减入射光。因此,通过将色调映射数据中的值除以映射45中的对应值以确定空间光调制器15的每个像素的期望的衰减,然后施加电光传递函数以向空间光调制器15提供控制值(这将产生期望的衰减),可以实现用于空间光调制器15的像素的控制值。施加传递函数可以利用查找表格来执行。
在一些实施方式中,LFS级46被配置为产生入射在空间光调制器15的像素处的光的强度的倒数的输出映射(例如,具有值1/L′ij的映射)。这允许用于空间光调制器15的像素的控制值通过执行乘法来确定。与除法相比,乘法是典型地较少需要计算的,而且可以在硬件中更简单执行。
装置10的组件可以以硬件、软件(包括固件)或其任何适当的组合来提供。例如,在一些实施方式中,控制信号14和20在被配置为提供图1中所示的功能组件的现场可编程门阵列(FPGA)中产生。在其他实施例中,图1所示的功能组件包括可在一个或多个数据处理器上执行的软件处理。数据处理器可以包括例如一个或多个微处理器、图像处理器、数字信号处理器、CPU等。在其他实施例中,图1所示的某些或所有功能组件通过硬接线逻辑电路、专用集成电路等来提供。方便地,装置10可以与显示控制器集成。例如,装置10或其部分可以设置在定时控制(T-CON)芯片和/或LED背光驱动器中。
图2显示装置10A,其与装置10不同在于:控制信号20部分地基于图像数据12的第一部分12A。已经在上文关于图1描述的装置10A的组件由与上文相同的参考数字标识。在装置10A中,在组合级48中组合比率数据31与色调映射数据41。组合级48可以将色调映射数据41中的值乘以比率数据31中的对应值以产生HDR数据51。通过亮度提取器52处理HDR数据51,该亮度提取器52提取被传递到向下采样器34的亮度值。装置10A如上文关于装置10所述的类似地操作。装置10A优于装置10在于:它可以产生控制信号20,该控制信号20产生比装置10更接近期望的最终图像的背光照明。这由提供组合级48和亮度提取器52的成本来获得。
图3显示根据发明另一替换实施例的装置10B。装置10B类似于装置10,除了用于空间光调制器15的驱动信号14基于通过组合色调映射数据41和比率数据31获得的HDR数据之外。在图示的实施例中,通过可以如上所述操作的组合级48执行该组合。
图4是流程图,示出用于根据图像数据12驱动显示器以显示图像的示例方法60的操作,该图像数据12包括如上所述的第一部分12A和第二部分12B。在方框62中,第一部分12A和第二部分12B被解码。在图示的实施例中,这产生比率图像31和色调映射41。
在方框64中,比率图像31被线性化。在方框66中,比率图像31被向下采样。在方框68中,背光驱动信号基于向下采样的比率图 像而确定。在图示的实施例中,方框68包括在方框68A中使向下采样的比率图像归一化、在方框68B中将值修整到限幅电平、以及在方框68C中查找与从方框68B输出的值相对应的用于元件24的控制值。在方框68D中,控制值被施加以驱动背光元件24。在包括方框68A和68B两者的实施例中,方框68A和68B可以以任意次序执行。
在方框70中,色调映射数据41可选地被色彩校正和/或锐化。在方框72a中,对于方框68C的控制值执行光场模拟(替换地,光场模拟可以基于方框68B的输出)。当利用从方框68C输出的控制值集合驱动背光22的元件24时,光场模拟在空间光调制器15处产生来自背光22的光的分布的估计。由方框72产生的估计可以包括指示对于空间光调制器15的像素的光强度(或者光强度的函数,诸如光强度的倒数)的映射。
在方框74中,根据该估计修正色调映射数据以产生与空间光调制器15的像素相应的值。方框74可以包括例如使得色调映射数据的像素值乘以或除以从来自该估计的对应值。例如,对于空间光调制器15的的像素,方框74可以包括使得用色调映射数据表示的亮度乘以来自该估计的光强度的倒数。
在方框76中,由方框74输出的值用于查找对于空间光调制器15的像素的相应的控制值。在方框78中,施加控制值以驱动空间光调制器15。
图5是流程图,示出方法60A,其与方法60相似,除了在产生背光控制信号之前组合比率数据31和色调映射数据41之外。在方框80中,组合比率数据和色调映射数据(例如,使得在色调映射数据中的亮度值乘以比率图像中的对应值)。在方框81中,从组合的比率数据和色调映射数据中提取亮度信息。用于背光的控制值基于提取的亮度信息产生。另外,方法60A与方法60相似。
方法60和60A有下列好处:在每种情况下,在提取图像数据12的部分12A和12B之后不必执行色调映射操作(其典型地是计算和/或硬件密集的)。
图6显示与图1的装置10相似的装置10C,除了没有提供方框45、46和47之外。装置10C没有装置10那么复杂。为了装置10C的最佳性能,可以在图像数据12的编码或在其上游执行或制备用于双调制的图像分解。第二部分12B可以包含已被有意产生以允许背光驱动值从第二部分12B直接导出的图像数据。用于光调制器的驱动值可以来源于第一部分12A。在装置10C的结构中,第二部分12B通过其被处理以获得背光驱动值的信号路径和第一部分12A通过其被处理以获得SLM驱动值的信号路径之间没有连接。此实施例旨在以减少量的硬件显示原始HDR内容。
在一些实施方式中,第二部分12B可以被配置使得不需要第二部分的线性化和向下采样或第二部分的线性化和向下采样被简化执行。例如,第二部分12B可以包括具有背光的单独可控的元件的分辨率的图像,在该背光中像素值包括用于背光的元件的驱动值。在一些实施方式中,第二部分12B可以包括具有比背光的单独可控的元件的分辨率略微大的分辨率的图像数据。然后,第二部分12B可以被向下采样到适合于驱动不同显示器的分辨率,在显示器上可以期望显示图像数据12。
在此处描述的方法和装置不局限于用于显示静止图像的显示器和/或制备,而是也可以应用于显示视频图像的显示器和/或制备。
可以施加类似于方法60和60A的方法以允许局部调光或双调制显示器利用来自图像数据的高动态范围信息、以有效且能够以成本有效的硬件实现的方式驱动背光的可控的元件(无论显示器是否产生或显示高动态范围图像)。某些这样的方法可以被实践而没有组合第一图像分量和第二图像分量。某些这样的方法避免了在局部调光显示器中、在用于产生对于空间光调制器的元件的控制信号的数据路径中的色调映射。此处描述的方法和装置为显示器和/或视频或图像处理硬件的制造商提供了设计选择。
本发明的某些实施包括计算机处理器,其执行使得处理器执行本发明的方法的软件指令。例如,在显示器中的一个或多个处理器或显 示器上游的图像数据处理器可以通过执行处理器可访问的程序存储器中的软件指令来实现图4或5的方法。本发明也可以以程序产品形式提供。程序产品可以包括承载计算机可读信号集的任何介质,该计算机可读信号集包括当被数据处理器执行时使得数据处理器执行本发明的方法的指令。根据本发明的程序产品可以是多种形式中的任意形式。程序产品可以包括例如非临时性的物理介质,诸如磁性数据存储介质(包括软盘、硬盘驱动器)、光数据存储介质介质(包括CD、ROM、DVD)、电子数据存储介质(包括ROM、快闪ROM)等等。在程序产品上的计算机可读信号可以可选地被压缩或加密。
上文涉及部件(例如:软件模块,处理器,组件,装置,电路等)的地方,除非特别申明,引用该部件(包含“装置”的引用)应该被解释为包括该部件的等效物,执行上述部件的功能的任何部件(即,功能上等效),包括与在示出的本发明示例性实施例中执行功能的公开的结构在结构上不等效的部件。
尽管已在上文讨论了大量示例性方面和实施例,在此领域的技术人员将认识到某些修改、置换、添加以及它们的子组合。因此下文的权利要求以及此后引入的权利要求被解释为包括在它们的本质精神和范围内的所有这样的修改、置换、添加以及它们的子组合。
对相关申请的交叉引用
本申请要求2010年6月21日提交的美国临时专利申请No.61/357,044的优先权,在此通过参考将其整体合并于此。

Claims (18)

1.一种用于驱动包括背光和空间光调制器的局部调光显示器的装置,该背光包括多个单独可控的元件,该装置包括:
解码器,被配置为从输入图像中提取第一图像数据分量和第二图像数据分量,该第一图像数据分量包括图像的较低动态范围版本,该较低动态范围版本是较高动态范围版本的色调映射的版本,该第二图像数据分量包括具有像素值的图像,所述像素值代表所述图像的较高动态范围版本的值与所述图像的较低动态范围版本的对应值的比率,并且用于修改所述图像的较低动态范围版本以恢复所述图像的较高动态范围版本;
第一***,被配置为使用所述第一图像数据分量,而不使用所述图像的较高动态范围版本,产生用于所述空间光调制器的第一驱动信号;以及
第二***,被配置为使用所述第二图像数据分量,而不使用所述图像的较高动态范围版本,产生用于所述背光的第二驱动信号。
2.根据权利要求1所述的装置,其中所述第二***包括向下采样器,其被配置为向下采样所述第二图像数据分量。
3.根据权利要求1或2所述的装置,其中所述第二***包括驱动值计算器,其被配置为将所述第二图像数据分量归一化。
4.根据权利要求3所述的装置,其中所述驱动值计算器被配置为通过将所述第二图像数据分量的值除以代表值来将所述第二图像数据分量归一化。
5.根据权利要求4所述的装置,其中所述代表值包括最大值、均值、平均值、中值或百分位值。
6.根据权利要求4所述的装置,其中所述驱动值计算器被配置为将所述第二图像数据分量的值修整到所述代表值。
7.根据权利要求1或2所述的装置,其中所述第二***包括线性化器。
8.根据权利要求1所述的装置,其中所述第一图像数据分量包括色调映射,并且所述第一***包括:
光场模拟器,被配置为产生估计的光场,其中在施加所述第二驱动信号以驱动所述背光时将在所述空间光调制器处产生该估计的光场;以及
色调映射修正器,被配置为根据所述估计的光场修正所述色调映射。
9.根据权利要求1、2和8中任意一个所述的装置,其中所述第二图像数据分量具有比所述第一图像数据分量的分辨率低的分辨率。
10.根据权利要求1、2和8中任意一个所述的装置,其中所述第一***包括色彩校正级。
11.根据权利要求1、2和8中任意一个所述的装置,其中所述第一***包括锐化滤波器。
12.一种用于驱动包括背光和空间光调制器的局部调光显示器的方法,该背光包括多个单独可控的元件,该方法包括:
从输入图像中获得第一图像数据分量和第二图像数据分量,该第一图像数据分量包括图像的较低动态范围版本,该较低动态范围版本是较高动态范围版本的色调映射的版本,该第二图像数据分量包括具有像素值的图像,所述像素值代表所述图像的较高动态范围版本的值与所述图像的较低动态范围版本的对应值的比率,并且用于修改所述图像的较低动态范围版本以恢复所述图像的较高动态范围版本;
使用所述第一图像数据分量,而不使用所述图像的较高动态范围版本,产生用于所述空间光调制器的第一驱动信号;以及
使用所述第二图像数据分量,而不使用所述图像的较高动态范围版本,产生用于所述背光的第二驱动信号。
13.根据权利要求12所述的方法,包括将所述第二图像数据分量的值修整到参考值。
14.根据权利要求12所述的方法,其中产生第二驱动信号包括向下采样所述第二图像数据分量。
15.根据权利要求12所述的方法,其中所述第二图像数据分量具有比所述第一图像数据分量的分辨率低的分辨率。
16.根据权利要求12所述的方法,其中产生第二驱动信号包括线性化所述第二图像数据分量。
17.根据权利要求12所述的方法,其中产生第一驱动信号包括向所述第一图像数据分量施加锐化滤波器。
18.根据权利要求12所述的方法,其中产生第一驱动信号包括向所述第一图像数据分量施加色彩校正。
CN201180030589.4A 2010-06-21 2011-06-20 在局部调光显示器上显示图像 Active CN102947876B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US35704410P 2010-06-21 2010-06-21
US61/357,044 2010-06-21
PCT/US2011/041043 WO2011163114A1 (en) 2010-06-21 2011-06-20 Displaying images on local-dimming displays

Publications (2)

Publication Number Publication Date
CN102947876A CN102947876A (zh) 2013-02-27
CN102947876B true CN102947876B (zh) 2016-09-14

Family

ID=44628388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180030589.4A Active CN102947876B (zh) 2010-06-21 2011-06-20 在局部调光显示器上显示图像

Country Status (5)

Country Link
US (2) US9576555B2 (zh)
EP (2) EP3051530B1 (zh)
CN (1) CN102947876B (zh)
HK (1) HK1179041A1 (zh)
WO (1) WO2011163114A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090322800A1 (en) 2008-06-25 2009-12-31 Dolby Laboratories Licensing Corporation Method and apparatus in various embodiments for hdr implementation in display devices
WO2013140958A1 (ja) * 2012-03-21 2013-09-26 富士フイルム株式会社 画像表示装置、撮影装置、画像表示システム及び方法
CN107978283B (zh) * 2012-06-15 2021-12-10 杜比实验室特许公司 用于控制双调制显示器的***和方法
US9236029B2 (en) * 2012-09-11 2016-01-12 Apple Inc. Histogram generation and evaluation for dynamic pixel and backlight control
WO2015097135A1 (en) * 2013-12-27 2015-07-02 Thomson Licensing Method and device for encoding a high-dynamic range image
EP2890129A1 (en) * 2013-12-27 2015-07-01 Thomson Licensing Method and device for encoding a high-dynamic range image and/or decoding a bitstream
WO2015097126A1 (en) * 2013-12-27 2015-07-02 Thomson Licensing Method and device for encoding a high-dynamic range image and/or decoding a bitstream
KR20160102438A (ko) * 2013-12-27 2016-08-30 톰슨 라이센싱 하이 다이내믹 레인지 이미지를 톤-매핑하기 위한 방법 및 장치
WO2015097124A1 (en) * 2013-12-27 2015-07-02 Thomson Licensing Method and device for encoding a high-dynamic range image and/or decoding a bitstream
WO2015097131A1 (en) * 2013-12-27 2015-07-02 Thomson Licensing Method and device for encoding a high-dynamic range image
WO2015097129A1 (en) * 2013-12-27 2015-07-02 Thomson Licensing Method and device for encoding a high-dynamic range image
WO2015097118A1 (en) * 2013-12-27 2015-07-02 Thomson Licensing Method and device for encoding a high-dynamic range image into a bitstream and/or decoding a bitstream representing a high-dynamic range image
WO2015097134A1 (en) * 2013-12-27 2015-07-02 Thomson Licensing Method and device for encoding a high-dynamic range image and/or decoding a bitstream
JP5911518B2 (ja) 2014-01-29 2016-04-27 キヤノン株式会社 表示装置、表示装置の制御方法、及び、プログラム
WO2015193114A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an ldr picture and a picture/video format of a decoded hdr picture obtained from said ldr picture and an illumination picture
EP2958328A1 (en) 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture
WO2015193113A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an ldr picture and a picture/video format of a decoded hdr picture obtained from said ldr picture and an illumination picture.
US20160057436A1 (en) * 2014-08-22 2016-02-25 Sharp Kabushiki Kaisha Video processing apparatus and video display apparatus
US9373288B2 (en) 2014-08-28 2016-06-21 Microsoft Technology Licensing, Llc Configurable, localized backlighting with planar emission devices
EP3113494A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Method and device for encoding a high-dynamic range image
JP2016110158A (ja) * 2016-01-25 2016-06-20 キヤノン株式会社 表示装置、表示装置の制御方法、プログラム、及び、処理装置
US10275864B2 (en) * 2016-09-09 2019-04-30 Kabushiki Kaisha Toshiba Image processing device and image processing method
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
GB2558234B (en) * 2016-12-22 2020-05-13 Apical Ltd Image processing
US10176561B2 (en) * 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
JP2018180333A (ja) * 2017-04-14 2018-11-15 株式会社ジャパンディスプレイ 表示装置及び表示モジュール
US11347296B2 (en) 2017-07-25 2022-05-31 Dell Products, L.P. Backlight dimming via buck-boost conversion in an information handling system
CN108198152B (zh) * 2018-02-07 2020-05-12 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN108597435B (zh) * 2018-04-28 2021-10-29 京东方科技集团股份有限公司 用于控制显示面板的显示的方法及其装置、显示装置
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
KR102608147B1 (ko) 2018-12-05 2023-12-01 삼성전자주식회사 디스플레이 장치 및 그 구동 방법
WO2021131209A1 (ja) * 2019-12-24 2021-07-01 パナソニックIpマネジメント株式会社 制御装置及び制御方法
US11488548B2 (en) 2020-10-08 2022-11-01 Samsung Electronics Co., Ltd. Backlight system, display device including the backlight system and method of transferring data in the backlight system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954344A (zh) * 2004-04-23 2007-04-25 布赖特赛德科技有限公司 高动态范围图像的编码、解码和表示

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2689739T3 (es) 2001-02-27 2018-11-15 Dolby Laboratories Licensing Corporation Un procedimiento y dispositivo para visualizar una imagen
JP4348457B2 (ja) 2002-03-13 2009-10-21 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジのディスプレイ、ディスプレイコントローラ及び画像表示方法
CA2563517C (en) 2004-05-03 2012-09-11 The University Of British Columbia Method for efficient computation of image frames for dual modulation display systems using key frames
US8395577B2 (en) 2004-05-04 2013-03-12 Sharp Laboratories Of America, Inc. Liquid crystal display with illumination control
CA2840548C (en) 2004-07-27 2018-03-13 Dolby Laboratories Licensing Corporation Rapid image rendering on dual-modulator displays
US8217970B2 (en) 2004-07-27 2012-07-10 Dolby Laboratories Licensing Corporation Rapid image rendering on dual-modulator displays
US7525528B2 (en) * 2004-11-16 2009-04-28 Sharp Laboratories Of America, Inc. Technique that preserves specular highlights
CN103927994B (zh) 2004-12-23 2017-04-26 杜比实验室特许公司 宽色域显示器
FR2893806A1 (fr) 2005-11-21 2007-05-25 Thomson Licensing Sas Systeme de transmission d'images de dynamique elevee, unites et procedes de codage et de decodage pour ce systeme
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
WO2008050506A1 (fr) * 2006-10-27 2008-05-02 Sharp Kabushiki Kaisha Dispositif d'affichage à cristaux liquides
WO2008064349A1 (en) * 2006-11-22 2008-05-29 Nik Software, Inc. Method for dynamic range editing
US8941580B2 (en) * 2006-11-30 2015-01-27 Sharp Laboratories Of America, Inc. Liquid crystal display with area adaptive backlight
US8228272B2 (en) * 2006-12-22 2012-07-24 Hong Kong Applied Science And Technlogy Research Institute Company Limited Backlight device and liquid crystal display incorporating the backlight device
ES2893327T3 (es) 2007-02-01 2022-02-08 Dolby Laboratories Licensing Corp Calibración de visualizadores que tienen luz de fondo espacialmente variable
US8207931B2 (en) * 2007-05-31 2012-06-26 Hong Kong Applied Science and Technology Research Institute Company Limited Method of displaying a low dynamic range image in a high dynamic range
US8233738B2 (en) * 2007-07-30 2012-07-31 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US20090322800A1 (en) * 2008-06-25 2009-12-31 Dolby Laboratories Licensing Corporation Method and apparatus in various embodiments for hdr implementation in display devices
US8184112B2 (en) * 2008-09-24 2012-05-22 Global Oled Technology Llc Increasing dynamic range of display output
US8624824B2 (en) * 2009-03-19 2014-01-07 Sharp Laboratories Of America, Inc. Area adaptive backlight with reduced color crosstalk

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954344A (zh) * 2004-04-23 2007-04-25 布赖特赛德科技有限公司 高动态范围图像的编码、解码和表示

Also Published As

Publication number Publication date
HK1179041A1 (zh) 2013-09-19
US20170162173A1 (en) 2017-06-08
CN102947876A (zh) 2013-02-27
EP3051530B1 (en) 2022-08-31
US10121454B2 (en) 2018-11-06
US9576555B2 (en) 2017-02-21
WO2011163114A1 (en) 2011-12-29
EP3051530A1 (en) 2016-08-03
US20130100178A1 (en) 2013-04-25
EP2583272A1 (en) 2013-04-24
EP2583272B1 (en) 2016-01-20

Similar Documents

Publication Publication Date Title
CN102947876B (zh) 在局部调光显示器上显示图像
CN102165513B (zh) 用于在高亮度和高动态范围的显示器的图像处理中应用自适应伽玛的***和方法
CN101809617B (zh) 提高图像动态范围
US8743158B2 (en) High dynamic range display with three dimensional and field sequential color synthesis control
CN103210418B (zh) 高动态范围图像的内容元数据增强
JP6532916B2 (ja) プロジェクタシステムのコンテンツ適応電力管理
WO2018028150A1 (zh) 一种图像效果提升方法及其装置
WO2011040021A1 (ja) 表示装置および表示方法
CN112449169B (zh) 色调映射的方法和装置
TW200912885A (en) Method and apparatus for processing digital image to be displayed on display device with backlight module
CN104981861A (zh) 信号转换装置和方法以及程序和记录介质
JP6433887B2 (ja) 電子表示装置及びその駆動方法
CN100595824C (zh) 显示驱动电路
JP2011511306A (ja) Lcdフレアの軽減
JP2009515224A (ja) ディスプレイを駆動するためのピクセル信号を処理する方法ならびに装置、および同信号を用いるディスプレイ
CN104299574A (zh) 用于oled显示驱动装置的自动限流方法
CN105513543B (zh) 基于大屏lcm的图像处理方法及装置
CN105850129A (zh) 对高动态范围图像进行色调映射的方法及设备
CN103294429A (zh) 显示方法及设备
KR20160068627A (ko) 영상 처리 장치, 영상 처리 방법, 및 표시 장치
JP2006308631A (ja) 画像表示装置、画像表示方法、画像表示プログラムおよび画像表示プログラムを記録した記録媒体
Blankenbach et al. Optimizing and evaluating new automotive HMI image enhancement algorithms under bright light conditions using display reflectance characteristics
CN104966484B (zh) 显示面板及其驱动方法
WO2019239914A1 (ja) 制御装置、表示装置および制御方法
EP4266300A1 (en) System and method for luminance compensation for local and global dimming displays

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant