CN102428492B - 显示装置及其方法 - Google Patents

显示装置及其方法 Download PDF

Info

Publication number
CN102428492B
CN102428492B CN201080020806.7A CN201080020806A CN102428492B CN 102428492 B CN102428492 B CN 102428492B CN 201080020806 A CN201080020806 A CN 201080020806A CN 102428492 B CN102428492 B CN 102428492B
Authority
CN
China
Prior art keywords
image
convergent
divergent
characteristic
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080020806.7A
Other languages
English (en)
Other versions
CN102428492A (zh
Inventor
L.J.维尔托文
G.T.G.沃莱伯格
M.J.W.默滕斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TP Vision Holding BV
Original Assignee
TP Vision Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TP Vision Holding BV filed Critical TP Vision Holding BV
Publication of CN102428492A publication Critical patent/CN102428492A/zh
Application granted granted Critical
Publication of CN102428492B publication Critical patent/CN102428492B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092Image resolution transcoding, e.g. by using client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/42Analysis of texture based on statistical description of texture using transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

一种用于呈现图像的显示装置,包括图像接收机(101),用于接收待显示的图像。图像分析器(103)对所述图像的至少第一区域执行局部图像轮廓分析,以确定像素值空间变化特性。所述图像分析器(103)耦合到缩放处理器(105),缩放处理器(105)响应于所述像素值空间变化特性来缩放所述图像的至少第二区域。所述缩放处理器(105)耦合到呈现所述缩放的图像的呈现控制器(107)。可以取决于所述图像的锐度或空间频率特性具体地调整所述缩放。本发明可以允许一个或多个图像的呈现对图像的特定特性的改进的适应。

Description

显示装置及其方法
技术领域
本发明涉及一种显示***,具体地,但并非排他地,涉及用于在大尺寸显示窗口中呈现一个或多个图像的显示***。
背景技术
当前存在对于很多图像显示增加尺寸的趋势。例如,电视显示器尺寸连续增加,并且42英寸的显示器当前是通用的,其中,甚至例如60英寸的更大的显示器通常可用。实际上,期望在未来,十分大显示面板(例如覆盖大部分墙壁)可以变得普遍。此外,经常使用可以在另一对象(例如墙壁、反射屏幕等)的表面上投影显示器的图像投影设备来实现十分大显示窗口。
此外,在典型显示器的尺寸增加的同时,待显示内容的特性的变化基本上增加。例如,给定显示器可以用于标准清晰度(SD)电视、高清晰度(HD)电视、十分高分辨率计算机显示器的四倍清晰度(QD)视频(例如游戏)、低质量视频序列(例如,比如在低数据速率的基于web的视频内容或移动电话生成的视频)等。
显示器的增加的多样性和尺寸以及源内容的质量和分辨率的增加的多样性使得令显示***适应于显示器和内容的具体当前特性以优化用户体验日益重要并且关键。
已经提出的一种方法在于将接收的内容上缩放为显示器的分辨率。例如,HD电视可以将SD视频信号上缩放为显示器的HD分辨率,并且呈现该上缩放的版本。然而,虽然这种方法可以在很多情况下提供诱人图片,但其也具有一些关联的缺点。具体地说,由于初始源质量或由于与上缩放处理有关的质量降级,在很多情况下呈现的图像将被感知为相对低质量。
实际上,对于具有高分辨率的很多大尺寸显示器,源内容一般将是用于感知的图像质量的限制因素。例如,60英寸电视上显示的标准清晰度图片将典型地被感知为相对低质量。实际上,即使应用上缩放,一般情况也是如此,因为其引入噪声并且给出钝化的图像的感知。甚至例如峰值化、色彩瞬时改进、色彩增强、噪声减少、数字伪像减少等的图片质量处理算法现状通常也不能充分地减轻引入的上缩放材料的有噪声和钝化印象。
因此,改进的显示***将是有利的,并且具体地说,允许增加的灵活性、改进的感知质量、改进的用户体验、便利的操作、便利的实现和/或改进的性能的***将是有利的。
发明内容
因此,本发明致力于优选单独或以任何组合方式减轻、缓和或消除以上提及的缺点中的一个或多个。
根据本发明一方面,提供一种用于呈现图像的显示装置,所述显示装置包括:用于接收待显示的图像的部件;分析部件,用于对所述图像的至少第一区域执行局部图像轮廓分析,以确定表示像素值的空间变化的特性;缩放部件,用于响应于所述像素值空间变化特性而缩放所述图像的至少第二区域;以及呈现装置,用于呈现所述缩放的图像;其中用于被缩放图像的显示窗口的尺寸与表示像素值的空间变化的特性有关。
本发明可以允许一个或多个图像的呈现得到改进。具体地说,可以调整用于图像的例如显示窗口尺寸的几何特性,以匹配被呈现的图像的空间变化特性。本发明在很多实施例中可以允许对大量不同类型的图像信号和信号源的适应得到改进。具体地说,所述方法可以允许使显示窗口尺寸适应于图像的锐度或质量。具体地说,本发明可以允许不仅基于图像的像素分辨率的优化,而且还允许该优化取决于图像自身的实际质量。例如,可以根据该分辨率内的图像的实际锐度不同地缩放具有相同分辨率的不同图像。具体地说,针对在所述分辨率初始生成的图像以及经上缩放以产生特定分辨率的图像,所述缩放可以不同。本发明可以例如允许图像的显示尺寸取决于图像的(当前或初始的)视觉质量。因此,并非仅仅缩放图像以配合产生给定感知质量的特定显示尺寸,本发明可以在一些实施例中允许调整图像的缩放(例如尺寸、或缩放算法种类)以提供期望的感知质量。
所述图像可以是图像序列的图像(例如视频信号的图像)。所述像素值可以例如是亮度和/或色彩值。
所述图像可以是预缩放的图像。例如,所述显示装置可以包括缩放输入图像为给定分辨率的预缩放器。例如,所述预缩放器可以适于缩放具有不同分辨率的不同输入图像为相同的预定的/固定的分辨率。因此可以对具有已知预定的/固定的分辨率(然而具有特定视觉质量)的图像执行分析。然后可以在所述缩放部件中缩放所述预缩放的图像,以提供适合于特定像素值空间变化特性的期望特性(例如尺寸)。所述预定的/固定的分辨率可以具体地与在其上呈现图像的显示器的最大分辨率对应。
在一些情况下,所述分析装置可以包括预缩放所述图像为预定的/固定的分辨率的预缩放器。因此可以对具有已知预定的/固定的分辨率的图像执行所述分析。然而,可以在预缩放之前对图像执行所述缩放,即对初始分辨率的图像执行所述缩放。因此,缩放的适应可以考虑预缩放的和初始图像的分辨率之间的差。
根据本发明的可选特征,所述分析部件被布置为:对至少所述第一区域执行局部空间频率的空间频率分析,并且生成包括空间频率特性的像素值空间变化特性。
这可以提供特别有利的性能。具体地说,可以提供底层图像的锐度(和/或信号复杂度和/或视觉质量/正确性/美丽/细节)的低复杂度又精确的指示,并且可以提供图像缩放优化所基于的特别合适的参数。
可以对图像或图像的修改版本直接执行所述空间频率分析。例如,可以对图像的上缩放的/预缩放的版本执行所述空间频率分析。所述空间频率特性可以指示在不应用缩放的情况下将呈现的图像的空间频率。
根据本发明的可选特征,所述分析部件被布置为对至少所述第一区域执行锐度分析,并且生成包括锐度特性的所述像素值空间变化特性。
这可以提供特别有利的性能和图像呈现。具体地说,其在很多情况下允许针对图像的特定特性优化显示的图像的尺寸。
根据本发明的可选特征,所述分析部件被布置为对至少所述第一区域执行纹理分析,并且生成包括纹理特性的所述像素值空间变化特性。
这可以提供特别有利的图像呈现和/或可以促进分析。
根据本发明的可选特征,所述分析部件被布置为对至少所述第一区域执行像素值分布分析,并且生成包括像素值分布特性的所述像素值空间变化特性。
这可以提供特别有利的图像呈现和/或可以促进分析。柱状图可以例如表示分布。在一个或多个图像分段中可以首先确定分布。单独的分布可以然后被组合为组合的分布,其中,像素值分布特性被确定为组合的分布特性。作为另一示例,可以对于每一分段分布确定特性,并且可以然后组合特性。例如,可以计算用于每一分段的像素值差异并用来确定平均像素值差异。
根据本发明的可选特征,所述分析部件被布置为对至少所述第一区域执行编码伪像分析,并且响应于所述编码伪像特性生成所述像素值空间变化特性。
在很多情况下,这可以提供改进的性能。解码伪像特性可以用于补偿另一特性,例如空间频率特性,和/或可以直接用于适应性调节缩放。具体地说,所述像素值空间变化特性可以包括所述编码伪像特性。
根据本发明的可选特征,所述分析部件被布置为对至少所述第一区域执行运动分析,并且生成包括运动特性的所述像素值空间变化特性。
在很多情况下,这可以提供改进的图像呈现。所述运动特性可以具体地是一个或多个图像对象的运动特性。
根据本发明的可选特征,所述显示装置还包括:用于对至少所述第一区域执行内容分析,并且其中,所述缩放部件被布置为响应于内容特性缩放所述第二区域。
在很多情况下,这可以提供改进的图像呈现。所述内容分析可以具体地确定图像的内容类别,并且所述缩放可以根据用于该内容类别的预定偏置而被修改。
根据本发明的可选特征,所述缩放包括剪切。
在很多情况下,这可以提供改进的图像呈现。当图像变化特性满足准则时,可以具体地执行所述剪切。剪切或保留哪部分的选择可以取决于图像的局部空间特性。
根据本发明的可选特征,所述缩放进一步取决于对于显示所述缩放的图像可用的显示窗口的特性。
在很多实施例中,这可以提供改进的图像呈现。对于显示所述缩放的图像可用的显示窗口的特性可以具体地是所述显示窗口的尺寸。该方法在潜在的最大显示窗口可以变化的实施例中可以特别有利。例如,它可以在如下实施例中高度地有利:其中在预先不能预测的不同表面(墙壁、门、风挡玻璃等)上投影所述显示。
根据本发明的可选特征,所述缩放包括分辨率缩放为与期望的窗口尺寸对应的分辨率,这可以典型地是非线性的。
这在很多实施例中可以允许改进的和/或便利的实现和/或有利的性能。
根据本发明的可选特征,所述分析部件被布置为:确定用于至少一个图像对象的图像对象空间轮廓特性(即看看像素值在对象上如何变化,该对象可以源于分段、或对象检测等),并且所述缩放部件被布置为响应于所述对象空间轮廓特性执行所述缩放。
在很多实施例中,这可以提供有利的图像呈现和/或性能。
根据本发明的可选特征,所述图像是图像的视频序列的图像,所述分析部件被布置为对所述视频序列执行时间分析以生成时间像素值变化特性,并且其中,所述缩放部件被布置为响应于所述时间像素值变化特性来缩放所述第二区域(例如,静态场景可以示出大于脸红场景,在复杂运动的情况下)。
在很多实施例中,这可以提供有利的图像呈现和/或性能。具体地说,其可以允许确定时间噪声,并且可以允许针对该噪声进一步优化所述缩放。所述时间像素值变化特性可以用于补偿另一特性,例如空间频率特性,和/或可以直接用于适应性调节缩放。所述时间像素值变化特性可以具体地是时间像素噪声特性。
根据本发明的可选特征,所述呈现部件被布置为在显示窗口的子窗口中呈现所述图像,并且所述装置还包括用于在所述显示窗口的另一子窗口中呈现另一图像的装置。
在很多实施例中,这可以提供有利的图像呈现和/或性能。具体地说,其可以提供改进的用户体验,并且可以允许向用户灵活和动态地呈现各种信息。
根据本发明一方面,提供一种用于呈现图像的方法,所述方法包括:接收待显示的图像;对所述图像的至少第一区域执行局部图像轮廓分析,以确定像素值空间变化特性;响应于所述像素值空间变化特性而缩放所述图像的至少第二区域;以及呈现所述缩放的图像;其中用于被缩放图像的显示窗口的尺寸与表示像素值的空间变化的特性有关。
所述最佳缩放将典型地实现为接近实际的显示,然而,在远程服务器等上也可以实现它。所述图像处理设备可以在存储器(例如IC、光盘、……)中存储信号,以稍后使用,或(可能地在考虑异常尺寸或宽高比的特殊编码(或将其划分为用于若干显示装置的不同的信号)之后,例如具有用于补充主要切除的附属信号),通过网络发送信号等。在IC或其它图像处理设备(例如通用处理器上的软件)(的一部分)中可以典型地执行根据本发明的可能的显示的每一个功能。
本发明的这些和其它方面、特征和优点将从下文中描述的实施例而清楚,并且参照该实施例进行阐述。
附图说明
参照附图,仅通过示例的方式将描述本发明的实施例,其中:
图1是根据本发明一些实施例的显示***的示例的说明;
图2是根据本发明一些实施例的图像的显示的示例的说明;
图3是根据本发明一些实施例的显示***的示例的说明;以及
图4是根据本发明一些实施例的图像的显示的示例的说明。
图5示出最佳可视质量生产缩放的普通原理的几个示例性情况。
具体实施方式
以下描述聚焦可应用于显示***并且具体地用于在显示面板显示图像或在表面上投影图像的显示***的本发明的实施例。然而,应理解,本发明不限于这些应用。
图1示出用于呈现一个或多个图像的显示装置的示例。
显示装置包括接收待显示的一个或多个图像的图像接收机101。在特定示例中,图像接收机101接收包括图像的序列的视频信号(例如其中每一图像与视频信号的帧对应)。
应理解,图像接收机101可以从可以是内部或外部源的任何合适的源接收图像。例如,视频/图像信号可以在显示装置中本地地存储或生成,或可以被从外部源接收。
在示例中,显示***可以接收包括SD、HD和QD视频信号、低分辨率和质量(十分低数据速率)视频序列、高分辨率图片等的多种不同的信号。
图像接收机101耦合到图像分析器103和缩放处理器105。图像分析器103进一步耦合到缩放处理器105。
图像分析器103被布置为对图像的至少第一区域执行局部图像轮廓分析(这可以是例如在图像上均匀地或基于内容不均匀地分散的20N×M像素块;所得特性可以典型地是平均例如锐度,但其也可以是更复杂的多维描述)以确定像素值空间变化特性。像素值空间变化特性然后被馈送到缩放处理器105,缩放处理器105响应于像素值空间变化特性而继续缩放图像的至少一个区域。被缩放的区域可以与在其上确定像素值空间变化特性的区域相同,但无需如此。此外,被分析的区域和/或被缩放的区域可以与被处理的图像的整个图像区对应。
缩放处理器105耦合到被布置为呈现从缩放处理器105接收的缩放图像的呈现控制器107。在特定示例中,呈现控制器107耦合到显示设备109(其可以是在显示装置的外部),并且生成用于显示设备的合适的驱动信号。例如,显示设备109可以是十分大的显示面板,例如60"或更大的LCD或等离子体显示面板。呈现控制器107可以然后生成用于显示面板的合适的显示信号。作为另一示例,显示设备109可以是能够在外表面(例如墙壁或反射屏幕或对象(的部分))上投影图像的投影仪,呈现控制器107可以生成用于投影仪的合适的驱动信号。
在示例中,显示设备109被布置为显示大尺寸图片。例如,显示设备可以是具有若干米或更大对角线的显示器,或可以是预计投影具有若干米或更大对角线的图像的投影仪。
如所示,显示装置被布置为从多种不同源接收并且具有变化特性的内容。具体地说,可以接收具有变化分辨率和变化图像质量的内容。例如,显示装置可以接收初始生成的QD或HD内容,通过上缩放生成的HD内容,SD内容、低质量视频序列(例如来自移动电话)高分辨率照片、具有不同字体尺寸和文本量的基于文本的图像内容等。
因此,不仅接收的内容的分辨率可以极大地变化,而且图像内容的特性也可以甚至针对相同分辨率而变化。例如,可以接收具有比如1440x720像素的分辨率但具有十分不同内容特性的不同的信号。例如,从已经在该分辨率直接生成内容的HD信号源可以接收在该HD分辨率的一个信号。如果显示设备109是具有合适尺寸和分辨率(例如1440x720的天然分辨率)的面板显示器,则该图像将高质量地呈现并且将显得十分清楚和明晰。然而,在其它情况下,通过上缩放SD信号可以生成所述信号。虽然在很多情况下这种上缩放可以提供可接受的结果,但上缩放处理不是理想的,并且可以进一步引入噪声和伪像。因此,即使所呈现的图像被上缩放为相同分辨率,其也将是质量下降的并且将如此对观者显现。作为第三示例,1440x720信号可以源自十分低分辨率初始信号(例如通过移动电话捕获的具有比如352x288的分辨率的视频)。在此情况下,上缩放的1440x720信号的图像质量将相对低,并且将对观者呈现明显次最优图像。
这些质量变化的影响在大显示尺寸尤其有问题。例如,在60"电视上或在若干平方米投影的显示区上呈现低源质量图像将导致图像被感知为低质量,并且将典型地显现为不仅有噪声而且还是钝化和模糊的。无论图像被上缩放到更高的分辨率,情况都将如此。
锐度缺少的这种印象主要出自于显示图像的频率内容远低于人眼可以分辨的最大分辨率(并且通常低于对于显示的对象应可视的频率)。该最大分辨率是大约每度30周期,这说明当站得靠近大屏幕显示器,并且以60度的观看角度观看时,针对最优锐度感知需要至少1800周期或3600像素。然而,较低频率源图像(例如初始SD或低分辨率图像)包含用于提供这种锐度的远太少的像素。此外,甚至使用本领域现有的分辨率上缩放技术典型地不能提供足够高可分辨的像素分辨率,并且上缩放的图像因此一般被感知为模糊的。此外,上缩放可以引入在呈现的图像中可感知的噪声和伪像。
实际上,上缩放技术在现有采样之间的中间位置创建采样(像素)。创建的采样具有对初始像素的特定相关性,并且因此不提供与在较高分辨率的源信号相同的锐度信息。此外,当噪声在初始图像中呈现时,生成的附加像素倾向于变得更相关,由此进一步减少锐度感知。此外,初始信号中的噪声现在扩展到多个像素,并且因此显示为较大噪声实体(由于上缩放和在较大屏幕尺寸上的显示),并且因此变得更可视。
因此,尽管针对足够质量的输入材料的呈现图像(例如初始HD源信号)将显现得锐化和明晰,但针对较低质量的源材料的呈现图像将被感知为足够地较低质量,并且(即使已经应用高质量上缩放)可以实际上被感知为不可接受的质量。
发明人已经意识当显示的图像的频率内容靠近(或甚至高于)人眼的最大可分辨的分辨率时感知的质量最高。实际上,发明人已经意识并非仅仅呈现具有取决于显示***或图像的分辨率的特性的图像,可以有利的是根据图像中的局部像素值空间变化来缩放图像中的至少一些。实际上,该方法可以用于直接控制空间频率并且因此控制所呈现图像的锐度。
因此,在图1的***中,图像分析器103可以对例如整个图像执行局部图像轮廓分析,以表征像素值变化。例如,对于源自初始HD内容的HD信号,很有可能局部像素值变化可能在一些(例如与锐化边缘对应的)地方十分充分(锐化)。该锐度可以由各种邻居中的高局部变化性反映(例如在比如N像素直径的区域内,在图片中至少一些地方可以发现十分亮和十分暗像素)。具体地说,像素值的空间频率内容可以覆盖多数可用谱(用于(与分辨率对应的)空间采样频率)。然而,对于相同分辨率但具有(例如由于较低分辨率初始图像的上缩放)较低图像质量的信号,由于边缘较少锐化并且像素变化较少,因此这些值/特性很有可能基本上较低。因此,图像分析器103执行图像分析以确定可以具体地包括上述值中的一个或多个的像素值空间变化特性。分析可以考虑这些因素作为观看几何(观者距显示器多远)、以及观者偏好(一些观者喜爱图片的模糊外表,而其它人是苛求的),在该后者情况下,缩放器将典型地具有对存储观者偏好的存储器或实时用户输入装置的访问。
像素值空间变化特性于是被馈送到缩放处理器105,缩放处理器105根据像素值空间变化特性继续缩放接收的图像。缩放可以例如是当被呈现时图像的尺寸的简单调整。
例如,如果显示设备109是投影仪,则缩放处理器105可以通过调整其将被显示的尺寸简单地缩放信号。通过控制投影仪的光学器件从而放大或减少图像可以例如实现这一点。这可以有效地与改变呈现的图像的像素尺寸对应。
作为另一示例,可以应用分辨率缩放。例如,如果投影仪具有1920x1080像素的分辨率并且被布置为在比如3m乘以1.7m的对应显示窗口中显示完全分辨率图像,则缩放处理器105可以修改图像的分辨率以根据像素值空间变化特性与较小尺寸对应。
例如,对于高质量信号(例如指示高变化的像素值空间变化特性),缩放处理器105可以使用完全可用的分辨率,即1920x1080像素。然而,对于低质量信号(例如指示低变化的像素值空间变化特性),缩放处理器105可以仅使用完全可用的分辨率的子窗口。例如,对于低质量信号,缩放处理器105可以生成具有480x270的分辨率和位置在完全1920x1080图像的中心的图像。因此,投影仪将仅呈现在75cm乘以42cm的窗口尺寸中的图像。然而,在该较低显示尺寸,图像将被感知为相对较高质量。具体地说,噪声和伪像被缩放为较不可感知的,由此对于这些的似然性的补偿是更盛行的。此外,呈现的图像的分辨率将非常更靠近(或甚至大于)人眼可以分辨的最大分辨率,并且因此图像将被感知为基本上更锐化。
应理解,确切相同的方法可以例如用于具有对应1920x1080分辨率的3m x 1.7m尺寸的显示面板。
在以上特定示例中,缩放处理器105执行分辨率缩放,将其缩放至与期望的窗口尺寸对应的分辨率。因此,在示例中,来自缩放处理器105的输出信号具有与完全显示窗口(例如完全投影区或大尺寸显示器的完全分辨率)对应的固定分辨率。缩放处理器105然后继续执行输入图像的(例如视频信号的)缩放,以产生具有当由显示设备呈现时将给出期望的显示窗口尺寸的分辨率的图像。
该分辨率缩放可以包括与特定显示窗口对应的从较低分辨率(例如SD分辨率)到较高分辨率的上缩放。该上缩放可以包括本领域技术人员将知道的高级上缩放技术的使用。然而,应理解,例如如果期望的窗口尺寸与低于接收的图像的分辨率的图像分辨率对应,则分辨率缩放也可以包括下缩放。此外,在一些实施例中,接收的图像信号可以已经是处于与显示设备的分辨率对应的分辨率,并且因此缩放处理器105的缩放可以是不改变或是下缩放。
应理解,缩放处理可以不仅与输入图像的直接重新缩放对应而且可以应用十分高级的局部化的和灵活的缩放方法。此外,缩放可以不应用于整个图像而可以应用于图像的一个或多个区域。实际上,缩放处理器105可以根据像素值空间变化特性通过剪切图像调节呈现的图像的尺寸。
作为示例,缩放处理可以包括标识前景图像对象和背景的图像分析。背景然后可以被上缩放为期望的窗口尺寸,而图像对象被保持在相同分辨率并且***被上缩放的背景中。
实际上,应理解,缩放可以包括当被显示设备109显示时影响图像的尺寸的任何处理或算法。例如,对于投影仪,缩放处理器105可以不以任何方式修改图像,并且可以总是将无修改的图像信号提供给呈现控制器105。然而,此外,缩放处理器105可以生成馈送到投影仪的光学器件的控制信号。控制信号可以然后控制光学器件以提供适当尺寸的显示图像。
因此,图1的显示***自动地适应性调节根据像素值空间变化特性显示图像(或图像的部分)的显示窗口。由于像素值空间变化特性可以指示图像内容的质量或锐度,因此这允许呈现的图像的自动适应,以提供改进的用户体验和改进的质量的感知。
在一些实施例中,图像接收机101可以包括可以执行输入信号的预缩放的预缩放器。例如,可以通过固定的因子预缩放输入图像(例如,它可以通过预定的上缩放处理进行上缩放,例如4倍线性上缩放器)。当输入信号是SD信号(或更低)并且显示器是QD显示器时,这可以例如是适当的。因此,图像接收机101可以应用立即上缩放图像为更靠近与完全显示窗口尺寸对应的分辨率的预缩放。图像分析器然后可以处理预缩放的图像,以例如通过估计空间频率分量确定像素值空间变化特性。如果结果被认为可接受,则可以直接使用预缩放的图像。然而,如果高频率内容太低(指示图像将显现钝化),则缩放处理器105进一步缩放预缩放的信号。具体地说,缩放处理器105可以典型地将预缩放的图像下缩放到较低分辨率。
实际上,在一些情况下,缩放处理器105可以用作预缩放器。例如,其可以首先执行预定的缩放以生成第一缩放的图像。图像分析器103可以然后分析该图像以生成像素值空间变化特性。基于像素值空间变化特性,第二缩放可以应用于图像(应用于初始图像或预缩放的信号)。可以然后分析所得缩放的信号。可以例如迭代该处理,直到满足停止准则(例如,像素值空间变化特性满足指示感知的图像质量将是可接受的准则)。
在一些实施例中,预缩放器可以将可适应的预缩放应用于输入图像,从而其被缩放为预定的或固定的分辨率。例如,所有输入图像可以首先被上缩放为显示设备109的完全分辨率。图像分析器103然后分析所得图像。如果(根据任何合适的准则)这产生可接受的像素值空间变化特性,则预缩放的图像可以被馈送到呈现处理器107。否则,缩放处理器105可以执行预缩放信号的下缩放以产生减少的尺寸显示窗口。
在一些实施例中,缩放处理器105在这些情况下可以在初始图像而不是预缩放的图像上操作,即可以应用具有小于预缩放的缩放因子的上缩放。该示例可以与预缩放器是图像分析器103的部分对应。
在一些实施例中,图像分析器103可以具体地被布置为对图像的至少一个区域执行局部空间频率的空间频率分析。基于频率分析,然后生成包括(包含)空间频率特性的像素值空间变化特性。
频率特性可以具体地是将源自在对显示设备可用的完全窗口内显示的图像的空间频率的指示。实际上,在一些实施例中,缩放可以被适应性调节,使得显示图像的给定频率特性对于输入信号的变化频率特性保持相对恒定。例如,缩放处理器105可以缩放图像,使得例如馈送到呈现控制器的输出信号的最大频率基本上是恒定的。
在示例中,图像分析器103分析输入图像以确定频率特性。频率特性可以具体地表示从图像接收机101接收的图像的频率内容特性和/或频率分布特性。频率特性可以表示相对于空间采样频率(例如分辨率)的空间频率内容。
具体地说,图像分析器103可以例如使用二维快速傅里叶变换(FFT)将接收的图像转换为频率域。其可以然后估计所得频率分布以生成合适的频率特性。例如,可以生成频率特性以指示最高空间频率或例如与第95百分点对应的频率。该频率将被给定为采样频率的一小部分,并且可以例如被缩放为0-1之间的值。因此,值1可以用于指示最高频率(或第95百分点频率)与空间采样频率的一半相同,值0可以用于表示图像仅包含零频率(即其恰是单一色彩/阴影)。高值因此指示高程度的高频率分量,其指示高程度的锐度以及尤其是锐化过渡现象在图像中呈现,而低值指示高频率分量的缺少以及这是低度的锐度(由于所述过渡不利用输入图像中可用的完全分辨率)。
典型地,整个图像的频率域变换在计算上十分昂贵并且因此可以使用不太苛求的方法。例如,图像分析器103可以检测其中执行分析的特定图像区或区域。图像分析器103可以例如包括边缘检测器,并且具体地将频率分析应用于这些检测的边缘周围的一个或多个区域。
作为另一示例,编码的数字信号典型地提供单独块(例如8x8像素块)的频率域表示。因此,编码的图像信号可以直接提供每一8x8块的频率域表示,并且图像分析器103可以提取这些频率域值。其可以然后继续在用于单独块的频率值上生成柱状图,产生用于64个频率窗口(frequency bin)表示的图像的频率分布,其中,用于每一窗口的值表示所述窗口覆盖的频率间隔内频率的相对强度。因此,对于低质量、模糊的和钝化的图像,很有可能在较低频率存在高浓度,而在较高频率没有或具有相对低强度。然而,对于较高质量和较锐化的图像,很有可能使用整个频率范围。
在示例中,缩放处理器105然后继续缩放图像,从而其将提供具有合适的频率内容的显示图像。在一些实施例中,从缩放处理器105输出的图像的尺寸与显示的图像之间的关系可以是已知的。例如,对于具有1920x1080分辨率的3m乘以1.7m尺寸的显示面板的显示器,每一像素将具有0.15cm乘以0.15cm的尺寸。可以假设标称观看距离允许与待分辨的眼睛的最大频率对应的缩放处理器105的输出信号的期望的频率。因此,对于缩放处理器105的输出信号,相对于信号的采样速率的期望的比如95%或最大频率可以已知。如果频率特性指示完全缩放信号将充分地靠近该频率,则将生成输出图像以使用完全可用显示窗口。然而,如果频率特性指示图像仅具有期望频率的一半的频率,则这通过缩放信号被补偿。实际上,在示例中,显示器的水平和垂直尺寸可以按因子二来减少,导致显示的图像具有相同的相对锐度但小得多。
因此,作为示例,缩放处理器105可以被布置为缩放图像使得缩放的图像具有像素值空间变化特性以及特别是满足准则的频率特性。因此,将缩放不同图像,使得缩放的图像满足感知的质量准则。因此,通过修改显示的图像的尺寸可以保持质量相对稳定。
应理解,可以使用基于像素值空间变化特性设置缩放的特性的其它和更复杂的方法。例如,可以使用尺寸与变化特性之间的复杂数学关系,和/或缩放处理器105可以实现将尺寸与变化特性相关的查找表。这些功能或查找表可以更进一步可被配置为允许用户使操作适应于特定显示情况。例如,可以调整所述功能或值以反映投影仪与显示表面之间和/或显示表面与观者之间的距离。
在一些实施例中,图像分析器103被布置为执行锐度分析并且生成像素值空间变化特性以包括锐度特性。应理解,先前描述的频率分析是锐度估计的示例,并且频率特性实际上指示感知的锐度。实际上,较高频率指示较快的过渡以及因此增加的锐度。
然而,可以替代地或附加地执行其它锐度估计。例如,图像分析器103可以检测边缘并且具体地估计这些边缘的特性。例如,过渡的速率可以被确定并且针对所有标识的边缘被平均。根据边缘梯度(dx/dy,其中,x表示像素值,y表示空间图像尺寸),选择处理器205可以选择不同的缩放。因此,(与模糊的/软边缘对应的)低梯度可以产生小显示窗口,高梯度可以产生较大窗口尺寸。
图5示出观看锐度或频率内容的普通方法的几个更多示例。我们将然后典型地看看信号复杂度。图5a示出用于缩放轮廓(即锐化的对象间边缘)的容易。线性缩放典型地模糊该边缘,直到其变得不可接受,非线性缩放可以缓和这情况。图5b是在特定实例也可以非常可缩放的轮廓(即接近恒定的像素值轮廓)的示例。这可以出现例如为树之间的天空。在此情况下,天空实际上被非细节化,并且在不同缩放中将如此。因此,可以几乎任意地拉伸或压缩天空的局部小片(其中,这可能是在电影中不期望的,其可以是用于侵略性地(aggressive)缩放图4的侧窗口中的一些的良好场景)。相同情况将应用于简单重复的纹理,比如例如图形砖块图案。
图5c是包括头发的纹理的微轮廓(每一头发具有可变亮度轮廓),而图5d是净纹理的基本纹理元素,其包括小锐化边缘504以及接近恒定的内部503。尽管净纹理通过良好非线性缩放器可以是容易地可缩放的(因为在大尺寸上,内部也可以是恒定的,并且薄边缘可以被保持相对薄),由于具有模糊的边缘以及不正确的内部(典型地缺少真实像素变化轮廓,通常微细节)头发可能不能通过另一使用的缩放器被良好地缩放。然而,如果头发在初始尺寸上看起来足够好,则可以使用另一缩放器(比如Damkat的方法,EP08156628),其在缩放之后保留相同信息复杂度。
信息复杂度典型地与不同缩放(例如对象边界、以及(与坏压缩的模糊内部相比)内部的像素变化)有关。我们典型地必须看看针对这些不同局部图像部分的细节,并且判断这是否是自然/可能的(与净纹理或之间树示例对照,坏地压缩的对象——例如丢失草纹理——中的非细节化区域将不良好地缩放)。例如,如果在区501中存在不足的细节(并非眼纹理,可能仅存在有阴影的斑点,其不良好地上缩放),则图5e的脸部对象可能变得十分漫画化。这些交叉和图案间复杂度的分析可以采用各种数学函数,比如例如像素变化的归一化积分(例如目前像素值和先前像素值的绝对差的和的复杂加权的和非线性变换的变式)。纹理分析可以看看粒度的尺寸,并且然后内部的复杂度。图5f示出通常看看频率而非确切地看看不同FFT窗口(bin)的值的另一示例。其指示因为存在没有足够像素变化的长期运行(long run)的像素值502,所以对象区域可能太卡通。根据选取的缩放算法(线性内插、分形、基于纹理的图形、……),一些缩放可以被确定为足够好质量,而其它将不意味着图片必须被显示得较小。
应理解,在很多应用和实施例中可以使用所描述的方法。
例如,显示设备109可以是可以在房间(例如居室)的墙壁上呈现显示的投影仪。图2示出该示例,其中,投影仪可以显示图像以覆盖整个墙壁,即最大显示窗口与全部墙壁对应。投影仪可以具体地是具有例如1920x1080像素的分辨率的高分辨率投影仪。图1的显示装置可以用于在墙壁上显示不同的图像信号。
例如,输入信号可以源自提供标准SD视频信号的传统电视信号。SD视频信号可以(例如,由显示装置或在被提供给显示装置之前)被上缩放为HD分辨率,但这将典型地产生合理的但不异常高质量的信号。因此,图像分析器103的分析将指示例如不完全地利用可用空间频率范围的频率内容。因此,缩放处理器105将缩放信号,从而提供合理的尺寸的图像(参照图2a)。该尺寸被具体地优化,以在感知的质量与图像尺寸之间提供期望的折衷。
然而,在其它时间,显示装置可以用于呈现高分辨率静止图像。在1920x1080像素的分辨率中可以例如直接地提供图像。该图像将典型地完全利用可用的分辨率,并且可以具有表示完全可用的频率范围的频率内容。因此,缩放处理器105将缩放图像,使得在完全窗口中显示它,即,使得它覆盖整个墙壁(参照图2b)。
在其它时间,显示***可以用于观看起源为1440x720的分辨率的HD密度电影的电影。此外,该内容可以被上缩放为1920x1080像素的显示***的天然分辨率。然而,由于初始信号的改进的质量,上缩放的图像的锐度很有可能明显优于SD信号,但不与高分辨率照片同样高。这将在图像分析器103生成的频率特性中被反映,并且因此显示***可以缩放信号以在用于电视信号的尺寸与用于高分辨率照片的尺寸之间的显示窗口中呈现内容(参照图2c)。
因此,在这三个示例中,图像接收机101可以接收全在1920x1080像素的相同分辨率的三个不同的信号。然而,由于他们源自十分不同的信号,因此实际图像的实际图像质量或锐度在该固定的分辨率框架内明显变化。在示例中,显示***可以自动地检测该情况并且可以调整呈现的图像的尺寸以提供感知的质量与图像尺寸之间的优化的折衷。此外,可以自动地执行该优化。
作为另一示例,显示装置可以实现为可以被馈送多种信号并且可以在不同应用中使用的便携式设备的部分。例如,用户可以输入到在其上投影图像的显示表面的距离以及观者的距离。便携式投影仪可以然后被布置为自动地计算并且应用用于不同图像质量的缩放。
作为另一示例,显示***可以用作消费者设备或电器的部分,以呈现附加信息或指令。例如,如图3所示,洗涤机器301可以包括可以在洗涤机器301之后和之上的墙壁307上投影图像305的投影仪303。
***可以例如用于呈现上下文敏感指令手册或判断树给用户。因此,洗涤机器301可以具有可以被呈现以辅助用户的某范围的图像。这些图像可以主要地包括基于文本的信息但可以还包括图像或象形图(pictogram)。图像可以全部以相同分辨率被存储,但可以基本上变化,即一些图像可以包含小量的大字体文本,其它可以包含简单图像,另外其它可以包含大量的小字体文本等。
在方法中,显示装置可以估计被显示以确定锐度或频率内容的每一图像,并且可以因此缩放图像。例如,包含大量文本的页面/图像可以作为相对大图片305呈现在墙壁307上。然而,包含小量文本的页面/图像可以作为相对小图片305呈现在墙壁307上。因此,***可以自动地适应性调节图像尺寸以匹配特定图像/页面的内容。例如,可以自动地适应性调节图像的尺寸,以提供基本相等字体尺寸但具有变化图像尺寸。应注意,这可以在不改变投影的图像的分辨率的情况下例如通过缩放处理器105直接控制投影仪的光学器件来实现。
如上所述,缩放处理器105在一些实施例或情况下可以不仅调整图像尺寸而且可以替代地或附加地选择图像的一个或多个区域。例如,缩放处理器105可以被布置为在特定情况下剪切图像。例如,频率分析可以指示图像应呈现在大于可用于显示装置的显示窗口的显示窗口中。在此情况下,缩放处理器105可以继续调整图像的尺寸为期望的尺寸(例如与显示的图像的适当的频率内容对应的尺寸),并且剪切所得图像为可用显示窗口的尺寸。
例如,在洗涤机器示例中,一些页面/图像可以具有小量的大字体文本,并且这可以被缩放为在小于完全显示窗口的窗口中呈现。其它页面/图像可以具有当在最大显示窗口中呈现时仍然可以被观看的较大量的较小字体文本。然而,又再次,其它页面可以包括以小字体写的大量的文本。因此,这些页面具有指示图片中存在大量细节的高频率的十分高浓度。实际上,缩放处理器105可以估计即使在最大显示窗口中呈现图像,也将不足以提供足够易读的文本给用户。因此,缩放处理器105可以不仅调整尺寸而且还剪切图像。因此,通过取决于频率特性的剪切可以缩放图像。具体地说,剪切可以包括当像素值空间变化特性满足准则时剪切。
从该描述还将清楚,缩放可以取决于对于显示缩放的图像可用的显示窗口的特性。因此,在特定示例中,如果在潜在显示窗口的最大尺寸内不能适当地显示,则剪切图像。
在另一示例中,洗涤机器301的投影仪303可以在洗涤机器自身的自由表面上投影图像。例如,洗涤机器301的平坦白表面可以用于显示图像。然而,在该方法中,可用的表面可以严格地受限于洗涤机器301的各个可视特征,并且因此仅相对小表面范围可以是可用的,因此产生频繁剪切。
作为另一示例,显示***可以用在例如汽车的车辆中。在该示例中,显示设备109可以包括在汽车的风挡玻璃上投影图像的投影仪。在该示例中,风挡玻璃的部分可以为驾驶者保持干净,而在风挡玻璃的乘客侧上投影图像。根据频率/锐度特性调整图像的尺寸,使得图像不大于观看信息内容中所需或期望的。然而,此外,显示***也可以考虑有多少挡风玻璃应被保持自由以允许观看外部,即确保驾驶者可以看见足够量的交通外部。因此,作为锐度/频率参数以及指示潜在显示窗口的第二参数的函数,可以执行图像尺寸的计算。
应理解,边缘锐度或频率分析仅仅是可以被执行以确定像素值空间变化特性的局部图像轮廓分析的示例。实际上,可以使用提供在相对靠近在一起的像素之间、像素值空间地变化有多少或有多快的指示的任何分析。因此,像素值空间变化特性不仅仅指示总体上图像中像素的伸展而是它们如何在局部缩放上变化。例如,其中图像的一半十分暗而另一半十分亮的图像可以具有大像素值变化。然而,由于在两个半个中的每一个内可能几乎无变化(即变化仅发生在边缘上),因此局部像素变化可以相对低。反之,由于像素值甚至在局部区内充分地变化,因此具有大量细节的图像(例如“忙碌”图片)将典型地具有高局部像素值变化。
应理解,对于边缘检测锐度方法和空间频率方法,自动地考虑像素变化的局部特性。然而,在其它方法中,通过分析图像区段或区域内的像素变化可以局部化像素变化分析。例如,图像可以分离为多个分段或区域,可以估计每一分段或区域内的像素变化。然后可以通过分析或组合针对不同分段的结果生成像素值空间变化特性。
该方法可以例如用于其中响应于反映像素值如何分布的像素值分布特性确定像素值空间变化特性的实施例。
例如,像素值可以是可以采用从0到255的值的亮度值。图像可以划分为多个分段,并且对于每一分段,对于亮度值生成柱状图。柱状图然后用于生成用于每一分段中的像素值的差异。然后可以例如通过确定分段的平均差异来组合不同分段的差异。该平均差异可以然后用作像素值空间变化特性。
因此,在该示例中,由于多数分段将落入亮的一半或暗的一半内并且因此具有相对低差异,因此具有十分亮的一半和十分暗的一半的图像将产生相对低平均差异。然而,对于其中存在大量小细节和邻近像素之间的快速亮度变化的图像,多数分段将具有相对高差异,由此产生总体上针对图片的高平均差异。因此,该平均差异指示包含相对高量的局部像素变化的图像,由此指示在相对大显示窗口中可以有利地呈现的细节图像。
在一些实施例中,图像分析器103可以被布置为在一个或多个区域上执行纹理分析。然后可以响应于纹理特性确定像素值空间变化特性。例如,图像区的表面区可以具有携带大量细节的纹理(例如纹理粒度轮廓)和相对锐化的像素值变化。这指示高程度的高频率内容以及因此通过相对大尺寸可以呈现的锐化图像。然而,如果由相对平滑并且仅具有小和逐渐的像素变化的纹理来表征表面区,则这指示低程度的高频率内容并且因此指示应使用小显示窗口。
通过划分(bin into)为类,该纹理分析可以例如被执行为基于局部/小片的差异计算。例如,可以标识不同纹理化的图像对象表面。每一表面可划分为多个分段并且对于每一分段,像素值可以划分为柱状图的箱(bin)。然后可以确定分段的差异。用于所有纹理化的表面的平均差异可以然后被计算并且可以用于确定纹理特性以指示纹理的级别。例如,低差异可以指示平坦表面/图像(几乎无纹理),中等范围差异可以指示存在一些有限的纹理,高差异可以指示存在高程度的纹理。
在一些实施例中,图像分析器103可以被布置为执行图片的运动分析。然后可以响应于该运动特性生成像素值空间变化特性。
具体地说,如果被处理的图像是编码的视频信号的帧,则该运动数据可以是直接可用的,并且可以通过从编码的比特流提取相关运动数据简单地导出。在其它实施例中,可以执行多个帧的时间分析,以检测图像对象并且表征图像内的它们的运动。应理解,技术人员将知道很多这些技术。
然后可以根据运动特性调整用于呈现图像的显示窗口的尺寸。例如,在一些实施例中,运动的高程度可以指示在图像内快速运动的单独图像对象的高程度。这可以更适合于相对大显示窗口中的呈现以允许用户洞悉并且跟随单独图像对象。
在一些实施例中,图像分析器103被布置为执行解码伪像分析并且响应于解码伪像特性生成像素值空间变化特性。
在很多典型数字应用中,将数字地编码图像信号(无论静态还是运动图像)。例如,根据JPEG编码算法可以编码数字照片,通过MPEG编码算法可以编码视频信号。
然而,这种编码典型地包括基本数据压缩,并且可以产生解码的信号与初始信号之间的显著差异。这些差异可以被看作编码伪像并且将在解码的图像中呈现。例如,对于相对高压缩率,媒体信号经常可以体验源于基于单独块的编码的图像的编码的特定“块状”。
在一些实施例中,图像分析器105可以具体地被布置为估计这些编码伪像。例如,图像分析器105可以将图像划分为与编码块对应的8×8像素块。然后可以继续确定与块之间的像素变化比较的块内像素变化的特性。如果该分析指示块之间的像素变化与块内的像素变化比较相对高,则这极有可能由于相对高程度的(“块状”的)编码块伪像。
通过不同方式可以使用编码伪像的估计。在一些情况下,其可以直接用作像素值空间变化特性,即其可以直接用于调整图像的缩放。这可以允许尺寸化显示窗口,使其匹配编码伪像的程度,即使得它们不会太多地使感知的质量降级。例如,如果存在高程度的编码伪像,则可以比如果不存在高程度的编码伪像使用更小的显示窗口尺寸。
然而,替代地或附加地,编码伪像可以用于修改其它参数的分析。例如,当执行空间频率和分析时,可以首先补偿图像以减少或消除编码伪像。例如,是大程度的编码伪像被检测,空间频率分析可以被限制在编码块内执行并且在编码块之间不扩展。这可以允许频率分析表示底层图像的细节和锐度,而不会被编码伪像不适当地影响。实际上,在很多情况下,编码伪像可以实际上引入可能被误解为增加的锐度的指示的附加高频率空间分量。因此,编码伪像减轻可以防止较低质量图像被解释为比没有编码伪像的对应图像更锐化。
因此,在示例中,缩放可以取决于在编码伪像减轻之后确定的频率特性。然而,此外,缩放也可以取决于自身中的编码伪像分析。例如,如果频率特性指示足够程度的高频率分量以及如果编码伪像特性指示低于阈值的编码伪像的量,则可以仅使用完全显示尺寸。如果不满足这两个准则中的任何一个,则使用较低显示窗口尺寸。
在一些实施例中,图像分析器103可以被布置为对图像执行内容分析,并且缩放部件可以被布置为(至少部分地)响应于内容特性执行缩放。
内容分析可以具体地被布置为确定所呈现图像的内容类别,图像的缩放可以取决于内容类别。内容分析可以例如包括能够表征图像显示的特定场景的场景检测。例如,其可以检测图像是土地景还是海洋景,并且如果如此,则其可以修改缩放以提供比其否则将会是的更大的图像。
应理解,该内容分析可以应用于静止和运动图像。例如,显示***可以被布置为检测呈现的材料与足球比赛对应,并且可以在响应中被布置为根据对于足球比赛的偏好来偏置缩放(例如,可以增加显示窗口的尺寸)。
应理解,在很多这些实施例中,内容分析用于基于像素值空间变化特性增强缩放。实际上,该方法可以允许显示窗口对用户偏好的进一步适应。例如,对于锐度和细节的给定级别,用户可以根据这是土地景还是足球比赛而偏好呈现的图像的不同尺寸。
在一些实施例中,图像可以是图像的视频序列的部分,例如,可以分析视频帧的序列。在该示例中,图像分析器105也可以被布置为执行时间分析以确定时间像素值变化特性。例如,如先前描述的,可以确定用于图像对象的运动特性。
作为另一示例,可以基于图像分析估计时间噪声。因此,尽管该噪声可以在单独图像中露出并且可以由像素值空间变化特性来表示,但时间分析可以提供可以被使用的另一信息。例如,时间分析可以允许图像对象的纹理与图像对象中的噪声之间的区分。因此,可以通过对于编码伪像描述的相似方式估计并且使用时间噪声。例如,其可以用于补偿像素值空间变化特性(以补偿被解释为局部高频率变化的噪声)并且可以直接用于确定缩放(例如,当存在明显时间噪声时减少显示窗口尺寸以使得这较少可感知)。
在一些实施例中,图像分析器105可以具体地基于图像中的再多一个图像对象执行分析。例如,可以执行图像的分段以检测再多一个图像对象。然后可以针对特定图像对象生成图像对象空间轮廓特性。具体地说,上述分析中的一个或多个可以直接应用于提取的图像对象。然后可以执行缩放以提供特定图像对象的期望的属性。例如,可以选择图像尺寸,使得以期望程度的锐度或以不高于阈值(在其之上对象可能例如看起来是不真实的、胁迫的等)的尺寸呈现图像对象。
以下描述聚焦于单个显示窗口的处理和估计。然而,应理解,在很多实施例中,在(可以交叠显示窗口的)其它显示窗口中可以同时呈现图像。
例如,在一些实施例中,主图像不使用的任何可用显示空间可以用于呈现另一图像。因此,整个显示区可以划分为允许若干窗口同时呈现的多个显示窗口。
图4示出该情况的示例。在示例中,在显示区403中心放置主窗口401。该显示区可以具体地与在其上投影仪投影包括多个显示窗口的图片的墙壁(的部分)、洗涤机器的上表面或其它对象(或对象的其它部分)的任何外表面对应。
除了主窗口401之外,存在同时显示其它信息的多个显示窗口405-413。例如,一个窗口405可以用作视频交谈窗口,另一窗口407可以用于提供天气卫星图像,另一窗口409可以用于提供静态天气预报,另一窗口411可以用于提供将要来临的事件的信息,另一窗口413可以是用于指示当前时间的图形图像。因此,显示区可以提供对用户同时呈现不同信息的“信息壁”。
在示例中,先前描述的缩放可以应用于中心显示窗口401(选择为主显示窗口的窗口)的图像。在示例中,主显示窗口401可以因此根据图像的特定锐度指示调整其尺寸。因此,有时,主显示窗口401可以相对小,其它时间,其可以相对大。
在示例中,其它窗口405-413的一个或多个特性可以进一步取决于主窗口401的特性。例如,可以定位并且尺寸化附属窗口405-413,使得在主显示窗口401的外部显示它们。例如,当主显示窗口401相对大时,朝向显示窗口侧进一步移动附属显示窗口405-413。此外,在一些实施例中,也可以根据应用于主窗口401的缩放调整附属窗口405-413中的一个或多个的尺寸(使得它们较少落在可显示区403的外部)。例如,当减少主窗口401的尺寸时,附属窗口405-413的对应尺寸对应地增加。
在一些实施例中,描述的自适应缩放可以替代地或附加地应用于附属窗口405-413中的一个或多个(在此情况下,基本缩放算法部分地被约束,产生中间最优缩放)。例如,在一些实施例中,主窗口401可以具有固定的尺寸,而根据用于附属窗口405-413的锐度指示来缩放该窗口405-413中的一个或多个。例如,在图4的示例中,附属窗口405的该尺寸可以取决于人的呈现的图像的相对锐度,或致使脸部仍然足够真实。例如,如果图像相对尖锐(例如由高比例的高频信号分量指示的),则附属窗口405的尺寸可以被设置为允许其在显示区405内和主窗口401外部被呈现的最高值。然而,如果相对锐度低,则对应地减小附属窗口405的尺寸,由此提供改进的感知的图像质量。这可以进一步允许同时呈现更多或更大的其它非凡窗口407-413。
作为特定示例,附属窗口405可以在一些示例中用于呈现人的图像。然后可以优化窗口405的缩放,以提供针对呈现的人提供最优锐度的显示。实际上,由于块伪像和/或模糊使得图像更不容易被用户感知,因此使显示太大将导致使人的识别更困难。
在特定示例中,参照图1描述的方法同时应用于所有的显示窗口401、405-413。因此,每一单独窗口被优化以通过最佳匹配用于该窗口的确定的锐度的尺寸被呈现。应理解,在一些实施例中,一个窗口的缩放还可以考虑其它窗口的缩放/锐度特性。例如,对于每一单独窗口可以确定最优尺寸,并且因此可以进一步修改这些尺寸以确保所有窗口可以配合在可用显示区403内。例如通过将尺寸预算分配给窗口并且定义惩罚距最优尺寸的偏离的不对称加权的代价函数可以典型地完成该操作。
在其它实施例中,可以修改附属窗口405--413中的一些或所有的定位,使得它们延伸到可用显示区403之外。例如,在图4的示例中,附属显示窗口405-409向外移动,使得仅窗口405-409中的部分是可视的。如果主窗口401的特性改变导致主窗口401减小尺寸,则附属显示窗口405-409可以自动地滑回到可观看的显示窗口403。
因此,图4的示例可以具体地提供不同窗口中的不同信息的“弹性云”呈现。因此,其可以根据主显示窗口的优化提供移动到可显示区的边界之外的协同窗口的云。
单独窗口的缩放可以进一步取决于是否选择窗口作为主窗口。例如,对于每一窗口,一个期望的质量测量被存储用于这被选择为主窗口的情况,另一个被存储用于窗口被选择为附属窗口的情况。例如,当窗口是主显示窗口时,其被控制以提供优化的感知质量。然而,当其被选择为附属窗口时,仅要求实现最小质量水平,同时另外允许窗口的自由调整以允许其最佳地配合其它呈现的窗口。
还应理解,在附属显示窗口405-413可以自动地部分地移出可用显示窗口403的外部的示例中,可以应用图像的部分的选择。例如,可适应的剪切或图像对象提取可以应用于提供可视显示窗口403内的最优图像区段。
如果其它显示装置可用,则缩放装置可以通过以适当的方式采用它们而将其考虑在内。例如,在落到第一显示的可实现几何外部的缩放之后的主图片可以部分地被表示在第二显示上(例如环境光(ambilight)投影外部图片区域(可能的由例如比如另一非线性拉伸——或图形地添加额外对象/图案(例如树等)——以给投影更沉浸式的特性的图像处理处理的)作为邻近墙壁上的环境、或邻近第二LCD显示器)。在多窗口的情况下,窗口中的一些(例如,如果少于其50%将在主显示区上可视)可以被卸下到第二显示(例如,天气图片可以被切换到通用远程控制上的显示,并且时钟图片可以被发送到碗柜上的相框显示)。
应理解,为了清楚,以上描述已经参照不同功能单元和处理器描述了本发明实施例。然而,应理解,在不损伤本发明的情况下,可以使用不同功能单元或处理器之间的功能的任何合适的分布。例如,相同处理器或控制器可以执行示出由分离的处理器或控制器执行的功能。因此,对特定功能单元的引用仅被看作对用于提供描述的功能的合适装置的引用,而不是指示严格逻辑或物理结构或组织。
本发明可以通过包括硬件、软件、固件或它们的任何组合的任何合适的形式实现。本发明可以可选地至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明实施例的元件和组件可以通过任何合适的方式物理地、功能地以及逻辑地实现。实际上,可以在单个单元、多个单元中或作为其它功能单元的部分实现功能。同样地,本发明可以通过单个单元实现,或可以在不同单元与处理器之间物理地和功能地分布。
虽然已经结合一些实施例描述了本发明,但不期望受限于在此阐述的特定形式。此外,本发明的范围仅由所附权利要求限制。此外,虽然特征可以出现为结合特定实施例被描述,但本领域技术人员应理解,根据本发明可以组合描述的实施例的各种特征。在权利要求中,术语包括不排除其它元件或步骤的存在。
此外,虽然单独地列出,但可以由例如单个单元或处理器实现多个装置、元件或方法步骤。此外,虽然单独特征可以被包括在不同权利要求中,但它们可以可能地有利地被组合,并且所述包括在不同权利要求中不暗指特征的组合不可行和/或不利。此外,在权利要求的一个类别中特征的包括不暗指限制于该类别,而是指示该特征适当地等同地可应用于其它权利要求类别。此外,权利要求中的特征的顺序不暗指特征必须按此运作的任何特定顺序,并且具体地说,方法权利要求中的各个步骤的顺序不暗指必须以该顺序执行步骤。此外,可以通过任何合适的顺序执行步骤。此外,单数引用不排除复数。因此,对“一个”、“某个”、“第一”、“第二”等的引用不排除多个。权利要求中的参考标记仅仅被提供为说明性示例,不应理解为以任何方式限制权利要求的范围。

Claims (16)

1. 一种用于呈现图像的显示装置,所述显示装置包括:
用于接收待显示的图像的部件(101);
分析部件(103),用于对所述图像的至少第一区域执行局部图像轮廓分析,以计算表示像素值的空间变化的特性;
缩放部件(105),用于响应于表示像素值的空间变化的特性来缩放所述图像的至少第二区域;以及
呈现装置(107),用于呈现所缩放的图像;其中用于被缩放图像的显示窗口的尺寸与表示像素值的空间变化的特性有关。
2. 如权利要求1所述的显示装置,其中,所述分析部件(103)被布置为对至少所述第一区域执行局部空间频率的空间频率分析,并且生成包括空间频率特性的表示像素值的空间变化的特性。
3. 如权利要求1所述的显示装置,其中,所述分析部件(103)被布置为对至少所述第一区域执行锐度分析,并且生成包括锐度特性的表示像素值的空间变化的特性。
4. 如权利要求1所述的显示装置,其中,所述分析部件(103)被布置为对至少所述第一区域执行纹理分析,并且生成包括纹理特性的表示像素值的空间变化的特性。
5. 如权利要求1所述的显示装置,其中,所述分析部件(103)被布置为对至少所述第一区域执行像素值分布分析,并且生成包括像素值分布特性的表示像素值的空间变化的特性。
6. 如权利要求1所述的显示装置,其中,所述分析部件(103)被布置为对至少所述第一区域执行编码伪像分析,并且响应于编码伪像特性生成表示像素值的空间变化的特性。
7. 如权利要求1所述的显示装置,其中,所述分析部件(103)被布置为对至少所述第一区域执行运动分析,并且生成包括运动特性的表示像素值的空间变化的特性。
8. 如权利要求1所述的显示装置,还包括:用于对至少所述第一区域执行内容分析的部件(103),并且其中,所述缩放部件(105)被布置为响应于内容特性来缩放所述第二区域。
9. 如权利要求1所述的显示装置,其中,所述缩放包括裁剪。
10. 如权利要求1所述的显示装置,其中,所述缩放还取决于对于显示缩放的图像可用的显示窗口的几何特性。
11. 如权利要求1所述的显示装置,其中,所述缩放包括:对与期望的窗口尺寸对应的分辨率进行分辨率缩放。
12. 如权利要求1所述的显示装置,其中,所述分析部件(103)被布置为确定用于至少一个图像对象的图像对象空间轮廓特性,并且所述缩放部件(105)被布置为响应于所述对象空间轮廓特性执行所述缩放。
13. 如权利要求1所述的显示装置,其中,所述图像是图像的视频序列的图像,并且所述分析部件(103)被布置为对所述视频序列执行时间分析,以生成时间像素值变化特性,并且其中,所述缩放部件(105)被布置为响应于所述时间像素值变化特性来缩放所述第二区域。
14. 如权利要求1所述的显示装置,其中,所述呈现装置(107)被布置为在显示窗口的子窗口中呈现所述图像,并且所述装置还包括用于在所述显示窗口的另一子窗口中呈现另一图像的装置。
15. 一种用于呈现图像的方法,所述方法包括:
接收待显示的图像;
对所述图像的至少第一区域执行局部图像轮廓分析,以确定表示像素值的空间变化的特性;
响应于表示像素值的空间变化的特性来缩放所述图像的至少第二区域;以及
呈现所述缩放的图像;其中用于被缩放图像的显示窗口的尺寸与表示像素值的空间变化的特性有关。
16. 一种图像处理设备,包括:
用于接收待显示的图像的部件(101);
分析部件(103),用于对所述图像的至少第一区域执行局部图像轮廓分析,以计算表示像素值的空间变化的特性;
缩放部件(105),用于响应于表示像素值的空间变化的特性来缩放所述图像的至少第二区域;其中用于被缩放图像的显示窗口的尺寸与表示像素值的空间变化的特性有关。
CN201080020806.7A 2009-05-13 2010-05-06 显示装置及其方法 Expired - Fee Related CN102428492B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09160124 2009-05-13
EP09160124.5 2009-05-13
PCT/IB2010/052001 WO2010131167A1 (en) 2009-05-13 2010-05-06 A display apparatus and a method therefor

Publications (2)

Publication Number Publication Date
CN102428492A CN102428492A (zh) 2012-04-25
CN102428492B true CN102428492B (zh) 2014-01-01

Family

ID=42562643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080020806.7A Expired - Fee Related CN102428492B (zh) 2009-05-13 2010-05-06 显示装置及其方法

Country Status (5)

Country Link
US (1) US20120050334A1 (zh)
EP (1) EP2430611A1 (zh)
JP (1) JP2012527005A (zh)
CN (1) CN102428492B (zh)
WO (1) WO2010131167A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2007052395A1 (ja) * 2005-10-31 2009-04-30 シャープ株式会社 視聴環境制御装置、視聴環境制御システム、視聴環境制御方法、データ送信装置及びデータ送信方法
DE102010044151A1 (de) * 2010-11-19 2012-05-24 BSH Bosch und Siemens Hausgeräte GmbH Hausgerät mit Bildprojektor
JP5683367B2 (ja) * 2011-04-20 2015-03-11 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
CN102761709A (zh) * 2011-04-25 2012-10-31 张影 一种广播影像控制方法
KR101913336B1 (ko) * 2011-10-06 2018-10-31 삼성전자주식회사 이동 장치 및 그 제어 방법
US8660351B2 (en) 2011-10-24 2014-02-25 Hewlett-Packard Development Company, L.P. Auto-cropping images using saliency maps
GB2499635B (en) * 2012-02-23 2014-05-14 Canon Kk Image processing for projection on a projection screen
US20130222228A1 (en) * 2012-02-29 2013-08-29 David Ryan Walker Automatic projector behaviour changes based on projection distance
WO2015036648A1 (en) * 2013-09-11 2015-03-19 Nokia Technologies Oy An apparatus for processing images and associated methods
JP2015079078A (ja) * 2013-10-16 2015-04-23 セイコーエプソン株式会社 表示制御装置及び方法、半導体集積回路装置、並びに、表示装置
KR102194635B1 (ko) * 2014-01-29 2020-12-23 삼성전자주식회사 디스플레이 컨트롤러 및 이를 포함하는 디스플레이 시스템
KR102189647B1 (ko) 2014-09-02 2020-12-11 삼성전자주식회사 디스플레이 장치, 시스템 및 그 제어 방법
KR102214028B1 (ko) 2014-09-22 2021-02-09 삼성전자주식회사 가변구조형 스케일러를 포함하는 애플리케이션 프로세서와 이를 포함하는 장치들
US9483982B1 (en) 2015-05-05 2016-11-01 Dreamscreen Llc Apparatus and method for television backlignting
KR102512521B1 (ko) * 2015-10-12 2023-03-21 삼성전자주식회사 텍스쳐 처리 방법 및 장치
CN105916022A (zh) * 2015-12-28 2016-08-31 乐视致新电子科技(天津)有限公司 一种基于虚拟现实技术的视频图像处理方法及装置
US9691131B1 (en) * 2016-08-31 2017-06-27 Knapsack, LLC System and method for image resizing
JP6433537B2 (ja) * 2016-12-22 2018-12-05 カルソニックカンセイ株式会社 画像表示制御装置
US11526996B2 (en) * 2018-07-01 2022-12-13 Google Llc Analysis and visualization of subtle motions in videos
CN109725977B (zh) * 2019-01-02 2022-06-28 京东方科技集团股份有限公司 一种基于Android***的多应用显示方法及终端设备
US20200304752A1 (en) * 2019-03-20 2020-09-24 GM Global Technology Operations LLC Method and apparatus for enhanced video display
CN112308212A (zh) * 2020-11-02 2021-02-02 佛山科学技术学院 一种基于神经网络的安防图像高清恢复方法及***
US11669361B1 (en) * 2021-04-01 2023-06-06 Ai-Blockchain, Inc. System, method and program product for optimizing computer processing power in cloud computing systems
CN113099182B (zh) * 2021-04-08 2022-11-22 西安应用光学研究所 基于机载并行处理架构的多视窗实时缩放方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1026630A2 (en) * 1999-02-08 2000-08-09 Sharp Kabushiki Kaisha Image downsampling using redundant pixel removal
CN1957371A (zh) * 2004-05-31 2007-05-02 诺基亚公司 用于查看与增强图像的方法和***

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193766A (ja) * 1993-12-27 1995-07-28 Toshiba Corp 画像情報処理装置
US20020141501A1 (en) * 1998-11-20 2002-10-03 Philips Electronics North America Corporation System for performing resolution upscaling on frames of digital video
JP3752991B2 (ja) * 2000-10-19 2006-03-08 株式会社日立製作所 映像表示装置
GB2370438A (en) * 2000-12-22 2002-06-26 Hewlett Packard Co Automated image cropping using selected compositional rules.
JP4011949B2 (ja) * 2002-04-01 2007-11-21 キヤノン株式会社 マルチ画面合成装置及びデジタルテレビ受信装置
US20050219362A1 (en) * 2004-03-30 2005-10-06 Cernium, Inc. Quality analysis in imaging
JP2006234869A (ja) * 2005-02-22 2006-09-07 Fuji Xerox Co Ltd 画質調整方法、画質調整装置、および出力制御装置、並びにプログラム
US7574069B2 (en) * 2005-08-01 2009-08-11 Mitsubishi Electric Research Laboratories, Inc. Retargeting images for small displays
US7570830B2 (en) * 2006-03-16 2009-08-04 Altek Corporation Test method for image sharpness
JP2008164666A (ja) * 2006-12-27 2008-07-17 Sharp Corp 映像信号処理装置、および該映像信号処理装置を備える映像表示装置
JP2009015025A (ja) * 2007-07-05 2009-01-22 Hitachi Ltd 画像信号処理装置および画像信号処理方法
US8331666B2 (en) * 2008-03-03 2012-12-11 Csr Technology Inc. Automatic red eye artifact reduction for images
US8379152B2 (en) * 2008-03-31 2013-02-19 Sharp Laboratories Of America, Inc. Systems and methods for increasing the temporal resolution of video data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1026630A2 (en) * 1999-02-08 2000-08-09 Sharp Kabushiki Kaisha Image downsampling using redundant pixel removal
CN1957371A (zh) * 2004-05-31 2007-05-02 诺基亚公司 用于查看与增强图像的方法和***

Also Published As

Publication number Publication date
US20120050334A1 (en) 2012-03-01
JP2012527005A (ja) 2012-11-01
WO2010131167A1 (en) 2010-11-18
CN102428492A (zh) 2012-04-25
EP2430611A1 (en) 2012-03-21

Similar Documents

Publication Publication Date Title
CN102428492B (zh) 显示装置及其方法
US11601630B2 (en) Video processing method, electronic device, and non-transitory computer-readable medium
US10497162B2 (en) Systems and methods for appearance mapping for compositing overlay graphics
CN101385045B (zh) 感知图像预览
JP6619813B2 (ja) 特定のディスプレイに対する高ダイナミックレンジ画像の最適化
Huang et al. Thresholding technique with adaptive window selection for uneven lighting image
CN102741879B (zh) 由单眼图像产生深度图的方法及其***
Cheng et al. Efficient histogram modification using bilateral Bezier curve for the contrast enhancement
US10055866B2 (en) Systems and methods for appearance mapping for compositing overlay graphics
US20030053692A1 (en) Method of and apparatus for segmenting a pixellated image
EP2932462B1 (en) Content aware video resizing
US10298905B2 (en) Method and apparatus for determining a depth map for an angle
EP3238213B1 (en) Method and apparatus for generating an extrapolated image based on object detection
CA2920834A1 (en) Legibility enhancement for a logo, text or other region of interest in video
US20140320534A1 (en) Image processing apparatus, and image processing method
US8254717B2 (en) Picture enhancement by utilizing quantization precision of regions
EP3298578B1 (en) Method and apparatus for determining a depth map for an image
US20180144446A1 (en) Image processing apparatus and method
KR20160076769A (ko) 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법
Kim et al. Blind sharpness prediction for ultrahigh-definition video based on human visual resolution
Schwarz et al. On predicting visual popping in dynamic scenes
Duque et al. Color and quality enhancement of videoconferencing whiteboards
Xu et al. Key Feature Highlighting: A High Ambient Display and Extreme Display Power Reduction Technology
Shi et al. A perceptual preprocess method for 3D-HEVC
WO2023192235A1 (en) Methods and systems for perceptually meaningful spatial content compositing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: TP VISION HOLDING B.V.

Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS N.V.

Effective date: 20120821

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20120821

Address after: Holland Ian Deho Finn

Applicant after: Tp Vision Holding B. V.

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140101

Termination date: 20140506