CN103391392A - 图像增强装置和方法 - Google Patents

Abstract

本发明涉及图像增强装置和方法，其中，该图像增强装置用于增强至少第一视图的输入图像序列中的输入图像并且获得至少所述第一视图的增强输出图像，所述图像增强装置包括：反锐化掩模单元，被配置为增强输入图像的锐度；运动补偿单元，被配置为通过补偿先前输出图像中的运动来生成至少一个先前运动补偿图像；权重选择单元，被配置为基于选择权重因数从所述锐度增强输入图像和所述先前运动补偿图像生成权重选择图像；细节信号生成单元，被配置为从所述输入图像和所述权重选择图像生成细节信号；以及合并单元，被配置为从所述细节信号和从所述输入图像和/或所述权重选择图像生成所述增强输出图像。

Description

图像增强装置和方法

技术领域

本公开涉及用于增强至少第一视图的一系列输入图像中的输入图像并且获得至少所述第一视图的增强输出图像的图像增强装置和相应的方法。此外，本公开涉及显示装置、计算机程序和计算机可读非易失性介质。

背景技术

超分辨率可以增强图像和视频序列的分辨率。超分辨率的专有特性是其能够建立具有在各个低分辨率输入帧中不存在的高空间频率的高分辨率帧。

在Super-Resolution Imaging，P.Milanfar，Ed.Boca Raton；CRC Press，2011，pp.219-244中的作者是M.Tanaka和M.Okutomi的“Toward RobustReconstruction——Based Super-Resolution”中提出了用于从全部可用作***输入的多个可用的输入帧积累细节从而从多个输入帧生成高分辨率的输出序列的***。假设输出信号具有比输入信号更高的像素范围。因此，内部的上采样和下采样是必要的。

在US2010/0119176A1中，提出了用于从具有较低的空间分辨率的序列生成高分辨率的输出序列的***。该***使用与空间升级***并行的时间递归超分辨率***。因为输出信号具有比输入信号高的像素范围，所以使用内部上采样。通过使用递归反馈环从来自输入序列的多个时间实例时间地积累细节来实现。

在本文中提供的“背景技术”描述为了总体地表现本公开的环境的目的。到该背景技术部分中描述的程度的当前列出的发明人的工作以及在提交时可能不另外具有现有技术的资格的该描述的方面，明确地或暗指地都不被承认是相对于本发明的现有技术。

发明内容

一个目的是提供用于增强至少第一视图的输入图像序列的输入图像并且获得至少所述第一视图的增强输出图像的图像增强装置和相应的图像增强方法，该图像增强装置和相应的图像增强方法特别地提供了对于单视场的（monoscopic）以及立体的输入序列的图像细节和锐度增强并且避免了生成额外的伪像和噪声。此外的目的是提供用于实现该方法的相应的计算机程序以及计算机可读非易失性介质。

根据一个方面，提供了一种用于增强至少第一视图的输入图像序列的输入图像并且获得至少所述第一视图的增强输出图像的图像增强装置，所述装置包括：

反锐化掩模单元，被配置为增强输入图像的锐度，

运动补偿单元，被配置为通过补偿在先前输出图像中的运动来生成至少一个先前运动补偿图像，

权重选择单元，被配置为基于选择权重因数从所述锐度增强输入图像和所述先前运动补偿图像生成权重选择图像。

细节信号生成单元，被配置为从所述输入图像和所述权重选择图像生成细节信号，以及

合并单元，被配置为从所述细节信号并且从所述输入图像和/或所述权重选择图像生成所述增强输出图像。

根据另外的一个方面，提供了一种用于增强至少第一视图的输入图像序列的输入图像并且获得至少所述第一视图的增强输出图像的图像增强装置，所述装置包括：

反锐化掩模器件，用于增强输入图像的锐度，

运动补偿器件，用于通过补偿在先前输出图像中的运动来生成至少一个先前运动补偿图像，

权重选择器件，用于基于选择权重因数从所述锐度增强输入图像和所述先前运动补偿图像生成权重选择图像，

细节信号生成器件，用于从所述输入图像和所述权重选择图像生成细节信号，以及

合并器件，用于从所述细节信号并且从所述输入图像和/或所述权重选择图像生成所述增强输出图像。

根据此外又一方面，提供了一种相应的图像增强方法、包括程序手段的计算机程序以及其中存储有计算机程序产品的非易失性计算机可读记录介质，该程序手段当在计算机上实现所述计算机程序时用于使计算机实现本文中公开的方法的步骤，该计算机程序产品当由处理器执行时使得执行本文中公开的方法。

在所附权利要求中定义了优选的实施方式。应当理解，所要求的图像增强方法、所要求的计算机程序和所要求的计算机可读记录介质具有与所要求的图像增强装置和在所附权利要求中所定义的相似和/或相同的优选实施方式。

本公开的一个方面是提供用于特别是在诸如电视机的当前和将来的显示装置中的单视场的和立体的输入序列的图像细节和锐度增强的解决方案，该解决方案避免生成额外的伪像和噪声。来自左和/或右视觉的两个以上的输入帧的信息用于生成具有额外细节和感知到的更高的分辨率和锐度的输出信号。尽管使用了来自两个以上的输入帧的信息，但是递归处理允许将所需要的帧存储器保持为最小（即，对于每个视图一个额外的帧缓冲器）。因此，所提供的装置和方法是计算高效的，只需要小的存储器，其结果是便宜的硬件成本和对于运动估计错误和其他副作用的高的图像或视频输出质量鲁棒性。

所提供的装置和方法能够处理不同的输入和输出情况，这些情况包括：a）单视场输入、单视场输出，b）立体输入、单视场输出，和c）立体输入，立体输出。在立体输入的情况下，积累来自两个视图的多个时间实例的细节来生成具有额外的细节的单视场或立体的输出序列。

与已知解决方案相反，所提供的装置和方法在各个时间实例使用递归时间反馈环来经时间积累来自一个或两个可用的输入帧的细节。进一步地，因为输入和输出信号通常具有相同的像素范围，所以不需要内部的上采样和下采样。更进一步地，所提供的解决方案也能够处理立体输入。通常不需要用于稳定的完全的并行空间处理。

应当理解，本发明的前述总体描述和以下具体实施方式对于本发明是示例性的而不是限制性的。

附图说明

随着本公开更完整的评价和伴随本公开的众多优点通过在联系附图来考虑时参考以下具体实施方式变得更好理解，将容易地获得它们，其中：

图1示出了根据本发明的图像增强装置的总体布局，

图2示出了用于2D到2D处理的提供的图像增强装置的第一实施方式。

图3示出了用于2D到2D处理的提供的图像增强装置的第二实施方式，

图4示出了用于3D到2D处理的提供的图像增强装置的第三实施方式。

图5示出了用于3D到3D处理的提供的图像增强装置的第四实施方式。

图6示出了反锐化掩模单元的实施方式，

图7示出了权重选择单元的实施方式，

图8示出了图像建模单元的实施方式，

图9示出了最大局部梯度单元的实施方式，

图10示出了数据建模单元的实施方式，

图11示出了自适应低通滤波器单元的实施方式，

图12示出了差异信号权重单元的实施方式，

图13示出了用于3D到2D处理的提供的图像增强装置的第五实施方式，以及

图14示出了用于2D到2D处理的提供的图像增强装置的第六实施方式。

具体实施方式

现在参考附图，其中相同的参考数字表示遍及几个视图的相同或相应的部分，图1示意性地描述了所提出的图像增强装置100的各种实施方式。在可以是单视场图像序列或立体3D图像序列的图像序列上实现图像增强。存在至少三个可能的实施方式（以虚线来表示图1中的可选路径）：

在2D到2D处理中，使用来自输入视图的多个输入帧的信息以生成具有更高的感知分辨率的输出信号来在单视场输入序列上实现图像增强。为了检测在不同输入帧中相应的像素位置，优选使用利用先前的运动估计的子像素精确运动向量。

在3D到2D处理中，使用来自视图1和视图2的输入序列的多个输入帧的信息以生成用于视图1的具有更高的感知分辨率的输出信号来在视图1的输入序列上实现图像增强。为了检测来自不同输入视图的不同输入帧中的相应的像素位置，使用了视图内运动向量（来自视图1）和视图间视差向量（在视图1和视图2之间）。优选通过使用运动估计和视差估计来在先检测优选的子像素精确运动和视差向量。

在3D到3D处理中，使用来自两个输入视图的多个输入帧的信息以生成对于视图1和视图2的具有更高的感知分辨率的输出信号来在立体3D输入序列上实现图像增强。为了检测来自不同输入视图的不同输入帧中的相应的像素位置，使用了视图内运动向量（来自视图1和视图2）和视图间视差向量（在视图1和视图2之间以及在视图2和视图1之间）。优选通过使用运动估计和视差估计来在先检测优选的子像素精确运动和视差向量。

图2示意性地示出了根据本公开的用于2D到2D处理的图像增强装置100的第一实施方式。在反锐化掩模单元102中，在来自输入视图1的当前输入帧Y₁上实现反锐化掩模从而增强输入帧Y₁中的锐度并且近似最终结果Z₁的输出锐度。该反锐化掩模的输出定义为Y_1，UM。此外，在运动补偿单元110中使用视图1的运动向量M₁来运动补偿对上一帧Z₁（t-1）（存储到帧缓冲器108）处理的结果。使用来自Y₁的信息来填充没有来自Z₁（t-1）的可用的信息的位置图像。所补偿的上一结果定义为Z_1，mc（t-1）。

权重选择单元104通过比较Z_1，mc（t-1）和Y_1，UM来计算运动补偿的可靠性，并且根据所计算的可靠性来混合输入。在高可靠性的情况下，主要转发Z_1，mc（t-1）并且在低可靠性的情况下，主要转发Y_1，UM，从而避免来自由有害运动向量引起的错误运动补偿的伪像。

权重选择单元104的输出定义为X₁。基于X₁使用细节信号生成单元106来计算细节信号D₃。优选地包括至少数据建模单元的细节信号生成单元106通过将X₁与可用的当前输入帧相比较来生成细节信号D₃。在如本实施方式中的只有一个可用的视图的情况下，只使用来自视图1的当前输入帧Y₁和权重选择单元104的权重选择图像X₁来生成细节信号D₃。

在合并单元115中，所得的细节信号D₃与Y₁合并，在该实施方式中，加法单元生成被用作该实施方式中的最终输出信号Z的具有附加细节的信号。

图3示意性地示出了根据本公开的用于2D到2D处理的图像增强装置100b的第二实施方式。与图像增强装置100的第一实施方式相比，细节信号生成单元106包括数据建模单元106a和图像建模单元106b。因此，基于权重选择单元104的输出X_1，n，使用数据建模处理和图像建模处理的合并来计算细节信号D2。数据建模单元106a通过将X_1，n和可用的当前输入帧相比来生成第一细节信号D₁₁。图像建模单元106b仅使用空间处理通过近似图像建模来生成第二细节信号D₁₂，从而减少可以在X_1，n中出现的空间伪像和噪声。

将两个所得的细节信号D₁₁、D₁₂相加得到合并细节信号D₁，并且随后在第一减法单元107a中从X_1，n减去，生成具有额外的细节的中间信号V₁。为了生成在处理的当前输入Y₁和当前结果V₁之间的最终差异信号D₂，在第二减法单元107b中从V₁减去Y₁以得到最终差异信号D₂。

因为在边缘区域中应当减少处理以避免过度增强，所以在边缘相关权重单元114中以边缘强度相关权重因数来权重最终差异信号D₂。该权重因数基于在最大局部梯度单元112中获得的X_1，n的最大局部梯度G₁。所权重的最终差异信号D₃最终由加法单元115加至当前输入信号Y₁来生成最终结果Z₁。

为了进一步近似超分辨解决方案，可选地可以使用控制图像建模和数据建模输入的开关116来内部地反馈（设置为X_1，n+1）Z₁以允许图像建模和数据建模处理的多次迭代。在首次迭代中，开关116将权重选择单元104的输出耦接至后续的元件106a、106b、112。在后续的迭代中，开关116将输出信号Z₁耦接至所述后续的元件106a、106b、112。为了实现时间上的递归处理，图像增强装置100b的最终结果存储到帧缓冲器108，使得在时间上的下一处理步骤中可以进一步增强结果。因此，对于所提出的实施方式100b，可以使用一个递归反馈环来从来自两个视图的多个输入帧积累细节。

图4示意性地示出了根据本公开的用于3D到2D处理的图像增强装置100c的第三实施方式。该实施方式100c基于第二实施方式100b。与第二实施方式100b相比，额外的输入视图（视图2）的输入帧Y₂是可用的。此外，具有子像素精度的从视图1到视图2的视差向量DV₁₂是可用的。在数据建模单元106a中，使用来自视图1的当前输入帧Y₁和来自视图2的当前输入帧Y₂来生成细节信号D₁₁。因为需要补偿在视图1和视图2之间的视差移动，所以额外使用了从视图1到视图2的视差向量DV₁₂。

第三实施方式100c基于第二实施方式100b，但是在又一实施方式中其也可以基于第一实施方式100a，即在第一实施方式中第二视图的输入帧和从视图1到视图2的视差向量可以是可用于提供图像增强装置的另一实施方式。

图5示意性地示出了根据本公开的用于3D到3D处理的图像增强装置100d的第四实施方式。其包括用于对来自两个不同的视图的输入图像并行处理的两个（优选相同的）图像增强装置200和300。该实施方式100d基于第三实施方式100c。与第三实施方式100c相比，对于视图1和视图2并行地计算所描述的处理步骤。此外，需要对于视图2的额外的运动向量M₂和从视图2到视图1的视差向量DV₂₁。最终，获得了对于两个视图的两个输出信号Z₁和Z₂。

第四实施方式100d基于第三实施方式100c，但是在又一实施方式中，其也可以基于第一实施方式100a，即第一实施方式100a可以加倍（每个视图一个），并且运动向量和视差向量可以相加，从而提供图像增强装置的另一实施方式。

在以下描述所提出的图像增强装置的上述实施方式的各种元件的示例性实施方式。

在图6中示出了反锐化掩模单元102的实施方式。其增强了输入信号Y的锐度。在第一步骤中，使用具有给定的（高斯）滤波系数的高斯低通滤波器核心来将Y低通滤波。该滤波由第一滤波器102a、102b在x和y方向分别处理。然后，在减法单元102c中从Y减去低通滤波的信号YF，生成Y的高频细节信号YD。该细节信号YD在乘法单元102d中乘以给定的权重因数W₀并且在加法单元102e中与输入信号Y相加以生成具有放大的高频率的输出信号Y_UM，该输出信号Y_UM被感知到更高的锐度。

在图7中示出了权重选择单元104的实施方式。其从两个输入（原始排列输入和补偿输入）计算了合并信号。权重选择单元104合并原始排列输入Y_UM和所补偿的Z_mc（t-1）。此外，在可用的第二视图的情况下，这样的权重选择单元可以用于将当前处理的视图的原始排列输入与细节信号生成单元106（特别地，数据建模单元106a）内部的视差补偿的第二视图合并。在运动/视差向量（可以从例如在SAD计算单元104a中的SAD计算获得）可靠的情况下，所补偿的输入应当具有比原始排列输入更强的权重，并且在运动向量不可靠的情况下，原始排列输入应当具有更大的权重从而避免在输出上的运动向量错误的强影响。

在权重因数计算单元104b中基于局部的总计绝对差异（SAD）来计算选择权重因数SW，该总计绝对差异在例如3×3块区域的局部块区域内部计算。高SAD描述在原始排列输入和补偿的输入之间的强局部差异，这表示运动向量错误。该假设没有考虑的是，在平坦区域中运动向量错误导致的在原始排列输入和补偿的输入之间的差异比在粗糙区域中的更小。因此，还利用平坦检测单元104c来计算权重因数，允许在详细区域中的差异比在平坦区域中的大以有力地权重补偿的输入。这导致在以下等式中用于权重因数计算：

这里，λ_temp和λ_temp，adapt是预定义的控制参数。

为了计算权重选择单元104的输出，在乘法单元104d中将补偿的输入与权重因数相乘，并且在乘法单元104e中将原始排列输入与一负权重因数相乘。所得的权重信号W₁、W₂随后相加并且用作权重选择单元104的输出信号X₁。

为了在平坦检测单元104c中的平坦映射计算，绝对局部拉普拉斯算子在实施方式中被计算并且在例如5×5块区域的块区域内相加。在下阈值和上阈值之间的所计算的和被映射至在0（平坦区域）和1（粗糙区域）之间的值。

在图8中描述的图像建模单元106b的实施方式基于X_n来生成细节信号。当从输入信号减去该细节信号时，减少了变差（变分），从而近似总变差图像建模，该建模将图像建模为由陡峭边缘分开的平坦区域的组合。为了生成细节信号，由水平移动单元206a和垂直移动单元206b分别使X_n在水平和垂直方向上移动1像素。在第一减法单元206h、206i中，从X_n减去所移动的图像，从而生成具有在水平和垂直方向上的梯度的映射P₁、P₂。此后，将符号运算符206c、206d应用至梯度映射P₁、P₂，从而得出对于正梯度的+1和对于负梯度的-1。然后，由水平反移动单元206e和垂直反移动单元206f将所得的映射P₃、P₄在水平和垂直方向上分别回移1像素。回移的映射P₅、P₆在第二减法单元206j、206k中从符号运算符206c、206d的输出减去并且在加法单元206l中相加。最终，在乘法单元206m中所得的细节信号P₇与取决于最大局部梯度映射G₁并且由权重因数计算单元206g计算的自适应权重因数W₃相乘从而得出输出D₁₂。

基于几个梯度阈值和给定的图像建模权重来选择权重因数W₃。

图9示出了最大局部梯度单元112的实施方式。在第一步骤中，在梯度计算单元112a、112b中由简单的差运算符来计算在x和y方向上的X_n的梯度G₂、G₃：

$\begin{array}{c}\mathrm{grad}X(x,y)=X_n(x,y)-X_n(x-1,y)\\ \mathrm{grad}Y(x,y)=X_n(x,y)-X_n(x,y-1)\end{array}---\left(3\right)$

然后，在绝对梯度计算单元112c中通过以下运算来计算绝对梯度G₄：

最终，最大局部梯度G₁由局部最大梯度计算单元112d在例如3×3块区域的局部块区域内部检测并且写入至最大局部梯度映射。该映射描述X_n中的局部边缘强度。

在图10中示出的数据建模单元106a的实施方式通过计算在输入信号和模糊的X_n之间的差异信号来从可用的输入帧生成细节信号D₁₁，该细节信号D₁₁理想地是先前的时间或内部迭代的（补偿的）结果。为了模糊X_n，信号使用自适应低通滤波器306a来低通滤波为信号F（在以下描述）。在只有一个可用的视图的情况下，在减法单元306e中从低通滤波的X_n减去当前输入信号Y₁从而得出细节信号D₁₃。在第二视图可用的情况下，额外的细节信号D₁₄在减法单元306f中生成并且在加法器306g中加至第一细节信号D₁₃。所得的细节信号D₁₅在乘法器306h中与自适应权重因数W₄相乘，该自适应权重因数W₄由权重因数选择单元306b根据对于自适应滤波的局部使用的标准差来选择。

为了生成基于视图2的细节信号D₁₄，首先必须使用视差补偿单元306c以子像素精度来补偿与视图1相比的视差移动。此后，使用可以按照与图7中所示的权重选择单元104相同的方式来构造权重选择单元306d将所补偿的Y₂与Y₁混合，从而消除来自错误视差补偿的伪像并且实现对于视差向量错误的更高的鲁棒性。

在数据建模单元106a内部，使用了在图11中描述其实施方式的自适应低通滤波器306a。高斯滤波器用于滤波。根据最小描述长度法则来计算用于估计的最佳标准差（StdDev）。为了实现它，以使用三个不同的标准差σ_x来计算的三个不同的7抽头高斯滤波器核心来分开地滤波输入信号Xn：

${\mathrm{Filter}}_x\left(i\right)=e^{-\frac{i^2}{2{\mathrm{\σ}}_x^2}},i=-3...3---\left(5\right)$

为了滤波，输入图像分开地在水平和垂直方向上与滤波器系数进行卷积：

$I_{\mathrm{Filter},\mathrm{hor}(x,y)}=\frac{\underset{i=-3...3}{\mathrm{\Σ}}{\mathrm{Filter}}_x\left(i\right)\·X_n(x+i,y)}{\underset{i=-3...3}{\mathrm{\Σ}}{\mathrm{Filter}}_x\left(i\right)}---\left(6\right)$

$I_{\mathrm{Filter},\mathrm{vert}(x,y)}=\frac{\underset{i=-3...3}{\mathrm{\Σ}}{\mathrm{Filter}}_x\left(i\right)\·I_{\mathrm{Filter},\mathrm{hor}}(x,y+i)}{\underset{i=-3...3}{\mathrm{\Σ}}{\mathrm{Filter}}_x\left(i\right)}---\left(7\right)$

然后，计算在低通滤波结果和X_n之间的差异图像。然后对于各个滤波的图像，在5×5块区域内部使用以下等式来计算局部描述长度。

局部描述长度值用于检测引起局部最小描述长度的低通滤波器的标准差。最终，使用局部最佳滤波器核心来自适应地滤波X_n。2D滤波器由以下计算：

$\mathrm{Filter}(i,j)=e^{-\frac{i^2+j^2}{2{\mathrm{\σ}}_{\mathrm{opt}}^2}},i=-3...3,j=-3...3---\left(9\right)$

为了滤波，输入图像与2D滤波器系数卷积。

$I_{\mathrm{adaptFilter}}(x,y)=\frac{\underset{i=-3...3}{\mathrm{\Σ}}\underset{j=-3...3}{\mathrm{\Σ}}\mathrm{Filter}(i,j)\·X_n(x+i,y+j)}{\underset{i=-3...3}{\mathrm{\Σ}}\underset{j=-3...3}{\mathrm{\Σ}}\mathrm{Filter}(i,j)}---\left(10\right)$

结果是自适应滤波器输出F。此外，局部最佳标准差写入至转发的映射使得其可以用于选择权重因数。

为了能够控制输出信号的增强等级，如在实施方式中的图12中所描述的，在边缘相关权重单元114中计算在完整处理的输出和当前输入信号之间的最终差异信号。特别是在边缘区域中，应当限制额外的细节信号以控制这些区域中的过度增强。因此，根据表示边缘强度的最大局部梯度G₁来权重最终差异信号。在软权重因数计算单元114a中根据阈值Thr1和Thr2使用以下函数来计算权重因数W₅：

对于来自空间移动输入的细节生成，优选具有空间移动（由运动向量和视差向量来描述）的子像素精确补偿。可能的解决方案是利用双线性内插。补偿的图像的亮度值如以下计算：

vx和vy是子像素精确运动/视差向量。如果所访问的上一结果的图像位置超出范围，则复制参考输入的亮度值。

图13示意性地示出了根据本公开的用于3D到2D处理的图像增强装置100e的另外的实施方式。该实施方式是基于第三实施方式100c的低端解决方案。与第三实施方式100c相比，细节生成单元106只使用用于生成细节信号D₃的数据建模单元106a来实现。在数据建模单元106a中，来自视图1的当前输入帧Y₁和来自视图2的当前输入帧Y₂用于生成细节信号D₃。视差向量DV₁₂用于补偿在Y₁和Y₂之间的局部视差移动。因为不计算和权重最终差异信号，所以通过使用合并单元115’（在本实施方式中，实现为减法单元）合并细节信号D₃和权重选择图像X₁来计算最终结果Z₁。在本实施方式中不实现内部迭代环。

图14示意性地示出了根据本公开的用于2D到2D处理的图像增强装置100f的第六实施方式。与图2中所示的第一实施方式相比，在本实施方式中，在加法单元115中通过将权重选择图像X₁加至细节信号D₃来形成输出信号Z₁。

总体上，本公开涉及用于增强在单视场（单视图）和立体图像序列的细节等级和锐度的方法和相应的装置。通过使用递归反馈环来时间地积累来自第一视图的多个输入帧的信息和从立体输入序列的第二视图获得的额外的信息来增强细节等级。细节的积累导致在输出序列的更高的感知分辨率和锐度。与类似于反锐化掩模的典型空间锐度增强方法相反，噪声等级由于时间和视图间平均而不被放大。此外，可以有力地限制类似于来自错误运动和视差向量的伪像的使用来自多个输入帧的信息的方法的典型副作用。通过内部地近似图像建模来减少空间伪像。所提出的方法和装置能够处理单视场的以及立体的输入序列。

所提供的图像增强装置的不同实施方式的各种元件可以实现为软件和/或硬件，例如实现为分开或合并的电路。电路是包括传统电路元件、集成电路的电子组件的结构装配，集成电路包括专用集成电路、标准集成电路、专用标准产品和现场可编程门阵列。此外，电路包括根据软件代码来编程或配置的中央处理器、图形处理器和微处理器。尽管电路包括上述执行软件的硬件，但是电路不包括纯软件。

显然根据以上教导，本公开的多种修改和变形是可能的。因此应当理解，在所附权利要求的范围内，本发明的实施可以与本文中的具体描述不同。

在权利要求中，词语“包括”不排除其他的要素或步骤，并且不定冠词“一”或“一种”不排除多数。单个的要素或其他单元可以满足在权利要求中陈述的几项的功能。事实上，在彼此不同的所附权利要求中陈述某些方法不表示不能有利地使用这些方法的组合。

至此，本发明的实施方式被描述为至少部分地由软件控制的数据处理装置来实现，然而应当理解的是诸如光盘、磁盘、半导体存储器等的携带该软件的非易失性机器可读介质也可以考虑作为表示本发明的实施方式。此外，这样的软件也可以以其他形式诸如经由因特网或其他有线或无线的电信***来分配。

在权利要求中的任何参考标记不应当被解释为限制范围。

Claims (24)

1.一种图像增强装置（100），用于增强至少第一视图的输入图像序列的输入图像（Y₁）并且获得至少所述第一视图的增强输出图像（Z₁），所述装置（100）包括：

反锐化掩模单元（102），被配置为增强所述输入图像（Y₁）的锐度，

运动补偿单元（110），被配置为通过补偿先前输出图像（Z₁（t-1））中的运动来生成至少一个先前运动补偿图像（Z_1,mc（t-1）），

权重选择单元（104），被配置为基于选择权重因数从锐度增强的输入图像（Y_1，UM）和所述先前运动补偿图像（Z_1，mc（t-1））生成权重选择图像（X₁），

细节信号生成单元（106），被配置为从所述输入图像（Y₁）和所述权重选择图像（X₁）生成细节信号（D₃），以及

合并单元（115），被配置为从所述细节信号（D₃）和从所述输入图像（Y₁）和/或所述权重选择图像（X₁）生成所述增强输出图像（Z₁）。

2.根据权利要求1所述的图像增强装置（100），还包括帧缓冲器（108），所述帧缓冲器（108）被配置为缓冲一个以上的先前输出图像（Z₁）以用于由所述运动补偿单元（110）使用。

3.根据前述的任一权利要求所述的图像增强装置（100），其中，所述细节信号生成单元（106）包括用于从所述输入图像（Y₁）和所述权重选择图像（X₁）生成第一细节信号（D₁₁）的数据建模单元（106a）。

4.根据权利要求3所述的图像增强装置（100），其中，所述细节信号生成单元（106）包括用于通过近似图像建模从而减少来自所述权重选择图像（X₁）的空间伪像和噪声来生成第二细节信号（D₁₂）的图像建模单元（106b），其中所述第一细节信号（D₁₁）和所述第二细节信号（D₁₂）合并为合并细节信号（D₁）。

5.根据权利要求4所述的图像增强装置（100），还包括最大局部梯度单元（112），所述最大局部梯度单元（112）被配置为确定在所述权重选择图像（X₁）中的最大局部梯度，其中所述图像建模单元（106b）被配置为使用所述最大局部梯度来生成所述第二细节信号（D₁₂）。

6.根据权利要求4所述的图像增强装置（100），还包括第一减法单元（107a），所述第一减法单元（107a）被配置为从所述权重选择图像（X₁）减去所述合并细节信号（D₁）从而获得中间信号（V₁）。

7.根据权利要求6所述的图像增强装置（100），还包括第二减法单元（107b），所述第二减法单元（107b）被配置为从所述中间信号（V₁）减去所述输入图像（Y₁）。

8.根据权利要求7所述的图像增强装置（100），还包括边缘相关权重单元（114），所述边缘相关权重单元（114）被配置为以边缘强度相关权重因数（W₅）来权重第三细节信号（D₂）。

9.根据权利要求8所述的图像增强装置（100），还包括最大局部梯度单元（112），所述最大局部梯度单元（112）被配置为确定在所述权重选择图像（X₁）中的最大局部梯度，其中所述边缘相关权重单元（114）被配置为使用所述最大局部梯度来生成所述边缘强度相关权重因数（W₅）。

10.根据前述的任一权利要求所述的图像增强装置（100），还包括耦接在所述权重选择单元（104）和所述细节信号生成单元（106）之间的开关（116），所述开关（116）用于在迭代处理中将所述权重选择图像（X₁）或所述输出图像（Z₁）而不是所述权重选择图像（X₁）耦接到所述细节信号生成单元（106）。

11.根据前述的任一权利要求所述的图像增强装置（100），其中，所述细节信号生成单元（106）被配置为从第一视图的所述输入图像（Y₁）、第二视图的输入图像（Y₂）、从所述第一视图到所述第二视图的视差向量（DV₁₂）以及所述权重选择图像（X₁）生成所述细节信号（D₃）。

12..根据前述的任一权利要求所述的图像增强装置（100），其中，所述图像增强装置被配置为增强第一视图和第二视图的两个输入图像序列的输入图像（Y₁，Y₂）并且获得所述第一视图和所述第二视图的增强输出图像（Z₁，Z₂），所述图像增强装置包括：

根据权利要求1所述的第一图像增强装置（200），被配置为通过使用所述第一视图的输入图像（Y₁）和所述第二视图的输入图像（Y₂）以及从所述第一视图到所述第二视图的视差向量（DV₁₂）来增强所述第一视图的输入图像序列的输入图像（Y₁），从而获得所述第一视图的增强输出图像（Z₁），以及

根据权利要求1所述的第二图像增强装置（300），被配置为通过使用所述第一视图的输入图像（Y₁）和所述第二视图的输入图像（Y₂）以及从所述第二视图到所述第一视图的视差向量（DV₂₁）来增强所述第二视图的输入图像序列的输入图像（Y₂），从而获得所述第二视图的增强输出图像（Z₂）。

13.根据前述的任一权利要求所述的图像增强装置（100），其中，所述反锐化掩模单元（102）包括低通滤波器（102a，102b）和减法单元（102c），所述低通滤波器（102a，102b）被配置为在特别是正交方向的两个不同的方向上对所述输入图像（Y）滤波，所述减法单元（102c）被配置为从所述输入图像（Y）减去所述低通滤波器（102a，102b）的输出。

14.根据权利要求13所述的图像增强装置（100），

其中，所述反锐化掩模单元（102）还包括乘法单元（102d）和加法单元（102e），所述乘法单元（102d）被配置为将所述减法单元（102c）的输出信号（YD）与权重因数（W₀）相乘，所述加法单元（102e）被配置为将所述乘法单元（102d）的输出信号加至所述输入图像（Y）从而获得锐度增强输入图像（Y_UM）。

15.根据前述的任一权利要求所述的图像增强装置（100），其中，所述权重选择单元（104）包括：

总计绝对差异计算单元（104a），被配置为确定在所述锐度增强输入图像（Y_UM）和所述先前运动补偿图像（Z_mc（t-1））之间的局部总计绝对差异，

平坦检测单元（104c），被配置为确定在所述锐度增强输入图像（Y_UM）中的平坦区域以及

权重因数计算单元，被配置为通过使用由所述平坦检测单元（104c）获得的信息来从所述局部总计绝对差异确定选择权重因数（SW）。

16.根据权利要求4所述的图像增强装置（100），

其中，所述图像建模单元（106b）对于特别是正交方向的两个方向中的每一个包括：

移动单元（206a，206b），被配置为将所述权重选择图像（X_n）移动预定个数的像素，特别是移动一个像素，

第一减法单元（206h，206i），被配置为从未移动的所述权重选择图像减去移动的所述权重选择图像，

符号运算单元（206c，206d），被配置为在所述第一减法单元的输出（P₁，P₂）上应用符号运算符，

反移动单元（206e，206f），被配置为不移动所述符号运算单元的输出（P₃，P₄），以及

第二减法单元（206j，206k），被配置为从所述符号运算单元的输出（P₃，P₄）减去所述反移动单元的输出（P₅，P₆），并且

其中，所述图像建模单元（106b）还包括加法单元（206l），所述加法单元（206l）被配置为将所述第二减法单元（206j，206k）的输出相加。

17.根据权利要求5或9所述的图像增强装置（100），其中，所述最大局部梯度单元（112）包括：

梯度计算单元（112a，112b），被配置为确定在特别是两个正交方向的两个不同方向上的所述权重选择图像（X_n）的梯度，

绝对梯度计算单元（112c），被配置为从所述梯度确定绝对梯度，以及

局部最大梯度计算单元（112d），被配置为从所述绝对梯度确定局部最大梯度（G₁）。

18.根据权利要求3所述的图像增强装置（100），

其中，所述数据建模单元（106a）包括：

低通滤波器（306a），被配置为对所述权重选择图像（X_n）滤波，

第一减法单元（306e），被配置为从滤波的所述权重选择图像（F）减去所述输入图像（Y₁），

乘法单元（306h），被配置为将所述减法单元的输出与权重因数（W₄）相乘。

19.根据权利要求18所述的图像增强装置（100），

其中，所述数据建模单元（106a）还包括：

视差补偿单元（306c），被配置为通过使用从所述第一视图到第二视图的视差向量（DV₁₂）来补偿在所述第二视图的输入图像（Y₂）中的视差，

权重选择单元（306d），被配置为通过使用所述视差补偿单元（306c）的输出来权重所述第一图像（Y₁），

第二减法单元（306f），被配置为从滤波的所述权重选择图像（F）减去所述权重选择单元（306d）的输出，以及

加法单元（306g），用于将所述第一减法单元和所述第二减法单元（306e，306f）的输出相加以作为对所述乘法单元（306h）的输入。

20.一种图像增强方法，用于增强至少第一视图的输入图像序列的输入图像（Y₁）并且获得至少所述第一视图的增强输出图像（Z₁），所述方法包括：

增强所述输入图像（Y₁）的锐度，

通过补偿在先前输出图像（Z₁（t-1））中的运动来生成至少一个先前运动补偿图像（Z_1，mc（t-1）），

基于选择权重因数从所述锐度增强输入图像（Y_1，mk）和所述先前运动补偿图像（Z_1，mc（t-1））生成权重选择图像（X₁），

从所述输入图像（Y1）和所述权重选择图像（X₁）生成细节信号（D₃），以及

从所述细节信号（D₃）和从所述输入图像（Y₁）和/或所述权重选择图像（X₁）生成所述增强输出图像（Z₁）。

21.一种显示装置，包括：

根据权利要求1到19中任一项所述的图像增强装置（100），用于增强至少第一视图的输入图像序列的输入图像（Y₁）并且获得至少所述第一视图的增强输出图像（Z₁），以及

显示器，用于显示所述输出图像（Z₁）。

22.一种计算机程序，包括程序代码手段，所述程序代码手段用于当在计算机上执行所述计算机程序时使计算机进行根据权利要求21所述的方法的步骤。

23.一种非易失性计算机可读记录介质，其中存储有计算机程序产品，所述计算机程序产品在由处理器执行时使得根据权利要求21所述的方法被执行。

24.一种图像增强装置（100），用于增强至少第一视图的输入图像序列的输入图像（Y₁）并且获得至少所述第一视图的增强的输出图像（Z₁），所述装置（100）包括：

反锐化掩模器件（102），用于增强所述输入图像（Y₁）的锐度，

运动补偿器件（110），用于通过补偿先前输出图像（Z₁（t-1））中的运动来生成至少一个先前运动补偿图像（Z_1，mc（t-1）），

权重选择器件（104），用于基于选择权重因数从锐度增强的输入图像（Y_1，UM）和所述先前运动补偿图像（Z_1，mc（t-1））生成权重选择图像（X₁），

细节信号生成器件（106），用于从所述输入图像（Y₁）和所述权重选择图像（X₁）生成细节信号（D₃），以及

合并器件（115），用于从所述细节信号（D₃）和从所述输入图像（Y₁）和/或所述权重选择图像（X₁）生成所述增强输出图像（Z₁）。

Images