CN101395634B - 图像中的定向孔洞填充 - Google Patents

Abstract

当将2.5D视频格式转换为从不同虚拟位置观看的多个图像时，对于某个输出像素可能发生没有输入数据可用。因此，这些输出像素在它们的像素位置没有任何分配的定值。在转换后的图像中，这些未分配的像素值造成被称为“孔洞(holes)”的伪像。提供了一种在图像(100)中的区域(110)中填充孔洞或分配像素值的方法，该区域包括未分配像素值的像素位置。图像特征(160)相对于第一像素位置(120)的方向(140)在与未分配像素值的区域(110)邻接的第一邻域(130)中被估计。从第一像素位置(120)在估计的方向(140)上的像素位置中选择第二组像素值。从第二组像素值中计算得出第三组像素值。区域(110)的至少一部分通过使用第三组像素值而被分配像素值，该区域包括未分配像素的像素位置。与现有的方法相比，该方法有益于减少图像中的可视失真。

Description

图像中的定向孔洞填充

本发明涉及图像处理，特别涉及为图像中未分配的像素位置分配像素值。

当在兼容的2D显示器上显示包括图像序列的视频信息时提供深度感觉是人们日益感兴趣的领域。提供深度感觉的可能的方法是通过呈现给观看者同一个场景从彼此有一些距离的两个位置观看的至少两个图像。从两个不同位置观看相同场景中的对象的可见方向上存在的视位移或差异被称作视差(parallax)。视差使得观看者感觉到场景中对象的深度。通过对于2D图像中每个像素值对被提供了深度数据的2D图像加以转换，可以获得从不同虚拟位置观看的相同场景的多个图像。对于场景中的每个点，除了像素值之外，该点到图像获取设备的距离，或者该点到另一个参考点的距离，或者该点到诸如投影屏幕的平面的距离也被获取。这样的格式通常被称作2.5D(图像+深度)视频格式。

当将2.5D视频格式转换为从不同位置观看的多个图像时，对于某些输出像素会发生没有输入数据可用的情形。因此，这些输出像素在它们的像素位置没有被分配任何定值。在转换后的图像中这些未分配像素值引起了被称作“孔洞(hole)”的伪像。在本文中，“孔洞”或“带有未分配像素的区域”将被交替地用来指包括未分配像素值的像素位置的区域。孔洞的不利视觉影响在遮挡区域(occlusion region)中更加明显。在视频信息中的遮挡和非遮挡区域由前景对象相对于背景区域的运动而引起。深度数据的不连续通常发生在从前景到背景的转换中，引起背景的非遮挡，导致转换后多个图像中的孔洞。孔洞填充算法能够被用来克服这些伪像。

孔洞还可能发生在2D视频信息的解码输出中，该2D视频信息包括根据公知的使用前向运动补偿的视频压缩方案编码的图像序列。在这样的视频压缩方案中，帧中像素的区域根据前一个帧的像素的投射区域(projected region)而预测。这被称为移位运动预测(shift motion prediction)方案。在这种预测方案中，由于帧中对象的运动，一些区域重叠且一些区域脱离。在脱离区域的像素位置没有被分配明确的像素值。因此孔洞发生在包括图像序列的2D视频信息的解码输出中。此外，在基于对象的视频编码方案中，例如MPEG-4(其背景和前景被分别编码)，在背景中可能存在未参考的区域，引起孔洞。孔洞填充算法能够被用来克服这些伪像。

在2000年6月，IEEE关于视频技术的电路和***会报(IEEE Transactionson Circuits and Systems for Video Technology)第10卷第4期上出版的Tsekeridou等人的“MPEG-2 Error Concealment Based on Block-MatchingPrinciples”公开了块错误掩盖(block error concealment)，包括导致用于块掩盖的最佳匹配的相似性评估，随后是基于内插块掩盖的最佳匹配的边界像素的图像内容进行掩盖。

同样地，在2004年1月，USA，CA，San Jose，SPIE立体显示和虚拟实体***学报XI(Proceedings of SPIE Stereoscopic Displays and VirtualReality Systems XI)的第93-104页中，C.Fehn的论文“Depth-Image-BasedRendering(DIBR)，Compression and Transmission for a New Approach on 3D-TV”中讨论了多个用于孔洞填充的算法。所讨论的算法包括在场景的前景和背景之间线性彩色内插法(linear colour interpolation)，场景背景的简单外插法和沿着遮挡区域的边界背景颜色信息的镜像。还建议了使用合适的Gaussian滤波器来平滑深度信息。所有这些技术明显地导致所显示的图像中变化数量的视觉失真。

需要提供一种在图像中进行孔洞填充的方法，其使得所显示的图像中产生更少视觉失真。

据此，在图像中包括未分配像素值的像素位置的区域中进行孔洞填充或者分配像素值的方法中，在与未分配像素值的区域邻接的第一邻域中选择第一像素位置。包括第一像素位置的第二邻域也被选择。使用来自第二邻域的第一组像素值估计图像特征相对于第一像素位置的方向。从第一像素位置估计的方向上的像素位置中选择第二组像素值。从第二组像素值中计算出第三组像素值。包括未分配像素的像素位置的区域中的至少一部分通过使用第三组像素值而被分配像素值。

还需要提供一种图象处理设备，用于图像中的孔洞填充，其使得所显示的图像中更少视觉失真。

据此，提供了一种设备用于在图像中包括未分配像素值的像素位置的区域中孔洞填充或为像素位置分配像素值。该设备包括第一选择器、第二选择器、估计器、第三选择器、第一处理器和第二处理器。第一选择器在与未分配像素值的区域邻接的第一邻域中选择第一像素位置。第二选择器选择包括第一像素位置的第二邻域。估计器使用第二邻域的第一组像素值估计图像特征相对于第一像素位置的方向。第三选择器从第一像素位置估计的方向上从像素位置中选择第二组像素值。第一处理器从第二组像素值中计算出第三组像素值。第二处理器使用第三组像素值将像素值分配给包括未分配像素值的像素位置的区域中的至少一部分的像素位置。

还需要提供一种用于孔洞填充的图像处理设备，包括用于接收表示图像序列的信号的接收器和用于显示该图像序列的显示设备。

据此，提供了一种图像处理设备，其包括接收器，用于接收表示图像序列的信号，还包括用于在属于该图像序列的至少一个图像的包括未分配像素值的像素位置的区域中进行孔洞填充或者给像素位置分配像素值的设备。该图象处理设备包括显示设备，用于显示该图像序列。

还需要提供一种计算机程序，包括代码装置，用于图像中的孔洞填充，以使得所显示的图像中产生更少视觉失真。

据此，提供了一种包括程序代码装置的计算机程序，用于根据所有已公开的方法在图像中包括未分配像素值的像素位置的区域中进行孔洞填充或分配像素值给像素位置。

用于在图像中包括未分配像素值的像素位置的区域中分配像素值给像素位置的方法和设备的这些和其它方面通过下文中描述的实现和具体实施方式和附图而变得明显，并将参照下文中描述的实现和具体实施方式并参照附图而被阐明。这些图示意性地表示了所公开的方法和设备的多个例子中的一个，其中：

图1是具有包括未分配像素值的像素位置的区域以及相关的邻域的示例图像；

图2是该示例图像的一部分的放大视图；

图3是图释图像中孔洞填充方法的流程图；

图4是图释估计图像特征方向的步骤的流程图；

图5图释第一区域和多个候选区域的相对位置；

图6图释在找到图像特征相对于孔洞的第一邻域上像素的方向之后填充孔洞的方法；

图7是用于图像中孔洞填充的设备的具体实施方式；和

图8是包括用于孔洞填充的设备、接收机和显示设备的图像处理设备的具体实施方式。

图1是示例图像100，带有包括未分配像素值的像素位置的区域110和相关的邻域。示例图像进一步示出了从区域110的第一邻域130选择出的第一像素120，图像特征160相对于第一像素位置120的所估计的方向140，其像素值被用于估计方向140的第二邻域150。当转换2.5D图像数据时，在遮挡区域中深度数据的不连续会是引起区域110产生的原因之一。区域110可能发生在从较少数量的多视图图像计算一组多视图图像时，例如从一对立体图(stereo pair)计算一组十个多视图图像。还可能作为例如MPEG-4等公知的视频压缩方案中的移位运动预测方案或基于对象的编码方案的结果产生区域110。区域110可被称作孔洞。孔洞110通常包含随机的或零个像素值，在呈现的图像中引起可见的伪像。

第一邻域130被选择，使得从中选择的第一像素位置120相当近并充分远离孔洞110的边界以避免在过渡区域中的像素。在这个例子中，第一邻域130被示出为围绕孔洞110周边的有数个像素宽的窄带。在前景对象相对于背景区域移动的情况中，第一邻域130只从背景区域中选择。假设场景中的前景和背景区域已经被识别。图像特征160是有代表性的特征，例如图像100中存在的线性特征或纹理特征。使用第二邻域150中的第一组像素值来估计图像特征160相对于第一像素位置120的方向140。第二邻域150中的第一组像素值是通过排除孔洞110的未分配像素值而选择的。注意，第二邻域150可以与第一邻域130重叠并且也可以与孔洞110重叠。

图2是示例图像100的部分150的放大视图。第一区域210和一些候选区域220、230、240也被示出。这些候选区域被用于估计图像特征160相对于第一像素120的方向140。第一区域210被示出为包括第一像素位置120并与孔洞110重叠。多个候选区域220、230、240与第一区域210邻近并位于第二邻域150内。第一区域210和候选区域220、230、240可能彼此邻接、重叠或不相交。这些区域的形状不需要被限制为所示的正方形。多种形状，例如相应于该图像中对象的矩形或不规则形状也是可能的。在所示的例子中，图像特征140存在于第一区域210和候选区域之一230中。候选区域230的位置从邻域150中的像素值中被确定。

图3是图释图像中孔洞填充的方法300的流程图。在开始步骤301，使得包括一个或多个未分配像素值的区域的图像100可得到。在第一步骤310中，在第一邻域130中选择第一像素位置120。在下一个步骤320中，选择第二邻域150以包括第一像素位置120。第二邻域150被这样选择以使得有可能识别并估计图像特征160的方向140，图像特征例如是其中的纹理或线性特征。在下一个步骤330中，从第二邻域150的像素值估计图像特征160的方向140。方向估计的细节将在图4的描述中被解释。在下一个步骤340中，在估计方向140上选择第二组像素值。所选择像素的顺序被保存以便随后使用。在步骤350中，从第二组像素值中计算出第三组像素值。在一个具体实施方式中，第三组像素值可以通过内插第二组像素值的值而获得。在另一个具体实施方式中，第三组像素值可以从第二组像素值的值外插。在第二和第三组中像素的数量不需要一样。从一组像素值得出另一组像素值的多个公知的内插技术中的一个，例如多项式曲线拟合法，可以被应用。在下一个步骤360中，区域110的一部分被分配从第三组像素值导出的像素值。在一个具体实施方式中，在图像特征160的方向140上的像素值被扩展以填充区域110。位于图像特征参照第一像素位置扩展方向上的像素位置使用第三组像素值填充。当前景对象正相对于背景区域运动时，前景对象暴露背景区域的某些区域。在这样的情况中产生的孔洞典型地使用从背景区域导出的像素来填充。图像特征的连续性在扩展方向上被保持并且可视失真被最小化。在一个具体实施方式中，来自估计的方向的像素值以相反次序(镜像)被使用以填充区域110中未分配的像素位置。比起模糊化(blurring)或外插或内插在诸如水平或垂直方向的固定方向上选择的像素值，从所提出的实施方式获取的结果是更好的。对于在第一邻域中多个选择的第一像素，重复步骤310-360，这样孔洞被逐渐地填充。提供了控制步骤370以保证方法300重复直到区域110被完全填充。控制步骤370还保证通过所述的具体实施方式中的一个，所有具有未分配像素值的区域使用适当的像素值加以填充。由于在数格中的方向表示而出现了错误，一些孤立的像素位置仍然可能是未分配的。来自最近邻居的像素值可以被用于填充这种孤立像素。在使用合适的像素值填充了未分配像素值的区域之后，在方法300的输出371使得图像300可获得。

为了填充在由于前景对象相对于背景区域运动而引起的遮挡区域中的孔洞，前景对象必须首先被识别。当呈现3D显示的帧时，前景/背景信息可以从深度图(depth map)和呈现算法中获得。如果是运动补偿视频压缩***，同样的信息可以从运动向量场和遮挡区域中获得。

图4是图释估计图像特征160的方向140的步骤400的流程图。在步骤400的输入401，使得包括孔洞110、第一像素位置120、第一邻域130和第二邻域150的区域100可见。在第一步骤410中，围绕第一像素位置120的第一区域210被选择。第一区域210包括图像特征160的一部分。在下一个步骤420中，多个候选区域220、230、240被选择。候选区域可以在离第一区域210预定的、固定的距离上被选择。候选区域220、230、240可能与区域100重叠或不与其重叠。大量候选区域可以被选择以找出图像特征160的扩展。第一区域210的像素值被用于计算与候选区域的每一个的像素值的相似值。属于区域210的未分配的像素值被排除在相似值的计算之外。

在下一个步骤430中，通过将第一区域210可得到的像素与候选区域220、230、240中每一个的各自的像素相比较，为候选区域中的每一个计算出相似值。相似值可以是例如基于像素的相关性量度(measure)或各自像素的平均绝对偏差的归一化和。基于从像素值导出的若干个值(例如平均亮度或方差)的相关性量度，也可以被用于计算相似值。在下一个步骤440中，从该组计算出的相似值中，与第一区域210最佳匹配的特定候选区域230被识别出。最佳匹配的候选区域230典型地包括图像特征160的扩展，该特定候选区域230的位置指示图像特征160可能的方向。在下一个步骤450中，图像特征160的方向从第一区域210的位置和最佳匹配的候选区域230的位置中被估计出。

图5图释第一区域500和多个候选区域的相对位置。在这个例子中，第一像素501被假设位于原点(0，0)。以实线示出第一区域500为位于原点的8x8像素的正方块。以不连续线示出一组八个可能的候选区域510-580为在第一区域500邻域中的8x8像素的正方块。在这个例子中，候选区域的位置以空心圆示出。这些位置被这样选择，使得它们与第一像素位置的绝对距离在水平和垂直中的任意一个方向或者在水平和垂直两个方向上都是8个像素单元。更多候选区域可以在示为实心圆的中间位置被选择。在第一区域的邻域中示出了总共64个可能的位置(空心和实心圆)。示出了孔洞的边界590。其位置例如(-8，8)、(8，8)落在孔洞内的候选区域不是必须参与相似值的计算。典型地为位于落在孔洞的边界590外的所有实心圆和空心圆的候选区域而计算出相似值。从该组相似值中，选择出最接近匹配第一区域510的候选区域。从所选择的候选区域的位置，相对于第一像素的方向被估计。如果选择的候选区域位于例如(8，0)，在这个例子中连接(0，0)和(8，0)的线的方向504可以被表示为(8，0)。另外的连接(0，0)与(8，-1)和连接(0，0)与(8，+1)的线的两个方向的例子503，505也在图5中被说明。

图6图释了在找到图像特征相对于孔洞的第一邻域的像素的方向之后填充孔洞的方法。该填充以图6(a)、(b)、(c)、(d)四个阶段被展示。空白正方形表示未分配像素值的像素位置，阴影正方形表示已知值的像素位置。阴影正方形的区域假设包括一个或多个图像特征。空白和阴影区域形成数字图像的一部分，该部分行数从200至209，列数从99到105。左上角的坐标为(91，200)。在105列，示出了在该列中各自像素位置的图像特征的方向。方向(8，1)、(8，0)和(8，-1)遵循在图5描述中解释的符号。在孔洞中的像素位置首先使用图像阴影正方形的已知像素值的行和列号来填充。在第一步骤中，坐标被填充，在随后的步骤中，实际的像素值被填充。在一个具体实施方式中，在每个像素位置提到的方向上，例如列105中的(8，0)上的已知像素值首先被选择。所选择的像素被用于在相反方向上以相反顺序(镜像)填充空白正方形。在数字网格上，当表示的方向不是水平或垂直方向时可能发生不连续。由于不连续，像素值以分片线性方式(piece-wise linear fashion)被填充。在图6(a)和(b)中，方向(8，0)是水平的，在孔洞较低部分的三个行207、208、209被填充，而没有任何不连续。接下来在(8，1)的扩展上的两条线以分片线性方式被填充。如在图6(b)中所示，在行206，更接近列105的四个像素首先被填充。剩余的两个像素被移动一行并因此观察到在位置(99，207)和(100，206)的空白空间。在行202和203，来自方向(8，-1)的像素被用于填充空白位置。在列99和100和在行202、203的四个像素位置已经使用来自方向(8，1)的像素而填充。这四个位置可以使用来自方向(8，1)或来自方向(8，-1)的像素被填充。在这种多个选择的情况中，来自较强图像特征方向，具有较高相似值的像素可以被选择。在估计的方向上选择的像素的数量不需要等于孔洞中需要被填充的像素数量。所需要的未知像素的数量可以通过公知的内插或外插方法中的任何一个从更少或更多已知像素的数量中导出。

图7是用于图像中孔洞填充的图像处理设备700的实施方式。设备700包括第一选择器710、第二选择器720、估计器730、第三选择器740、第一处理器750和第二处理器760。第一选择器710被配置以选择第一像素120和第一邻域130。第二选择器720被配置以选择第二邻域150。估计器730被配置以估计图像特征160相对于第一像素位置120的方向140。第三选择器740被配置以从估计的方向140上各自像素位置中选择第二组像素值。第一处理器750被配置以从第二组像素值中计算出第三组像素值。第二处理器760被配置以将来自第三组像素值的像素值分配给未分配的像素值。

图8是包括用于孔洞填充的设备、接收机810和显示设备830的图象处理设备800的实施方式。接收机810被配置以接收表示图像序列的信号。设备700被配置以在属于该图像序列的至少一个图像中为包括未分配像素值的像素位置的区域中的像素位置分配像素值。该图像序列可以通过有线或陆地或卫星传输***或诸如互联网的数字网络而被接收。图象处理设备800可以包括另外的组件，例如显示设备830用于显示输出的图像。可替换地，设备800可以将图像提供给设备800外部的显示器。设备800可以通过结合另外的装置支持以下类型的消费者和专业设备中的一个或多个：电视机、机顶盒、VCR/VCP、卫星调谐器、DVD播放器/录制器。可选地，设备800包括像硬盘的存储装置或用于在诸如光盘的可移动介质上存储的装置。图像处理设备800还可能是一个被电影工作室或广播公司或转播站使用的***。

计算机程序可以作为嵌入软件被嵌入在诸如集成电路或计算机等设备中，或者从标准存储器或内存设备中的一个预加载或加载。计算机程序可以在标准的内含或可分离存储器上处理，例如闪存或硬盘或CD。计算程序可以任何已知代码中的一种而存在，诸如机器级代码或汇编语言或高级语言，并被使得在任何可用平台上操作，诸如手持设备或个人计算机或服务器。

应当注意，上述的实施方式仅为了说明而非限制本发明，并且本领域技术人员将能够设计不脱离所附权利要求范围的替代实施方式。在权利要求书中，置于括号间的任何参考符号不应解释成对权利要求的限制。词语“包括”不排除在权利要求中未列出的元件或步骤的存在。在元件前面的词语“一”或“一个”不排除多个这种元件的存在。本发明可以通过适当编程的计算机实现。在列举了多个装置的单元权利要求中，这些装置中的几个能够具体实现为一个相同的硬件项目。

Claims (6)

1.一种在图像(100)中的包括未分配像素值的像素位置的区域(110)中分配像素值给像素位置的方法(300)，该方法包括：

在与未分配像素值的区域(110)邻接的第一邻域(130)中选择(310)第一像素位置(120)；

选择(320)包括第一像素位置(120)的第二邻域(150)；

使用第二邻域(150)的第一组像素值，包括第一像素位置并排除未分配像素值的像素位置，估计(330)图像特征(160)相对于第一像素位置(120)的方向(140)；

从第一像素位置(120)在估计的方向(140)上从各自像素位置中选择(340)第二组像素值；

从第二组像素值中计算(350)第三组像素值，以便在与所估计的图像特征(160)相对于第一像素位置(120)的方向(140)相反的方向上分配给未分配像素值的像素位置，使得来自第二组像素值的像素值沿着相反的方向被镜像；以及

使用第三组像素值分配(360)像素值给包括未分配像素值的像素位置的区域(110)中的至少一部分的像素位置。

2.权利要求1的方法(400)，其中，估计方向(140)包括：

选择(410)包括第一像素位置(120)的第一区域(210)；

选择(420)在第二邻域中的多个候选区域(220，230，240)；

通过将候选区域中的每一个的像素值与第一区域(210)的各自像素值相比较，计算(430)每一个候选区域(220，230，240)和第一区域(210)的相似值；

基于相对应的相似值选择(440)特定的候选区域(230)；并

从该特定候选区域的位置估计(450)图像特征(160)相对于第一像素位置(120)的方向(140)。

3.权利要求2的方法，其中，计算相似值通过计算所选择的候选区域(220，230，240)中的每一个与第一区域(210)的各自像素值的区域相关值来执行。

4.一种图像处理设备(700)，包括：

第一选择器(710)，用于在未分配像素值的区域(110)的第一邻域(130)中选择第一像素位置(120)；

第二选择器(720)，用于选择包括第一像素位置(120)并排除未分配像素值的像素位置的第二邻域(150)；

估计器(730)，用于使用第二邻域(150)的第一组像素值来估计图像特征(160)相对于第一像素位置(120)的方向(140)

第三选择器(740)，用于从第一像素位置(120)在估计的方向(140)上从各自像素位置中选择第二组像素值；

第一处理器(750)，用于从第二组像素值中计算第三组像素值，以便在与所估计的图像特征(160)相对于第一像素位置(120)的方向(140)相反的方向上分配给未分配像素值的像素位置，使得来自第二组像素值的像素值沿着相反的方向被镜像；以及

第二处理器(760)，用于使用第三组像素值分配像素值给包括未分配像素值的像素位置的区域中的至少一部分的像素位置。

5.权利要求4的图像处理设备(800)，包括接收机(810)，用于接收表示图像序列的信号。

6.权利要求5的图像处理设备(800)，包括显示设备(830)用于显示该图像序列。

Images