CN102868899A

CN102868899A - 一种三维图像处理方法

Info

Publication number: CN102868899A
Application number: CN2012103278166A
Authority: CN
Inventors: 姜智尹; 张哲维
Original assignee: CPTF Optronics Co Ltd; Chunghwa Picture Tubes Ltd
Current assignee: CPTF Optronics Co Ltd; Chunghwa Picture Tubes Ltd
Priority date: 2012-09-06
Filing date: 2012-09-06
Publication date: 2013-01-09

Abstract

本发明公开了一种三维图像处理方法，其是用于将在一第一视角之一第一图像转换至在多个第二视角的多个第二图像，其包括下列步骤：提供一深度图，该深度图对应该第一图像，其中该深度图具有多个灰阶画素，且每一灰阶画素皆由多个子画素所组成；减少该深度图之容量以得一缩减深度图，该缩减深度图仅以单一该子画素代表单一该灰阶画素；传输该第一图像及该缩减深度图至一译码器；以及于该译码器中计算出该些第二图像。本发明提高了信息的压缩比，实现了减少信息的传输量的目的，同时还优化了画面的3D显示效果。

Description

一种三维图像处理方法

技术领域

本发明涉及一种图像处理方法，尤其涉及一种三维图像处理方法。

背景技术

在三维(three-dimensional, 3D)裸眼显示器中， 3D视讯编码技术是实现传输多视角画面的关键技术。多视角视讯编码(Multi-view Video Coding, MVC)相较于传统单一视角的二维(2D)视讯画面影像编码而言，资料量更为庞大，运算复杂度极高。为了克服以多张2D图像产生多视角画面的庞大传输量，多视角视讯编码利用不同视角间的关联性，因而较单一视角个别压缩有更好的压缩率。因此，目前有人提出使用分布式视讯编码技术(Distributed Video Coding, DVC)来将复杂的计算移至译码端，以提升编码效能。

为了减少多视角的画面数据的传输量，美国专利第5,929,859号提出了与视差深度相关的像素移位器，其可将单一视角的画面仿真出其他视角的画面，实现减少另一视角画面的传输量。然而，上述方法虽减少了画面数据的传输量，但在计算出的其他视角的画面会具有没有影像的黑洞（不存在影像的局部区域）产生。为了解决此问题，一般采用周围画素内插方式填补黑洞。然而，利用周围画素内插方式在立体显示效果上无法达到令人满意的效果。

由上可知，如欲达到传统上没有由仿真其他视角之编码技术的显示效果，则需增加多视角画面的传输量。因此，如何兼顾编码效能又能达到优良的显示效果实为在本阶段急需克服的难题之一。

有鉴于此，有必要对现有技术进行改良，以克服习知通过单应性转换造成的显示效果不佳且信息传输量巨大的问题。

发明内容

为了克服现有技术的不足，本发明的目的是提供一种显示效果好、且信息传输量较小的三维图像处理方法。

为达到上述目的，本发明的技术方案为：一种三维图像处理方法，其是用于将在一第一视角之一第一图像转换至在多个第二视角的多个第二图像，其包括下列步骤：

提供一深度图，该深度图对应该第一图像，其中该深度图具有多个灰阶画素，且每一灰阶画素皆由多个子画素所组成；

减少该深度图之容量以得一缩减深度图，该缩减深度图仅以单一该子画素代表单一该灰阶画素；

传输该第一图像及该缩减深度图至一译码器；

以及于该译码器中计算出该些第二图像。

其中该缩减深度图的子画素的灰阶值代表该第一图像的对应画素之深度位移值。

其中该深度图的每一灰阶画素是由红绿蓝子画素所组成，且每一灰阶画素中的红绿蓝子画素的灰阶值皆相同。

其中该缩减深度图的容量为该深度图容量的三分之一。

进一步包括提供一背景信息图，该背景信息图代表该些第二图像中不存在影像的局部区域之背景。

其中该背景信息图具有多个画素向量，每一画素向量代表该背景中之一画素的位置及颜色。

其中每一画素向量是以该背景信息图中的两个相邻画素表示。

其中该两个相邻画素分别具有一第一信息量及一第二信息量，该第一信息量用于储存该背景中的该画素的该位置，该第二信息量用于储存该背景中的该画素的该颜色。

其中该第一信息量及该第二信息量皆为24位，该背景中的该画素的该位置的水平位置占用该第一信息量的11位，该背景中的该画素的该位置的垂直位置占用该第一信息量的11位，该背景中的该画素的该颜色的红、绿、蓝的灰阶值分别占用该第二信息量的8位。

其中传输该第一图像及该缩减深度图至该译码器还包括传输该背景信息图至该译码器。

采用以上的技术方案，本发明利用缩减深度图的容量，以单一子画素的灰阶值代表整个画素的深度位移值，进而减少了原本传输深度图所需的信息量的三分之一，而提高信息的压缩比，从而实现了减少信息传输量的目的。另外，本发明另利用背景信息图内所含的背景信息填补现有技术中计算出的其他视角的画面的黑洞（不存在影像的局部区域），从而优化了画面的3D显示效果。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明：

图1为本发明较佳实施例的三维图像处理架构示意图；

图2为本发明的较佳实施例的三维图像处理方法的流程图；

图3为此较佳实施例的第一图像及深度图的示意图；

图4为此较佳实施例的第一图像、缩减深度图及第二图像的示意图；

图5为本发明另一较佳实施例的三维影像方法的流程图；

图6为此较佳实施例的背景信息图的示意图；

图7为此较佳实施例的第一图像、缩减深度图、背景信息图及第二图像的示意图。

具体实施方式

下将配合附图来详细说明本发明的三维图像处理方法的较佳实施例。请参照图1，图1为本发明较佳实施例的三维图像处理架构示意图。本发明较佳实施例的三维图像处理方法是用于将位在一第一视角之一第一图像10通过编码器120及译码器140转换至位在多个第二视角的多个第二图像20。具体而言，该第一视角可以为左视角或右视角，若该第一视角为左视角，第一图像10则为左眼图像；若该第一视角为右视角，第一图像10则为右眼图像。实际上，编码器120是同时接收左眼图像及右眼图像，编码器120将左眼图像及右眼图像处理后，而生成一缩减深度图（将在后文中详述），然后将左眼图像或右眼图像其中之一及该缩减深度图传输至译码器140进行处理，而可计算出位在第二视角的该些第二图像20。根据对称原理，无论是将左眼图像转换成其他第二图像20或是将右眼图像转换成其他第二图像20的步骤都是相同的，因此在此仅用第一视角来代表左视角或右视角，并且以第一图像10来代表左眼图像或右眼图像。

以下将结合图2至图4来详细说明此实施例的三维图像处理方法的步骤流程。请参照图2及图3，图2绘示本发明的较佳实施例的三维图像处理方法的流程图，图3绘示此较佳实施例的第一图像10及深度图的示意图。本方法开始于步骤S10，于步骤S10中，提供一深度图101，该深度图101对应该第一图像10，如图3所示，该第一图像10实际上为彩色的，于图中具有远近不同的物体，而深度图101则为编码器120对第一图像10的内容中依据物体远近不同所计算出的灰阶图像。其中该深度图101具有多个灰阶画素P，且每一灰阶画素P皆由多个子画素(sub-pixel)SP所组成。在此实施例中，该深度图101的每一灰阶画素P是由红绿蓝(RGB)三个子画素SP所组成，且每一灰阶画素P中的RGB子画素SP的灰阶值都相同。

举例来说，该深度图101中的花位于最前面，因此以白色画素来表示，即RGB子画素SP的灰阶值分别可为255、255、255。而天空为最后面，因此以黑色画素表示，即RGB子画素SP的灰阶值分别可为0、0、0。而树位于中间，因此以灰色画素表示，即RGB子画素SP的灰阶值分别可为126、126、126。

图2及图4，图4绘示此较佳实施例的第一图像10、缩减深度图102和第二图像20的示意图。于步骤S20中，减少该深度图101的容量以得一缩减深度图102，该缩减深度图102仅以单一该子画素（R、G或B子画素SP）代表单一该灰阶画素P。简单来说，由于深度图101中的每一灰阶画素P中的RGB子画素SP的灰阶值皆相同，因此仅用单一R、G或B子画素SP来代表其所对应的灰阶画素P。更进一步来说，该缩减深度图102的子画素SP的灰阶值代表该第一图像10对应的画素的深度位移值。举例来说，可将该第一图像10的内容的深度划分为具有-127至+127共255阶的位移量。编码器120通过步骤S20可将该深度图101的容量减少到原本的三分之一，即该缩减深度图102的容量为该深度图101容量的三分之一。

于步骤S30中，传输该第一图像10及该缩减深度图102至该译码器140。由于该缩减深度图102的容量为该深度图101容量的三分之一，因此本实施例信息量传输的压缩比相较于传输该第一图像10及该深度图101减少为（1+1/3）/2＝66.67﹪，因而达成本发明的减少信息量传输的目的。

于步骤S40中，于该译码器140中计算出该些第二图像20。具体来说，该译码器140即将该缩减深度图102还原成深度图101，再通过惯常知道的技术的单应性、移位表(Shift Table)等运算，而计算出在其他第二视角的该些第二图像20（实际上为彩色图）。如上所述，同样地，该些第二图像20也具有不存在影像的局部区域201产生，为了填补局部区域201，以下将配合附图来详细说明本发明的三维图像处理方法的另一较佳实施例。

请参照图5，图5为本发明另一较佳实施例的三维影像方法的流程图。同样地，此另一较佳实施例的三维图像处理方法是用于将在第一视角的第一图像10转换至在多个第二视角的多个第二图像20。

请一并参照图3，如前所述，于步骤S10ˋ中，提供一深度图101，该深度图101对应该第一图像10。由于步骤S10ˋ与前述实施例之步骤S10相同，因此详细说明请参考前述，在此不予赘述。

请一并参照图6，图6绘示此较佳实施例的背景信息图的示意图。于步骤S20ˋ中，提供一背景信息图104，该背景信息图104代表该些第二图像20中不存在影像的局部区域201的背景。具体来说，于步骤中S10ˋ由左眼图像及右眼图像计算深度图的同时，即可得出画面中之物体的最大位移量。因此，由最大位移量所产生的位置及其背景则可获得局部区域201之背景。

具体而言，该背景信息图104具有多个画素向量PV，每一画素向量PV代表该背景中的一画素的位置及颜色。详细来说，其中每一该画素向量PV是以该背景信息图104中的两个相邻画素P1、P2表示。

请参照以下表格：画素向量PV的资料代表表格。

Figure 2012103278166100002DEST_PATH_IMAGE001

其中，该两个相邻画素P1、P2分别具有一第一信息量和一第二信息量，该第一信息量用于储存该背景中的该画素的该位置（X, Y），该第二信息量用于储存该背景中的该画素的该颜色(R, G, B)。

举常见的Full HD画面（1920*1080）为例，背景信息图104的画素P1、P2的该第一信息量和该第二信息量皆为24位(bits)。该背景中的该画素的该位置的水平位置X（1至1920）占用画素P1的该第一信息量的11位，即2¹¹=2048。该背景中的该画素的该位置的垂直位置Y(1至1080)占用画素P1的该第一信息量的11位，即2¹¹=2048。因此，多出2位为无用的数据。

另外，该背景中的该画素的该颜色的红、绿、蓝的灰阶值分别占用画素P2该第二信息量的8位。

若局部区域201的没有图像的画素位置出现在Full HD画面的(1,1)，即最左上角的点，则水平位置X的二进制代码为0，垂直位置Y的二进制代码为0，因此实际上背景信息图104的画素P1呈现黑色（0, 0, 0）。此外，相邻的画素P2为背景的颜色。若局部区域201的没有图像的画素位置出现在Full HD画面的(2,1)，则水平位置X的二进制代码为1（位于第13位，即实际画素P1的G子画素的第4位为1），垂直位置Y的二进制代码为0，因此实际上背景信息图104的画素P1呈现绿色（0, 16, 0）。因此，实际上该背景信息图104为彩色的不具规则之杂点。

请一并参照图5，于步骤S30ˋ中，减少该深度图101的容量以得一缩减深度图102，该缩减深度图102仅以单一该子画素代表单一该灰阶画素。由于步骤S30ˋ与前述实施例之步骤S20相同，因此详细说明请参考前述，在此不予赘述。

然而，由于局部区域201占整幅图像的面积并不多，因此可用原深度图101减少成缩减深度图102所省下的信息量（即2/3原图）作为纪录背景信息图104的信息量。又因为背景信息图104是以两个画素P1、P2来储存于局部区域201单一画素的位置及颜色信息，因此背景信息图104实际上可记录原图的1/3大小的局部区域201，其具有非常充裕的容量。

请一并参照图7，图7绘示此较佳实施例的第一图像10、缩减深度图102、背景信息图104、及第二图像20ˋ示意图。于步骤S40ˋ中，传输该第一图像10、该缩减深度图102及该背景信息图104至该译码器140。

于步骤S50ˋ中，于该译码器140中计算出该些第二图像20。由于步骤S50ˋ与前述实施例之步骤S40相同，因此详细说明请参考前述，在此不予赘述。

如图7所示，于步骤S60ˋ中，填补黑洞，即于该译码器140中利用背景信息图104填补第二图像20之局部区域201，以得修补后之第二图像20ˋ，而透过正确的背景画面填补黑洞的多幅第二图像20ˋ可提高了观赏3D影像的质量。

综上所述，本发明通过缩减深度图102的容量，以单一RGB子画素的灰阶值代表整个画素的深度位移值，进而减少了原本传输深度图101所需的信息量的三分之一，而提高信息的压缩比，由此达成本发明的减少信息量传输的目的。另外，本发明还利用该背景信息图104内所含的背景信息，以填补惯常计算出的其他视角的画面具有的黑洞，而优化了3D显示效果。

虽然本发明已用实施例公开如上，然而其并非用以限定本发明，本发明所属技术领域中具有普通技术知识者，在不脱离本发明的精神和范围内，可作各种的更动与变换，因此本发明的保护范围应当以申请的权利要求界定的保护范围为准。

Claims

1.一种三维图像处理方法，其是用于将在一第一视角之一第一图像转换至在多个第二视角的多个第二图像，其特征在于：其包括下列步骤：

传输该第一图像及该缩减深度图至一译码器；

以及于该译码器中计算出该些第二图像。

2.根据权利要求1所述的一种三维图像处理方法，其特征在于：其中该缩减深度图的子画素的灰阶值代表该第一图像的对应画素之深度位移值。

3.根据权利要求1所述的一种三维图像处理方法，其特征在于：其中该深度图的每一灰阶画素是由红绿蓝子画素所组成，且每一灰阶画素中的红绿蓝子画素的灰阶值皆相同。

4.根据权利要求3所述的一种三维图像处理方法，其特征在于：其中该缩减深度图的容量为该深度图容量的三分之一。

5.根据权利要求1所述的一种三维图像处理方法，其特征在于：进一步包括提供一背景信息图，该背景信息图代表该些第二图像中不存在影像的局部区域之背景。

6.根据权利要求5所述的一种三维图像处理方法，其特征在于：其中该背景信息图具有多个画素向量，每一画素向量代表该背景中之一画素的位置及颜色。

7.根据权利要求6所述的一种三维图像处理方法，其特征在于：其中每一画素向量是以该背景信息图中的两个相邻画素表示。

8.根据权利要求7所述的一种三维图像处理方法，其特征在于：其中该两个相邻画素分别具有一第一信息量及一第二信息量，该第一信息量用于储存该背景中的该画素的该位置，该第二信息量用于储存该背景中的该画素的该颜色。

9.根据权利要求8所述的一种三维图像处理方法，其特征在于：其中该第一信息量及该第二信息量皆为24位，该背景中的该画素的该位置的水平位置占用该第一信息量的11位，该背景中的该画素的该位置的垂直位置占用该第一信息量的11位，该背景中的该画素的该颜色的红、绿、蓝的灰阶值分别占用该第二信息量的8位。

10.根据权利要求5所述的一种三维图像处理方法，其特征在于：其中传输该第一图像及该缩减深度图至该译码器还包括传输该背景信息图至该译码器。