CN100518314C - 可视通信信号发射器和接收器、可视通信***和创建可视通信信号的方法 - Google Patents

Abstract

所公开的是包括用于产生3-D图像的图像模型信息(10)的可视通信信号(32)。图像模型信息(10)可包括3-D图像模型，例如3-D线框模型或3-D体素映像。一些所产生的3-D图像可能具有相对低的图像质量。可视通信信号(32)进一步包括对应于至少部分3-D图像的图像增强信息(20)，用于增强所产生的3-D图像的图像质量。这个图像增强信息(20)可包括对应于一个或多个单个视点(22、24)的图像信息以及/或者对应于一个或多个范围的视点(26、28)的图像信息。可视通信信号(32)可在可视通信***(40)如3-D电视***或3-D电话会议***中被从发射器(30)传输到接收器(34)。可选地，可视通信信号(32)可由有形介质例如CD-ROM或DVD-ROM来载运。

Description

可视通信信号发射器和接收器、可视通信***和创建可视通信信号的方法

技术领域

本发明涉及一种可视通信信号，包括用于产生至少3-D图像的图像模型信息。

本发明进一步涉及一种用于将这种可视通信信号从发射器传输到接收器的可视通信***，涉及一种用于发射这种可视通信信号的发射器，涉及一种用于接收这种可视通信信号的接收器，涉及一种传输这种可视通信信号的方法并涉及一种用于载运这种可视通信信号的实体介质，此外，本发明还涉及一种创建可视通信信号的方法。

背景技术

依照序言的可视通信信号可得知于M.Magnor和B.Girod的名为“Hierarchical coding of light fields with disparity maps”的论文，IEEE会议ICIP99会议论文集，日本神户，Vol.3，pp334-338，1999。

这种可视通信信号被用于可视通信***，例如三维(3-D)电视或电话会议***，用于将3-D视频信息从发射器传输到接收器。

在可视通信***中，三维视频可能是引入颜色之后的下一次革命。在演化的进程中，重要的是寻找解决方案，其

确保与常规单像管(monoscopic)视频的兼容性；

从一开始就提供高质量3-D视频的选项；

并允许一些年内的连续改进。

在当前，许多不同的选项可用于获取并显示3-D内容，包括有复合镜片的高分辨率显示器、多重摄像机(multiple camera)和测距摄像机(range camera)。需要图像和信号处理以在有不同形态的设备(即支持不同数据类型的设备)之间对接，例如在立体摄像机和支持多于两个视点的多视点显示器之间。然而，图像和信号处理的技术状况远不能使大量不同的3-D获取和显示设备对接。所有当前的图像处理技术仅针对不透明(非透明)对象而工作，但仍产生许多可见的假象。当这个问题被解决时，处理透明度(烟、雾、水、窗户)、镜面发射/反射率(光源、镜面、金属)和高拓扑细节和动态(树叶在风中移动)仍将是个大问题。显然，成功制作3-D所至关重要的高质量要求通常是不被满足的。

在从上述论文得知的可视通信信号中，图像模型信息被包括在被分层编码的光场中。这样的光场基于静态场景2-D图像的被密集采样的集合，使得能借助摄像机规则间隔的2-D格栅进行容易的数据获取。基于被编码的光场，通过估算原先未被记录的不均衡补偿的中间光场图像，解码器可在本地改善光场。这些被内插的图像可大大增强再现性能。尽管这样，一些这样的被内插图像仍具有由于再现的假象而造成的相对低的图像质量。

发明内容

本发明的目的是提供如在起始段中所述的可视通信信号，其使得能产生具有相对高图像质量的3-D图像。这个目的是以依照本发明的可视通信信号而实现的，所述可视通信信号的特征在于，可视通信信号进一步包括对应于至少部分3-D图像的图像增强信息。从图像模型信息，(3-D)图像可从任何任意的视点被再现。这确保了在演化进程的任何时间可使用任何显示器(单像管、立体镜、多视图显示器)。图像增强信息确保视点的特定集合、那些原先被记录以产生3-D图像模型的可被没有假象地再现。

图像模型信息(或3-D模型)是对来自获取设备的所有或几乎所有数据进行分析处理的结果。例如，50的摄像机获取设备仍产生单个3-D模型。由于后者通常包含较少的信息位，3-D模型可被用于有效的编码。

可使用任何种类的3-D模型，例如线框或VRML模型、体素映像(如MRI图像)、分层体素映像(八叉树模型)或2D对象的集合(例如，如在MPEG-4中所使用的)。除了自然的内容，3-D模型亦可包含合成的内容(计算机图形)。

为确保与常规单像管***的兼容性，可使用特定的3-D模型，其由正常单像管图像加上有几何信息的附加子层组成。后者可例如是包含每个像素的深度z(或者被称为不均衡的1/z，或者导出量，如不均衡导数)的特定图像。由于它是目前可被所谓的测距摄像机直接获取(无需处理)的仅有的实际3-D模型，这个图像是特别有趣的。它亦可通过处理立体镜图像素材而被产生。几何子层可以不存在，以在内容生成侧提供全向后兼容性。在3-D模型的情况下，然后假定正常的单像管图像表示平3-D模型。以这种方式，该图像仍可被用作通过图像增强信息来有效地再现其它图像的基础。

图像增强信息使得从3-D模型再现的图像特定集合(视点)的质量升级。图像增强信息层可包含几个子层，每个都可对应于单个视点或者离散或(半)连续范围的视点。范围子层使得有运动视差(即移动的观察者所经历的附近和远处的物体看上去不同的移动速度：附近的物体看上去比远处的物体移动得快)，其中1-D测距使得有水平运动视差。对于3-D演化方案，可包括2-D测距子层。由于它在场景中包含所有的可视3-D信息(全息摄影等效于有极高图像分辨率的2-D视点测距)，这种测距是重要的。可能对于一些应用，多维测距(例如对于xyz摄像机位置，αβγ方位和f变焦)可能是有用的，尽管从定义上来说，这种测距不可能包含比2-D视点测距多的信息。

对于自然内容，子层正常地将对应于被用于记录的原始摄像机。例如对于合成内容，子层亦可被用于附加特定效果如雾或烟。

图像增强的实际方法可以是任何方法。好的候选者应在图像增强信息中包括原始图像和从3-D模型的适当再现之间的差(误差)。在接收器处，不管在3-D模型层中造成的任何误差，被再现的图像加上差图像则将产生原始图像。

图像增强信息可使用例如DCT变换和无损或有损系数编码而被编码。这种方法亦被用于MPEG-2和MPEG-4中以在它们已通过复制来自先前被解码图像的部分而被构建之后升级图像。对于彼此接近的单个视点，其图像之间的相关性(交叉相关)亦可被用于编码过程。这对于视点范围是重要的，其中在该范围内的相关是很高的。

依照本发明的可视通信信号具有以下特征：

-它适用于各种不同的获取和显示设备；

-不论何时当获取和显示设备共享相同的形态时，或者当显示器仅使用来自获取设备的部分数据时，如常规单像管显示器，不管图像处理的技术状况，它使得能进行高质量传输；

-不论何时当获取和显示设备具有不同形态时，传输仍是可能的，而质量依赖于图像处理的技术状况。

以这种方式，可从可兼容2-D的、高质量3-D电视有一个成功的开始，同时使得有了设备和处理技术的演化进程。

应指出，用于解决3-D电视难题的其它可视通信信号已被提出：

-使用包含单个图像的基层和包含与单个图像有关的图像增强信息的增强层(如在MPEG-2多视图轮廓(MVP)***中所使用的)。

-使用特定的基于图像的可视通信信号，例如立体素材。这产生了高质量3-D图像，但亦产生对不同显示设备的使用的局限性(仅可使用立体显示器)。

-使用没有图像增强信息的3-D模型，例如仅“图像+深度”3-D模型或VRML/八叉树3-D模型或者如被公开于以上所提及论文的光场模型。这导致了由于图像分析的技术状况而造成的被降级的图像质量。

依照本发明的可视通信信号实施例的特征在于，对应于单个3-D图像的图像增强信息涉及基本上整个单个3-D图像。通过将图像增强信息应用于整个3-D图像，可避免在其中存在透明前景对象的重构图像中的问题。当图像增强信息仅填充再现中的孔时，的确发生这种问题。例如，“图像+深度”3-D模型给所表示的拓扑增加了局限性。不论何时当图像从基本上不同于原始图像的视点被再现时，孔出现于再现中。这种“孔填充”增强方法仅在图像的本地考虑所述孔，而不考虑贯穿整个图像而一直发生的图像/信号处理问题。

发明概念的可能应用包括以下：

-通过仅传输正常图像而使得单像管TV可用。这个图像被包含于3-D模型层中，其中“图像+深度”型3-D模型被使用而没有深度图像。

-通过使用有单个视点的两个子层或者与来自“图像+深度”3-D模型的正常图像组合的仅一个而使得高质量立体镜成像可用。

-多视图显示器如飞利浦3D-LCD可由许多单个视点的子层或用仅一个离散范围的视点的子层来服务。对于可支持多达100个视点、在场景上提供几乎连续范围的3-D视点的将来显示器，此后者的子层是重要的。对于没有任何畸变地以实际3-D几何形状并以全运动视差来示出场景的将来显示器，视点的2-D测距(range)将变得重要。

-通过手动浏览视点子层可使得能例如借助TV遥控机构由用户进行手动视点选择。

依照本发明的可视通信***被安排用于将依照本发明的可视通信信号从发射器传输到接收器。这种可视通信***包括3-D电视、电话会议和遥控外科***。

依照本发明的有形介质被安排用于载运依照本发明的可视通信信号。依照本发明的可视通信信号可被存储于适当的信息载体上，如硬盘、CD-ROM、DVD-ROM等。

依照本发明的可视通信信号可以是(被包括于)MPEG视频流，其将图像模型信息和图像增强信息作为私人或用户数据载运或者在分离的PID中载运。可选地，可视通信信号可在互联网上被传输以方便互联网TV。

根据本发明的第一方面，提供一种用于发射可视通信信号的发射器，该发射器包括：

-含括装置，用于在可视通信信号中含括用于产生3-D图像的3-D图像模型，和

-输出装置，用于输出可视通信信号，

其特征在于该发射器进一步包括

-增强装置，用于在可视通信信号中除了含括所述3-D图像模型外，还含括用于通过提供具有至少一个子层的图像增强层来升级从所述3-D图像模型再现的图像集合的图像增强信息，至少一个子层的每个对应于至少一个单个视点。

根据本发明的第二方面，提供一种用于接收可视通信信号的接收器，该接收器包括：

-接收装置，用于接收可视通信信号，和

-提取装置，用于从可视通信信号中提取用于产生3-D图像的3-D图像模型，

其特征在于

-提取装置被设置以从可视通信信号中除了提取所述3-D图像模型外，还提取用于通过提供具有至少一个子层的图像增强层来升级从所述3-D图像模型再现的图像集合的图像增强信息，至少一个子层的每个对应于至少一个单个视点。

根据本发明的第三方面，提供一种可视通信***，用于将可视通信信号从发射器传输到接收器：

所述发射器包括

-含括装置，用于在可视通信信号中含括用于产生3-D图像的3-D图像模型，和

-输出装置，用于输出可视通信信号，和

-增强装置，用于在可视通信信号中除了含括所述3-D图像模型外，还含括用于通过提供具有至少一个子层的图像增强层来升级从所述3-D图像模型再现的图像集合的图像增强信息，至少一个子层的每个对应于至少一个单个视点，

所述接收器包括：

-接收装置，用于接收可视通信信号，和

-提取装置，用于从可视通信信号中提取用于产生3-D图像的3-D图像模型，

其中提取装置被设置以从可视通信信号中除了提取所述3-D图像模型外，还提取用于通过提供具有至少一个子层的图像增强层来升级从所述3-D图像模型再现的图像集合的图像增强信息，至少一个子层的每个对应于至少一个单个视点。

根据本发明的第四方面，提供一种用于创建可视通信信号的方法，包括：

为至少3-D图像产生3-D图像模型；

产生用于通过提供具有至少一个子层的图像增强层来升级从所述3-D图像模型再现的图像集合的图像增强信息，至少一个子层的每个对应于至少一个单个视点；和

将所述3-D模型和所述图像增强信息含括进所述可视通信信号。

附图说明

从参照附图的优选实施例的以下描述中，本发明的以上目的和特征将是较为明显的，在附图中：

图1图解地示出依照本发明的可视通信信号32的几个实施例，

图2示出依照本发明的可视通信***40的实施例的方块图，

图3示出依照本发明的有形介质50的实施例，

图4示意性地示出依照本发明的发射器的最重要的元件，并且

图5示意性地示出依照本发明的接收器的最重要的元件。

在图中，相同的部分被提供有相同的参考数字。

具体实施方式

图1图解地示出依照本发明的可视通信信号32的几个可能实施例。可视通信信号32包括3-D模型层10中的图像模型信息和图像增强层20中的图像增强信息。从图像模型信息，(3-D)图像可从任何任意的视点被再现。这确保了在演化进程的任何时间可使用任何显示器(单像管、立体镜、多视图显示器)。图像增强信息确保视点的特定集合、那些原先被记录以产生3-D图像模型的可被没有假象地再现。

图像模型信息(或3-D模型)是对来自获取设备的所有或几乎所有数据进行分析处理的结果。例如，50摄像机获取设备仍产生单个3-D模型。由于后者通常包含较少的信息位，3-D模型可被用于有效的编码。

3-D模型层10可包括一个或多个3-D模型，如线框或VRML模型14、体素映像(如MRI图像)、分级体素映像(八叉树模型)18或2D对象的集合16(例如，如在MPEG-4中所使用的)。除了自然的内容，3-D模型亦可包含合成的内容(计算机图形)。

为确保与常规单像管***的兼容性，可使用特定的3-D模型12，其由正常单像管图像加上有几何信息的附加子层组成。后者可例如是包含每个像素的深度z(或者1/z，被称为不均衡，或者导出量，如不均衡导数)的特定图像。由于它是目前可被所谓的测距摄像机直接获取(无需处理)的仅有的实际3-D模型，这个图像是特别有趣的。它亦可通过处理立体镜图像素材而被产生。几何子层可以不存在，以在内容生成侧提供全向后兼容性。在3-D模型的情况下，然后假定正常的单像管(monoscopic)图像表示平3-D模型。以这种方式，该图像仍可被用作通过图像增强信息来有效地再现其它图像的基础。

图像增强信息使得从3-D模型再现的图像特定集合(视点)的质量升级。图像增强信息层20可包含一个或多个子层22...28，每个都可对应于单个视点22、24或者离散或(半)连续范围的视点26、28。测距(range)子层26、28使得有运动视差(即移动的观察者所经历的附近和远处的物体的看上去不同的移动速度：附近的物体看上去比远处的物体移动得快)，其中1-D测距26使得有水平运动视差。对于3-D演化进程，可包括2-D测距子层28。由于它在场景中包含所有的可视3-D信息(全息摄影等效于有极高图像分辨率的2-D视点测距)，这种测距是重要的。可能对于一些应用，多维测距(例如对于xyz摄像机位置，αβγ方位和f变焦)可能是有用的，尽管从定义上来说，这种测距不可能包含比2-D视点测距多的信息。

对于自然内容，子层正常地将对应于被用于记录的原始摄像机。例如对于合成内容，子层亦可被用于附加特定效果如雾或烟。

图像增强的实际方法可以是任何方法。好的候选者应在图像增强信息中包括原始图像和从3-D模型的适当再现之间的差(误差)。在接收器处，不管在3-D模型层中造成的任何误差，被再现的图像加上差图像则将产生原始图像。

图像增强信息可使用例如DCT变换和无损或有损系数编码而被编码。这种方法亦被用于MPEG-2和MPEG-4中以在它们已通过复制来自先前被解码图像的部分而被构建之后升级图像。对于彼此接近的单个视点，其图像之间的相关性(交叉相关)亦可被用于编码过程。这对于一个范围(range)的视点是至关重要的，其中在该范围内的相关是很高的。

图2示出依照本发明的可视通信***40的实施例的方块图，该可视通信***40可以是3-D电视***、3-D电话会议***、遥控外科***或互联网TV***。可视通信***40包括发射器30和接收器34。可视通信***40可包括另外的发射器30和接收器34。可视通信信号32由发射器30发射并由接收器34接收。发射器30可以是CATV网络的头端或者******或地球电视网络。发射器30可将预记录的或现场的3-D电视节目广播到3-D电视接收器34。可选地，接收器34可以是具有用于显示3-D图像的显示器并通过互联网接收可视通信信号32的PC。在3-D电话会议的情况下，连接的两端都具有组合的发射器30/接收器34，并且可视通信信号32在两个方向上都被传输。

图3示出作为依照本发明的有形介质50的可能实施例的DVD-ROM50。这种DVD-ROM 50被安排用于载运依照本发明的可视通信信号。依照本发明的可视通信信号可选地被存储于任何适当的信息载体上，如硬盘或CD-ROM等。

图4示意性地示出依照本发明的发射器的最重要的元件。发射器30可通过输入52从外部源获得与欲被发射的信号有关的图像数据。发射器具有含括单元(inclusion unit)54，其将如上述的用于3-D图像的图像模型10含括到欲被发射的信号中。此外，发射器具有增强单元56，其含括如上述的图像增强信息20。最后，发射器具有输出单元58，其例如在广播发射器的情况下输出可视通信到天线，或者在电缆头端的情况下输出到电缆网络。

图5示意性地示出依照本发明的接收器的最重要的元件。接收器32具有可视信号在那里进入接收器的输入59。信号能以不同的方式被捕获。例如，如果信号是被广播，则可以是通过天线，或者如果信号是通过电缆网络被传输，则是通过电缆。接收器具有用于接收信号并准备它以便进一步处理的接收单元60。在广播信号的情况下，接收单元可包含调谐器以便选择适当的频率。此外，接收器具有提取单元62，用于从信号提取所需信息。如以上所述，这种被提取的信息可以是用于产生3-D图像的模型信息、用于增强3-D图像的图像增强信息、用于单个视点的3-D图像的增强信息和/或用于一个范围的视点的3-D图像的增强信息。典型地，当使用被提取的信息时，接收器将把信号处理为可被显示于显示设备64的输出信号。该显示设备适合于显示3-D图像并可基于用于这个目的的任何已知技术，例如飞利浦3D-LCD。

本发明的范围不局限于被明确公开的实施例。本发明被实施以每个新特征和特征的每个组合。任何参考标记不限定权利要求的范围。单词“包括”不排除除在权利要求中所列的那些以外的元件或步骤的存在。元件前“一”或“一个”的使用不排除多个这种单元的存在。

Claims (9)

1.一种用于发射可视通信信号的发射器，该发射器包括：

-含括装置，用于在可视通信信号中含括用于产生3-D图像的3-D图像模型，和

-输出装置，用于输出可视通信信号，

其特征在于该发射器进一步包括

-增强装置，用于在可视通信信号中除了含括所述3-D图像模型外，还含括用于通过提供具有至少一个子层的图像增强层来升级从所述3-D图像模型再现的图像集合的图像增强信息，至少一个子层的每个对应于至少单个视点。

2.依照权利要求1的发射器，进一步的特征在于所述含括装置将单像管图像和具有几何信息的附加子层含括进所述3-D图像模型。

3.依照权利要求1的发射器，进一步的特征在于所述含括装置包括下述的至少一个作为3-D图像模型：

A)线框模型；

B)VRML模型；

C)体素映像；

D)分层体素映像；和

E)2D对象的集合。

4.依照权利要求1的发射器，进一步的特征在于由所述增强装置含括的图像增强信息的子层进一步对应于用于提供合成内容的信息。

5.依照权利要求1的发射器，进一步的特征在于由所述增强装置含括的子层进一步对应于下述的至少一个：

A)单个视点；

B)半离散连续范围的视点；或

C)离散连续范围的视点。

6.依照权利要求1的发射器，进一步的特征在于由所述增强装置含括的子层进一步对应于用于记录的原始摄像机，确保被所述原始摄像机原始记录的以产生3-D图像模型的视点的集合可以被没有假象地再现。

7.一种用于接收可视通信信号的接收器，该接收器包括：

-接收装置，用于接收可视通信信号，和

-提取装置，用于从可视通信信号中提取用于产生3-D图像的3-D图像模型，

其特征在于

-提取装置被设置以从可视通信信号中除了提取所述3-D图像模型外，还提取用于通过提供具有至少一个子层的图像增强层来升级从所述3-D图像模型再现的图像集合的图像增强信息，至少一个子层的每个对应于至少单个视点。

8.一种可视通信***，用于将可视通信信号从发射器传输到接收器：

所述发射器包括

-含括装置，用于在可视通信信号中含括用于产生3-D图像的3-D图像模型，和

-输出装置，用于输出可视通信信号，和

-增强装置，用于在可视通信信号中除了含括所述3-D图像模型外，还含括用于通过提供具有至少一个子层的图像增强层来升级从所述3-D图像模型再现的图像集合的图像增强信息，至少一个子层的每个对应于至少单个视点，

所述接收器包括：

-接收装置，用于接收可视通信信号，和

-提取装置，用于从可视通信信号中提取用于产生3-D图像的3-D图像模型，

其中提取装置被设置以从可视通信信号中除了提取所述3-D图像模型外，还提取用于通过提供具有至少一个子层的图像增强层来升级从所述3-D图像模型再现的图像集合的图像增强信息，至少一个子层的每个对应于至少单个视点。

9.一种用于创建可视通信信号的方法，包括：

为至少3-D图像产生3-D图像模型；

产生用于通过提供具有至少一个子层的图像增强层来升级从所述3-D图像模型再现的图像集合的图像增强信息，至少一个子层的每个对应于至少单个视点；和

将所述3-D模型和所述图像增强信息含括进所述可视通信信号。

Images