CN103155572A

CN103155572A - 用于基于用户偏好调节3d视频渲染的3d视频控制***

Info

Publication number: CN103155572A
Application number: CN2011800481542A
Authority: CN
Inventors: J·马丁内斯包萨; S·S·索利曼; S·V·谢特; X·罗; V·R·拉韦恩德朗; P·K·巴米迪帕蒂
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2010-10-04
Filing date: 2011-10-04
Publication date: 2013-06-12
Anticipated expiration: 2031-10-04
Also published as: KR20130079580A; US9035939B2; JP2013540402A; WO2012047917A1; KR101492876B1; EP2625861A1; US20120084652A1; EP2625861B1; CN103155572B

Abstract

可以基于从用户接收到的用户偏好数据来修改3D图像数据。可以在第一设备处接收用户偏好数据并将其用于调节由第一设备产生的供显示设备呈现的3D图像数据；或者，第一设备可以接收用户偏好数据并将其发送至显示设备，以便显示设备可以基于用户偏好数据来调节3D图像数据。可以基于用户偏好数据来调节3D图像数据，以便能够支持按照用户期望的方式在显示设备上呈现3D图像。3D用户观看偏好可以包括：图像中凸出效果的量、图像的立体基线、图像的深度范围、图像的空间分布、图像中的深度锐化程度、或者对用户主眼的指定。

Description

用于基于用户偏好调节3D视频渲染的3D视频控制***

本申请要求于2010年10月4日提交的美国临时申请61/389,372的优先权，其整体内容被合并于此作为参考。

技术领域

本发明涉及多媒体数据的渲染和处理，并且更具体地，涉及三维图像和视频数据的渲染和处理。

背景技术

立体视频处理的计算复杂度在三维（3D）图形的渲染中是很重要的，尤其是在诸如移动电话、移动媒体播放器、个人数字助理（PDA）设备等等之类的低功率（即电池供电）设备中的3D场景的可视化中。在一些电影、视频游戏、用户界面和其他3D图形应用的呈现中，3D场景的可视化是有帮助的。

通常，在具有立体能力的显示器（例如，自由立体（auto-stereoscopic）显示器或立体（stereoscopic）显示器）上的3D图形渲染中的困难来自于立体视频处理的高效性和真实性方面。低功率设备的有限计算资源会导致3D图形渲染成为一种耗时过大的例程。尽管为了增加立体视频处理的性能而进行了可观的努力，但是仍然希望有着进一步的提高。

另外，还希望实现允许用户定制其观看体验的能力。当将同一场景的两个视图分别呈现给左眼和右眼时，人类视觉***（HVS）感知到深度。平面型3D显示器，无论是立体型的还是自由立体型的，都依赖于分别向左眼和右眼提供两个不同的视图，这种方式与眼睛直接观看场景时所感知的情况相一致。因此，位于场景中不同深度处的点在这两个视图中会被不同地进行偏移。这种位置上的偏移在指代图像时被称为视差（disparity），而当该位置在屏幕上时，被称为视差（parallax）。

当在左视图中一个给定点在屏幕上的位置在右视图中该点在屏幕上的位置的左侧时，该点的视差为正。如果在左视图中该点在屏幕上的位置在右视图中该点在屏幕上的位置的右侧，则视差为负。如果两个视图中的位置相同，则视差为空。在包含全部具有零视差的点的空间中的位置已知为会聚平面（convergence plane）。负视差提供了凸出效果，而正视差则提供了凹入效果（如同穿过一个孔或窗来观看）。

在给定了诸如屏幕属性和观看距离之类的特定观看条件的情况下，存在一个每个人能够使得他们的眼睛会聚的最大图像视差。其被称为可熔范围（fusible range）。正负视差的范围不是对称的，并且取决于各个人。屏幕视差（parallax）的可感知视网膜视差（retinal disparity）取决于图像视差、屏幕上像素的间距（与屏幕的大小和分辨率有关）以及观看距离。由于各个人眼睛的差异以及观看条件的不同，对于不同的观看者而言，用于渲染最佳3D内容的参数的有效性会是不同的。

发明内容

本发明描述了用于基于从用户接收到的用户偏好数据来修改3D图像数据的技术。在一些实例中，可以在第一设备处接收用户偏好数据并将其用于调节由第一设备产生的供显示设备呈现的3D图像数据。在另一实例中，第一设备可以接收用户偏好数据并将其发送至显示设备，以便显示设备可以基于用户偏好数据来调节3D图像数据。在这两种情况中任一种中，都可以基于用户偏好数据来调节3D图像数据，以便能够支持按照用户期望的方式在显示设备上呈现和观看3D图像。在一些实例中，该第一设备可以是移动设备，诸如移动电话、移动媒体播放器、个人数字助理（PDA）设备等等。3D用户观看偏好的实例可以包括：图像中凸出效果的量、图像的立体基线、图像的深度范围、图像的空间分布、图像中的深度锐化程度（degree of depth sharpness）、或者对用户主眼（dominant eye）的指定。

在一个实例中，一种***包括用户接口模块，其被配置为接收用于3D图像内容的呈现的用户偏好数据；视差估计模块，其被配置为存储基于与所述3D图像内容相关联的视差值的视差图；以及，视差处理模块，其被配置为基于所述用户偏好数据修改所述视差图。

在另一个实例中，一种方法包括：接收用于3D图像内容的呈现的用户偏好数据；存储基于与所述3D图像内容相关联的视差值的视差图；基于所述用户偏好数据来修改所述视差图；基于所修改的视差图来产生3D视频。

在另一个实例中，一种有形计算机可读存储介质存储了一个或多个指令，所述指令当被一个或多个处理器执行时使得所述一个或多个处理器：接收用于3D图像内容的呈现的用户偏好数据；存储基于与所述3D图像内容相关联的视差值的视差图；基于所述用户偏好数据来修改所述视差图；以及，基于所修改的视差图来产生3D视频。

在另一个示例性实施例中，一种装置包括：用于接收用于3D图像内容的呈现的用户偏好数据的模块；用于存储基于与所述3D图像内容相关联的视差值的视差图的模块；用于基于所述用户偏好数据来修改所述视差图的模块；用于基于所修改的视差图来产生3D视频的模块。

以下结合符合和说明书阐述本发明的一个或多个方面的细节。基于说明书、附图和权利要求，本发明所述的技术的其他特征、目的和优点将会变得显而易见。

附图说明

图1是示出一个示例性***的方框图，在该示例性***中，源设备向目标设备发送三维图像数据。

图2是示出视差处理单元的各个组件的示例性安排的方框图。

图3A-3C是分别示出了基于像素深度的正视差值、零视差值和负视差值的实例的概念图。

图4示出了根据本发明的一个实例的示例性***的方框图，该示例性***被配置为基于用户偏好来调节所感知的3D效果。

图5示出了3D视频控制模块的各个组件的示例性安排的方框图。

图6示出了根据本发明的一个实例的示例性***的方框图，该示例性***被配置为基于用户偏好来调节所感知的3D效果。

图7示出了用于说明本发明的多个示例性方面的流程图。

图8示出了根据本发明的一个实例的示例性***的方框图，该示例性***被配置为渲染3D视频。

具体实施方式

在当前2D显示器上，能够基于用户偏好来调节诸如亮度和清晰度之类的图像特性。然而，当前的具有3D功能的显示器通常并不包含这种用于调节3D内容的可视化的机制。每个人都会有不同的偏好，或者有对于基于观看条件和偏好的3D内容显示属性的需求。本发明描述了基于用户偏好来调节所感知的3D效果。

本发明的各个方面包括用于计算立体图像对（a stereo pair of image）中的两个图像的视差值的各种技术，其中，该立体图像对包括同一场景的第一图像和第二图像。在本发明通篇中，该第一和第二图像还可以被称为左图像和右图像、左视图和右视图、或第一视图和第二视图。该立体图像对中的第一图像和第二图像能够被同时显示，或者迅速地先后进行显示，以便创建具有三维（3D）对象的场景。本发明的多个方面还包括允许用户调节用来对3D内容如何被渲染并最终被显示进行定制的偏好的技术。

本发明中所使用的术语“视差（disparity）”通常描述用于产生3D效果的、在一个图像中的像素相对于另一个图像中的对应像素的水平偏移。本发明中所使用的“对应像素”通常表示属于3D对象上的同一个点但却在不同图像中的像素。

距离相机焦点相对较近的对象的像素表示通常具有比距离相机相对较远的对象的像素表示更高的视差。更具体而言，可以将用于显示图像的屏幕认为是会聚平面，从而使得具有零视差的对应像素位于该会聚平面上并且通常对于观看者而言看上去是位于与该会聚平面相同的距离处。通常，在屏幕前方的对象被认为是具有负视差，而在屏幕后方的对象被认为是具有正视差。

可以在被称为视差图（disparity map）的数据结构中存储立体图像对的多个视差值。与该立体图像对相关联的视差图表示一个2D函数d(x,y)，从而使得在第一图像中任意给定(x,y)坐标处的d的值对应于为了找到第二图像中的对应像素而需要施加于第二图像中坐标(x,y)处的像素的x坐标上的偏移。

图1是示出示例性***10的方框图。如图1所示，***10可以包括具有图像源22、视差处理单元24、编码器26和发射机28的源设备，并且还可以包括具有图像显示器42、视图合成单元44、解码器46和接收机48的目标设备40。在图1的实例中，目标设备40从源设备20接收编码的图像数据54。源设备20和/或目标设备40可以包括无线通信设备，诸如无线手机、所谓的蜂窝或卫星无线电话、或者任何能够经由通信信道传输图像和/或视频信息的无线设备，在这种情况下，通信信道可以包括无线通信信道。目标设备40可以被称为三维（3D）显示设备或3D渲染设备。

图像源22向视差处理单元24提供包括第一视图50和第二视图56的立体图像对。视差处理单元24使用第一视图50和第二视图56来产生3D处理信息52。视差处理单元24将3D处理信息52和这两个视图之一（在图1的示例中是第一视图50）传递至编码器26，编码器26对第一视图50和3D处理信息52进行编码以形成编码视频数据54。发射机28将编码视频数据54发送至目标设备40。

接收机48从发射机28接收编码图像数据54。解码器46对编码图像数据54进行解码，以提取第一视图50和3D处理信息52。视图合成单元44能够基于第一视图50和3D处理信息52来重建第二视图56。图像显示器42能够基于第一视图50和第二视图56来渲染三维图像。虽然在图1中并未示出，但是第一视图50和第二视图56可以在源设备20或目标设备40处经历其他处理。因此，在一些示例中，视图合成单元44所接收的第一视图50或者图像显示器42所接收的第一视图50和第二视图56实际上可以是从图像源56接收到的第一视图50和第二视图56的修改版本。例如，3D处理信息52可以包括视差图或者基于视差图的深度信息。

存在多种用来基于视差信息确定深度信息的技术，反之亦然。因此，只要本发明论述对视差信息的编码、解码、处理或发送，就应该设想到还可以作为替代来编码、解码、处理或发送基于视差信息的深度信息。

本发明的多个方面并非必然限制于无线应用或设置。例如，本发明的多个方面可以应用于无线电视广播、有线电视传输、***传输、因特网视频传输、被编码到存储介质上的编码数字视频或其他应用。因此，所述通信信道可以包括适于传输编码视频和/或图像数据的无线或有线介质的任何组合。例如，当使用针孔相机模型（pinhole camera model）和平行立体设置时，可以根据以下公式，基于视差值（d）来确定深度值（Z）：

Z=bf/d （1）

其中，b是基线（即，在针孔相机模型的两个相机中心之间的距离），f是针孔相机模型的焦距。

图像源22可以包括：图像传感器阵列，例如数字静态照相机或数字摄像机、包含一个或多个被存储图像的计算机可读存储介质、用于从外部源接收数字图像的接口、通过例如执行视频游戏或其他交互式多媒体源来产生数字图像的处理单元、或者其他图像数据源。图像源22通常可以对应于所捕获的图像、预先捕获的图像和/或计算机产生的图像中的任意一个或多个的源。在一些示例中，图像源22可以对应于蜂窝（即，移动）电话的相机。通常，在本发明中对图像的称呼包括静态图像和视频数据帧。因此，本发明的技术可以应用于静态数字图像以及所捕获的数字视频数据帧或计算机产生的数字视频数据两者。

图像源22向视差处理单元24提供立体图像对50和56的图像数据，以便计算这两个图像之间的视差值。该立体图像对50和56包括第一视图50和第二视图56。视差处理单元24可以被配置为自动地计算该立体图像对50和56的视差值，其进而可以被用来计算3D图像中对象的深度值。例如，图像源22可以在不同视角捕获一个场景的两个视图，随后基于所确定的视差图来计算在该场景中的对象的深度信息。在多个示例中，图像源22可以包括标准的二维相机、提供一个场景的立体视图的双相机***、捕获该场景的多个视图的相机阵列、或者捕获一个视图加上深度信息的相机。

虽然图像源22可以提供多个视图（即，第一视图50和第二视图56），但是视差处理单元24可以基于该多个视图计算视差值，并且源设备20可以仅发送第一视图50与3D处理信息52（即，视差图，或依据视差图所确定的、场景的每对视图的深度值）。例如，图像源22可以包括一个八相机阵列、其旨在产生从不同角度观看的场景的四对视图。源设备20可以计算每对视图的视差信息或深度信息，并向目标设备40发送每对视图中的仅一个图像加上该对图像的视差信息或深度信息。因此，在该示例中，源设备20可以按照编码图像数据54的形式，发送四个视图以及与这四个视图中每一个相关的深度/视差信息，而不是发送八个视图。在一些示例中，视差处理单元24可以从用户或从另一外部设备接收图像的视差信息。

视差处理单元24将第一视图50和3D处理信息52传递至编码器26。3D处理信息52可以包括立体图像对50和56的视差图。当第一视图50是数字静态图像时，编码器26可以被配置为将第一视图50编码为例如联合图像专家组（JPEG）图像。当第一视图50是视频数据帧时，编码器26可以被配置为根据诸如以下的视频编码标准来对第一视图50进行编码：例如，运动图像专家组（MPEG）、MPEG-2、国际电信联盟（ITU）H.263、ITU-TH.264/MPEG-4、H.264先进视频编码（AVC）、ITU-T H.265、或其他视频编码标准。编码器26可以将3D处理信息52和第一视图50的编码图像一起包含在编码图像数据54中。编码器26将编码图像数据54传递至发射机28。

在一些示例中，可以估计深度图（depth map）。当存在一个以上的视图时，可以使用立体匹配来估计在有一个以上的视图可用时的深度图。然而，在2D到3D的转换中，对深度进行估计可能更为困难。不管如何，可以根据基于深度图像的渲染（Depth-Image-Based Rendering，DIBR），使用采用各种方法所估计的深度图来进行3D渲染。

例如，ITU-T H.264/MPEG-4(AVC)标准是由ITU-T视频编码专家组（VCEG）和ISO/IEC运动图像专家组（MPEG）联合发布的，这二者的联合是被称为联合视频小组（JVT）的合作伙伴关系的产物。在一些方面，在本发明中所述的技术可以应用于整体上遵从H.264标准的设备。H.264标准在ITU-T研究组在2005年3月发布的“ITU-T推荐H.264，用于一般性音频视频服务的先进视频编码”中进行了描述，该文献在本文中被称为H.264标准或H.264规范，或H.264/AVC标准或规范。联合视频小组（JVT）继续针对H.264/MPEG-4AVC的扩展进行工作。

视差处理单元24可以按照视差图的形式来产生3D处理信息52。编码器26可以被配置为将视差图编码为作为编码图像数据54的比特流中发送的3D内容的一部分。该处理可以产生用于一个捕获的视图的一个视差图，或者用于几个被发送的视图的视差图。编码器26可以接收一个或多个视图以及视差图，使用诸如H.264/AVC、能够对多个视图进行联合编码的MVC、或者能够对深度和纹理进行联合编码的可伸缩视频编码（SVC）之类的视频编码标准来将其编码。

当第一视图50对应于图像数据帧时，编码器26可以采用帧内预测模式或帧间预测模式来对第一视图50进行编码。例如，ITU-T H.264标准支持多种块大小的帧内预测，这些块大小诸如为针对亮度分量的16乘16、8乘8或4乘4，针对色度分量的8x8，并且还支持多种块大小的帧间预测，这些块大小诸如为针对亮度分量的16x16、16x8、8x16、8x8、8x4、4x8和4x4以及针对色度分量的对应的缩放尺寸。在本发明中，“NxN”和“N乘N”可以以可交换的方式使用，来按照水平尺寸和垂直尺寸来指示块的像素尺寸，例如16x16个像素或16乘16个像素。通常，一个16x16的块在垂直方向上有16个像素，在水平方向上有16个像素。类似地，一个NxN的块通常在垂直方向上具有N个像素，在水平方向上具有N个像素，其中，N表示可以正整数值，其可以大于16。一个块中的像素可以按照行和列来排列。块也可以是NxM型的，其中N和M是并非必然相等的整数。

小于16乘16的块大小可以被称为16乘16宏块的分割（partitions）。类似地，对于NxN的块，小于NxN的块大小可以被称为NxN块的分割。视频块可以包括像素域中的像素数据块，或者在变换域中的变换系数块，例如，在对表示编码视频块与预测视频块之间像素差异的残差视频块数据应用了诸如离散余弦变换（DCT）、整数变换、小波变换或概念上类似的变换之后。在一些情况中，视频块可以包括变换域中的量化的变换系数的块。

较小的视频块可以提供更好的分辨率，并且可以用于对包含高细节级别的视频帧的定位。通常，宏块和各种分割（其有时被称为子块）可以被认为是视频块。另外，切片（slice）可以被认为是多个视频块，诸如宏块和/或子块。每个切片可以是视频帧的可独立解码单元。可替换地，帧自身可以是可解码单元，或者可以将帧的其他部分定义为可解码单元。术语“解码单元”或“编码单元”可以表示视频帧的任何可独立解码单元，诸如整个帧、帧的切片、图像组（GOP）（其还被称为序列或超帧）、或根据可应用的编码技术而定义的其他可独立解码单元。

通常，宏块和各种子块或分割都可以被认为是视频块。另外，切片（slice）可以被认为是一系列视频块，诸如宏块和/或子块或分割。通常，宏块可以表示定义了一个16乘16像素区域的一组色度或亮度值。亮度块可以包括一组16乘16的值，但是可以被进一步分割为更小的视频块，诸如8乘8的块、4乘4的块、8乘4的块、4乘8的块或其他大小。两个不同的色度块可以为宏块定义颜色，并且可以包括与16乘16的像素区域相关联的颜色值的8乘8子采样的块。宏块可以包括用于定义应用于宏块的编码模式和/或编码技术的语法信息。

宏块或其他视频块可以被编组为可解码单元，诸如切片、帧或其他独立单元。每个切片可以是视频帧的可独立解码单元。可替换地，帧自身可以是可解码单元，或者可以将帧的其他部分定义为可解码单元。

如上所述的，图像源22可以向视差处理单元24提供同一场景的两个视图以便产生3D处理信息52。在这些示例中，编码器26可以仅将这两个视图中的一个与3D处理信息52一起进行编码。通常，源设备20可以被配置为将第一图像50连同3D处理信息52一起发送至目标设备，诸如目标设备40。与为了产生3D图像而发送一个场景的两个编码图像的情况相比，仅发送一个图像和视差图或深度图可以减少带宽消耗和/或减少存储空间使用量。

发射机28可以向目标设备40的接收机48发送包括编码图像数据54的比特流。例如，发射机28可以使用传输级的封装技术（例如MPEG-2***技术）来封装编码图像数据54。例如，发射机28可以包括网络接口、无线网络接口、射频发射机、发射机/接收机（收发机），或者其他传输单元。在其他示例中，源设备20可以被配置为将编码图像数据54存储在物理介质中，诸如压缩光盘、数字视频光盘、蓝光光盘之类的光学存储介质、闪存、磁性介质、或其他存储介质。在这些示例中，存储介质可以以物理方式运送至目标设备40的位置处并由适当的接口单元读取以便取回数据。在一些实例中，在发射机28发送比特流54之前，可以使用调制器/解调器（MODEM）来对比特流54进行调制。

在接收到编码图像数据54并解封装了数据之后，在一些实例中，接收机48可以向解码器46（或在一些实例中向用于解调比特流的MODEM）提供编码图像数据54。解码器46对编码图像数据54进行解码，以便从接收到的比特流中提取第一视图50和3D处理信息52。例如，解码器46可以重新创建第一视图50并从3D处理信息52重新创建用于第一视图50的视差图。在解码了视差图之后，视图合成算法可以生成用于未被发送的其他视频的纹理。解码器46还可以将第一视图50和3D处理信息52发送至视图合成单元44。视图合成单元44基于第一视图50和3D处理信息52重新创建第二视图56。

通常，人类视觉***（HVS）基于对对象的会聚角度来感知深度。与距离观看者相对较远的对象相比，距离观看者相对较近的对象由于观看者的眼睛以更大的角度会聚在对象上而被感知为更为靠近观看者。为了在诸如图像和视频之类的多媒体中模拟三维，将两个图像显示给观看者，每个图像对应观看者的一个眼睛。在图像内位于相同空间位置处的对象通常会被感知为处于与正在显示图像的屏幕相同的深度处。

为了产生立体感效果，可以将对象在每个图像中沿着水平轴略微不同的位置处显示。对象在这两个图像中的位置之间的差异被称为视差。通常，为了使得一个对象看上去相对于屏幕更为靠近观看者，可以使用负视差值；否则，要使得一个对象看上去相对于屏幕更为远离观看者，可以使用正视差值。在一些实例中，具有正视差或负视差的像素可以以更高或更低的分辨率来显示，从而增加或减小清晰度或模糊度，从而进一步产生相对于焦点的正深度或负深度的效果。

视图合成可以被认为是一个采样问题，其使用密集采样的视图来产生在任意观看角度中的视图。然而，在实际应用中，密集采样的视图所需要的存储空间或传输带宽会很大。因此，已经针对基于稀疏采样的视图及其深度图的视图合成进行了研究。虽然细节上存在差异，但是这些基于稀疏采样的视图的算法大部分都是基于3D扭曲（warping）的。在3D扭曲中，在给定了深度和相机模型的情况下，可以首先将参考视图的像素从2D相机坐标反投影（back-project）到世界坐标中的点P。随后将该点P投影到目标视图（要产生的虚拟视图）。世界坐标中与同一对象的不同投影相对应的这两个像素可以具有相同的颜色强度。

视图合成单元44可以被配置为基于图像的对象（例如，像素、块、像素组、或块组）的深度值来计算对象的视差值，或者可以接收在编码图像数据54中被编码的视差值。视图合成单元44可以使用视差值来从第一视图50产生第二视图56，此举在观看者用一只眼观看第一视图50并用另一只眼观看第二视图56时产生了三维效果。视图合成单元44可以将第一视图50和第二视图56传送至图像显示器42以便显示给用户。

图像显示器42可以包括立体显示器或自由立体显示器。通常，立体显示器通过在观看者佩戴诸如护目镜（goggle）或眼镜之类的头戴式装置时显示两个图像来模拟三维，其中所述头戴式装置将一个图像引导到一只眼并将第二个图像引导到另一只眼。在一些实例中，通过使用例如偏振眼镜或滤光眼镜来同时地显示每一个图像。在一些实例中，以交替方式快速地显示这两个图像，并且眼镜或护目镜与显示器同步地、快速地交替地快门式关闭，从而导致仅将正确的图像显示给对应的眼睛。自由立体显示器不使用眼镜，而是可以直接将正确的图像引导至观看者的对应的眼睛。例如，自由立体显示器可以配有用于确定观看者的眼睛所在位置的相机以及用于将图像引导至观看者的眼睛的机构和/或电子设备。

视图合成单元44可以被配置为具有用于相对于观看者而言处于屏幕后方、屏幕上和屏幕前方的深度值。视图合成单元44可以被配置为具有用于将比特流54的图像数据中表示的对象的深度映射至视差值的功能。因此，视图合成单元44可以执行用于计算对象的视差值的多个功能之一。在基于3D处理信息52计算了第一视图50的对象的视差值之后，视图合成单元44可以从第一视图50和视差值产生第二视图56。

视图合成单元44可以被配置为具有用于在屏幕前方或后方的最大深度处显示对象的最大视差值。采用这种方式，视图合成单元44可以被配置为具有在零与最大正视差值和最大负视差值之间的视差范围。观看者可以调节这些配置来修改由目标设备44所显示的对象在屏幕前方或后方的最大深度。例如，目标设备40可以与远程控制设备或观看者可以操作的其他控制设备进行通信。该远程控制设备可以包括用户接口，其允许观看者控制显示对象的屏幕前方的最大深度和屏幕后方的最大深度。采用这种方式，观看者就能够调节图像显示器42的配置参数，以便改进观看体验。

通过将视图合成单元44配置为具有针对将对象在屏幕前方和屏幕后方进行显示的最大视差值，视图合成单元44就能够使用相对简单的计算来基于3D处理信息52计算视差值。例如，视图合成单元44可以被配置为具有将深度值映射至视差值的函数。所述函数可以包括在深度与对应视差范围内的视差值之间的线性关系，从而使得具有在会聚深度区间内的深度值的像素被映射至零深度值，而在屏幕前方最大深度处的对象被映射至最小（负）视差值从而被显示为在屏幕前方，并且由此被显示为在屏幕后方的在最大深度处的对象被映射至屏幕后方的最大（正）视差值。

在真实世界坐标的一个实例中，深度范围可以是例如[200,1000]，并且会聚深度距离可以是例如400左右，例如这是以厘米计的。由此，在屏幕前方的最大深度对应于200，并且在屏幕后方的最大深度对应于1000，会聚深度区间可以是例如[395,405]。然而，在真实世界坐标系中的深度值可能是无法获得的，或者可以被量化到一个较小的动态范围，该动态范围可以是例如一个8比特值（从0至255）。在一些实例中，这种具有从0至255的值的量化深度值可以在要存储深度图的情况中、要发送深度图的情况中、或在估计深度图的情况中使用。典型的基于深度图像的渲染（DIBR）过程可以包括：在计算视差之前，将低动态范围的量化深度图变换为在真实世界深度图中的图。注意：在一些技术中，较小的量化深度值对应于真实世界坐标中的较大的深度值。然而，在本发明的技术中，可以不必进行此变换；因此，可以不必知道真实世界坐标中的深度范围或从量化深度值到真实世界坐标中的深度值的变换函数。考虑一个示例性视差范围[-dis_n,dis_p]，当量化深度范围包括从d_min（其可以是0）到d_max（其可以是255）的值时，深度值d_min被映射至dis_p，且深度值d_max（其可以是255）被映射至-dis_n。注意：在本实例中dis_n是正的。假设会聚深度图区间是[d₀-δ,d₀+δ]，则在该区间中的深度值被映射至视差0。通常，在本发明中，短语“深度值”表示在[d_min,d_max]的较低的动态范围中的值。δ值可以被称为公差值（tolerance），并且不必在每个方向上都相同。就是说，可以用第一公差值δ₁和潜在的第二公差值δ₂来修改d₀，从而使得[d₀-δ₂,d₀+δ₁]可以表示可被全部映射至视差值0的深度值范围。

图2是示出视差处理单元24的各个组件的示例性安排的方框图。视差处理单元24可以用硬件、软件、固件或其任意组合来实现。当用软件和/或固件实现时，目标设备20可以包括用于执行软件的硬件，诸如，例如一个或多个处理器或处理单元。视差处理单元24的任意组件或全部组件可以在功能上进行集成。

在图2的实例中，视差处理单元24包括图像输入接口62，其用于从图像源接收包含第一视图50和第二视图56的立体图像对50和56。视差计算单元66可以计算包含第一视图50和第二视图56的立体图像对的像素的视差值，并可以将视差值存储为视差图。可选地，可以使用视差至深度变换单元68将视差图变换为深度图。输出接口70可以被配置为将立体图像对50和56的第一视图50和包含视差图或深度图之一的3D处理信息52输出至编码器26。

虽然图1和2的实例整体上描述了由源设备20处的视差处理单元24所实施的本发明的技术，但是与视差处理单元24在功能上等同的视差处理单元可以位于目标设备40处，或者在独立于源设备20和目标设备40的第三方设备中。在图1的一个可替换配置实例中，源设备20可以向目标设备40发送包含第一视图50和第二视图56的编码图像数据54，并且与视差处理单元24在功能上等同的视差处理单元可以在目标设备40处计算3D处理信息52。目标设备40可以将该3D处理信息52用于诸如图像精炼或调整用户偏好。

图3A-3C是分别示出了基于像素深度的正视差值、零视差值和负视差值的概念图。通常，为了产生三维效果，例如在屏幕上显示两个图像，并且要被显示在屏幕前方或后方的对象的像素分别具有正视差值或负视差值，而要被显示在屏幕的深度处的对象具有零视差值。在一些实例中，例如，当用户带着头戴式护目镜时，“屏幕”的深度可以反而对应于一个公共深度d₀。

图3A-3C的实例示出了屏幕82同时地或者快速地相继地显示左图像84和右图像86的实例。图3A示出了用于说明像素80A出现在屏幕82后方（或内部）的实例。在图3A的实例中，屏幕82显示左图像像素88A和右图像像素90A，其中左图像像素88A和右图像像素90A通常对应于同一对象并且由此具有类似或相同的像素值。在一些实例中，左图像像素88A和右图像像素90A的亮度值和色度值可以略微不同，从而进一步增强三维观看体验，例如，用于应对当从略微不同的角度观看一个对象时可能会发生的轻微的亮度变化或颜色差异。

在该实例中，在被屏幕82显示时，左图像像素88A的位置在右图像像素90A的左侧。就是说，在左图像像素88A和右图像像素90A之间具有正视差。假设视差值为d，并且左图像像素92A在左图像84中的水平坐标x处，其中左图像像素92A对应于左图像像素88A，右图像像素94A在右图像86中的水平位置x+d处，其中右图像像素94A对应于右图像像素90A。当用户的左眼聚焦在左图像像素88A上且用户的右眼聚焦在右图像像素90A上时，该正视差会导致观看者的眼睛在相对于屏幕82的后方的点处会聚，从而产生像素80A出现在屏幕82后面的立体效果。

左图像84可以对应于如图1和2所示的第一图像50。在另一个实例中，右图像86可以对应于第一图像50。为了计算图3A的实例中的正视差值，视图合成单元44可以接收左图像84以及左图像像素92A的深度值，其中该深度值指示了左图像像素92A在屏幕82后方的深度位置。视图合成单元44可以复制左图像84来形成右图像86，并改变右图像像素94A的值来匹配或相似于左图像像素92A的值。就是说，右图像像素94A可以具有与左图像像素92A相同或类似的亮度值和/或色度值。因此，对应于图像显示器42的屏幕82可以基本上同时地或快速地相继地显示左图像像素88A和右图像像素90A，从而产生像素80A出现在屏幕82后方的效果。

图3B示出了用于说明像素80B在屏幕82的深度处的实例。在图3B的实例中，屏幕82在同一位置显示左图像像素88B和右图像像素90B。就是说，在该实例中，在左图像像素88B与右图像像素90B之间具有零视差。假设左图像像素92B（其对应于屏幕82所显示的左图像像素88B）在左图像84中位于水平位置x处，右图像像素94B（其对应于屏幕82所显示的右图像像素90B）在右图像86中同样位于水平位置x处。

视图合成单元44可以确定左图像像素92B的深度值在深度d₀处，其等于屏幕82的深度或与屏幕82的深度相距一个很小的距离δ。因此，视图合成单元44可以为左图像像素92B分配零视差值。当从左图像84和视差值重建右图像86时，视图合成单元44可以将右图像像素94B的值保持为与左图像像素92B相同。

图3C示出了用于说明像素80C在屏幕82前方的实例。在图3C的实例中，屏幕82将左图像像素88C显示在右图像像素90C的右侧。就是说，在该实例中，在左图像像素88C与右图像像素90C之间具有负视差。因此，用户的眼睛可以会聚在屏幕82前方的位置处，从而产生了像素80C出现在屏幕82前方的立体效果。

视图合成单元44可以确定左图像像素92C的深度值在屏幕82前方的深度处。因此，视图合成单元44可以执行用于将左图像像素92C的深度映射至负视差值-d的函数。视图合成单元44随后可以基于左图像84和该负视差值来产生右图像86。例如，当产生右图像86时，假设左图像像素92C具有水平位置x，视图合成单元44可以将右图像86中在水平位置x-d处的像素（即，右图像像素94C）的值改变为左图像像素92C的值。

本发明的多个方面包括允许用户调节用户偏好，以便产生用户定制的3D视频。通过用户接口，用户可以输入表示用户偏好的值。基于用户所输入的值，可以产生用户偏好数据，并且该用户偏好数据可以用于修改定义效果的参数。用户能够控制的偏好类型的一个实例包括选择凸出效果的量。凸出效果的量与会聚平面相对于总深度范围的位置相关。会聚平面越靠近最小深度（假设深度值朝着观看者的位置增加），就能够感受到更大的凸出效果。用户偏好的另一个实例是选择基线。基线表示在两个相机中心（假设是针孔相机模型）之间的间隔。基线与人眼的间隔相关，而人眼的间隔针对不同人是不同的（例如，小孩具有较小的间隔）。

用户偏好的另一实例是选择深度范围，所述深度范围与要显示的最大正视差和负视差相关。用户偏好的另一实例是选择深度分布模型。在给定了用户所选择的最大深度范围的情况下，在场景中的真实深度范围的调整可以被线性映射或者遵从一个不同的分布，诸如对数分布、指数分布或截尾线性分布，或任何其他函数。不仅可以修改深度范围分布，而且还可以修改空间深度分布，例如，以便产生一个平均凹入表面深度分布，或者凸出分布，或者任何其他空间分布函数。

用户偏好的另一实例是选择在深度不连续性中的锐化程度（degree ofsharpness）。可以以这样的方式来处理深度图或视差图：即，使得能够根据用户偏好来平滑或锐化深度不连续性。用户偏好的另一实例是选择主眼。根据用户的主眼，可以在原始图像的左侧或右侧渲染所合成的图像。经常希望为主眼保持原始图像。

用于调节用户偏好的控制函数的粒度可以基于值的量程。用户可以从任何跟定参数的最小值到最大值中选择一个期望值。例如，用户能够输入一个在1和10之间、1和20之间或任意其他期望量程的值，其中该值表示了用户期望的凸出效果量，1表示较小的凸出效果，更高的数值表示更大的凸出效果。基于用户输入的值，可以修改凸出效果参数。在指定主眼的情况下，例如，用户可以指定左眼或右眼。如果用户指定了右眼，则将主眼参数设置为右眼，或者如果用户指定了左眼，则能够将主眼参数设置为左眼。基于主眼参数的设置，将会使用第一视图或第二视图其中之一连同视差处理信息一起来渲染3D视频。

所述选择还可以基于模式选择，其中，为一个特定模式指定任意给定数量的可调参数和特定值。例如，模式1可以为一个包括5个参数的组指定用户输入值，而模式2可以为这5个参数指定不同的值。可以基于先前输入的用户偏好数据来保存这些不同的模式，或者可以基于共同希望的参数值或确信在彼此结合使用时能够得到高质量视频的参数值来预编程这些不同的模式。用户调节还可以应用于多视图显示器。在该特定实例中，每个视图都可以被独立调节，这在多用户观看条件下有着特殊的优点。在这种情况下，每个用户可以控制其特定视图的观看条件。

图4示出了根据本发明，被配置为基于用户偏好数据来调节所感知的3D效果的示例性***。如以下更为详细论述的，图4中所示的各个组件可以分布在图1中的源设备20和目标设备40中，或者可以在图1中未示出的外部设备中。在图4所示的示例性***中，设备420的组件可以在诸如图1的源设备20的设备中，而设备440的组件可以在诸如图1的目标设备40的设备中。图4的***包括3D内容源421，其向3D视频控制模块422提供3D内容（特别是立体内容）。该内容可以在本地存储为文件，以流方式来自于该设备外部的源，或者由在该设备中内嵌的或连接到该设备的多视图图像/视频相机提供。

图4还包括3D用户接口模块423，其被配置为捕获并处理用户的输入。该捕获可以基于多种用户输入介质中的任一种，诸如触觉介质、视觉介质或音频介质。例如，用户可以经由图形用户接口（GUI）、硬键接口、下拉菜单、拨号盘（dial）或其他接口来指定特定的数字值。用户输入的数值可以指定用户偏好参数的值或者对用户偏好参数的修改。经由图形用户接口（GUI）、硬键接口、下拉菜单、拨号盘或其他接口，用户还可以指定将用户偏好参数的值增加或降低一个特定量。在一些示例性***中，3D用户接口模块可以是响应于语音命令的语音激活式接口，或者是被配置为检测运动的运动激活式接口。输入命令的处理结果被作为用户偏好数据发送至3D视频控制模块422。根据用户偏好数据，3D视频控制模块422可以在观看会话的初始化期间或在内容正在被播放期间调节3D观看偏好。在一个配置中，3D视频控制模块422可以实时地处理来自3D用户接口模块423的用户偏好数据。

图4所示的实例***还包括无线主机424，其被配置为经由无线信道454与块440的组件进行对接。无线主机424从3D视频控制模块422接收基于用户偏好数据进行修改后的3D内容，并根据诸如WiFi或本领域公知的任何其他传输协议将修改后的3D内容发送至设备440的无线客户机441。在一个特定实施例中，还可以将用户偏好数据与修改后的3D内容一起进行发送，并由设备440处的3D视频控制模块分别进行处理。

设备440处的3D显示器442可以通过无线客户机441接收3D内容。无线客户机441可以嵌入在3D显示器442中或者在3D显示器442外部并经由诸如HDMI或显示端口接口之类的接口连接。在一个特定方面，3D视频控制模块422的特定功能也可以嵌入到3D显示器442中。

在一个示例性***中，设备420的功能可以包含在蜂窝电话、智能电话、笔记本电脑、平板电脑、移动媒体播放器或能够经由通信信道传送图像和/或视频信息的任何无线设备中。设备440的功能可以包含在具有3D功能的电视中或连接到具有3D功能的电视的机顶盒中。另外，尽管图4的实例是用无线通信信道进行描述的，但是可以设想在一些配置中，通信信道454可以是有线通信信道。

图5示出了3D视频控制模块的更为详细的版本，该3D视频控制模块诸如为图4的视频控制模块422。然而，如先前所述的，3D视频控制模块522的全部或部分功能可以分布在源设备、目标设备或第三方设备之间。3D视频控制模块522从3D视频内容源510接收3D视频内容。3D视频内容可以从诸如设备存储器之类的本地源接收，或者可以诸如经由与外部视频源的无线或有线连接而从外部接收。3D视频内容源510可以包括视频编码器511，以便在将3D视频内容发送至3D视频控制模块522之前对3D视频内容进行编码或解码。示例性的3D视频内容源510包括多视图相机处理块512，其被配置为捕获并处理相同场景的多个视图。在可替换的配置中，3D内容源的内容可以由计算机产生，以用于特定目的，例如游戏。通常，3D内容源510可以提供以上结合图1的图像源22所论述的全部相同类型的图像数据。

3D视频控制模块522包括视图合成器530，其被配置为基于所接收的3D内容来渲染合成的3D图像。视图合成器530包括视差估计模块531，其被配置为估计在使用立体设置所获取的任意图像对之间的视差，以便产生视差图。视差估计模块531在功能上可以类似于以上结合图1和2描述的视差处理单元24。视图合成器530还包括视差后端处理模块532，其被配置为根据从3D用户接口模块523接收的用户偏好数据来修改由视差估计模块531产生的视差图。视图合成器530还包括渲染引擎533，其被配置为基于视差信息和用户偏好来渲染3D图像。

3D用户接口模块523可以将用户偏好数据发送至3D视频控制模块522。在一个实例中，用户偏好数据指定在渲染3D内容时使用左图像和右图像中的哪一个。例如，如果3D用户偏好数据指定左图像，则渲染引擎533就能够基于原始左图像和视差图来渲染3D内容，而如果3D用户偏好数据指定右图像，则渲染引擎533就能够基于原始右图像和视差图来渲染3D内容。特定的观看者倾向于依赖于他们的右眼来处理特定类型的位置信息，而其他人则倾向于依赖于他们的左眼。基于某个特定人最依赖于哪只眼睛，即哪只眼睛是他们的主眼，可以影响他们如何可视化3D内容。因此，本发明的多个方面包括用于允许用户指定要将左图像和右图像中哪一个用于渲染，从而使得用户能够确定左图像和右图像中哪一个产生他们所希望的3D内容的***。

在另一实例中，3D用户接口模块523可以向3D视频控制模块522发送用户偏好数据，其包括新的深度范围，或者包括对当前深度范围的修改。所述深度范围指示了能够为之渲染图像数据的、在屏幕前方的最大深度以及在屏幕后方的最大深度。对于第一实例，按照厘米计量，当前深度范围可以是1200，其中在屏幕前方的最大深度为200，在屏幕后方的最大深度为1000；或者在第二实例中，当前深度范围可以是1200，其中在屏幕前方的最大深度为600，在屏幕后方的最大深度为600。响应于从3D用户接口模块523接收到包含对深度范围的修改的用户偏好数据，3D视频控制模块522可以将深度范围减小一个量，诸如10%。如果用户偏好数据并未指定希望在屏幕前方有较大减小还是在屏幕后方有较大减小来减小深度范围，则3D视频控制模块522可以将深度范围在屏幕前方减小10%，并且在屏幕后方也减小10%，从而使得对于所述第一实例的新的总深度范围为1080，其中在屏幕前方分配140，在屏幕后方分配940。对于所述第二实例，新的总深度范围也会是1080，但是在屏幕前方分配540，在屏幕后方分配540。

在一些实现方式中，用户可以指定仅增加或减少深度范围中为屏幕前方分配的部分，或者仅增加或减少深度范围中为屏幕后方分配的部分。例如，如果用户偏好数据指定将深度范围中为屏幕前方分配的部分减少10%，则在第一实例中，新的总深度范围会被调整为1180，其中为屏幕前方分配180，为屏幕后方分配100，或者在第二实例中，新的总深度范围会被调整为1140，为屏幕前方分配540，为屏幕后方分配600。例如，仅修改深度范围中为屏幕前方分配的部分可以是用于调节用户所体验的凸出效果的量的一种方式。如以下将会描述的，本发明还设想了用于调节用户所体验的凸出效果的量的其他方式。

为了修改3D内容的深度范围，视差估计模块531可以线性地将深度图中的每个深度值投影至一个新的深度值，从而产生一个修改的深度图。基于该新的深度图可以产生新的视差图，并且基于该的视差图，渲染引擎533可以根据用户偏好来产生3D内容。增加或减小深度范围可以改善观看者对所渲染的3D内容的感知度，并且还可以提高观看者的舒适度，例如这是由于减小了眼睛的过度疲劳。

在另一个实例中，3D用户接口模块523可以将用户偏好数据发送至3D视频控制模块522，以改变深度分布模式。例如，3D用户接口模块523可以发送包含非均匀的新深度范围或者对于当前深度范围的非均匀修改的用户偏好数据，以便创建凸出或凹入效果。例如，使得远离图像中心的像素深度范围减小可以产生凹入效果，而使得远离图像中心的像素深度范围增加可以产生凸出效果。为了产生凸出或凹入效果，可以采用上述方式来改变深度范围，但是各个像素的深度范围可以是不同的。例如，为了产生凸出效果，中心像素可以具有深度范围1200，而边界像素可以具有深度范围1000。在中心与边界之间的像素可以具有在1000至1200之间的深度范围，这取决于这些像素与图像中心的距离。相反地，为了产生凹入效果，中心像素处的像素可以具有深度范围1000，而图像边界处的像素可以具有深度范围1200。

在另一个实例中，3D用户接口模块523可以向3D视频控制模块522发送包含新的基线或新的凸出效果量或对当前基线或凸出效果量的修改的用户偏好数据。在接收到用户偏好数据之后，视差后端处理模块532可以根据以下公式修改视差图：

d_{synth} = b_{d} f (\frac{1}{z_{c}} - \frac{1}{2}) - - - (2)

其中，d_synth是像素的修改的视差值；b_d是基线，即在两个相机中心之间的间隔，其按像素计算；Z_c是从相机至会聚平面的距离；Z是像素从相机起的深度；f是相机的焦距。响应于接收到指示凸出效果量要增加的用户偏好数据，视差后端处理模块532可以减小Z_c的值，并基于该新的Z_c的值为每个像素确定新的视差值。响应于接收到指示凸出效果量要减小的用户偏好数据，视差后端处理模块532可以增加Z_c的值，并基于该新的Z_c的值为每个像素确定新的视差值。基于修改的深度图，渲染引擎533可以根据用户的偏好来渲染3D内容。增加或减少凸出效果的量可以改善观看者对所渲染的3D内容的感知度，并且还可以提高观看者的舒适度，例如这是由于减小了眼睛的过度疲劳。

基于公式1，视差后端处理模块532还可以调节基线。响应于接收到指示应该减小基线的用户偏好数据，视差后端处理模块532可以减小b_d的值并基于新的b_d的值为每个像素确定新的视差值。响应于接收到指示应该增加基线的用户偏好数据，视差后端处理模块532可以增加b_d的值并基于新的b_d的值为每个像素确定新的视差值。基于修改的深度图，渲染引擎533可以根据用户的偏好来渲染3D内容。不同的观看者在其眼睛之间具有不同的间距量，并且因此不同的观看者对于所渲染的3D内容会偏好不同的基线。

3D视频控制模块522还包括3D后端处理块541，其被配置为根据其他用户偏好数据或根据无线信道容量来修改合成的图像。作为其他用户偏好数据的一个实例，3D用户接口模块523可以向3D视频控制模块522发送用于基于3D内容的深度值来锐化或平滑3D内容的多个部分的用户偏好数据。例如，3D后端处理块541可以通过使用诸如高通滤波之类的边缘检测技术来锐化或平滑图像或图像的部分，以便识别图像中的对象转变（transition），并且修改在所识别的与对象转变对应的像素处的像素值，诸如色度和亮度值。例如，为了强调特定的对象转变，在所识别的对象转变处的像素值之间的差异可以被增加（即，锐化），或者可以被减小（即，平滑）。在一些实现方式中，3D后端处理块541可以执行基于深度的锐化或基于深度的平滑，其中，对像素值的修改可以是像素深度值的函数。基于深度的锐化和基于深度的平滑可以由用户用于例如仅锐化屏幕前方的图像或者仅平滑屏幕后方的图像。基于深度的锐化和基于深度的平滑可以通过使得观看者能够通过在特定深度处进行锐化来对对象进行强调，或者通过在特定深度处进行平滑来对对象进行弱化（deemphasize）从而改善用户体验。

例如，在针对无线传输而进行压缩时，合成的图像可以被平滑（低通滤波）或者减小分辨率，从而获得更低的比特率。这是基于以下事实的：HVS容忍在其中一个图像中的差错，尤其是在该图像是用非主眼可视化的那个图像时。3D视频控制模块522还包括3D视频编码器542，其被配置为对两个或更多个视图进行编码以产生包含全部视图的信息的合并图像。例如，3D视频编码器542可以基于H.264/AVC-修改1：多视图视频编码（MVC）或用于包含全部视图的信息的合并图像的H.264/AVC，来对该合并图像进行编码。可以使用原始视图和经过后端处理的合成视图的边靠边配置或任何交错配置来获得合并图像。合并图像可以保持全部视图的原始分辨率，或者针对任意数量的合成视图来减小分辨率。

图6示出了根据本发明的，被配置为基于用户偏好数据来调节可感知的3D效果的示例性***。图6的***类似于图4的***，但是3D视频控制模块422在图4中显示为完全在设备420中，而在图6中等同于3D视频控制模块422的功能分布在设备620的3D视频控制模块622A和设备640的3D视频控制模块622B中。在图6所示的示例性***中，设备620的组件可以在诸如图1的源设备20的设备中，而设备640的组件可以在诸如图1中的目标设备40的设备中。图6的***包括3D内容源621，其向3D视频控制模块622A提供3D内容（特别是立体内容）。该内容可以在本地存储为文件，以流方式来自于该设备外部的源，或者由在该设备中内嵌的多视图图像/视频相机提供。

图6还包括3D用户接口模块623，其被配置为捕获并处理用户的输入。该捕获可以基于任何触觉手段、视觉手段或音频手段。对输入命令的处理结果被作为用户偏好数据发送至3D视频控制模块622A。根据用户偏好数据，3D视频控制模块622A可以在观看会话的初始化期间或在内容正在被播放期间调节3D观看偏好。3D视频控制模块622A可以实时地处理来自3D用户接口模块623的用户偏好数据。

图6所示的示例性***还包括无线主机624，其被配置为经由无线信道654与设备640的组件进行对接。无线主机624从3D视频控制模块622A接收3D内容，并根据诸如WiFi或其他传输协议之类的传输协议将3D内容发送至设备640的无线客户机641。在一个特定实施例中，还可以将用户偏好数据与3D内容一起进行发送，并由设备640处的3D视频控制模块进行处理。

设备640处的3D显示器642可以通过无线客户机641接收3D内容。无线客户机641可以嵌入在3D显示器642中或者在3D显示器642外部并经由诸如HDMI或显示端口接口之类的接口连接。在一个特定方面，3D视频控制模块622B的特定功能也可以嵌入到3D显示器642中。

在图6的实例中，3D视频控制模块622A和B的功能在设备620和640之间划分，从用户接口模块623接收的用户偏好数据可以从包含设备620的设备发送至包含设备640的设备。在这种配置中，包含设备620的设备充当用于基于用户偏好数据来调节显示器的3D效果的远程控制器。通信信道可以是诸如蓝牙或Wi-Fi的任何可用的无线电技术。用户偏好数据的传递可以与用于3D内容的传输信道相同的频带中，或者在独立的频带中。可以在将3D内容以流形式传送至显示器之前或者在正在以流形式传输时设置3D用户偏好数据。

在图6的实例中，3D视频控制模块622A可以包括视差估计模块和3D视频编码器，其类似于参考图5所描述的视差估计模块531和3D视频编码器542。3D视频控制模块622A的视频编码器可以根据公知的编码标准编码并发送例如原始图像和视差图。3D视频控制模块622A的视频编码器还可以编码并发送从用户接口模块623接收的用户偏好数据。

在图6的实例中，3D视频控制模块622B可以包括视差后端处理模块、渲染引擎和3D后端处理块，其类似于参考图5所描述的视差后端处理模块532、渲染引擎533和3D后端处理块541。根据原始图像、视差图和用户偏好数据，视差后端处理模块、渲染引擎和3D后端处理块可以采用与以上结合图1、2和5所述的方式相同的方式来产生3D图像。图6的***也可以执行以上结合图5所述的用户偏好数据以及基于用户偏好数据的视频渲染调节。例如，以上结合图5的3D视频控制模块522所描述的对主眼选择、深度范围、深度分布模式、基线、凸出效果的量以及锐化程度的修改也可以由图6的3D视频控制模块622B来执行。

在一个示例性***中，设备620的功能可以包含在蜂窝电话、智能电话、笔记本电脑、平板电脑、或能够经由通信信道传送图像和/或视频信息的任何无线设备中。设备640的功能可以包含在具有3D功能的电视中或连接到具有3D功能的电视的机顶盒中。另外，尽管图6的实例是用无线通信信道进行描述的，但是可以设想对于通信信道654可以使用有线通信信道。

在一个实例中，使用RTSP网络控制协议，3D用户偏好数据可以是使用SETUP/SET-PARAMETER方法的请求的一部分，其可以在任何时候进行更新。在另一个实例中，使用SOAP（简单接入对象协议）和HTTP应用协议，可以采用动作命令的方式来更新3D用户偏好，该动作命令更新在设备描述中所描述的设备参数，其中，所述设备是具有3D视频控制模块622B的功能的3D显示器。

图7示出了使用本发明的多个方面的方法的流程图。将参考图1-6来描述该方法。在诸如3D视频控制模块422、522或622A的3D视频控制模块处，接收用于3D内容的呈现的用户偏好数据（710）。在诸如视差估计模块531或视差处理单元24的视差估计模块处，可以产生、存储和更新基于与3D图像内容相关联的视差值的视差图（720）。诸如视差后端处理模块532的视差后端处理模块基于用户偏好数据修改视差图（730）。诸如3D渲染引擎533的渲染引擎基于修改的视差图产生3D视频（740）。

图8示出了根据本发明的，被配置为基于用户偏好数据调节所感知的3D效果的示例性***。图8的***包括3D内容源810，其向3D视频控制模块822提供3D内容（尤其是立体内容）。该3D内容可以在本地存储为文件，以流方式来自于该设备外部的源，或者可以由在该设备中内嵌的多视图图像/视频相机提供。对于本地存储的文件或以流方式来自于外部源的视频，3D内容源810可以包括视频解码器811，其在将3D内容发送至3D视频控制模块822之前对3D内容进行解码。对于从嵌入的3D相机获得的多视图图像/视频数据，3D内容源812可以包括立体相机处理块812，用于在将所获取的3D内容发送至3D视频控制模块822之前对所获取的3D内容进行处理。无论是来自于视频解码器811还是立体相机处理块812，向3D视频控制模块822发送的3D内容通常将会是立体图像对（视图1和视图2）形式的。3D视频控制模块822基于该立体图像对来产生合成3D图像。

3D视频控制模块822包括视图合成器830，其被配置为基于所接收的3D内容（视图1和视图2）来渲染合成3D图像。视图合成器830包括视差估计模块831，其被配置为基于视图1和视图2来确定视差图。视差估计模块831在功能上可以类似于以上结合图1和2所述的视差处理单元24。视图合成器830还包括基于深度图像的渲染（DIBR）引擎833，其被配置为基于从视差信息获得的深度信息以及视图1和视图2中的一个或二者来渲染合成的3D图像。视图合成器830还包括孔洞填充模块836，其被配置为精炼DIBR835所产生的3D图像。由孔洞填充模块836执行的精炼可以检测并纠正在合成的3D图像中的伪像。所述伪像例如可以是由视差估计模块831执行的视差估计中的错误所造成的或由DIBR836执行的渲染中的错误所造成的。

3D视频控制模块822还包括3D后端处理块841，其被配置为修改后合成的3D图像。例如，在为了无线传输而进行压缩时，合成的图像可以被平滑（低通滤波）或减小分辨率，以便获得较低的比特率。如以上更为详细地描述的，3D视频控制模块822可以被配置为基于用户偏好数据修改接收到的3D内容和/或合成的3D图像。以上结合图5所描述的用户偏好数据以及基于用户偏好数据对视频渲染的调节还可以由图8的***执行。例如，以上结合图5的3D视频控制模块522所描述的对主眼选择、深度范围、深度分布模式、基线、凸出效果的量以及锐化程度的修改也可以由图8的3D视频控制模块822来执行。

合成的3D图像可以在嵌入的3D显示器842A上显示，或者可替换地，合成的3D图像可以由立体视频编码器850进行编码以便传输至外部3D显示器842B。立体视频编码器850可以包括多个编码模块。例如，第一编码模块851可以被配置为对视图1和视图2两者以及深度信息进行编码，以便传输至外部3D显示设备842B，或者对视差信息以及视图1和视图2中的仅一个进行编码。例如，第二编码器模块可以被配置为仅编码视图1和视图2或视图1的原始版本和视图2的修改版本。可替换地，第二编码器模块852可以对视图合成器830输出的合成的3D图像或3D后端处理块841输出的合成的3D图像进行编码。

3D视频控制模块822还包括3D后端处理块841，其被配置为根据其他用户偏好或根据无线信道容量来修改合成的图像。例如，在为了无线传输而进行压缩时，合成的图像可以被平滑（低通滤波）或减小分辨率，以便获得较低的比特率。3D视频控制模块522还包括3D视频编码器542，其被配置为对两个或更多个视图进行编码以便产生包含全部视图的信息的合并图像。例如，3D视频编码器542可以基于H.264/AVC-修改1：多视图视频编码（MVC）或用于包含全部视图的信息的合并图像的H.264/AVC，来对合并图像进行编码。可以使用原始合成视图和经过后端处理的合成视图的边靠边配置或任何其他交错配置来获得合并图像。合并图像可以保持全部视图的原始分辨率，或者可以减小任意数量的合成视图的分辨率。图1、2、4、5、6和8中所述的模块、单元、块或其他组件可以实现为硬件、软件、固件或其任意组合。

本文所述的技术可以实现为硬件、软件、固件或其任意组合。例如，所述技术的各个方面可以在一个或多个微处理器、DSP、ASIC、FPGA或任何其他等效的集成或分立逻辑电路以及上述组件的任何组合中实现，在编码器、膝上型、台式或手持式计算机、无线移动手机、机顶盒或其他设备中实现。术语“处理器”或“处理电路”通常可以表示独立于其他逻辑电路或与其他逻辑电路组合的任何上述逻辑电路、或者其他任何其他等效电路。

被描述为模块或组件的任何特征可以在集成逻辑器件中一起实现，或者被实现为多个分立但交互操作的逻辑器件。如果实现为软件，则所述技术可以至少部分地由包含程序代码的非瞬态计算机可读数据存储介质执行，所述程序代码当被执行时，实现本发明中所描述的一个或多个方法。该非瞬态计算机可读数据存储介质可以形成计算机程序产品的一部分。该非瞬态计算机可读介质可以包括随机存取存储器（RAM），诸如同步动态随机存取存储器（SDRAM）、只读存储器（ROM）、非易失性随机存取存储器（NVRAM）、电可擦除可编程只读存储器（EEPROM）、FLASH存储器、磁性或光学数据存储介质等等。另外或可替换地，所述技术可以至少部分地由非瞬态计算机可读通信介质实现，所述非瞬态计算机可读通信介质携带或传递采用指令或数据结构的形式且可由计算机访问、读取和/或执行的程序代码。术语“非易失性”可以表示存储介质并不体现为载波或传播信号。然而，术语“非易失性”不应被解释为表示存储介质是不可移动的。作为一个实例，存储介质可以从一个设备移除并被移动到另一设备。作为另一实例，存储介质可以***一个设备中。在特定实例中，非瞬态存储介质可以存储可随时间而改变的数据（例如在RAM中）。

程序代码可以由一个或多个处理器执行，所述一个或多个处理器诸如为一个或多个数字信号处理器（DSP）、通用微处理器、专用集成电路（ASIC）、现场可编程门陈列（FPGA）或其他等效的集成或分立逻辑电路。因此，本文所使用的术语“处理器”可以表示适合于实现本文所述技术的任意上述结构或任意其他结构。另外，在一些方面，本文所述的功能可以在被配置用于编码和解码的专用软件模块或硬件模块中提供，或者合并在组合视频编解码器（CODEC）中。

Claims

1.一种***，包括：

用户接口模块，其被配置为接收用于3D图像内容的呈现的用户偏好数据；

视差估计模块，其被配置为维护基于与所述3D图像内容相关联的视差值的视差图；

视差处理模块，其被配置为通过基于所述用户偏好数据修改所述视差图来产生修改的视差图。

2.如权利要求1所述的***，其中，所述用户偏好数据包括指示对突出效果参数的修改的用户输入值。

3.如权利要求1所述的***，其中，所述用户偏好数据包括用于修改基线参数的用户输入值。

4.如权利要求1所述的***，其中，所述用户偏好数据包括用于修改深度范围参数的用户输入值。

5.如权利要求1所述的***，其中，所述用户偏好数据包括用于选择主眼参数的用户输入值。

6.如权利要求1所述的***，其中，所述用户偏好数据包括用于修改锐化程度参数的用户输入值。

7.如权利要求1所述的***，其中，所述用户偏好数据包括用于选择深度分布参数的用户输入值。

8.如权利要求1所述的***，其中，所述视差处理模块被配置为经由无线通信从所述用户接口模块接收所述用户偏好数据。

9.如权利要求1所述的***，进一步包括：

渲染模块，其被配置为基于所修改的视差图来渲染3D视频。

10.如权利要求9所述的***，进一步包括：

发射机，其被配置为从包括所述用户接口模块的源设备向包括所述渲染模块的目标设备发送所述用户偏好数据。

11.如权利要求9所述的***，进一步包括：

发射机，其被配置为从包括所述用户接口模块的源设备向包括所述渲染模块的目标设备发送所修改的视差图。

12.一种方法，包括：

接收用于3D图像内容的呈现的用户偏好数据；

存储基于与所述3D图像内容相关联的视差值的视差图；

基于所述用户偏好数据来修改所述视差图；

基于所修改的视差图来产生3D视频。

13.如权利要求12所述的方法，其中，所述用户偏好数据包括用于修改突出效果参数的用户输入值。

14.如权利要求12所述的方法，其中，所述用户偏好数据包括用于修改基线参数的用户输入值。

15.如权利要求12所述的方法，其中，所述用户偏好数据包括用于修改深度范围参数的用户输入值。

16.如权利要求12所述的方法，其中，所述用户偏好数据包括用于选择主眼参数的用户输入值。

17.如权利要求12所述的方法，其中，所述用户偏好数据包括用于修改锐化程度参数的用户输入值。

18.如权利要求12所述的方法，其中，所述用户偏好数据包括用于选择深度分布参数的用户输入值。

19.如权利要求12所述的方法，其中，所述视差处理模块被配置为经由无线通信从所述用户接口模块接收所述用户偏好数据。

20.如权利要求12所述的方法，其中，所述接收由源设备执行，并且所述产生由目标设备执行。

21.如权利要求12所述的方法，进一步包括：

基于所修改的视差图来渲染3D视频。

22.如权利要求21所述的方法，进一步包括：

从执行所述接收的源设备向执行所述渲染的目标设备发送所述用户偏好数据。

23.如权利要求21所述的方法，进一步包括：

从执行所述接收的源设备向执行所述渲染的目标设备发送所修改的视差图。

24.一种装置，包括：

用于接收用于3D图像内容的呈现的用户偏好数据的模块；

用于存储基于与所述3D图像内容相关联的视差值的视差图的模块；

用于基于所述用户偏好数据来修改所述视差图的模块；

用于基于所修改的视差图来产生3D视频的模块。

25.如权利要求24所述的装置，其中，所述用户偏好数据包括用于修改突出效果参数的用户输入值。

26.如权利要求24所述的装置，其中，所述用户偏好数据包括用于修改基线参数的用户输入值。

27.如权利要求24所述的装置，其中，所述用户偏好数据包括用于修改深度范围参数的用户输入值。

28.如权利要求24所述的装置，其中，所述用户偏好数据包括用于选择主眼参数的用户输入值。

29.如权利要求24所述的装置，其中，所述用户偏好数据包括用于修改锐化程度参数的用户输入值。

30.如权利要求24所述的装置，其中，所述用户偏好数据包括用于选择深度分布参数的用户输入值。

31.如权利要求24所述的装置，其中，所述视差处理模块被配置为经由无线通信从所述用户接口模块接收所述用户偏好数据。

32.如权利要求24所述的装置，进一步包括：

用于基于所修改的视差图来渲染3D视频的模块。

33.如权利要求32所述的装置，进一步包括：

用于从包括所述用于接收的模块的源设备向包括所述用于渲染的模块的目标设备发送所述用户偏好数据的模块。

34.如权利要求32所述的装置，进一步包括：

用于从包括所述用于接收的模块的源设备向包括所述用于渲染的模块的目标设备发送所修改的视差图的模块。

35.一种有形计算机可读存储介质，其存储了一个或多个指令，所述指令当被一个或多个处理器执行时使得所述一个或多个处理器：

接收用于3D图像内容的呈现的用户偏好数据；

存储基于与所述3D图像内容相关联的视差值的视差图；

基于所述用户偏好数据来修改所述视差图；

基于所修改的视差图来产生3D视频。

36.如权利要求35所述的计算机可读存储介质，其中，所述用户偏好数据包括用于修改突出效果参数的用户输入值。

37.如权利要求35所述的计算机可读存储介质，其中，所述用户偏好数据包括用于修改基线参数的用户输入值。

38.如权利要求35所述的计算机可读存储介质，其中，所述用户偏好数据包括用于修改深度范围参数的用户输入值。

39.如权利要求35所述的计算机可读存储介质，其中，所述用户偏好数据包括用于选择主眼参数的用户输入值。

40.如权利要求35所述的计算机可读存储介质，其中，所述用户偏好数据包括用于修改锐化程度参数的用户输入值。

41.如权利要求35所述的计算机可读存储介质，其中，所述用户偏好数据包括用于选择深度分布参数的用户输入值。

42.如权利要求35所述的计算机可读存储介质，其中，所述视差处理模块被配置为经由无线通信从所述用户接口模块接收所述用户偏好数据。

43.如权利要求35所述的计算机可读存储介质，其中，所述接收由源设备执行，并且所述产生由目标设备执行。

44.如权利要求35所述的计算机可读存储介质，其存储了一个或多个附加指令，所述附加指令当被所述一个或多个处理器执行时使得所述一个或多个处理器：

基于所修改的视差图来渲染3D视频。

45.如权利要求44所述的计算机可读存储介质，其存储了一个或多个附加指令，所述附加指令当被所述一个或多个处理器执行时使得所述一个或多个处理器：

46.如权利要求44所述的计算机可读存储介质，其存储了一个或多个附加指令，所述附加指令当被所述一个或多个处理器执行时使得所述一个或多个处理器：