CN101204097B - 使用2d图像和深度数据的3d图像传送 - Google Patents

使用2d图像和深度数据的3d图像传送 Download PDF

Info

Publication number
CN101204097B
CN101204097B CN2006800224044A CN200680022404A CN101204097B CN 101204097 B CN101204097 B CN 101204097B CN 2006800224044 A CN2006800224044 A CN 2006800224044A CN 200680022404 A CN200680022404 A CN 200680022404A CN 101204097 B CN101204097 B CN 101204097B
Authority
CN
China
Prior art keywords
component
passage
color component
combined
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800224044A
Other languages
English (en)
Other versions
CN101204097A (zh
Inventor
E·P·芬克
H·E·W·比克斯
R·布拉斯彭宁
R·弗伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101204097A publication Critical patent/CN101204097A/zh
Application granted granted Critical
Publication of CN101204097B publication Critical patent/CN101204097B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Color Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

公开了一种图像数据和相关深度数据的组合交换的方法。该方法包括：转换表示图像数据的包括预定数量的输入色彩分量(R、G、B)的输入图像信号成包括亮度分量和色度分量的输出图像信号；组合输出信号和相关的深度数据成组合信号，它包括亮度分量、色度分量和基于深度数据的深度分量(D)；以及在数量等于输入色彩分量(R、G、B)的预定数量的通道(108-112)上传送组合的信号。

Description

使用2D图像和深度数据的3D图像传送
技术领域
本发明涉及图像数据和相关深度数据的组合交换的方法。
本发明还涉及用于图像数据和相关深度数据的组合交换的发射单元。
本发明还涉及包括这种发射单元的图像处理设备。
本发明还涉及用于图像数据和相关深度数据的组合交换的接收单元。
本发明还涉及包括这种接收单元的多视图显示设备。
背景技术
由于显示设备的引入，逼真的3-D显示设备已经成为许多人的梦想。应该导致这种显示设备的众多原理已经被研究。部分原理试图在某个体积中创建逼真的3-D对象。例如，如2003年SID’03学报中，第1531-1533页，在A.Sullivan的文章“Solid-state Multi-planarVolumetric Display”所公开的显示设备中，借助快速投影仪，视觉数据在平面阵列上被取代。每个平面是可切换的漫射体(diffuser)。如果平面数目足够多，则人脑将图片结合并观察到逼真的3-D物体。该原理使得观看者能够在一定范围内环顾该物体。在这种显示设备中，所有的物体都是(半)透明的。
很多其他人尝试制造仅仅基于双目视差的3-D显示设备。在这些***中，观看者的左右眼感知另一个图像，从而观看者感知到3-D图像。这些概念的综述可以如下书籍中找到：“Stereo Computer Graphicand Other True 3-D Technologies”D.F.Mc Allister(Ed.)，PrincetonUniversity Press，1993。第一种原理利用与例如CRT相结合的快门眼镜(shutter glasses)。如果显示奇数帧，则对左眼挡住光，而如果显示偶数帧，则对右眼挡住光。
不需要附加工具的显示3-D的显示设备被称作自动立体(auto-stereoscopic)显示设备。
第一种不需要眼镜的显示设备包括屏障，以便创建对准观看者左右眼的光锥。该锥体例如对应于奇数和偶数的子像素列。如果观看者定位在正确的点上的话，通过用适当的信息对这些列进行寻址，观看者在他的左眼和右眼中获得不同的图像，并且能够感知3-D图片。
第二种不需要眼镜的显示设备包括透镜阵列，以便将奇数和偶数子像素列的光成像到观看者的左右眼上。
上述不需要眼镜的显示设备的缺点在于，观看者必须保持在固定位置上。为了引导观看者，已经提出了用于向观看者显示他正处于正确位置的指示器。例如参见美国专利US5986804，其中屏障板与红色和绿色的发光二极管相结合。在观看者处于正确位置的情况下，他看到绿色光，否则他看到红色光。
为了使观看者不必坐在固定的位置，已经提出了多视图自动立体显示设备。例如参见美国专利US60064424和US20000912。在US60064424和US20000912所揭示的显示设备中使用了倾斜式双凸透镜(lenticular)，由此该双凸透镜的宽度大于两个子像素。以这种方式存在几个彼此相邻的图像，并且观看者具有向左边和向右边移动的一些自由度。
为了在多视图显示设备上产生3-D印象，必须呈现来自不同虚拟视点的图像。这就需要多个输入视图(views)或一些3-D或深度信息存在。该深度信息可以是已记录的，从多视图照相机***产生的，或从常规的2-D视频材料产生的。为了从2-D视频产生深度信息，可以应用几种类型的深度提示(cue)：诸如从运动、聚焦信息、几何形状和动态封闭所得到的结构。目标是产生浓密的深度地图，即每个像素一个深度值。该深度地图随后用于呈现多视图图像，以便为观看者提供深度印象。在P.A.Redert、E.A.Hendriks和J.Biemond在Proceedings  of International Conference on Acoustics，Speech，and Signal Processing，Vol.IV，ISBN 0-8186-7919-0，第2749-2752页，IEEE Computer Society，Los Alamitos，California，1997中的文章“Synthesis of multi viewpoint images at non-intermediatepositions”中，揭示了一种提取深度信息并基于输入图像和深度地图来呈现多视图图像的方法。该多视图图像是要由多视图显示设备显示以便创建3-D印象的一组图像。通常，该组图像是基于输入图像创建。通过将输入图像的像素平移(shift)各自的平移量来创建这些图像的其中之一。这些平移量被称作视差。因此，对于每个像素，通常具有相应的视差值，一起形成视差地图。视差值和深度值通常是反相关的，即：
S = α D - - - ( 1 )
其中S是视差，α是常量值，且D是深度。创建深度地图被认为是与创建视差地图等效。在本说明书中，视差值和深度值都被术语深度相关数据元素所涵盖。
在各种图像处理单元之间必须交换视频数据，即图像信号和相应的深度数据，并最后到达显示设备，特别是多视图显示设备。通常视频数据通过RGB链接交换。这意味着通过三个通道传送三个相关但是单独的数据流。基于这种RGB链接的标准实例是DVI(数字视觉接口)和LVDS(低压差动信令)。但是在3-D的情况下，深度相关数据和视频数据一起也必须被交换。
发明内容
本发明的目的是提供在开始段落中所描述类型的适于现存视频接口的方法。
本发明的该目的通过以下方法实现，该方法包括：
-转换表示数字图像数据的包括预定数量的数字输入色彩分量的输入图像信号成包括亮度分量和色度分量的数字输出图像信号，该数字输入色彩分量包括红色、绿色和蓝色色彩分量；
-组合数字输出图像信号和相关的数字深度数据成组合数字信号，它包括亮度分量、色度分量和基于数字深度数据的深度分量；以及
-在数量等于数字输入色彩分量的预定数量的通道上传送组合数字信号，以及其中用于所述数量的通道的可用带宽是相互相等的。
通过转换包括预定数量输入色彩分量的输入图像信号成具有比输入图像信号具有的分量少的至少一个分量的输出图像信号，为深度数据的交换创建空间。
输入色彩分量包括红色分量(R)、绿色分量(G)和蓝色分量(B)。
优选地，在所述通道中的第一通道上传送亮度分量，在所述通道中的第二通道上传送色度分量，以及在所述通道中的第三通道上传送深度分量。
每个通道具有一个带宽，即每个时间单元能够交换的最大信息量。优选地，图像和相关深度数据的组合交换是这样的，即，用于所述数量的通道的应用带宽基本上是互相等的。这意味着每个时间单元在各自通道上交换基本上相同的信息量。为了实现此，优选的是所述色度分量包括另一数量的输出色彩分量，这些分量基于空间子采样输入图像信号进行计算，以及该另一数量的输出分量通过多路复用在所述通道中的第二通道上传送。
信息的交换包括发送和接收。如上述描述和讨论的方法涉及数据交换的发送部分。本发明的另一个目的是提供涉及数据交换的接收部分并且也适于现存视频接口的相应方法。
本发明的该目的在相应的方法中实现，该方法包括：
-接收包括表示数字图像数据的色度分量和亮度分量以及包括基于数字深度数据的深度分量的组合数字信号，该组合数字信号在一个数量等于数字输入色彩分量的预定数量的通道上被传送，以及其中用于所述数量的通道的可用带宽是相互相等的；
-从组合数字信号中提取亮度分量和色度分量；以及
-转换亮度分量和色度分量成表示数字图像数据的图像信号，该图像信号包括预定数量的数字输入色彩分量，该数字输入色彩分量包括红色、绿色和蓝色色彩分量，由此数字输入色彩分量的预定数量等于通道的数量。
本发明的再一个目的是提供在开头段落中所描述类型的适于现存视频接口的发射单元。
本发明的该目的通过发射单元实现，该发射单元包括：
-转换装置，用于转换表示数字图像数据的包括预定数量的数字输入色彩分量的输入图像信号成包括亮度分量和色度分量的数字输出图像信号，该数字输入色彩分量包括红色、绿色和蓝色色彩分量；
-组合装置，用于组合数字输出图像信号和相关的数字深度数据成组合数字信号，它包括亮度分量、色度分量和基于数字深度数据的深度分量；以及
-输出装置，用于在数量等于数字输入色彩分量的预定数量的通道上输出组合数字信号，以及其中用于所述数量的通道的可用带宽是相互相等的。
本发明的再一个目的是提供在开头段落中所描述类型的适于现存视频接口的接收单元。
本发明的该目的通过接收单元实现，该接收单元包括：
-接收装置，用于接收包括表示数字图像数据的色度分量和亮度分量以及包括基于相关的数字深度数据的深度分量的组合数字信号，该组合数字信号在一个数量等于数字输入色彩分量的预定数量的通道上被传送，以及其中用于所述数量的通道的可用带宽是相互相等的；
-提取装置，用于从组合数字信号中提取亮度分量和色度分量；以及
-转换装置，用于转换亮度分量和色度分量成表示数字图像数据的图像信号，该图像信号包括预定数量的数字输入色彩分量，该数字输入色彩分量包括红色、绿色和蓝色色彩分量，由此数字输入色彩分量的预定数量等于通道的数量。
本发明的又一个目的是提供在开头段落中所描述类型的适于现存视频接口的图像处理设备。
本发明的该目的通过包括如上所述的发射单元的图像处理设备实现。
本发明的又一个目的是提供在开头段落中所描述类型的适于现存视频接口的多视图显示设备。
本发明的该目的通过包括如上所述的接收单元的多视图显示设备实现。
发射单元、接收单元的修改以及变型可以对应于所述图像处理设备、多视图显示设备和方法中它的修改及其变型。
附图说明
根据以下参考附图描述的实现和实施例，根据本发明的发射单元、接收单元、图像处理设备、多视图显示设备和方法的这些和其他方面将会变得显而易见并且被阐明，其中：
图1示意性地示出了被连接到第二处理设备的第一处理设备；
图2示意性地示出了根据本发明的发射单元的实施例；
图3示意性地示出了根据本发明的接收单元的实施例；
图4示意性地示出了包括多视图显示设备的图像处理设备，两者都是根据本发明的。
在附图中相同的附图标记用于表示类似的部分。
具体实施方式
图1示意性地示出了被连接到第二处理设备102的第一处理设备100。第一处理设备100和第二处理设备可以分别是像图像处理器和显示驱动器这样的集成电路(IC)。可替换地，第一处理设备100是类似PC的更复杂的设备以及第二处理设备102是例如监视器的多视图显示设备。第一处理设备100和第二处理设备102通过物理连接连接。该物理连接例如基于用于数据串行传输的双绞线或双绞线加上接地。应该注意到数据的并行传输也是有可能的。
在物理连接的上部实现三个逻辑连接。每个逻辑连接对应于用于在第一处理设备100和第二处理设备102之间的数据传输的通道108-112。连接的实例基于类似DVI或LVDS的标准。
在第一处理设备100的环境中应用的数据格式基于四个分量。存在一起表示图像数据的三个输入色彩分量R、G、B以及对应于深度相关数据的第四分量D。通常，在对于每个像素Pi来说包括Ri采样、Gi采样、Bi采样和Di采样的二维矩阵中存储数据。
在第二处理设备102的环境中应用的数据格式等于在第一处理设备100的环境中应用的数据格式并因此也基于四个分量。
如上所述，在第一处理设备100和第二处理设备102之间只存在三个逻辑连接。为了与相应深度数据组合交换图像数据，第一处理设备100包括根据本发明的发射单元104以及第二处理设备102包括根据本发明的接收单元106。发射单元104、第一处理设备100和第二处理设备102之间的物理连接以及接收单元106的组合使得第一处理设备100和第二处理设备102之间的数据交换成为可能。基本上，该交换基于图像数据到中间数据的第一转换，组合中间数据与深度数据，传送，从中间数据分离深度数据以及中间数据到图像数据的第二转换。
图2示意性地示出了根据本发明的发射单元104的实施例。发射单元104被安排用于组合图像数据和相关深度数据以便交换组合的数据。发射单元104包括：
-转换单元202，用于转换表示图像数据的包括预定数量的输入色彩分量R、G、B的输入图像信号成包括亮度分量Y和色度分量C的输出图像信号；
-组合单元204，用于组合输出信号和相关的深度数据D成组合信号，它包括亮度分量Y、色度分量C和基于深度数据的深度分量D；以及
-输出单元206，用于在数量等于输入色彩分量的预定数量的通道上输出组合的信号。
转换单元202、组合单元204和输出单元206可以使用单个处理器实现。通常，在软件程序产品的控制下执行这些功能。在执行期间，通常软件程序产品被加载到类似RAM的存储器中，并从该存储器被执行。所述程序可以被从类似ROM、硬盘、或磁和/或光存储器的背景存储器加载，或者可以经由类似因特网的网络加载。可选地，专用集成电路提供这里公开的功能。
优选地，色度分量C包括两个输出色彩分量U和V。转换单元202被安排用于如在方程2-4中所规定的，基于三个输入色彩分量R、G、B计算亮度分量和两个输出色彩分量的采样。
Y＝R*0.299+G*0.587+B*0.114                  (2)
U＝R*-0.147+G*-0.289+B*0.437                (3)
V＝R*0.615+G*-0.515+B*-0.1                  (4)
优选地，应用空间子采样以2倍的因子减小U和V采样的数量。结果是Yi采样的数量是Ui采样数量的两倍和Vi采样数量的两倍。在子采样发生之前优选应用低通滤波。
组合单元204被安排用于组合亮度分量Y、第一输出色彩分量U、第二输出色彩分量V和深度分量D的相应采样成采样的三元组序列，例如：
(Y1，U1，D1)，(Y2，V1，D2)，(Y3，U3，D3)，(Y4，V3，D4)，(Y5，U5，D5)，(Y6，V5，D6)........
注意：所述三元组交替地包括第一输出色彩分量U和第二输出色彩分量V的采样。
输出单元206被安排用于输出采样的三元组到逻辑连接即通道。在下表中指示采样被映射到哪些通道。
  第一通道   Y1   Y2   Y3   Y4   Y5   Y6   Y7   Y8   Y9
  第二通道   U1   V1   U3   V3   U5   V5   U7   V7   U9
  第三通道   D1   D2   D3   D4   D5   D6   D7   D8   D9
优选地，输出单元206包括串化器。典型地，所述采样利用数量范围从8到12的比特来表示。物理连接上的数据优选通过串行传输交换。由于这种原因表示连续采样的比特被置于时间序列串中。
图3示意性地示出了根据本发明的接收单元106的实施例。接收单元106被安排用于接收包括图像数据和相关深度数据的组合数据以及被安排用于分解组合的数据。发射单元106包括：
-接收单元306，用于接收包括表示图像数据的色度分量和亮度分量以及包括基于深度数据的深度分量的组合信号，该组合信号在一个数量的通道上被传送；
-提取单元304，用于从组合信号提取亮度分量和色度分量；以及
-转换单元302，用于转换亮度分量和色度分量成表示图像数据的图像信号，该图像信号包括预定数量的输入色彩分量，输入色彩分量的预定数量等于通道的数量。
接收单元306、提取单元304和转换单元302可以使用单个处理器实现。通常，在软件程序产品的控制下执行这些功能。在执行期间，通常软件程序产品被加载到类似RAM的存储器中，并从该存储器被执行。所述程序可以被从类似ROM、硬盘、或磁和/或光存储器的背景存储器加载，或者可以经由类似因特网的网络加载。可选地，专用集成电路提供这里公开的功能。
优选地，接收单元306包括解串器(de-serializer)。物理连接上的数据优选通过串行传输交换，经由该物理连接给接收单元106提供组合的信号。但是，典型地接收单元106环境中的数据格式是这样的即直接寻址采样的所有比特更加方便，也就是并行数据寻址。
提取单元304被安排用于从通过接收单元106的接收单元306接收的组合信号提取亮度分量Y和色度分量C。色度分量C包括两个输出色彩分量U和V。提取单元306也被安排用于从组合信号提取深度采样。
转换单元202被安排用于基于亮度分量Y和两个输出色彩分量U和V的采样计算三个输入色彩分量R、G、B的采样，如在方程5-7中所规定的：
R＝Y*1+U*0+V*1.14            (5)
G＝Y*1+U*-0.39+V*-0.58       (6)
B＝Y*1+U*2.03+V*0            (7)
应该注意到，代替YUV色彩模型可以应用色彩分量的替换模型，例如YIQ、YCbCr、PhotoYCC。
图4示意性地示出了包括多视图显示设备406的图像处理设备400，两者都是根据本发明的。图像处理设备400包括：
-用于接收表示输入图像的视频信号的接收机402；用于从输入图像提取深度相关数据的图像分析单元404；和
-用于显示多视图图像的多视图显示设备406，该图像基于提供的图像数据和相关深度数据通过多视图显示设备被呈现。
通过如结合图2和3描述的组合信号，在图像分析单元404和多视图显示设备406之间交换图像数据和相关深度数据。图像分析单元404包括如结合图2描述的发射单元104。多视图显示设备406包括如结合图3描述的接收单元106。
视频信号可以是经由天线或电缆接收的广播信号，但也可以是来自类似VCR(录像机)或数字通用光盘(DVD)的存储装置的信号。该信号在输入连接器410被提供。图像处理设备400可以例如是TV。可替换地，图像处理设备400不包括可选的显示设备，但是给确实包括显示设备406的设备提供输出图像。然后图像处理设备400可以是例如机顶盒、卫星调谐器、VCR播放器、DVD播放器或录像机。可选地，图像处理设备400包括类似硬盘的存储装置或用于在可移动媒体上存储的存储装置，例如光盘。图像处理设备500还可以是电影制片厂或广播公司应用的***。
多视图显示设备406包括呈现单元408，该呈现单元被安排用于基于接收的组合信号产生多视图图像的序列。呈现单元408被安排用于提供(至少)两个相关的视频图像流到多视图显示设备，该多视图显示设备被安排用于基于视频图像的第一相关流可视化第一系列视图以及基于视频图像的第二相关流可视化第二系列视图。如果用户即观看者通过他的左眼观察第一系列视图和通过他的右眼观察第二系列视图，他注意到3-D印象。有可能视频图像的第一相关流对应于如通过组合信号接收的视频图像序列以及视频图像的第二相关流通过基于提供的深度数据适当平移来呈现。优选地，视频图像的两个流都基于接收的视频图像序列被呈现。
在文章P.A.Redert，E.A.Hendriks和J.Biemond，“Synthesis of multiviewpoint images at non-intermediate positions”，Proceedings ofInternational Conference on Acoustics，Speech，and Signal Processing，Vol.IV，ISBN 0-8186-7919-0，第2749-2752页，IEEE Computer Society，Los Alamitos，California，1997年中，公开了一种基于输入图像和深度地图提取深度信息和呈现多视图图像的方法。图像分析单元404是所公开的用于提取深度信息的方法的实现。呈现单元408是在文章中公开的呈现方法的实现。
应该注意到上述实施例示例而不是限制本发明以及本领域的普通技术人员将能够设计替换的实施例而不背离所附权利要求书的范围。在权利要求书中，放置在括号之间的任何附图标记不应该被构造为限制权利要求。术语‘包括’并不排除在权利要求中未列出的元件或步骤的存在。元件之前的术语“一”或“一个”并不排除多个这种元件的存在。本发明能够通过包括若干分立元件的硬件和适当编程的计算机实现。在列举若干装置的单元权利要求中，这些装置中的若干装置能够通过一个以及相同的硬件或软件项实施。术语第一、第二和第三等等的使用并不指示任何排序。这些术语应该被解释为名称。

Claims (14)

1.一种数字图像数据和相关的数字深度数据的组合交换的方法，包括：
-转换表示数字图像数据的包括预定数量的数字输入色彩分量的输入图像信号成包括亮度分量和色度分量的数字输出图像信号，所述数字输入色彩分量包括红色、绿色和蓝色色彩分量(R，G，B)；
-组合数字输出图像信号和相关的数字深度数据成组合数字信号，所述组合数字信号包括亮度分量、色度分量和基于相关的数字深度数据的深度分量(D)；以及
-在数量等于数字输入色彩分量(R，G，B)的预定数量的通道(108-112)上传送组合数字信号，以及其中用于所述数量的通道的可用带宽是相互相等的。
2.根据权利要求1所述的方法，由此在所述通道中的第一通道上传送亮度分量，在所述通道中的第二通道上传送色度分量，以及在所述通道中的第三通道上传送深度分量。
3.根据权利要求2所述的方法，其中组合数字信号的传送涉及使用串行传输、在物理连接上的传送，其中表示被传送的连续采样的比特被置于时间序列串中。
4.根据权利要求2所述的方法，由此色度分量包括另一数量的输出色彩分量，其中所述输出色彩分量是基于空间子采样输入图像信号进行计算的。
5.根据权利要求4所述的方法，其中通过多路复用在所述通道中的第二通道上传送所述另一数量的输出色彩分量。
6.一种用于数字图像数据和相关的数字深度数据的组合交换的发射单元(104)，该发射单元包括：
-转换装置(202)，用于转换表示数字图像数据的包括预定数量的数字输入色彩分量的输入图像信号成包括亮度分量和色度分量的数字输出图像信号，所述数字输入色彩分量包括红色、绿色和蓝色色彩分量；
-组合装置(204)，用于组合数字输出图像信号和相关的数字深度数据成组合数字信号，所述组合数字信号包括亮度分量、色度分量和基于相关的数字深度数据的深度分量；以及
-输出装置(206)，用于在数量等于数字输入色彩分量的预定数量的通道上输出组合数字信号，以及其中用于所述数量的通道的可用带宽是相互相等的。
7.根据权利要求6的发射单元(104)，其中输出装置被安排为：
在所述通道中的第一通道上输出亮度分量；
在所述通道中的第二通道上输出色度分量；和
在所述通道中的第三通道上输出深度分量。
8.根据权利要求7的发射单元(104)，其中输出组合数字信号涉及使用串行传输、在物理连接上的传送，其中表示被传送的连续采样的比特被置于时间序列串中。
9.一种图像处理设备(400)，包括根据权利要求6所述的发射单元。
10.一种用于数字图像数据和相关的数字深度数据的组合交换的方法，包括：
-接收组合数字信号，所述组合数字信号包括表示数字图像数据的亮度分量和色度分量以及包括基于相关的数字深度数据的深度分量，该组合数字信号在数量等于数字输入色彩分量(R，G，B)的预定数量的通道上被传送，以及其中用于所述数量的通道的可用带宽是相互相等的；
-从组合数字信号中提取亮度分量和色度分量；以及
-转换亮度分量和色度分量成表示数字图像数据的图像信号，该图像信号包括预定数量的数字输入色彩分量，所述数字输入色彩分量包括红色、绿色和蓝色色彩分量，从而数字输入色彩分量的预定数量等于通道的数量。
11.一种用于数字图像数据和相关的数字深度数据的组合交换的接收单元(106)，包括：
-接收装置(306)，用于接收组合数字信号，所述组合数字信号包括表示数字图像数据的亮度分量和色度分量以及包括基于相关的数字深度数据的深度分量，该组合数字信号在数量等于数字输入色彩分量(R，G，B)的预定数量的通道上被传送，以及其中用于所述数量的通道的可用带宽是相互相等的；
-提取装置(304)，用于从组合数字信号中提取亮度分量和色度分量；以及
-转换装置(302)，用于转换亮度分量和色度分量成表示数字图像数据的图像信号，该图像信号包括预定数量的数字输入色彩分量，所述数字输入色彩分量包括红色、绿色和蓝色色彩分量，从而数字输入色彩分量的预定数量等于通道(108-112)的数量。
12.根据权利要求11的接收单元(106)，其中接收装置(306)被安排为：
在所述通道中的第一通道上接收亮度分量；
在所述通道中的第二通道上接收色度分量；和
在所述通道中的第三通道上接收深度分量。
13.根据权利要求12的接收单元(106)，其中接收装置(306)被安排为使用串行传输、从物理连接中接收组合数字信号，其中表示被传送的连续采样的比特在时间序列串中被接收。
14.一种多视图显示设备(408)，包括根据权利要求11所述的接收单元(106)。
CN2006800224044A 2005-06-23 2006-06-20 使用2d图像和深度数据的3d图像传送 Expired - Fee Related CN101204097B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05105621 2005-06-23
EP05105621.6 2005-06-23
PCT/IB2006/051972 WO2006137006A2 (en) 2005-06-23 2006-06-20 Transmission of 3d image using 2d image and depth data

Publications (2)

Publication Number Publication Date
CN101204097A CN101204097A (zh) 2008-06-18
CN101204097B true CN101204097B (zh) 2012-01-11

Family

ID=37570820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800224044A Expired - Fee Related CN101204097B (zh) 2005-06-23 2006-06-20 使用2d图像和深度数据的3d图像传送

Country Status (8)

Country Link
US (1) US8189034B2 (zh)
EP (1) EP1897380B1 (zh)
JP (1) JP5020947B2 (zh)
CN (1) CN101204097B (zh)
ES (1) ES2557476T3 (zh)
PL (1) PL1897380T3 (zh)
RU (1) RU2409008C2 (zh)
WO (1) WO2006137006A2 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101965781B1 (ko) 2007-04-12 2019-04-05 돌비 인터네셔널 에이비 비디오 인코딩 및 디코딩의 타일링
TWI375290B (en) * 2007-04-26 2012-10-21 Visera Technologies Co Ltd Test system and method
KR20180130012A (ko) * 2007-12-18 2018-12-05 코닌클리케 필립스 엔.브이. 디스플레이 인터페이스를 통한 입체 이미지 데이터의 전송
CN102292996B (zh) * 2009-01-20 2014-09-17 皇家飞利浦电子股份有限公司 3d图像数据的传输
WO2010085361A2 (en) 2009-01-26 2010-07-29 Thomson Licensing Frame packing for video coding
KR20110064722A (ko) * 2009-12-08 2011-06-15 한국전자통신연구원 영상 처리 정보와 컬러 정보의 동시 전송을 위한 코딩 장치 및 방법
US9215445B2 (en) 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
JP5660361B2 (ja) * 2010-03-26 2015-01-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20120206568A1 (en) * 2011-02-10 2012-08-16 Google Inc. Computing device having multiple image capture devices and image modes
CN102737370B (zh) * 2011-04-02 2015-07-01 株式会社理光 检测图像前景的方法及设备
US20130050415A1 (en) * 2011-08-30 2013-02-28 Himax Technologies Limited System and Method of Handling Data Frames for Stereoscopic Display
CN103828356B (zh) * 2011-09-26 2016-12-21 索尼公司 用于3d立体视差估计的自适应彩色空间转换
TWI486053B (zh) * 2011-09-27 2015-05-21 Realtek Semiconductor Corp 立體影像傳輸方法及立體影像傳輸電路
GB201119206D0 (en) * 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
GB2500712A (en) * 2012-03-30 2013-10-02 Sony Corp An Apparatus and Method for transmitting a disparity map
KR101917224B1 (ko) * 2012-09-18 2018-11-13 엘지이노텍 주식회사 영상데이터 전송장치
CN105468545B (zh) * 2014-09-05 2019-04-26 联想(北京)有限公司 一种图像数据处理方法及电子设备
EP3051818A1 (en) 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
CN105898274B (zh) * 2016-04-13 2018-01-12 万云数码媒体有限公司 一种基于rgb压缩的2d加深度3d图像纵向存储方法
CN109803135A (zh) * 2017-11-16 2019-05-24 科通环宇（北京）科技有限公司 一种基于sdi***的视频图像传输方法及数据帧结构
CN108345247A (zh) * 2018-02-26 2018-07-31 杭州智仁建筑工程有限公司 一种自动控制方法
CN108495112B (zh) * 2018-05-10 2020-12-22 Oppo广东移动通信有限公司 数据传输方法及终端、计算机存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5193000A (en) * 1991-08-28 1993-03-09 Stereographics Corporation Multiplexing technique for stereoscopic video system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8501096A (nl) 1985-04-15 1986-11-03 Philips Nv Televisiesysteem en daartoe geschikte informatiegever en -ontvanger.
US4707629A (en) * 1986-03-24 1987-11-17 Wasko George J Rotary converter having dual-winding rotor
US5280337A (en) * 1992-10-13 1994-01-18 The Grass Valley Group, Inc. Depth-based video combining
US5999189A (en) * 1995-08-04 1999-12-07 Microsoft Corporation Image compression to reduce pixel and texture memory requirements in a real-time image generator
US5886701A (en) * 1995-08-04 1999-03-23 Microsoft Corporation Graphics rendering device and method for operating same
JP3443272B2 (ja) 1996-05-10 2003-09-02 三洋電機株式会社 立体映像表示装置
DE19619598A1 (de) 1996-05-15 1997-11-20 Deutsche Telekom Ag Verfahren zur Speicherung oder Übertragung von stereoskopischen Videosignalen
US6369855B1 (en) * 1996-11-01 2002-04-09 Texas Instruments Incorporated Audio and video decoder circuit and system
US20030146883A1 (en) * 1997-08-28 2003-08-07 Visualabs Inc. 3-D imaging system
JP3573724B2 (ja) * 2000-07-21 2004-10-06 松下電器産業株式会社 伝送システム、送信装置、受信装置、および伝送方法、送信方法、受信方法
US6650773B1 (en) * 2000-09-29 2003-11-18 Hewlett-Packard Development Company, L.P. Method including lossless compression of luminance channel and lossy compression of chrominance channels
JP2002171535A (ja) * 2000-12-04 2002-06-14 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2002352271A (ja) * 2001-05-28 2002-12-06 Olympus Optical Co Ltd ３次元画像取得装置
KR100943445B1 (ko) * 2001-10-16 2010-02-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 코딩 방법 및 해당 전송가능 비디오 신호
JP4178788B2 (ja) * 2001-12-11 2008-11-12 セイコーエプソン株式会社 カラーチャート、画像データ生成装置、カラーチャートを利用したプロファイル作成方法、プロファイル作成プログラムを記録した記録媒体
JP2004274642A (ja) * 2003-03-12 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> ３次元映像情報の伝送方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5193000A (en) * 1991-08-28 1993-03-09 Stereographics Corporation Multiplexing technique for stereoscopic video system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Andre Redert,Emile Hendriks,Jan Biemond.synthesis of multi viewpoint images atnonintermediatepositions.Proceedings of the 1997 IEEE International Conference on Acoustics,Speech, and Signal Processing4.1997,42749-2752. *

Also Published As

Publication number Publication date
US20100214393A1 (en) 2010-08-26
ES2557476T3 (es) 2016-01-26
JP5020947B2 (ja) 2012-09-05
JP2008544681A (ja) 2008-12-04
EP1897380A2 (en) 2008-03-12
CN101204097A (zh) 2008-06-18
US8189034B2 (en) 2012-05-29
EP1897380B1 (en) 2015-11-18
RU2409008C2 (ru) 2011-01-10
WO2006137006A2 (en) 2006-12-28
WO2006137006A3 (en) 2007-04-12
PL1897380T3 (pl) 2016-04-29
RU2008102383A (ru) 2009-07-27

Similar Documents

Publication Publication Date Title
CN101204097B (zh) 使用2d图像和深度数据的3d图像传送
CN101203881B (zh) 图像和相关数据的组合交换
US9036015B2 (en) Rendering views for a multi-view display device
CN101006732B (zh) 视图模式的检测
CN101390131B (zh) 呈现输出图像
US20110298795A1 (en) Transferring of 3d viewer metadata
CN103039083B (zh) 多视图显示***
CN102246529B (zh) 基于图像的3d视频格式
US20080303832A1 (en) Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same
CN101002482B (zh) 视图模式的检测
KR20110114670A (ko) ３ｄ 이미지 데이터의 전송
CN101103380A (zh) 深度感知
CN102025942A (zh) 视频处理***和视频处理方法
CN104838648A (zh) 用于创建和重建视频流的装置和方法
CN102340678A (zh) 一种景深可调的立体显示装置及其景深调整方法
US20130088485A1 (en) Method of storing or transmitting auto-stereoscopic images
US20120081513A1 (en) Multiple Parallax Image Receiver Apparatus
Zinger et al. iGLANCE project: free-viewpoint 3D video
WO2017083509A1 (en) Three dimensional system
KR20170045532A (ko) 다시점 변환출력기능을 갖는 무안경 입체 티브이

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120111

Termination date: 20170620