CN100565589C - 用于深度感知的装置和方法 - Google Patents

用于深度感知的装置和方法 Download PDF

Info

Publication number
CN100565589C
CN100565589C CNB2006800022610A CN200680002261A CN100565589C CN 100565589 C CN100565589 C CN 100565589C CN B2006800022610 A CNB2006800022610 A CN B2006800022610A CN 200680002261 A CN200680002261 A CN 200680002261A CN 100565589 C CN100565589 C CN 100565589C
Authority
CN
China
Prior art keywords
image
modulation
input picture
pixel
parallax data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006800022610A
Other languages
English (en)
Other versions
CN101103380A (zh
Inventor
F·E·厄恩斯特
M·J·R·奥普德比克
C·瓦雷坎普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101103380A publication Critical patent/CN101103380A/zh
Application granted granted Critical
Publication of CN100565589C publication Critical patent/CN100565589C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Magnetic Heads (AREA)
  • Massaging Devices (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)

Abstract

本发明公开了一种基于输入图像(102)对包括第一输出图像和第二输出图像的多视点图像进行渲染的方法。该方法包括：创建包括不规则形状对象(106-112)的调制图像(100)；在调制图像(100)的其他像素值的基础上调制输入图像(102)的一部分的像素值，从而形成中间图像(104)；和通过在视差数据的基础上扭曲中间图像而生成多视点图像。

Description

用于深度感知的装置和方法
技术领域
本发明涉及一种基于输入图像和视差数据对多视点图像进行渲染的方法。
本发明还涉及一种基于输入图像和视差数据对多视点图像进行渲染的渲染单元。
本发明还涉及一种包括所述渲染单元的图像处理设备。
本发明还涉及一种由计算机配置加载的计算机程序产品，其包括基于输入图像和视差数据对多视点图像进行渲染的指令，所述计算机配置包括处理器件和存储器。
背景技术
自从引入显示装置以来，许多人开始梦想着逼真的3-D显示装置。已经研究了许多可以实现这样的显示装置的原理。一些原理试图在一定空间中创建逼真的3-D对象。例如，A.Sullivan在proceedings ofSID’03(1531-1533，2003)的文章“Solid-state Multi-planarVolumetric Display”中公开了一种显示装置，其通过快速投影仪在一系列平面上移动可视数据。每个平面是一个可切换的散射器。如果平面的数量足够大，则人脑组合图画并观察到逼真的3-D对象。该原理允许观看者在一定范围里环顾对象。在此显示装置中，所有对象都是(半)透明的。
许多其它的原理试图只基于双目视差来创建3-D显示装置。在这些***中，观看者的左右眼感知不同图像，因此观看者感知到3-D图像。可以在Princeton University Press，1993的图书《StereoComputer Graphics and Other True 3-D Technologies》(D.F.McAllister(Ed.))中找到这些概念的概述。第一个原理使用立体眼镜与例如CRT组合。如果显示奇数帧，则对左眼阻断光，并且如果显示偶数帧，则对右眼阻断光。
不需要附加工具来显示3-D的显示装置被称为自动-立体镜显示装置。
第一个无眼镜显示装置包括遮光板，以创建针对准观看者的左右眼的锥形光。例如，所述锥形光例如相应于奇数和偶数子像素列。利用适宜的信息对这些列进行寻址，如果观看者处于正确的位置点，则在他的左右眼中获得不同的图像，并能够感知到3-D图画。
第二个无眼镜显示装置包括一系列透镜，以将奇数和偶数子像素列的光成像给观看者的左眼和右眼。
上述无眼镜显示装置的缺陷在于观看者必须保持在固定位置。为了引导观看者，已经提议使用指示器来显示处在正确位置的观看者。例如参见美国专利US5986804，其中遮光板与红和绿发光二极管组合在一起。在观看者正确定位的情况下，他看到绿光或红光。
为了观看者免于处在固定的位置，已经提出了多视点自动-立体镜显示装置。例如参见美国US60064424和US20000912。在US60064424和US20000912所公开的显示装置中，使用倾斜的双凸透镜，由此双凸透镜的宽度大于两个子像素。这种方式中存在着若干相邻的图像，并且观看者可以稍显自由地向左右移动
为了在多视点显示装置上生成3-D印象，必须从不同的虚拟视点渲染图像。这需要有多个输入视图或一些3-D或深度的信息。该深度信息可以从多视点照像***记录、生成，或从传统的2-D视频材料生成。为了从2-D视频生成深度信息，可以采用几种深度暗示：例如运动结构、聚焦信息、几何形状和动态隐面(dynamic occlusion)。目的是生成密集深度图，即每个像素一个深度值。接下来，将深度图用于渲染多视点图像以供给观看者深度印象。在P.A.Redert，E.A.Hendriks和J.Biemond的文章“Synthesis of multi viewpointimages at non-intermediate positions”(Proceedings ofInternational Conference on Acoustics，Speech and SignalProcessing，Vol.IV，ISBN 0-8186-7919-0，第2749-2752页，IEEEComputer Society，Los Alamitos，California，1997)中公开了一种提取深度信息以及基于输入图像和深度图对多视点图像进行渲染的方法。多视点图像是将由多视点显示装置显示以创建3-D印象的一组图像。典型地，基于输入图像创建该组图像。通过将输入图像的像素移位相应的偏移量来创建这些图像之一。这些偏移量被称为视差。因此，典型地，对于每个像素来说存在一个对应的视差值，它们一起形成视差图。典型地，视差值和深度值成反比，即：
S = C D - - - ( 1 )
其中S为视差，C为常数和D为深度。创建深度图视为等同于创建视差图。
对于2-D输入图像的均匀区域，即基本上无纹理的区域来说，难以或有时不可能从多视点显示装置来推断其深度是多少。通常，这将作为相应于处于屏幕水平的均匀区域的对象而被感知。在具有例如蓝天的均匀背景的情况下，所感知的多视点显示装置的深度相对较小。在天空无云的情况下，天空被感知处于屏幕水平，因此对于正确的深度印象，不可能将其它对象置于屏幕后面，这严重降低了深度印象。
发明内容
本发明的一个目的是提供一种首段中描述的方法，从而增加深度印象。
本发明的上述目的是这样实现的，该方法包括：
-创建包括不规则形状对象的调制图像；
-在调制图像的其他像素值的基础上调制输入图像的一部分的像素值，从而形成中间图像；和
-通过在视差数据的基础上扭曲(warping)中间图像而生成多视点图像。
在多视点显示装置上给观看者3-D印象取决于将第一输出图像示于左眼和将第二输出图像示于右眼。这些输出图像之间的差别通过人脑而被演绎成3-D图像。通过相对于彼此移位输入图像的各对象，构建输出图像。偏移量由对象的深度决定。大脑以不同的视点识别对象之间的对应，即输出图像，并从差别来推断几何形状。如果对象基本上无纹理，则难以形成这样的对应，因为不存在眼睛“锁定”的特征。成像一个均匀黑表面。将它移位到左或右都不会改变它。因此，基于视差并不能推断该表面所处的深度。
通过基于调制图像的其他像素值来调制输入图像的一部分的像素值，引入特征。这些对应于不规则形状对象的特征首先在输入图像的基本上均匀的区域中是可见的。接着，可以对看起来在某些区域有所不同的第一输出图像和第二输出图像进行渲染，该区域对应于在进行调制之前基本上是均匀的那部分输入图像。现在，用户可以在第一和第二输出图像中所各自引入的不规则形状对象之间形成对应。
优选地，不规则形状对象的尺寸与视差数据相关。例如，不规则形状对象的平均尺寸和视差数据的平均值具有相同的数量级。假设视差数据包括1-15个像素范围内的值，则优势在于尺寸，即不规则形状对象的高度和宽度，基本上在相同的范围中。优选地，不规则形状对象的平均直径对于1000*1000像素的图像大约为7-8个像素。平均直径是指两个边缘之间的平均距离。
输入图像的像素值的调制可以覆盖遍布在输入图像上的像素。该调制优选地覆盖对应于基本上均匀的区域的那部分输入图像。优选地，该调制是这样的，提高输入图像的第一部分像素的亮度值，同时降低输入图像的第二部分像素的亮度值。例如，输入图像的第一部分像素对应于代表不规则形状对象的调制图像的像素集合，而输入图像的第二部分像素对应于代表背景的调制图像的另一个像素集合。优选地，平均亮度值不受调制影响，即输入图像的平均亮度值和中间图像的平均亮度值基本上彼此相等。
在根据本发明的方法的实施例中，创建调制图像包括：
-通过生成噪声而创建第一图像；
-使用低通滤波器过滤第一图像，从而形成第二图像；和
-通过阈值来划分第二图像的像素，从而形成调制图像。
优选地，由随机噪声发生器生成噪声。低通滤波器的特点优选地与视差数据相关，以便创建具有适宜尺寸的不规则形状对象。这样进行划分，即将已连接的像素组标记为属于各自的不规则形状对象，同时将已连接的像素的其它组标记为背景。
在根据本发明的方法的实施例中，基于视差数据调制像素值。优选地，亮度值的提高和降低取决于局部深度值，并因此取决于像素的局部视差值。优选地，对于远离观看者的输入图像的对象而言，提高和/或降低的量较高。
在根据本发明的方法的实施例中，基于运动矢量创建调制图像，所述运动矢量是在输入图像所属的一系列输入图像的基础上计算的。假设把根据本发明的方法应用于代表运动的一系列输入图像，例如一系列视频图像。例如对应于摇拍照相机。如果该输入图像序列的每个输入图像都由相同调制图像进行调制，并被显示在多视点显示装置上，则结果可能就好像是在通过脏的窗户观看输出图像序列。为了防止这个，优选每个输入图像通过自己的调制图像来进行调制。用于调制特定输入图像的调制图像可以基于其它调制图像，该其它调制图像是为之前的输入图像(即在特定输入图像之前的图像)而创建的。优选地，所述其它调制图像基于在一个方向上为调制特定输入图像而对调制图像进行移位，并且所述其它调制图像与场景中的运动相关。优选地，为获得所述其它调制图像，采用一运动矢量来移位用于调制特定输入图像的调制图像，其中，该运动矢量是通过分析或模拟对应于特定输入图像的运动矢量场而计算的。
本发明的另一目的是提供一种首段中描述的渲染单元，从而增加深度印象。
本发明的上述目的是这样实现的，该渲染单元包括：
-用于创建包括不规则形状对象的调制图像的创建器件；
-用于在调制图像的其他像素值的基础上调制输入图像的一部分的像素值而形成中间图像的调制器件；和
-通过在视差数据的基础上扭曲中间图像而生成多视点图像。
本发明的另一目的是提供一种包括首段所述的渲染单元的图像处理设备，从而增加深度印象。
本发明的上述目的是这样实现的，所述渲染单元包括：
-用于创建包括不规则形状对象的调制图像的创建器件；
-用于在调制图像的其他像素值的基础上调制输入图像的一部分的像素值从而形成中间图像的调制器件；和
-通过在视差数据的基础上扭曲中间图像而生成多视点图像。
本发明的另一目的是提供一种首段所述的计算机程序产品，从而增加深度印象。
本发明的上述目的是这样实现的，上述计算机程序产品在被加载之后，向所述处理器件提供执行下列操作的能力：
-创建包括不规则形状对象的调制图像；
-在调制图像的其他像素值基础上调制输入图像的一部分的像素值，从而形成中间图像；和
-通过在视差数据的基础上扭曲中间图像而生成多视点图像。
渲染单元的修改及其变化可以对应于图像处理设备、方法和计算机程序产品的修改及其变化。
附图说明
参照下面对执行和实施例的描述并参考附图，根据本发明的渲染单元、图像处理设备、方法和计算机程序产品的这些和其它方面将变得明显并得以阐明，附图中：
图1示出根据本发明的调制图像、输入图像和中间图像；
图2示意性地示出了根据本发明的渲染单元的实施例；
图3示意性地示出了包括根据本发明的渲染单元的实施例的多视点图像生成单元；
图4示意性地示出了调制图像创建装置的实施例；和
图5示意性地示出了根据本发明的图像处理设备的实施例。
所有附图中相同的附图标记用于表示相似的部件。
具体实施方式
图1示出根据本发明的调制图像100、输入图像102和中间图像104。输入图像102是来自视频序列的图像。调制图像100和输入图像102具有相同的尺寸，即包括相同数量的像素。则直接用调制图像100对输入图像102进行调制。对于输入图像102的每个像素，在调制图像100中存在相应的像素，其直接与各自的亮度值的提高量或降低量相关。或者，调制图像100和输入图像102具有彼此不同的尺寸。则通过多次应用调制图像100或只应用调制图像100的一部分来执行对输入图像102的调制。或者，只对输入图像的一部分像素进行调制。
优选地，调制图像100包括第一组已连接的像素114和第二组像素，其中，第一组像素共同形成背景，而第二组像素形成前景对象106-112。这些前景对象是不规则形状对象。这些不规则形状对象106-112看起来象污点。优选地，这些不规则形状对象106-112的形状与输入图像102中的对象的形状并不相关。
这些不规则形状对象106-112的平均尺寸与视差量相关，并且因此与深度相关。注意，不同的不规则形状对象106-112可能具有彼此不同的尺寸。而且，典型地，输入图像102的不同像素的视差量显示出偏离，并且因此中间图像104的视差量也显示出偏离。然而，视差的平均尺寸和不规则形状对象106-112的平均尺寸优选地具有相同的数量级。
图1示出根据本发明的中间图像104。不规则形状对象106-112清楚可见。注意，所示中间图像104只是示例，以说明被夸张的调制效果。优选地，不规则形状对象较难觉察得到。这就意味着它们不应当是如此明显的。典型地，调制图像100中明显的亮度值的范围和数量与输入图像102中亮度值的数量相比相对较小。假设输入图像102的亮度值范围包括256个不同值。则典型地调制图像100的亮度值范围包括值[-2，2]。例如，第一组像素的亮度值，即背景114的亮度值，都等于-2或-1，同时第二组像素的亮度值，即不规则形状对象106-112的亮度值，都等于+2或+1。
图2示意性地示出了根据本发明的渲染单元200的实施例。渲染单元200用于在输入图像102的基础上对包括第一输出图像和第二输出图像的多视点图像进行渲染。在图像输入连接器208处提供输入图像102。渲染单元200在它的图像输出连接器210和212处提供第一输出图像和第二输出图像。所述渲染单元200包括：
-调制图像创建装置206，用于创建包括不规则形状对象106-112的调制图像100；
-调制装置202，用于在调制图像100的其他像素值的基础上调制输入图像102的一部分的像素值，从而形成中间图像104；和
-生成装置204，用于生成第一输出图像和第二输出图像其中，第一输出图像是通过在基于视差数据的第一转化的基础上扭曲中间图像而生成的，第二输出图像是通过在基于视差数据的第二转化的基础上扭曲中间图像而生成的。
可以使用一个处理器来实现调制图像创建装置206、调制装置202和生成装置204。通常，在软件程序产品的控制下执行这些功能。在执行期间，通常将软件程序产品载入例如RAM的存储器，并从那里执行。所述程序可以从后台存储器，例如ROM、硬盘或磁和/或光存储器加载，亦或经由如互联网的网络而加载。可选地，专用集成电路提供所述功能。
结合图4，描述调制图像创建装置206的实施例。
优选地，将调制装置202设置为执行如等式2所规定的功能。
Lout(x，y)＝Lin(x，y)+g(x，y)*Lmod(x，y)        (2)
其中，
-Lin(x，y)是输入图像102的坐标为(x，y)的像素的亮度值；
-Lout(x，y)是中间图像104的坐标为(x，y)的像素的亮度值，即调制装置的输出；
-Lmod(x，y)是调制图像100的坐标为(x，y)的像素的亮度值；和
-g(x，y)是增益因子，优选地它可以由用户调节。所述增益g(x，y)对于所有像素可以是相等的，但是优选地，每个像素拥有其自己的增益因子。可以通过增益输入连接器214提供增益g(x，y)的实际值。
将生成装置204设置为渲染第一输出图像和第二输出图像。例如，该渲染正如在P.A.Redert、E.A.Hendriks和J.Biemond的文章“Synthesis of multi viewpoint images at non-intermediatepositions”(Proceedings of International Conference onAcoustics，Speech and Signal Processing，Vol.IV，ISBN 0-8186-7919-0，第2749-2752页，IEEE Computer Society，LosAlamitos，California，1997)中所描述的。或者，该渲染正如在R.P.Berretty和F.E.Ernst的文章“High-quality images from 2.5Dvideo”(Proceedings Eurographics，Granada，2003，Short Note124)中所描述的。为了该渲染，生成装置204需要视差输入连接器216所提供的视差或深度信息。
调制图像创建装置206可以包括下列两个可选输入连接器：清晰度输入连接器220和运动矢量输入连接器218。
优选地，在输入图像中引入不规则形状对象仅限于基本上均匀的那部分输入图像。这可以通过只在局部，即在基本上均匀的区域中，调制输入图像而实现。或者，调制图像创建装置206考虑了关于输入图像的图像内容的信息，特别是均匀区域的存在和位置。该信息可以通过外部清晰度计算装置302提供，或者可以由渲染单元200自己计算。在两种情况下，基于对图像像素的清晰度值的计算，来确定清晰度信息。优选地，它是特定的输入图像，调制图像可以加入其中，或者调制图像可以与之合并。或者，基于对另一图像像素的清晰度值的计算，来确定清晰度信息，其中该另一图像来自该特定输入图像所属的图像序列。
优选地，通过计算特定像素的亮度和/或色彩值与该特定像素的邻接像素的亮度和/或色彩值之间的差别，来确定该特定像素的清晰度值。通过计算图像的各个像素的清晰度值，来形成清晰度图。亮度和/或色彩值之间的相对较大的差别意味着相对较高的清晰度值。接下来，分析并选择性地修改清晰度图。这意味着确定了具有较多清晰度值较低的像素的第一区域，并确定了具有较多清晰度值较高的像素的第二区域。假设第一区域为均匀区域，设第二区域为纹理区域或细节区域(detai1ed region)。基于该划分，确定增益因子g(x，y)的值，并创建调制图像100。典型地，这意味着对应于第一区域的调制图像100的亮度值Lmod(x，y)是这样的，即在调制期间它们对输入图像100没有或基本没有任何影响，例如Lmod(x，y)＝0，同时对应于第二区域的调制图像100的亮度值Lmod(x，y)是这样的，即在调制期间它们对输入图像100有影响，例如Lmod(x，y)＝-2、-1、1或2。
通过清晰度输入连接器220将包括划分信息的清晰度图提供给渲染单元200。
对应于后续的输入图像，创建后续的调制图像可以彼此完全独立地进行。或者，在创建特定调制图像和后续调制图像之间存在关联。通过创建后续的调制图像而考虑后续输入图像之间的运动是有益的。通过分析特定输入图像及其后续者之间的动作，可以确定移位。优选地，将该移位应用于移位特定调制图像，以便获得下一调制图像。优选地，后续的输入图像之间的运动取决于在运动矢量场的基础上建立运动模型。通过运动估计器确定该运动矢量场。该运动估计器例如可见于G.de Haan等人的文章“True-Motion Estimation with 3-DRecursive Search Block Matching”(IEEE Transactions oncircuits and systems for video technology，vol.3，no.5，1993年10月，368-379页)。
通过运动矢量输入连接器218将运动信息提供给渲染单元200。
图3示意性地示出了包括根据本发明的渲染单元200的实施例的多视点图像生成单元300。将多视点图像生成单元300设置为在一系列视频图像的基础上生成一系列多视点图像。多视点图像生成单元300在输入连接器308处备有视频图像流，并分别在输出连接器310和312处提供两个相关的视频图像流。将这两个相关的视频图像流提供给多视点显示装置，所述多视点显示装置用于使基于该相关视频图像流中的第一个视频图像流的第一系列视图可视化，并使基于该相关视频图像流中的第二个视频图像流的第二系列视图可视化。如果用户，即观看者，用他的左眼观察第一系列视图，并用他的右眼观察第二系列视图，则他获得3-D印象。相关的视频图像流中的第一个视频图像流可以对应于接收到的视频图像序列，并且，根据本发明的方法可以基于接收到的视频图像序列对相关的视频图像流中的第二个视频图像流进行渲染。优选地，基于接收到的视频图像序列，根据本发明的方法对两个视频图像流进行渲染。
多视点图像生成单元300还包括：
-清晰度计算装置302，用于确定输入图像的哪些区域是均匀的。通过清晰度输入连接器220将清晰度计算装置302的输出提供给渲染单元200。
-运动估计器304，用于估计后续输入图像之间的运动。通过运动矢量输入连接器218将运动估计器304的输出提供给渲染单元200；和
-深度创建单元306，用于确定输入图像中各个对象的深度信息。基于该深度信息确定视差图，所述视差图通过视差输入连接器216被供给渲染单元300。
注意，虽然将多视点图像生成单元300设计为处理视频图像，但也可以设置多视点图像生成单元300的替代实施例，以基于单独的图像，即静止画面，来生成多视点图像。
注意，虽然所述多视点图像生成单元300具有两个输出连接器310和312，但也可以有替代的输出方式。除此之外，形成一个多视点图像的输出图像的数量并不严格限于2个。
图4示意性地示出了根据本发明的调制图像创建装置206的实施例。所述调制图像创建装置包括：
-用于创建第一图像的随机噪声发生器402；
-低通滤波器404，用于过滤第一图像，从而形成第二图像。低通滤波器的特点与视差数据相关，以便创建具有适宜尺寸的不规则形状对象；和
-比较装置406，用于将第二图像的像素值与预定阈值进行比较，以便划分第二图像的像素，从而形成调制图像。这样进行划分，即将已连接的像素的组标记为属于各不规则形状对象，同时将已连接的像素的其它组标记为背景。
图5示意性地示出了根据本发明的图像处理设备500的实施例，包括：
-接收单元502，用于接收表示输入图像的视频信号；
-多视点图像生成单元300，用于基于接收到的输入图像生成多视点图像，如结合图3所述；和
-多视点显示装置504，用于显示由多视点图像生成单元300提供的多视点图像。
视频信号可以是经由天线或线缆接收到的广播信号，但也可以是来自例如VCR(录像机)或数字化通用光盘(DVD)之类的存储装置的信号。在输入连接器506处提供信号。图像处理设备500例如可以是TV。或者，图像处理设备500不包括可选的显示装置，而是向包括显示装置504的设备提供输出图像。则图像处理设备500可以是例如机顶盒、卫星调谐器、VCR播放器、DVD播放器或记录器。可选地，图像处理设备500包括例如硬盘的存储器件或用于在例如光盘的可移动介质上进行存储的器件。图像处理设备500还可以是由电影公司或广播公司所应用的***。
应该注意，上述实施例说明而非限制本发明，并且，本领域技术人员可以设计替代实施方式，而不脱离权利要求的范围。权利要求中，括号中的任何附图标记不构成对权利要求的限制。词语“包括”不排除权利要求中未列举的元件或步骤。元件前面的词语“一”或“一个”不排除存在多个这样的元件。通过包括若干确切的元件的硬件和通过合适的编程计算机可以实现本发明。在列举了若干器件的单元权利要求中，这些器件中的一些可以由一个和相同项的硬件实现。词语第一、第二和第三等等的使用不指示任何排序。可以将这些词语解释为相同。

Claims (9)

1、一种基于输入图像(102)和视差数据对多视点图像进行渲染的方法，包括：
-创建包括不规则形状对象(106-112)的调制图像(100)；
-在调制图像(100)的相应像素值的基础上调制输入图像(102)的一部分的像素值，从而形成中间图像(104)；和
-通过在视差数据的基础上扭曲中间图像(104)而生成多视点图像。
2、如权利要求1所述的方法，不规则形状对象(106-112)的尺寸与视差数据相关。
3、如权利要求2所述的方法，不规则形状对象(106-112)的平均尺寸和视差数据的平均值具有相同的数量级。
4、如上述任一权利要求所述的方法，输入图像(102)的该部分是均匀的区域。
5、如权利要求4所述的方法，创建调制图像(100)包括：
-通过生成噪声而创建第一图像；
-使用低通滤波器过滤第一图像，从而形成第二图像；和
-通过阈值划分第二图像的像素，从而形成调制图像(100)。
6、如权利要求4所述的方法，基于视差数据来调制像素值。
7、如权利要求4所述的方法，基于运动矢量来创建调制图像(100)，所述运动矢量是基于输入图像所属的一系列输入图像(102)而计算的。
8、一种用于基于输入图像(102)和视差数据对多视点图像进行渲染的渲染单元(200)，所述渲染单元包括：
-用于创建包括不规则形状对象(106-112)的调制图像(100)的创建器件(206)；
-用于在调制图像(100)的相应像素值的基础上调制输入图像的一部分的像素值而形成中间图像(104)的调制器件(202)；和
-通过在视差数据的基础上扭曲中间图像(104)而生成多视点图像的生成器件(204)。
9、一种图像处理设备(500)，包括：
-用于接收对应于输入图像(100)的信号的接收器件(502)；
-如权利要求8所述的用于渲染多视点图像的渲染单元(200)；和
-用于显示多视点图像的显示装置(504)。
CNB2006800022610A 2005-01-12 2006-01-12 用于深度感知的装置和方法 Expired - Fee Related CN100565589C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05100150 2005-01-12
EP05100150.1 2005-01-12

Publications (2)

Publication Number Publication Date
CN101103380A CN101103380A (zh) 2008-01-09
CN100565589C true CN100565589C (zh) 2009-12-02

Family

ID=36677999

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006800022610A Expired - Fee Related CN100565589C (zh) 2005-01-12 2006-01-12 用于深度感知的装置和方法

Country Status (9)

Country Link
US (1) US8270768B2 (zh)
EP (1) EP1839267B1 (zh)
JP (1) JP5058820B2 (zh)
KR (1) KR101249236B1 (zh)
CN (1) CN100565589C (zh)
AT (1) ATE426218T1 (zh)
DE (1) DE602006005785D1 (zh)
ES (1) ES2323287T3 (zh)
WO (1) WO2006075304A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159097A (zh) * 2014-07-18 2014-11-19 友达光电股份有限公司 图像显示方法以及图像显示装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5011316B2 (ja) * 2006-02-27 2012-08-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 出力画像のレンダリング
US9641822B2 (en) 2008-02-25 2017-05-02 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional (3D) images
KR100950046B1 (ko) * 2008-04-10 2010-03-29 포항공과대학교 산학협력단 무안경식 3차원 입체 ｔｖ를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법
US9172940B2 (en) 2009-02-05 2015-10-27 Bitanimate, Inc. Two-dimensional video to three-dimensional video conversion based on movement between video frames
TWI387934B (zh) * 2009-12-31 2013-03-01 Ind Tech Res Inst 多視角影像之建構方法及系統
US20110216065A1 (en) * 2009-12-31 2011-09-08 Industrial Technology Research Institute Method and System for Rendering Multi-View Image
TW201206151A (en) * 2010-07-20 2012-02-01 Chunghwa Picture Tubes Ltd Method and system for generating images of a plurality of views for 3D image reconstruction
CN102687178B (zh) * 2010-08-27 2016-04-20 三星电子株式会社 用于产生多视图的渲染设备和方法
JP2012075001A (ja) * 2010-09-29 2012-04-12 Fujifilm Corp 立体視画像表示方法および立体視画像表示装置
US8773427B2 (en) * 2010-12-22 2014-07-08 Sony Corporation Method and apparatus for multiview image generation using depth map information
US9401041B2 (en) 2011-10-26 2016-07-26 The Regents Of The University Of California Multi view synthesis method and display devices with spatial and inter-view consistency
KR101282700B1 (ko) * 2012-03-12 2013-07-05 한국과학기술원 확률적 렌더링에 따른 이미지의 잡음 제거 방법
US9031356B2 (en) * 2012-03-20 2015-05-12 Dolby Laboratories Licensing Corporation Applying perceptually correct 3D film noise
JP6071374B2 (ja) * 2012-09-21 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラムならびに画像処理装置を備えた撮像装置
KR20140039649A (ko) 2012-09-24 2014-04-02 삼성전자주식회사 다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치
KR102292923B1 (ko) 2014-12-15 2021-08-24 삼성전자주식회사 3d 렌더링 방법 및 장치

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5526446A (en) * 1991-09-24 1996-06-11 Massachusetts Institute Of Technology Noise reduction system
US5371627A (en) * 1992-10-23 1994-12-06 N.E. Thing Enterprises, Inc. Random dot stereogram and method for making the same
JP3734829B2 (ja) * 1993-06-04 2006-01-11 サーノフ・コーポレーション 電子画像安定化システム及び方法
US5448322A (en) * 1993-11-05 1995-09-05 Vision Iii Imaging, Inc. Autostereoscopic imaging apparatus and method using a parallax scanning lens aperture
WO1995015063A1 (en) 1993-11-26 1995-06-01 Dr. Sala And Associates Pty. Ltd. Image depth improvement system
US5543965A (en) * 1994-05-11 1996-08-06 Nvision Grafix, Inc. Method and apparatus for autostereoscopic lenticular displays utilizing random dot patterns
US6064424A (en) 1996-02-23 2000-05-16 U.S. Philips Corporation Autostereoscopic display apparatus
JP3443272B2 (ja) 1996-05-10 2003-09-02 三洋電機株式会社 立体映像表示装置
GB9611941D0 (en) 1996-06-07 1996-08-07 Philips Electronics Nv Three-dimensional image texture mapping
WO1997047942A1 (en) 1996-06-13 1997-12-18 K.U. Leuven Research & Development Method and system for acquiring a three-dimensional shape description
JP3235776B2 (ja) * 1996-08-07 2001-12-04 三洋電機株式会社 立体感調整方法および立体感調整装置
JP2000253422A (ja) * 1999-03-03 2000-09-14 Toshiba Corp ２次元映像からの立体映像生成方法
JP4560869B2 (ja) * 2000-02-07 2010-10-13 ソニー株式会社 メガネなし表示システムおよびバックライトシステム
JP2001359119A (ja) * 2000-06-15 2001-12-26 Toshiba Corp 立体映像生成方法
JP2002123842A (ja) * 2000-10-13 2002-04-26 Takumi:Kk 立体視画像生成装置および情報記憶媒体
US6965379B2 (en) * 2001-05-08 2005-11-15 Koninklijke Philips Electronics N.V. N-view synthesis from monocular video of certain broadcast and stored mass media content
KR20040093708A (ko) * 2002-02-06 2004-11-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 세그먼테이션용 유닛 및 방법
JP4485951B2 (ja) * 2002-10-23 2010-06-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３次元ビデオ信号後処理方法
US7103212B2 (en) 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
CN100551083C (zh) * 2003-01-20 2009-10-14 三洋电机株式会社 立体观察用图像提供方法和立体图像显示装置
JP2005080301A (ja) * 2003-09-01 2005-03-24 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
KR101114743B1 (ko) * 2003-09-23 2012-03-13 톰슨 라이센싱 주파수 필터링을 이용한 필름 그레인 시뮬레이팅을 위한기술
HUE046111T2 (hu) * 2003-10-14 2020-02-28 Interdigital Vc Holdings Inc Bit-pontosságú film szemcsézet szimulációs technika

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159097A (zh) * 2014-07-18 2014-11-19 友达光电股份有限公司 图像显示方法以及图像显示装置

Also Published As

Publication number Publication date
KR101249236B1 (ko) 2013-04-01
US8270768B2 (en) 2012-09-18
WO2006075304A2 (en) 2006-07-20
ATE426218T1 (de) 2009-04-15
JP5058820B2 (ja) 2012-10-24
US20090003728A1 (en) 2009-01-01
ES2323287T3 (es) 2009-07-10
JP2008527561A (ja) 2008-07-24
DE602006005785D1 (de) 2009-04-30
EP1839267A2 (en) 2007-10-03
WO2006075304A3 (en) 2006-11-09
CN101103380A (zh) 2008-01-09
EP1839267B1 (en) 2009-03-18
KR20070105994A (ko) 2007-10-31

Similar Documents

Publication Publication Date Title
CN100565589C (zh) 用于深度感知的装置和方法
JP5011316B2 (ja) 出力画像のレンダリング
JP4762994B2 (ja) 視差マップ
JP5406269B2 (ja) 奥行き検知装置及び方法
US9036015B2 (en) Rendering views for a multi-view display device
KR101385514B1 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
JP5150255B2 (ja) ビューモードの検出
CN1745589B (zh) 用于立体图像的视频滤波
Schmidt et al. Multiviewpoint autostereoscopic dispays from 4D-Vision GmbH
Hill et al. 3-D liquid crystal displays and their applications
US8947507B2 (en) Method of processing 3D images, and corresponding system including the formulation of missing pixels using windows of details from first and second views
Zinger et al. iGLANCE project: free-viewpoint 3D video
Doyen et al. Towards a free viewpoint and 3D intensity adjustment on multi-view display

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091202

Termination date: 20150112

EXPY Termination of patent right or utility model