CN1655192A - 基于深度图像的三维图形数据的高速显像的装置和方法 - Google Patents

基于深度图像的三维图形数据的高速显像的装置和方法 Download PDF

Info

Publication number
CN1655192A
CN1655192A CNA2005100061171A CN200510006117A CN1655192A CN 1655192 A CN1655192 A CN 1655192A CN A2005100061171 A CNA2005100061171 A CN A2005100061171A CN 200510006117 A CN200510006117 A CN 200510006117A CN 1655192 A CN1655192 A CN 1655192A
Authority
CN
China
Prior art keywords
depth
data
reference picture
color
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005100061171A
Other languages
English (en)
Inventor
朴仁圭
张敬子
韩周延
郑锡润
金根豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1655192A publication Critical patent/CN1655192A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06Q—DECORATING TEXTILES
    • D06Q1/00—Decorating textiles
    • D06Q1/10—Decorating textiles by treatment with, or fixation of, a particulate material, e.g. mica, glass beads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • D—TEXTILES; PAPER
    • D04—BRAIDING; LACE-MAKING; KNITTING; TRIMMINGS; NON-WOVEN FABRICS
    • D04D—TRIMMINGS; RIBBONS, TAPES OR BANDS, NOT OTHERWISE PROVIDED FOR
    • D04D9/00—Ribbons, tapes, welts, bands, beadings, or other decorative or ornamental strips, not otherwise provided for
    • D04D9/06—Ribbons, tapes, welts, bands, beadings, or other decorative or ornamental strips, not otherwise provided for made by working plastics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Textile Engineering (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供基于深度图像的3D图形数据的高速显像的方法及装置。所述方法包括：读取3D物体的点纹理数据；在预定视点对所述简单纹理数据的每一参考图像执行3D变形以获得变形图像；对所述多个变形图像的每一像素执行深度测试和泼溅以获得最终色彩数据；和通过使用最终色彩数据显示物体。因此，可以减少存储器使用和增加每一秒的显像数量，以及有效地执行特别是移动终端中的3D图形物体的显像。

Description

基于深度图像的三维图形数据的高速显像的装置和方法
技术领域
本发明涉及三维(3D)图形，特别是涉及用于基于深度图像的三维图形数据的高速显像(visualization)的装置以及方法。
背景技术
最初，3D图形的最终目标是以与真实世界相比接近真实的方式来合成逼真的图形图像。通常，在3D计算机图形中广泛地使用多边形网格(polygonalmesh)以表示3D物体，采用所述多边形网格，任意形状的物体可以被正确地模型化。由于在图形算法和图形处理器(GPU)中的这些优点，因而，甚至非常复杂的物体或场景也可以被实时地渲染(render)。
近来，移动设备如蜂窝电话和个人数据助理(PDA)已非常普及。而且，试图提供一些多媒体业务，如图形动画、移动图片、音乐和游戏等。而且，已尝试在这样的应用中在移动设备上显示3D图形物体。
然而，不象典型的个人计算机，当我们试图将3D图形应用于移动设备时，将遇到严重的问题。首先，CPU通常不具有足够的处理能力。其次，移动CPU不支持浮点算数运算。再次，它们也不具有硬件3D图形加速器。由于这些原因，所以很难在移动设备上以交互的帧速率来渲染3D物体。
另一方面，已提出一种不使用清晰网格表示的3D物体的表示和显像的有效方法，称为DIBR(Depth Image-Based Representation，基于深度图像的表示)，该方法已被采用作为MPEG-4动画扩展结构(AFX)[1]中的国际标准。它类似于浮雕纹理[2]。然而，DIBR更直观并具有用于利用3D变形(3D warping)来快速渲染的更好的结构。
在该方法中，我们提出一种DIBR的简单纹理格式的快速渲染算法[3]，该格式是一组覆盖3D物体的可见表面的参考图像。每一参考图像由纹理(色彩)图像和相应的深度图像组成，其中，每一像素值表示从图像平面到物体表面的距离。基于深度图像的模型(DIBM)的优点在于参考图像可以为物体提供高质量的显像而不直接使用复杂的多边形网格。而且，合成新场景的渲染复杂度与像素的数目，而不是场景的复杂度成正比。该特征在通常具有低显示分辨率的移动设备上的渲染中很有用。根据DIBM，由纹理和深度图像表示3D物体，所述物体由N个摄像机观察，其中N是任意整数。在图1中示出了DIBR的一个例子。
点纹理(point texture)和八立方体图像(octree image)是DIBR系列的不同格式。在点纹理中，由如图2所示的在一个摄像机位置上所观测的像素阵列来表示物体。每一点纹理像素由色彩、对应于从像素到摄像机的距离的深度和若干属性表示，这些属性有助于点纹理显像。在物体和场景的每一行之间的每一交点中可存在多个像素。因此，点纹理一般由多层组成。在八立方体图像中，通过使用图3中所示的八立方体表示物体，在每一侧上的图像被用作参考图像。
McMillan已提出一种能够从新视点(view point)产生观测图而不需要完成深度测试的变形算法[4]。现在。将详细描述McMillan的方法。如图4所示，根据参考图像的几何信息组织世界坐标系(world coordinate system)。例如，参考坐标系上的点P1被变换成世界坐标系上的点P2。从新视点，点P2被看作点P3。通过将变换矩阵T应用于点P1来获得点P3。为了在新视点上对准参考图像的点，搜索投影点(epipolar point)，投影点对应于投射到参考图像的新视图的中心(即新摄像机视野的中心)。而且，识别投影点投射到图5中所示的9个区域的哪一个，然后根据z轴的符号确定参考图像上的像素的泼溅顺序(splatting order)。如果执行顺序显像以便根据如上所述确定的顺序，沿着格子阵列的行和列将像素逐一投射到新视图上，由于最新映射的像素总是占据最近的点，所以不需要深度测试。
同时，Shade试图扩展深度图像的概念，并已提出一种分层深度图像方法，其中多个像素对应于一个像素位置。该方法公开在文章[5]中，即J.Shade，S.Gortler，L.He和R.Szeliski，“Layered depth images”，Proc.of SIGGRAPH’98，第231-242页，1998年7月。在简单深度图像中，当视点变化时，数据不存在的物体表面中发生扭曲。相反，在分层深度图像中，由于甚至物体的不可见的背部表面也具有3D坐标信息并组成分层的深度图像，所以这样的扭曲不会发生。分层深度图像的显像方法几乎类似于McMillan的算法。特别是，根据如图5所示的z轴的符号和新视图的参考图像上的投影点的位置来确定在新图像中画像素的顺序和方向。根据该方法，总是可以获得从后到前的显像而不需要深度测试。
另一方面，在便携式设备领域中，还没有对通过使用基于图像表示的3D图形物体的高速显像的充分研究。
发明内容
本发明提供用于高速显示由简单纹理、点纹理、和八立方体图像之一所表示的、基于深度图像的三维(3D)图像数据以减少存储器使用以及增加显像速度的方法及装置。
根据本发明的一个方面，提供一种基于深度图像的三维(3D)图形数据的高速显像的方法，所述方法包括：向由多个参考图像组成的简单纹理数据分配存储器；通过在预定视点上执行所述简单纹理数据的每一参考图像的3D变形来获得多个变形图像；通过执行对组成所述多个变形图像的每一像素的深度测试来获得深度数据和色彩数据；和通过使用所述深度数据和所述色彩数据来显示物体。
在向简单纹理数据分配存储器的操作中，可以删除参考图像中的在包含所述物体的最小尺寸的方块之外的背景数据，以及包含所述物体的最小尺寸的方块可以包括深度和色彩数据。
可仅仅为在组成简单纹理数据的多个参考图像当中的、法向矢量具有低于相对于预定视图矢量的预定水平面的角度的参考图像执行3D变形，上述3D变形可以包括：通过将在新视点上的眼坐标系的中心投射到所述简单纹理数据的参考图像来搜索投影点；根据在所述参考图像中限定的9个区域中的哪一区域对应于所述投影点所投射到的区域来确定所述参考图像的像素的变形顺序；通过根据所述变形顺序将其中已定义简单纹理的参考坐标系的每一坐标值变换成眼坐标系来获得变形图像；和对于所述简单纹理数据的参考图像重复执行从搜索投影点到获得变形图像的步骤。
可以由浮点算数运算的定点算数运算来完成坐标变换。所述定点算数运算可以包括：将浮点数变换成相应的定点数；通过使用所变换的定点数执行坐标变换；和将坐标变换的结果变换成浮点表示。执行深度测试可以包括：分别在前深度缓冲器和前色彩缓冲器中存储由所述第一参考图像的变形步骤所获得的深度值和色彩值；分别在后深度缓冲器和后色彩缓冲器中存储由所述第二参考图像的变形步骤所获得的深度值和色彩值；比较存储在所述前深度缓冲器中的深度值和存储在后深度缓冲器中的深度值；如果比较结果是存储在所述前深度缓冲器中的深度值大于存储在所述后深度缓冲器中的深度值，则分别使用存储在所述后深度缓冲器中的深度值和存储在所述后色彩缓冲器中的色彩值替换存储在所述前深度缓冲器中的深度值和存储在所述前色彩缓冲器中的色彩值；和对所有变形图像重复执行从存储深度值和色彩值的步骤到替换深度值和色彩值的步骤。执行深度测试的步骤还可以包括根据从预定视点到3D物体的距离来自适应地控制条尺寸，和其中通过使用深度数据、色彩数据和适当尺寸的条来完成显示物体的步骤。自适应地控制条尺寸的步骤包括：通过比较参考图像的分辨率和目标图像的分辨率来确定初始条尺寸；和根据放大/缩小操作的放大/缩小比率来调整初始条尺寸以产生目标图像。在确定初始条尺寸的步骤中，如果目标图像的分辨率小于或等于参考图像的分辨率，则条尺寸被设置成1，以及如果目标图像的分辨率大于参考图像的分辨率，则所述条尺寸被设置成平均放大高宽比。在调整初始条尺寸的步骤中，以缩放比率增加条尺寸以便防止在放大期间的“空洞”现象，以及以缩放比率缩小条尺寸以便保证在缩小期间的预定级别的显像质量。
根据本发明的另一方面，提供一种基于深度图像的三维(3D)图形数据的高速显像的方法，所述方法包括：读取3D物体的点纹理数据；根据投影点的位置和深度坐标值的符号来确定预定视点上的点纹理的参考图像的变形顺序；和通过使用变形顺序来显示3D物体。
读取3D物体的步骤可被应用到通过将由八立方体结构所表示的3D物体数据变换成点纹理数据以及读取所变换的3D物体数据来高速显示点纹理的方法。读取3D物体的步骤可以包括：对由八立方体结构表示的3D物体数据进行解码；在相对于所述参考表面的法向方向上将所述八立方体的体素投射到参考表面的预定像素位置上，所述参考表面对应于包括所解码八立方体的六面体的预定表面；将从所述体素到对应于投射到所述参考图像上的体素的像素的距离定义为深度值；和将所述体素的色彩定义为色彩值。当视点被改变时，在已定义点纹理的参考坐标系的每一坐标值被变换成眼坐标系之后，可以执行为点纹理的参考图像确定变形顺序的步骤。可以由浮点算数运算的定点算数运算来完成坐标系变换。可以通过使用所述变形顺序和自适应控制的条尺寸来显示3D物体。
自适应控制条尺寸的步骤可以包括：通过比较参考图像的分辨率和目标图像的分辨率来确定初始条尺寸；和根据放大/缩小操作的放大/缩小比率来修改初始条尺寸以产生目标图像。
仍根据本发明的另一方面，提供一种基于深度图像的三维(3D)图形数据的高速显像的装置，所述装置包括：简单纹理数据存储分配单元，用于向由多个参考图像组成的简单纹理数据分配存储器；变形单元，用于在预定视点上执行简单纹理数据存储分配单元的简单纹理的每一参考图像的3D变形；深度测试单元，用于对多个变形图像的每一像素执行深度测试以获得深度数据和色彩数据；和显像单元，用于通过使用所述深度数据和所述色彩数据来显示3D物体。所述变形单元可以包括：极向变换单元，用于通过将在预定视点上的眼坐标系的中心投射到所述简单纹理数据的参考图像来搜索投影点；变形顺序确定单元，用于根据在所述参考图像中限定的9个区域中的哪一区域对应于所述投影点所投射到的区域来确定所述参考图像的像素的变形顺序；和像素变形单元，用于通过根据所述变形顺序将其中已定义简单纹理的参考坐标系的每一坐标值变换成眼坐标系来获得变形图像。所述深度测试单元可以包括：前深度缓冲器，用于存储由所述第一参考图像的变形所产生的深度值；前色彩缓冲器，用于存储由所述第一参考图像的变形所产生的色彩值；后深度缓冲器，用于存储由所述第二参考图像的变形所产生的深度值；后色彩缓冲器，用于存储由所述第二参考图像的变形所产生的色彩值；深度比较单元，用于比较存储在所述前深度缓冲器中的深度值和存储在后深度缓冲器中的深度值；和更新单元，如果比较结果是存储在所述前深度缓冲器中的深度值大于存储在所述后深度缓冲器中的深度值，则分别使用存储在所述后深度缓冲器中的深度值和存储在所述后色彩缓冲器中的色彩值替换存储在所述前深度缓冲器中的深度值和存储在所述前色彩缓冲器中的色彩值，以及对所有的参考图像重复执行从存储深度值和色彩值的步骤到替换深度值和色彩值的步骤。所述深度测试单元还可以包括条单元，用于根据从预定视点到3D物体的距离来自适应地控制条尺寸，和所述显像单元可以通过使用深度数据、色彩数据和适当尺寸的条来显示所述3D物体。所述条单元包括：条尺寸确定单元，用于通过比较参考图像的分辨率和目标图像的分辨率来确定初始条尺寸；和自适应条单元，用于根据放大/缩小操作的放大/缩小比率来调整初始条尺寸以产生目标图像。
仍根据本发明的另一方面，提供一种基于深度图像的三维(3D)图形数据的高速显像的装置，其中所述装置包括：点纹理初始化单元，用于读取3D物体的点纹理数据；变形顺序确定单元，用于根据投影点的位置和深度坐标值的符号来确定预定视点上的点纹理的参考图像的画像素的变形顺序；点纹理条单元，用于根据从预定视点到3D物体的距离来自适应地控制条尺寸；和显像单元，用于通过使用所述变形顺序和适当尺寸的条来显示3D物体。
所述点纹理初始化单元将由八立方体结构所表示的3D物体数据变换成点纹理数据。所述点纹理初始化单元包括：八立方体解码单元，用于对由八立方体结构所表示的3D物体数据进行解码；深度值计算单元，用于在相对于所述参考表面的法向方向上将所述八立方体的体素投射到参考表面的预定像素位置上，所述参考表面对应于包括所解码八立方体的六面体的预定表面，并且将从所述体素到对应于投射到所述参考表面上的体素的像素的距离定义为深度值；和色彩值产生单元，用于将所述体素的色彩定义为色彩值。所述变形顺序确定单元的参考图像可以具有除了在包括物体的预定尺寸的方块周围的背景数据之外的深度和色彩数据。所述变形顺序确定单元还可以包括坐标变换单元，用于将已定义点纹理的参考坐标系的每一坐标值变换成眼坐标系。所述变形顺序可以包括：朝向所投射的投影点的参考图像的像素的水平和垂直变形顺序；和如果投影点的深度轴坐标值为正，则参考图像的像素的深度轴(z轴)变形顺序为由后向前方向，或者如果投影点的深度轴坐标值为负，则参考图像的像素的深度轴(z轴)变形顺序为由前向后方向。
仍根据本发明的另一方面，提供一种存储用于在计算机中执行根据权利要求1到18所述的方法之一的程序的计算机可读记录介质。
附图说明
通过参照附图，对本发明的示例性实施例进行详细地描述，本发明的上述和其他特征和优点将变得更加清楚。其中：
图1示出基于简单纹理的模型的显像结果；
图2示出在一维中所描述的点纹理的例子；
图3示出在四分树(quatree)结构中所描述的八立方体(octree)图像的例子；
图4示出搜索投影点的例子；
图5示出当投影点可能存在于其中的9个区域，以及示出当投影点存在于区域5中时参考像素的像素访问顺序根据z轴的符号变化。
图6示出用于根据本发明的基于深度图像的3D图形数据的高速显像的装置的方框图；
图7示出变形单元的方框图；
图8示出坐标变换单元的方框图；
图9示出深度测试单元的方框图；
图10示出条单元的方框图；
图11示出在用于基于深度图像的3D图形数据的简单纹理数据的高速显像的装置中的操作的流程图；
图12示出用于根据本发明的、基于深度图像的3D图形数据的点纹理数据的高速显像的装置的方框图；
图13示出在用于将由八立方体结构表示的3D物体数据变换成点纹理数据的点纹理初始化单元中的八立方体数据的方框图；
图14示出用于点纹理数据的高速显像的装置的坐标变换单元的方框图；
图15示出用于根据本发明的、基于深度图像的3D图形数据的点纹理数据的高速显像的装置中的操作的流程图；
图16示出当简单纹理的目标分辨率是常数时比较传统方法和新方法的图；
图17示出消除背景数据的方法；
图18示出八立方体图像的高速显像方法的流程图；
图19A-19C示出个人信息终端中的、由简单纹理表示的BOO模型的显像的例子；
图20A-20C示出个人信息终端中的、由点纹理表示的花模型的显像例子；
图21A-21B示出个人信息终端中的、由八立方体图像表示的天使模型的显像的例子；
图22示出个人信息终端中的、由简单纹理表示的各种模型的显像的例子；和
图23示出分别在图20和21中所示的点纹理和八立方体图像的渲染速度。
具体实施方式
现在将参照附图充分地说明本发明，在所述附图中示出本发明的示例性实施例。然而，本发明可以以许多不同的方式体现，并且不应当被曲解为限制于在此提出的实施例；而是，提供这些实施例以便该公开透彻和完整，并且充分地将本发明的原理传达给本技术领域人员。在附图中的相同附图标记表示相同的元件，并因而将不重复对它们的描述。
现在，将参照附图说明根据本发明的、基于深度图像的3D图形数据的高速显像的装置和方法。本发明的主题可被分成简单纹理显像、点纹理显像和八立方体图像显像。简单纹理显像、点纹理显像和八立方体图像显像通常是利用定点算数运算、自适应泼溅(adaptive splatting)、和消除参考图像中的背景数据的技术的高速显像。
首先，将说明简单纹理显像。图6示出根据本发明实施例的、基于深度图像的3D图形数据的高速显像的装置的方框图。该装置的方框图包括：简单纹理存储分配单元600、变形单元610、深度测试单元620、条单元630、和显像单元640。
简单纹理数据存储分配单元600向包含多个参考图像的简单纹理数据分配存储器。
变形单元610对于简单纹理数据存储分配单元600的简单纹理参考图像执行3D变形以产生多个变形图像。如图7所示，变形单元610包括极向变换单元(epipolar transformation unit)700、变形顺序确定单元720和像素变形单元740。
极向变换单元700通过将在预定视点上的眼坐标系(eye coordinate system)的中心投射到参考图像上来搜索投影点。变形顺序确定单元720根据投影点被投射到在参考图像中限定的9个区域的哪一个区域来确定参考图像的像素的变形顺序。像素变形单元740变换参考坐标系的每一坐标值并产生变形图像，其中在该参考坐标系中，简单纹理已根据变形顺序而被定义成所述眼坐标系的合适的值。
由如图8所示的包括定点变换单元800、坐标变换单元810和浮点变换单元820的操作单元完成在变形单元610中的操作。定点变换单元800将浮点表示变换成相应的定点表示。坐标变换单元810通过使用从定点变换单元800获得的定点数执行坐标变换。浮点变换单元820将坐标变换单元810中的算数运算的结果变换成浮点表示。
深度测试单元620执行对由变形单元610所产生的多个变形图像的每一像素的深度测试以获得最终的色彩数据。图9示出了深度测试单元620的方框图。深度测试单元620包括前深度缓冲器900、后深度缓冲器910、深度比较单元920、更新单元930、前色彩缓冲器940和后色彩缓冲器950。
前深度缓冲器900存储由第一参考图像的变形所形成的深度值。前色彩缓冲器940存储通过执行对第一参考图像的变形所形成的色彩值。后深度缓冲器910存储由第二参考图像的变形所形成的深度值。后色彩缓冲器950存储由第二参考图像的变形所形成的色彩值。深度比较单元920比较在前深度缓冲器900中所存储的深度值和在后深度缓冲器910中所存储的深度值。如果比较结果是存储在前深度缓冲器900中的值小于或等于存储在后深度缓冲器910中的值，则更新单元930按原样保持该值。然而，如果在前深度缓冲器900中存储的值大于在后深度缓冲器910中存储的值，则更新单元930分别使用在后深度缓冲器910和后色彩缓冲器950中存储的值替代在前深度缓冲器900和前色彩缓冲器940中存储的值。对于所有参考图像，重复执行该过程。
条单元630根据从预定视点到3D物体的距离自适应地控制条尺寸(splatsize)。条单元630包括如图10所示的条尺寸设定单元1000和自适应条单元1050。条尺寸设定单元1000通过比较参考图像的分辨率和目标图像的分辨率来确定初始条尺寸。自适应条单元1050根据放大/缩小操作的放大/缩小比率来调整初始条尺寸以产生目标图像。
显像单元640通过使用深度数据、色彩数据和有合适尺寸的条来可视化3D物体。
图11示出在基于深度图像的3D图形数据的简单纹理数据的高速显像的装置中的操作的流程图。现在，将参照图11说明在用于简单纹理数据的高速显像的装置中的操作。
变形(warping)是用于将通过使用参考视点表示的参考图像变换成通过使用其它的不同视点表示的参考图像的图像处理技术。
传统的McMillan的3D变形算法是从仅仅一个参考图像产生在新视图中可视的3D物体数据的方法。本发明的简单纹理使用N个参考图像以便表示3D物体数据。因此，不能直接采用McMillan的3D变形算法。本发明提出通过根据N个参考图像来执行变形以产生3D物体数据和产生目标图像的方法。由色彩图像/深度图像对来表示参考图像。因此，简单纹理数据存储分配单元600向简单纹理数据分配存储器(操作1100)。
接着，变形单元610执行变形以产生变形的图像(操作1110)。特别是，如果执行对一个参考图像的变形，则产生具有相应深度信息和相应色彩信息的图像。不必说，在这种情况下，不执行根据McMillan的算法的深度测试。替换地，信息总是被记录在深度缓冲器和色彩缓冲器中。
通过使用McMillan的算法对N个图像重复进行变形。在这种情况下，通过使用变形确定N个图像的每一个的深度值。然而，不能识别在N个参考图像中的变形导致的深度关系。因此，深度测试单元620执行深度测试以便确定参考图像之间的深度关系(操作1120)。因而，最终显示的3D物体数据的像素具有与在由变形的N个参考图像所形成的深度数据当中到视点的最接近深度数据相对应的色彩值。
现在，将说明如何确定N个深度值中的哪一个深度值最接近视点。首先，通过执行第一参考图像的变形所形成的深度和色彩值被分别存储在前深度缓冲器900和前色彩缓冲器940中。类似地，第二参考图像的变形结果被分别存储在后深度缓冲器910和后色彩缓冲器中。接着，深度比较单元920比较在后深度缓冲器910和前深度缓冲器900中存储的深度值。如果存储在后深度缓冲器910中的深度值小于存储在前深度缓冲器900中的深度值，则更新单元930将对应于前色彩缓冲器940的像素位置的色彩值替换成对应于后色彩缓冲器950的像素位置的色彩值。如果后深度缓冲器的深度值大于或等于前深度缓冲器的深度值，则不改变色彩缓冲器的色彩值。当从第二参考图像到第N参考图像重复执行该过程时，总是可以显示从该视点所观看到的表面。
同时，为了减少上述过程的计算量，采用下列过程。在上述过程中，已对所有的N个参考图像采用了变形。然而，在该过程中，如果在由用户的交互作用所产生的预定视图矢量和参考图像的法向矢量之间的角度大于预定角度，则不对相应的参考图像进行变形。例如，如果预定的视图矢量和参考图像的法向矢量正好彼此相对，即预定角度是180度，则对正好相对的参考图像不执行变形。通过执行这样的方法，可以减少计算量和提高显像速度。
现在，让我们来看看与使用深度缓冲器的传统方法相比，上述变形方法可以减少多少深度测试的数量。假定参考图像的分辨率是IR*JR，新视图的分辨率是IN*JN，且在一半参考图像区域中填充的不是背景，而是物体。
根据使用深度缓冲器的传统方法，像素的数量变成1/2*IR*JR，并为上述数量的像素的每一个执行深度测试。而且，已将深度测试应用于N个参考图像。最终，完成N*1/2*IR*JR个深度测试。然而，如果采用根据本发明的变形方法，则构成一个视图的像素的数量变成IN*JN，从而对N个参考图像完成(N-1)*1/2*(IN*JN)个深度测试。
一般，由于图像的分辨率比N大很多，所以深度测试的数量可以近似于(IR*JR)和(IN*JN)。因此，根据本发明的变形方法的深度测试的数量是常数。因此，当参考图像的分辨率变得大于新视图的分辨率时，深度测试的数量相应地变小。
图16示出了说明假定N＝6，IR＝JR和IN＝JN时的深度测试的数量的图。如图16的图所示，根据本发明的方法依赖于目标图像的分辨率，而与输入(参考)图像的分辨率无关。然而，由于当在大多数3D应用中显示3D物体时经常发生视点变化，如放大/缩小，所以3D物体或场景应当被显示得尽可能精确，以致于需要高分辨率的输入图像。因此，根据本发明的方法可以提供具有比传统方法更小的计算量的高质量渲染，其中所述传统方法使高分辨率输入图像经历深度测试。
一般，浮点算数运算产生比定点算数运算更精确的结果，但是要求几十倍于定点算数运算的中央处理器(CPU)时钟频率。特别是，在移动终端(如个人数据助理(PDA)或移动电话中)所采用的CPU不支持浮点算数运算。然而，由于3D图形显像所需的大多数运算要求浮点算数运算，所以在这样的环境中难于实现高速显像。因此，为了在包括移动终端的各种环境中通过使用基于图像的模型来实现高速显像，在显像算法的主要部分中的浮点算数运算被转换成定点算数运算以执行整数算数运算，以便可以提高显像速度。
在由定点加法和乘法构成的定点算数运算期间，需要避免溢出。因此，考虑到同时相加和乘法的数量以及所要求的精度，应当认真设计定点数据格式。现在，将描述为此目的的位分配方法的最坏情况的分析。
在3D几何流水线(geometry pipeline)中的典型仿射变换(affinetransformation)具有下列格式。
[公式1]
Y 1 Y 2 Y 3 = r 1,1 r 1,2 r 1,3 r 2,1 r 2,2 r 2,3 r 3,1 r 3,2 r 3,3 X 1 X 2 X 3 + t 1 t 2 t 3
Y=RX+T
在根据本发明的方法中，R矩阵表示仅仅旋转(没有比例计算)，以及T矢量表示转换。由于R表示旋转，且我们归一化在单位立方视体(unit cubicview volume)中的物体，所以R和T的每一元素的值都在-1和1之间。
假定M.N格式用于定点数。由于操作数的绝对值小于1，所以分配给坚数部分0位，即，使用1.N格式。现在，让我们来找出N的最大值，如果具有这样的格式的两个值相乘并被存储，则需要2N位(除了符号位)以避免溢出。类似地，如果两个值相加并被存储，则需要N+1位。
在(1)中表示的3D仿射变换中，在操作数之间的乘法的数量大多被限制在两次。另一方面，同时的加法的数量变成3。在这种情况下，用于存储结果的存储空间是2N+3位。如果我们考虑附加符号位，则我们需要2(N+2)位。
由于整个结果应当由整数格式表示，所以该2(N+2)应当小于整数格式中的位数。在根据本发明的方法中，使用32位整数。因此，N的最大值，即NMax是14。在这种情况下，精度是2-14( 6*10-5)，该精度足够准确。
在仿射变换前，在定点变换单元800中，每一坐标值乘以2NMax以被变换成定点数。接着，在坐标变换单元810中，利用定点算数运算执行坐标变换以实现3D变形。如上所述，在这种情况下不会发生溢出。在3D变形之后，在浮点变换单元820中，通过除以2NMax而将整数结果变换回浮点数以获得最终坐标值。
应用定点算数运算的部分是变形单元610，在该变形单元中，在显像期间，其中已限定简单纹理的参考坐标系中的参考坐标被变换成眼坐标系。
同时，根据本发明，自适应地确定条尺寸，并且我们将讨论所述确定。执行深度测试(操作1120)，接着检查是否完成对所有参考图像的变形和深度测试(操作1130)。如果已完成对所有参考图像的变形和深度测试，则根据本发明调整该条尺寸(操作1140)。并可以直接执行显像(操作1150)。传统方法使用三角形作为用于显像的图元(primitive)，而基于图像的显像方法使用在图像上的3D空间中泼溅(splatting)点以用于显像。作为条的3D点具有某种形状和某一尺寸。当用户经常改变视点时，如果使用相同尺寸的条，则在放大期间，产生“空洞”现象，而在缩小期间执行粗糙的低质量的显像。为了对此进行补偿，可能通过使用在初始3D图像模型中的点的密度、从视点到模型的距离和在视线(viewline)之间的角度来计算最佳条尺寸。不幸的是，这要求非常复杂的计算，从而不适合于高速显像。
因此，本发明提出一种通过使用正交投射的属性来执行具有少量计算量的、用于放大/缩小的自适应条尺寸的方法。根据本发明的方法可被分成两个过程。作为第一过程，条尺寸设定单元1000比较参考图像的分辨率和目标图像的分辨率以确定初始条尺寸。作为第二过程，自适应条单元1050根据在放大/缩小期间的放大/缩小比率来调整初始条尺寸以产生目标图像。
特别是，第一过程用于产生无“空洞”现象的初始视图。如果目标图像的分辨率小于或等于参考图像的分辨率，初始条尺寸被设置成1。如果目标图像的分辨率大于参考图像的分辨率，则在产生初始视图的同时，条尺寸被设置成平均放大高宽比(average enlargement aspect ratio)。因而，所产生的初始视图不具有任何“空洞”现象。
接下来，在第二过程中，使用正交投射的属性。即，在透视投影中，依照视点接近或远离物体的比率不同于投射到目标图像的物体的放大/缩小比率。然而，在正交图像中，两个比率是相等的。因此，可以通过根据放大/缩小比率来放大/缩小在所投射的图像中的坐标而执行放大/缩小。而且，可以通过根据该比率，在仅仅一次中放大/缩小物体的3D坐标来实现这些过程。根据本发明，通过使用该比率来放大/缩小条尺寸。因此，可以以自适应的方式防止在放大期间的“空洞”现象和防止在缩小期间的粗糙的低质量显像。
同时，根据本发明，为了增加显像速度，使用从参考图像中消除背景数据的技术。一般，仅仅参考图像的一部分被用做物体数据，而剩余部分被用做背景，无价值部分。这在图17中被详细描述。根据本发明，在用于3D变形的存储器分配和被认为保持原样的变形期间消除背景数据。因此，可以减少存储器使用和提高显像速度。
在存储参考图像之前，消除在包含该物体的最小尺寸的方块周围的背景数据，以便减少存储器使用和提高显像速度。而且，在存储参考图像期间，消除除了物体之外的在最小尺寸的方块内的背景数据，以便进一步减少存储器使用和提高显像速度。
现在，将描述点纹理显像。图12示出了用于根据本发明一个实施例的、基于深度图像的3D图形数据的点纹理数据的高速显像的装置的方框图。用于点纹理数据的高速显像的装置包括：点纹理初始化单元1200、变形顺序确定单元1210、点纹理条单元1220和点纹理显像单元1230。
点纹理初始化单元1200将3D物体生成点纹理数据格式。
变形顺序确定单元1210在相对于点纹理的参考图像的预定视点上、根据投影点的位置和深度坐标值的符号来确定画像素的变形顺序。然而，由于正交投射的属性应当被认为与McMillan的变形方法不同，所以变形顺序不根据投影点的深度坐标值的符号变化。参考图像不包括在包含物体的最小尺寸的方块之外的背景数据。最好是，变形顺序确定单元1210还包括坐标变换单元12。坐标变换单元1 2在视点改变时，将其中已限定点纹理的参考坐标系变换成眼坐标系。如图14所示，坐标变换单元12包括：定点变换单元1400，用于将浮点数变换成定点数；坐标变换单元1410，用于通过使用所变换的定点数来执行坐标变换；和浮点变换单元1420，用于将坐标变换的结果变换成浮点表示。
点纹理条单元1220根据从预定视点到3D物体的距离来自适应地控制条尺寸。点纹理条单元1220具有与上述相关于简单纹理的条单元630类似的功能和结构。
点纹理显像单元1230通过利用变形顺序和适当尺寸的条来执行3D物体的显像。
同时，点纹理初始化单元1200可以具有两个可选程序，一个将具有八立方体结构的3D物体数据变换成点纹理数据，而另一个确认点纹理数据本身，其中不变换点纹理。图13示出了在用于将3D物体数据变换成点纹理数据的点纹理初始化单元1200中的用于八立方体数据的方框图，其被重组以用于八立方体结构。在点纹理初始化单元1200中用于八立方体数据的变换部分包括：八立方体解码单元1300、深度值计算单元1310、和色彩值产生单元1320。
八立方体解码单元1300对由八立方体结构表示的3D物体数据进行解码。在深度值计算单元1310中，包括所解码的八立方体的六面体的预定表面被定义为参考表面，且然后八立方体的体素(voxel)被投射到法向方向上的参考表面的特定像素位置上，以便从体素到与投射到参考表面上的体素相关的像素的距离被定义为深度值。色彩值产生单元1320产生体素的色彩值。
图15是说明根据本发明实施例的、用于基于深度图像的3D图形数据的点纹理数据的高速显像的装置的操作的流程图。现在，将描述根据本发明的操作。
为了以高速显示3D图形物体，需要能够以少量存储器使用和计算量来实现该高速显示的数据结构。由多边形表示的传统模型具有低显像速度并需要大量存储器使用，以致于它不适合于在移动终端中显示高清晰图像(如真实图片)的方法。相反，由于点纹理具有格子式图像结构以及与3D坐标和物体的表面两者相关的信息，所以可以以少量计算量在新视点上识别图像。换句话说，由于不需要象多边形模型的复杂计算，所以本发明可以被有效地应用于具有有限性能和容量的移动终端。
首先，点纹理初始化单元1200产生3D物体的点纹理数据(操作1500)。点纹理的参考图像具有除在包含物体的最小尺寸的方块区域外部的背景数据之外的深度和色彩数据。
变形顺序确定单元1210根据相对于点纹理的参考图像的投影点的位置来确定在预定视点上画像素的变形顺序(操作1510)。
接着，点纹理条单元1220根据从预定视点到3D物体的距离来自适应地控制条尺寸(操作1520)。通过根据参考图像的分辨率和目标图像的分辨率之间的比较来确定初始条尺寸以及根据放大/缩小的放大/缩小比率来修改条尺寸而完成条尺寸的自适应控制以产生目标图像。
如果目标图像的分辨率小于或等于参考图像的分辨率，则根据放大/缩小比率来减少目标图像的尺寸，以及条尺寸被设置成1。在放大期间通过使用放大比率来增加条尺寸以防止“空洞”现象。在缩小期间减小条尺寸以保持预定级别的显像质量。
通过由点纹理显像单元1230所确定的变形顺序和适当尺寸的条来完成3D物体显像(操作1530)。然而，由于点纹理显像使用Shade的算法，所以变形方向沿着朝向投影点的方向而与深度坐标值的符号无关，这是因为正交投射的属性不象由Shade所采用的McMillian的变形算法。
同时，点纹理初始化单元1200可以产生八立方体结构的数据作为点纹理数据。图13示出了产生八立方体结构的数据的过程。
更具体地，由于3D体素结构甚至允许不包含物体的空闲空间具有色彩值，从而不是有效的。一般，为了实现分层数据结构和减少存储器使用，采用3D八立方体体素结构以根据八立方体结构来连接体素。然而，这样的3D八立方体体素结构仍然具有大量数据。因此，为了以高速显示它们，需要优化存储器使用和计算量。因此，如果八立方体体素结构被变换成点纹理，则存储仅仅与具有数据的区域相关的信息，以便可以减少数据量，以及数据管理也可以变得便利。
图18是说明八立方体结构的显像顺序的流程图。首先，接收八立方体结构(操作1800)。接着，解码八立方体数据以得到色彩值和位置值(操作1810)。结果，如果八立方体的特定参考表面被认定为图像，则可以识别出特定点所需的深度数据的数量。所需深度数据的数量最终对应于所产生的点纹理的特定点的层数。因此，为仅仅相同数量的层完成存储器分配，并且为所产生的点纹理数据结构存储深度和色彩值(操作1820)。
由于根据八立方体图像显像，通过在变换成点纹理结构之后利用原来的点纹理显像方法来完成变形(操作1830)和泼溅(操作1840)，可以减少存储器使用和提高显像速度。
现在，将说明通过实际执行本发明所获得的数据。图19示出了由简单纹理所表示的BOO图像数据的显像结果。如图19(a)、(b)和(c)所示，可看出，当在放大期间增加条尺寸时，防止了“空洞”现象。然而，也可识别出，由于参考图像的一个像素不得不对应于目标屏幕的多个像素，所以减小了平均显像速度。这在图22中得到很好的说明，图22示出了基于简单纹理的模型的量化显像结果。
图20(a)、(b)和(c)示出了由点纹理数据所表示的花图像的显像结果。而且，图21(a)和(b)示出由八立方体数据表示的天使图像的显像结果。
图22和23示出了某些基于图像的模型的显像的量化结果。然而，显像速度有时根据模型类型和条尺寸变化，并且对于点纹理和八立方体图像，每秒可以处理500,000个点。这对应于传统基于多边形的显像的每秒1,000,000个三角形。到目前为止，通过使用基于多边形的显像在移动终端不能获得该性能。
本发明也可以被体现为在计算机可读记录介质上的计算机可读代码。计算机可读记录介质是任何可以存储数据的数据存储装置，所述数据在以后可以由计算机***读取。计算机可读记录介质的例子包括只读存储器(ROM)、随机访问存储器(RAM)、CD-ROM、磁带、软盘、光数据存储装置和载波(诸如通过互联网的数据传输)。
根据本发明，由于以基于图像的方式表示的3D图形物体被方便地显像，所以可以减少存储器使用和增加每秒显示的图像的数量。特别是，当本发明应用于移动终端时，可以有效地完成3D图形物体的显像。
而且，由于可以减少存储器使用和用于存储访问的能量消耗，所以如果本发明应用于便携式装置，则可以增加使用时限。而且，甚至在具有有限的中央处理器(CPU)性能和存储容量的便携式装置，如个人数据助理(PDA)或移动电话以及个人计算机中，可以以高速完成显像。
虽然已参照本发明的示例性实施例详细展示和描述了本发明，但是本技术领域人员应当理解，在不脱离如所附权利要求所限定的本发明的精神和范围的情况下，可以在其中进行形式上和细节上的各种变化。示例性实施例应当被认为是描述性的，而不是用于限制目的。因此，本发明的范围不是由本发明的详细描述，而是由所附权利要求限定，并且，在该范围中的所有区别将被认为包含在本发明中。
[引用的参考文献]
[1]ISO/IEC JTC1/SC29/WG11 14496-16，Coding of Audio-Visual Objects：Animation Framework eXtension(AFX)。
[2]M.Oliveira，G.Bishop，和D.McAllister，“Relief textures mapping”，Proc.SIGGRAPH’00，第359-368页，2000年7月。
[3]Yuri Bayakovski，Leonid Levkovich-Maslyuk，Alexey lgnatenko，AntonKonushin，Dmitri Timasov，Alexander Zhirkov，Mahnjin Han，和In Kyu Park，“Depth image-based representations for static and animated 3D objects”Proc.IEEE International Conference on Image Processing，vol.III，第25-28页，Rochester，USA，2002年9月。
[4]L.McMillan，An image-based approach to three-dimensional computergraphics，Ph.D Dissertation，University of North Carolina at Chapel Hill，1997。
[5]J.Shade，S.Gortler，L.He，和R.Szeliski，Layered depth images，Proc.ofSIGGRAPH’98，第231-242页，1998年7月。

Claims (31)

1、一种基于深度图像的三维(3D)图形数据的高速显像的方法，所述方法包括：
向由多个参考图像组成的简单纹理数据分配存储器；
通过在预定视点上执行所述简单纹理数据的每一参考图像的3D变形来获得多个变形图像；
通过执行组成所述多个变形图像的每一像素的深度测试来获得深度数据和色彩数据；和
通过使用所述深度数据和所述色彩数据来显示物体。
2、如权利要求1所述的方法，其中所述向简单纹理数据分配存储器的特征在于：删除在包含所述物体的最小尺寸的方块之外的背景数据。
3、如权利要求1所述的方法，其中获得多个变形图像包括：
通过将在新视点上的眼坐标系的中心投射到所述简单纹理数据的参考图像来搜索投影点；
根据在所述参考图像中限定的9个区域中的哪一区域对应于所述投影点所投射到的区域来确定所述参考图像的像素的变形顺序；
通过根据所述变形顺序将其中已定义简单纹理的参考坐标系的每一坐标值变换成眼坐标系来获得变形的图像；和
对于所述简单纹理数据的参考图像重复进行从搜索投影点到获得变形图像的操作。
4、如权利要求1所述的方法，其中由浮点算数运算的定点算数运算来完成执行3D变形，以及
其中，所述定点算数运算包括：
将浮点数变换成相应的定点数；
通过使用所变换的定点数来执行坐标变换；和
将坐标变换的结果变换成浮点表示。
5、如权利要求1所述的方法，其中执行深度测试包括：
分别在前深度缓冲器和前色彩缓冲器中存储由所述第一参考图像的变形步骤所获得的深度值和色彩值；
分别在后深度缓冲器和后色彩缓冲器中存储由所述第二参考图像的变形步骤所获得的深度值和色彩值；
比较存储在所述前深度缓冲器中的深度值和存储在后深度缓冲器中的深度值；
如果比较结果是存储在所述前深度缓冲器中的深度值大于存储在所述后深度缓冲器中的深度值，则分别使用存储在所述后深度缓冲器中的深度值和存储在所述后色彩缓冲器中的色彩值替换存储在所述前深度缓冲器中的深度值和存储在所述前色彩缓冲器中的色彩值；和
对所有变形图像重复执行从存储深度值和色彩值的步骤到替换深度值和色彩值的步骤。
6、如权利要求1所述的方法，其中执行深度测试的步骤还包括根据从预定视点到3D物体的距离来自适应地控制条尺寸，和
其中通过使用深度数据、色彩数据和适当调整尺寸的条来完成显示物体的步骤。
7、如权利要求6所述的方法，其中自适应地控制条尺寸的步骤包括：
通过比较参考图像的分辨率和目标图像的分辨率来确定初始条尺寸；和
根据放大/缩小操作的放大/缩小比率来调整初始条尺寸以产生目标图像。
8、如权利要求7所述的方法，其中确定初始条尺寸的步骤的特征在于：如果目标图像的分辨率小于或等于参考图像的分辨率，则条尺寸被设置成1，以及如果目标图像的分辨率大于参考图像的分辨率，则所述条尺寸被设置成平均放大高宽比。
9、如权利要求7所述的方法，其中调整初始条尺寸的步骤的特征在于：以缩放比率增加条尺寸以便防止在放大期间的“空洞”现象，以及以缩放比率缩小条尺寸以便保证在缩小期间的预定级别的显像质量。
10、一种基于深度图像的三维(3D)图形数据的高速显像的方法，所述方法包括：
读取3D物体的点纹理数据；
根据投影点的位置和深度坐标值的符号，来确定在预定视点上的点纹理的参考图像的变形顺序；和
通过使用所述变形顺序来显示3D物体。
11、如权利要求10所述的方法，其中读取3D物体的步骤包括：将由八立方体结构所表示的3D物体数据变换成点纹理数据，并读取所变换的3D物体数据。
12、如权利要求11所述的方法，其中读取3D物体的步骤包括：
对由八立方体结构表示的3D物体数据进行解码；
在相对于参考表面的法向方向上将所述八立方体的体素投射到参考表面的预定像素位置上，所述参考表面对应于包括所解码的八立方体的六面体的预定表面；
将从所述体素到对应于投射到所述参考表面上的体素的像素的距离定义为深度值；和
将所述体素的色彩定义为色彩值。
13、如权利要求10所述的方法，其中确定变形顺序的步骤包括：
确定朝向所投射投影点的参考图像的像素的水平和垂直变形顺序；和
如果投影点的深度轴坐标值为正，则确定参考图像的像素的深度轴(z轴)变形顺序为由后向前方向，或者如果投影点的深度轴坐标值为负，则确定参考图像的像素的深度轴(z轴)变形顺序为由前向后方向。
14、如权利要求13所述的方法，其中通过执行浮点运算的定点算数运算来完成通过使用所述变形顺序而显示3D物体的步骤，和
其中所述定点算数运算包括运算：
将浮点数变换成相应的定点数；
通过使用所变换的定点数来执行坐标变换；和
将坐标变换结果变换成浮点表示。
15、如权利要求10所述的方法，其中确定变形顺序的步骤还包括：根据从预定视点到3D物体的距离来自适应地控制条尺寸，和
其中通过使用所述变形顺序和合适尺寸的条来显示3D物体。
16、如权利要求15所述的方法，其中自适应控制条尺寸的步骤包括：
通过比较参考图像的分辨率和目标图像的分辨率来确定初始条尺寸；和
根据放大/缩小操作的放大/缩小比率来调整初始条尺寸以产生目标图像。
17、如权利要求16所述的方法，其中确定初始条尺寸的步骤的特征在于：如果目标图像的分辨率小于或等于参考图像的分辨率，则条尺寸被设置成1，或者如果目标图像的分辨率大于参考图像的分辨率，则所述条尺寸被设置成平均放大高宽比。
18、如权利要求16所述的方法，其中调整初始条尺寸的步骤的特征在于：以缩放比率放大条尺寸以便防止在放大期间的“空洞”现象，以及以缩放比率缩小条尺寸以便保持在缩小期间的预定级别的显像质量。
19、一种基于深度图像的三维(3D)图形数据的高速显像的装置，所述装置包括：
简单纹理数据存储分配单元，用于向由多个参考图像组成的简单纹理数据分配存储器；
变形单元，用于在预定视点上执行对简单纹理数据存储分配单元的简单纹理的每一参考图像的3D变形；
深度测试单元，用于对多个变形图像的每一像素执行深度测试以获得深度数据和色彩数据；和
显像单元，用于通过使用所述深度数据和所述色彩数据来显示3D物体。
20、如权利要求19所述的装置，其中所述简单纹理数据的每一参考图像的特征在于：删除在包含所述物体的最小尺寸的方块周围的背景数据。
21、如权利要求19所述的装置，其中所述变形单元包括：
极向变换单元，用于通过将在预定视点上的眼坐标系的中心投射到所述简单纹理数据的参考图像来搜索投影点；
变形顺序确定单元，用于根据在所述参考图像中限定的9个区域中的哪一区域对应于所述投影点所投射到的区域来确定所述参考图像的像素的变形顺序；和
像素变形单元，用于将根据所述变形顺序已定义的简单纹理的参考坐标系的每一坐标值变换成眼坐标系来获得变形图像。
22、如权利要求19所述的装置，其中所述变形单元中的操作的特征在于：将浮点表示变换成定点表示；通过使用定点表示来执行坐标变换；以及然后将定点表示变换成浮点表示。
23、如权利要求19所述的装置，其中所述深度测试单元包括：
前深度缓冲器，用于存储由所述第一参考图像的变形所产生的深度值；
前色彩缓冲器，用于存储由所述第一参考图像的变形所产生的色彩值；
后深度缓冲器，用于存储由所述第二参考图像的变形所产生的深度值；
后色彩缓冲器，用于存储由所述第二参考图像的变形所产生的色彩值；
深度比较单元，用于比较存储在所述前深度缓冲器中的深度值和存储在后深度缓冲器中的深度值；和
更新单元，如果比较结果是存储在所述前深度缓冲器中的深度值大于存储在所述后深度缓冲器中的深度值，则分别使用存储在所述后深度缓冲器中的深度值和存储在所述后色彩缓冲器中的色彩值替换存储在所述前深度缓冲器中的深度值和存储在所述前色彩缓冲器中的色彩值，以及对所有的参考图像重复执行从存储深度值和色彩值到替换深度值和色彩值的步骤。
24、如权利要求19所述的装置，其中所述深度测试单元还包括条单元，用于根据从预定视点到3D物体的距离来自适应地控制条尺寸，和
其中通过使用所述深度数据、色彩数据和适当尺寸的条来显示所述3D物体。
25、如权利要求24所述的装置，其中所述条单元包括：
条尺寸确定单元，用于通过比较参考图像的分辨率和目标图像的分辨率来确定初始条尺寸；和
自适应条单元，用于根据放大/缩小操作的放大/缩小比率来调整初始条尺寸以产生目标图像。
26、一种基于深度图像的三维(3D)图形数据的高速显像的装置，其中所述装置包括：
点纹理初始化单元，用于读取3D物体的点纹理数据；
变形顺序确定单元，用于根据投影点的位置和深度坐标值的符号，来确定预定视点上的点纹理的参考图像的画像素的变形顺序；
点纹理条单元，用于根据从预定视点到3D物体的距离来自适应地控制条尺寸；和
显像单元，用于通过使用所述变形顺序和适当尺寸的条来显示3D物体。
27、如权利要求26所述的装置，其中所述点纹理初始化单元将由八立方体结构所表示的3D物体数据变换成点纹理数据。
28、如权利要求27所述的装置，其中所述点纹理初始化单元包括：
八立方体解码单元，用于对由八立方体结构所表示的3D物体数据进行解码；
深度值计算单元，用于在相对于所述参考表面的法向方向上将所述八立方体的体素投射到参考表面的预定像素位置上，所述参考表面对应于包括所解码的八立方体的六面体的预定表面，并且将从所述体素到对应于投射到所述参考表面上的体素的像素的距离定义为深度值；和
色彩值产生单元，用于将所述体素的色彩定义为色彩值。
29、如权利要求26所述的装置，其中由所述变形顺序确定单元所确定的变形顺序包括：
朝向所投射的投影点的参考图像的像素的水平和垂直变形顺序；和
如果投影点的深度轴坐标值为正，则参考图像的像素的深度轴(z轴)变形顺序为由后向前方向，或者如果投影点的深度轴坐标值为负，则参考图像的像素的深度轴(z轴)变形顺序为由前向后方向。
30、如权利要求26所述的装置，其中所述变形顺序确定单元中的变形操作的特征在于：将浮点表示变换成相应的定点表示；通过使用定点表示来执行坐标变换；以及然后将定点表示变换成浮点表示。
31、一种存储用于在计算机中执行根据权利要求1到18所述的方法之一的程序的计算机可读记录介质。
CNA2005100061171A 2004-02-10 2005-01-28 基于深度图像的三维图形数据的高速显像的装置和方法 Pending CN1655192A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR0008741/2004 2004-02-10
KR10-2004-0008741A KR100519779B1 (ko) 2004-02-10 2004-02-10 깊이영상기반 3차원 그래픽 데이터의 고속 시각화 방법 및장치

Publications (1)

Publication Number Publication Date
CN1655192A true CN1655192A (zh) 2005-08-17

Family

ID=34698967

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005100061171A Pending CN1655192A (zh) 2004-02-10 2005-01-28 基于深度图像的三维图形数据的高速显像的装置和方法

Country Status (5)

Country Link
US (1) US7450132B2 (zh)
EP (1) EP1564687A3 (zh)
JP (1) JP2005228320A (zh)
KR (1) KR100519779B1 (zh)
CN (1) CN1655192A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100346357C (zh) * 2006-01-19 2007-10-31 上海交通大学 用三维标记点直接进行三维模型变形的方法
CN101271583B (zh) * 2008-04-28 2010-04-21 清华大学 一种基于深度图的快速图像绘制方法
CN102375673A (zh) * 2010-08-11 2012-03-14 Lg电子株式会社 用于控制图像深度的方法以及利用该方法的移动终端
CN101443818B (zh) * 2006-05-16 2013-01-02 高通股份有限公司 具有深度引擎的动态复位的图形***
CN103748612A (zh) * 2011-01-24 2014-04-23 英特尔公司 用于获取、表示、比较和传输三维数据的方法和***
CN101620743B (zh) * 2008-06-30 2015-06-17 英特尔公司 用隐藏面消除的图形处理
CN104050706B (zh) * 2013-03-12 2017-07-07 辉达公司 用于低功率图形渲染的像素着色器旁路
CN107209923A (zh) * 2015-02-10 2017-09-26 高通股份有限公司 图形处理中的混合渲染
CN108182656A (zh) * 2017-12-28 2018-06-19 深圳市创梦天地科技股份有限公司 一种图像处理方法及终端
CN111033575A (zh) * 2017-08-09 2020-04-17 夏普株式会社 图像处理装置、显示装置、图像发送装置、图像处理方法、控制程序以及记录介质
CN112534479A (zh) * 2018-07-23 2021-03-19 微软技术许可有限责任公司 用于减少视觉噪声的深度射线层

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100657940B1 (ko) * 2004-12-28 2006-12-14 삼성전자주식회사 깊이 영상 기반 표현 데이터 압축에 관한 메타표현을이용한 입력파일 생성 방법 및 시스템과, ａｆｘ부호화방법 및 장치
KR100714672B1 (ko) * 2005-11-09 2007-05-07 삼성전자주식회사 스플렛을 이용한 깊이 기반의 영상 렌더링 방법 및 그방법을 채용한 시스템
KR100723421B1 (ko) * 2006-03-13 2007-05-30 삼성전자주식회사 포인트 보간에 의한 렌더링 방법, 포인트 보간에 의한 렌더링 장치 및 기록매체
US8134570B1 (en) * 2006-09-18 2012-03-13 Nvidia Corporation System and method for graphics attribute packing for pixel shader usage
KR101239965B1 (ko) 2006-11-08 2013-03-06 연세대학교 산학협력단 렌더링 장치 및 방법
KR100858086B1 (ko) * 2007-01-30 2008-09-10 삼성전자주식회사 렌더링 장치 및 방법
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
US9641822B2 (en) * 2008-02-25 2017-05-02 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional (3D) images
KR101526948B1 (ko) * 2008-02-25 2015-06-11 삼성전자주식회사 3ｄ 영상 처리 방법
JP5491498B2 (ja) * 2008-05-30 2014-05-14 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド 拡大縮小可能で且つ統合化されたコンピュータシステム
US8379058B2 (en) * 2008-06-06 2013-02-19 Apple Inc. Methods and apparatuses to arbitrarily transform windows
US20110109617A1 (en) * 2009-11-12 2011-05-12 Microsoft Corporation Visualizing Depth
KR101289269B1 (ko) * 2010-03-23 2013-07-24 한국전자통신연구원 영상 시스템에서 영상 디스플레이 장치 및 방법
JP5812716B2 (ja) * 2010-08-27 2015-11-17 キヤノン株式会社 画像処理装置および方法
US9582928B2 (en) 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
CN102737617B (zh) * 2011-04-01 2014-04-30 华为终端有限公司 视频图像显示的方法和装置
CN102186095B (zh) * 2011-05-03 2012-12-12 四川虹微技术有限公司 一种适用于深度图像绘制的匹配误差校正方法
EP2627093A3 (en) * 2012-02-13 2013-10-02 Thomson Licensing Method and device for inserting a 3D graphics animation in a 3D stereo content
US9256788B2 (en) * 2012-11-02 2016-02-09 Qualcomm Incorporated Method for initializing and solving the local geometry or surface normals of surfels using images in a parallelizable architecture
JP6041651B2 (ja) * 2012-12-10 2016-12-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR20140142470A (ko) 2013-06-04 2014-12-12 한국전자통신연구원 나무 모델과 숲 모델 생성 방법 및 장치
US10198856B2 (en) * 2013-11-11 2019-02-05 Oxide Interactive, LLC Method and system of anti-aliasing shading decoupled from rasterization
CN103945206B (zh) * 2014-04-22 2015-08-26 冠捷显示科技（厦门）有限公司 一种基于相似帧比较的立体图像合成***
KR102230200B1 (ko) * 2014-07-04 2021-03-19 삼성전자주식회사 객체에 대한 바운딩 박스의 좌표 값을 표현하는 방법 및 장치
US9948911B2 (en) * 2014-09-05 2018-04-17 Qualcomm Incorporated Method and apparatus for efficient depth image transformation
US10567739B2 (en) * 2016-04-22 2020-02-18 Intel Corporation Synthesis of transformed image views
US11151739B2 (en) * 2016-08-24 2021-10-19 Universitat Zurich Simultaneous localization and mapping with an event camera
US11050991B2 (en) * 2016-09-29 2021-06-29 Koninklijke Philips N.V. Image processing using a plurality of images for a three dimension scene, having a different viewing positions and/or directions
EP3428887A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing Method and device for encoding a point cloud
KR102068489B1 (ko) * 2018-03-30 2020-01-22 (주)온넷시스템즈코리아 3차원 객체 생성 장치
KR20200030305A (ko) * 2018-09-12 2020-03-20 삼성전자주식회사 영상 처리를 위한 학습 데이터 생성 방법, 영상 처리 방법, 및 그 장치들
US12014472B1 (en) * 2019-09-03 2024-06-18 Apple Inc. Methods and devices for improved inverse iterative warping
US11436783B2 (en) 2019-10-16 2022-09-06 Oxide Interactive, Inc. Method and system of decoupled object space shading
KR102635694B1 (ko) * 2021-07-29 2024-02-13 (주)그래피카 3d 고속 렌더링을 위한 3d 데이터 변환 및 사용 방법
US11830140B2 (en) * 2021-09-29 2023-11-28 Verizon Patent And Licensing Inc. Methods and systems for 3D modeling of an object by merging voxelized representations of the object
CN114429523B (zh) * 2022-02-10 2024-05-14 浙江慧脑信息科技有限公司 一种控制三维模型分区贴图的方法
CN116958375A (zh) * 2022-04-20 2023-10-27 象帝先计算技术(重庆)有限公司 图形处理器、***、装置、设备及方法
CN117830175B (zh) * 2024-03-05 2024-06-07 暨南大学 一种任意取向条件下图像几何扭曲自定标方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL108668A (en) * 1993-02-25 1998-09-24 Hughes Training Inc A method and system for creating a plurality of 3D image characters
US5409379A (en) * 1993-10-29 1995-04-25 Southwest Research Institute Weather simulation system
US6466207B1 (en) * 1998-03-18 2002-10-15 Microsoft Corporation Real-time image rendering with layered depth images
US6999073B1 (en) * 1998-07-20 2006-02-14 Geometrix, Inc. Method and system for generating fully-textured 3D
US6424351B1 (en) * 1999-04-21 2002-07-23 The University Of North Carolina At Chapel Hill Methods and systems for producing three-dimensional images using relief textures
JP3504240B2 (ja) * 2000-07-24 2004-03-08 株式会社ソニー・コンピュータエンタテインメント 画像処理システム、デバイス、方法及びコンピュータプログラム
US6727908B1 (en) * 2000-08-31 2004-04-27 Micron Technology, Inc. Non-linear interpolation scaling system for a graphics processing system and method for use thereof
US6756993B2 (en) * 2001-01-17 2004-06-29 The University Of North Carolina At Chapel Hill Methods and apparatus for rendering images using 3D warping techniques
RU2216781C2 (ru) * 2001-06-29 2003-11-20 Самсунг Электроникс Ко., Лтд Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта
US6975756B1 (en) * 2002-03-12 2005-12-13 Hewlett-Packard Development Company, L.P. Image-based photo hulls
US7215340B2 (en) * 2002-07-19 2007-05-08 Mitsubishi Electric Research Laboratories, Inc. Object space EWA splatting of point-based 3D models
US7015914B1 (en) * 2003-12-10 2006-03-21 Nvidia Corporation Multiple data buffers for processing graphics data

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100346357C (zh) * 2006-01-19 2007-10-31 上海交通大学 用三维标记点直接进行三维模型变形的方法
CN101443818B (zh) * 2006-05-16 2013-01-02 高通股份有限公司 具有深度引擎的动态复位的图形***
CN101271583B (zh) * 2008-04-28 2010-04-21 清华大学 一种基于深度图的快速图像绘制方法
CN101620743B (zh) * 2008-06-30 2015-06-17 英特尔公司 用隐藏面消除的图形处理
CN102375673A (zh) * 2010-08-11 2012-03-14 Lg电子株式会社 用于控制图像深度的方法以及利用该方法的移动终端
CN103748612B (zh) * 2011-01-24 2018-04-27 英特尔公司 用于获取、表示、比较和传输三维数据的方法和***
CN103748612A (zh) * 2011-01-24 2014-04-23 英特尔公司 用于获取、表示、比较和传输三维数据的方法和***
CN104050706B (zh) * 2013-03-12 2017-07-07 辉达公司 用于低功率图形渲染的像素着色器旁路
CN107209923A (zh) * 2015-02-10 2017-09-26 高通股份有限公司 图形处理中的混合渲染
CN107209923B (zh) * 2015-02-10 2021-07-06 高通股份有限公司 图形处理中的混合渲染
CN111033575A (zh) * 2017-08-09 2020-04-17 夏普株式会社 图像处理装置、显示装置、图像发送装置、图像处理方法、控制程序以及记录介质
CN108182656A (zh) * 2017-12-28 2018-06-19 深圳市创梦天地科技股份有限公司 一种图像处理方法及终端
CN112534479A (zh) * 2018-07-23 2021-03-19 微软技术许可有限责任公司 用于减少视觉噪声的深度射线层

Also Published As

Publication number Publication date
EP1564687A2 (en) 2005-08-17
US20050174346A1 (en) 2005-08-11
KR100519779B1 (ko) 2005-10-07
US7450132B2 (en) 2008-11-11
JP2005228320A (ja) 2005-08-25
EP1564687A3 (en) 2006-07-12
KR20050080650A (ko) 2005-08-17

Similar Documents

Publication Publication Date Title
CN1655192A (zh) 基于深度图像的三维图形数据的高速显像的装置和方法
Wei et al. State of the art in example-based texture synthesis
Maglo et al. 3d mesh compression: Survey, comparisons, and emerging trends
Oh et al. Image-based modeling and photo editing
CN1215443C (zh) 三维物体的分层表示及利用其绘制物体的方法和装置
Chang et al. Enhancing 3D graphics on mobile devices by image-based rendering
CN102693527B (zh) 用于对图像执行模糊渲染处理的方法和装置
US7161601B2 (en) Synthesis of progressively-variant textures and application to arbitrary surfaces
Merrell et al. Continuous model synthesis
JP5482394B2 (ja) 画像処理方法および画像処理装置
WO2012096790A2 (en) Planetary scale object rendering
CN1932885A (zh) 三维图像处理
CN107784683B (zh) 四边形化的分层深度图像
CN117178297A (zh) 微网格，用于计算机图形的结构化几何体
CN1226702C (zh) 用于表示3维情景中基于图像的绘制信息的方法
CN1788283A (zh) 镜头呈现方法和装置
EP2257930A1 (en) Inverse texture synthesis
Zhang et al. Adaptive joint optimization for 3d reconstruction with differentiable rendering
Sumantri et al. 360 panorama synthesis from a sparse set of images on a low-power device
CN1290064C (zh) 用于合成高维纹理的设备和方法
CN1256706C (zh) 基于多样图的纹理转移方法
CN1231101A (zh) 图像映射装置和图像映射方法、以及图像生成装置和图像生成方法
CN114202611A (zh) 基于时空瓦片的三维图形渲染方法及装置
CN1738247A (zh) 移动图形渐进传输引擎技术
US11961186B2 (en) Method and system for visually seamless grafting of volumetric data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned