CN102224738A - 在三维图形用户界面中扩展二维图形 - Google Patents

在三维图形用户界面中扩展二维图形 Download PDF

Info

Publication number
CN102224738A
CN102224738A CN2009801468904A CN200980146890A CN102224738A CN 102224738 A CN102224738 A CN 102224738A CN 2009801468904 A CN2009801468904 A CN 2009801468904A CN 200980146890 A CN200980146890 A CN 200980146890A CN 102224738 A CN102224738 A CN 102224738A
Authority
CN
China
Prior art keywords
graphic
depth
user interface
data structure
control element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801468904A
Other languages
English (en)
Inventor
P·S·牛顿
F·斯卡洛里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102224738A publication Critical patent/CN102224738A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供了一种在三维（3D）图像设备（13）上提供用于经由用户控制装置（15）控制用户设备（10）的3D图形用户界面的***。该用户控制装置被布置来接收用户动作并生成对应的控制信号。提供表示用于在3D图形用户界面中显示的图形控制元素的图形数据结构。该图形数据结构具有用于表示该图形控制元素的二维（2D）图像数据、并且还具有用于在3D图形用户界面中一深度位置处定位2D图像数据的至少一个深度参数。

Description

在三维图形用户界面中扩展二维图形
技术领域
本发明涉及一种在3D图像设备上提供用于经由用户控制装置（means）控制用户设备的三维（3D）图形用户界面（GUI）的方法，该用户控制装置被布置为接收用户动作并生成对应的控制信号。
本发明还涉及一种3D图像设备，其提供用于经由用户控制装置控制用户设备的3D图形用户界面，该用户控制装置被布置为接收用户动作并生成对应的控制信号。
本发明涉及在3D图像设备上呈现和显示图像数据（例如，视频）并提供用于由用户控制用户设备（例如，3D图像设备本身或与其耦接的另一用户设备）的GUI的领域，所述用户经由诸如遥控单元、鼠标、操纵杆、专用按钮、光标控制按钮等的用户控制装置来操作（导航、选择、激活等）GUI中的图形元素。
背景技术
用于呈现视频数据的设备是公知的，例如，用于呈现数字视频信号的诸如DVD播放器、BD播放器或机顶盒的视频播放器。该呈现设备通常被用作要耦接到诸如电视机的显示设备的源设备。经由诸如HDMI的适当接口从源设备传输图像数据。视频播放器的用户被提供有一组用户控制元素（control element），诸如，遥控设备上的按钮、或者图形用户界面（GUI）中的虚拟按钮和其它用户控制组件。用户控制元素允许用户经由GUI调节视频播放器中图像数据的呈现。
现有设备基于二维（2D）显示技术并且例如在移动电话中或在2D PC监视器上应用2D GUI来控制各种功能。此外，正在开发3D图形***。例如，文献WO 2008/044191描述了一种用于创建3D图形数据的图形***。形成表示3D图形数据的图形流。图形流包括第一区段和第二区段，所述第一区段具有2D图形数据，而所述第二区段包括深度图。显示设备基于数据流呈现3D字幕或图形图像。
发明内容
3D GUI的开发要求例如通过添加深度图来将现有的2D元素重建为3D对象。然而，创建、处理和应对新的3D对象要求强大的处理环境。
本发明的目的是提供较不复杂的3D图形用户界面。
为此目的，根据本发明的第一方面，在如开头段落中描述的方法中，包括：提供表示用于在3D图形用户界面中显示的图形控制元素的图形数据结构，提供具有用于表示该图形控制元素的二维（2D）图像数据的图形数据结构，以及提供具有用于在3D图形用户界面中一深度位置处定位2D图像数据的至少一个深度参数的图形数据结构。
为此目的，根据本发明的第二方面，3D图像设备包括：输入装置，其用于接收表示用于在3D图形用户界面中显示的图形控制元素的图形数据结构，该图形数据结构具有用于表示该图形控制元素的二维（2D）图像数据，并具有至少一个深度参数；以及图形处理器装置，其用于处理该图形数据结构以在3D图形用户界面中一深度位置处定位该2D图像数据。
为此目的，根据本发明的另一方面，提供了表示图形控制元素的图形数据结构，所述图形控制元素用于在三维（3D）图像设备上的、用于经由用户控制装置控制用户设备的3D图形用户界面中显示，该用户控制装置被布置为接收用户动作并生成对应的控制信号，该图形数据结构包括用于表示该图形控制元素的二维（2D）图像数据、以及用于在3D图形用户界面中一深度位置处定位2D图像数据的至少一个深度参数。
为此目的，根据本发明的另一方面，提供了一种包括图像数据的记录载体，所述图像数据用于提供在三维（3D）图像设备上的、用于经由用户控制装置控制用户设备的3D图形用户界面，该用户控制装置被布置为接收用户动作并生成对应的控制信号，该记录载体包括由物理上可检测的标记构成的轨道，所述标记包括图像数据，所述图像设备被布置为接收图像数据，该图像数据包括表示在3D图形用户界面中显示的图形控制元素的图形数据结构，该图形数据结构包括用于表示该图形控制元素的二维（2D）图像数据、以及用于在3D图形用户界面中一深度位置处定位2D图像数据的至少一个深度参数。
为此目的，根据本发明的另一方面，提供了一种用于提供三维（3D）图像设备上的3D图形用户界面的计算机程序产品，该程序操作使得处理器执行如上面所限定的方法。
上述方面构成了用于提供三维图形用户界面的***。在该***中，所述手段具有以下效果：通过添加深度参数来扩展现有的2D图形数据结构。该图形数据结构的图像数据具有2D结构，而添加的至少一个深度参数允许以期望的深度级将该元素定位在3D显示中。此外，用户控制装置提供控制信号以便基于在3D GUI空间中定位的2D图形元素来通过3D GUI进行操作和导航。
本发明还基于以下认识。3D图形对象的创建和处理要求大量处理能力，这增加了设备的复杂度和价格水平。此外，将存在大量的根本不能处理或显示3D数据的传统设备。发明人已经看到：通过提供基于2D***的、但就在3D空间中定位增强的2D图形元素而言有所增强的GUI，可以在传统2D环境和新的3D***之间实现有效的兼容性。增强的2D图形元素允许在所述空间中在这样的元素之间进行导航。
在该***的实施例中，图形数据结构包括以下深度参数的至少一个：
－作为对应2D图形数据结构的附加变量（argument）的、用于指示当前图形控制元素在深度方向中的位置的深度位置，
－作为对应2D图形数据结构的颜色模型的附加坐标的、用于指示当前图形控制元素在深度方向中的位置的深度位置。
效果是：以与现有2D***兼容的方式将深度参数添加到2D结构。这具有以下优点：这样的传统设备可以忽略所添加的参数，而增强的***可以应用所添加的深度参数来生成3D GUI。
在该***的实施例中，图形数据结构包括3D导航指示符，其指示：关于所述图形数据结构，使得能够实现3D图形用户界面中的3D导航。效果是：在增强的***中，导航指示符指示在深度参数、以及另外的用于导航的深度参数的图形数据结构的相应字段中是否包含有效值。这具有以下优点：容易检测到图形数据结构是否适合于3D GUI。
根据本发明的设备和方法的其它优选实施例在所附权利要求书中给出，权利要求书的公开通过引用被并入于此。
附图说明
本发明的这些和其它方面将根据以示例方式在以下的描述中描述的实施例以及附图而清楚明白，并且将参考以示例方式在以下的描述中描述的实施例以及附图被进一步阐明，在附图中：
图1示出了用于提供3D图形用户界面的***；
图2示出了图像数据的实例；
图3示出了交互式组成元素结构的一部分；
图4示出了具有3D导航指示符的交互式组成元素结构的一部分；
图5示出了图形控制元素；
图6示出了3D增强的图形控制元素；
图7示出了3D按钮结构；
图8示出了载有3D参数的“虚拟”按钮结构的表示；
图9示出了键事件表格；
图10示出了六个DOF事件的类和AWT事件层级；
图11示出了Java AWT组件类的树；
图12示出了扩展Component类以包括深度；
图13示出了扩展LayoutManager类以包括深度；
图14示出了被扩展为包括深度的Component类的实例；
图15示出了被扩展为包括深度的LayoutManager类的实例；
图16示出了扩展Graphics类以包括深度；
图17示出了扩展Color类以包括深度；
图18示出了被扩展为包括深度的Graphics类的实例；
图19示出了被扩展为包括深度的Color类的实例；以及
图20示出了图形处理器***。
在附图中，与已经描述的元素对应的元素具有相同的参考标号。
具体实施方式
图1示出了用于提供三维（3D）图形用户界面的***。该***可以呈现图像数据，诸如视频、图形或其它视觉信息。3D图像设备10被耦接为源设备以便向3D显示设备13传送数据。注意，这些设备也可以被组合在单个单元中。3D图像设备具有用于接收图像信息的输入单元51。例如，输入单元设备可以包括光盘单元58，其用于从像DVD或蓝光盘那样的光学记录载体54中取回各种类型的图像信息。替代地，输入单元可以包括网络接口单元59，其用于耦接到网络55，例如互联网或广播网络。可以从远程媒体服务器57中取回图像数据。
3D图像设备具有耦接到输入单元51的处理单元52，其用于处理图像信息以生成要经由输出单元12传送到显示设备的传送信息56。处理单元52被布置来生成包括在传送信息56中的图像数据以供在3D显示设备13上显示。3D图像设备配备有用于控制各种功能的用户控制元素，现在被称为第一用户控制元素15，所述各种功能例如图像数据的显示参数，诸如对比度或颜色参数。具体地，用户控制单元响应于接收用户动作（例如按下按钮）并生成对应的控制信号来生成信号。这样的用户控制元素是公知的，并且可以包括遥控单元，其具有各种按钮和/或光标控制功能以控制3D图像设备的各种功能，诸如回放和记录功能，并且用于操作图形用户界面（GUI）中的图形控制元素。处理单元52具有用于处理源图像数据以向输出单元12提供图像数据的电路。处理单元52可以具有GUI单元，其用于生成GUI的图像数据、并且用于如下面进一步描述地在GUI中定位增强的图形控制元素。
3D图像设备可以具有数据生成器单元（11），其用于提供表示图形控制元素的图形数据结构以供在3D图形用户界面中显示。该单元提供具有用于表示图形控制元素的二维（2D）图像数据的图形数据结构，并且还提供具有用于在3D图形用户界面中在一深度位置处定位该2D图形数据的至少一个深度参数的图形数据结构。
3D显示设备13用于显示图像数据。该设备具有输入单元14，其用于接收从像3D图像设备10那样的源设备传送的包括图像数据的传送信息56。3D显示设备配备有用于设置显示器的显示参数（诸如，对比度或颜色参数）的用户控制元素，现在被称为第二用户控制元素16。在处理单元18中处理所传送的图像数据。
处理单元18可以具有GUI单元19，其用于生成GUI的图像数据，并且用于如下面进一步描述地在GUI中定位增强的图形控制元素。GUI单元19经由输入单元14接收图形数据结构。
3D显示设备具有用于显示所处理的图像数据的显示器17，例如，3D增强的LCD或等离子屏幕，或者像已知的那样，可以与像专门眼镜（special goggles）那样的观看装备协作。因此，以3D执行图像数据的显示，并且图像数据的显示包括显示如在源设备（例如，光盘播放器11）中或者在3D显示设备自身中处理的3D GUI。
图1进一步示出了作为图像数据的载体的记录载体54。该记录载体例如可以是像硬盘那样的磁性载体、或光盘。该记录载体是盘形的，并且具有轨道和中央孔。由一系列物理上可检测的标记构成的轨道是依据在信息层上构成基本平行的轨道的螺旋图案或同心圆图案的圈而被布置的。该记录载体可以是光学可读的，被称为光盘，例如CD、DVD或BD（蓝光盘）。由沿着轨道的光学可检测的标记（例如，凹坑和平台）在信息层上表示信息。轨道结构还包括用于指示信息单元（通常被称为信息块）的位置的位置信息，例如首部（header）和地址。记录载体54以像DVD或BD格式那样的预定义的记录格式，载有表示像视频那样的数字编码的图像数据（其例如根据MPEG2编码***编码）的信息。为了提供如所提出的三维图形用户界面，记录载体的轨道中的标记还体现该图形数据结构。
在BD***的情况下，可以在公众可得到的由蓝光盘协会（http://www. bluraydisc. com）出版的技术***"Blu-ray Disc Format General August 2004"和"Blu-ray Disc 1.C Physical Format Specifications for BD-ROM November, 2005"中找到进一步的细节。
下面，当提及BD应用格式时，我们具体指如在US申请No. 2006-0110111（代理人案号NL021359）中以及在由蓝光盘协会出版的***"Blu-ray Disc Format 2.B Audio Visual Application Format Specifications for BD-ROM, March 2005"中公开的应用格式。
已知BD体系还利用网络连接提供完全可编程的应用环境，由此使得内容供应商能够创建交互式内容。该模式基于JavaTM()3平台并且被已知为"BD-J"。BD-J定义了数字视频广播（DVB）-多媒体家庭平台（MHP）规范1.0的子集，作为ETSI TS 101 812而被公众可得到。蓝光播放器的实例是如由索尼公司出售的Sony Playstation 3TM。
3D图像***被布置用于在3D图像显示器上显示三维（3D）图像数据。由此，图像数据包括用于在3D显示设备上进行显示的深度信息。参考参照图1描述的***，显示设备53可以是具有由箭头44指示的显示深度范围的立体视觉显示器。可以从被增强来包含3D图像数据的光学记录载体54中取回3D图像信息。经由互联网，可以从远程媒体服务器57取回3D图像信息。
以下部分提供三维显示器以及人的深度感知的概述。3D显示器与2D显示器的不同在于：它们可以提供更生动的深度感知。这是由于它们比2D显示器提供更多的深度线索而实现的，2D显示器仅能够显示单眼深度线索和基于运动的线索。
可以使用单只眼睛从静态图像中获得单眼（或静态的）深度线索。画家经常使用单眼线索来创建他们画作中的深度感。这些线索包括相对大小、相对于水平面的高度、遮挡、透视图、纹理梯度以及光照/阴影。动眼线索是从观察者眼睛肌肉的紧张度（tension）导出的深度线索。眼睛具有用于旋转眼睛以及用于拉伸眼睛晶状体（eye lens）的肌肉。眼睛晶状体的拉伸和放松被称为调节，并且在聚焦于图像时进行。晶状体肌肉的拉伸或放松的量针对对象有多远或多近提供了线索。进行眼睛的旋转，使得双眼聚焦于同一对象，这被称为会聚（convergence）。最终，运动视觉差异是接近观看者的对象比远离的对象呈现出更快运动的效果。
双目视差（binocular disparity）是从我们的双眼观看稍微不同的图像的事实导出的深度线索。单眼深度线索可以是任何2D视觉显示类型并且被用于任何2D视觉显示类型。在显示器中重建双眼视差要求显示器可以分割用于左眼和右眼的视图，使得每只眼睛看到显示器上稍微不同的图像。可以重建双眼视差的显示器是特殊的显示器，我们将其称为3D或立体视觉显示器。3D显示器能够沿着由人眼实际感知的深度维度来显示图像，在此文档中被称为具有显示深度范围的3D显示器。因此，3D显示器向左眼和右眼提供不同的视图。
可以提供两个不同视图的3D显示器已经出现很长时间。大多数这些3D显示器基于使用眼镜来分离左眼和右眼视图。现在，随着显示器技术的进步，新的显示器已经进入市场，其可以提供立体视图而无需使用眼镜。这些显示器被称为自动立体视觉显示器。
第一种方法是基于LCD显示器，其允许用户在不戴眼镜的情况下看到立体视频。这些基于两种技术—双凸透镜状屏幕和光栅显示器中的任一种。对于双凸透镜状显示器，LCD覆盖有一片双凸透镜（lenticular lenses）。这些透镜衍射来自显示器的光，使得左眼和右眼接收来自不同像素的光。这允许两个不同图像中一个用于要显示的左眼视图并且一个用于要显示的右眼视图。
对双凸透镜状屏幕的一种替代物是光栅显示器，其在LCD之后并且在背光源之前使用视觉差异光栅来分离来自LCD中像素的光。该光栅使得：从屏幕前的一设置位置，左眼看到与右眼不同的像素。光栅显示器的问题是亮度和分辨率的损失，而且还有非常窄的视角。这使得其与双凸透镜状屏幕相比作为起居室TV不那么具有吸引力，双凸透镜状屏幕例如具有9个视图和多个观看区域。
另一方法仍是基于与高分辨率投影仪组合地使用快门眼镜，所述高分辨率投影仪（beamer）可以以高刷新率（例如120Hz）显示帧。需要高刷新率，这是因为：利用快门眼镜方法，交替显示左眼视图和右眼视图。佩戴眼镜的观看者察觉到60Hz的立体视频。快门眼镜方法允许高质量视频和大的深度级。
自动立体视觉显示器和快门眼镜方法两者都遭受调节-会聚失配。这着实限制了深度量以及使用这些设备可以舒适地观看的时间。存在其它的显示技术，诸如全息显示器和体积显示器，其不遭受该问题。注意，本发明可以被用于具有深度范围的任何类型的3D显示器。
用于3D显示器的图像数据被假设为可作为电子数据，通常为数字数据而获得。本发明涉及这样的图像数据并且在数字域中操纵该图像数据。该图像数据当被从源传送而来时可能已经包含了3D信息（例如通过使用双照相机），或者可以包含专用预处理***来从2D图像创建（重建）3D信息。图像数据可以是静态的（像幻灯片）、或者可以包括运动视频（像电影）。其它图像数据（通常被称为图形数据）根据应用需要，可作为存储对象而获得或者实时地生成。例如，可以将用户控制信息（像菜单、导航项或文本和帮助注释）添加到其它图像数据。
存在可以格式化立体图像的许多不同方式，被称为3D图像格式。一些格式基于使用2D通道来也承载立体信息。例如，可以交织左视图和右视图、或者可以并排放置以及上下放置左视图和右视图。这些方法牺牲分辨率来承载立体信息。另一选项是牺牲颜色，该方法被称为补色立体（anaglyphic stereo）。补色立体使用光谱复用，其基于显示处于互补颜色的两个分离的重叠图像。通过使用带有滤色器的眼镜，每只眼睛仅看到与该眼睛前的滤色器相同颜色的图像。从而，例如，右眼仅看到红色图像，而左眼仅看到绿色图像。
不同的3D格式基于使用2D图像的两个视图、以及附加的深度图像，即所谓的深度图，其传达关于2D图像中对象深度的信息。被称为图像+深度的该格式的不同之处在于：其是2D图像与所谓的“深度”或视差图的组合。这是灰度图像，由此像素的灰度值指示用于相关联的2D图像中对应像素的视差的量（或者，在深度图的情况下，指示深度）。显示设备采用2D图像作为输入使用视差图或深度图来计算附加的视图。这可以以多种方式进行，在最简单的形式下，其是依赖于与像素相关联的视差值将那些像素向左或向右偏移的问题。Christoph Fen的题为"Depth image based rendering, compression and transmission for a new approach on 3D TV"的文章给出了该技术的极佳的概述（参见http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf）。
图2示出了图像数据的实例。图像数据的左侧部分是2D图像21（通常是彩色的），图像数据的右侧部分是深度图22。可以以任何合适的图像格式来表示2D图像信息。深度图信息可以是具有用于每个像素的深度值的附加数据流，与2D图像相比可能处于降低的分辨率。在深度图中，灰度值指示2D图像中相关联的像素的深度。白色指示接近于观看者，而黑色指示远离观看者的大深度。3D显示器可以通过使用来自深度图的深度值以及通过计算所需的像素变换，来计算立体所需的附加视图。使用估计或孔洞填充技术可以解决遮挡。可以将其它图添加到图像和深度图格式，比如遮挡图、视觉差异图和/或透明度图，所述透明度图用于在背景前运动的透明对象。
当从播放器设备（诸如蓝光盘播放器）向立体显示器发送视频时，向视频添加立体还影响视频的格式。在2D情况下，仅发送2D视频流（解码的画面数据）。利用立体视频，这增加了，因为现在必须发送包含（用于立体的）第二视图或深度图的第二流。这可能加倍在电子接口上所需的比特率。不同的方法是牺牲分辨率并格式化该流，使得第二视图或深度图与2D视频交织或并排放置。图2示出了对于传输2D数据和深度图而言这可以如何进行的实例。当在视频上重叠图形时，可以使用其它分离的数据流。
所提出的3D图像***可以经由合适的数字接口传送包括图形数据结构的图像数据。当回放设备（典型地BD播放器）取回或生成图形数据结构并检测这样的标记（mask）时，其在诸如公知的HDMI接口（例如，参见"High Definition Multimedia Interface Specification Version 1.3a of Nov 10 2006"）之类的视频接口上传输具有图像数据的图形数据结构。
这里所描述的3D图像***的主要思想代表了对上面陈述的问题的一般解决方案。下面的具体描述仅是基于蓝光盘（BD）回放的特定情况并使用Java编程实例的实例。用于存储音频视频数据（AV数据）的BD分层级图像数据结构由标题（Title）、电影对象（Movie Object）、播放列表（Play List）、播放项（Play Item）和剪辑（Clip）组成。用户界面基于允许在各种标题和菜单之间导航的索引表（Index Table）。BD的图像数据结构包括用于生成图形用户界面的图形元素。通过包括另外的控制数据，图像数据结构可以被增强至3D GUI以表示如下所述的图形数据结构。
下面描述图形用户界面（GUI）的实例。应注意，在该文档中3D GUI被用作用于任何交互式视频或图像内容（像视频、电影、游戏等）的名称（denomination），其呈现与用户可以以任何方式与之交互的图形元素结合的3D图像数据，所述任何方式例如为选择、移动、修改、激活、按压、删去等。任何功能可以耦合到这样的元素，例如根本没有功能、仅仅在界面本身内部的功能（比如突出显示）、显示设备的功能（比如开始电影）、以及/或者其它设备的功能（例如家庭警报***或微波炉）。
为了内容作者创建交互式电影体验，BD公布格式定义了完整的应用环境。其部分是创建菜单和按钮的***。这基于使用菜单和按钮的位图图像（即，2D图像数据）、以及允许菜单和按钮动画化的组成元素信息。该组成元素信息可以被称为组成元素或片段（segment），并且是所提出的图形数据结构的实例。用户交互和GUI的典型实例是：当用户选择菜单中的按钮时，该按钮的状态和外观改变。这甚至可以被进一步带入所有类型的动画和内容适配，因为蓝光盘规范支持具有一大组库的Java编程语言，所述一大组库允许内容创建者控制该***的所有特征。
目前，BD提供两种机制供内容作者创建用户选择菜单。一种方法是使用预定义的HDMV交互式图形规范，另一种是通过使用Java语言和应用编程界面。
HDMV交互式图形规范基于MPEG-2基本流，其包含行程编码的位图图形。另外，在BD中，元数据结构允许内容作者指定被绑定到流中图形对象的动画效果和导航命令。具有与其相关联的导航命令的图形对象被称为（菜单）按钮。定义与按钮相关联的动画效果和导航命令的元数据结构被称为交互式组成元素结构。
HDMV是基于传统遥控器的使用而设计的，所述传统遥控器（例如图1中所示的单元15）发送键事件流而非位置信息。没有空闲的运动光标可用。为了解决该问题，我们提出映射方案，其将输入设备的位置的改变映射到用户操作。为此目的，我们定义两种新的交互式用户操作：向前运动选择按钮（Move_Forward Selected_button）和向后运动选择按钮（Move_Backward- Selected_button）。向后的位置改变（离开屏幕）生成一个所谓的向后运动选择按钮操作，朝向屏幕的位置改变生成一个向前选择按钮用户操作。
Java是基于DVB-GEM标准（数字视频广播（DVB）-全球可执行MHP（GEM））的、使用来自Sun Microsystem的具有一组库的Java语言的编程环境。关于Java编程语言的更多信息可以在http://java.sun.com/ 找到，而GEM和MHP规范可从ETSI（www.etsi.org）得到。在可用的那组库中，存在向程序员提供功能访问以创建具有菜单和按钮以及其它GUI元素的用户界面的组。
在实施例中，增强了从BD已知的交互式组成元素片段（interactive composition segment），并将其扩展到用于3D的两种类型的交互式图形数据结构。图形数据结构的一个实例依赖于使用现有的诸如箭头键之类的输入设备来对菜单进行导航。另一实例允许使用还允许在深度上导航的输入设备。第一交互式组成元素图形数据结构是完全后向兼容的并且可以引用具有不同“深度”位置的图形对象，但是其不为支持用于在深度上或者在“z方向”上导航的附加键的输入设备提供附加的结构。用于3D的第二交互式组成元素图形数据结构类似于第一组成元素对象，但是其被扩展以允许用于提供“z方向”输入的输入设备并且不与现有播放器兼容。
另外，向用于3D的交互式组成元素图形数据结构提供扩展的按钮结构，使得其包含用于该按钮“z方向”或深度上的位置的条目、以及用于指示在深度上比当前选择的按钮更低或更高的按钮的标识符。这允许用户使用遥控器上的按钮来在位于不同深度位置处的按钮之间进行切换选择。
对于Java编程环境，我们添加附加库，该附加库包括扩展Java界面使得其变得可以沿深度维度进行导航的用户界面组件。此外，提供两个新的用户操作和相关的键事件，其指示用户何时已经按压遥控器上的键来沿深度方向进行导航。
这些改变的优点使得内容作者可以创建简单的3D用户界面并且允许用户使用适当的输入设备来导航该界面，而无需向播放器设备的实现方式引入大量的技术复杂度。
图3示出了交互式组成元素（interactive composition）结构的一部分。其中的图形数据结构用在蓝光盘中。该表格中的第四字段被保留（Reserved），其是为字节对齐而***的。大小为6比特，并且我们使用该6比特中的1比特来添加用于指示该交互式组成元素是否支持3D导航的附加字段。
图4示出了具有3D导航指示符（被命名为3D_ Navigation）的交互式组成元素结构的一部分。该字段指示该交互式组成元素是否支持3D导航。一比特的标志（1b）指示支持3D（三-自由方向（DOF），x、y和z）导航，0b指示仅支持2D导航（2- DOF）。
图5示出了图形控制元素。该表格以简化表示示出了在BD中使用的按钮（Button）结构。
图6示出了3D增强的图形控制元素。该表格示出了被扩展用于由3D图形对象组成的、但不使用附加输入装置来对其进行导航的菜单的按钮结构的版本。这里，保留的7比特被用来指示按钮的深度位置（depth position），使用2-DOF输入设备（诸如遥控器上的4个箭头键）允许用户在位于不同深度位置处的各按钮之间进行导航。例如，向上箭头键可以选择距观看者更远位置的按钮，而向下箭头键被用来选择更接近观看者的按钮。注意，典型地使用8比特（255个值）来指示深度，但是现在仅有7比特可用，所以我们使用7比特作为8比特值的MS比特。其它映射也是可能的。
通过向按钮结构添加深度位置，内容作者可以将按钮定位于不同深度处并且创建它们之间的z排序，由此一个按钮（的各部分）重叠另一按钮。例如，当用户选择不在前面的按钮时，其移动到前面以显示完整按钮，然后如果用户希望继续，他可以按下OK或enter（回车）键来选择与该按钮相关联的动作。
图7示出了3D按钮结构。该表格被扩展以允许来自3 DOF设备的输入，并且因此提供完整的3D导航。当在图6的表格中被指示的3D_Navigation字段被设置为1b时，该按钮结构将被用于交互式组成元素中。由于在现有按钮结构中不存在足够的保留字段，我们已经定义了不与现有设备兼容的新结构。
所添加的字段是深度位置和前和后按钮标识符（identifier）。深度位置是16比特值，用于与水平和垂直条目一起指示3D空间中的位置。我们使用16比特来与其它位置参数匹配，实际上，更少的比特将是足够的，但是使用16比特以很少的成本为将来的***创建了空间。
前和后按钮标识符字段被用来指示哪些按钮位于该按钮之前或之后，并且当用户沿着深度或所谓的“z方向”（即，离开屏幕或朝向屏幕）进行导航时应选择所述字段。
前按钮标识符是用于指示位于当前图形控制元素前面的另一图形控制元素的前控制参数的实例，而后按钮标识符是用于指示位于当前图形控制元素后面的另一图形控制元素的后控制参数的实例。
到目前为止，我们已经讨论了用于将蓝光盘HDMV交互式图形扩展用于3D的优选解决方案，其允许内容作者使用两种方法：一种后向兼容但仅支持2-DOF导航，一种不兼容、但更面向未来并支持3-DOF导航。
如果兼容性是重要的，则还存在其它的解决方案，但这些解决方案牺牲一定量的功能。如图5中所示，该按钮结构具有7个保留比特，这些可以被用来指示按钮的深度位置以及在该按钮之前或之后的按钮的标识符。例如，3比特可以被用来指示深度位置，这允许内容作者指示深度的8个级别。其余的4比特可以被用作标识符，其允许四个按钮在后面或在前面。可以与按钮结构中的一些其它保留比特一起来使用该方法，但是这些保留比特不是那么适合，因为它们是其它字段的部分，在语义上所述其它字段与所提出的新值不一致。
在实施例中，替代使用保留比特，创建“虚拟”按钮。该按钮没有视觉组件，没有导航命令，并且被绑定至一“真实”按钮。其仅被用来指示按钮深度以及后和前按钮标识符。
图8示出了载有3D参数的“虚拟”按钮结构的表示。该表格示出了被用来承载3D按钮参数的“虚拟”按钮的实例。“虚拟”按钮的标识符使得其可以与对应的“真实”2D按钮相关联。此外，所保留的7比特可选地与1比特的之前的条目（自动动作标志）一起被用来指示按钮的深度位置。水平和垂直位置字段与用于相关联的2D按钮的水平和垂直位置字段相同。上和下按钮标识符分别被用来承载用于后按钮和前按钮的标识符。
正常的、所选择的和激活的状态条目通常被用来参考表示按钮的图形对象。当没有与按钮相关联的图形对象时，根据该标准的值应被设置为0xFFFF。
对于BD-Java环境，解决方案有所不同，这是因为BD-Java是不依赖于静态数据结构而是基于执行一组操作的函数库的编程环境。基本的图形用户界面元素是java.awt.Component类。该类是java.awt库中所有与用户界面有关的项目（例如，按钮，文本字段等）的基本超类。可以在www.java.sun.com(http://java.sun.com/javame/reference/apis.jsp)从Sun获得完整规范。
以下有关部分描述扩展Java 2D图形以包括深度。描述了如何扩展java.awt库以允许在3D空间中定位交互式图形对象。除此之外，我们在Java.awt库中定义新的用户事件以也允许对所有用户界面元素进行6 DOF导航。
图9示出了键事件表格。为蓝光盘定义了多个可能的键事件。这些被扩展来包括沿深度方向的键事件。VK_FORWARD指按压旨在朝向屏幕运动的键的时刻，而VK_BACKWARD指示推动了对应于远离屏幕的方向的键。
还定义对应的用户操作：向前运动选择按钮和向后运动选择按钮。对键事件和用户操作的该扩展允许在盘上创建基于Java的交互式应用，由此用户可以沿深度方向在多个按钮之中进行导航，从最前面的按钮到屏幕内部更远的按钮。
为了支持6 DOF输入设备，存在两种可能性。第一种是扩展InputEvent类以支持6 DOF种类的事件。
图10示出了六DOF事件类以及AWTEvent层级。该图示出了各种预先存在的事件、以及附加的表示来自6 DOF输入设备的事件的六DOF事件。
下面是SixDofEvent（六DOF事件）类的最简单定义。其描述了当发起事件（例如，运动、按钮点击）时设备的位置和取向（包括旋转运动滚动（rotation movements roll）、侧滑（yaw）和俯仰（pitch））。
在移动了允许6 DOF的输入设备或者点击了该设备上的按钮时，生成这些事件。对于控制输入设备感兴趣的应用需要被注册为SixDofEventListener。这些需要基于输入设备的当前位置和取向来指定当发起对应事件时它们想要具有的行为。
Figure 289532DEST_PATH_IMAGE002
替换地，受Java 3D启发的更复杂的方法可以如下。通过Sensor类使得能够实现对6 DOF的支持，其允许应用读取输入设备的位置、取向和按钮状态的最后N个采样值。借助于Transform3D对象，即借助于3×3旋转矩阵、转换矢量（translation vector）和缩放因子，来描述位置和取向。
public Transform3D (Matrix3d ml, Vector3d tl, double s)
在选择了三维空间中的按钮之后，这些值还可以被应用用来例如修改所呈现的场景的视点，模仿在现实中当用户移动其头以环顾对象四周时将发生什么。
Java图形应用可以使用标准的Java库。除其它之外，这些包括抽象窗口套件(AWT)，其提供用于创建图形用户界面（例如，"Print（打印）"按钮）和用于在一些表面（例如，一些文本）上直接绘制图形的基本设施。为了开发用户界面，允许创建窗口、对话、按钮、复选框、滚动列表、滚动条、文本区域等的被称为组件的各种窗体小部件（widgets）是可用的。AWT还提供了各种方法，其使得程序员能够使用当前选择的颜色、字体和其它属性在先前创建的画布（canvase）上直接绘制不同形状（例如，线条、矩形、圆、自由文本等）。当前，所有这些都是2D的，并且需要一些扩展以将第三维度添加到Java图形。
向第三维度增强2D Java图形可能通过以下来进行：创建3D图形对象并将它们放置在3D空间中，选择照相机视点并呈现如此合成的场景。这是与2D图形完全不同的模型，其要求在用于以2D绘制的库之外添加分离的库，并且可以是明显地更计算密集的，但是质量和编程灵活度可能达到更高的级别。
在根据本发明的实施例中，当前的2D图形模型被扩展以具有利用深度信息的能力。不是迫使程序员以完全不同的思维模式开始思考，而是将已经存在的窗体小部件和绘图方法适配为向程序员提供指定图形对象应当以什么深度（是在电视屏幕前还是在电视屏幕后）呈现的可能性。
使得这可用两种替代方式来实现：
适配各种绘图方法（例如，drawLine, drawRect等）以接受对象深度作为附加变量（argument）；
利用表示深度的附加坐标来扩展颜色模型；以此方式向对象分配深度将在原则上等效于为其附上颜色。
图11示出了Java AWT Component（组件）类树。程序员可以应用所述类来生成用户界面。在以下部分中，将表明如何扩展这些对象以具有指定其深度的能力，这可以通过将所述方法添加到相应对象来实现。
图12示出了扩展Component类以包括深度。该图示出了对类进行添加的方法，并且通过这样做，所有的子类固有地允许指定它们将以什么深度呈现。此外，在需要绘制组件的内容时调用的paint()方法应当被扩展成具有第三维度。对于类Graphics3D的定义，参考图16。
图13示出了扩展LayoutManager类以包括深度。该图示出了对于指定深度作为每个窗体小部件的属性的替代方式，其在于：修改LayoutManager界面，以便允许指定被添加到正在使用的布局管理器的组件的深度。
图14示出了被扩展为包括深度的Component类的实例。
图15示出了被扩展为包括深度的LayoutManager类的实例。图14和15中的实例的比较表明了图12和13中所示的扩展的实施例。
如上所述，需要增强Java标准库的绘图能力。Graphics类中允许直接在绘图表面上绘制线条、多边形、圆以及其它各种形状以及文本消息和图像的所有方法，要被扩展为具有对它们深度的指示。
图16示出了扩展Graphics类以包括深度。已经添加了附加的深度整型参数。
替代地，Graphics类中的方法可以被保持完整，同时升级颜色模型使其具有附加的深度组件，这与定义对象的透明度的阿尔法组件是类似的。
图17示出了扩展Color类以包括深度。该实施例要求：通过利用期望的深度值设置当前颜色，来实现改变下一绘制对象的深度。
图18示出了被扩展为包括深度的Graphics类的实例。
图19示出了被扩展为包括深度的Color类的实例。图18和19中实例的比较表明了图16和17中所示的扩展的实施例。
图20示出了图形处理器***。该***基于编码的视频输入信号200来生成视频输出信号207。在输入单元201中接收包括图像数据的输入信号，输入单元201可以包括输入缓存器。该输入单元耦接到图形处理器202，其解码进入的图像数据并将解码的视频对象输出到对象单元203，对象单元203存储对象属性，例如诸如位图之类的、从增强的图形数据结构取回的2D图像数据。根据请求，来自对象单元的图像数据被图形单元204使用，图形单元204组合各种对象来生成3D视频输出信号，其包括例如用于显示图形用户界面的图像数据。3D视频输出信号可以被安排为具有各种视频明码（plain），并且包含上述任何格式的深度信息。图形处理器202进一步如上所述地取回和解码图形控制结构，并将相应的结构数据存储在组成元素缓存器205中。具体地，这样的数据可以被称为组成元素片段，其定义如何应对图像对象。该组成元素单元耦接到图形加速器206，其可以被用来提供2D视频数据。具体地，处理包括在增强的3D图形数据结构中的深度信息，以便：基于现在被包括在图形数据结构中的用于在3D图形用户界面中在一深度位置处定位2D图像数据的（多个）深度参数，来在3D显示信号中定位2D图像数据（例如，来自对象单元203的位图）。
总之，上面展示了为了使得能够开发包括处于不同深度级的窗体小部件和对象的图形用户界面而必须对Java AWT图形库执行的各种扩展。然后可以在支持基于Java的交互式应用的所有那些标准（诸如蓝光（BD-J部分）和DVB MHP）中利用该能力。
最后，注意，应用不仅仅限于2D+深度格式，而是可以利用立体+深度格式。在此情况下，深度值可以被用来表达程序员的关于图形对象应当呈现于何处（关于距屏幕平面多远）的意图；然后该值可以被用来自动地根据第一视图生成适配的第二视图，如在“Bruls F.; Gunnewiek R.K.; "Flexible Stereo 3D Format"; 2007”中描述的。
应注意，本发明可以以硬件和/或软件、使用可编程的组件来实现。用于实现本发明的方法具有与参考图1阐述的3D图像***对应的处理步骤。3D图像计算机程序可以具有用于3D图像设备处的相应处理步骤的软件功能；显示计算机程序可以具有用于显示设备处的相应处理步骤的软件功能。这样的程序可以在个人计算机或者在专用视频***上实现。尽管已经主要通过使用光学记录载体或互联网的实施例来解释本发明，但是本发明还适于任何图像处理环境，如制作软件或广播设施。其它应用包括3D个人计算机（PC）用户界面或3D媒体中心PC、3D移动播放器和3D移动电话。
注意，在本文档中，词“包括”不排除出现与所列出的元素或步骤不同的其它元素或步骤，在元素之前的词“一”或“一个”不排除出现多个这样的元素，任何参考标记不限制权利要求的范围，可以借助于硬件和软件两者来实现本发明，可以通过相同的软件或硬件项来表示若干“装置”或“单元”，以及处理器（可能与硬件元件协作地）可以实现一个或多个单元的功能。此外，本发明不限于实施例，并且本发明在于上述的每一个新颖特征或特征组合。

Claims (13)

1. 一种在三维（3D）图像设备上提供用于经由用户控制装置控制用户设备的3D图形用户界面的方法，该用户控制装置被布置来接收用户动作并生成对应的控制信号，该方法包括：
－提供表示用于在3D图形用户界面中显示的图形控制元素的图形数据结构，
－提供具有用于表示该图形控制元素的二维（2D）图像数据的图形数据结构，以及
－提供具有用于在3D图形用户界面中一深度位置处定位2D图像数据的至少一个深度参数的图形数据结构。
2. 如权利要求1所述的方法，其中，所述图形数据结构包括以下深度参数的至少一个：
－作为对应的2D图形数据结构的附加变量的、用于指示当前图形控制元素在深度方向中的位置的深度位置，
－作为对应的2D图形数据结构的颜色模型的附加坐标的、用于指示当前图形控制元素在深度方向中的位置的深度位置。
3. 如权利要求1所述的方法，其中，所述图形数据结构包括3D导航指示符，其指示：关于所述图形数据结构，使得能够实现3D图形用户界面中的3D导航。
4. 如权利要求1所述的方法，其中，所述图形数据结构包括以下深度参数的至少一个：
－用于指示当前图形控制元素在深度方向中的位置的深度位置，
－用于指示位于当前图形控制元素前面的另一图形控制元素的前控制参数，
－用于指示位于当前图形控制元素后面的另一图形控制元素的后控制参数。
5. 如权利要求1所述的方法，其中，所述图形数据结构包括：
－2D按钮结构，用于将按钮表示为2D图形用户界面中的图形控制元素，以及
－虚拟按钮结构，包括用于在3D图形用户界面中在一深度位置处定位2D图像数据的所述至少一个深度参数。
6. 如权利要求5所述的方法，其中，虚拟按钮结构在为对应2D参数保留的位置中包括至少一个深度参数。
7. 如权利要求1所述的方法，其中，所述方法包括：
－将控制信号转换为3D命令，以依据深度参数在3D图形用户界面中操作图形控制元素。
8. 一种用于提供用于经由用户控制装置（15）控制用户设备的三维（3D）图形用户界面的3D图像设备（10），该用户控制装置被布置来接收用户动作并生成对应的控制信号，该设备包括：
－输入装置（51），其用于接收表示用于在3D图形用户界面中显示的图形控制元素的图形数据结构，该图形数据结构具有用于表示该图形控制元素的二维（2D）图像数据、以及至少一个深度参数，以及
－图形处理器装置（52、18），其用于处理该图形数据结构以在3D图形用户界面中一深度位置处定位该2D图像数据。
9. 如权利要求8所述的3D图像设备，其中，所述输入装置包括用于从记录载体取回所述图形数据结构的读取装置（58）。
10. 如权利要求9所述的3D图像设备，其中，所述读取装置（58）是光盘读取装置。
11. 一种表示图形控制元素的图形数据结构，所述图形控制元素用于在三维（3D）图像设备上的、用于经由用户控制装置控制用户设备的3D图形用户界面中显示，所述用户控制装置被布置为接收用户动作并生成对应的控制信号，该图形数据结构包括：
－用于表示该图形控制元素的二维（2D）图像数据，以及
－用于在3D图形用户界面中一深度位置处定位2D图像数据的至少一个深度参数。
12. 一种包括图像数据的记录载体（54），所述图像数据用于提供在3D图像设备上的、用于经由用户控制装置控制用户设备的三维（3D）图形用户界面，该用户控制装置被布置为接收用户动作并生成对应的控制信号，该记录载体包括由物理上可检测的标记构成的轨道，所述标记包括图像数据，所述图像设备被布置为接收图像数据，该图像数据包括：
－表示用于在3D图形用户界面中显示的图形控制元素的图形数据结构，该图形数据结构包括
－用于表示该图形控制元素的二维（2D）图像数据，以及
－用于在3D图形用户界面中一深度位置处定位2D图像数据的至少一个深度参数。
13. 一种用于提供三维（3D）图像设备上的3D图形用户界面的计算机程序产品，该程序操作使得处理器执行如权利要求1至7中任一项所述的方法。
CN2009801468904A 2008-11-24 2009-11-19 在三维图形用户界面中扩展二维图形 Pending CN102224738A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP08169774 2008-11-24
EP08169774.0 2008-11-24
EP08172352 2008-12-19
EP08172352.0 2008-12-19
PCT/IB2009/055170 WO2010058362A1 (en) 2008-11-24 2009-11-19 Extending 2d graphics in a 3d gui

Publications (1)

Publication Number Publication Date
CN102224738A true CN102224738A (zh) 2011-10-19

Family

ID=41510501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801468904A Pending CN102224738A (zh) 2008-11-24 2009-11-19 在三维图形用户界面中扩展二维图形

Country Status (7)

Country Link
US (2) US20110225523A1 (zh)
EP (1) EP2374279A1 (zh)
JP (1) JP5616352B2 (zh)
KR (1) KR101629865B1 (zh)
CN (1) CN102224738A (zh)
TW (1) TWI507961B (zh)
WO (1) WO2010058362A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104584075A (zh) * 2012-08-29 2015-04-29 贝斯塔尔3D有限公司 用于描述对象空间的对象点以及用于其执行的连接方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8225231B2 (en) 2005-08-30 2012-07-17 Microsoft Corporation Aggregation of PC settings
US20110202845A1 (en) * 2010-02-17 2011-08-18 Anthony Jon Mountjoy System and method for generating and distributing three dimensional interactive content
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
JP5143856B2 (ja) * 2010-04-16 2013-02-13 株式会社ソニー・コンピュータエンタテインメント ３次元画像表示装置、および３次元画像表示方法
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
KR20110138151A (ko) * 2010-06-18 2011-12-26 삼성전자주식회사 자막 서비스를 포함하는 디지털 방송 서비스를 제공하기 위한 비디오 데이터스트림 전송 방법 및 그 장치, 자막 서비스를 포함하는 디지털 방송 서비스를 제공하는 비디오 데이터스트림 수신 방법 및 그 장치
US10194132B2 (en) * 2010-08-03 2019-01-29 Sony Corporation Establishing z-axis location of graphics plane in 3D video display
US8605136B2 (en) * 2010-08-10 2013-12-10 Sony Corporation 2D to 3D user interface content data conversion
EP2418857A1 (en) * 2010-08-12 2012-02-15 Thomson Licensing Stereoscopic menu control
CN103069815B (zh) 2010-08-17 2016-04-13 Lg电子株式会社 用于接收数字广播信号的设备和方法
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US9423951B2 (en) 2010-12-31 2016-08-23 Microsoft Technology Licensing, Llc Content-based snap point
US8854357B2 (en) * 2011-01-27 2014-10-07 Microsoft Corporation Presenting selectors within three-dimensional graphical environments
US9383917B2 (en) 2011-03-28 2016-07-05 Microsoft Technology Licensing, Llc Predictive tiling
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US10353566B2 (en) 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US8922575B2 (en) 2011-09-09 2014-12-30 Microsoft Corporation Tile cache
US9557909B2 (en) 2011-09-09 2017-01-31 Microsoft Technology Licensing, Llc Semantic zoom linguistic helpers
US9244802B2 (en) 2011-09-10 2016-01-26 Microsoft Technology Licensing, Llc Resource user interface
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
WO2013042025A1 (en) * 2011-09-19 2013-03-28 Koninklijke Philips Electronics N.V. Status-indicator for sub-volumes of multi-dimensional images in guis used in image processing
TWI488142B (zh) * 2012-02-24 2015-06-11 國立中山大學 應用於向量圖形點陣化之階層式緩衝器之運算方法
US9607012B2 (en) * 2013-03-06 2017-03-28 Business Objects Software Limited Interactive graphical document insight element
KR101598706B1 (ko) 2014-08-14 2016-02-29 주식회사 엔씨소프트 배경 그래픽의 입체적 표시를 위한 컴퓨팅 디바이스 및 컴퓨터 프로그램
US10372108B2 (en) * 2015-08-08 2019-08-06 PopUp Play Inc. Production of components of custom structures
EP3185152B1 (en) 2015-12-22 2022-02-09 Dassault Systèmes Distributed clash and snapping
EP3185214A1 (en) * 2015-12-22 2017-06-28 Dassault Systèmes Streaming of hybrid geometry and image based 3d objects
US10719870B2 (en) * 2017-06-27 2020-07-21 Microsoft Technology Licensing, Llc Mixed reality world integration of holographic buttons in a mixed reality device
US10761344B1 (en) 2019-02-07 2020-09-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for generating a volumetric image and interacting with the volumetric image using a planar display
WO2020261690A1 (ja) * 2019-06-28 2020-12-30 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
US20220148134A1 (en) * 2020-11-10 2022-05-12 Embarcadero Technologies, Inc. Systems and method for providing images on various resolution monitors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0905988A1 (en) * 1997-09-30 1999-03-31 Kabushiki Kaisha Toshiba Three-dimensional image display apparatus
WO2008038205A2 (en) * 2006-09-28 2008-04-03 Koninklijke Philips Electronics N.V. 3 menu display

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260671A (ja) * 1997-03-21 1998-09-29 Sony Corp 画像表示制御装置および方法
US5990900A (en) * 1997-12-24 1999-11-23 Be There Now, Inc. Two-dimensional to three-dimensional image converting system
US6229542B1 (en) * 1998-07-10 2001-05-08 Intel Corporation Method and apparatus for managing windows in three dimensions in a two dimensional windowing system
JP4610799B2 (ja) * 2001-06-25 2011-01-12 オリンパス株式会社 立体観察システム、及び内視鏡装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
US7178111B2 (en) * 2004-08-03 2007-02-13 Microsoft Corporation Multi-planar three-dimensional user interface
US7441201B1 (en) * 2004-10-19 2008-10-21 Sun Microsystems, Inc. Method for placing graphical user interface components in three dimensions
JP4276640B2 (ja) * 2005-06-17 2009-06-10 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理装置の制御方法及び情報処理プログラム
US7843449B2 (en) * 2006-09-20 2010-11-30 Apple Inc. Three-dimensional display system
JP2007317050A (ja) * 2006-05-29 2007-12-06 Nippon Telegr & Teleph Corp <Ntt> ３次元表示を用いたユーザインタフェースシステム
US8711203B2 (en) 2006-10-11 2014-04-29 Koninklijke Philips N.V. Creating three dimensional graphics data
US8208013B2 (en) * 2007-03-23 2012-06-26 Honeywell International Inc. User-adjustable three-dimensional display system and method
WO2009083863A1 (en) * 2007-12-20 2009-07-09 Koninklijke Philips Electronics N.V. Playback and overlay of 3d graphics onto 3d video
TW201130289A (en) * 2009-07-14 2011-09-01 Panasonic Corp Image reproducing apparatus
US8947422B2 (en) * 2009-09-30 2015-02-03 Disney Enterprises, Inc. Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0905988A1 (en) * 1997-09-30 1999-03-31 Kabushiki Kaisha Toshiba Three-dimensional image display apparatus
WO2008038205A2 (en) * 2006-09-28 2008-04-03 Koninklijke Philips Electronics N.V. 3 menu display

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104584075A (zh) * 2012-08-29 2015-04-29 贝斯塔尔3D有限公司 用于描述对象空间的对象点以及用于其执行的连接方法
CN104584075B (zh) * 2012-08-29 2018-12-21 Awe 股份有限公司 用于描述对象空间的对象点以及用于其执行的连接方法

Also Published As

Publication number Publication date
US20160154563A1 (en) 2016-06-02
TW201037592A (en) 2010-10-16
TWI507961B (zh) 2015-11-11
US20110225523A1 (en) 2011-09-15
JP5616352B2 (ja) 2014-10-29
WO2010058362A1 (en) 2010-05-27
EP2374279A1 (en) 2011-10-12
KR101629865B1 (ko) 2016-06-14
JP2012510102A (ja) 2012-04-26
KR20110102359A (ko) 2011-09-16

Similar Documents

Publication Publication Date Title
CN102224738A (zh) 在三维图形用户界面中扩展二维图形
US11310486B2 (en) Method and apparatus for combining 3D image and graphical data
KR101749893B1 (ko) 다목적 ３―ｄ 화상 포맷
CN102292995B (zh) 3d图像数据的传输
KR20110129903A (ko) ３ｄ 시청자 메타데이터의 전송
CN102428706B (zh) 用于3d特技播放的入口点
JP5593333B2 (ja) 映像処理方法及びその装置
JP2015187797A (ja) 画像データ生成装置および画像データ再生装置
KR20110113186A (ko) 비디오 인터페이스를 통해 송신하고 ３ｄ 비디오 및 ３ｄ 오버레이들을 합성하기 위한 방법 및 시스템
US20110298797A1 (en) Graphic image processing method and apparatus
CN102257826A (zh) 显示参数设置的控制
JP2022552853A (ja) メディアリソースの再生およびテキストレンダリング方法、装置、機器および記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20111019