CN102789648A - 用于将二维内容转换为三维内容的设备和方法 - Google Patents

用于将二维内容转换为三维内容的设备和方法 Download PDF

Info

Publication number
CN102789648A
CN102789648A CN2012100323992A CN201210032399A CN102789648A CN 102789648 A CN102789648 A CN 102789648A CN 2012100323992 A CN2012100323992 A CN 2012100323992A CN 201210032399 A CN201210032399 A CN 201210032399A CN 102789648 A CN102789648 A CN 102789648A
Authority
CN
China
Prior art keywords
content
degree
quality
depth
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100323992A
Other languages
English (en)
Inventor
权五允
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102789648A publication Critical patent/CN102789648A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了一种用于将二维内容转换为三维内容的设备和方法。通过内容转换设备将2D内容转换为3D内容的方法包括：确定将从作为视频内容并包括多个帧的2D内容转换的3D内容的质量；从所述多个帧中的帧中提取对象；将深度分配给提取的对象；对具有分配了深度的对象的帧执行用于转换到3D内容的渲染，其中，根据确定的3D内容的质量执行提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作。因此，可以提供满足用户喜好的具有多种质量的3D内容。

Description

用于将二维内容转换为三维内容的设备和方法
技术领域
与示例性实施例一致的设备和方法涉及一种用于转换内容的设备和方法及其计算机可读介质，更具体地说，涉及一种用于将二维(2D)内容转换为三维(3D)内容的设备和方法及其计算机可读介质。
背景技术
在电视、个人计算机、智能电话、智能平板电脑、便携式多媒体播放器(PMP)、MP3播放器等能够再现内容的显示设备中再现诸如电影、戏剧、运动等的视频内容。
随着近期针对三维(3D)图像的显示技术的发展，这样的内容已被制成3D内容并被能够显示3D图像的显示设备再现。
然而，由于为了制作这样的3D内容需要大规模的设备和开发人力并消耗高成本和大量时间，因此高质量3D内容存在缺点。
此外，即使在当前提供的3D内容的情况下，也仅使用具有预设质量的3D内容，而具有满足用户喜好的多种质量的3D内容不能得到。
发明内容
因此，一个或多个示例性实施例提供能够提供具有满足用户喜好的多种质量的3D内容的设备和方法及其计算机可读介质。
根据示例性实施例的一方面，提供了一种通过内容转换设备将2D内容转换为3D内容的方法，所述方法包括：确定将从作为视频内容并包括多个帧的2D内容转换的3D内容的质量；从所述多个帧中的帧中提取对象；将深度分配给提取的对象；对具有分配了深度的对象的帧执行用于转换到3D内容的渲染(rendering)，其中，根据确定的3D内容的质量执行提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作。
提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作可包括：执行根据预设参考信息实施的自动操作；执行根据用户输入实施的手动操作，确定3D内容的质量的步骤包括：确定性能程度，所述性能程度指示在对应的提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作中实施的手动操作和自动操作中的每个的百分比。
确定性能程度的步骤可包括：从根据性能程度分类的多个质量模式中选择一个质量模式。
执行手动操作的步骤可包括：显示根据选择的质量模式被选择性激活的至少一个图形用户界面(GUI)项作为用于在手动操作中接收用户输入的GUI项。
可根据关于将要处理的帧中的场景的内容和发展(development)的信息来执行提取对象的操作和分配深度的操作中的至少一个操作。
所述方法还可包括：从多个帧中选择关键帧，其中，对选择的关键帧执行选择对象的操作和分配深度的操作，所述方法还包括：对所述多个帧中的不是关键帧的另一帧执行跟踪。
所述方法还可包括对渲染的帧执行3D图片质量处理。
根据另一示例性实施例的一方面，提供了一种用于将2D内容转换为3D内容的设备，所述设备包括：转换器，从作为视频内容的2D内容的多个帧中的帧提取对象，将深度分配给提取的对象，对具有分配了深度的对象的帧执行用于转换到3D内容的渲染，其中，转换器确定3D内容的质量并根据确定的3D内容的质量执行提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作。
所述设备还可包括：用户输入单元，接收用户的输入，其中，转换器执行基于预设参考信息的自动操作和基于用户输入的手动操作，以实施提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作，并且转换器通过确定性能程度确定3D内容的质量，所述性能程度指示在对应的提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作中实施的手动操作和自动操作中的每个的百分比。
转换器可通过从根据性能程度分类的多个质量模式中选择一个质量模式来确定性能程度。
转换器可显示根据选择的质量模式被选择性激活的至少一个图形用户界面(GUI)项作为用于在手动操作中接收用户输入的GUI项。
转换器可根据关于将要处理的帧中的场景的内容和发展的信息来执行提取对象的操作和分配深度的操作中的至少一个操作。
转换器可从多个帧中选择关键帧，并对选择的关键帧执行提取对象的操作和分配深度的操作，并且转换器可对所述多个帧中的不是关键帧的另一帧执行跟踪。
转换器可对渲染的帧执行3D图片质量处理。
根据另一示例性实施例的一方面，提供了一种计算机可读存储介质，所述介质具有可由计算机执行的指令，其中，当所述指令由计算机的处理器实施时，所述指令执行将2D内容转换为3D内容的方法，所述方法包括：确定将从作为视频内容并包括多个帧的2D内容转换的3D内容的质量；从所述多个帧中的帧中提取对象；将深度分配给提取的对象；对具有分配了深度的对象的帧执行用于转换到3D内容的渲染，其中，根据确定的3D内容的质量执行提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作。
提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作可包括：执行基于预设参考信息实施的自动操作；执行基于用户输入实施的手动操作，确定3D内容的质量的步骤可包括：确定性能程度，所述性能程度指示在对应的提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作中实施的手动操作和自动操作中的每个的百分比。
确定性能程度的步骤可包括：从根据性能程度分类的多个质量模式中选择一个质量模式。
执行手动操作的步骤可包括：显示根据选择的质量模式被选择性激活的至少一个图形用户界面(GUI)项作为用于在手动操作中接收用户输入的GUI项。
可根据关于将要处理的帧中的场景的内容和发展的信息来执行提取对象的操作和分配深度的操作中的至少一个操作。
所述方法还可包括：从多个帧中选择关键帧，其中，可对选择的关键帧执行选择对象的操作和分配深度的操作，所述方法还可包括：对所述多个帧中的不是关键帧的另一帧执行跟踪。
所述方法还可包括对渲染的帧执行3D图片质量处理。
附图说明
从下面结合附图的示例性实施例的描述，上述和/或其它方面将变得清楚和更容易理解，其中：
图1是示出根据示例性实施例的内容转换设备的配置的框图；
图2是示出根据示例性实施例的内容转换设备的操作的流程图；
图3是示出根据另一示例性实施例的内容转换设备的操作的流程图；
图4是示出根据示例性实施例的内容转换设备中的多个质量模式的示例的表；
图5是示出根据另一示例性实施例的内容转换设备的操作的流程图。
具体实施方式
以下，将参照附图详细描述示例性实施例。在下文，诸如“......中的至少一个”的表达在位于一列元素之后时，修饰该列元素的整体而不是修饰该列的单个元素。
图1是示出根据示例性实施例的内容转换设备1的配置的框图。内容转换设备1将二维(2D)内容转换为三维(3D)内容。在本示例性实施例中，内容包括运动图片内容，例如，电影、戏剧、运动等。
内容转换设备1可从预定2D内容提供器(未示出)接收将被转换为3D内容的2D内容。内容转换设备1可通过预定网络(未示出)从2D内容提供器接收2D内容。例如，2D视频提供器可以是存储2D视频的网络服务器，并根据内容转换设备1的请求将2D视频发送到内容转换设备1。
根据另一示例性实施例，内容转换设备1可通过数据传输方法或除了网络之外的机制从2D内容提供器接收2D内容。例如，2D内容提供器可以是用于存储2D内容的设置有存储单元(诸如硬盘、闪速存储器等)的装置，所述装置本地连接到内容转换设备1并根据内容转换设备1的请求将2D内容发送到内容转换设备1。在这种情况下，对本地连接内容转换设备1和2D内容提供器的方法没有限制，只要该方法是用于发送2D内容的数据。例如，本地连接方法可包括通用串行总线(USB)等。
根据另一示例性实施例，内容转换设备1可从3D内容提供器(未示出)接收2D内容。例如，3D内容提供器可将2D内容发送到内容转换设备1，接收由内容转换设备1转换的3D内容，并将接收到的3D内容提供给预定用户终端(未示出)。用户终端能够将从内容转换设备1接收的3D内容显示为3D图像。例如，用户终端可包括电视(TV)、个人计算机(PC)、智能电话、智能平板电脑、PMP、MP3播放器等。
根据另一示例性实施例，内容转换设备1可将转换的3D内容发送到能够将3D内容显示为3D图像的用户终端。例如，内容转换设备1可通过网络将3D内容提供给用户终端。
在根据本示例性实施例的网络中，对网络通信方法(例如，有线和/或无线通信方法)没有限制，只要该方法是用于发送2D内容和3D内容中的至少一个的数据通信。网络通信方法包括任何已知的通信方法。
如图1中所示，内容转换设备1可包括转换器11和通信单元14。转换器11将2D内容转换为3D内容。2D内容包括多个视频帧(在下文称为“帧”)。3D内容基于观看者的双目视差，3D内容可包括多个左眼帧和多个右眼帧。在多个左眼帧和多个右眼帧中，可从2D内容的多个帧中的至少一个对应帧分别转换包括左眼帧和右眼帧的对。下面将详细描述由转换器11执行的从2D内容到3D内容的转换(在下文称为“2D-3D转换”)。
通信单元14可执行2D内容提供器和内容转换设备1之间的数据通信、3D内容提供器和内容转换设备1之间的数据通信、用户终端和内容转换设备1之间的数据通信中的至少一个数据通信。
转换器11可包括存储单元111、随机存取存储器(RAM)112和中央处理单元(CPU)113。存储单元111可存储用于执行2D-3D转换的转换程序114、将被转换的2D内容115、从2D内容转换的3D内容116。存储单元111可由非易失性存储器(诸如硬盘、闪速存储器等)实现。当转换器111工作时，RAM 112被载入转换程序114的至少一部分，并且CPU 113执行载入RAM 112的转换程序114。转换程序114具有可被CPU 113执行的指令。存储单元111是计算机可读存储介质的示例。
图2是示出根据示例性实施例的内容转换设备1的操作的流程图。内容转换设备1的操作(在下文称为“2D-3D转换处理”)可与由转换程序114的指令执行的内容转换方法对应。在本示例性实施例中，2D-3D转换处理可包括3D内容质量确定操作201、对象提取操作202、深度分配操作203以及渲染操作204。
首先，在3D内容质量确定操作201中，确定将被转换的3D内容的质量。在本示例性实施例中，可根据3D内容的质量执行2D-3D转换处理。也就是说，可基于确定的3D内容的质量执行对象提取操作202、深度分配操作203以及渲染操作204中的至少一个。将在下面更详细地描述3D内容质量确定操作201。
在对象提取操作202中，针对将被处理的帧的图像来提取将被反映3D效果的对象。所述对象可以是包含在每帧的场景中的主图像，例如，可以是主人公出现的场景中的主人公的图像、在车辆移动的场景中的车辆的图像等。在对象提取操作202中，对应帧的图像被分割从而对象的边界可从分割结果中提取。
在深度分配操作203中，深度被分配给通过对象提取操作202提取的对象。所述深度是用于实现3D视觉效果的参数，用于在生成的对应的左眼帧和右眼帧中将所述对象向左和向右移动分配的参数。在深度分配操作203中，可将预先给定的标准化模板用于深度分配。
在渲染操作204中，针对从深度分配操作203得来的左眼帧和右眼帧来执行对于完成的3D图像的图像处理。例如，渲染操作204可包括用于填充由于在帧的图像中移动对象而产生的空白区域的处理(即，润饰(inpainting))等。
以下，将详细描述3D内容质量确定操作201。根据示例性实施例的2D-3D转换处理操作中的至少一个操作可包括：根据用户输入实施的手动操作以及根据预设参考信息实施的自动操作。例如，在对象提取操作202、深度分配操作203等操作中，可通过手动操作处理一些帧，而可通过自动操作处理其他帧。
在手动操作中，可根据用户(或执行内容转换操作的开发者)输入执行转换处理操作。内容转换设备1还可包括用于用户输入的用户输入单元12(诸如键盘、鼠标、书写板等)。此外，内容转换设备1还可包括显示正被转换的图像的显示单元13(诸如监视器等)，从而用户可观察转换处理的进度。为了有效地接收用户输入，内容转换设备1可在显示单元13上显示包含处理过的帧的图像、预定输入菜单等的图形用户界面(GUI，未示出)。用户可在确定在显示单元13上显示的帧的图像的同时通过GUI的输入菜单等输入用于转换处理的输入。例如，用户可在确定包含在帧的图像中的对象的同时通过GUI的输入菜单等输入用于提取对象的输入。
在自动操作中，基于预设参考信息执行操作。例如，在对象提取操作202中，内容转换设备1可分析帧的图像并选择对象作为将被提取的对象，所述对象的边界上的像素值的变化等于或高于预定阈值。这里，参考信息可以是对象的边界上的像素值的变化的阈值，通过该阈值可选择将要提取的对象。
在特定2D-3D转换处理中，3D内容的质量可指示手动操作和自动操作中的每个的百分比是多少。例如，在对象提取操作202中，手动操作和自动操作中的每个可构成对象提取操作202的一半。3D内容的质量可被表示为整个特定2D-3D转换处理中的自动操作(或手动操作)的比例(在下文称为“构成比例”或“性能程度”)。
图3是示出根据另一示例性实施例的示出内容转换设备1的操作的流程图。首先，在操作301，内容转换设备1考虑到3D内容的质量确定自动操作(或手动操作)的性能程度。接着，在操作302，基于确定的性能程度确定是在特定2D-3D转换处理中执行自动操作还是手动操作。在操作302，可以每帧确定是执行自动操作还是执行手动操作。如果确定执行自动操作，则在操作303，通过自动操作执行相应的2D-3D转换处理操作。另一方面，如果确定执行手动操作，则在操作304，通过手动操作执行相应的2D-3D转换处理操作。
3D内容的质量可包括多个质量模式。因此，可对应于从多个质量模式中选择的一个模式执行2D-3D转换处理。图4是示出根据示例性实施例的内容转换设备1中的多个质量模式的示例的表。如图4中所示，多个质量模式按照低质量到高质量的次序可包括简单模式、基础模式、高级模式和专家模式。例如，这些质量模式可在整个相应操作中分别具有多于85％、85％、70％和50％的自动操作的性能百分比。此外，多个质量模式可与根据产生3D内容的成本对应(表示为图4的表中的“很低”、“低”、“中等”和“中等+”)。
可根据2D内容的类型或格式确定3D内容的质量。例如，如果2D内容是最近发布的电影，则可针对该2D内容确定较高的质量。另一方面，如果2D内容是老电影，则可针对该2D内容确定较低的质量。根据另一示例性实施例，如果电影是广泛的流行佳作，则可针对该电影确定较高的质量。另一方面，可针对叙事型电影确定较低质量。根据另一示例性实施例，可根据内容的体裁(诸如运动、电影、戏剧等)来确定3D内容的质量。
可根据用户输入确定3D内容的质量。可通过用户输入单元12接收用于确定3D内容的质量的用户输入。在这种情况下，用户可以是例如开发相应内容的转换的开发者。可选择地，显示单元13可将输入菜单显示为用于确定3D内容的GUI。例如，用于确定3D内容的质量的输入菜单可包括具有分别与“简单模式”、“基础模式”、“高级模式”和“专家模式”对应的GUI项的下拉菜单。如果在所述下拉菜单中的多个GUI项中选择一个，则可仅激活包括在GUI输入菜单中的与每个2D-3D转换处理对应的多个GUI项中的具有用于选择的质量模式的操作的GUI项，并且可不激活与不需要的操作对应的GUI项。
可选择地，可通过通信单元14从请求转换3D内容的另一装置(例如，用户终端(未示出))接收用于确定3D内容的质量的用户输入。在这种情况下，用户可以是例如请求转换相应的内容并使用转换的3D内容的用户。
如上所述，根据示例性实施例，将要转换的3D内容设置有多种质量，从而可在满足用户各种喜好的同时提供相对于成本具有有效质量的内容。
图5是示出根据另一示例性实施例的内容转换设备1的流程图。针对参照图5描述的内容转换设备1，将省略与参照图1到图3所述的内容转换设备1相同或相似的配置。
本示例性实施例中的2D-3D转换处理操作可包括3D内容质量确定操作501、关键帧选择操作502、对象提取操作503、深度分配操作504、跟踪操作505、渲染操作506以及3D图片质量操作507。
在3D内容质量确定操作501中，确定将要转换的3D内容的质量。对于关键帧，可在2D内容的多个帧中选择表示图像的内容的帧。例如，关键帧可包括切换场景的帧、给场景的主人公特写的帧等。可基于相应的帧中的图像的运动来选择关键帧。例如，可将图像的运动等于或高于预定值的帧选为关键帧。
在对象提取操作503中，针对选择的关键帧提取将被反映3D效果的对象。在深度分配操作504中，将深度分配给在对象提取操作503中提取的对象。
在跟踪操作505中，对应于除关键帧之外的其它帧生成左眼帧和右眼帧。可参照对关键帧302执行的对象提取操作503和深度分配操作504来执行跟踪505。如上所述，对重要的关键帧执行对象提取操作503和深度分配操作504，并且参照关键帧对其它帧执行跟踪操作，从而可在保持高质量的同时执行在成本和时间上有效率的转换处理。
在渲染操作506中，针对由深度分配操作504和跟踪操作505产生的左眼帧和右眼帧执行用于完成的3D图像的图像处理。
在3D图片质量操作507中，针对由渲染操作506产生的帧执行3D图片质量处理。3D图片质量操作507可包括对比增强、细节增强等中的至少一个。通过3D图片质量操作507，可在实际显示3D内容时实现图片质量的改善，从而可优化到显示设备的图片质量。
此外，根据本示例性实施例，可基于关于将被处理的帧的场景的内容和发展的信息(在下文称为“讲故事信息”)执行至少一个2D-3D转换处理操作操作。讲故事信息是用于实现与根据内容制作人的意图的内容的故事发展对应的3D视觉效果的信息。在本示例性实施例中，可基于讲故事信息执行对象提取操作503、深度分配操作504等。作为使用讲故事信息的示例，在两个人物彼此进行会话的场景中，如果另一个主人公在所述两个人物的后面通过，则可将该主人公提取为对应帧的对象，或者可将深度完全应用到提取的该主人公的对象。在本示例中，讲故事信息可包括用于提取对象的关于另一个主人公的图像的信息，或用于分配深度的表示故事发展的重要程度的值等，这些可对应于相关帧被预先提供并被存储在存储单元111中。转换器11可参照存储在存储单元111中的讲故事信息执行操作。
如上所述，可以提供满足用户喜好的具有各种质量的3D内容。
虽然不限制于此，但是示例性实施例可实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储之后可被计算机***读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还可通过网络连接的计算机***分布从而计算机可读代码可以以分布方式来存储和执行。此外，示例性实施例可被编写为通过计算机可读传输介质(诸如载波)传输并被执行程序的通用数字计算机或专用数字计算机接收和实施的计算机程序。此外，内容转换设备1的一个或多个单元可包括执行存储在计算机可读介质中的计算机程序的处理器或微处理器。
虽然显示和描述了一些示例性实施例，但是本领域的技术人员将理解，在不脱离本发明构思的原理和精神的情况下，可以对这些示例性实施例进行改变，其中，本发明构思的范围由权利要求及其等同物限定。例如，在前述示例性实施例中，3D内容的质量针对诸如对象提取操作202、深度分配操作203等的操作而改变，尽管另一示例性实施例不限于此。例如，根据一个或多个其它示例性实施例，可根据3D内容的质量执行不同的操作(诸如关键帧选择操作502、渲染操作506等。

Claims (14)

1.一种通过内容转换设备将二维(2D)内容转换为三维(3D)内容的方法，所述方法包括：
确定从作为视频内容并包括多个帧的2D内容转换的3D内容的质量；
从所述多个帧中的帧中提取对象；
将深度分配给提取的对象；
对具有分配了深度的对象的帧执行用于转换到3D内容的渲染，
其中，根据确定的3D内容的质量执行提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作。
2.如权利要求1所述的方法，其中，提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作包括：
执行根据预设参考信息实施的自动处理；
执行根据用户输入实施的手动处理，
确定3D内容的质量的步骤包括：确定性能程度，所述性能程度指示在对应的提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作中实施的手动处理和自动处理中的每个的百分比。
3.如权利要求2所述的方法，其中，确定性能程度的步骤包括：从根据性能程度分类的多个质量模式中选择一个质量模式。
4.如权利要求3所述的方法，其中，执行手动处理的步骤包括：显示根据选择的质量模式被选择性激活的至少一个图形用户界面(GUI)项作为用于在手动处理中接收用户输入的GUI项。
5.如权利要求1所述的方法，其中，根据关于将要处理的帧中的场景的内容和发展的信息来执行提取对象的操作和分配深度的操作中的至少一个操作。
6.如权利要求1所述的方法，还包括：从多个帧中选择关键帧，
其中，对选择的关键帧执行选择对象的操作和分配深度的操作，
所述方法还包括：对所述多个帧中的不是关键帧的另一帧执行跟踪。
7.如权利要求1所述的方法，还包括对执行了渲染的多个帧执行3D图片质量处理。
8.一种用于将2D内容转换为3D内容的设备，所述设备包括：转换器，从作为视频内容的2D内容的多个帧中的帧提取对象，将深度分配给提取的对象，对具有分配了深度的对象的帧执行用于转换到3D内容的渲染，
其中，转换器确定3D内容的质量并根据确定的3D内容的质量执行提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作。
9.如权利要求8所述的设备，还包括：用户输入单元，接收用户的输入，
其中，转换器执行基于预设参考信息的自动处理和基于用户输入的手动处理，以实施提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作，
其中，转换器通过确定性能程度确定3D内容的质量，所述性能程度指示在对应的提取对象的操作、分配深度的操作和执行渲染的操作中的至少一个操作中实施的手动处理和自动处理中的每个的百分比。
10.如权利要求9所述的设备，其中，转换器通过从根据性能程度分类的多个质量模式中选择一个质量模式来确定性能程度。
11.如权利要求10所述的设备，其中，转换器显示根据选择的质量模式被选择性激活的至少一个图形用户界面(GUI)项作为用于在手动处理中接收用户输入的GUI项。
12.如权利要求8所述的设备，其中，转换器根据关于将要处理的帧中的场景的内容和发展的信息来执行提取对象的操作和分配深度的操作中的至少一个操作。
13.如权利要求8所述的设备，其中，转换器从多个帧中选择关键帧，并对选择的关键帧执行提取对象的操作和分配深度的操作，
其中，转换器可对所述多个帧中的不是关键帧的另一帧执行跟踪。
14.如权利要求8所述的设备，其中，转换器对执行了渲染的多个帧执行3D图片质量处理。
CN2012100323992A 2011-05-17 2012-02-10 用于将二维内容转换为三维内容的设备和方法 Pending CN102789648A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110046349 2011-05-17
KR10-2011-0046349 2011-05-17

Publications (1)

Publication Number Publication Date
CN102789648A true CN102789648A (zh) 2012-11-21

Family

ID=45002768

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2012100323992A Pending CN102789648A (zh) 2011-05-17 2012-02-10 用于将二维内容转换为三维内容的设备和方法
CN201280024045.1A Pending CN103548343A (zh) 2011-05-17 2012-05-09 用于将2d内容转换为3d内容的设备和方法及其计算机可读存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201280024045.1A Pending CN103548343A (zh) 2011-05-17 2012-05-09 用于将2d内容转换为3d内容的设备和方法及其计算机可读存储介质

Country Status (6)

Country Link
US (2) US20120293616A1 (zh)
EP (2) EP2525581A3 (zh)
JP (2) JP2012244622A (zh)
KR (1) KR20140037069A (zh)
CN (2) CN102789648A (zh)
WO (1) WO2012157886A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103929633A (zh) * 2013-01-10 2014-07-16 佳凌科技股份有限公司 影像仿真补正的方法
CN105933689A (zh) * 2015-02-27 2016-09-07 三星电子株式会社 图像处理方法和支持该方法的电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101503691B1 (ko) * 2013-02-07 2015-03-19 주식회사 로커스 입체영상 제작 시 인터레이스 이미지 처리 방법, 이를 이용하는 이미지 처리 장치 및 이를 포함하는 기록 매체
KR20150066883A (ko) * 2013-12-09 2015-06-17 삼성전자주식회사 이미지 처리 방법 및 장치
US9979952B2 (en) * 2013-12-13 2018-05-22 Htc Corporation Method of creating a parallax video from a still image
CN104967893B (zh) * 2014-07-10 2019-03-29 腾讯科技（北京）有限公司 便携电子设备的视频生成方法和装置
KR101926463B1 (ko) * 2016-12-22 2018-12-10 주식회사 디지털아이디어 영상 처리를 위한 공정 관리장치 및 그 동작 방법
US11610059B2 (en) * 2018-12-07 2023-03-21 Interject Data System, Inc. Systems and methods for a visual interface for grid-based programs
IT201900000082A1 (it) * 2019-01-04 2020-07-04 St Microelectronics Srl Dispositivo, sistema, metodo e prodotto informatico di rilevamento e valutazione di grandezze ambientali ed eventi ad approccio modulare e complessita' variabile
CN111212278B (zh) * 2020-01-07 2021-08-03 电子科技大学 一种预测位移帧的方法与***

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60014420T2 (de) * 1999-11-26 2005-10-13 Sanyo Electric Co., Ltd., Moriguchi Verfahren zur 2d/3d videoumwandlung
JP2004505393A (ja) * 2000-08-09 2004-02-19 ダイナミック　ディジタル　デプス　リサーチ　プロプライエタリー　リミテッド イメージ変換および符号化技術
KR100461339B1 (ko) * 2002-05-14 2004-12-10 주식회사 포디컬쳐 영상데이터 전송장치 및 방법
JP4100195B2 (ja) * 2003-02-26 2008-06-11 ソニー株式会社 ３次元オブジェクトの表示処理装置、表示処理方法、およびコンピュータプログラム
JP2004259063A (ja) * 2003-02-26 2004-09-16 Sony Corp ３次元オブジェクトの表示処理装置、表示処理方法およびコンピュータプログラム
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
KR101387212B1 (ko) * 2007-06-12 2014-04-21 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
KR100947265B1 (ko) * 2008-10-10 2010-03-12 (주)플렛디스 Ｐｍｐ용 3ｄ 영상 디스플레이 모듈
US8345956B2 (en) * 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video
KR101506926B1 (ko) * 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
EP2462536A4 (en) * 2009-08-04 2014-10-22 Shenzhen Tcl New Technology SYSTEMS AND METHODS FOR THREE-DIMENSIONAL VIDEO GENERATION
US9083958B2 (en) * 2009-08-06 2015-07-14 Qualcomm Incorporated Transforming video data in accordance with three dimensional input formats
US9131279B2 (en) * 2009-08-06 2015-09-08 Qualcomm Incorporated Preparing video data in accordance with a wireless display protocol
WO2011028837A2 (en) * 2009-09-01 2011-03-10 Prime Focus Vfx Services Ii Inc. System and process for transforming two-dimensional images into three-dimensional images
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
KR20120005328A (ko) * 2010-07-08 2012-01-16 삼성전자주식회사 입체 안경 및 이를 포함하는 디스플레이장치
US8918715B2 (en) * 2010-11-16 2014-12-23 Magix Ag System and method for generating stereoscopic 3D multimedia works from 2D input material
KR101028342B1 (ko) * 2011-01-20 2011-04-11 (주)디지탈아리아 2차원 플래시 애니메이션을 입체 3차원 플래시 애니메이션으로 변환하는 방법
KR20120133640A (ko) * 2011-05-31 2012-12-11 삼성전자주식회사 3ｄ 영상변환장치 그 구현방법 및 그 저장매체
US20130162625A1 (en) * 2011-12-23 2013-06-27 Michael L. Schmit Displayed Image Improvement
US9786253B2 (en) * 2012-01-25 2017-10-10 Lumenco, Llc Conversion of a digital stereo image into multiple views with parallax for 3D viewing without glasses

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103929633A (zh) * 2013-01-10 2014-07-16 佳凌科技股份有限公司 影像仿真补正的方法
CN105933689A (zh) * 2015-02-27 2016-09-07 三星电子株式会社 图像处理方法和支持该方法的电子设备
CN105933689B (zh) * 2015-02-27 2019-05-10 三星电子株式会社 图像处理方法和支持该方法的电子设备
US10491884B2 (en) 2015-02-27 2019-11-26 Samsung Electronics Co., Ltd Image processing method and electronic device supporting the same

Also Published As

Publication number Publication date
US20140115473A1 (en) 2014-04-24
EP2525581A3 (en) 2013-10-23
WO2012157886A3 (en) 2013-03-21
EP2695384A2 (en) 2014-02-12
CN103548343A (zh) 2014-01-29
EP2525581A2 (en) 2012-11-21
WO2012157886A2 (en) 2012-11-22
EP2695384A4 (en) 2014-10-08
JP2014515153A (ja) 2014-06-26
US20120293616A1 (en) 2012-11-22
KR20140037069A (ko) 2014-03-26
JP2012244622A (ja) 2012-12-10

Similar Documents

Publication Publication Date Title
CN102789648A (zh) 用于将二维内容转换为三维内容的设备和方法
CN108140263A (zh) 应用于图像或视频的ar显示***及方法
CN104995596A (zh) 在选项卡层级管理音频以用于用户通知及控制
JP2006325165A (ja) テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法
CN105959814B (zh) 基于场景识别的视频弹幕显示方法及其显示装置
KR102546016B1 (ko) 개인화된 비디오를 제공하기 위한 시스템들 및 방법들
CN109309844A (zh) 视频台词处理方法、视频客户端及服务器
EP3024223B1 (en) Videoconference terminal, secondary-stream data accessing method, and computer storage medium
CN107995482B (zh) 视频文件的处理方法和装置
US9154772B2 (en) Method and apparatus for converting 2D content into 3D content
CN104703039A (zh) 一种视频信息获取方法及装置
EP2525588A1 (en) Apparatus and method for providing 3D content
KR102289822B1 (ko) 교육용 콘텐츠 제작 시스템, 제작방법, 및 그에 사용되는 서비스 서버, 저작자 단말, 클라이언트 단말
CN107368555A (zh) 影视剪辑制作协作方法、装置、服务器及***
CN105228002A (zh) 显示设备及其控制方法
KR102159326B1 (ko) 작가체학습단말기 및 시스템
US20130057647A1 (en) Apparatus and method for converting 2d content into 3d content
CN102811362A (zh) 用于三维图像转换的设备和方法
CN102790897A (zh) 用于将2d内容转换为3d内容的设备和方法
JP6623905B2 (ja) サーバ装置、情報処理方法およびプログラム
WO2024113679A1 (zh) 多媒体资源处理方法、装置和设备
KR101859412B1 (ko) 컨텐츠변환장치 및 컨텐츠변환방법
KR20200076234A (ko) 3차원 vr 콘텐츠 제작 시스템
CN102685518A (zh) 平面转立体影像处理方法及装置
KR20090097431A (ko) 합성 동영상 제공 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121121