CN102811362A - 用于三维图像转换的设备和方法 - Google Patents

Abstract

提供了一种用于三维图像转换的设备和方法，即提供了一种用于将二维(2D)输入图像转换成三维(3D)图像的设备和方法。由三维图像转换设备实施的方法包括以下步骤：接收包括多个帧的输入图像；在所述多个帧中选择与预设条件相应的第一帧；从选择的第一帧中提取第一对象；关于第一对象输入在多个深度信息设置模式中对一个深度信息设置模式的选择；关于第一对象产生与选择的深度信息设置模式相应的第一深度信息；基于产生的第一深度信息渲染输入图像。

Description

用于三维图像转换的设备和方法

技术领域

与示例性实施例一致的设备和方法涉及一种用于三维(3D)图像转换的设备和方法及其存储介质，更具体地讲，涉及用于将二维(2D)图像转换成3D图像的设备和方法及其非暂时计算机可读记录介质。

背景技术

最近研发了一些能够再现3D图像的显示设备。然而，3D图像内容的制作与3D图像再现设备的研发并没有并驾齐驱。通常，制作3D图像需要花费大量成本和时间(例如，大尺寸设备、人力等)。因此，现有的2D图像已被转换成3D图像，以制作3D图像内容，但需要考虑3D图像的质量和经济效益来研发用于3D图像转换的设备和方法。

发明内容

因此，一个或多个示例性实施例提供了一种考虑3D图像的质量和经济效益的用于三维(3D)图像转换的设备和方法及其非暂时计算机可读记录介质。

以上和/或其他方面可通过提供由三维图像转换设备实施的方法被实现，所述方法包括以下步骤：接收包括多个帧的输入图像；在所述多个帧中选择与预设条件相应的第一帧；从选择的第一帧中提取第一对象；关于第一对象输入在多个深度信息设置模式中对一个深度信息设置模式的选择；关于第一对象产生与选择的深度信息设置模式相应的第一深度信息；基于产生的第一深度信息渲染输入图像。

选择第一帧的步骤可包括：在所述多个帧中选择至少一个关键帧；在所述多个帧中的除了关键帧之外的所有帧中选择与至少一帧相应的第一帧。

选择第一帧的步骤可包括：选择与位于两个选择的关键帧之间的至少一帧相应的第一帧。

可基于在多个帧中对象的运动变化、场景改变和重要对象的外貌中的至少一个来选择所述关键帧。

所述方法还可包括如下步骤：从选择的关键帧中提取第二对象；关于第二对象产生第二深度信息。

输入对深度信息设置模式的选择的步骤可包括：产生和显示用户界面(UI)，所述UI示出所述多个深度信息设置模式；通过显示的UI接收在所述多个深度信息设置模式中用户对至少一个深度信息设置模式的选择。

所述多个深度信息设置模式可包括：第一模式，产生大小与应用于第一帧之前的帧的深度信息的大小相同的第一深度信息；第二模式，产生比应用于第一帧之前的帧的深度信息大预定范围的第一深度信息；第三模式，产生与第二深度信息相应的第一深度信息；第四模式，产生基于第二深度信息的预定范围内的第一深度信息。

另一方面可通过提供一种可由计算机执行的命令编码的非暂时计算机可读记录介质被实现，其中，当由处理器执行所述命令时，命令执行用于渲染输入图像的方法，所述方法包括：接收包括多个帧的输入图像；在所述多个帧中选择与预设条件相应的第一帧；从选择的第一帧中提取第一对象；关于第一对象输入在多个深度信息设置模式中对一个深度信息设置模式的选择；关于第一对象产生与选择的深度信息设置模式相应的第一深度信息；基于产生的第一深度信息渲染输入图像。

选择第一帧的步骤可包括：在所述多个帧中选择至少一个关键帧；在所述多个帧中的除了关键帧之外的所有帧中选择与至少一帧相应的第一帧。

选择第一帧的步骤可包括：选择与位于两个选择的关键帧之间的至少一帧相应的第一帧。

可基于在多个帧中对象的运动变化、场景改变和重要对象的外貌中的至少一个来选择所述关键帧。

所述非暂时计算机可读记录介质还可包括如下步骤：从选择的关键帧中提取第二对象；关于第二对象产生第二深度信息。

输入对深度信息设置模式的选择的步骤可包括：产生和显示用户界面(UI)，所述UI示出所述多个深度信息设置模式；通过显示的UI接收在所述多个深度信息设置模式中用户对至少一个深度信息设置模式的选择。

所述多个深度信息设置模式可包括：第一模式，产生大小与应用于第一帧之前的帧的深度信息的大小相同的第一深度信息；第二模式，产生比应用于第一帧之前的帧的深度信息大预定范围的第一深度信息；第三模式，产生与第二深度信息相应的第一深度信息；第四模式，产生基于第二深度信息的预定范围内的第一深度信息。

另一方面可通过提供一种用于三维(3D)图像转换的设备被实现，所述设备包括：接收器，接收包括多个帧的输入图像；图像转换器，在所述多个帧中选择与预设条件相应的第一帧，从选择的第一帧中提取第一对象，关于第一对象产生与多个深度信息设置模式中的选择的一个深度信息设置模式相应的第一深度信息，并基于产生的第一深度信息渲染输入图像。

图像转换器可在所述多个帧中选择至少一个关键帧，并在所述多个帧中的除了关键帧之外的所有帧中选择与至少一帧相应的第一帧。

图像转换器选择与位于两个选择的关键帧之间的至少一帧相应的第一帧。

图像转换器可基于在多个帧中对象的运动变化、场景改变和重要对象的外貌中的至少一个来选择所述关键帧。

图像转换器可从选择的关键帧中提取第二对象，并关于第二对象产生第二深度信息。

所述设备还可包括：用户输入单元；用户界面(UI)产生器，产生和显示UI，所述UI示出所述多个深度信息设置模式，其中，图像转换器通过显示的UI产生与所述多个深度信息设置模式中的用户选择的至少一个深度信息设置模式相应的第一深度信息。

所述多个深度信息设置模式可包括：第一模式，产生大小与应用于第一帧之前的帧的深度信息的大小相同的第一深度信息；第二模式，产生比应用于第一帧之前的帧的深度信息大预定范围的第一深度信息；第三模式，产生与第二深度信息相应的第一深度信息；第四模式，产生基于第二深度信息的预定范围内的第一深度信息。

附图说明

从下面结合附图对示例性实施例的描述，以上和/或其他方面将变得清楚和更容易理解，其中：

图1是示出根据示例性实施例的用于3D图像转换的设备的控制框图；

图2示出图1的3D图像转换设备中的第一帧选择；

图3A至图3D示出基于图1的3D图像转换设备中的转换处理器的深度设置模式的深度信息产生方法；

图4示出在图1的3D图像转换设备中产生和显示用户界面(UI)的示例；

图5是示出图1的3D图像转换设备的操作的流程图。

具体实施方式

以下，示例性实施例将参照附图被详细描述，以使具有本领域的普通知识的人员容易地实施。示例性实施例可以以各种形式被实施，而不限于这里阐述的示例性实施例。为了清晰，省略对公知部分的描述，相同的标号始终表示相同的元件。

图1是示出根据示例性实施例的用于3D图像转换的设备的控制框图。

根据示例性实施例的3D图像转换设备100是这样一种电子设备：能够从外部源提供设备(未示出)接收2D图像或单目图像，并将该图像转换成3D图像或双目图像，例如包括显示设备，特别是通用计算机(PC)等。根据示例性实施例的3D图像转换设备100关于接收的输入图像通过预定处理器产生反映用户选择的深度信息，并基于产生的深度信息将输入图像转换成3D图像。

在将从源提供设备(未示出)接收的2D图像转换成3D图像之后，3D图像转换设备100可立体地显示转换的3D图像，或将转换的3D图像发送到能够再现3D图像的外部内容再现设备(未示出，例如，电视(TV)、个人计算机(PC)、智能电话、智能平板电脑、便携式多媒体播放器(PMP)、MP3播放器等)。

在根据示例性实施例的网络中，不限于网络的通信方法(例如，有线和/或无线通信方法等)，只要在用于发送2D图像和/或3D图像的数据通信中使用该通信方法，并且数据通信包括任何已知的通信方法。

如图1所示，3D图像转换设备100包括接收器10、图像转换器20、显示单元30、用户界面(UI)产生器40和用户输入单元50。

接收器10从外部源提供设备(未示出)接收包含多个帧的输入图像。输入图像包括2D图像或单目图像。3D图像基于观众的双目视差，并包括多个左眼帧和多个右眼帧。在多个左眼帧和多个右眼帧中，可从输入图像中的多个帧中的至少一个相应帧来转换一对左眼帧和右眼帧中的每一个。

接收器10可通过预定网络(未示出)来从外部源提供设备(未示出)接收2D图像。例如，作为网络服务器的外部源提供设备存储2D图像，并应3D图像转换设备100的请求将2D图像发送到3D图像转换设备100。

根据另一示例性实施例，接收器10可不通过网络而是通过另一数据传送装置从外部源提供设备(未示出)接收2D图像。例如，外部源提供设备(未示出)可以是设置有用于存储2D图像的存储装置(例如，硬盘、闪存等)的设备，所述外部源提供设备可在本地连接到3D图像转换设备100，并应3D图像转换设备100的请求将2D图像发送到3D图像转换设备100。在这种情况下，如果2D图像的数据被发送，则不限于接收器10和外部源提供设备(未示出)之间的本地连接方法，本地连接方法例如可包括通用串行总线(USB)等。

图像转换器20将由接收器10接收的输入图像转换成3D图像。图像转换器20可包括中央处理单元(CPU)21、随机存取存储器(RAM)23和存储单元25。存储单元25可存储用于将单目图像转换成双目图像的转换程序26、将被转换的单目图像(或输入图像)27和从单目图像完全转换的双目图像(或3D图像)28。存储单元25可通过硬盘、闪存等非易失性存储器来实现。当图像转换器20操作时，RAM 23加载转换程序26的至少一部分，CPU21执行加载到RAM 23的转换程序26。转换程序26包含可被CPU 21执行的指令。存储单元25是非暂时计算机可读存储介质的示例。将参照图4至图6更详细地描述图像转换器20的操作。

显示单元30显示由稍后将描述的用户界面(UI)产生器40产生的UI。另外，可将由图像转换器20转换的输入图像与UI一起显示。此外，由图像转换器20完全转换的3D图像可被显示。没有任何限制，显示单元30可通过各种显示类型(例如，液晶、等离子体、发光二极管、有机发光二极管、表面传导电子发射、碳纳米管、纳米晶等)被实现。

UI产生器40可产生用于显示多个深度信息设置模式的UI。可以以图形用户界面(GUI)的形式来实现产生的UI。可在将输入图像转换成3D图像的同时产生UI，从而UI产生器40可在图像转换器20的CPU 21的控制下执行其自身功能。

用户输入单元50是用于接收用户输入的用户界面，所述用户界面接收与3D图像转换设备100的功能或操作相关的用户的选择。用户输入单元50可设置有至少一个键按钮，并可通过3D图像转换设备100中设置的控制面板或触摸面板来实现。另外，可以以通过有线或无线连接到3D图像转换设备100的遥控器、键盘、鼠标等形式来实现用户输入单元50。

下面，将参照图2至图4更详细地描述图像转换器20。

图2示出图1的3D图像转换设备中的第一帧选择。

如果通过接收器10接收到包含多个帧110的输入图像，则图像转换器20在多个帧110中选择与预设条件相应的第一帧。与预设条件相应的第一帧包括与多个帧中除了关键帧111、113、115之外的所有帧相应的至少一帧112、114。例如，第一帧包括位于两个关键帧111和113之间的至少一帧112。

此时，图像转换器20基于在多个帧中对象的运动变化、场景改变和重要对象的外貌来选择至少一个关键帧。如果选择了至少一个关键帧，则图像转换器20提取该关键帧中的至少一个对象，并产生与提取的至少一个对象有关的第二深度信息。可通过使用公知的深度估计算法来产生将被应用于关键帧的对象的第二深度信息。或者，可通过使用预定UI基于用户选择来产生将被应用于关键帧的对象的第二深度信息。图像转换器20可从输入图像的第一关键帧至最后关键帧对将被应用于多个关键帧的对象的第二深度信息进行图形改变，其示例在图3A中示出。图3A示出从第一关键帧至最后关键帧的深度信息的改变的曲线，可在产生第一帧的第一深度信息中使用该曲线。

如果与预设条件相应地选择了第一帧，则图像转换器20在第一帧中提取第一对象。此时，第一对象表示第一帧中包含的至少一个对象。例如，第一帧可包括多个对象。

图像转换器20可控制UI产生器40产生和显示UI，所述UI显示用于产生关于第一帧中的第一对象的第一深度信息的多个深度信息设置模式，其示例在图4中示出。参照图4，UI包括将被用户选择的多个深度信息设置模式，例如包括用于选择第一模式至第四模式的图标。如果用户通过用户输入单元50选择第一模式至第四模式之一，则图像转换器20产生与用户选择的模式相应的深度信息。图像转换器20基于与用户选择的深度模式相应而产生的深度信息来渲染输入图像，从而导致产生3D图像。

图3B示出第一模式和第二模式，图3C显示第三模式，图3D显示第四模式。如图3B所示，第一模式是用于产生大小与应用于第一帧之前的帧的深度信息的大小相同的深度信息的模式。因此，第一模式是用于将具有预设特定大小的深度信息应用于第一帧的第一对象的模式。第二模式是用于产生比应用于第一帧之前的帧的深度信息大预定范围的第一深度信息的模式。因此，在第二模式下，深度信息随时间过去而逐步增加。

如图3C所示，第三模式是用于产生与将被应用于关键帧的对象的第二深度信息相应的第一深度信息的模式。例如，如果第M关键帧和第(M+1)关键帧之间的深度信息的改变的曲线显示深度信息如区间‘a’那样减小，则将位于第M关键帧和第(M+1)关键帧之间的第一帧的至少一个深度信息调整成如与区间‘a’相同或类似改变的区间‘b’的深度信息那样的深度信息(参照图3A和图3C)。

如图3D所示，第四模式是产生基于将被应用于第一关键帧的对象的第二深度信息在预定范围内增加或减小的第一深度信息的模式。例如，如果第M关键帧和第(M+1)关键帧之间的深度信息改变的曲线显示深度信息如区间‘a’那样减小，则通过产生比区间‘a’的深度信息在特定范围内更多增加或减小的第一深度信息来将位于第M关键帧和第(M+1)关键帧之间的第一帧的至少一个深度信息调整成如区间‘b’的深度信息那样的深度信息(参照图3A和图3D)。因此，深度信息在第四模式下很大程度地被增加或减小，以使观众可感知更逼真的立体效果。

如上所述，根据示例性实施例的3D图像转换设备100具有如下优点：关于构成输入图像的多个帧中的关键帧产生深度信息，并将基于用户选择的模式的深度信息应用于多个帧中除了关键帧之外的所有帧。因此，与当深度信息被产生并一次全部被应用于所有帧时相比，在时间和成本方面具有非常高的经济效益。

图5是示出图1的3D图像转换设备的操作的流程图。

接收包含多个镇的输入图像(S210)，并在多个帧中与预设条件相应地选择第一帧(S220)。在多个帧中，第一帧是除了关键帧之外在所有帧中选择的至少一帧。此外，可从选择的第一帧中进一步提取第一对象(S220)。另外，第一帧的选择还可包括在多个帧中选择至少一个关键帧，选择关键帧中的第二对象，并产生关于第二对象的第二深度信息。

显示关于第一对象的多个深度信息设置模式的UI被产生和显示(S230)，并通过显示的UI输入在多个深度信息设置模式中对一个深度信息设置模式的选择(S240)。

产生关于第一对象的与选择的设置模式相应的第一深度信息(S250)，并通过使用产生的第一深度信息来渲染输入图像，从而产生3D图像(S260)。

此外，可在3D图像转换设备100上显示产生的3D图像。

另外，可将产生的3D图像发送到外部内容再现设备(未示出)。

可以以程序命令的形式来实现由根据示例性实施例的3D图像转换设备实施的方法，所述程序命令可由各种计算机执行，并被存储在非暂时计算机可读记录介质中。非暂时计算机可读记录介质可单独包括程序命令、数据文件、数据结构等，或者包括程序命令、数据文件、数据结构等的组合。存储介质上记录的程序命令可针对本示例性实施例被特别设计和配置，或者是公知的并且对于具有计算机软件领域的技术的人员是可用的。例如，非暂时计算机可读记录介质包括：磁性介质，例如，硬盘、软盘和磁带；光学介质，例如，压缩盘只读存储器(CD-ROM)和数字通用盘(DVD)；磁光介质，例如，可光读的软磁盘；和硬件装置，被专门配置为存储和执行程序命令，例如，ROM、随机存取存储器(RAM)、闪存等。例如，程序命令不仅包括由编译器产生的机器码，还包括可通过使用解释器等由计算机执行的高级语言代码。硬件装置可被配置为如用于实现根据示例性实施例的方法的一个或多个软件模块那样操作，反之亦然。

如上所述，提供了一种考虑图像的质量和经济效益的同时将2D图像转换成3D图像的设备和方法及其存储介质。

尽管已经显示和描述了一些示例性实施例，但是本领域的技术人员将理解，在不脱离发明构思的原理和精神的情况下，可对这些示例性实施例做出改变，其中，在权利要求及其等同物中限定了发明构思的范围。

Claims (14)

1.一种由三维图像转换设备实施的方法，所述方法包括以下步骤：

接收包括多个帧的输入图像；

在所述多个帧中选择与预设条件相应的第一帧；

从选择的第一帧中提取第一对象；

关于第一对象输入在多个深度信息设置模式中对一个深度信息设置模式的选择；

关于第一对象产生与选择的深度信息设置模式相应的第一深度信息；

基于产生的第一深度信息渲染输入图像。

2.根据权利要求1的方法，其中，选择第一帧的步骤包括：

在所述多个帧中选择至少一个关键帧；

在所述多个帧中的除了关键帧之外的所有帧中选择与至少一帧相应的第一帧。

3.根据权利要求2的方法，其中，选择第一帧的步骤包括：选择与位于两个选择的关键帧之间的至少一帧相应的第一帧。

4.根据权利要求2的方法，其中，基于在多个帧中对象的运动变化、场景改变和重要对象的外貌中的至少一个来选择所述至少一个关键帧。

5.根据权利要求2的方法，还包括如下步骤：

从选择的至少一个关键帧中提取第二对象；

关于第二对象产生第二深度信息。

6.根据权利要求1的方法，其中，输入对深度信息设置模式的选择的步骤包括：

产生和显示用户界面，所述用户界面示出所述多个深度信息设置模式；

通过显示的用户界面接收在所述多个深度信息设置模式中用户对至少一个深度信息设置模式的选择。

7.根据权利要求1的方法，其中，所述多个深度信息设置模式包括：

第一模式，产生大小与应用于第一帧之前的帧的深度信息的大小相同的第一深度信息；

第二模式，产生比应用于第一帧之前的帧的深度信息大预定范围的第一深度信息；

第三模式，产生与第二深度信息相应的第一深度信息；

第四模式，产生基于第二深度信息的预定范围内的第一深度信息。

8.一种用于三维图像转换的设备，包括：

接收器，接收包括多个帧的输入图像；

图像转换器，在所述多个帧中选择与预设条件相应的第一帧，从选择的第一帧中提取第一对象，关于第一对象产生与多个深度信息设置模式中的选择的一个深度信息设置模式相应的第一深度信息，并基于产生的第一深度信息渲染输入图像。

9.根据权利要求8的设备，其中，图像转换器在所述多个帧中选择至少一个关键帧，并在所述多个帧中的除了关键帧之外的所有帧中选择与至少一帧相应的第一帧。

10.根据权利要求9的设备，其中，图像转换器选择与位于两个选择的关键帧之间的至少一帧相应的第一帧。

11.根据权利要求9的设备，其中，图像转换器基于在多个帧中对象的运动变化、场景改变和重要对象的外貌中的至少一个来选择所述至少一个关键帧。

12.根据权利要求9的设备，其中，图像转换器从选择的至少一个关键帧中提取第二对象，并关于第二对象产生第二深度信息。

13.根据权利要求8的设备，还包括：

用户输入单元；

用户界面产生器，产生和显示用户界面，所述用户界面示出所述多个深度信息设置模式，

其中，图像转换器通过显示的用户界面产生与所述多个深度信息设置模式中的用户选择的至少一个深度信息设置模式相应的第一深度信息。

14.根据权利要求8的设备，其中，所述多个深度信息设置模式包括：

第一模式，产生大小与应用于第一帧之前的帧的深度信息的大小相同的第一深度信息；

第二模式，产生比应用于第一帧之前的帧的深度信息大预定范围的第一深度信息；

第三模式，产生与第二深度信息相应的第一深度信息；

第四模式，产生基于第二深度信息的预定范围内的第一深度信息。

Images