CN104937927A - 2维图像或视频到3维立体图像或视频的实时自动转换 - Google Patents

2维图像或视频到3维立体图像或视频的实时自动转换 Download PDF

Info

Publication number
CN104937927A
CN104937927A CN201380070953.9A CN201380070953A CN104937927A CN 104937927 A CN104937927 A CN 104937927A CN 201380070953 A CN201380070953 A CN 201380070953A CN 104937927 A CN104937927 A CN 104937927A
Authority
CN
China
Prior art keywords
value
depth map
pixel
module
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380070953.9A
Other languages
English (en)
Other versions
CN104937927B (zh
Inventor
H-S·V·哈
Y-J·邱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104937927A publication Critical patent/CN104937927A/zh
Application granted granted Critical
Publication of CN104937927B publication Critical patent/CN104937927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

***、装置和方法关于2维图像或视频到3维立体图形或视频的实时自动化转换。用于将2维(2D)图像转换成3维(3D)立体图像的方法包括：确定2D输入图像的单个像素的锐度值；执行对锐度值的基于第一区域和基于第二区域的取样；缩放第一组和第二组多个锐度值；使第一组和第二组多个经缩放的值平滑；确定第一组和第二组多个经内插的锐度值；以及合并第一组和第二组多个经内插的锐度值以生成深度映射。

Description

2维图像或视频到3维立体图像或视频的实时自动转换
背景技术
在3维(3D)成像中，可将2维(2D)图像或视频帧转换成3D立体图像或视频以呈现给用户。可将3D立体图像或视频(通常是左图像或视频和右图像或视频)呈现给可从这些图像中体验3D效果的用户。随着在电视、监视器、智能电话和平板设备上的各种3D立体显示的最新发展和商业化，对立体3D内容的需求在增长。2D到3D的转换技术为内容制作商并同样为消费者高度追求，以将现有2D图像和视频转换为3D，以获得更生动的视觉化和娱乐。
一般而言，可以有三种主要类别的2D到3D的转换技术：手动的、半自动的和自动的。手动过程通常涉及人类操作者和艺术家检查图像或视频序列的每一个帧并为那些图像或帧分配深度值。这样的过程就人工成本和处理时间而言是昂贵的。半自动技术通常利用诸如计算机软件或硬件设备的自动化元件，在可指导或更正操作的人类操作者的辅助下创建3D图像。这样的过程比手动过程较不昂贵并更快，但仍通常不适于电影和广播工作室等以外的应用。与在转换过程期间要求人为干预的手动或半自动技术不同，自动转换可提供仅依赖于用于2D到3D转换的硬件和/或软件的简单而高效的过程。
由于存在对2D图像和视频到3D图像和视频的自动、实时转换的广泛需求，因此使转换更准确及可靠可以是受期望的。
附图说明
在所附附图中，通过示例的方式而非限制的方式示出本文所述的素材。为了图示的简明和清晰起见，图中示出的元件不一定是按比例绘制的。例如，为了清晰，可以将一些元件的尺度相对于其它元件放大。而且，在认为合适的地方，在多个图之间重复了参考标号以指示相对应的或类似的元件。在附图中：
图1是用于将2维(2D)图像转换成3维(3D)立体图形的示例***的说明性图；
图2是用于确定单个像素的锐度值的示例技术的说明性图；
图3是用于对锐度值的基于区域的取样的示例技术的说明性图；
图4是用于缩放锐度值的示例技术的说明性图；
图5是用于将2维(2D)图像转换成3维(3D)立体图像的示例***的说明性图；
图6是用于将2维(2D)图像转换成3维(3D)立体图像的示例***的说明性图；
图7是用于将2维(2D)图像转换成3维(3D)立体图像的示例***的说明性图；
图8是用于将2维(2D)图像转换成3维(3D)立体图像的示例***的说明性图；
图9是解说用于将2维(2D)图像转换成3维(3D)立体图像的示例过程的流程图；
图10是用于将2维(2D)图像转换成3维(3D)立体图像的示例***的说明性图；
图11是示例***的说明性图；以及
图12是全部根据本公开的至少一些实现来安排的示例设备的说明性图。
具体实施方式
现在参考所附附图描述一个或多个实施例或实现。尽管讨论了特定配置和安排，但应当理解，这样做仅是出于说明性目的。相关领域的技术人员将意识到，可以采用其它配置和安排而不背离本描述的精神和范围。对于相关领域的技术人员显而易见的是，本文所描述的技术和/或安排也可以在本文所描述的那些之外的各种其它***和应用中采用。
尽管以下描述阐述了可以表现在诸如片上***(SoC)架构之类的架构中的各种实现，但本文所描述的技术和/或安排的实现不限于特定架构和/或计算***，并可由出于类似目的的任何架构和/或计算***来实现。例如，采用例如多个集成电路(IC)芯片和/或封装的各种架构和/或诸如机顶盒、智能电话等的各种计算设备和/或消费电子(CE)设备可以实现本文所描述的技术和/或安排。而且，尽管以下描述可以阐述诸如逻辑实现、***组件的类型和相互关系、逻辑分区/集成选择等的众多具体细节，但没有此类具体细节也可以实践所要求保护的主题。在其它实例中，可以不详细示出诸如例如控制结构和完整的软件指令序列之类的一些素材，以便不使本文所公开的素材含糊。
本文所公开的素材可以在硬件、固件、软件或其任何组合中实现。此处所公开的素材也可以实现为存储在机器可读介质上的指令，该指令可以由一个或多个处理器读取并执行。机器可读介质可以包括用于以可由机器(例如，计算设备)读取的形式存储或传输信息的任何介质和/或机制。例如，机器可读介质可以包括：只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电、光、声或其它形式的传播信号(例如，载波、红外信号、数字信号等)及其它。
说明书中对“一个实现”、“实现”、“示例实现”等的引用指示所描述的实现可以包括特定特征、结构或特性，但是，每一个实现可以不必包括该特定特征、结构，或特征。此外，此类短语不一定指同一实现。而且，当结合实现来描述特定特征、结构或特性时，不管是否在本文中明确描述，结合其它实现来实现这样的特征、结构或特性被认为是在本领域技术人员的知识范围内。
以下描述了关于2维图像或视频到3维立体图形或视频的实时自动化转换的***、装置、制品和方法。
如上所述，3D图像或视频可使用手动、半自动或自动技术从2D图像或视频中生成。手动和半自动过程在人工劳力和处理时间方面可能是相对昂贵的，使得它们可能仅适于其中图像或视频可在呈现给用户之前被转换的实现。
如以下进一步描述的那样，可自动地以及实时地将2D图像或视频转换成3D立体图像或视频。例如，可确定2D输入图像的单个像素的锐度值。例如，锐度值可以基于YUV或YCbCr颜色空间中的Y值或R/G/B值的合并。在一些示例中，锐度值可基于像素周围的3×3窗口中的垂直和水平锐度而确定。基于锐度值，能以不同的分辨率来执行两个基于区域的取样以生成两组样本锐度值。例如，不同的分辨率可通过在两个取样中使用不同的区域尺寸来提供。以不同的分辨率执行取样可提供全局图案(例如，对于较大的区域)和更精细的细节(例如，对于较小的区域)的提取。可缩放(即，经修改已增强3D效果)每一个基于区域的取样的样本锐度值并使其平滑(例如，通过应用平均过滤器)。经缩放和平滑的锐度值可用来内插在取样期间丢失的像素位置，使得每一个基于区域的取样都可达到输入图像的全分辨率。可合并每一个取样的经内插的锐度值以生成深度映射(map)。
通过将深度映射转换成视差(disparity)值映射并使用该视差值映射来生成左侧和右侧3D立体图像，可使用深度映射和输入图像来生成左侧和右侧3D立体图像。或者，可通过执行深度对比的垂直和/或水平增强、重影减少、以及时域过滤(如果图像是视频帧)来进一步处理深度映射。然后，可使用此类经增强的深度映射以便如所讨论的那样来生成左侧和右侧3D立体图像。一般而言，可将该进一步处理中的任何部分或全部应用于深度映射，或完全不应用该进一步处理。
这样的技术可提供2D图像或视频到3D立体图像或视频的自动和实时的转换。例如，可将得到的3D立体图像或视频呈现给用户。
图1是根据本公开的至少一些实现而安排的用于将2维(2D)图像转换成3维(3D)立体图像的示例***100的说明性图。如所示的那样，***100可包括具有锐度测量模块115的基于锐度的深度映射模块110、取样模块120、取样模块125、缩放模块130、缩放模块135、平滑模块140、平滑模块145、内插模块150、内插模块155和/或合并模块160。在各种实现中，可将***100配置为将2D图像转换成3D立体图像，并且具体而言确定2D输入图像105的深度映射170。如以下进一步讨论的那样，可经由各种软件和/或硬件实现来采用***100。如以下也进一步讨论的那样，***100可包括为了清晰起见未在图1中示出的附加模块。在各种实现中，所示的模块可经由下文中进一步讨论但未在图1中示出的中央处理单元或图形处理单元来实现。而且，在一些示例中，***100可包括未在图1中示出的附加项。例如，***100可包括射频型(RF)收发机、显示器、天线、扬声器、话筒、加速度计、存储器、路由器、网络接口逻辑等。
如所讨论的那样，***100可供将2D图像转换成3D立体图像，并且具体而言，***100可基于2D输入图像105来提供深度映射170。如所示的那样，可在基于锐度的深度映射模块110处接收2D图像105。一般而言，2D图像105可包括任何适合的图像数据(诸如例如，图像文件或视频帧)且2D图像105可包括任何数量的单个像素。可在***100处接收来自外部设备的2D图像105，或者可从***100的另一个模块(例如，从***100的存储器存储)接收2D图像105。
如所示的那样，锐度测量模块115可确定锐度值117，该锐度值可被发送到取样模块120和取样模块125。锐度值117可基于2D图像105的单个像素的单独的像素值。例如，可基于2D图像105的单个像素的亮度Y值(例如，如果2D图像105被表示在YUV颜色空间或者YCbCr颜色空间中)或者2D图像105的单个像素的R/G/B值(例如，如果2D图像被表示在R/G/B颜色空间中)来确定示例锐度值117。当使用R/G/B或其他多通道颜色空间时，可确定独立的测量(例如，针对每一个通道的测量)并将它们合并为使用例如MAX操作(即，确定这些独立测量的最大值的操作)或AVG操作(即，确定这些独立测量的平均的操作)的单个测量。
一般而言，可通过任何适合的方式确定锐度值117。图2是根据本公开的至少一些实现而安排的用于确定单个像素的锐度值的示例技术的说明性图。如图2中所示，对于单个像素210(标记为像素“e”)，可考虑像素窗口215。如所示的那样，像素窗口215可以是例如3×3像素窗口并可包括相邻像素220(标记为“a”-“d”和“f”-“i”)。一般而言，像素窗口215可以是任何尺寸且所述的计算可以扩展到更大的像素窗口。为了确定像素的锐度值，可确定垂直锐度值和水平锐度值。垂直锐度值可确定为像素b(即，像素e上面的像素)的像素值和像素e的像素值之间的绝对值差与像素h(即，像素e下面的像素)的像素值和像素e的像素值之间的绝对值差之间的绝对值差。水平锐度值可确定为像素d(即，像素e左边的像素)的像素值和像素e的像素值之间的绝对值差与像素f(即，像素e右边的像素)的像素值和像素e的像素值之间的绝对值差之间的绝对值差。然后可以基于垂直锐度和水平锐度，将单个像素e的锐度确定为例如它们的最大值或他们的平均值。像素e的锐度的此类确定如下以方程式(1)-(3)示出：
垂直_锐度(e)＝ABS(ABS(b-e)-ABS(h-e))       (1)
水平_锐度(e)＝ABS(ABS(d-e)-ABS(f-e))       (2)
锐度(e)＝MAX(垂直_锐度，水平_锐度)或者      (3)
AVG(垂直_锐度，水平_锐度)
其中垂直_锐度可以是垂直的锐度，ABS可以是确定给定值的绝对值的操作，b、e、h、d和f可表示在所述像素位置处的像素值，水平_锐度可以是水平的锐度，MAX可以是确定给定值的最大值的操作，且AVG可以是确定给定值的平均值的操作。
如所讨论的那样，在一些示例中，可考虑较大的像素窗口215，且在这样的示例中，垂直和/或水平锐度测量也可被扩展。而且，在一些示例中，确定锐度值117时可考虑对角线锐度测量(即，像素a与i和/或c与g的类似绝对值差)。
返回到图1，可将锐度值117发送到取样模块120和取样模块125。如下面进一步讨论的那样，取样模块120、缩放模块130、平滑模块140和内插模块150可执行与取样模块125、缩放模块135、平滑模块145和内插模块155类似的操作，但以不同的分辨率执行。不同的分辨率可供例如基于区域的取样。来自这样的处理的结果可在合并模块160处合并以生成深度映射170。这样的不同分辨率可通过例如对不同的区域尺寸取样或者以锐度值的不同缩小因子对相同的区域尺寸取样而实现。
在使用了不同的区域尺寸的示例中，可使用任何尺寸或形状的区域。图3是根据本公开的至少一些实现而安排的对锐度值的基于区域的取样的示例技术的说明性图。如所示的那样，可将锐度值117(为了呈现的清晰起见，一般示为空白图像)划分成例如子区域305和子区域310。如所示那样，子区域305和310可以是不同尺寸的。一般而言，子区域305和310可以各自包括可覆盖所有的锐度值117的不重叠的子区域。而且，如图3中所示，子区域305和310可以是任何适合的形状，诸如例如，矩形或正方形。子区域305和310的尺寸和/或形状基于2D输入图像105和/或锐度值117的特性(诸如例如，2D输入图像105和/或锐度值117的尺寸或分辨率)可以是固定的或者可适的。
返回到图1，取样模块120可执行锐度值117的基于区域的取样以确定样本锐度值122，且取样模块125可执行锐度值117的基于区域的取样(例如，与由取样模块120所取样的相同的锐度值)以确定样本锐度值127。如所讨论的那样，一般而言，取样模块120和125可例如经由以不同的区域尺寸取样或经由使用不同的缩小因子取样来以不同的分辨率执行基于区域的取样。而且，在使用了不同的区域尺寸的示例中，取样值可对每一个子区域提供单个值。例如，对于子区域，单个值可以是区域中的最大锐度值(即，该单个值可以是MAX(●)，其中●表示相关区域中的所有锐度值)。在其他示例中，可以使用区域的平均锐度值。在任何情况下，基于区域的取样可提供可降低后续操作的数量(并由此提高效率)和/或可提供对锐度值的更平滑的表示的对锐度值117的取样。如所示的那样，***100可包括取样模块120和取样模块125。在其他示例中，可使用单个取样模块来生成样本锐度值122和样本锐度值127二者。
如所示的那样，可将样本锐度值122发送到缩放模块130且可将样本锐度值127发送到缩放模块135。缩放模块130可缩放样本锐度值122以生成经缩放的锐度值132。缩放模块135可缩放样本锐度值122以生成经缩放的锐度值137。对样本锐度值的缩放可修改样本锐度值以增强3D效果，并可使用各种技术来执行对样本锐度值的缩放。例如，可使用预定的映射函数或可执行对样本锐度值的自适应性分析来确定映射函数。在一些示例中，可使用分段的线性映射，如图4中所示。
图4是根据本公开的至少一些实现而安排的用于缩放锐度值的示例技术的说明性图。如图4中所示，可沿x轴示出样本锐度值，且可沿y轴示出经缩放的样本锐度值。如所示的那样，分段的线性映射可包括段410、420、430和440，其每一个都可提供该分段的线性映射的直线段。如所示的那样，分段的线性映射可提供小样本锐度值的较大缩放(例如，如由段410的大斜率提供的)，而可将较大样本锐度值缩放较小的量(例如，如由段440的小斜率提供的)。此类分段的线性映射可提供较不锐利(例如，模糊并且通常是背景)区域和较锐利(例如，通常是前景)区域之间的深度间隙的增长，同时减小较不锐利和较锐利区域内的深度间隙。图4的示例可示为以下的方程式(4)：
if(sharp_in<16)sharp_out＝4*sharp_in+0；       (4)
else if(sharp_in<64)sharp_out＝2*sharp_in+32；
else if(sharp_in<128)sharp_out＝1/2*sharp_in+128；
else sharp_out＝1/4*sharp_in+160；
其中sharp_in(锐度_输入)可以是样本锐度值，sharp_out(锐度_输出)可以是经缩放的样本锐度值。由方程式(4)示出的关系可由如方程式(5)中所示的四个参数三元组表示：
{阈值，比例，偏移}＝{16，4，0}          (5)
{64，2，32}
{128，1/2，128}
{256，1/4，160}
其中“阈值”可以是缩放因子按其改变的阈值，“比例”可以是缩放因子，且“偏移”可以是有关段的偏移。以上阈值、比例和偏移可以是预定值，或者它们可基于2D输入图像105、锐度值117或样本锐度值122或127的特性。如所示的那样，***100可包括缩放模块130和缩放模块135。在其他示例中，可使用单个缩放模块来生成经缩放的锐度值132和经缩的放锐度值137二者。
在另一示例中，经缩放的锐度值132可使用自适应性调整来确定。例如，可利用2D输入图像105中的锐度值直方图来分析样本锐度值122。在这样的示例中，可将模糊区域(例如，背景区域)和锐利区域(例如，前景区域)标识为直方图中分离的锐度值群集。所标识的群集可以是经缩放的，使得模糊区域变得更模糊且锐利区域变得更锐利那样，从而导致这两个区域的更大的分离。
如所示的那样，可将经缩放的锐度值132发送到平滑模块140且可将经缩放的锐度值137发送到平滑模块145。平滑模块140可通过例如应用3×3平均过滤器使经缩放的锐度值132平滑以生成经平滑的锐度值142。平滑模块145可通过例如应用3×3平均过滤器使经缩放的锐度值137平滑以生成经平滑的锐度值147。由平滑模块140或平滑模块145应用的过滤器的尺寸可以是诸如4×4或5×5等的不同尺寸。而且平均过滤器的尺寸可预先确定或者可基于所接收的经缩放的锐度值来确定。如所示的那样，***100可包括平滑模块140和平滑模块145。在其他示例中，可使用单个平滑模块来生成经平滑的锐度值142和经平滑的锐度值147二者。
如所示的那样，可将经平滑的锐度值142发送到内插模块150且可将经平滑的锐度值147发送到内插模块155。内插模块150可基于经平滑的锐度值142来确定经内插的锐度值152。内插模块155可基于经平滑的锐度值147来确定经内插的锐度值157。可使用诸如双线性内插技术之类的任何内插技术来生成经内插的锐度值。一般而言，内插模块能以相同的分辨率(即，具有相同数量的像素)来提供经内插的锐度值152和157以供后续合并。而且，在一些示例中，经内插的锐度值152和157的分辨率可匹配2D输入图像105的分辨率(例如，他们可具有相同的像素计数)，使得经平滑的锐度值可被恢复到2D输入图像105的全分辨率。在一些示例中，可认为经内插的锐度值152和157可各自是深度表面，使得它们包括基于2D输入图像105的深度信息。如所示的那样，***100可包括内插模块150和内插模块155。在其他示例中，可使用单个内插模块来生成经内插的锐度值152和经内插的锐度值157二者。
如所示的那样，经内插的锐度值152和157可发送到合并模块160。合并模块160可合并经内插的锐度值152和157以生成深度映射170。该深度映射170可包括例如与2D输入图像105相关联的深度值。如下面进一步讨论的那样，深度映射170和2D输入图像105可用来生成3D立体图像。一般而言，合并模块160可基于混合因子(或“混合率”或“合并率”)来合并经内插的锐度值152和157，该混合因子可以是预定的因子或基于例如经内插的锐度值152和157而动态地确定。合并率对于每一个像素位置可以是相同的、其可在每一个像素位置处动态地确定，或者遍及像素区域是统一的并在区域边界处改变，等等。下面在方程式(6)中示出了示例合并操作：
深度＝α×深度1+(1-α)×深度2        (6)
其中“深度”可以是深度映射中的深度值，α可以是在区间[0，1]中归一化的混合因子，“深度1”可以是由经内插的锐度值152表示的深度表面(或映射)，且“深度2”可以是由经内插的锐度值157表示的深度表面(或映射)。
如所讨论的那样，取样模块120、缩放模块130、平滑模块140和内插模块150可执行与取样模块125、缩放模块135、平滑模块145和内插模块155类似的操作，但以不同的分辨率执行。在一些实现中，模块可分开实现，而在其他实现中，也可将模块实现为可如所述那样执行功能以获得不同的分辨率的单个的模块。也就是说，可提供单个取样模块、单个缩放模块、单个平滑模块和单个内插模块，且可在相同的模块处(例如，串行地)，以不同的分辨率来执行操作。这样的实现相比并行的实现可能更慢地操作，但可提供例如易于实现和减小的硅面积的优点。
如所讨论的那样，可使用深度映射170以基于2D输入图像105来生成3D立体图像。图5是根据本公开的至少一些实现而安排的用于将2维(2D)图像转换成3维(3D)立体图像的示例***的说明性图。如所示的那样，***100还可包括立体图像模块500，该模块包括视差模块520、视差模块525、图像渲染模块530和图像渲染模块535。如所示的那样，立体图像模块500可接收2D输入图像105和深度510并生成左立体图像540和右立体图像545。
如图5中所示，可在***100的立体图像模块处接收2D输入图像105和深度映射510。一般而言，可在***100处接收来自外部设备的2D图像105和深度映射510，或者可从***100的另一模块(例如，从***100的存储器存储或从基于锐度的深度映射模块110等)接收2D图像105和/或深度映射510。在一些示例中，深度映射510可以是深度映射170。在其他示例中，深度映射510可以是下文进一步讨论的经增强的深度映射。
如所示的那样，视差模块510可接收深度映射510并生成左侧视差值映射522。视差模块525可接收深度映射510并生成右侧视差值映射527。可将左侧视差映射522发送到图像渲染模块530，且可将右侧视差映射527发送到图像渲染模块535。视差模块530也可接收2D输入图像105，并可基于2D输入图像105和左侧视差映射522来生成左立体图像540。同样如所示的那样，视差模块530可接收2D输入图像105，并可基于2D输入图像105和右侧视差映射527来生成右立体图像545。一般而言，左立体图像540和右立体图像545可以是适于显示给用户的3D立体图像。
如所讨论的那样，可使用深度映射170或经增强的深度映射来生成3D立体图像。图6是根据本公开的至少一些实现而安排的用于生成经增强的深度映射的示例***的说明性图。如所示的那样，***100还可包括增强模块600，该模块可包括深度对比增强模块610、重影减少模块620和时域过滤模块630中的一个或多个。增强模块600可接收深度映射170并生成深度映射640。在一些示例中，可认为深度映射640是或可将其标记为经增强的深度映射。如所示的那样，在示例中，模块610、620和630中的每一个都可用来生成深度映射640。在各种实现中，模块610、620和/或630中的一个或组合可用来生成深度映射640。
如所示的那样，可在深度对比增强模块620处接收深度映射170，该深度对比增强模块620可对深度映射170执行深度对比的增强以生成经增强的深度映射615。一般而言，深度对比的增强可包括垂直增强、从做到右(left-to-right)和/或从右到左(right-to-left)水平增强或其组合。例如，深度对比的增强可包括仅垂直增强。在另一示例中，深度对比的增强可包括并行地对深度映射执行垂直增强、从左到右水平增强和从右到左水平增强，并组合该垂直、从左到右和从右到左水平增强以生成经增强的深度映射。在又一示例中，深度对比的增强可包括：执行垂直增强，并随后执行从左到右水平增强和从右到左水平增强以生成经增强的深度映射。
一般而言，所讨论的增强可强调深度映射170中对象边界处的深度不连续性而不执行对象分段。例如，垂直增强可包括考虑沿同一列跨两个连续行的像素值。如果这些像素值是恒定的(例如，在阈值内)，则可将较小的深度值应用于两个像素位置。随着过程可自顶至底对深度映射继续下去，较小的深度值可垂直地传播，直到有跳跃或跌落(即，随着深度的增加或减小，像素值比较超过阈值)为止。随后这样的跳跃或跌落可传播，直到有另一个跳跃或跌落为止，一次类推。这样的实现可强调垂直方向中的深度不连续性。可对于例如从左到右和从右到左水平增强执行类似的技术。
通过基本重复以上示例，能以如下方式来描述垂直增强。可将深度映射的行N和列M处像素的像素值与该深度映射的第二个行N+1和列M处(例如，列N在列N+1上面)像素的像素值比较，使得行计数朝着该深度映射底部增加，且可确定像素之间的差异并将该差异与阈值比较。如果该差异在阈值内，则可将两个像素值都设置为像素值中的较小值。如果该差异不在阈值内，没有改变会对像素值作出。可例如将这样的过程如所讨论的那样沿深度映射向下传播，并可针对深度映射中的每一个像素执行此类过程。
如所讨论的那样，在一些示例中，如果差异在阈值内，则可将这些像素值都设为这些像素值中较小的值。在另一示例中，可使用边缘来生成混合因子以修改像素值。这种技术的示例如下在方程式(7)中示出：
深度＝(1-α)×MIN(前一个，当前的)+α×MAX(前一个，当前的)  (7)
其中“深度”可以是像素的增强的深度值，α可以是在[0，1]的范围上归一化的混合因子，“当前的”可以是像素的当前深度值，“前一个”可以是当前的上面的像素的深度值，“MIN”可以是确定给定值中的最小值的操作，且“MAX”可以是确定给定值中的最小值的操作。
在此方法的实现中，可使用下阈值L和上阈值H来箝制(clamp)从边缘幅度边缘(edge magnitude edge)导出的混合因子α。边缘幅度边缘也可通过p位右位移(bit-shift)操作来修改。例如，可以通过以下方程式(8)，从边缘幅度中计算α：
α＝CLAMP[边缘>>p，L，H]，其中L＝[0，8]且H＝[0，8]   (8)
其中CLAMP可以是箝制因子的操作，>>可以是向右移位位计数p的操作，L可以是下限阈值，且H可以是上限阈值。然后，经增强的深度值可如方程式(9)中所示来计算：
深度＝(8-α)×MIN(前一个，当前的)+α×MAX(前一个，当前的)/8(9)
以类似的方式可执行从左到右和/或从右到左的水平增强。在水平增强中，像素的列位置可保持恒定而行位置可改变和评估。这样的实现可强调对象边界尤其是垂直延伸的对象边界处的深度不连续性。
如所示的那样，经增强的深度映射615可被发送到重影减少模块620，该模块可对经增强的深度映射615执行重影减少以生成经重影减少的深度映射625。一般而言，3D立体显示中的重影可能由立体对中的左视和右视图像像素之间的串扰(crosstalk)导致的。在一些示例中，可通过将深度映射移位深度偏移以远离或去往零视差屏移位来执行重影减少。一般而言，此类移位将锐利的和/或高对比度边缘置于零视差屏上或附近，这可为观看者减少重影效应。在其他示例中，可通过修改经增强的深度映射的亮度值从而减少经增强的深度映射内的边缘处的锐度和/或对比度来执行该重影减少。在这样的示例中，亮度修改可取决于像素是否处于或接近边缘而不同。亮度修改可对观看者导致较低的对比度并因而导致较低的重影效应。如所讨论的那样，在一些示例中，重影减少模块可代而接收深度映射170供处理。在其他示例中，可将经增强的深度映射615发送到立体图像模块500以生成左侧和右侧3D立体图像。
如所示的那样，可将经重影减少的深度映射625发送到时域过滤模块630，该模块可对经重影减少的经增强的深度图625和时域上领先该经重影减少的经增强的深度映射时间t的第二经重影减少的经增强的深度映射(未示出)执行时域过滤，从而生成经时域过滤的经重影减少的增强深度映射635。在一些示例中，具体而言，当图像(相对于视频帧)正在被处理时，可跳过时域过滤模块630。一般而言，在视频处理中，使序列化的帧在深度值方面基本一致因而对观看者的呈现平滑是所期望的。所述时域过滤可提供对由于随机噪声、压缩伪像、离群值等产生的深度值中的任何波动的稳定效果。在一些示例中，经重影减少的经增强的深度映射625可基于加权因子来修改，该加权因子基于经重影减少的经增强的深度映射625中的深度值与第二经重影减少的经增强的深度映射中的深度值之间的绝对值差。一般而言，可使用有限脉冲响应(FIR)或者无限脉冲响应(IIR)方式中的任一个。在FIR实现中，如下所示，可按方程式(10)中所示来计算深度值：
深度_输出(t)＝(α)×深度_输入(t)+(1-α)×深度_输入(t-1)  (10)
且在IIR实现中，如下所示，可按方程式(12)中所示来计算深度值：
深度_输出(t)＝(α)×深度_输入(t)+(1-α)×深度_输出(t-1)  (12)
其中深度_输出可以是经修改的深度值，t可以是当前时刻(帧)，t-1可以是在前时刻(帧)，α可以是加权因子，深度_输入可以是原始深度值，且在一些示例中，加权因子α可以如以如实，按方程式(13)中所示来确定：
α＝ABS(深度_输入(t)-深度_输入(t-1))或者      (13)
α＝ABS(深度_输入(t)-深度_输出(t-1))
其中ABS可以确定给定值的绝对值。在其他示例中，加权因子α可如下所示，按方程式(14)中所示来确定：
α＝ABS(输入_像素(t)-输入_像素(t-1))     (14)
其中输入_像素可包括来自单个像素位置或多个像素位置的亮度(Y)、色度(Cb/Cr)、或者三元色(R/G/B)值。当从多个像素位置进行确定时，可使用诸如MAX(即，确定给定值的最大值的操作)、MIN(即，确定给定值的最小值的操作)、AVG(即，确定给定值的平均值的操作)、或MEDIAN(即，确定给定值的中位数的操作)之类的任何操作将多个像素值组合成一个。在又一示例中，可如下使用方程式(15)来确定α：
其中是操作MAX、MIN、AVG或MEDIAN中的任一。在另一个示例中，可使用对当前深度的等级、深度的绝对时域差异的等级、或局部邻域中的多个过去的深度值的分段的线性映射以如上文参考图4所讨论的那样来确定α。
如所讨论的那样，以上处理或其部分可用来生成深度映射640。深度映射640可随后用来生成3D立体图像，诸如，左视立体图像和右视立体图像。3D立体图形可基于2D输入图像105和深度映射640，且可通过将深度映射转换成视差值映射并基于该视差值映射和2D输入图像105确定左视立体图像和右视立体图像来生成该左视立体图像和右视立体图像。上文中参考图5讨论了这样的技术，并且出于简洁的目的，将不再重复。如所讨论的那样，可使用本文所讨论的任何深度映射(包括例如，深度映射640)来实现参考图5所讨论的技术。
如所讨论的那样，2D输入图像可用来生成在一些示例中可增强的深度映射。经增强的深度映射可与2D输入图像一起用来生成用于呈现给用户的左侧和右侧立体图像。
图7是根据本公开的至少一些实现而安排的用于将2维(2D)图像转换成3维(3D)立体图像的示例***的说明性图。如图7中所示，可在基于锐度的深度映射模块110处接收2D输入图像105，如参考图1所讨论的那样，该模块可生成深度映射170。如所示那样，可将深度映射170发送到增强模块600，该增强模块可如参考图6所讨论的那样生成深度映射640(例如，经增强的深度映射)。可将经增强的深度映射640和2D输入图像105发送到立体图像模块500，该立体图像模块可如参考图5所讨论的那样生成左立体图像540和右侧立体图像545。左立体图像540和右侧立体图像545可表示3D立体图像并可呈现给用户。如将理解的那样，图7中表示的***和过程可包括本文所讨论的实现的任何组合。为了简洁起见，将不重复那些细节。
图8是根据本公开的至少一些实现而安排的用于将2维(2D)图像转换成3维(3D)立体图像的示例***的说明性图。如所示的那样，***100可包括基于锐度的深度映射模块110、基于几何模型的深度表面模块805、局部增强模块810、深度对比增强模块815、深度对比增强模块820、合并模块825、深度对比增强模块830、合并模块835、重影减少模块620、时域过滤模块630和立体图像模块500。如所示的那样，***100可接收2D输入图像105并生成左立体图像850和右立体图像855。
如所示的那样，可在基于锐度的深度映射模块110处接收2D输入图像105，该模块可生成深度映射170。可通过本文中所讨论的特别是参考图1所讨论的技术中的任何技术来生成深度映射170，为简洁起见，将不重复这些技术。也可在基于几何模型的深度表面模块805处接收2D输入图像105，该模块可生成深度表面807。在一些示例中，可认为深度表面807是基于几何模型的深度表面。
基于几何模型的深度表面模块805可通过确定与2D输入图像105相关联的自顶至底的深度映射来生成基于几何模型的深度表面807。自顶至底的深度映射可包括横跨可能从该自顶至底的深度映射的顶部到该自顶至底的深度映射的底部增长的该自顶至底的深度映射的各个行而恒定的多个深度值。而且，可确定2D输入图像105中的一个或多个边缘。在一些示例中，如下文中进一步讨论的那样，可通过将2D输入图像的像素的行对之间的像素值差异与阈值比较来确定边缘。在其他示例中，可通过应用Sobel操作符来确定边缘。同样如下文进一步讨论的那样，确定一个或多个边缘可提供与这些边缘相关联的一个或多个混合因子。自顶至底的深度映射可由一个或多个混合因子修改以生成基于几何模型的深度表面807。
如所讨论的那样，可确定自顶至底的深度映射与2D输入图像105相关联。在一些示例中，自顶至底深度映射一般可由独立于2D输入图像105的内容而选择的技术来形成。例如，可通过将单个深度值分配给深度表面的整个水平像素位置(即，单个行)来形成该自顶至底的深度映射。深度值可在自顶至底的连续行中逐渐增加。例如，为了均匀地分布深度值的完整范围，可如下所示，按方程式(16)中所示来分配深度值：
深度(r)＝FLOOR((2^Ν/h)×r)         (16)
其中“深度”可以是N位的深度值，r可以是行指定，FLOOR可以是返回经向下取整的值并可对数个行(例如，4或5行)提供相同的深度值的操作，且h可以是深度表面的高度。例如，如果N＝8位，且h＝1080行，则由于该FLOOR()操作，方程式(16)可将相同的深度值分配给4或5个连续行。或者，可使用以下方程式(17)，跨所有行将单个深度值分配给相同数量的行，使用如下的方程式(17)：
深度(r)＝FLOOR(r/CEIL(h/2^N))           (17)
其中CEIL是提供向上取整的值的操作。使用方程式(17)，例如对于N＝8位且h-1080行，分配[0，215]的深度值，使得将相同的深度值分配给每一组的5个连续行。这样的实现可能无法利用8位深度值的完整范围[0，215]，但对于软件或硬件实现可以是有利的。如所述的那样，对于自顶至底的几何模型，可不管2D输入图像105的内容如何而将相同的深度值范围分配给所有的输入图片(即，2D输入图像105)。在一些示例中，如果深度值是从输入像素值自适应地计算出的，则可使用经由乘法或除法操作的对深度值的缩放以使深度值适合例如N位的范围。一般而言，所讨论的技术可提供所讨论的自顶至底的深度映射的简化生成。
如所讨论的那样，自顶至底深度映射可由一个或多个混合因子修改以生成基于几何模型的深度表面807。生成混合因子可包括确定2D输入图像105中的一个或多个边缘并且确定与这一个或多个边缘相关联的混合因子。在一些示例中，可通过将2D输入图像的像素的行对之间的像素值差异与阈值比较来确定边缘。例如，可基于连续的行，从2D输入图像105中确定边缘，并将这些边缘用作两个垂直地相邻的深度值之间的混合因子α。例如，对于自顶至底几何模型，可沿垂直方向执行此。在一些示例中，如下所示，可按方程式(18)中所示以横跨每一个连续的行对(r,r+1)、(r+1,r+2)……和(r+R-1,r+R)来确定边缘：
边缘1＝ABS(输入_像素(c，r+0)-输入_像素(c，r+1))；
边缘2＝ABS(输入_像素(c，r+1)-输入_像素(c，r+2))；
…
边缘R＝ABS(输入_像素(c，r+R-1)-输入_像素(c，r+R))；
其中“边缘”可以是所确定的边缘，ABS可以是返回给定值的绝对值的操作，输入_像素可以是输入像素值，c可以是列位置，r可以是行位置。
在其他示例中，Sobel操作符或其他边缘操作符可用来确定2D输入图像105内的边缘。可使用操作MAX、MIN、AVG或MEDIAN，基于边缘幅度来确定所讨论的混合因子。出于示例的目的来使用MAX，则可按如下方式使用方程式(19)来确定α：
α＝MAX(边缘1，边缘2，边缘3，……，边缘R)        (19)
其中α可以是混合因子。
如所讨论的那样，可基于混合因子来修改自顶至底的深度映射以生成基于几何模型的深度表面807。例如，如下所示，可如方程式(20)中所示来修改自顶至底的深度的深度值：
深度(r)＝α×MIN(前一个，当前的)+(1-α×MAX(前一个，当前的)(20)
其中“当前的”是当前像素位置的深度值，且“前一个”是垂直地在前的像素位置(即，上面的行)的深度值。在一些示例中，当应用自顶至底的模型时，“前一个”中的深度值总是比深度值“当前的”小，使得MIN(前一个，当前的)＝前一个，且MAX(前一个，当前的)＝当前的。
如所示的那样，可将深度图170发送到深度对比增强模块815。深度对比增强模块815可生成经增强的深度映射817。在一些示例中，经增强的深度映射817可通过对深度映射170执行深度对比的垂直增强来生成。可使用本文所讨论的任何技术特别是参考图6所讨论的技术来执行此类垂直增强。同样如所示的那样，可将基于几何模型的深度表面807发送到深度对比增强模块820。深度对比增强模块820可生成增强的基于几何模型的深度表面822。在一些示例中，增强的基于几何模型的深度表面822可通过在深度对比增强模块820上执行深度对比的垂直增强来生成。可使用本文所讨论的任何技术特别是参考图6所讨论的技术来执行此类垂直增强。
如图8中所示，可将经增强深度映射817和增强的基于几何模型的深度表面822发送到合并模块825。合并模块825可和经增强的深度映射817和增强的基于几何模型的深度表面822以生成经合并的深度映射827。可使用本文所讨论的任何技术特别是参考图1在合并模块160处所讨论的技术来执行此类合并。
如所示的那样，可将经合并的深度映射827发送到深度对比增强模块830。深度对比增强模块830可生成增强的合并深度映射832。在一些示例中，增强的合并深度映射832可通过在经合并的深度映射827上执行深度对比的水平增强来生成。可使用本文所讨论的任何技术特别是参考图6所讨论的技术来执行此类水平增强。
如图8中所示，可将2D输入图像105发送到局部增强模块810。局部增强模块810可对该2D输入图像执行基于边缘的和基于亮度的局部增强以生成经局部增强深度映射812，该深度映射可在合并模块835处与增强的合并深度映射832合并或混合。在一些示例中，经局部增强深度映射812可包括“深度_最终”值。例如，基于边缘的增强可包括确定2D输入图像105中的边缘。可通过例如应用3×3Sobel边缘操作符、应用3×3水平Sobel边缘操作符、确定所确定的垂直和水平边缘的最大值来确定边缘。可将所确定的边缘作为基于边的增强应用于2D输入图像105。进一步的基于亮度的局部增强可如下应用。例如，可通过非线性缩放和裁剪(clipping)操作来修改所确定的边缘和亮度。如下所示，在方程式(21)-(23)中示出此类操作的示例：
△_边缘＝(边缘<THR)？0：MIN(边缘/Z，E)        (21)
△_亮度＝MAX(MIN(亮度/Z)-偏移，HI)，LO)；     (22)
深度_最终＝MAX(MIN(深度_全局+△_边缘+△_亮度，255)，0)；(23)
其中局部增强的结果可存储为“深度_最终”中的8位的深度值，来自边缘的贡献可存储为“△_边缘”，且来自亮度的贡献可存储为“△_亮度”，且参数集(THR，Z，E，偏移，HI，LO)可以是基于实现可编程的。
如图8中所示，可将增强的合并深度映射832和经局部增强的深度映射812发送到合并模块835。合并模块835可合并增强的合并深度映射832和经局部增强的深度映射812以生成经合并的深度映射837。可使用本文所讨论的任何技术特别是参考图1在合并模块160处所讨论的技术来执行此类合并。而且，可将经合并的深度映射837发送到重影减少模块620，该模块可生成经重影减少的深度映射838。可使用本文所讨论的任何技术特别是参考图6所讨论的技术来执行此类重影减少。可将经重影减少深度映射838发送到时域过滤模块630，该模块可例如基于经重影减少的深度映射838和时域上领先该经重影减少的深度映射时间t的第二经重影减少的经增强的深度映射来生成经增强的深度映射839。可使用本文所讨论的任何技术特别是参考图6所讨论的技术来执行此类时域过滤。
如所示的那样，可将经增强的深度映射839发送到立体图像模块500。同样如所示的那样，可将2D输入图像105发送到立体图像模块500。立体图像模块500可使用本文所讨论的技术中的任何技术特别是参考图5所讨论的技术来生成左立体图像850和右立体图像855。可将左立体图像850和右立体图像855呈现给用户，该用户可从该图像中体验3D效果。
如所讨论的那样，在一些示例中，可使用自顶至底的几何模型。这样的模型可适于许多自然场景。然而，一些示例2D输入图像可能不适于自顶至底的几何模型。在一些示例中，确定自顶至底的模型可能多么适合于给定的2D输入图像可以是受期望的。可使用来自2D输入图像的像素值和边缘幅度的内容直方图来进行此类确定。例如，可假定：如果2D输入图像的图片内容在该输入图片的顶部和底部之间在亮度、色度、和/或边缘幅度方面有所不同，则自顶至底的模型更合适。例如，如果顶部和底部包括类似的颜色，则自顶至底的模型合适可能是较不可能的。类似地，如果边缘幅度仅在顶部或底部中是大的，则自顶至底的模型适合良好会是更有可能的。在一些示例中，基于直方图的方式可实现这些概念。例如，可按如下方式创建并比较四个直方图。例如，可将来自2D输入图像的顶部1/N部分的诸如亮度之类的像素值收集进直方图hist_pixel_top(直方图_像素_顶部)中。可将来自输入图片的底部1/N部分的像素值收集进直方图hist_pixel_bot(直方图_像素_底部)中。可将来自输入图片的顶部1/N部分的边缘幅度收集进直方图hist_edge_top(直方图_边缘_顶部)中。可将来自输入图片的底部1/N部分的边缘幅度收集进直方图hist_edge_bot(直方图_边缘_底部)中。N的值可以是固定的预设值，或者可基于2D输入图像自适应地确定它。
可例如通过计算两个直方图的绝对差的和(SAD)来比较直方图hist_pixel_top和hist_pixel_bot，且可用类似的方式来比较直方图hist_edge_top和hist_edge_bot进行比较。如下所示，可按方程式(24)和(25)中所示，使用归一化因子γ将直方图的相似度归一化为两个量相似度_像素和相似度_边缘：
相似度_像素＝γ·SAD(hist_pixel_top-hist_pixel_bot)  (24)
相似度_边缘＝γ·SAD(hist_edge_top-hist_edge_bot)    (25)
如下所示，可按方程式(26)中所示，使用两个相度性测量相似度_像素和相似度_边缘来确定自顶至底模型的适合度(suitability)。
suitability_top_to_bottom_model＝         (26)
MIN(AVG(相似度_像素,相似度_边缘)+BIAS,THR)
其中BIAS可以是加到相似度_像素和相似度_边缘的平均值的常数，THR可以是suitability_top_to_bottom_model(适合度_顶_到_底_模型)的上限。在一些示例中，也可定义下限。在一些示例中，可将suitability_top_to_bottom_model与预定的阈值比较以确定自顶至底的几何模型是否可能是适合的。如果自顶至底的几何模型是适合的，则可执行参考图8特别是模块805、820和825所描述的处理。如果自顶至底的几何模型不适合，则可跳过那些模块且处理可直接从模块815和810继续进行到合并模块835，使得在重影减少模块620处处理之前，可将经增强的深度映射817与经局部增强的深度映射812合并。
如下面将更详细讨论的那样，***100可用来执行下面结合图9讨论的各种功能中的一些或全部或之前讨论的功能。
图9是示出根据本公开的至少一些实现而安排的用于将2维(2D)图像转换成3维(3D)立体图像的示例过程900的流程图。在所示的实现中，过程900可包括如由框902、904、906、908、910和/或912中的一个或多个所示的一个或多个操作、功能或动作。作为非限制性示例，本文将参考示例***100来描述过程900。
过程900可用作用于将2维(2D)图像转换成3维(3D)立体图像的计算机实现的方法。过程900可在框902处开始：“确定2D输入图像的单个像素的锐度值”，其中，可针对2D输入图像的单个像素确定锐度值。2D输入图像可包括图像文件或视频帧等。如本文所讨论的那样，可实时并自动地执行过程900，以使得可由硬件和/或软件来执行过程900且无需人员干预。
处理可从操作902继续至操作904：“执行对锐度值的第一和第二基于区域的取样以确定第一和第二样本锐度值”，其中，可执行对锐度值的第一基于区域的取样以确定第一组多个样本锐度值，并且可执行对锐度值的第二基于区域的取样以确定第二组多个样本锐度值，从而例如能以不同的分辨率来执行第一和第二基于区域的取样。可例如在不同的取样模块处并行地执行第一和第二取样，或可在同一个取样模块处串行地执行它们。可例如经由按不同的区域尺寸的取样或经由使用不同的缩小因子的取样来提供不同的分辨率。
处理可从操作904继续至操作906：“缩放第一和第二锐度值以生成第一和第二经缩放的锐度值”，其中，可例如缩放第一组多个锐度值以生成第一组多个经缩放的锐度值，并且可例如缩放第二组多个锐度值以生成第二组多个经缩放的锐度值。可在不同的缩放模块处或同一个缩放模块处执行第一和第二缩放操作。缩放操作中的一个或两者可通过例如实现分段的线性映射来执行。
处理可从操作906继续至操作908：“使第一和第二经缩放的锐度值平滑以生成第一和第二经经平滑的锐度值”，其中，可例如使第一组多个经缩放的锐度值平滑以生成第一组多个经经平滑的锐度值，并且可例如使第二组多个经缩放的锐度值平滑以生成第二组多个经平滑的锐度值。可在不同的平滑模块或同一个平滑化模块处执行平滑操作。平滑化操作中的一个或两者可包括应用平均过滤器，诸如例如，3×3平均过滤器。
处理可从操作908继续至操作910：“基于第一和第二经平滑的锐度值来确定第一和第二经内插的锐度值”，其中，可例如基于第一组多个经平滑的锐度值来确定第一组多个经内插的锐度值，并且可例如基于第二组多个经平滑的锐度值来确定第二组多个经内插的锐度值。可在不同的内插模块或同一个内插模块处执行内插。内插中的一个或两者可包括例如双线性内插。而且，内插可将经内插的锐度值的分辨率带至与2D输入图像的分辨率相同的分辨率。
处理可从操作910继续至操作912：“合并第一和第二经内插的锐度值以生成深度映射”，其中，可例如合并第一组多个经内插的锐度值和第二组多个经内插的锐度值以生成具有与2D输入图像相关联的多个深度值的深度映射。合并操作可在合并模块处执行。在一些示例中，合并操作可包括，可在合并第一和第二经内插的锐度值时应用混合因子。
如所讨论的那样，可以可选地用各种方式增强所生成的深度来生成经增强的深度映射。在任何情况下，经生成的深度映射或与该深度映射相关联的经增强的深度映射可与2D输入图像一起用来生成3D立体图像(即，左立体图像和右立体图像)供显示给用户。可通过将深度映射转换成视差值映射并基于该视差值映射和2D输入图像确定左视立体图像和右视立体图像来基于2D输入图像和深度映射以生成左视立体图像和右视立体图像。而且，如所讨论的那样，在一些示例中，可执行、处理并合并(或混合)两个基于区域的取样以形成深度映射。在其他示例中，可执行、处理并合并(或混合)基于多于两个的区域(诸如例如，基于3个或者4个或者更多个区域)的取样以形成深度映射。
一般而言，所述技术可使用来自所提供的2D输入图像的空间单眼深度提示(cue)来生成深度映射。例如，所生成的深度映射可包括全分辨率映射(即，具有与所提供的2D输入图像相同的分辨率的映射)。例如，所生成的深度映射可包括例如所提供的2D输入图像内的不同对象和纹理区域的适当的深度值。而且，本文所提供的技术可提供自动的实时2D到3D转换。技术可具有能够无需增加设备成本和复杂性同时提供高质量深度映射来实现的优点。
关于过程900的一些附加和/或替换性细节可如本文所讨论的那样实现。尽管示例过程900和本文中其他地方所讨论的过程的实现可以包括以所示的次序对所示所有框的执行，但本公开不限于这一点，并且，在各种示例中，过程900和本文中其他地方所讨论的过程的实现可包括仅执行所示框的仅子集和/或以不同于所示的次序执行。
而且，可以响应于由一个或多个计算机程序产品所提供的指令来执行图1和5-9的框中的任何一个或多个。这样的程序产品可以包括提供指令的信号承载介质，当由例如处理器执行这些指令时，这些指令可以提供本文所描述的功能。计算机程序产品能以任何形式的计算机可读介质来提供。因此，例如包括一个或多个处理器核的处理器可执行图1和5-9中示出的框中的一个或多个和本文所讨论的过程。
如在本文所描述的任何实现中所使用的那样，术语“模块”是指被配置为用于提供本文所描述的功能的软件、固件和/或硬件的任何组合。软件可具体化为软件包、代码和/或指令集或指令，并且如本文所描述的任何实现中所使用的那样，“硬件”可以单独或按任何组合地包括例如，硬连线电路、可编程电路、状态机电路和/或存储由可编程电路执行的指令的固件。可将模块共同地或单独地具体化为形成更大的***的部分的电路，更大的***例如，集成电路(IC)、片上***(SoC)等。
图10是根据本公开的至少一些实现而安排的用于将2维(2D)图像转换成3维(3D)立体图像的示例***100的说明性图。在所示实现中，***100可包括一个或多个中央处理单元1006、一个或多个存储器存储1008、一个或多个图形处理单元1004和/或显示设备1110。中央处理单元1006、存储器存储1008和图形处理单元1004可能能够经由例如总线或其他访问彼此通信。在各种实现中，显示设备1010可在***100中集成或分离于***100而实现。
如图10中所示，并且如以上所讨论的那样，基于锐度的深度映射模块110可经由中央处理单元1006或图形处理单元1004来实现。类似地，立体图像模块500可经由中央处理单元1006或图形处理单元1004来实现。而且，增强模块600可经由中央处理单元1006或图形处理单元1004来实现。另外，局部增强模块810、深度对比增强模块815、820和830、合并模块825和835、重影减少模块840和/或时域过滤模块845(如本文中参考图8所讨论的那样)可经由中央处理单元1006或图形处理单元1004来实现，尽管为了呈现的清晰起见，没有在图10中示出它们。
如将领会的那样，图10中所示的模块可包括各种软件和/或硬件模块和/或可经由软件和/或硬件实现的模块。例如，模块可经由中央处理单元1006和/或图形处理单元1004被实现为软件，或者模块可例如经由图形处理单元1004的一个或多个专用硬件部分来实现。而且，所示存储器存储1008可以是例如用于中央处理单元1006和/或图形处理单元1004的共享存储器。而且，***100可用各种方式实现。例如，***100(不包括显示设备1010)可实现为具有图形处理器、四核中央处理单元、板上高速缓存和存储器控制器输入/输出(I/O)模块(未示出)的单个芯片或设备。在其他示例中，***100(同样不包括显示设备1010)可以实现为芯片组。
中央处理单元1006可包括任何适合的实现，包括例如，微处理器、多核处理器、专用集成电路、芯片、芯片组等。而且，图形处理单元1004可包括任何适合的实现，包括例如，处理器、多核处理器、专用集成电路、可编程逻辑器件、图形卡、集成图形器件、通用图形处理单元等。此外，存储器存储1008可以是任何类型的存储器，诸如，易失性存储器(例如，静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)等)或非易失性存储器(例如，闪存等)等等。在非限制性示例中，存储器存储1008可由高速缓存存储器实现。在各种示例中，***100可实现为芯片组或片上***。
图11示出了根据本公开的示例***1100。在各种实现中，***1100可以是媒体***，尽管***1100不限于此上下文。例如，***1100可以合并进个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板机或智能电视)、移动互联网设备(MID)、消息收发设备、数据通信设备等。
在各种实现中，***1100包括耦合到显示器1120的平台1102。平台1102可以从内容设备接收内容，内容设备诸如，内容服务设备1130或内容递送设备1140或其它类似的内容源。包括一个或多个导航特征的导航控制器1150可以用来与例如平台1102和/或显示器1120交互。下面将更详细地描述这些组件中的每一个。
在各种实现中，平台1102可包括芯片组1105、处理器1110、存储器1112、存储设备1114、图形子***1115、应用1116和/或无线电设备1118的任何组合。芯片组1105可提供处理器1110、存储器1112、存储设备1114、图形子***1115、应用1116和/或无线电设备1118之间的相互通信。例如，芯片组1105可包括能够提供与存储设备1114之间的相互通信的存储适配器(未描绘)。
处理器1110可实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、兼容x86指令集的处理器、多核、或任何其它微处理器或中央处理单元(CPU)。在各种实现中，处理器1110可以是双核处理器、双核移动处理器等。
存储器1112可实现为易失性存储器设备，诸如但不限于，随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。
存储设备1114可以实现为非易失性存储设备，诸如但不限于，磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附连存储设备、闪存、电池备用SDRAM(同步DRAM)和/或网络可访问存储设备。在各种实现中，存储1114包括在例如包括多个硬盘驱动器时增加对有价值的数字媒体的存储性能增强保护的技术。
图形子***1115可以执行诸如对用于显示的静止的或视频图像的处理。例如，图形子***1115可以是图形处理单元(GPU)或视觉处理单元(VPU)。可以使用模拟或数字接口将图形子***1115和显示器1120通信地耦合。例如，接口可以是高清晰度多媒体接口、显示端口、无线HDMI和/或符合无线HD的技术中的任何一个。图形子***1115可以集成进处理器1110或芯片组1105。在一些实现中，图形子***1115可以是通信地耦合到芯片组1105的独立卡。
本文中描述的图形和/或视频处理技术可用各种硬件架构实现。例如，图形和/或视频功能可集成在芯片组中。或者，可使用分立的图形和/或视频处理器。作为又一实现，图形和/或视频功能可通过通用处理器(包括多核处理器)来实现。在又一实施例中，功能可在消费电子设备中实现。
无线电设备1118可包括能够使用各种适合的无线通信技术发送和接收信号的一个或多个无线电设备。此类技术可涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在横跨这些网络进行通信时，无线电设备1118可根据任何版本的一个或多个适用的标准来操作。
在各种实现中，显示器1120可以包括任何电视型监视器或显示器。显器示1120可包括例如，计算机显示屏、触屏显示器、视频监视器、电视机类设备和/或电视机。显示器1120可以是数字的和/或模拟的。在各种实现中，显示器1120可以是全息显示器。显示器1120也可以是可接收视觉投影的透明表面。这样的投影可传递各种形式的信息、图像和/或对象。例如，这样的投影可以是用于移动增强现实(MAR)应用的视觉叠加。在一个或多个软件应用1116的控制下，平台1102可在显示器1120上显示用户接口1122。
在各种实现中，内容服务设备1130可由任何国家的、国际的和/或独立的服务主存，并因此是可经由例如因特网而可由平台1102访问的。内容服务设备1130可耦合到平台1102和/或显示器1120。平台1102和/或内容服务设备1130可以耦合到网络1160以往返于网络1160传递(例如，发送和/或接收)媒体信息。内容递送设备1140也可耦合到平台1102和/或显示器1120。
在各种实现中，内容服务设备1130可以包括，有线电视盒、个人计算机、网络、电话、能够递送数字信息和/或内容的启用因特网的设备或装置、以及能够经由网络1160或直接地单向或双向地在内容供应商和平台1102和/显示器1102之间传递内容的任何其它类似设备。将会理解，可经由网络1160，单向和/或双向地往返于***1100中的组件中的任何一个组件和内容供应商来传递内容。内容的示例可以包括任何媒体信息，包括例如，视频、音乐、医疗和游戏信息等。
内容服务设备1130可以接收内容，诸如，包括媒体信息、数字信息和/或其他内容的有线电视节目。内容供应商的示例可以包括任何有线或***或无线电或因特网内容供应商。所提供的示例不旨在以任何方式来限制根据本公开的实现。
在各种实现中，平台1102可以从具有一个或多个导航特征的导航控制器1150接收控制信号。导航控制器1150的导航特征可以用来与例如用户接口1122交互。在各实施例中，导航控制器1150可以是指向设备，其可以是允许用户将空间(例如，连续的和多维的)数据输入进计算机的计算机硬件组件(具体而言，人机接口设备)。诸如图形用户接口(GUI)和电视机和监视器之类的许多***允许用户使用物理姿势来控制计算机或电视机并向计算机或电视机提供数据。
控制器1150的导航特征的动作可以通过指针、光标、焦点环或显示在显示器上的其它视觉指示符的动作在显示器(例如，显示器1120)上复制。例如，在软件应用1116的控制下，位于导航控制器1150上的导航特征可映射到显示在用户接口1122上的虚拟导航特征。在各实施例中，控制器1150可以不是单独的组件，但可以集成进平台1102和/或显示器1120。然而，本公开不限于本文中所示或所述的元素也不限制在本文中所示或所述的上下文中。
在各种实现中，驱动器(未示出)可以包括用于使用户例如在初始启动之后，当启用时，利用按钮的触摸立即打开或关闭像电视机那样的平台1102的技术。即使当平台被“关闭”时，程序逻辑也可允许平台1102将内容流式地传输到媒体适配器或其它内容服务设备1130或内容递送设备1140。而且，芯片组1105可包括例如支持例如8.1环绕声音频和/或高清晰度(7.1)环绕声音频的硬件和/或软件。驱动器可以包括用于集成图形平台的图形驱动器。在各实施例中，图形驱动器可以包括***组件互连(PCI)快速图形卡。
在各种实现中，***1100中示出的组件中的任何一个或多个都可以是集成的。例如，平台1102和内容服务设备1130可以是集成的；或者平台1102和内容递送设备1140可以是集成的；或者平台1102、内容服务设备1130和内容递送设备1140可以是集成的。在各种实施例中，平台1102和显示器1120可以是集成单元。例如，显示器1120和内容服务设备1130可以是集成的，或者显示器1120和内容递送设备1140可以是集成的。这些示例不旨在限制本公开。
在各种实施例中，***1100可以实现为无线***、有线***或二者的组合。当实现为无线***时，***1100可包括适合于在无线共享介质上进行通信的组件和接口，无线共享介质诸如，一个或多个天线、发射机、接收机、收发器、放大器、滤波器、控制逻辑等。无线共享介质的示例可包括无线频谱的多个部分，诸如，RF频谱等等。当实现为有线***时，***1100可以包括适合于在有线通信介质上进行通信的组件和接口，有线通信介质诸如，输入/输出(I/O)适配器、用于将I/O适配器与相对应的有线通信介质连接的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等。有线通信介质的示例可包括导线、电缆、金属线、印刷电路板(PCB)、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。
平台1102可以建立一个或多个逻辑或物理信道以传递信息。信息可包括媒体信息和控制信息。媒体信息可以指表示旨在用于用户的内容的任何数据。内容的示例可包括例如，来自语音对话、视频会议、流视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自语音对话的数据可以是例如，言语信息、静默时段、背景噪声、舒适噪声、音调等。控制信息可以指表示旨在用于自动***的命令、指令或控制字的任何数据。例如，控制信息可以用来路由媒体信息通过***，或指示节点以预定的方式处理该媒体信息。然而，各实施例不限于图11中示出或描述的元件，也不限制在图11中示出或描述的上下文中。
如上所述，能以不同的物理样式或形状因子来具体化***1100。图12示出了***1100可以具体化在其中的小形状因子设备1200的实现。例如，在各实施例中，设备1200可以实现为具有无线能力的移动计算设备。移动计算设备可以指具有处理***和例如诸如一个或多个电池的无线电源或电力供应的任何设备。
如上所述，移动计算设备的示例可包括个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板机或智能电视)、移动互联网设备(MID)、消息收发设备、数据通信设备等。
移动计算设备的示例也可以包括安排为由人穿戴的计算机，诸如，腕式计算机、指式计算机、环式计算机、眼镜计算机、带扣计算机、臂带计算机、鞋式计算机、衣式计算机和其它可穿戴的计算机。例如，在各种实施例中，移动计算设备可以实现为能够执行计算机应用及语音通信和/或数据通信的智能电话。尽管一些实施例可以用作为示例实现为智能电话的移动计算设备来描述，但应理解，其它实施例也可以使用其它无线移动计算设备来实现。各实施例不限于该上下文。
如图12中所示，设备1200可包括外壳1202、显示器1204、输入/输出(I/O)设备1206和天线1208。设备1200也可包括导航特征1212。显示器1204可以包括用于显示适合于移动计算设备的信息的任何适合的显示单元。I/O设备1206可包括用于将信息输入进移动计算设备的任何适合的I/O设备。I/O设备1206的示例可以包括，字母数字键盘、数字小键盘、触摸板、输入建、按钮、开关、摇杆开关、话筒、扬声器、语音识别设备和软件等。信息也可以通过话筒(未示出)的方式输入进设备1200。这样的信息可通过语音识别设备(未示出)来数字化。各实施例不限于该上下文。
各种实施例可以使用硬件元件、软件元件或二者的组合来实现。硬件元件的示例可以包括，处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可包括软件组件、程序、应用、计算机程序、应用程序、***程序、机器程序、操作***软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用编程接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任何组合。确定实施例是否使用硬件元件和/或软件元素来实现可以根据任何数量的因素而有所不同，这些因素诸如，所需的计算速率、功率等级、热容限、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束。
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示性指令来实现，这些表示性指令表示处理器中的各种逻辑，当由机器读取时，这些表示性指令使得该机器制作用于执行本文所述的技术的逻辑。称为“IP核”的此类表示可以存储在有形的、机器可读介质上，并供应给各种顾客或制造设施以加载进实际制造该逻辑或处理器的制造机器中。
尽管已经参考各种实现描述了此处所阐述的某些特征，但本描述不旨在以限制性的意义来解释。因此，对于本公开所涉及的本领域技术人员显而易见的本文中所描述的实现的各种修改和其它实施例被认为在本公开的精神和范围之内。
以下示例涉及进一步的实施例。
在一个示例中，用于将2维(2D)图像转换成3维(3D)立体图像的计算机实现的方法可包括确定2D输入图像的单个像素的锐度值。可执行对锐度值的第一基于区域的取样以确定第一组多个样本锐度值，且可执行对锐度值的第二基于区域的取样以确定第二组多个样本锐度值，以使得能以不同的分辨率来执行该第一和第二基于区域的取样。可缩放第一组多个锐度值以生成第一组多个经缩放的锐度值，且可缩放第二组多个锐度值以生成第二组多个经缩放的锐度值。可使第一组多个经缩放的锐度值平滑以生成第一组多个经平滑的锐度值，且可使第二组多个经缩放的锐度值平滑以生成第二组多个经平滑的锐度值。可基于第一组多个经平滑的锐度值来确定第一组多个经内插的锐度值，且可基于第二组多个经平滑的锐度值来确定第二组多个经内插的锐度值。可合并第一组多个经内插的锐度值和第二组多个经内插的锐度值来生成具有与2D输入图像相关联的多个深度值的深度映射。
在用于将2维(2D)图像转换成3维(3D)立体图像的计算机实现的方法的进一步示例中，左视立体图像和右视立体图像可基于2D输入图像和深度映射来生成，使得生成左视立体图像和右视立体图像可包括，将深度映射转换成视差值映射，并基于该视差值映射来确定左视立体图像和右视立体图像。可对深度映射执行深度对比的增强以生成经增强的深度映射。执行深度对比的增强可包括以下列至少一项：对深度映射执行仅垂直增强以生成经增强的深度映射；并行地对深度映射执行垂直增强、从左到右水平增强和从右到左水平增强，并组合该垂直增强、从左到右水平增强和从右到左水平增强以生成经增强的深度映射；或者首先执行垂直增强并随后执行从左到右水平增强和从右到左水平增强以生成经增强的深度映射。执行对深度映射和的垂直增强可包括：将在深度映射的第一行和第一列处的第一像素的像素值与在该深度图的第二行和第一列处的第二像素的像素值进行比较，第一行在第二行上面；确定第一像素的像素值和第二像素的像素值之间的差异是否在阈值内，以及，如果该差异在阈值内，则将第一像素的像素值和第二像素的像素值设置为第一像素和第二像素的像素值中较小的一个，或者，如果该差异不在阈值内，则不对第一像素的像素值和第二像素的像素值进行改变。可对经增强的深度映射执行重影减少以生成经重影减少的经增强的深度映射。执行重影减少可包括以下至少一项：使整个经增强的深度映射移位深度偏移以远离或者朝向零视差屏移位，或者修改经增强的深度映射的亮度值以减少经增强的深度映射内边缘处的锐度和/或对比度。可对经重影减少的经增强的深度映射和时域上领先该经重影减少的经增强的深度映射时间t的第二经重影减少的经增强的深度映射执行时域过滤以生成经时域过滤的重影减少的增强的深度映射。执行时域过滤可包括：基于加权因子来修改经重影减少的经增强的深度映射的深度值，该加权因子可基于经重影减少的经增强的深度映射中的深度值与第二经重影减少的经增强的深度映射中的深度值之间的绝对值差的。可基于2D输入图像和经时域过滤的重影减少的增强的深度映射来生成第二左视立体图像和第二右视立体图像。生成该第二左视立体图像和第二右视立体图像可包括：将经时域过滤的重影减少的增强的深度映射转换成第二视差值映射，并基于该第二视差值映射来确定左视立体图像和右视立体图像。确定输入图像的单个像素的锐度值可包括基于单个像素的像素值来确定锐度值，这些像素值可包括单个像素的亮度Y值或单个像素的R/G/B值中的至少一个，并且确定锐度值可包括确定输入图像的每一个像素的锐度值。确定第一单个像素的第一锐度值可包括：针对单个像素中的第一单个像素，将该第一单个像素的垂直锐度确定为第一单个像素上面的像素的像素值与第一单个像素的像素值的绝对值差和第一单个像素下面的像素的像素值与第一单个像素的像素值的绝对值差之间的绝对值差；针对该第一单个像素，将该第一单个像素的水平锐度确定为第一单个像素左边的像素的像素值与第一单个像素的像素值的绝对值差和第一单个像素右边的像素的像素值与第一单个像素的像素值的绝对值差之间的绝对值差；以及将第一锐度值确定为垂直锐度和水平锐度的最大值或垂直锐度和水平锐度的平均值中的至少一个。执行第一基于区域的取样和第二基于区域的取样可包括以下至少一项：以不同的区域尺寸来执行取样，或以相同的区域尺寸但以对锐度值的不同的缩小来执行取样。使第一组多个经缩放的锐度值平滑可包括应用3×3平均过滤器。确定第一组多个经内插的锐度值可包括执行双线性内插，且第一组多个经内插的锐度值和第二组多个经内插的锐度值可各自包括与2D输入图像的每一个像素相关联的锐度值。合并第一组多个经内插的锐度值和第二组多个经内插的锐度值可包括应用混合因子。2D输入图像可包括图像文件或视频帧的至少一个。深度映射可实时地生成。
在用于将2维(2D)图像转换成3维(3D)立体图像的计算机实现的方法的替换性的进一步示例中，可确定与2D输入图像相关联的自顶至底的深度映射，该自顶至底的深度映射可包括跨从该自顶至底的深度映射的顶部增加到该自顶至底的深度映射的底部的该自顶至底的深度映射的各个行恒定的多个深度值。可在2D输入图像中确定一个和多个边缘。确定一个或多个边缘可包括以下至少一项：将2D输入图像的像素的行对之间的像素值差异与阈值比较，或应用Sobel操作符。确定一个或多个边缘可提供与这一个或多个边缘相关联的一个或多个混合因子。可通过一个或多个混合因子来修改自顶至底的深度映射以生成基于几何模型的深度表面。可对基于几何模型的深度表面执行深度对比的垂直增强以生成经增强的基于几何模型的深度表面。可对深度映射执行深度对比的第二垂直增强以生成经增强的深度映射。可合并经增强的深度映射和经增强的基于几何模型的深度表面以生成经合并的深度映射。可对经合并的深度映射执行深度对比的水平增强以生成经水平增强的深度映射。可对2D输入图像执行基于边缘和基于亮度的局部增强以生成经增强的2D图像。可合并经增强的2D图像和经水平增强的深度映射以生成第二经合并的深度映射。可对第二经合并的深度映射执行重影减少以生成经重影减少的深度映射。可对经重影减少的经增强的深度映射和时域上领先该经重影减少的经增强的深度映射时间t的第二经重影减少的经增强的深度映射执行时域过滤以生成经时域过滤重影减少的深度映射。可基于2D输入图像和经时域过滤的重影减少的深度映射来生成左视立体图像和右视立体图像。生成左视立体图像和右视立体图像可包括，将经时域过滤的重影减少的深度映射转换成视察值映射，并基于第二视察值映射来确定左视立体图像和右视立体图像。
在另一示例中，用于在设备上将2维(2D)图像转换成3维(3D)立体图像的***可包括：显示设备、一个或多个处理器、一个或多个存储器存储、锐度测量模块、至少一个取样模块、至少一个缩放模块、至少一个平滑模块、至少一个内插模块以及合并模块。一个或多个处理器可通信地耦合到显示设备。一个或多个存储器存储可通信地耦合到一个或多个处理器。锐度测量模块可被配置为用于确定2D输入图像的单个像素的锐度值。至少一个取样模块可被配置为用于执行对锐度值的第一基于区域的取样以确定第一组多个样本锐度值并执行对锐度值的第二基于区域的取样以确定第二组多个样本锐度值，能以不同的分辨率来执行该第一和第二基于区域的取样。至少一个缩放模块可被配置为用于缩放第一组多个锐度值以生成第一组多个经缩放的锐度值并缩放第二组多个锐度值以生成第二组多个经缩放的锐度值。至少一个平滑模块可被配置为用于使第一组多个经缩放的锐度值平滑以生成第一组多个经平滑的锐度值并使第二组多个经缩放的锐度值平滑以生成第二组多个经平滑的锐度值。至少一个内插模块可被配置为用于基于第一组多个经平滑的锐度值来确定第一组多个经内插的锐度值并基于第二组多个经平滑的锐度值来确定第二多组个经内插的锐度值。合并模块可被配置为用于合并第一组多个经内插的锐度值和第二组多个经内插的锐度值以生成具有与2D输入图像相关联的多个深度值的深度映射。
在用于在设备上将2维(2D)图像转换成3维(3D)立体图像的***的进一步示例中，该***可包括：立体图像模块、深度对比增强模块、重影减少模块、时域过滤模块、和图形处理单元。立体图像模块可被配置为用于基于2D输入图像和深度映射来生成左视立体图像和右视立体图像，生成左视立体图像和右视立体图像可包括，将深度映射转换成视察值映射，并基于该视察值映射来确定左视立体图像和右视立体图像。深度对比增强模块可被配置为用于对深度映射执行深度对比的增强以生成经增强的深度映射。深度对比增强模块可被配置为通过以下之至少一项来对深度映射执行深度对比的增强：对深度映射执行仅垂直增强以生成经增强的深度映射；并行地对深度映射执行垂直增强、从左到右水平增强和从右到左水平增强，并组合该垂直增强、从左到右水平增强和从右到左水平增强以生成经增强的深度映射；或者首先执行垂直增强并随后执行从左到右水平增强和从右到左水平增强以生成经增强的深度映射。对深度映射执行垂直增强可包括：将在深度映射的第一行和第一列处的第一像素的像素值与深度映射的第二行和第一列处的第二像素的像素值进行比较，其中第一行在第二行上面；确定第一像素的像素值和第二像素的像素值之间的差异是否在阈值内，以及，如果该差异在阈值内，则将第一像素的像素值和第二像素的像素值设置为第一像素和第二像素的像素值中较小的一个，或者，如果该差异不在阈值内，则不对第一像素的像素值和第二像素的像素值进行改变。重影减少模块可被配置为用于对经增强的深度映射执行重影减少以生成经重影减少的经增强的深度映射。该重影减少模块被配置为用于以下至少一项来执行重影减少：使整个经增强的深度映射移位深度偏移以远离或者朝向零视差屏移位，或者修改经增强的深度映射的亮度值以减少经增强的深度英雄和内边缘处的锐度和/或对比度。时域过滤模块可被配置为用于对经重影减少的经增强的深度映射和时域上领先该经重影减少的经增强的深度映射时间t的第二经重影减少的经增强的深度映射执行时域过滤以生成经时域过滤的重影减少的增强的深度映射。该时域滤波模块可被配置为用于通过基于加权因子来修改经重影减少的经增强的深度映射的深度值来执行时域过滤，其中，加权因子基于经重影减少的经增强的深度映射中的深度值与第二经重影减少的经增强的深度映射中的深度值之间的绝对值差。立体图像模块还可被配置为用于基于2D输入图像和经时域过滤的重影减少的增强的深度映射来生成第二左视立体图像和第二右视立体图像。立体图像模块还可被配置为用于通过将经时域过滤的重影减少的增强的深度映射转换成视察值映射并基于该视察值映射来确定左视立体图像和右视立体图像来生成第二左视立体图像和第二右视立体图像。锐度测量模块可被配置为用于通过基于单个像素的像素值确定锐度值来确定输入图像的单个像素的锐度值，其中，像素值包括单个像素的亮度Y值或单个像素的R/G/B值中的至少一个。确定第一单个像素的第一锐度值可包括：针对单个像素中的第一单个像素，将该第一单个像素的垂直锐度确定为第一单个像素上面的像素的像素值与第一单个像素的像素值的绝对值差和第一单个像素下面的像素的像素值与第一单个像素的像素值的绝对值差之间的绝对值差；针对该第一单个像素，将该第一单个像素的水平锐度确定为第一单个像素左边的像素的像素值与第一单个像素的像素值的绝对值差和第一单个像素右边的像素的像素值与第一单个像素的像素值的绝对值差之间的绝对值差；以及将第一锐度值确定为垂直锐度和水平锐度的最大值或垂直锐度和水平锐度的平均值中的至少一个。至少一个取样模块可被配置为用于通过以下至少一项来执行第一基于区域的取样和第二基于区域的取样：以不同的区域尺寸来执行取样，或以相同的区域尺寸但以对锐度值的不同的缩小来执行取样。至少一个缩放模块可被配置为用于通过基于分段的线性映射缩放第一组多个锐度值来缩放这第一组多个锐度值。至少一个平滑化模块可被配置为用于通过应用3×3平均过滤器来使第一组多个经缩放的锐度值平滑。至少一个内插模块可被配置为用于通过执行双线性内插来确定第一组多个经内插的锐度值。第一组多个经内插的锐度值和第二组多个经内插的锐度值可各自包括与2D输入图像的每一个像素相关联的锐度值。合并模块可被配置为用于通过应用混合因子来合并第一组多个经内插的锐度值和第二组多个经内插的锐度值。2D输入图像可包括图像文件或视频帧中的至少一个。至少一个取样模块可包括配置为用于执行第一基于区域的取样的第一取样模块和配置为用于执行第二基于区域的取样的第二取样模块。至少一个缩放模块可包括配置为用于缩放第一组多个锐度值的第一缩放模块和配置为用于缩放第二组多个锐度值的第二缩放模块。至少一个平滑化模块可包括配置为用于使第一组多个经缩放的锐度值平滑的第一平滑化模块和配置为用于使第二组多个经缩放的锐度值平滑的第二平滑模块。至少一个内插模块可包括配置为用于确定第一组多个经内插的锐度值的第一内插模块和配置为用于确定第二组多个经内插的锐度值的第二内插模块。可经由一个或多个处理器或图形处理单元中的至少一种来实现锐度测量模块、至少一个取样模块、至少一个缩放模块、至少一个平滑化模块、至少一个内插模块以及合并模块。
在用于在设备上将2维(2D)图像转换成3维(3D)立体图像的***的替换性的进一步示例中，***可包括：基于几何模型的深度表面模块、第一深度对比增强模块、第二深度对比增强模块、第一合并模块、第三深度对比增强模块、局部增强模块、第二合并模块、重影减少模块、时域过滤模块以及立体图像模块。基于几何模型的深度表面模块可被配置为用于：确定与2D输入图像相关联的自顶至底的深度映射，该自顶至底深度映射可包括跨从所述自顶至底的深度映射的顶部增加到所述自顶至底的所述深度映射的底部的的自顶至底的深度映射的各个行恒定的多个深度值；确定2D输入图像中的一个或多个边缘，确定一个或多个边缘包括以下至少一项：将2D输入图像的像素的行对之间的像素值差异与阈值比较，或应用Sobel操作；并且确定一个或多个边缘提供与这一个或多个边缘相关联的一个或多个混合因子；以及通过一个或多个混合因子来修改自顶至底的深度映射以生成基于几何模型的深度表面。第一深度对比增强模块可被配置为用于对基于几何模型的深度表面执行深度对比的垂直增强以生成经增强的基于几何模型的深度表面。第二深度对比增强模块可被配置为用于对深度映射执行深度对比的第二垂直增强以生成经增强的深度映射。第一合并模块可被配置为用于合并经增强的深度映射和经增强的基于几何模型的深度表面以生成经合并的深度映射。第三深度对比增强模块可被配置为用于对经合并的深度映射执行深度对比的水平增强以生成经水平增强的深度映射。局部增强模块可被配置为用于对2D输入图像执行基于冰原和基于亮度的局部增强以生成经增强的2D图像。第二合并模块可被配置为用于合并经增强的2D图像和经水平增强的深度映射以生成第二经合并的深度映射。重影减少模块可被配置为用于对第二经合并的深度映射执行重影减少以生成经重影减少的深度映射。时域过滤模块可被配置为用于对经重影减少的深度映射和时域上领先该经重影减少的深度映射时间t的第二经重影减少的经增强的深度映射执行时域过滤以生成经时域过滤的重影减少的深度映射。立体图像模块可被配置为用于基于2D输入图像和经时域过滤的重影减少的深度映射来生成左视立体图像和右视立体图像。生成左视立体图像和右视立体图像可包括，将经时域过滤的重影减少的深度映射转换成视察值映射，并基于第二视差值映射来确定左视立体图像和右视立体图像。
在进一步的示例中，至少一种计算机可读介质可包括多条指令，响应于在计算设备上执行这些指令，这些指令使该计算设备执行根据以上示例中的任何一个所述的方法。
在又一示例中，设备可包括用于执行根据以上示例中任何一个所述的方法的装置。
以上示例可包括特征的特定组合。然而，此类以上示例在这一点上不受限，且在各种实现中，以上示例可包括执行此类特征的仅子集、执行此类特征的不同次序、执行此类特征的不同组合和/或执行明确地列出的那些特征之外的附加特征。例如，可参照示例装置、示例***和/或示例制品来实现参照示例方法所描述的所有特征，且反之亦然。

Claims (27)

1.一种用于将2维(2D)图像转换成3维(3D)立体图像的计算机实现的方法，所述方法包括：
确定2D输入图像的单个像素的锐度值；
执行对所述锐度值的第一基于区域的取样以确定第一组多个样本锐度值并且执行对所述锐度值的第二基于区域的取样以确定第二组多个样本锐度值，其中，以不同的分辨率来执行所述第一和第二基于区域的取样；
缩放所述第一组多个锐度值以生成第一组多个经缩放的锐度值并且缩放所述第二组多个锐度值以生成第二组多个经缩放的锐度值；
使所述第一组多个经缩放的锐度值平滑以生成第一组多个经平滑的锐度值并且使所述第二组多个经缩放的锐度值平滑以生成第二组多个经平滑的锐度值；
基于所述第一组多个经平滑的锐度值来确定第一组多个经内插的锐度值并且基于所述第二组多个经平滑的锐度值来确定第二组多个经内插的锐度值；以及
合并所述第一组多个经内插的锐度值和所述第二组多个经内插的锐度值以生成具有与所述2D输入图像相关联的多个深度值的深度映射。
2.如权利要求1所述的方法，其特征在于，还包括：
基于所述2D输入图像和所述深度映射来生成左视立体图像和右视立体图像，其中，生成所述左视立体图像和所述右视立体图像包括，将所述深度映射转换成视差值映射，并基于所述视差值映射来确定所述左视立体图像和所述右视立体图像。
3.如权利要求1所述的方法，其特征在于，还包括：
对所述深度映射执行深度对比的增强以生成经增强的深度映射；
对所述经增强的深度映射执行重影减少以生成经重影减少的经增强的深度映射；
对所述经重影减少的经增的强深度映射和第二经重影减少的经增强的深度映射执行时域过滤以生成经时域过滤的重影减少的增强的深度映射，所述第二经重影减少的经增强的深度映射在时域上领先所述经重影减少的经增强的深度映射时间t；以及
基于所述2D输入图像和所述经时域过滤的重影减少的增强的深度映射来生成左视立体图像和右视立体图像，其中，生成所述左视立体图像和所述右视立体图像包括，将所述经时域过滤的重影减少的增强的深度映射转换成视差值映射，并基于所述第二视差值映射来确定所述左视立体图像和所述右视立体图像。
4.如权利要求1所述的方法，其特征在于，还包括：
对所述深度映射执行深度对比的增强以生成经增强的深度映射；以及
基于所述2D输入图像和所述经增强的深度映射来生成左视立体图像和右视立体图像，其中，生成所述左视立体图像和所述右视立体图像包括，将所述经增强的深度映射转换成视差值映射，并基于所述视差值映射来确定所述左视立体图像和所述右视立体图像。
5.如权利要求1所述的方法，其特征在于，还包括：
对所述深度映射执行深度对比的增强以生成经增强的深度映射；。
对所述经增强深度映射执行重影减少以生成经重影减少的经增强的深度映射；以及
基于所述2D输入图像和所述经重影减少的经增强的深度映射来生成左视立体图像和右视立体图像，其中，生成所述左视立体图像和所述右视立体图像包括，将所述经重影减少的经增强的深度映射转换成视差值映射，并基于所述视差值映射来确定所述左视立体图像和所述右视立体图像。
6.如权利要求1所述的方法，其特征在于，执行所述第一基于区域的取样和所述第二基于区域的取样包括以下至少一项：以不同的区域尺寸来执行取样，或以相同的区域尺寸但以对所述锐度值的不同的缩小来执行取样。
7.如权利要求1所述的方法，其特征在于，缩放所述第一组多个锐度值包括，基于分段的线性映射来缩放所述第一组多个锐度值。
8.如权利要求1所述的方法，其特征在于，使所述第一组多个经缩放的锐度值平滑包括，应用3×3平均过滤器。
9.如权利要求1所述的方法，其特征在于，确定所述第一组多个经内插的锐度值包括执行双线性内插，且其中，所述第一组多个经内插的锐度值和所述第二组多个经内插锐度值各自包括与所述2D输入图像的每一个像素相关联的锐度值。
10.如权利要求1所述的方法，其特征在于，合并所述第一组多个经内插的锐度值和所述第二组多个经内插的锐度值包括应用混合因子。
11.如权利要求1所述的方法，其特征在于，还包括：
基于所述2D输入图像和所述深度映射来生成左视立体图像和右视立体图像，其中，生成所述左视立体图像和所述右视立体图像包括，将所述深度映射转换成视差值映射，并基于所述视差值映射来确定所述左视立体图像和所述右视立体图像；
对所述深度映射执行深度对比的增强以生成经增强的深度映射，其中，执行深度对比的增强包括下列至少一项：
对所述深度映射执行仅垂直增强以生成所述经增强的深度映射，
并行地对所述深度映射执行垂直增强、从左到右水平增强和从右到左水平增强，并组合所述垂直增强、所述从左到右水平增强和所述从右到左水平增强以生成所述经增强的深度映射，或者
首先执行垂直增强并随后执行从左到右水平增强和从右到左水平增强以生成所述经增强的深度映射。
其中，对所述深度映射执行所述垂直增强包括：
将在所述深度映射的第一行和第一列处的第一像素的像素值与在所述深度映射的第二行和第一列处的第二像素的像素值比较，其中，所述第一行在所述第二行上面；
确定所述第一像素的像素值和所述第二像素的像素值之间的差异是否在阈值内；以及
如果所述差异在所述阈值内，则将所述第一像素的像素值和所述第二像素的像素值设置为所述第一像素和所述第二像素的像素值中较小的一个；以及
如果所述差异不在所述阈值内，则不对所述第一像素的像素值和所述第二像素的像素值进行改变；
对所述经增强的深度映射执行重影减少以生成经重影减少的经增强的深度映射，其中，执行所述重影减少包括下列至少一项：
将整个经增强的深度映射移位深度偏移以远离或朝向零视差屏移位，或者
修改所述经增强的深度映射的亮度值以减小所述经增强的深度映射内的边缘处的锐度和/或对比度；
对所述经重影减少的经增强的深度映射和第二经重影减少的经增强的深度映射执行时域过滤以生成经时域过滤的重影减少的增强的深度映射，所述第二经重影减少的经增强的深度映射在时域上领先所述经重影减少的经增强的深度映射时间t，其中，执行所述时域过滤包括：
基于加权因子来修改所述经重影减少的经增强的深度映射的深度值，其中，所述加权因子基于所述经重影减少的经增强的深度映射中的深度值与所述第二经重影减少的经增强的深度映射中的深度值之间的绝对值差；以及
基于所述2D输入图像和所述经时域过滤的重影减少的增强的深度映射来生成第二左视立体图像和第二右视立体图像，其中，生成所述第二左视立体图像和所述第二右视立体图像包括，将所述经时域过滤的重影减少的增强的深度映射转换成第二视差值映射，并基于所述第二视差值映射来确定所述左视立体图像和所述右视立体图像，
其中，确定所述输入图像的所述单个像素的所述锐度值包括基于所述单个像素的像素值来确定所述锐度值，其中，所述像素值包括所述单个像素的亮度Y值或所述单个像素的R/G/B值中的至少一个，其中，确定所述锐度值包括确定所述输入图像的每一个像素的锐度值，且其中，确定第一单个像素的第一锐度值包括：
对于所述单个像素中的第一单个像素，将所述第一单个像素的垂直锐度确定为所述第一单个像素上面的像素的像素值与所述第一单个像素的像素值的绝对值差和所述第一单个像素下面的像素的像素值与所述第一单个像素的像素值的绝对值差之间的绝对值差；
对于所述第一单个像素，将所述第一单个像素的水平锐度确定为所述第一单个像素左边的像素的像素值与所述第一单个像素的像素值的绝对值差和所述第一单个像素右边的像素的像素值与所述第一单个像素的像素值的绝对值差之间的绝对值差；以及
将所述第一锐度值确定为所述垂直锐度和所述水平锐度的最大值或所述垂直锐度和所述水平锐度的平均值中的至少一个，
其中，执行所述第一基于区域的取样和所述第二基于区域的取样包括以下至少一项：以不同的区域尺寸来执行取样，或以相同的区域尺寸但以对所述锐度值的不同的缩小来执行取样，
其中，缩放所述第一组多个锐度值包括，基于分段的线性映射来缩放所述第一组多个锐度值，
其中，使所述第一组多个经缩放的锐度值平滑包括，应用3×3平均过滤器，
其中，确定所述第一组多个经内插的锐度值包括执行双线性内插，且其中，所述第一组多个经内插的锐度值和所述第二组多个经内插的锐度值各自包括与所述2D输入图像的每一个像素相关联的锐度值，
其中，合并所述第一组多个经内插的锐度值和所述第二组多个经内插的锐度值包括应用混合因子，
其中，所述2D输入图像包括图像文件或视频帧中的至少一个，并且
其中，所述深度映射是实时生成的。
12.如权利要求1所述的方法，其特征在于，还包括：
确定与所述2D输入图像相关联的自顶至底的深度映射，其中，所述自顶至底的深度映射包括跨从所述自顶至底的深度映射的顶部增加到所述自顶至底的所述深度映射的底部的所述自顶至底的深度映射的各个行恒定的多个深度值；
确定所述2D输入图像中的一个或多个边缘，其中，确定所述一个或多个边缘包括以下至少一项：将所述2D输入图像的像素的行对之间的像素值差异与阈值比较，或应用Sobel操作符；且其中，确定所述一个或多个边缘提供与所述一个或多个边缘相关联的一个或多个混合因子；
通过所述一个或多个混合因子来修改所述自顶至底的深度映射以生成基于几何模型的深度表面；
对所述基于几何模型的深度表面执行深度对比的垂直增强以生成经增强的基于几何模型的深度表面；
对所述深度映射执行深度对比的第二垂直增强以生成经增强的深度映射；
合并所述经增强的深度映射和所述经增强的基于几何模型的深度表面以生成经合并的深度映射；
对所述经合并的深度映射执行深度对比的水平增强以生成经水平增强的深度映射；
对所述2D输入图像执行基于边缘和基于亮度的局部增强以生成经增强的2D图像；
合并所述经增强的2D图像和所述经水平增强的深度映射以生成第二经合并的深度映射；
对所述第二经合并的深度映射执行重影减少以生成经重影减少的经增强的深度映射；
对所述经重影减少的深度映射和第二经重影减少的经增强的深度映射执行时域过滤以生成经时域过滤的重影减少的深度映射，所述第二经重影减少的经增强的深度映射在时域上领先所述经重影减少的深度映射时间t；以及
基于所述2D输入图像和所述经时域过滤的重影减少的深度映射来生成左视立体图像和右视立体图像，其中，生成所述左视立体图像和所述右视立体图像包括，将所述经时域过滤的重影减少的深度映射转换成视差值映射，并基于所述第二视差值映射来确定所述左视立体图像和所述右视立体图像。
13.一种用于在设备上将2维(2D)图像转换成3维(3D)立体图像的***，所述***包括：
显示设备，被配置为用于呈现图像数据；
一个或多个处理器，通信地耦合到所述显示设备；
一个或多个存储器存储，通信地耦合到所述一个或多个处理器；
锐度测量模块，被配置为用于确定2D输入图像的单个像素的锐度值；
至少一个取样模块，被配置为用于执行对所述锐度值的第一基于区域的取样以确定第一组多个样本锐度值并执行对所述锐度值的第二基于区域的取样以确定第二组多个样本锐度值，其中，以不同的分辨率来执行所述第一和第二基于区域的取样；
至少一个缩放模块，被配置为用于缩放所述第一组多个锐度值以生成第一组多个经缩放的锐度值并缩放所述第二组多个锐度值以生成第二组多个经缩放的锐度值；
至少一个平滑模块，被配置为用于使所述第一组多个经缩放的锐度值平滑以生成第一组多个经平滑的锐度值并使所述第二组多个经缩放的锐度值平滑以生成第二组多个经平滑的锐度值；
至少一个内插模块，被配置为用于基于所述第一组多个经平滑的锐度值确定第一组多个经内插的锐度值并基于所述第二组多个经平滑的锐度值确定第二组多个经内插的锐度值；以及
合并模块，被配置为用于合并所述第一组多个经内插的锐度值和所述第二组多个经内插的锐度值以生成具有与所述2D输入图像相关联的多个深度值的深度映射。
14.如权利要求13所述的***，其特征在于，还包括：
立体图像模块，被配置为用于基于所述2D输入图像和所述深度映射来生成左视立体图像和右视立体图像，其中，生成所述左视立体图像和所述右视立体图像包括，将所述深度映射转换成视差值映射，并基于所述视差值映射来确定所述左视立体图像和所述右视立体图像。
15.如权利要求13所述的***，其特征在于，还包括：
深度对比增强模块，被配置为用于对所述深度映射执行深度对比的增强以生成经增强的深度映射；
重影减少模块，被配置为用于对所述经增强的深度映射执行重影减少以生成经重影减少的经增强的深度映射；
时域过滤模块，被配置为用于对所述经重影减少的经增强的深度映射和第二经重影减少的经增强的深度映射执行时域过滤以生成经时域过滤的重影减少的增强的深度映射，所述第二经重影减少的经增强的深度映射在时域上领先所述经重影减少的经增强的深度映射时间t；
立体图像模块，被配置为用于基于所述2D输入图像和所述经时域过滤的重影减少的增强的深度映射来生成左视立体图像和右视立体图像，其中，生成所述左视立体图像和所述右视立体图像包括，将所述经时域过滤的重影减少的增强的深度映射转换成视差值映射，并基于所述视差值映射来确定所述左视立体图像和所述右视立体图像。
16.如权利要求13所述的***，其特征在于，所述至少一个取样模块被配置为用于通过以下至少一项来执行所述第一基于区域的取样和所述第二基于区域的取样：以不同的区域尺寸来执行取样，或以相同的区域尺寸但以对所述锐度值的不同的缩小来执行取样。
17.如权利要求13所述的***，其特征在于，所述至少一个缩放模块被配置为用于通过基于分段的线性映射以缩放所述第一组多个锐度值来缩放所述第一组多个锐度值。
18.如权利要求13所述的***，其特征在于，所述至少一个平滑模块被配置为用于通过应用3×3平均过滤器器来使所述第一组多个经缩放的锐度值平滑。
19.如权利要求13所述的***，其特征在于，所述至少一个内插模块被配置为用于通过执行双线性内插来确定所述第一组多个经内插的锐度值，且其中，所述第一组多个经内插的锐度值和所述第二组多个经内插的锐度值各自包括与所述2D输入图像的每一个像素相关联的锐度值。
20.如权利要求13所述的***，其特征在于，所述合并模块被配置为用于通过应用混合因子来合并所述第一组多个经内插的锐度值和所述第二组多个经内插的锐度值。
21.如权利要求13所述的***，其特征在于，所述至少一个取样模块包括被配置为用于执行所述第一基于区域的取样的第一取样模块和被配置为用于执行所述第二基于区域的取样的第二取样模块，其中，所述至少一个缩放模块包括被配置为用于缩放所述第一组多个锐度值的第一缩放模块和被配置为用于缩放所述第二组多个锐度值的第二缩放模块，其中，所述至少一个平滑模块包括被配置为用于使所述第一组多个经缩放的锐度值平滑的第一平滑模块和被配置为用于使所述第二组多个经缩放的锐度值平滑的第二平滑模块，且其中，所述至少一个内插模块包括被配置为用于确定所述第一组多个经内插的锐度值的第一内插模块和被配置为用于确定所述第二组多个经内插的锐度值的第二内插模块。
22.如权利要求13所述的***，其特征在于，经由所述一个或多个处理器来实现所述锐度测量模块、所述至少一个取样模块、所述至少一个缩放模块、所述至少一个平滑模块、所述至少一个内插模块和所述合并模块。
23.如权利要求13所述的***，其特征在于，还包括：
图形处理单元，其中，经由所述图形处理单元来实现所述锐度测量模块、所述至少一个取样模块、所述至少一个缩放模块、所述至少一个平滑模块、所述至少一个内插模块和所述合并模块。
24.如权利要求13所述的***，其特征在于，还包括：
立体图像模块，被配置为用于基于所述2D输入图像和所述深度映射来生成左视立体图像和右视立体图像，其中，生成所述左视立体图像和所述右视立体图像可包括，将所述深度映射转换成视差值映射，并基于所述视差值映射来确定所述左视立体图像和所述右视立体图像；
深度对比增强模块，被配置为用于对所述深度映射执行深度对比的增强以生成经增强的深度映射，其中，所述深度对比增强模块被配置为用于通过下列至少一项来执行对所述深度映射的深度对比的增强：
对所述深度映射执行仅垂直增强以生成所述经增强的深度映射，
并行地对所述深度映射执行垂直增强、从左到右水平增强和从右到左水平增强，并组合所述垂直增强、所述从左到右水平增强和所述从右到左水平增强以生成所述经增强的深度映射，或者
首先执行垂直增强并随后执行从左到右水平增强和从右到左水平增强以生成所述经增强的深度映射，
其中，对所述深度映射执行所述垂直增强包括：
将在所述深度映射的第一行和第一列处的第一像素的像素值与在所述深度映射的第二行和第一列处的第二像素的像素值比较，其中，所述第一行在所述第二行上面；
确定所述第一像素的像素值和所述第二像素的像素值之间的差异是否在阈值内；以及
如果所述差异在所述阈值内，则将所述第一像素的像素值和所述第二像素的像素值设置为所述第一像素和所述第二像素的像素值中较小的一个；以及
如果所述差异不在所述阈值内，则不对所述第一像素的像素值和所述第二像素的像素值进行改变；
重影减少模块，被配置为用于对所述经增强的深度映射执行重影减少以生成经重影减少的经增强的深度映射，其中，所述重影减少模块被配置为用于通过下列至少一项来执行所述重影减少：
使整个经增强的深度映射移位深度偏移以远离或朝向零视差屏移位，或者
修改所述经增强的深度映射的亮度值以减小所述经增强的深度映射内的边缘处的锐度和/或对比度；
时域过滤模块，被配置为用于对所述经重影减少的经增强的深度映射和第二经重影减少的经增强的深度映射执行时域过滤以生成经时域过滤的重影减少的增强的深度映射，所述第二经重影减少的经增强的深度映射在时域上领先所述经重影减少的经增强的深度映射时间t，其中，所述时域过滤模块被配置为通过以下方式来执行所述时域过滤：
基于加权因子来修改经重影减少的经增强的深度映射的深度值，其中，所述加权因子基于所述经重影减少的经增强的深度映射中的深度值与所述第二经重影减少的经增强的深度映射中的深度值之间的绝对值差；以及
图形处理单元；
其中，所述立体图像模块还被配置为用于基于所述2D输入图像和所述经时域过滤的重影减少的增强的深度映射来生成第二左视立体图像和第二右视立体图像，其中，所述立体图像模块还被配置为用于通过将所述经时域过滤的重影减少的增强的深度映射转换成视差值映射并基于所述视差值映射来确定所述左视立体图像和所述右视立体图像来生成所述第二左视立体图像和所述第二右视立体图像，
其中，所述锐度测量模块被配置为用于通过基于所述单个像素的像素值确定所述锐度值来确定所述输入图像的所述单个像素的所述锐度值，其中，所述像素值包括所述单个像素的亮度Y值或所述单个像素的R/G/B值中的至少一个，其中，确定所述锐度值包括确定所述输入图像的每一个像素的锐度值，且其中，确定第一单个像素的第一锐度值包括：
对于所述单个像素中的第一单个像素，将所述第一单个像素的垂直锐度确定为所述第一单个像素上面的像素的像素值与所述第一单个像素的像素值的绝对值差和所述第一单个像素下面的像素的像素值与所述第一单个像素的像素值的绝对值差之间的绝对值差；
对于所述第一单个像素，将所述第一单个像素的水平锐度确定为所述第一单个像素左边的像素的像素值与所述第一单个像素的像素值的绝对值差和所述第一单个像素右边的像素的像素值与所述第一单个像素的像素值的绝对值差之间的绝对值差；以及
将所述第一锐度值确定为所述垂直锐度和所述水平锐度的最大值或所述垂直锐度和所述水平锐度的平均值中的至少一个，
其中，所述至少一个取样模块被配置为用于通过以下至少一项来执行所述第一基于区域的取样和所述第二基于区域的取样：以不同的区域尺寸来执行取样，或以相同的区域尺寸但以对所述锐度值的不同的缩小来执行取样，
其中，所述至少一个缩放模块被配置为用于通过基于分段的线性映射缩放所述第一组多个锐度值来缩放所述第一组多个锐度值，
其中，所述至少一个平滑模块被配置为用于通过应用3×3平均过滤器来使所述第一组多个经缩放的锐度值平滑，
其中，所述至少一个内插模块被配置为用于通过执行双线性内插来确定所述第一组多个经内插的锐度值，且其中，所述第一组多个经内插的锐度值和所述第二组多个经内插的锐度值各自包括与所述2D输入图像的每一个像素相关联的锐度值，
其中，所述合并模块被配置为用于通过应用混合因子来合并所述第一组多个经内插的锐度值和所述第二组多个经内插的锐度值，
其中，所述2D输入图像包括图像文件或视频帧中的至少一个，并且
其中，所述深度映射是实时生成的，
其中，所述至少一个取样模块包括被配置为用于执行所述第一基于区域的取样的第一取样模块和被配置为用于执行第二基于区域的取样的第二取样模块，其中，所述至少一个缩放模块包括被配置为用于缩放所述第一组多个锐度值的第一缩放模块和被配置为用于缩放所述第二组多个锐度值的第二缩放模块，其中，所述至少一个平滑模块包括被配置为用于使所述第一组多个经缩放的锐度值平滑的第一平滑模块和被配置为用于使所述第二组多个经缩放的锐度值平滑的第二平滑模块，且其中，所述至少一个内插模块包括被配置为用于确定所述第一组多个经内插的锐度值的第一内插模块和被配置为用于确定所述第二组多个经内插的锐度值的第二内插模块，以及
其中，可经由所述一个或多个处理器或所述图形处理单元中的至少一种来实现所述锐度测量模块、所述至少一个取样模块、所述至少一个缩放模块、所述至少一个平滑模块、所述至少一个内插模块和所述合并模块。
25.如权利要求13所述的***，其特征在于，还包括：
基于几何模型的深度表面模块，配置为用于：
确定与所述2D输入图像相关联的自顶至底的深度映射，其中，所述自顶至底的深度映射包括跨从所述自顶至底的深度映射的顶部增加到所述自顶至底的所述深度映射的底部的所述自顶至底的深度映射的各个行恒定的多个深度值；
确定所述2D输入图像中的一个或多个边缘，其中，确定所述一个或多个边缘包括以下至少一项：将所述2D输入图像的像素的行对之间的像素值差异与阈值比较，或应用Sobel操作符；且其中，确定所述一个或多个边缘提供与所述一个或多个边缘相关联的一个或多个混合因子；
通过所述一个或多个混合因子来修改所述自顶至底的深度映射以生成基于几何模型的深度表面；
第一深度对比增强模块，被配置为用于对所述基于几何模型的深度表面执行深度对比的垂直增强以生成经增强的基于几何模型的深度表面；
第二深度对比增强模块，被配置为用于对所述深度映射执行深度对比的第二垂直增强以生成经增强的深度映射；
第一合并模块，被配置为用于合并所述经增强的深度映射和所述经增强的基于几何模型的深度表面以生成经合并的深度映射；
第三深度对比增强模块，被配置为用于对所述经合并的深度映射执行深度对比的水平增强以生成经水平增强的深度映射；
局部增强模块，被配置为用于对所述2D输入图像执行基于边缘和基于亮度的局部增强以生成经增强的2D图像；
第二合并模块，被配置为用于合并所述经增强的2D图像和所述经水平增强的深度映射以生成第二经合并的深度映射；
重影减少模块，被配置为用于对所述第二经合并的深度映射执行重影减少以生成经重影减少的深度映射；
时域过滤模块，被配置为用于对所述经重影减少的深度映射和第二经重影减少的经增强的深度映射执行时域过滤以生成经时域过滤的重影减少的深度映射，所述第二经重影减少的经增强的深度映射在时域上领先所述经重影减少的深度映射时间t；以及
立体图像模块，被配置为用于基于所述2D输入图像和所述经时域过滤的重影减少的深度映射来生成左视立体图像和右视立体图像，其中，生成所述左视立体图像和所述右视立体图像包括，将所述经时域过滤的重影减少的深度映射转换成视差值映射，并基于所述第二视差值映射来确定所述左视立体图像和所述右视立体图像。
26.至少一种机器可读介质，包括：
多条指令，响应于在计算设备上执行所述多条指令，所述多条指令使所述计算设备执行根据权利要求1-12中任意一项所述的方法。
27.一种设备，包括：
用于执行根据权利要求1-12中任意一项所述的方法的装置。
CN201380070953.9A 2013-02-20 2013-02-20 2维图像或视频到3维立体图像或视频的实时自动转换 Active CN104937927B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/026801 WO2014130019A1 (en) 2013-02-20 2013-02-20 Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video

Publications (2)

Publication Number Publication Date
CN104937927A true CN104937927A (zh) 2015-09-23
CN104937927B CN104937927B (zh) 2017-08-25

Family

ID=51350875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380070953.9A Active CN104937927B (zh) 2013-02-20 2013-02-20 2维图像或视频到3维立体图像或视频的实时自动转换

Country Status (6)

Country Link
US (2) US9083959B2 (zh)
EP (1) EP2959684A4 (zh)
KR (1) KR101775253B1 (zh)
CN (1) CN104937927B (zh)
TW (1) TWI524732B (zh)
WO (1) WO2014130019A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767412A (zh) * 2017-09-11 2018-03-06 西安中兴新软件有限责任公司 一种图像处理方法及装置
WO2018152654A1 (zh) * 2017-02-22 2018-08-30 刘简 2d视频转换为3d视频的理论方法和眼镜装置
CN114742703A (zh) * 2022-03-11 2022-07-12 影石创新科技股份有限公司 双目立体全景图像的生成方法、装置、设备和存储介质

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014207519A (ja) * 2013-04-11 2014-10-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および電子機器
CN104284172A (zh) * 2013-07-04 2015-01-14 联咏科技股份有限公司 影像匹配方法及立体匹配***
CN105432081B (zh) * 2013-08-06 2019-12-31 索尼电脑娱乐公司 三维图像生成设备、三维图像生成方法、程序和信息存储介质
US9292906B1 (en) * 2013-09-06 2016-03-22 Google Inc. Two-dimensional image processing based on third dimension data
KR102115930B1 (ko) * 2013-09-16 2020-05-27 삼성전자주식회사 디스플레이 장치 및 영상 처리 방법
US9734551B1 (en) * 2013-12-01 2017-08-15 Google Inc. Providing depth-of-field renderings
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
TWI566576B (zh) * 2014-06-03 2017-01-11 宏碁股份有限公司 立體影像合成方法及裝置
JP6263461B2 (ja) * 2014-09-26 2018-01-17 日立オートモティブシステムズ株式会社 撮像装置
JP2018506797A (ja) * 2015-02-12 2018-03-08 ネクストブイアール・インコーポレイテッド 環境測定を行うための、及び／又は、このような測定を使用するための方法及び装置
TWI567476B (zh) * 2015-03-13 2017-01-21 鈺立微電子股份有限公司 影像處理裝置與影像處理方法
US9924157B2 (en) * 2015-04-08 2018-03-20 Canon Kabushiki Kaisha Image processing device, image pickup apparatus, image processing method, and storage medium
GB2541179B (en) * 2015-07-31 2019-10-30 Imagination Tech Ltd Denoising filter
US10212409B2 (en) * 2015-12-18 2019-02-19 Boe Technology Group Co., Ltd Method, apparatus, and non-transitory computer readable medium for generating depth maps
DE102016200136A1 (de) * 2016-01-08 2017-07-13 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Sichtfeldanzeigegeräts
WO2017167381A1 (en) * 2016-03-31 2017-10-05 Softkinetic Software Method for foreground and background determination in an image
EP3236657A1 (en) * 2016-04-21 2017-10-25 Ultra-D Coöperatief U.A. Dual mode depth estimator
TW201742001A (zh) * 2016-05-30 2017-12-01 聯詠科技股份有限公司 影像雜訊估測方法及裝置與影像擷取裝置
WO2018000427A1 (en) * 2016-07-01 2018-01-04 Intel Corporation Enhancement of edges in images using depth information
US10192295B2 (en) * 2016-11-09 2019-01-29 AI Analysis, Inc. Methods and systems for normalizing images
US11665308B2 (en) 2017-01-31 2023-05-30 Tetavi, Ltd. System and method for rendering free viewpoint video for sport applications
KR102320198B1 (ko) * 2017-04-05 2021-11-02 삼성전자주식회사 깊이 영상 보정 방법 및 장치
CN107221195B (zh) * 2017-05-26 2020-03-17 重庆长安汽车股份有限公司 汽车车道预测方法及车道级地图
TWI678927B (zh) * 2018-09-18 2019-12-01 宏碁股份有限公司 動態調整影像清晰度的方法及其影像處理裝置
WO2020073982A1 (en) * 2018-10-11 2020-04-16 Shanghaitech University System and method for extracting planar surface from depth image
KR20200048237A (ko) 2018-10-29 2020-05-08 방성환 3차원 영상생성서버 및 입체영상생성방법
US11109010B2 (en) * 2019-06-28 2021-08-31 The United States of America As Represented By The Director Of The National Geospatial-Intelligence Agency Automatic system for production-grade stereo image enhancements
CN110599422B (zh) * 2019-09-12 2022-05-31 合肥中科离子医学技术装备有限公司 一种基于边缘保护的加权平均椒盐噪声降噪方法
US11683602B1 (en) * 2022-04-08 2023-06-20 Omnivision Technologies, Inc. Nine cell pixel image sensor with phase detection autofocus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011014420A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3d) images
US20120056984A1 (en) * 2010-09-03 2012-03-08 Samsung Electronics Co., Ltd. Method and apparatus for converting 2-dimensional image into 3-dimensional image by adjusting depth of the 3-dimensional image
CN102761758A (zh) * 2011-04-29 2012-10-31 承景科技股份有限公司 深度图产生装置与立体图像产生方法
US20120281906A1 (en) * 2011-05-04 2012-11-08 Texas Instruments Incorporated Method, System and Computer Program Product for Converting a 2D Image Into a 3D Image

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055340A (en) * 1997-02-28 2000-04-25 Fuji Photo Film Co., Ltd. Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness
JP4053185B2 (ja) * 1999-06-22 2008-02-27 富士フイルム株式会社 画像処理方法および装置
CA2344615A1 (en) * 2000-09-08 2002-03-08 Jaldi Semiconductor Corp. A method and apparatus for motion adaptive deinterlacing
JP4443784B2 (ja) * 2000-12-07 2010-03-31 株式会社エヌ・ティ・ティ・ドコモ 画像符号化・復号方法、画像符号化装置及び画像復号装置
US20030231321A1 (en) * 2002-03-25 2003-12-18 Tatsuya Aoyama Method of and system for image processing, method of and apparatus for image generation, and computer program
TWI253849B (en) 2004-12-14 2006-04-21 Vxis Technology Corp Brightness and chrominance separation circuit for three-dimensional image signal
EP2160037A3 (en) 2006-06-23 2010-11-17 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
KR100791391B1 (ko) * 2007-01-30 2008-01-07 삼성전자주식회사 노이즈 저감 방법 및 장치
US7825963B2 (en) * 2007-09-19 2010-11-02 Nokia Corporation Method and system for capturing an image from video
TWI362628B (en) 2007-12-28 2012-04-21 Ind Tech Res Inst Methof for producing an image with depth by using 2d image
US8249346B2 (en) * 2008-01-28 2012-08-21 The United States Of America As Represented By The Secretary Of The Army Three dimensional imaging method and apparatus
TWI366035B (en) 2008-02-15 2012-06-11 Ind Tech Res Inst 3-d image display devices, 3d/2d switchable display devices and driving methods thereof
KR101497503B1 (ko) 2008-09-25 2015-03-04 삼성전자주식회사 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치
TW201101799A (en) * 2009-06-17 2011-01-01 Altek Corp Digital image sharpening treatment method and its system thereof
WO2011014421A2 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
CN103229509B (zh) * 2010-02-19 2016-08-17 双光圈国际株式会社 处理多孔径像数据
JP5136665B2 (ja) * 2010-07-21 2013-02-06 カシオ計算機株式会社 画像処理装置、及びプログラム
US9485497B2 (en) 2010-09-10 2016-11-01 Reald Inc. Systems and methods for converting two-dimensional images into three-dimensional images
JP5559012B2 (ja) * 2010-11-12 2014-07-23 キヤノン株式会社 画像処理装置及びその制御方法
US8861836B2 (en) * 2011-01-14 2014-10-14 Sony Corporation Methods and systems for 2D to 3D conversion from a portrait image
US9007435B2 (en) * 2011-05-17 2015-04-14 Himax Technologies Limited Real-time depth-aware image enhancement system
US8712181B2 (en) * 2011-06-14 2014-04-29 Apteryx, Inc. Real-time application of filters based on image attributes
US8761539B2 (en) * 2012-07-10 2014-06-24 Sharp Laboratories Of America, Inc. System for high ambient image enhancement
US9280806B2 (en) * 2013-01-10 2016-03-08 Broadcom Corporation Edge smoothing block filtering and blending

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011014420A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3d) images
US20120056984A1 (en) * 2010-09-03 2012-03-08 Samsung Electronics Co., Ltd. Method and apparatus for converting 2-dimensional image into 3-dimensional image by adjusting depth of the 3-dimensional image
CN102761758A (zh) * 2011-04-29 2012-10-31 承景科技股份有限公司 深度图产生装置与立体图像产生方法
US20120281906A1 (en) * 2011-05-04 2012-11-08 Texas Instruments Incorporated Method, System and Computer Program Product for Converting a 2D Image Into a 3D Image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TREVOR DARELL AND K . WORN: "Depth from focus using a pyramid architecture", 《ELSEVIER SCIENCE PUBLISHERS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018152654A1 (zh) * 2017-02-22 2018-08-30 刘简 2d视频转换为3d视频的理论方法和眼镜装置
CN107767412A (zh) * 2017-09-11 2018-03-06 西安中兴新软件有限责任公司 一种图像处理方法及装置
CN114742703A (zh) * 2022-03-11 2022-07-12 影石创新科技股份有限公司 双目立体全景图像的生成方法、装置、设备和存储介质

Also Published As

Publication number Publication date
WO2014130019A1 (en) 2014-08-28
EP2959684A4 (en) 2016-11-09
US20140232820A1 (en) 2014-08-21
CN104937927B (zh) 2017-08-25
US9083959B2 (en) 2015-07-14
US20150281677A1 (en) 2015-10-01
EP2959684A1 (en) 2015-12-30
US10051259B2 (en) 2018-08-14
KR101775253B1 (ko) 2017-09-05
TW201444337A (zh) 2014-11-16
TWI524732B (zh) 2016-03-01
KR20150097737A (ko) 2015-08-26

Similar Documents

Publication Publication Date Title
CN104937927A (zh) 2维图像或视频到3维立体图像或视频的实时自动转换
CN102741879B (zh) 由单眼图像产生深度图的方法及其***
JP5996013B2 (ja) 立体画像の視差マップ推定のための方法，装置及びコンピュータプログラム製品
US8717390B2 (en) Art-directable retargeting for streaming video
CN104246822B (zh) 图像增强
TWI556639B (zh) 用於將互動特徵加入視頻之技術
CN101287142A (zh) 基于双向跟踪和特征点修正的平面视频转立体视频的方法
US8373802B1 (en) Art-directable retargeting for streaming video
Shao et al. QoE-guided warping for stereoscopic image retargeting
CN111932463B (zh) 图像处理方法、装置、设备及存储介质
CN104394422A (zh) 一种视频分割点获取方法及装置
US20150195510A1 (en) Method of integrating binocular stereo video scenes with maintaining time consistency
US10127714B1 (en) Spherical three-dimensional video rendering for virtual reality
CN108351962B (zh) 具有自适应性通道特征的对象检测
CN104094312A (zh) 对基于测得的知觉质量特性的视频处理算法的控制
KR20100109069A (ko) 시각적 관심맵 생성 장치 및 방법
US10868969B1 (en) Method and apparatus for accelerated tonemapping and display
CN113538274A (zh) 图像美颜处理方法、装置、存储介质与电子设备
US20130336577A1 (en) Two-Dimensional to Stereoscopic Conversion Systems and Methods
CN113902611A (zh) 图像美颜处理方法、装置、存储介质与电子设备
US9460544B2 (en) Device, method and computer program for generating a synthesized image from input images representing differing views
Vosters et al. Efficient and stable sparse-to-dense conversion for automatic 2-D to 3-D conversion
CN114782460A (zh) 图像分割模型的生成方法及图像的分割方法、计算机设备
Tsai et al. A novel method for 2D-to-3D video conversion based on boundary information
US9967546B2 (en) Method and apparatus for converting 2D-images and videos to 3D for consumer, commercial and professional applications

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant