CN103329547A - 伪3d强迫透视方法及设备 - Google Patents

伪3d强迫透视方法及设备 Download PDF

Info

Publication number
CN103329547A
CN103329547A CN2011800588696A CN201180058869A CN103329547A CN 103329547 A CN103329547 A CN 103329547A CN 2011800588696 A CN2011800588696 A CN 2011800588696A CN 201180058869 A CN201180058869 A CN 201180058869A CN 103329547 A CN103329547 A CN 103329547A
Authority
CN
China
Prior art keywords
parameter
image
scene
force
perspective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800588696A
Other languages
English (en)
Other versions
CN103329547B (zh
Inventor
詹姆斯·F·柯蒂斯
肖恩·D·古德温
克里斯托弗·M·里尔
雷蒙德·D·康克林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teranex Systems Inc
Original Assignee
Teranex Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Teranex Systems Inc filed Critical Teranex Systems Inc
Publication of CN103329547A publication Critical patent/CN103329547A/zh
Application granted granted Critical
Publication of CN103329547B publication Critical patent/CN103329547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

本发明涉及将2D媒介转换至伪3D左侧和右侧图像对。具体来说,本发明涉及将强迫透视强加于2D图像的左侧和右侧版本。失真的图像对,在被显示时,将会通过观看者被认为是3D图像。在不需要对象在场景中的深度映射并且不需要在连续图像帧中比较对象的位置的情况下,可以制作伪3D强迫透视图像对。

Description

伪3D强迫透视方法及设备
背景技术
本发明涉及将2D媒介转换为伪3D左侧和右侧图像对。具体来说,本发明涉及将强迫透视强加于2D图像的左侧和右侧版本。失真的图像对,当被显示时,将通过眼睛和大脑被认为是3D图像。在不需要对象在场景中的深度映射以及不需要在连续图像帧中比较对象的位置的情况下,可以产生伪3D强迫透视图像对。
大约一年前,电影《阿凡达》引发了三维(3D)电影的流行,打破了以前的票房纪录。从那以后,其他的故事片也成功地使用3D来发布。影院增加了3D放映机。电视制造商增加了播放3D立体DVD的能力,并且甚至自动将2D媒介转换为3D视场,使用主动式快门立体眼镜来控制左右眼视场。现在存在具有两个透镜和可调视差以及带有辅助透镜观看屏幕的小型3D摄像机。换句话说,3D立体媒介已经取得成功。
阻碍3D媒介流行的是难以将2D媒介转换为3D视场,这包含计算表示从观看者到场景中各个对象的距离的深度掩码。基于深度映射,生成3D立体图像对的过程向部分场景应用视差计算。
将2D内容转换为3D显示的电视机在动态深度映射方面会出错,这种错误在对象从背景突然出现在前景时,可以在屏幕上看到。当深度映射算法对到对象的距离进行重新分类时,该对象突然向前(或者向后)出现。例如,当对象移位并遮掩先前已经被分类为相对于对象更接近于观看者的场景的部分时。深度映射算法对移动的对象进行重新分类,并且移动的对象向前突然出现。突然出现的假像让人由喜生厌。
因此,有机会引进自动的且计算机支持的将2D媒介转换至3D图像对的方法和***。根据所需要的用户干预成本和总量,电视台或其他提供者可以使用改进的***来制作3D媒介,或者可以将改进的***直接并入TV和其他消费品中。可以进行更好的3D复制。
发明内容
本发明涉及将2D媒介转换至伪3D左侧和右侧图像对。具体来说,本发明涉及将强迫透视强加于2D图像的左侧和右侧版本。失真的图像对,当被显示时,将通过观看者被认为是3D图像。在不需要对象在背景中的深度映射并且不需要在连续图像帧中比较对象的位置的情况下,可以产生伪3D强迫透视图像对。本发明的具体方面在权利要求、说明书和附图中给出描述。
附图说明
图1描述了3D显示器和变换处理器格式。
图2示出将2D图像变换成强迫透视伪3D图像对。
图3A-图3E示出可以与强迫透视结合的变形和变换。图3C示出代替梯形投影的弯曲锥形。图3F示出可以适用于提高深度感觉的另外的偏移变换。
图4是VC100的框图。
图5-7描述了所公开技术的应用。图5示出伪3D强迫透视图像对的基本生成。图6描述了其中根据场景调节失真参数的工作流。图7描述了计算失真参数并将其存储以供稍后发射。
图8示出间隔一定距离的两个摄像机的透视图。
图9描述了发射图像流与变换参数数据,该变换参数数据作用性地确定接收器如何根据2D图像合成伪3D图像对。
图10是以不同方式结合以建立这里公开的一些设备的处理器块和存储器块的高级别框图。
图11是发送和接收图像流以及嵌入在图像流中的参数的发射器/接收器对的高级别框图。
图12描述了一种能够用作制品的非临时存储器。
具体实施方式
一直以来,2D至3D的转换的关键是良好的深度映射。几十年来,研究者已经提出新的和改进的构建深度映射的方法。专利申请US2010/0165081(公开日,2010年7月1日)和US2010/0118127(公开日,2010年5月13日)示出用于将前景对象与背景内容中分开的各种方法,从而制作深度映射。
从2010年起,主要的消费电子制造商已经研发并推出了具有自动建立深度映射的芯片组以独立地进行2D至3D转换的电视机。购买者戴上主动式快门眼镜,来观看被转换的图像。该眼镜在左右眼睛立体图像之间分时享有显示器。
申请人知道深度映射,但并不是致力于依赖传统方法的研究者。申请人采用了完全不同的方法,一种省略用于计算深度映射所需的转换处理器,而是倚靠人眼视觉和大脑来从一对失真图像中提取深度信息的方法。
如本申请的图8所示,申请人的非凡之举是使用一对摄像机共同工作来产生立体图像。申请人在使用摄像机来模拟人眼视觉时意识到,他们可以通过使单个2D图像的左侧版本和右侧版本失真以与两个摄像机的视角相匹配来模拟摄像机的视角。
图8示出间隔一定距离的两个摄像机的视角。在立体摄像机的安装过程中,左侧透镜和右侧透镜之间的距离通常在65cm与75cm之间,类似于人眼的间距。在射影意义上,每个透镜或眼睛看到对象的平面视图。两个视图之间的部分差别相当于对象的两个平面视图的旋转。当然,从不同位置来看,另一部分差别是前景在背景的衬托下对象如何显现。使单个2D图像的左侧版本和右侧版本失真不能模拟视图之间的前景对象差别。
在图8中,上部(左)摄像机811和下部(右)摄像机831沿着各自的视轴812、832观看对象824。摄像机记录可以被认为是对象824在视平面813、833上的投影的图像,视平面812、833垂直于各自的视轴。当然,这是简化图,因为其省略了当从不同位置观看时,前景对象在背景的衬托下如何显现出移位,这是传统上为什么应用深度映射和复合变换的部分原因。
未受到传统教导的阻碍,申请人尝试根据沿着中心轴822定位的摄像机821所记录的单个2D图像生成左侧失真图像和右侧失真图像。申请人生成了失真的左侧图像对,并且使用强迫透视创建了伪3D立体视图。这是伪3D,因为没有利用深度映射信息将前景对象与背景对象分开。申请人将强迫透视强加在2D图像上,在这种意义下,长方形的正面图出现失真,好像视点偏离中心而移向左侧或右侧。
当申请人改善这种失真技术时,他们发现令人满意的强迫透视变换角度明显大于视平面813和833之间的角度差814。例如,在10英尺距离处,三英寸的摄像机间距转化为小于2度的角度差。当递交临时申请时,相信被认为与6.5至8度的视角差814相对应的强迫透视失真在主观上似乎更满足于各种各样的场景。经过进一步研究所使用的扭曲硬件,证明被选为在主观上令人满意的视角差814实际是2.98至4.98度。
记住这些介绍,我们转向附图。
图1描述了3D显示器和变换处理器格式。用于立体图像的三种典型的显示器是电视机、投影屏和透镜面板。在这个公开内容公开的时候,具有3D显示能力的电视机114通常通过主动式快门立体眼镜113来观看。与电视机显示左眼图像和右眼图像的时机同步,主动式快门眼镜交替地给左眼和右眼电视机屏幕的视图。大大提高的刷新率,大约是120或240Hz,而不是30或60Hz,允许电视机针对左眼和右眼显示间隔图像。
投影屏124被用在影院中。两个或两个以上的投影机122同时将左眼和右眼的具有不同的偏振态或不同的彩色相位的图像投影至屏幕上。一副廉价的观看眼镜123具有用于左眼和右眼不同的透镜。透镜对中的一些是水平和垂直偏振片、顺时针或逆时针偏振片、绿色和红色透镜或蓝色和品红透镜。
透镜屏134将间隔图像传递到左眼和右眼,而不需要任何眼镜。对透镜屏机理的解释超出了本说明书的范围。
这些类型的3D显示器重现图像对。我们公开了使用各种硬件平台来产生失真图像对。可以使用专用处理器111,诸如Teranex的VC100。这个设备,进一步示出在图4的框图中,使用具有单指令多数据(SIMD)能力的一对处理器来并行生成一对失真图像。单个处理器可以足够快的连续处理左图像失真和右图像失真。可替代地,专用处理器111可以是FPGA或在批量生产的处理器上运行的程序,批量生产的处理器诸如是CPU、GPU或数字信号处理器(DSP)。
可替代的,诸如显示卡的***卡,可以具有适于产生失真图像对的硬件。显示卡通常使用图形处理单元(GPU)。更为一般地,***卡可以使用FPGA、GPU、CPU或DSP。CPU可以是ASIC或RISC设计。可替代地,处理器可以被构建在用于表面安装的芯片中或者构建在转换处理器的其他封装中。处理器可以是单个芯片或位于较大芯片内的一块。从这个意义上讲,处理器是指运行具体实施所公开技术的固件或软件的宽泛的电子计算设备。
图2示出将2D图像201变换为强迫透视伪3D图像对211、213。我们已经给左侧图像的右侧和右侧图像的左侧标为“内侧”212,“内侧”212与每个图像的外侧相对。在本图中,垂直内侧边缘212高于图像对中的每个图像的垂直外侧边缘。在本图中,图像的顶部和底部的锥形是对称的。左侧图像和右侧图像的锥形是互补的。通过互补,我们是指从内侧边缘到外侧边缘的相似锥形施加到左侧图像和右侧图像。产生的图像具有关于内侧边缘对称的轮廓。
通过进一步改善,针对某些场景,负视角差似乎更令人满意。在这些场景中,内侧边缘短于外侧边缘,实际上调换右侧图像和左侧图像对211、213。所谓的负视角差产生了图像的某些部分在空间上看起来比屏幕表面更接近观看者的效应。相反的,正视角差导致了图像的某些部分看起来比屏幕离用户更远,这更适用于远图像,诸如用望远镜观看大的冲浪,其中令人难以置信的是,任何事情比屏幕距离更靠近观看者。通过一个战斗者的眼睛,将会更好地观看一场击剑,其中刀片偶尔扫出屏幕并且导致观众望而却步。
图3A-E示出基于图2中的强迫透视的变形和可以与图2中的强迫透视结合的变换。在图3A中,施加垂直锥形,以产生突出高度的强迫透视。在图3B中,向突出高度的强迫透视施加左侧伪3D图像。
所示的用于变换图像201的线性代数有时候被认为是“投影变换”。发表在Leptonica网站上的标题为“仿射变换(和同类)”的文章,其通过引用被合并于此,很好地描述了投影变换。作为更为常用的词汇的一部分,用于产生强迫透视伪3D图像对的失真或弯曲是所谓的“梯形校正”,其用于将投影的图像校准到投影屏的角落。参见例如US6,520,647,其通过引用被合并于此。为了我们的目的,梯形校正被反转,以将强迫透视强加在原图上,而不是使投影符合长方形观看屏。
在未运用矩阵变换或线性代数的情况下,可以利用通用的失真矩阵来将图像201变换为伪3D图像对211、213。在专利US7,384,158和US7,126,616中解释并描述了通用的失真矩阵方法,其通过引用被合并于此。
可以存在具体内容,特定场景,要求图像中心向后退,并且比屏幕更远离观看者,而不是看起来接近于观看者。如果图像的中心显著地从观看者退回,则隧道、管或井的孔可能看起来更真实或更糟糕。强迫透视伪3D图像对的长于外侧边缘的内侧边缘可以导致孔的端部看起来比屏幕离得更远。
当这种技术的一个实施例向强迫透视施加高于伪3D图像对的外侧边缘的内侧边缘时,该公开内容扩展至具有短于外侧边缘的内侧边缘的强迫透视对,并且通常扩展至选择适当的失真参数以匹配场景到场景或程序到程序的基础上的预期的投影。
图3C示出曲线锥形331、332,代替211、213的梯形投影。在本图中,锥形相对于图像的中心是凹的。可替代地,锥形可以是凸的,远离图像的中心而凸起。曲线可以由悬链线作用,抛物线,或者更一般的,如上面指出的US7,384,158和US7,126,616专利描述的多项式来定义。锥形曲线的一种用处是改变用于产生图像的透镜的视焦距,如有时应用于改变使用鱼眼透镜捕获的图像的形状。
在图3C中,如图2中一样,顶部锥形和底部锥形被示为关于水平轴对称。可能存在一些情况,诸如当视点在图像的底部并且整个场景在眼睛水平上方,其中顶部锥形以大于底部锥形的角度成锥形。另一个极端情况是当观看者在建筑物正面或其他平面对象的右边或左边。从偏离中心来看,非对称的多边形可以描述原图像201角的预期投影。C.f,US6,520,647(明显的视角)。当我们参考图8时,看起来位于场景底部的视平线可以更好地适应水平锥形和垂直锥形的结合或梯形失真,如图3A所图示。
图3D和3E描述可以与强迫透视结合的其他失真。图3D示出枕形失真(pincushioning)。枕形失真的相对失真是成桶形(barrelling),其中平行线远离图像中心凸出。图3E描述了变形失真;例如,水平挤压16:9图像以显示在4:3的屏幕上。这些附加失真可以以几乎任何组合加入到2D图像的强迫透视变换中。
图3F示出可适用于提高深度感的进一步变换。在本图中,左侧和右侧伪3D图像对211、213分开偏距365。也就是说,左侧图像211的中心向右移,而右侧图像213的中心向左移。在实践中,针对1920个像素宽的1080HD图像移位10至20个像素看起来是令人满意的。除了默认没有移位之外,我们公开了将移位和强迫透视相结合,该移位将左侧图像和右侧图像移开图像宽度的二分之一和百分之一之间或者图像宽度的二分之一和百分之二之间,从而提高视场感。
读者应当理解,最终显示的图像通常通过裁剪或过扫描而与矩形帧相匹配。缩放作用可以适用于针对预期的帧大小来适当地设计失真图像的大小,预期的帧大小诸如为保持原图像的帧大小,或者保持原图像帧的变形失真版本。
图4是VC100的框图。控制面板410可以在本地附接至设备,或远程耦接至设备。两个视频处理信道420、450可以处理输入图像,以同时产生两个失真的输出图像。本实施例的视频处理信道依赖视频处理引擎421、451来使输入图像201失真。本设备同时处理音频440和各种各样的转换格式。本设备的标准是超过100个格式转换选项。如在Teranex网站上确定的,可以利用总共超过300个格式选项。由Teranex在其网站上公布的VC100家庭用户手册的2010年11月15日和2011年1月28日的版本通过引用被合并于此。
图5-7和图9描述公开技术的应用。图5中描述的一系列动作包括接收(512)图像(201)并复制(522)图像(201L、201R)。生成副本图像是可选的,同时存在允许两个处理器同时访问拥有原始2D图像(201)的单个存储位置的存储类型。下一个动作是利用强迫透视(211、212)制作(532)伪3D图像对。可选择地,可以从外部源接收变换参数—下面的图7描述了制作可以与2D图像(201)一起被接收(512)的参数。如上所述,可以平行或顺序地制作一对失真图像。可选择地,其他变换,包括一个或多个垂直梯形校正、枕形、成桶形、变形失真以及偏移可以与使图像(201)失真相结合,以强加强迫透视。伪3D强迫透视图像对可以被平行或顺序地馈送至各种媒介消费者和存储装置。图像对可以立即被投影***523、透镜显示器533或电视机(未示出)使用。可以存储图像对,以稍后使用。在当前的***中,不管发射是经由空气、卫星、电缆、因特网还是某种混合本地传送***,在生成图像对之后,在发射(533)之前,进行编码(552)。编码步骤可以立即紧接应用变换之后,或者可以应用于来自媒介档案543的存储图像。所编码的图像可以被立即耗尽或者存储以供稍后分布。可以同时产生符合新兴的用于IPTV的HTTP自适应流传输格式、因特网分布和具有不同屏幕尺寸的消费者设备的各种编码图像尺寸。
图6描述了其中根据场景调节失真参数的工作流。这个工作流将包含接收(612)一系列图像(201)。切换探测器适用于探测(622)传入图像的片段之间的切换。例如,标准的切换探测器将检测导演从整个空间的镜头移到一个演员上的特写所在的点。下一个动作将会针对切换之间的片段调整(632)参数,以使失真参数是适当的。参数至少包括强迫透视度。相对于水平轴的强迫透视度可以由单个参数来表示。
在递交临时申请时,范围从-4至+4的所谓的强度参数被认为对应于0至大约14度的变换角度。这个所谓的变换角度测量对应于产生由梯形变换而导致的锥形的图像平面的相对旋转角度814。优选地,变换角度(201对211、213)处于大约1.7至12.2度的范围中。更优选地,变换角度处于3.4至10.4度的范围中。更优选地,变换角度是5.2至8.7度。然而,临时申请还指示申请人正在进一步研究这些数值的范围,因为还没有清楚的用文件证明处理器对角度参数处理。进一步的研究得出了由从-4至+4的强度参数范围得到的变换角度对应于0至7.96度的结论。因此,优选的变换角度将会以大约8/14重新调节。通过重新调节,变换角度(201对211、213)可以处于大约1.0至7.0度的范围中。更优选地,变换角度处于1.9至5.9度的范围中。更优选地,变换角度是3.0至5.0度。
在递交临时申请之后的工作中,强度范围被修正为-40至+40。在0强度下,不存在扭曲。在-40下,变换角度是8度,其中经变换的图像对的内侧边缘短于外侧边缘。在+40下,变换角度还是8度,但是内侧边缘长于外侧边缘。在一些场景中,负变换角度更令人满意。当使用负变换角度或视差角度时,其往往小于正变换。优选的负变换角度处于-1.0至-3.0度的范围中。更优选地,变换角度处于-1.5至-2.5度的范围中。
这些范围的变换将借助于大量观众的经验和观看得到进一步改进。
在重新调节之后,最令人满意的强迫透视似乎可以适度地扩大视自转,高达3×旋转角814。
这些可选的变换范围的愿望是主观的,并且由发明人与数十个同事商量之后选择的,而不是通过观看数千小时来选择的。这些范围对应于将关注焦点放在帧的中心附近并且比背景更接近于观看者的正常场景。对于这个正常场景,变换角大于根据图8中的角814所测量和计算出的角。针对各种场景类型,变换角的其他范围可以是优选的。
更一般地,变换参数可以被表示为由原图像产生的多边形的四个角,投影变换(Leptonica)的八个参数或者用于将2D图像201映射至强迫透视图像(211、213)的一般变换(US6,520,647)的九个参数。由于图像对关于内侧边缘对称,因此应该只需要指定为产生互补强迫透视图像对的一个失真图像(左侧或右侧)所需的参数。
可选地,还可以产生偏移参数365。当在一些相对小的3D感觉的例子中,诸如在远距离场景中,施加偏移并设置为0时,偏移参数的范围可以是从0.5%至1.5%。
可以进一步指定附加失真参数。
在一些实施例中,可以省略切换探测器,并且向整组2D图像201分配单组参数。
图6和图7之间的差异涉及参数是否立即起作用或者被存储以供稍后使用。在图6中,可选的复制动作642和接下来的动作652对应于关于图5所描述的动作,动作532、542、552。在图7中,计算参数并存储参数以稍后发射具有实用性。
当前针对自动格式探测(AFD)的MPEG-2发射流模式用作将失真参数嵌入媒体流的流控制信息中的模式。在ETSI TS101154VI.7.1(2005-06)的Annex B中的名称为“数字视频广播(DVB);基于MPEG-2传输流使用在广播应用中视频和音频编码的实施指南(Digital Video Broadcasting(DVB);Implementationguidelines for the use of Video and Audio Coding in Broadcasting Applications basedon the MPEG-2Transport Stream)”的文献中描述了AFD协议。Annex B将编码描述为“网络用于将混合格式传送至不同种类的接收器群的使用(use in networks thatdeliver mixed formats to a heterogeneous receiver population)”。编码通过描述发射内容的本质来辅助接收器最优化视频的呈现。编码被承载在MPEG-2传输流的视频基本流中的用户数据中。
一般而言,3D变换数据可以包括在具有图像和视频数据的发射流中。3D变换数据至少包括强迫透视度的数据。其可选包括图像偏移数据。其可以被包括为变换角参数或更一般的为多边形至多边形变换参数,角至角的变换映射或为线性变换矩阵系数。3D变换数据可以随着图像序列中的切换而改变。3D变换数据可以包括在流控制信息中或在图像标题中,诸如关键帧中。
图9描述了发射(921)图像流和变换参数数据741,变换参数数据741作用性地确定接收器如何根据2D图像合成伪3D图像对。上面指出的变换参数数据中的任意或全部可以与图像流一起被发射(921)。变换参数数据的作用不同于媒体流的图像内容和音频内容,因为变换参数数据作用性地确定负载图像数据在被显示之前如何被接收设备失真。一个组成部分911缓冲图像和参数,其可以包含从存储器检索或者如从网络所接收的内容的再分布。下一个组成部分921将它们发射。发射可以经由上述任意一种发射媒介。发射可以是定期的或即时的。
图10以框图形式描述了以多种方式结合以建立这里所述的一些设备的处理器块和存储器块。输入处理器1011或者输入/输出端口(未示出)提供了接入外部数据或接入用户。切换探测处理器1021位于2D图像流中的场景之间的切换处。场景处理器1031自动或半自动地确定用于将2D图像变换为伪3D图像对的参数。变换处理器1041和在变换处理器上运行的逻辑使用特定程序化的处理器变换表示物理场景的2D图像,从而至少施加互补的锥形并且产生左侧和右侧强迫透视图像对。存储器1012支持处理器的运行。可以理解的是,这些处理器和存储器,在一些实施例中,可以结合到单个芯片内,或在单个FPGA或比图中块的数量所指示的更少的分立器件上运行。图像流1032表示2D输入图像和嵌入在图像流中的参数。这些参数可以被嵌入为图像流控制数据,或被嵌入在图像流的至少一些图像帧的图像标题中。
图11以框图形式描述了用于发送和接收具有嵌入参数的图像流的发射器/接收器对。发射器输出处理器1101经由通信信道发送图像流和参数。信道的细节超出了本公开内容的范围。通信通常是分组化的和电子的。其可以是有线或无线的,同步或异步的,纯或混合的。接收器输入处理器1103接收发射器所发送的内容并将其传递至变换处理器1103(其对应于1041),以使用特定程序化的处理器变换表示物理场景的2D图像,从而至少施加互补的锥形并且产生左侧和右侧强迫透视图像对。
图12描述了一种非易失性存储器,其可以用作制品,即使是过时的类型。更可能,制品将是CD、DVD或固态存储器。其还可以是通过下载程序指令到本地计算机上而产生的动态存储器或非易失性存储器(旋转或固态存储器)。
一些特定实施例
所公开的技术可以实践为方法、设备或制品。所公开的技术使用计算机来诠释2D图像,接受特定参数值或确定变换参数,来变换表示物理对象的图片的数字数据,以产生具有强迫透视的伪3D图像对,以发射并接收包括用于立体显示伪3D图像对的变换参数的数字数据流。在这个意义上说,我们通常使用词语计算机来包括各种各样的计算平台和处理器形式。关键特征在于计算资源被程序化为公开的特定目的。
数字图像的操作和数字数据流的处理需要使用机器。本公开内容中要求人与计算机交互的部分描述了产生特定场景的建议变换参数、发射建议以供用户查阅以及反过来接收参数选择消息的特征。除此之外,所描述的变换通常在机器上运行而不需要用户介入。
所公开的一种方法包含根据2D图像制作伪3D图像对。在变换过程中,2D图像201位于(512)变换处理器可访问的非临时存储器中。(通过“非临时”,我们仅指不包括在线上发射的信号)。2D图像可以在易失性或非易失性存储器中。易失性存储器可以是机上存储器或机下存储器,可以是存储器单元、缓冲器或寄存器。在非易失性存储器中,其可以是只读媒介,诸如CD或DVD,或者读/写存储器。读/写存储器可以是旋转或固态的。在通过通信信道接收2D图像时,2D图像将会被接收(512)到存储器中以处理。
这个方法包括使用变换处理器来施加互补锥形作用而变换2D图像,以产生(532)左侧和右侧强迫透视图像对。
可以与这种方法一起使用的变换存储器的示例包括SIMD扭曲引擎处理器、显示卡或处理器、诸如Pentium处理器的ASIC、RISC处理器或FPGA。使用适当的程序指令和处理器能力,这些处理器和类似的处理器将能够施加互补锥形作用。
在上面的讨论中,给出三个多边形锥形作用的示例:梯形校正、矩阵变换和通用失真映射。申请人上面解释了通用失真映射可以用于施加曲线锥形作用(图3C)。
如上解释,变换处理器产生具有互补锥形211、213的强迫透视图像对,并且可选择地,产生用于将右侧图像和左侧图像分开的偏移365。
申请人已经观察到,主观上令人满意的锥形作用可以放大左侧图像和右侧图像之间的差异。例如,针对特定的场景,如果左眼观察到的图像平面相对于右眼观察到的图像平面旋转2.2度(814),则强加等价于增大的3.0至5.0度相对旋转814的强迫透视可能主观上是令人满意。
值得注意的是,可以针对单个图像执行该方法,而不需要来自之前或之后的图像的信息。不需要从2D图像提取对象或者针对该图像计算深度映射。当不需要该深度映射处理时,所公开的技术与传统深度映射的产生和传统的2D至3D转换的结合很可能是有用的。
左侧和右侧强迫透视图像对的产生本身是有用的,不管图像对是否被存储(543)或立即使用(523、533、553),并且不管图像对是否被直接使用或被编码(552)以在发射流中使用(553)。伪3D强迫透视图像对可以在变换处理器输出(532)的同时或者在编码(552)为供随后发射(553)的一种或多种格式之后被存储。在一些***中,可以通过用于将图像对同时转换为若干种不同格式的编码处理器来施加流水线技术设计图像对。上面讨论了伪3D图像对的若干个即时使用。
根据该方法的一个方面,强迫透视图像可以具有高于外侧边缘的内侧边缘212。
该方法可以使用强迫透视参数741,来调节变换处理器的运行。该强迫透视参数将指示如何施加互补锥形作用。强迫透视参数的一个示例是表示绕左侧或/和右侧强迫透视图像的至少一个投影平面的y轴旋转814的角参数。上面给出了这个参数的合适数值。强迫透视参数的另一个示例是指定2D图像的角应当在哪里结束的一组坐标。这是考虑梯形校正的典型方式:2D图像的角ABCD被映射到图像对中的一个图像的角A'B'C'D'并且向另一个图像施加互补映射。在所引用的一些出版物中给出了将角映射转换为矩阵参数的线性代数。在另一个示例中,强迫透视参数可以是通用失真映射。将强迫透视参数表示为角或四个角坐标,比多项式系数组简洁的多。一般来说,“简洁”的强迫透视参数将具有九个数值或者更少,以将2D图像变换为强迫透视图像。针对用于产生第二图像的互补变换,可以提供附加的九个数值或更少个数值,或者第二组数值可以由第一组推导出。
如图3F所示,可以通过移位(369)强迫透视图像对,以使左侧图像向左偏移并且使右侧图像向右偏移,来选择性改善所描述的方法。变换处理器可以使用偏移参数365,以确定移位度。上面描述了偏移参数的优选范围。
产生伪3D强迫透视图像对通常引起长方形图像变换为梯形。观众和电子处理设备都期待矩形帧形式的图像。因此,在制作强迫透视图像对时,剪切或缩放并剪切是有用的,以进行显示、存储、编码或发射。
上面的图像变换方法、其变形以及各方面,可以容易地与场景适应相结合,如图6中所描述的,其调节了用于将2D图像转换为伪3D图像对的参数。电视机程序、电影和其他媒介出现一系列场景。媒介被称为从一个场景“切换”至另一个场景。与变换相结合的场景适应包含探测场景之间的切换622、根据各种场景需要调整(632)变换参数适应,以及使用调整后的参数产生(652)场景的伪3D图像对。
更具体表述的场景适应,在与上面所述的变换方法相结合时,包括处理(612)切换探测处理器可访问的存储器中的2D图像流。在切换622的相对侧的连续2D图像是不同场景的部分。场景处理器,针对每个场景至少一次,确定并分配(632)该场景至少一个强迫透视参数。当然,场景处理器可以选择性地分配偏移参数。在变换处理器变换(652)特定2D图像时,变换处理器使用由场景处理器分配的参数。
场景处理器可以自动或半自动运行。在自动处理模式下,相同的处理器确定强迫透视参数并选择性确定偏移参数,而不需要用户介入和场景变化。在半自动方法中,场景处理器针对场景中的至少一些场景产生一个或多个建议参数、发射该建议参数、接收作为响应所选择的参数消息以及基于所选择的参数消息将参数分配至场景。半自动处理针对大部分场景可以自动运行,而可以仅仅针对极限例子(诸如宏观特写(macro closeups)或反向强迫透视)给出建议。可以设置预定阈值,以确定失真、旋转或锥形的正常范围,并且从而将建议和响应限制为落在阈值之外或特定类场景之外的参数值。一般来说,场景适应可以被用于设置2D图像流的参数,而不需要立即显示它们。
场景处理器可以直接分配参数,或者其可以以推迟参数分配的方式来对场景进行分类。例如,其可以通过帧的中间部分(比方说,例如,帧的中间三分之一)中的内容是在前景中还是在背景中来对场景进行分类。其可以根据前景中的对象有多近来对场景进行分类。其可以在整个场景中分析帧的中心,使得在相隔背景一定距离的前景中出现的对象不会改变对场景进行分类的方式。
场景适应的可替代的使用是用于在随后的时间或通过远程变换处理器确定用于控制从2D图像流生成伪3D图像对的一个或多个变换参数的方法。该方法包括将2D图像201的流接收(712)到切换探测处理器可访问的存储器中。如上所述,切换探测处理器探测(722)切换。场景处理器确定并分配(732)参数至2D图像流内的指定变换处理器如何变换场景中的2D图像以产生左侧和右侧强迫透视图像对(伪3D图像)的场景。所分配的参数至少包括强迫透视参数并选择性地包括偏移参数。
如上所述,场景处理器可以自动或半自动地确定场景适应。
分配(742)参数到场景的结果可以被存储在表中或嵌入在媒介中。例如,该方法可以包括将一个或多个参数741嵌入到与2D图像流相关联的图像流控制数据中。在MPEG-2输送流中,用户字段是适当的。可替代地,可以修改该输送标准,或者可以修正由传输流承载的图像的相关标准,以增加参数字段。该方法可以包括将参数嵌入在2D图像流内的个别图像的图像标题数据中,来代替或另外将参数嵌入在图像流控制数据中。在包括关键帧和不同帧的图像流中,参数优选被放置在至少一些关键帧的标题中。因此,不管参数如何与2D图像流中的场景相关联,不管参数如何被分配到2D图像流中的场景,或者不管参数如何被嵌入到2D图像流中的场景中,场景适应方法都是有用的。场景适应方法具有实用性,而不需要实际显示变换的伪3D图像;该变换(例如536、652)可以被显著延迟,并且可以通过不同方执行或在不同域中执行。
稍后进行变换的场景适应的必然结果是接收2D图像并接收译为伪3D图像对的控制信息的方法。该方法包括接收(512)具有至少一个强迫透视参数的2D图像流。作为一般描述,强迫透视参数指定变换处理器如何施加互补锥形作用,来变换图像流中的2D图像,以产生左侧和右侧强迫透视图像对。可选择地,该方法进一步包括作为对强迫透视参数的响应,一旦收到2D图像就使用变换处理器变换(532)2D图像,并产生左侧和右侧强迫透视图像对。
如所述,强迫透视参数741可以随着2D图像流中的至少一些场景改变而改变。该接收方法通过响应于改变参数而产生(532)伪3D图像而得到推广。
该方法可以进一步通过接收偏移参数、然后通过施加偏移参数而得到推广。
该方法可以进一步包括解析所接收的数据,以检索变换参数。在一个实施例中,该方法包含从图像流控制数据中解析以发现参数。在另一个实施例中,该方法包含解析至少一些图像数据帧的图像标题,以发现参数。
对于每一个接收方法,具有发射方法。这里,发射方法包含发射(921)具有至少一个强迫透视参数741的2D图像流553,其中该强迫透视参数指定变换处理器如何施加一个或多个互补锥形作用。变换处理器行为由表明处理器如何将2D图像变换为左侧和右侧强迫透视图像对的强迫透视参数来确定。
该发射方法可以通过发射变化的强迫透视参数而得到推广。
该发射方法还可以通过在图像流中包括一个或多个偏移参数365而得到推广,偏移参数365也可以是变化的。
如上所述,发射方法可以将控制信息嵌入在图像流控制数据或图像流内的至少一些图像数据帧的标题中。
再次说明,特定的方法实施例包括:根据2D图像制作伪3D图像对的方法及该方法的变形;产生场景适应的变换参数的方法及其变形;以及将强迫透视变换参数与2D图像流相结合的接收器和发射器方法。对于这些方法及这些方法的变形中的每一种,具有配套设备。
所公开的一种设备根据2D图像制作伪3D图像对。这种设备包括存储器1012、变换处理器1041和在变换处理器上运行的逻辑。变换处理器耦接至存储器。变换处理器访问存储器中的2D图像,并向2D图像施加互补锥形作用,以产生左侧和右侧强迫透视图像对。
如上面在方法的上下文中所描述的,存储器可以是易失性或非易失性的,可以是机上或机下的变换处理器,并且可以是旋转或固态的。其可以不同地被表征为存储器、缓冲器或寄存器。变换处理器的示例包括Realta图形处理器、Nvidia显示卡或处理器、诸如Pentium处理器的ASIC、RISC处理器或FPGA。使用适当的程序指令和处理器能力,这些处理器和类似的处理器是设备的合适部件。
可以通过在变换处理器上运行的逻辑实现的锥形作用的三个示例包括梯形校正、通用矩阵变换和通用失真映射。再次,申请人说明了通用失真映射可以用于施加曲线锥形物作用。
在大多数情况下,这个设备产生左侧和右侧强迫透视图像211、213,左侧和右侧强迫图像211、213的每一个具有内侧边缘212和外侧边缘,内侧边缘高于外侧边缘。如上所述,这是互补传递作用的典型特征,尽管可以存在一些例外。
可选择性地,这个设备可以具有变换处理器可访问的强迫透视(FP)参数存储器1012。在该参数存储器可使用时,变换处理器1041响应于这个存储器中的数值而施加互补锥形作用。
可以使用若干类型的强迫透视参数,包括角参数、角映射坐标或通用失真映射。如上所述,角参数表示绕左侧和/或右侧强迫透视图像的至少一个投影平面的y轴814旋转。上面描述了角参数的优选范围。角参数可以放大观看者两眼之间的实际视差。可替代地,可以提供一组角映射坐标,其代数等价于变换矩阵的八个或九个矩阵参数。更为一般地,互补锥形作用可以使用通用失真映射来表示,如一些引用专利中所描述的。优选地,使用一组简洁的强迫透视参数值,具有九个或者八个或者更少的参数,来描述在2D图像上强加强迫透视。
这个设备进一步可以包括变换处理器1041可访问的偏移参数存储器1012。在这个变形中,在变换处理器上运行的逻辑响应于偏移参数存储器中的数值施加偏移。上面描述了偏移参数值的优选范围。
这个设备进一步可以包括在变换处理器1041上运行的逻辑,逻辑用于剪切伪3D图像、缩放伪3D图像或者缩放并剪切图像。
3D图像可以被剪切为预定宽高比。
这个设备可以扩展有第二存储器1012、输入处理器1011、切换探测器1021和场景处理器1031。输入处理器耦接至第二存储器。输入处理器接收2D图像流1032,并将它们下载到第二存储器1012中。切换探测处理器1021还耦接至第二存储器。切换探测处理器1021探测各场景之间的2D图像流的切换。场景处理器1031耦接至切换探测处理器。场景处理器,针对每个场景至少一次,确定可应用于图像流的强迫透视参数值。根据情况,场景处理器设置强迫透射参数值或保持强迫透射参数值不变。在变换设备扩展有场景处理器1031时,变换处理器1041使用由场景处理器分配的强迫透视参数值1012反复地处理2D图像1032。
场景处理器可以自动或半自动运行。半自动场景处理器进一步耦接至输入/输出端口,以与用户进行通信。在这个实施例中,场景处理器针对场景中的至少一些场景产生一个或多个强迫透视参数值。场景处理器经由输出端口发送待发射的建议值。响应于该建议值,场景处理器经由输入端口接收所选择的参数消息。响应于所选择的参数消息,场景处理器将所选择的强迫透视参数值加载到第二存储器中。
如上面在方法的上下文中所描述的,以半自动模式运行的场景处理器可以进一步包括一个或多个阈值参数存储器。场景处理器可以针对在阈值参数之外的情况提出建议。这些阈值可以定义失真、旋转或锥形的正常范围,并且将建议和响应协议的使用限制到落在阈值外部的场景。
更为一般地,场景处理器可以确定强迫透视参数值和偏移参数值。当这两个值都分配到它们各自的参数存储器时,变换处理器使用它们来将2D图像变换到伪3D图像对。
除了在产生强迫透视参数值时之外,在产生偏移参数值时,场景处理器可以自动运行或半自动运行。
场景处理器甚至在不与本地变换处理器结合时也是有用的设备。我们公开了用于确定一个或多个变换参数以控制用于根据2D图像流产生伪3D图像对的远程变换处理器的设备。该设备包括存储器1012、输入处理器1021、切换探测处理器1021和场景处理器1031。输入处理器接收2D图像流1032并且将2D图像加载到存储器1012内。切换探测处理器1021也耦接至存储器。切换探测处理器1021随着场景变化而探测2D图像流中的切换。切换探测处理器1021,针对每个场景至少一次,确定强迫透视参数值1012,强迫透视参数值1012指定远程变换处理器应当如何施加互补锥形作用,来变换场景中的2D图像,以产生左侧和右侧强迫透视图像对。根据情况,在存储器中设置这个数值或者保持这个数值不变。
如上所述,场景处理器可以以自动或半自动的模式运行。读者应当理解,上面的描述再次应用在这里,并且不需要重复。
图像流处理器(未示出)可以耦接至场景处理器,以将强迫透视参数值嵌入在图像流控制数据或至少一些图像数据帧的图像标题数据中。上面已经描述了这种嵌入。
场景处理器1031除了确定和设置强迫透视参数值或者在存储器中保持强迫透视参数值不变之外,场景处理器1031可以产生偏移参数值。偏移参数值指定由远程变换处理器施加的左侧图像到左侧以及右侧图像到右侧的移位。可以自动或半自动地确定这个参数。这个参数可以被嵌入1032在图像流控制数据或至少一些图像数据帧的图像标题数据中。
一对附加设备是接收器和发射器设备。接收器设备1101接收2D图像和转译伪3D图像对的控制信息。接收器设备1101包括存储器、输入处理器1103、变换处理器1105和在变换处理器上运行的逻辑。输入处理器接收2D图像流和一个或多个强迫透视参数值,并将它们加载至存储器内。强迫透视参数值指定变换处理器将如何施加互补锥形作用,来变换图像流中的2D图像,以产生左侧和右侧强迫透视图像对。这可以在场景之间改变或可以针对整个序列而设置。在变换处理器上运行的逻辑访问存储器中的2D图像,并且响应于强迫透视参数值而施加互补锥形作用。该逻辑产生伪3D图像对。
接收器设备可以扩展有用于接收偏移参数值并将偏移参数值加载到存储器内的输入处理器1103。在这个变形中,响应于偏移参数值,在变换处理器上运行的逻辑进一步向2D图像施加图像移位器。
作为进一步的方面,当变换参数741被承载在图像流控制信息中时,输入处理器1103解析图像流控制信息,以定位参数。可替代地,当变换参数被承载在图像帧标题数据中时,变换处理器1105或者输入处理器1103解析图像标题,以定位变换参数值。
与接收器设备配对的发射器设备发射2D图像和通过远程变换处理器转译为伪3D图像对的控制信息。这个设备包括存储器和耦接至存储器的输出处理器1101。输出处理器同时发送2D图像流与一个或多个强迫透视参数值741。再次,强迫透视参数值指定远程变换处理器应如何施加互补锥形作用,从而变换图像流中的2D图像并产生左侧和右侧强迫透视图像对。
发射器设备的输出处理器1101可以进一步同时发射一个或多个偏移参数值和2D图像流。
发射器设备可以被扩展有耦接至输出处理器的编码处理器(未示出)。编码处理器将强迫透视参数值嵌入为2D图像流中的流控制信息或嵌入为2D图像流中的至少一些图像帧中的图像标题数据。
除了方法和设备之外,所公开的技术可以被体现在制品中,所谓的Beauregard要求。在一个实施例中,制品(图12)包括在非临时存储器中的程序指令,当程序指令在耦接至存储器的一个或多个处理器上运行时,实施在特定实施例部分或者在实施例之前的公开部分描述的任何方法。
在另一实施例中,制品(图12)包括位于非临时存储器中的程序指令,当程序指令与具有存储器和一个或多个处理器的设备结合时,产生在该特定实施例部分或者在实施例之前的公开部分描述的任何特别程序化的设备。
在随后的权利要求中进一步描述所公开的技术。
读者应该理解,可以以多种方式来结合所描述的方法、设备和制品的特征和方面,从而产生各种组合和子组合,全部如发明所公开的。

Claims (41)

1.一种根据位于变换处理器可访问的非临时存储器中的2D图像制作伪3D图像对的方法,所述方法包括:
使用所述变换处理器来施加互补锥形作用而变换所述2D图像,以产生左侧和右侧强迫透视图像对。
2.根据权利要求1所述的方法,其中所述对中的左侧和右侧强迫透视图像中的每一个具有高于外侧边缘的内侧边缘。
3.根据权利要求1所述的方法,其中所述对中的左侧和右侧强迫透视图像中的每一个具有短于外侧边缘的内侧边缘。
4.根据权利要求1至3中任一项所述的方法,其中所述变换对所述变换处理器使用的、指示如何施加所述互补锥形作用的至少一个强迫透视参数作出响应。
5.根据权利要求4所述的方法,其中所述强迫透视参数是表示绕所述左侧或右侧强迫透视图像的至少一个投影平面的y轴旋转的角参数。
6.根据权利要求5所述的方法,其中所述强迫透视参数指定绕所述左侧和右侧强迫透视图像的y轴、处于大约-1.0至-3.0度的范围的相对旋转。
7.根据权利要求4所述的方法,其中所述强迫透视参数是指定所述2D图像的角应在所变换的图像中的哪里终止的一组角映射坐标。
8.根据权利要求1至7中任一项所述的方法,其中所述变换进一步包括响应于所述变换处理器使用的偏移参数,移位所述强迫透视图像对,以使所述左侧图像向左偏移并使所述右侧图像向右偏移。
9.根据权利要求1所述的方法,其中所述变换进一步包括响应于所述变换处理器使用的偏移参数,移位所述强迫透视图像对,以使所述左侧图像向左偏移并使所述右侧图像向右偏移。
10.根据权利要求8所述的方法,其中所述偏移参数指定所述左侧和右侧强迫透视图像的偏移处于所述2D图像的宽度的大约0.5%至1.5%的范围中。
11.根据权利要求9所述的方法,其中所述偏移参数指定所述左侧和右侧强迫透视图像的偏移处于所述2D图像的宽度的大约0.5%至1.5%的范围中。
12.根据权利要求4至7中任一项所述的方法,应用于场景适应,所述方法进一步包括:
将2D图像流接收到切换探测处理器可访问的第二存储器中;
使用所述切换探测处理器来探测所述流中的切换,其中连续的2D图像表示不同的场景;
针对每个场景至少一次,使用场景处理器来确定至少所述强迫透视参数并将其分配给所述场景;以及
反复地应用权利要求4所述的方法,以使用所述强迫透视参数来根据所述2D图像产生左侧和右侧强迫透视图像对。
13.根据权利要求4所述的方法,应用于场景适应,所述方法进一步包括:
将2D图像流接收到切换探测处理器可访问的第二存储器中;
使用所述切换探测处理器来探测所述流中的切换,其中连续的2D图像表示不同的场景;
针对每个场景至少一次,使用场景处理器来确定至少所述强迫透视参数并将其分配给所述场景;以及
反复地应用权利要求4所述的方法,以使用所述强迫透视参数来根据所述2D图像产生左侧和右侧强迫透视图像对。
14.根据权利要求12所述的方法,其中在场景变化时,所述场景处理器自动地确定所述强迫透视参数,而不需要用户介入。
15.根据权利要求13所述的方法,其中在场景变化时,所述场景处理器自动地确定所述强迫透视参数,而不需要用户介入。
16.根据权利要求12所述的方法,其中所述场景处理器针对所述场景中的至少一些场景产生一个或多个建议强迫透视参数,发射所述建议强迫透视参数,接收所选择的参数消息,以及响应于所选择的参数消息而分配所述强迫透视参数。
17.根据权利要求13所述的方法,其中所述场景处理器针对所述场景中的至少一些场景产生一个或多个建议强迫透视参数,发射所述建议强迫透视参数,接收所选择的参数消息,以及响应于所选择的参数消息而分配所述强迫透视参数。
18.根据权利要求9或10所述的方法,应用于场景适应,所述方法进一步包括:
将2D图像流接收到切换探测处理器可访问的第二存储器中;
使用所述切换探测处理器探测所述流中的切换,其中连续的2D图像表示不同的场景;
针对每个场景至少一次,使用场景处理器来确定至少所述强迫透视参数和所述偏移参数并将所述强迫透视参数和所述偏移参数分配给所述场景;以及
反复地应用权利要求8所述的方法,以使用所述强迫透视参数和所述偏移参数来根据所述2D图像流产生左侧和右侧图像对。
19.根据权利要求9所述的方法,应用于场景适应,所述方法进一步包括:
将2D图像流接收到切换探测处理器可访问的第二存储器中;
使用所述切换探测处理器探测所述流中的切换,其中连续的2D图像表示不同的场景;
针对每个场景至少一次,使用场景处理器来确定至少所述强迫透视参数和所述偏移参数并将所述强迫透视参数和所述偏移参数分配给所述场景;以及
反复地应用权利要求8所述的方法,以使用所述强迫透视参数和所述偏移参数来根据所述2D图像流产生左侧和右侧图像对。
20.根据权利要求18所述的方法,其中所述场景处理器针对所述场景中的至少一些场景产生一个或多个建议强迫透视参数和一个或多个建议偏移参数,发射所述建议强迫透视参数和偏移参数,接收所选择的参数消息,以及响应于所选择的参数消息而分配所述强迫透视参数和所述偏移参数。
21.根据权利要求19所述的方法,其中所述场景处理器针对所述场景中的至少一些场景产生一个或多个建议强迫透视参数和一个或多个建议偏移参数,发射所述建议强迫透视参数和偏移参数,接收所选择的参数消息,以及响应于所选择的参数消息而分配所述强迫透视参数和所述偏移参数。
22.一种根据2D图像制作伪3D图像对的设备,所述设备包括:
存储器;
耦接至所述存储器的变换处理器;以及
在所述变换处理器上运行的逻辑,所述在所述变换处理器上运行的逻辑用于访问所述存储器中的2D图像,并向2D图像施加互补锥形作用,以产生左侧和右侧强迫透视图像对。
23.根据权利要求15所述的设备,其中:
所述左侧和右侧强迫透视图像均具有内侧边缘和与所述内侧边缘相对的外侧边缘;以及
所述在所述变换处理器上运行的逻辑施加所述互补锥形作用,使得所述左侧和右侧强迫透视图像的每一个的内侧边缘高于外侧边缘。
24.根据权利要求22所述的设备,其中:
所述左侧和右侧强迫透视图像均具有内侧边缘和与所述内侧边缘相对的外侧边缘;以及
所述在所述变换处理器上运行的逻辑施加所述互补锥形作用,使得所述左侧和右侧强迫透视图像的每一个的内侧边缘短于外侧边缘。
25.根据权利要求22所述的设备,进一步包括:
所述变换处理器可访问的强迫透视参数存储器;
其中所述在所述变换处理器上运行的逻辑响应于所述强迫透视参数存储器中的值而施加互补锥形作用。
26.根据权利要求25所述的设备,其中所述强迫透视参数存储器中的值是表示绕所述左侧或右侧强迫透视图像的至少一个投影平面的y轴旋转的角参数。
27.根据权利要求26所述的设备,其中所述角参数具有左侧强迫透视投影平面相对于右侧强迫透视投影平面旋转大约-1.0至-3.0度的范围内的值。
28.根据权利要求25至27中任一项所述的设备,其中所述强迫透视参数存储器中的值是一组角映射坐标。
29.根据权利要求25所述的设备,其中所述强迫透视参数存储器中的值是一组角映射坐标。
30.根据权利要求22所述的设备,进一步包括:
所述变换处理器可访问的偏移参数存储器;
其中所述在所述变换处理器上运行的逻辑响应于所述偏移参数存储器中的值,而施加使所述左侧图像向左移位并使所述右侧图像向右移位的偏移。
31.根据权利要求30所述的设备,其中所述偏移参数存储器中的值指定所述偏移处于所述2D图像的宽度的大约0.5%至1.5%的范围内。
32.根据权利要求22所述的设备,其中所述在所述变换处理器上运行的逻辑将所述左侧和右侧强迫透视图像剪切至预定宽高比。
33.根据权利要求22至32中任一项所述的设备,进一步包括:
第二存储器;
耦接至所述第二存储器的输入处理器,所述输入处理器接收2D图像流并且将所述2D图像流加载到所述第二存储器中;
耦接至所述第二存储器的切换探测处理器,所述切换探测处理器探测当在切换的相对侧上的连续2D图像表示不同的场景时所述2D图像流中的所述切换;
耦接至所述切换探测处理器的场景处理器,所述场景处理器,针对每个场景至少一次,确定并设置强迫透视参数值或者在存储器中保持强迫透视参数值不变;
其中所述变换处理器进一步耦接至所述第二存储器,并且所述在所述变换处理器上运行的逻辑使用所述强迫透视参数值反复地处理所述2D图像。
34.根据权利要求22所述的设备,进一步包括:
第二存储器;
耦接至所述第二存储器的输入处理器,所述输入处理器接收2D图像流并且将所述2D图像流加载到所述第二存储器中;
耦接至所述第二存储器的切换探测处理器,所述切换探测处理器在切换的相对侧上的连续2D图像表示不同的场景时,探测所述2D图像流中的所述切换;
耦接至所述切换探测处理器的场景处理器,所述场景处理器,针对每个场景至少一次,确定并设置强迫透视参数值或者在存储器中保持强迫透视参数值不变;
其中所述变换处理器进一步耦接至所述第二存储器,并且所述在所述变换处理器上运行的逻辑使用所述强迫透视参数值反复地处理所述2D图像。
35.根据权利要求33所述的设备,其中在场景切换时,所述场景处理器自动地确定所述强迫透视参数,而不需要用户介入。
36.根据权利要求33所述的设备,其中在场景切换时,所述场景处理器自动地确定所述强迫透视参数,而不需要用户介入。
37.根据权利要求33所述的设备,进一步包括:
与用户进行通信的输入/输出端口,耦接至所述场景处理器;
其中所述场景处理器针对所述场景的至少一些场景产生一个或多个建议强迫透视参数值,发送所述建议值以经由所述输出端口而发射,并且经由所述输入端口接收所选择的参数消息,以及响应于所选择的参数消息而将所选择的强迫透视参数值加载到所述第二存储器中。
38.根据权利要求34所述的设备,进一步包括:
与用户进行通信的输入/输出端口,耦接至所述场景处理器;
其中所述场景处理器针对所述场景的至少一些场景产生一个或多个建议强迫透视参数值,发送所述建议值以经由所述输出端口而发射,并且经由所述输入端口接收所选择的参数消息,以及响应于所选择的参数消息而将所选择的强迫透视参数值加载到所述第二存储器中。
39.根据权利要求30所述的设备,进一步包括:
第二存储器;
耦接至所述第二存储器的输入处理器,所述输入处理器接收2D图像流并且将所述2D图像流加载到所述第二存储器中;
耦接至所述第二存储器的切换探测处理器,所述切换探测处理器在切换的相对侧上的连续2D图像表示不同的场景时,探测所述2D图像流中的所述切换;
耦接至所述切换探测处理器的场景处理器,所述场景处理器,针对每个场景至少一次,确定并设置强迫透视参数值和偏移参数值或者在存储器中保持强迫透视参数值和偏移参数值不变;
其中所述变换处理器进一步耦接至所述第二存储器,并且所述在所述变换处理器上运行的逻辑使用所述强迫透视参数值和所述偏移参数值反复地处理所述2D图像。
40.根据权利要求39所述的设备,进一步包括:
输入/输出端口,与所述场景处理器耦接通信;
其中所述场景处理器针对所述场景的至少一些场景产生一个或多个建议强迫透视参数值和一个或多个建议偏移参数值,发送所述建议值至所述输出端口,从所述输入端口接收所选择的参数消息,并且响应于所选择的参数消息而将所选择的所述强迫透视参数值和所选择的所述偏移参数值加载到所述第二存储器中。
41.一种制品,包括位于非临时存储器中的程序指令,当所述程序指令在耦接至非临时存储器的至少一个处理器上运行时,实现根据定位的2D图像制作伪3D图像对的方法,所述方法包括:
使用所述处理器来施加互补锥形物作用来变换所述2D图像,以产生左侧和右侧强迫透视图像对。
CN201180058869.6A 2010-12-06 2011-12-06 伪3d强迫透视方法及设备 Active CN103329547B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US42026310P 2010-12-06 2010-12-06
US61/420,263 2010-12-06
US13/076,354 US10158846B2 (en) 2010-12-06 2011-03-30 Pseudo-3d forced perspective methods and devices
US13/076,354 2011-03-30
PCT/US2011/063520 WO2012078621A1 (en) 2010-12-06 2011-12-06 Pseudo-3d forced perspective methods and devices

Publications (2)

Publication Number Publication Date
CN103329547A true CN103329547A (zh) 2013-09-25
CN103329547B CN103329547B (zh) 2017-11-17

Family

ID=46161879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180058869.6A Active CN103329547B (zh) 2010-12-06 2011-12-06 伪3d强迫透视方法及设备

Country Status (8)

Country Link
US (1) US10158846B2 (zh)
EP (1) EP2649589A4 (zh)
JP (1) JP6141767B2 (zh)
KR (1) KR101863767B1 (zh)
CN (1) CN103329547B (zh)
AU (1) AU2011338589B2 (zh)
CA (1) CA2858523C (zh)
WO (1) WO2012078621A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108712643A (zh) * 2018-04-27 2018-10-26 苏州新光维医疗科技有限公司 二维图像转换成三维图像的方法、装置及三维成像***
CN108732760A (zh) * 2018-05-28 2018-11-02 徐州昇科源信息技术有限公司 一种解决虚拟现实vr晕动症的方法
WO2019223523A1 (zh) * 2018-05-23 2019-11-28 苏州新光维医疗科技有限公司 图像处理方法、装置及三维成像***
CN112184848A (zh) * 2020-09-24 2021-01-05 杭州安恒信息技术股份有限公司 伪3d素材可视化的方法、装置、电子装置和存储介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120188329A1 (en) * 2011-01-26 2012-07-26 Kevin Archer Systems for vertical perspective correction
RU2642367C2 (ru) * 2013-04-09 2018-01-24 Битанимейт, Инк. Система и способ преобразования двухмерной видеозаписи в трехмерную видеозапись
EP3001680A1 (en) * 2014-09-24 2016-03-30 Thomson Licensing Device, method and computer program for 3D rendering
US10163249B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US11232627B2 (en) 2016-03-25 2022-01-25 Outward, Inc. Arbitrary view generation
US9996914B2 (en) 2016-03-25 2018-06-12 Outward, Inc. Arbitrary view generation
US11989821B2 (en) 2016-03-25 2024-05-21 Outward, Inc. Arbitrary view generation
US11972522B2 (en) 2016-03-25 2024-04-30 Outward, Inc. Arbitrary view generation
US11989820B2 (en) 2016-03-25 2024-05-21 Outward, Inc. Arbitrary view generation
US10163250B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US11222461B2 (en) 2016-03-25 2022-01-11 Outward, Inc. Arbitrary view generation
US10163251B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US10506221B2 (en) 2016-08-03 2019-12-10 Adobe Inc. Field of view rendering control of digital content
US11461820B2 (en) 2016-08-16 2022-10-04 Adobe Inc. Navigation and rewards involving physical goods and services
US10068378B2 (en) 2016-09-12 2018-09-04 Adobe Systems Incorporated Digital content interaction and navigation in virtual and augmented reality
US10430559B2 (en) 2016-10-18 2019-10-01 Adobe Inc. Digital rights management in virtual and augmented reality
WO2018137736A1 (de) 2017-01-25 2018-08-02 Techkon Gmbh Verfahren und vorrichtung zum darstellen von farben eines farbraums
US10783681B2 (en) 2017-09-13 2020-09-22 International Business Machines Corporation Artificially tiltable image display
US11423520B2 (en) * 2020-10-30 2022-08-23 Facebook Technologies, Llc. Distortion-corrected rasterization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040136589A1 (en) * 2003-01-15 2004-07-15 Breslow Norman King Method and apparatus for modifying two-dimensional images
US20060061569A1 (en) * 2004-09-21 2006-03-23 Kunio Yamada Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system
US20090041339A1 (en) * 2007-07-19 2009-02-12 Victor Company Of Japan, Limited Pseudo 3D image generation device, image encoding device, image encoding method, image transmission method, image decoding device, and image decoding method
US7573489B2 (en) * 2006-06-01 2009-08-11 Industrial Light & Magic Infilling for 2D to 3D image conversion
US20100073364A1 (en) * 2008-09-25 2010-03-25 Samsung Electronics Co., Ltd. Conversion method and apparatus with depth map generation

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5065236A (en) * 1990-11-02 1991-11-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Stereoscopic camera and viewing systems with undistorted depth presentation and reduced or eliminated erroneous acceleration and deceleration perceptions, or with perceptions produced or enhanced for special effects
JPH09116932A (ja) * 1995-10-19 1997-05-02 Sony Corp 特殊効果装置
WO1997015150A1 (fr) * 1995-10-19 1997-04-24 Sony Corporation Procede et dispositif de formation d'images en trois dimensions
JP4169462B2 (ja) * 1999-08-26 2008-10-22 株式会社リコー 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体
US7254265B2 (en) * 2000-04-01 2007-08-07 Newsight Corporation Methods and systems for 2D/3D image conversion and optimization
US6520647B2 (en) * 2000-08-17 2003-02-18 Mitsubishi Electric Research Laboratories Inc. Automatic keystone correction for projectors with arbitrary orientation
US7245430B2 (en) * 2003-04-21 2007-07-17 Ricoh Company, Ltd. Method and apparatus for displaying three-dimensional stereo image using light deflector
CN102005063B (zh) * 2005-07-05 2012-10-03 三洋电机株式会社 立体图像处理方法和立体图像处理装置及程序以及存储程序的记录介质
US7573475B2 (en) * 2006-06-01 2009-08-11 Industrial Light & Magic 2D to 3D image conversion
JP2010154422A (ja) * 2008-12-26 2010-07-08 Casio Computer Co Ltd 画像処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040136589A1 (en) * 2003-01-15 2004-07-15 Breslow Norman King Method and apparatus for modifying two-dimensional images
US20060061569A1 (en) * 2004-09-21 2006-03-23 Kunio Yamada Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system
US7573489B2 (en) * 2006-06-01 2009-08-11 Industrial Light & Magic Infilling for 2D to 3D image conversion
US20090041339A1 (en) * 2007-07-19 2009-02-12 Victor Company Of Japan, Limited Pseudo 3D image generation device, image encoding device, image encoding method, image transmission method, image decoding device, and image decoding method
US20100073364A1 (en) * 2008-09-25 2010-03-25 Samsung Electronics Co., Ltd. Conversion method and apparatus with depth map generation

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108712643A (zh) * 2018-04-27 2018-10-26 苏州新光维医疗科技有限公司 二维图像转换成三维图像的方法、装置及三维成像***
WO2019218887A1 (zh) * 2018-04-27 2019-11-21 苏州新光维医疗科技有限公司 二维图像转换成三维图像的方法、装置及三维成像***
US11589030B2 (en) 2018-04-27 2023-02-21 Scivita Medical Technology Co., Ltd. Method and device for converting 2D image into 3D image and 3D imaging system
WO2019223523A1 (zh) * 2018-05-23 2019-11-28 苏州新光维医疗科技有限公司 图像处理方法、装置及三维成像***
US11317080B2 (en) 2018-05-23 2022-04-26 Scivita Medical Technology Co., Ltd. Image processing method and device, and three-dimensional imaging system
CN108732760A (zh) * 2018-05-28 2018-11-02 徐州昇科源信息技术有限公司 一种解决虚拟现实vr晕动症的方法
CN112184848A (zh) * 2020-09-24 2021-01-05 杭州安恒信息技术股份有限公司 伪3d素材可视化的方法、装置、电子装置和存储介质
CN112184848B (zh) * 2020-09-24 2024-04-16 杭州安恒信息技术股份有限公司 伪3d素材可视化的方法、装置、电子装置和存储介质

Also Published As

Publication number Publication date
WO2012078621A1 (en) 2012-06-14
KR101863767B1 (ko) 2018-06-01
JP6141767B2 (ja) 2017-06-07
KR20140030111A (ko) 2014-03-11
CA2858523A1 (en) 2012-06-14
CA2858523C (en) 2020-07-21
AU2011338589B2 (en) 2017-03-23
US10158846B2 (en) 2018-12-18
EP2649589A1 (en) 2013-10-16
US20120140027A1 (en) 2012-06-07
EP2649589A4 (en) 2017-05-31
JP2014506039A (ja) 2014-03-06
AU2011338589A1 (en) 2013-06-13
CN103329547B (zh) 2017-11-17

Similar Documents

Publication Publication Date Title
CN103329547B (zh) 伪3d强迫透视方法及设备
CN102484738B (zh) 3d屏幕尺寸补偿
RU2528080C2 (ru) Кодирующее устройство для сигналов трехмерного видеоизображения
JP5633870B2 (ja) 2d−3dユーザインターフェイスコンテンツデータ変換
CN102845067B (zh) 三维(3d)呈现中的字幕
WO2017190710A1 (en) Method and apparatus for mapping omnidirectional image to a layout output format
EP2537347B1 (en) Apparatus and method for processing video content
US8884952B2 (en) 3D display apparatus and method for processing image using the same
US20100103168A1 (en) Methods and apparatuses for processing and displaying image
US8446461B2 (en) Three-dimensional (3D) display method and system
US20110255003A1 (en) Method and apparatus for presenting on-screen graphics in a frame-compatible 3d format
US20110293240A1 (en) Method and system for transmitting over a video interface and for compositing 3d video and 3d overlays
CN106296781B (zh) 特效图像生成方法及电子设备
US9596446B2 (en) Method of encoding a video data signal for use with a multi-view stereoscopic display device
US20120075291A1 (en) Display apparatus and method for processing image applied to the same
US10805601B2 (en) Multiview image display device and control method therefor
CN108897512B (zh) 图像发送方法及装置,拼接显示***
CN103262547A (zh) 3d图像数据的转移
EP1697902A1 (en) Method of and scaling unit for scaling a three-dimensional model
US20130002817A1 (en) Image processing apparatus and image processing method thereof
US20110175985A1 (en) Method of generating contents information and apparatus for managing contents using the contents information
KR20120015666A (ko) 입체영상 재생 장치 및 입체영상 재생 방법
US20130127843A1 (en) Display apparatus and display method thereof
WO2019193011A1 (en) Region description for 360 or spherical video
KR20120020306A (ko) 입체영상을 디스플레이하는 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1189736

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1189736

Country of ref document: HK