CN103843329B - 用于立体图像对的有条件显示的方法和设备 - Google Patents
用于立体图像对的有条件显示的方法和设备 Download PDFInfo
- Publication number
- CN103843329B CN103843329B CN201280048172.5A CN201280048172A CN103843329B CN 103843329 B CN103843329 B CN 103843329B CN 201280048172 A CN201280048172 A CN 201280048172A CN 103843329 B CN103843329 B CN 103843329B
- Authority
- CN
- China
- Prior art keywords
- image
- inequality
- vertical
- row
- stereo pairs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明揭示用于立体图像对在显示装置上的有条件显示的设备和方法。特定来说,一些实施方案包含接收第一图像和第二图像,确定所述第一图像与所述第二图像之间的垂直不等性,以及在所述垂直不等性低于阈值的情况下显示立体图像对。一些实施方案提供通过产生至少一个经校正图像来校正所述垂直不等性,以及基于所述经校正图像来产生所述立体图像对。一些实施方案可评估所述立体图像对的质量,且基于所述评估而显示二维图像或所述立体图像对。
Description
技术领域
本发明实施例涉及成像装置,且特定来说,涉及用于俘获立体图像的方法、设备和***。
背景技术
在过去的十年中,数字成像能力已集成到广范围的装置中,包含数码相机和移动电话。最近,用这些装置俘获立体图像的能力已变为技术上可能的。装置制造商已通过引入集成有多个数字成像传感器的装置来做出回应。广范围的电子装置,包含移动无线通信装置、个人数字助理(PDA)、个人音乐***、数码相机、数字记录装置、视频会议***和类似装置,利用了多个成像传感器来向其用户提供多种能力和特征。这些不仅包含立体(3D)成像应用,例如3D照片和视频或电影,而且还包含较高动态范围成像和全景成像。
为了实现精确对准的立体图像对,具有多个成像传感器的装置经常在制造工艺期间经校准。可将所述装置置于生产线上的特殊“校准模式”中,其中成像传感器指向经设计以帮助清楚地识别每一相机的相对位置的目标图像。装置的每一相机可随后聚焦于目标图像且俘获图像。随后可分析每一所俘获图像以提取相机的相对定向。
一些相机可经设计以使得可在工厂地面上对每一相机的相对位置做出小调整以更好地对准两个相机的位置。举例来说,每一相机可安装在提供对其位置做出小调整的能力的可调整平台内。或者,由每一相机俘获的图像可由图像处理软件分析以确定每一相机彼此的相对位置。随后将此相对位置数据存储在相机上的非易失性存储器中。当稍后购买和使用产品时,机载图像处理利用相对位置信息来电子地调整由每一相机俘获的图像以产生高质量立体图像。
这些校准过程具有若干缺点。首先,精确制造校准在制造工艺期间消耗时间,从而增加装置的成本。其次,在制造期间产生的任何校准数据本质上是静态的。由此,无法考虑当装置在其寿命期间使用时相机位置的改变。举例来说,当相机售出时多个透镜的校准可为非常精确的,但相机可能在购买之后不久掉落。下落的振动可能造成相机失去校准。尽管如此,用户将可能期望相机在下落后仍完好且继续产生高质量立体图像。
此外,相机零件随着温度变化的膨胀和收缩可能引入每一相机的相对位置的略微改变。工厂校准通常在室温下进行,其中没有对透镜位置随温度的变化的补偿。因此,如果在特别冷或热的天利用立体成像特征,那么由相机产生的立体图像对的质量可受影响。
因此,多相机装置的静态工厂校准具有其局限。虽然周期性校准将减轻这些问题中的一些问题,但期望用户在其相机的寿命期间执行其相机的周期性立体相机校准可能是不现实的。许多用户不想要也不经常具有成功完成校准程序的技能。
发明内容
本发明实施例中的一些可包括显示立体图像对的方法。所述方法可包括从输入装置接收第一图像和从输入装置接收第二图像。所述方法可进一步包括确定所述第一图像与所述第二图像之间的垂直不等性,以及在垂直不等性低于阈值的情况下显示立体图像对。所述方法可进一步包括通过产生至少一个经校正图像来校正第一图像与第二图像之间的所述垂直不等性,以及基于所述经校正图像来产生所述立体图像对。在一些方面中,所述垂直不等性是通过从输入装置接收元信息而确定。在一些其它方面中,所述方法进一步包括当所述垂直不等性高于阈值时显示异常信息。在一些方面中,所述异常信息包含低质量指示符。在一些其它方面中,所述异常信息包含询问是否继续立体成像的提示。在一些其它方面中,异常信息是二维图像。在一些方面中,所述方法进一步包括当所述立体图像的视场低于第二阈值时显示视场异常信息。在一些方面中,所述视场异常信息是减小的视场指示符。
在一些方面中,确定所述垂直不等性包括:产生所述第一图像的第一行总和向量;产生所述第二图像的第二行总和向量;以及确定所述第一行总和向量和所述第二行总和向量的最佳拟合。在一些其它方面中,确定所述垂直不等性包括:产生所述第一图像的第一行边缘总和向量;产生所述第二图像的第二行边缘总和向量;以及确定所述第一行边缘总和向量和所述第二行边缘总和向量的最佳拟合。在一些方面中,所述最佳拟合是通过差值的最小总和来确定。
在一些方面中,所述方法进一步包括将所述立体图像对存储到数据存储装置。在一些方面中,校正所述垂直不等性包含移位或裁剪所述第一图像或所述第二图像。
其它方面涉及一种图像处理装置,其包括:处理器;输入装置;主控制模块,其经配置以从所述输入装置接收第一图像且从所述输入装置接收第二图像;不等性确定模块,其经配置以确定所述第一图像与所述第二图像之间的垂直不等性;以及显示控制模块,其经配置以在垂直不等性低于阈值时在电子显示器上显示立体图像对。在一些方面中,所述装置进一步包括:移位与裁剪模块,其经配置以通过产生至少一个经校正图像来校正所述第一图像与所述第二图像之间的所述垂直不等性;以及编码模块,其经配置以基于所述经校正图像产生所述立体图像对。在一些方面中,所述显示控制模块进一步经配置以当所述垂直不等性高于阈值时显示异常信息。在一些其它方面中,所述垂直不等性是通过从输入装置接收元信息而确定。在一些方面中,所述异常信息是当所述垂直不等性高于阈值时询问是否继续立体成像的提示。在一些方面中,所述异常信息是当所述垂直不等性高于阈值时的二维图像。在一些方面中,所述显示控制模块进一步经配置以当所述立体图像的视场低于第二阈值时显示视场异常信息。在一些方面中,所述视场异常信息是减小的视场指示符。
在一些方面中,所述装置进一步包括数据存储装置,其中所述主控制模块进一步经配置以将所述立体图像对存储到所述数据存储装置。在一些方面中,所述装置进一步包括电子显示器,其中所述显示控制模块经配置以在所述电子显示器上显示所述立体图像对。在一些方面中,所述不等性确定模块通过以下操作确定所述垂直不等性:产生所述第一图像的第一行总和向量,产生所述第二图像的第二行总和向量,以及确定所述第一行总和向量和所述第二行总和向量的最佳拟合。在一些方面中,所述不等性确定模块通过以下操作确定所述垂直不等性:产生所述第一图像的第一行边缘总和向量,产生所述第二图像的第二行边缘总和向量,以及确定所述第一行边缘总和向量和所述第二行边缘总和向量的最佳拟合。在一些方面中,所述最佳拟合是通过使两个向量之间的绝对差值的总和最小化来确定。在一些其它方面中,所述不等性确定模块通过从所述输入装置接收元信息而确定所述垂直不等性。在一些方面中,所述图像处理装置是无线电话。
一些方面包含一种含有处理器可执行指令的非暂时性计算机可读媒体,所述处理器可执行指令在执行时实行以下方法:从输入装置接收第一图像;从输入装置接收第二图像;确定所述第一图像与所述第二图像之间的垂直不等性;以及当所述垂直不等性低于阈值时在电子显示器上显示立体图像对。在一些方面中,所述计算机可读媒体进一步包含在执行时实行以下方法的处理器可执行指令:当所述垂直不等性高于所述阈值时显示异常信息。在一些方面中,所述垂直不等性是通过从输入装置接收元信息而确定。在一些方面中,所述异常信息是当所述垂直不等性高于阈值时询问是否继续立体成像的提不。
一些方面涉及一种成像装置,其包括:用于从输入装置接收第一图像的装置;用于从输入装置接收第二图像的装置;用于确定所述第一图像与所述第二图像之间的垂直不等性的装置;以及用于当所述垂直不等性低于阈值时在电子显示器上显示立体图像对的装置。在一些方面中,所述成像装置进一步包括:用于通过产生至少一个经校正图像来校正所述第一图像与所述第二图像之间的所述垂直不等性的装置;以及用于基于所述经校正图像产生所述立体图像对的装置。在一些方面中,所述装置包括无线电话手持机。在一些方面中,所述用以确定垂直不等性的装置包含配置处理器以执行行总和向量的最佳拟合的指令。在一些方面中,所述用以确定垂直不等性的装置包含配置处理器以执行行边缘总和向量的最佳拟合的指令。
其它当前实施例可包含:成像装置,其包含第一成像传感器和第二成像传感器;以及电子处理器,其经配置以控制所述成像传感器。这些实施例还可包含控制模块,其经配置以:使用第一成像传感器俘获第一图像;使用第二成像传感器俘获第二图像;确定第一图像与第二图像之间的垂直不等性;以及应用校正以产生至少一个经校正图像。
在一些实施例中,确定所述垂直不等性可包括:产生所述第一图像的第一行总和向量;产生所述第二图像的第二行总和向量;以及确定所述第一行总和向量和所述第二行总和向量的最佳拟合。在其它实施例中,确定所述垂直不等性可包括:产生所述第一图像的第一行边缘总和向量;产生所述第二图像的第二行边缘总和向量;以及确定所述第一行边缘总和向量和所述第二行边缘总和向量的最佳拟合。在一些实施例中,所述最佳拟合可通过使两个向量之间的绝对差值的总和最小化来确定。
在一些实施例中,所述方法可进一步包括基于经校正图像产生立体图像对。在一些实施例中,所述元件可反复地执行,例如,每一立体图像对可为立体视频或电影的部分。或者,立体图像对可包括快照。在其它实施例中,所述成像装置可进一步包括无线电话手持机。所述装置的一些实施例进一步包括用户致动的控制,其中所述控制模块进一步经配置以响应于用户致动的控制的第一致动来俘获第一图像。
其它当前实施例可包含一种含有处理器可执行指令的非暂时性计算机可读媒体,所述处理器可执行指令操作以致使处理器:确定第一图像与第二图像之间的垂直不等性,通过产生至少一个经校正图像来校正所述垂直不等性,以及基于所述经校正图像而产生立体图像对。在一些实施例中,指令可致使处理器通过以下操作确定垂直不等性:产生所述第一图像的第一行边缘总和向量,产生所述第二图像的第二行边缘总和向量,以及确定所述第一行边缘总和向量和所述第二行边缘总和向量的最佳拟合。在其它实施例中,指令可致使处理器通过以下操作确定垂直不等性:产生所述第一图像的行总和向量,产生所述第二图像的第二行总和向量,以及确定所述第一行边缘总和向量与所述第二行边缘总和向量之间的最佳拟合。在一些实施例中,确定最佳拟合包含使两个向量之间的绝对差值的总和最小化。
附图说明
下文将结合附图描述所揭示的方面,提供附图以说明而不是限制所揭示的方面,其中相同标号表示相同元件。
图1A是描绘实施一些操作实施例的装置的框图。图解说明移动装置的主要组件。
图1B是描绘产生立体图像的装置的一个实施例的框图。
图2A是用于在电子显示器上显示立体图像对的过程的一个实施例的流程图。
图2B是用于在电子显示器上显示立体图像数据的过程的实施例的流程图。
图2C是用于在电子显示器上显示立体图像对数据的过程的实施例的流程图。
图3A图解说明在至少一个操作实施例中的图像行求和以及行总和向量的产生的过程。
图3B图解说明在至少一个操作实施例中在两个行总和向量之间执行最佳拟合操作的过程。
图4图解说明两个图像之间的垂直不等性,以及一个操作实施例可如何裁剪图像以减少或消除垂直不等性。
图5是描绘用于在电子显示器上显示数据的过程的一个实施例的流程图。
图6是描绘由主控制模块使用以显示立体图像对的过程的一个实施例的数据流图。
图7是描绘由主控制模块使用以显示立体图像对的过程的一个实施例的数据流图。
具体实施方式
本文揭示的实施方案提供用于以包含多个成像传感器的装置产生立体图像的***、方法和设备。特定来说,本发明实施例预期确定两个图像之间的垂直不等性,通过产生至少一个经校正图像来校正垂直不等性,以及基于经校正图像产生和显示立体图像对。所属领域的技术人员将认识到,这些实施例可以硬件、软件、固件或其任一组合来实施。
在以下描述中,给出许多具体细节以提供对实例的详尽理解。然而所属领域的技术人员将了解,可在无这些具体细节的情况下实践所述实例。举例来说,可以框图展示电组件/装置,以免用不必要的细节混淆所述实例。在其它实例中,可详细展示此些组件、其它结构和技术以进一步阐释所述实例。
还注意到,可将实例描述为过程,所述过程描绘为流程图、流图、有限状态图、结构图或框图。虽然流程图可将操作描述为顺序过程,但操作中的许多可并行地或同时地执行,且过程可重复。另外,可重新布置操作的次序。当过程的操作完成时,过程终止。过程可对应于方法、功能、程序、子例程、子程序等等。当过程对应于软件函数时,其终止对应于所述函数到调用函数或主函数的返回。
所属领域的技术人员将了解,可使用多种不同技艺和技术中的任一种来表示信息和信号。举例来说,可通过电压、电流、电磁波、磁场或磁性粒子、光场或光学粒子或者其任何组合来表示整个以上描述中可能参考的数据、指令、命令、信息、信号、位、符号和码片。
立体成像装置的多个相机的相对位置可通过三个角移动轴和三个移位轴来描述。为了此论述的目的,x、y和z轴上的位置描述相对移位。角旋转可通过围绕水平(x)轴的旋转(也称为“俯仰”)、围绕垂直(y)轴的旋转(称为“横偏”)和围绕(z)轴的旋转(或“横滚”)来描述。
多个传感器在某个轴上的相对位置的变化比在其它轴上的变化更显著地影响立体图像质量。举例来说,心理学测试证实了沿着y轴的移位或俯仰角的变化对所感知图像质量有最大影响。沿着y轴的这些移位或俯仰角称为垂直不等性。在长时期中观看时,垂直不等性可能引起恶心和头痛,例如在立体视频或电影应用中的情况。
给定立体图像对对垂直不等性的敏感度,以及在精确校准的状态中维持多成像传感器装置的相对难度,提供对具有垂直不等性的所俘获图像对具有某种程度的容限的成像装置变得有利。一个实施例是成像处理方法,其动态地调整立体图像对以减少或消除图像之间的垂直不等性。通过动态地调整图像以移除或减少垂直不等性,立体图像对的质量较少地依赖于精确装置校准。这是尤其有利的,因为经常难以在装置的现实应用中实现此些校准。
图1A描绘具有一组组件的装置100的高级框图,所述组件包含链接到成像传感器115和116的处理器120。工作存储器105、存储装置110、电子显示器125和存储器130也与处理器120通信。
装置100可为手机、数码相机、个人数字助理、平板计算机或类似物。装置100也可为较固定的装置,例如桌上型个人计算机、视频会议台或类似物。多个应用程序可供用户在装置100上使用。这些应用程序可包含传统的照相应用程序、高动态范围成像、全景视频,或产生3D图像或3D视频的立体成像。
处理器120可为通用处理单元或为成像应用特定设计的处理器。如图示,处理器120连接到存储器130和工作存储器105。在图解说明的实施例中,存储器130存储成像传感器控制模块135、不等性确定模块140、移位与裁剪模块155、编码模块160、俘获控制模块170和操作***175。这些模块包含配置处理器以执行各种图像处理和装置管理任务的指令。工作存储器105可由处理器120使用以存储包含于存储器130的模块中的处理器指令的工作集合。或者,工作存储器105也可由处理器120使用以存储在装置100的操作期间产生的动态数据。
如上文提到,处理器由存储在存储器中的若干模块配置。成像传感器控制模块135包含配置处理器120以调整成像传感器115和116的焦点位置的指令。成像传感器控制模块135还包含配置处理器120以用成像传感器115和116俘获图像的指令。因此,处理器120连同图像俘获控制模块135、成像传感器115或116以及工作存储器105一起表示用于使用成像传感器俘获图像的一个装置。由于成像传感器可视为输入装置,因此处理器120连同图像俘获控制模块135、成像传感器115或116以及工作存储器105一起还表示用于以输入装置俘获图像的一个装置。
不等性确定模块140提供配置处理器120以确定且可能地消除由成像传感器115和116俘获的两个图像之间的垂直不等性的指令。因此,不等性确定模块内的指令连同处理器120和工作存储器105一起表示用于确定第一图像与第二图像之间的垂直不等性的一个装置。
移位与裁剪模块155包含可配置处理器120以使第一图像和第二图像相对于彼此移位以便校正两个图像之间的垂直不等性的指令。移位与裁剪模块155也可包含用以裁剪图像1和/或图像2以实现两个图像之间的一致对准的指令。因此,移位与裁剪模块155内的指令连同处理器120和工作存储器105一起表示用于校正两个图像之间的垂直不等性的一个装置。
编码模块160包含配置处理器以将由成像传感器115和116俘获的图像编码为立体图像的指令。因此,编码模块160内含有的指令表示用于基于第一图像和第二图像而产生立体图像的一个装置。
俘获控制模块170可包含控制装置100的总体图像处理功能的指令。举例来说,俘获控制模块170可包含调用成像控制模块135中的子例程以便配置处理器120以使用成像传感器115或116俘获第一和第二图像的指令。俘获控制模块170可随后调用不等性确定模块140以确定两个图像之间的垂直不等性。俘获控制模块可随后调用移位与裁剪模块155以移位和裁剪由成像传感器115或成像传感器116俘获的图像以垂直对准所述图像。俘获控制模块170可随后调用编码模块160以将由成像传感器115和成像传感器116俘获且由移位与裁剪模块160调整的两个图像编码为立体图像对。在一些实施例中,编码模块160或俘获控制模块170可包含配置处理器120以将立体图像对存储到数据存储装置110的指令。
在一些其它实施例中,俘获控制模块170可包含配置处理器以在显示器125上显示数据的指令。因此,俘获控制模块、例如处理器120等处理器以及例如工作存储器105等存储器内的指令表示用于在电子显示器上显示数据的一个装置。
操作***模块175配置处理器以管理装置100的存储器和处理资源。举例来说,操作***模块175可包含装置驱动器以管理例如电子显示器125、存储装置110或成像传感器115等硬件资源。因此,在一些实施例中,上文论述的图像处理模块中含有的指令可不直接与这些硬件资源交互,而是通过位于操作***组件175中的标准子例程或API交互。操作***175内的指令可随后直接与这些硬件组件交互。
举例来说,操作***175可包含形成显示装置驱动器的指令集。这些指令可配置处理器120以致使在显示器125上显示数据。操作***显示装置驱动器中含有的指令可控制电子显示器以便使得例如存储器130等存储器中存储的其它模块能够在电子显示器上更容易地显示数据。因此,配置处理器以在电子显示器上显示数据的操作***175中含有的指令连同电子显示器125和处理器120一起表示用于在电子显示器上显示数据的一个装置。
处理器120可将数据写入到存储模块110。虽然存储模块110以图形方式表示为传统磁盘装置,但所属领域的技术人员将了解,多个实施例可包含基于磁盘的存储装置或若干其它类型存储媒体中的一者以包含存储器磁盘、USB驱动器、快闪驱动器、远程连接存储媒体、虚拟磁盘驱动器或类似物。
虽然图1A描绘具有包含处理器、成像传感器和存储器的单独组件的装置,但所属领域的技术人员将认识到,这些单独组件可以多种方式组合以实现特定设计目的。举例来说,在替代实施例中,存储器组件可与处理器组件组合以节省成本且改善性能。
另外,虽然图1A图解说明两个存储器组件包含具有若干模块的存储器组件130和具有工作存储器的单独存储器105,但所属领域的技术人员将认识到利用不同存储器架构的若干实施例。举例来说,设计可利用ROM或静态RAM存储器用于存储实施存储器130中含有的模块的处理器指令。或者,处理器指令可在***启动时从磁盘存储装置读取,所述磁盘存储装置集成到装置100中或经由外部装置端口而连接。处理器指令可随后加载到RAM中以便于由处理器执行。举例来说,工作存储器105可为RAM存储器,其中指令在由处理器120执行之前加载到工作存储器105中。
图1B描绘具有一组组件的装置180的框图,所述组件包含处理器192以及与处理器192通信的工作存储器196、存储装置198、电子显示器194和存储器182。
装置180可为手机、数码相机、个人数字助理、平板计算机或类似物。装置180也可为较固定的装置,例如桌上型个人计算机、视频会议台或类似物。多个应用程序可供用户在装置180上使用。这些应用程序可包含传统的照相应用程序、高动态范围成像、全景视频,或产生3D图像或3D视频的立体成像。
处理器192可为通用处理单元或为成像应用特定设计的处理器。如图示,处理器192连接到输入191、存储器182和工作存储器196。输入191将数据提供到处理器192。取决于特定实施例,从输入191提供的数据可来自多种来源。举例来说,在一个实施例中,输入191可表示网络适配器。输入191可经由网络建立与数据源的网络连接性,且将从那些数据源接收的数据提供到处理器192。或者,在其它实施例中,输入191可表示便携式媒体读取器装置,例如USB快闪驱动器、CD-ROM驱动器、软磁盘驱动器或类似物。输入191可从便携式媒体读取数据且将其提供到处理器192。输入191还可表示传统固定存储装置,例如磁带驱动器、硬盘、RAM驱动器或类似物。
主控制模块188内的指令可包含配置处理器192以接收来自输入191的数据的指令。举例来说,一些实施例可包含配置处理器192以从输入191接收第一或第二图像的指令。一些实施例可包含主控制模块,其包含配置处理器以还从输入191接收垂直不等性元信息的指令。因此,配置处理器以从输入191读取数据的主控制模块内的指令连同处理器192、输入191和工作存储器196一起可表示用于确定第一图像与第二图像之间的垂直不等性的一个装置。配置处理器以从输入191读取图像数据的主控制模块的一个实施例内的指令连同处理器192、输入191和工作存储器196一起可表示用于从输入装置接收图像的一个装置。
在图解说明的实施例中,存储器182包含移位与裁剪模块184、编码模块186、显示控制模块187、主控制模块188和操作***190。这些模块包含配置处理器以执行各种图像处理和装置管理任务的指令。工作存储器196可由处理器192使用以存储包含于存储器182的模块中的处理器指令的工作集合。或者,工作存储器196也可由处理器192使用以存储在装置180的操作期间产生的动态数据。
如上文提到,处理器由存储在存储器中的若干模块配置。移位与裁剪模块184包含可配置处理器192以使第一图像和第二图像相对于彼此移位以便校正两个图像之间的垂直不等性的指令。移位与裁剪模块184也可包含用以裁剪第一图像和/或第二图像以实现两个图像之间的一致对准的指令。因此,移位与裁剪模块184内的指令连同处理器192和工作存储器196一起可表示用于通过产生至少一个经校正图像来校正两个图像之间的垂直不等性的一个装置。
编码模块186可包含配置处理器以将第一和第二图像编码为立体图像的指令。主控制模块188可将经校正图像从移位与裁剪模块184提供到编码模块186。编码器模块186可随后基于经校正图像产生立体图像对。因此,编码模块186内含有的指令表示用于基于包含经校正图像的图像而产生立体图像的一个装置。
显示控制模块187可包含配置处理器以在电子显示器上显示数据的指令。因此,显示控制模块187内的指令连同处理器192和工作存储器182一起表示用于在电子显示器上显示数据的一个装置。由于编码模块186可编码立体图像对,且主控制模块188可将经编码立体图像对传递到显示控制模块187,显示控制模块187中的指令基于此可致使在例如显示器194等显示器上显示立体图像,因此显示控制模块187内的指令连同处理器192和存储器182一起表示用于在电子显示器上显示立体图像对的一个装置。
主控制模块188可包含控制装置180的总体图像处理功能的指令。举例来说,主控制模块188可包含配置处理器192以从输入191接收两个图像帧的指令。主控制模块还可包含配置处理器192以从输入191接收指示两个图像帧之间的垂直不等性的元数据的指令。主控制模块188可随后调用移位与裁剪模块184以移位和裁剪从输入191接收的图像以垂直对准所述图像。主控制模块188可随后调用编码模块186以在两个图像已由移位与裁剪模块184处理之后将两个图像编码为立体图像对。在一些实施例中,编码模块186或主控制模块188可包含配置处理器192以将立体图像对存储到数据存储装置198的指令。主控制模块188还可调用显示控制模块187以在例如显示器194等电子显示器上显示数据。
操作***模块190配置处理器192以管理装置180的存储器和处理资源。举例来说,操作***模块190可包含装置驱动器以管理例如输入191、电子显示器194或存储装置198等硬件资源。因此,在一些实施例中,上文论述的图像处理模块中含有的指令可不直接与这些硬件资源交互,而是通过位于操作***组件190中的标准子例程或API交互。操作***190内的指令可随后直接与这些硬件组件交互。
处理器192可将数据写入到存储模块198。虽然存储模块198以图形方式表示为传统磁盘装置,但所属领域的技术人员将了解,多个实施例可包含基于磁盘的存储装置或若干其它类型存储媒体中的一者以包含存储器磁盘、USB驱动器、快闪驱动器、远程连接存储媒体、虚拟磁盘驱动器或类似物。
虽然图1B描绘具有包含处理器和存储器的单独组件的装置,但所属领域的技术人员将认识到,这些单独组件可以多种方式组合以实现特定设计目的。举例来说,在替代实施例中,存储器组件可与处理器组件组合以节省成本且改善性能。
另外,虽然图1B图解说明两个存储器组件包含具有若干模块的存储器组件182和具有工作存储器的单独存储器196,但所属领域的技术人员将认识到利用不同存储器架构的若干实施例。举例来说,设计可利用ROM或静态RAM存储器用于存储实施存储器182中含有的模块的处理器指令。或者,处理器指令可在***启动时从磁盘存储装置读取,所述磁盘存储装置集成到装置180中或经由外部装置端口而连接。处理器指令可随后加载到RAM中以便于由处理器执行。举例来说,工作存储器196可为RAM存储器,其中指令在由处理器192执行之前加载到工作存储器105中。
虽然已图解说明图1B包含输入装置191且图1的装置100不包含输入装置,但应了解,成像装置的其它实施例可包含图1A和1B两者中图解说明的多种组件。举例来说,一个实施例可包含成像传感器115和116以及输入装置191两者。在此实施例中,图像可从图像传感器接收,而指示图像之间的不等性的元信息可经由输入装置191接收。或者,一些图像对可经由图像传感器接收,而其它图像对是经由输入装置接收。装置的一个实施例可取决于图像的来源使用不同方法确定两个图像之间的不等性。举例来说,一个实施例可使用行求和或行边缘求和方法确定以嵌入式图像传感器俘获的图像的垂直不等性,而经由例如输入装置191等单独输入装置接收的图像的垂直不等性可经由经输入装置191接收的元信息来确定。
图2A是用于在电子显示器上显示数据的过程的流程图。图2A的过程200的部分或全部可在一个实施例中由包含在图1A的俘获控制模块170中的指令实施。过程200在开始框205处开始,且随后转变到框210,其中俘获第一图像。第一图像可由俘获控制模块170中调用成像传感器控制模块135内的子例程的指令俘获。成像传感器控制模块135可随后可能经由操作***模块175配置处理器以控制成像传感器115或116以俘获图像。过程200随后移动到框215,其中俘获第二图像。过程200随后移动到框220,其中指令确定所俘获第一图像与第二图像之间的垂直不等性。这些指令可位于图1A的不等性确定模块140中。或者,框220可由主控制模块188中的指令实施,所述主控制模块包含配置例如处理器192等处理器以从例如图1B的输入装置191等输入装置读取数据的指令。
在图解说明的实施例中,过程200的框220可包含通过首先对每一图像的行进行求和来确定第一与第二图像之间的垂直不等性的指令。此求和过程产生两个向量,每一图像一个向量。向量的每一元素表示图像的一个行总和。图3A中展示实例向量,项目310。图3A中的图像305的行已经概括化,产生由曲线图310表示的向量。应注意,每一行的总和将产生不连续曲线图,但为了图解说明目的而将曲线图展示为连续的线。图3A中图解说明两个图像的行总和。图像320是从一个传感器取得,且图像330是从另一传感器取得。两个曲线图中的差异表示两个图像之间的变化。
所述向量具有实质相似性。举例来说,在两个曲线图的峰与谷之间存在一股对应关系。这些相似性允许对所述两个向量执行最佳拟合运算。在一些实施例中,通过识别两个向量之间的偏移来确定最佳拟合,其最小化两个向量的位置之间的绝对差和。
因此,执行行总和向量的最佳拟合的垂直不等性确定模块140内的指令连同处理器和存储器一起表示用于确定两个图像之间的垂直不等性的一个装置。
虽然行求和提供对不等性辨识和调整的一个解决方案,但其具有一些缺点。举例来说,其有效性是依赖于场景的,且在一些情况下可能完全失败。另外,当在两个图像之间存在失准时可影响其精度,举例来说,间距中的失准可影响基于行求和的解决方***性。由于按比例缩放(一个传感器比另一传感器更靠近场景)所致的图像失准也可影响基于行求和的垂直不等性确定的准确性。
由于关于行求和技术的这些缺点,其它实施例可基于水平边缘检测过程的结果来形成向量。基于边缘检测过程可对图像的每一像素指派边缘值。可对图像的行中的每一像素的边缘值进行求和,且将结果存储在水平边缘向量的对应条目中。针对图像的每一行重复此过程,其中每一行求和的结果存储在水平边缘向量的对应条目中。对于两个图像,使用两个水平边缘向量。
随后可以类似于上文描述的方式对水平边缘向量执行最佳拟合。举例来说,通过识别两个向量之间的偏移可确定两个向量的最佳拟合,所述偏移最小化所述两个向量中的对应条目之间的绝对差的和。通过按所述偏移指示的大小和方向移位一个图像,可垂直对准所述图像。或者,由于所述偏移指示对准图像所需的垂直移位的总量,因此可使两个图像移位所述偏移指示的量的一半。因此,执行水平边缘向量的最佳拟合的垂直不等性确定模块140内的指令连同处理器和存储器一起表示用于确定两个图像之间的垂直不等性的另一装置。
返回到图2A,框220的其它实施例可使用替代方法确定垂直不等性。举例来说,一些实施例可识别两个图像的局部邻域内的最佳匹配。举例来说,实施例可定位一个图像内的关键特征点且搜索另一图像中的最佳匹配。因此,执行局部邻域内针对关键特征点的最佳匹配的垂直不等性确定模块140内的指令连同处理器和存储器一起表示用于确定两个图像之间的垂直不等性的另一装置。
其它实施例可基于从例如图1B中图解说明的输入装置191等输入装置接收的元信息确定垂直不等性。举例来说,例如图1B中图解说明的装置180等装置可经由输入装置191接收形成立体图像对的两个图像。这些图像可由外部源提供。举例来说,外部源可为另一装置,例如图像处理计算机。此图像处理计算机也可确定两个图像之间的垂直不等性。垂直不等性信息可随后发送到装置180作为经由输入装置191接收的元信息。因此,主控制模块中的配置处理器以从输入装置接收元信息的指令表示用于确定两个图像之间的垂直不等性的另一装置。
在已确定垂直不等性之后,过程200移动到框240,其中将校正应用于图像中的一者或两者。框240可由图1A中图解说明的装置100的不等性确定模块140、移位与裁剪模块155或俘获控制模块170中的任一者或组合中含有的指令执行。这些模块中的指令连同处理器和存储器一起表示用于应用校正以产生经校正图像的一个装置。
为了校正任何垂直不等性,框240可移位和/或裁剪一个或两个图像。举例来说,可裁剪第一图像以移除相对于第二图像的不等性。然而,因为第一图像现在在经裁剪尺寸上较小,所以也可能需要裁剪第二图像以维持等效于第一图像的尺寸。此裁剪导致具有比原始图像的垂直视场小的垂直视场的立体图像对。然而,消除垂直不等性可能需要移除图像的底部和顶部上的图像高度的仅百分之五,以产生垂直对准立体图像对。这可将垂直视场减少总共百分之十。移位与裁剪模块155中含有的执行如上所述的一个或两个图像的裁剪的指令表示用于应用校正以产生经校正图像的另一装置。
一旦已应用适当校正,则过程200移动到框245,其中基于任何经校正图像而产生立体图像对。在一个实施例中,框245可由编码模块160中的指令执行。因此,编码模块160中的指令表示用于产生立体图像对的一个装置。也可使用原始第一和第二图像。
过程200随后转变到决策框246,其确定在框245中产生的立体图像对是否具有可接受质量水平。框246可由图1A的俘获控制模块170或图1B的主控制模块188中的指令实施。在一些实施例中可通过在立体图像对中包含的两个图像之间剩余的垂直不等性的量来确定立体图像对的质量水平。如果立体图像对的质量是可接受的,那么过程200转变到框248,其中显示立体图像对。如果立体图像对的质量水平是不可接受的,那么过程200从决策框246移动到处理框247,其中显示立体图像对的二维版本。举例来说,框247可仅显示立体图像对中包含的两个图像中的仅一者。过程200随后转变到结束状态250。
图2B是用于在电子显示器上显示数据的过程的流程图。图2B的过程252的部分或全部可在一个实施例中由包含在图1A的俘获控制模块170或图1B的主控制模块188中的指令实施。过程252在开始框255处开始,且随后移动到框260,其中接收第一图像。第一图像在一些实施例中可从图1A的图像传感器115或116接收。或者,图像可从图1B的输入191接收。在框260中接收第一图像之后,过程252移动到框265,其中接收第二图像。类似于第一图像,第二图像可从图1A的图像传感器115或116或者图1B的输入191接收。过程252随后移动到框270,其中确定在框260和265中接收的两个图像之间的垂直不等性。框270可类似于如上文相对于图2A所述的框220起作用。过程252随后移动到框272,其中使用在框270中确定的垂直不等性来应用校正以产生至少一个经校正图像。校正第一或第二图像可包含移位或裁剪图像中的一者或两者。框272可在图1A中图解说明的装置100的移位与裁剪模块160或图1B中图解说明的装置180的移位与裁剪模块184中执行。过程252随后移动到框274,其中产生立体图像对。在框274中产生的立体图像对可基于来自框272的经校正图像。
在已产生立体图像对之后,过程252随后移动到决策框276,其中将在框274中产生的立体图像对的质量与质量阈值进行比较。如果立体图像对的质量高于质量阈值,那么框276将确定立体图像对的质量是可接受的。
框276可在决定确定立体图像对的质量高于质量阈值之前评估立体图像对的一个或一个以上属性。举例来说,框276可评估立体图像对的图像之间剩余的垂直不等性。如果垂直不等性高于阈值,那么框276可确定立体图像对的质量低于质量阈值。框276还可评估立体图像对的视场。如果视场已减小到低于视场阈值,那么框276可确定立体图像对的质量水平低于质量阈值。框276还可评估垂直不等性和视场确定两者的结果以确定立体图像对的质量水平。
如果框276确定立体图像对的质量是可接受的,那么过程252转变到框277,其中显示立体图像对。举例来说,图像对可在图1A中图解说明的装置100的显示器125或图1B中图解说明的装置180的显示器194上显示。然而如果立体图像对的质量水平低于视为可接受质量的阈值水平,那么过程252移动到框278,其中可显示二维图像。在一些实施例中,在框278中显示的二维图像也可在装置100的显示器125或装置180的显示器194上显示。在框277或278中显示图像之后,过程252移动到结束框280。
图2C是用于在电子显示器上显示数据的过程286的流程图。图2C的过程286的部分或全部可在一个实施例中由包含在图1A的俘获控制模块170或图1B的主控制模块188中的指令实施。过程286在开始框287处开始,且随后移动到框288,其中接收第一图像。图像可例如从图1A中图解说明的装置100的图像传感器115或116或者从图1B中图解说明的装置180的输入191接收。过程286随后移动到框289,其中接收第二图像。类似地,第二图像也可从图像传感器或输入装置接收。过程286随后移动到框290,其中确定垂直不等性信息。第一图像与第二图像之间的垂直不等性可以若干方式确定。举例来说,可使用参考图2A中图解说明的过程200论述的方法中的任一者。或者,可通过接收也称为元信息的数据来确定两个图像之间的不等性。元信息可经由例如图1B中图解说明的装置180的输入191等输入装置接收。
过程286随后移动到决策框291,其中将垂直不等性与阈值进行比较。如果两个图像之间的垂直不等性低于阈值,那么过程286转变到框292,其中将校正应用于所接收第一或第二图像。所述校正可基于不等性元信息(如果在框290中接收)。或者,其可基于先前论述的不等性确定方法的结果,例如行总和向量或行边缘总和向量的最佳拟合。过程286随后移动到框294,其中基于来自框292的经校正第一和第二图像产生立体图像对。过程286随后转变到框295,其中显示立体图像对。
如果第一与第二图像之间的垂直不等性高于阈值,那么过程286从决策框291移动到处理框296,其中显示二维图像。举例来说,可显示立体图像对中包含的两个图像中的仅一者。框296或295中显示的图像可在图1A中图解说明的装置100的显示器125或图1B中图解说明的装置180的显示器194上显示。在框295中显示立体图像对或在框296中显示二维图像之后,过程286移动到结束框298。
图4图解说明可根据图2A的框240、图2B的框275或图2C的框292中所示的过程的一个实施例裁剪的图像对的一个图解说明。图解说明湖450上的建筑物470的两个图像。图像410是从比图像420稍微较低的视角取得。因此,图像410在其视场中包含湖的较大部分,而图像420在其视场中包含天空460的较大部分。每一图像的未包含于另一图像中的部分由每一图像的阴影部分表示,识别为415和425。如图解说明,两个图像包含显著的垂直不等性,其可在形成立体图像对之前消除。为了消除垂直不等性,将裁剪每一图像的阴影部分415和425,从而导致由两个图像的共同部分表示的最终视场,由带括号区域440识别。
虽然一些成像环境允许以上技术成功处理从成像传感器115和成像传感器116俘获的图像以减少或消除垂直不等性且产生高质量立体图像对,但一些成像环境可能呈现过大而无法充分补偿的不等性。在此些成像条件下,成像装置避免产生立体图像可能是适当的,因为可能无法确保足够的图像质量。一个实施方案可例如使成像装置转变为二维成像模式。在此模式中,可使用仅一个成像传感器的图像来产生传统二维图像。举例来说,如果装置先前在产生立体视频或电影,那么在垂直不等性超过特定阈值后,装置可即刻开始产生传统二维格式,其中图像帧从仅单个成像传感器产生。或者,装置可继续产生立体视频或电影,但以较低质量来产生,同时还提供电影的质量水平低于阈值的指示符。在再其它实施例中,装置可继续产生立体视频,但可使用用户提示或其它输入接收技术来确定用户是否希望继续以降低的质量水平进行显示。再其它实施例可继续产生立体图像,无论垂直不等性的量如何。
在一些成像环境中,尽管具有相对高垂直不等性,但成像装置可能够产生足够质量的立体图像,但所得立体图像对的视场可减小到低于阈值。在一些实施例中,成像装置可提示或另外请求来自用户的关于其是否希望继续具有减小的视场的立体成像应用的显示的输入。
图5是描绘由俘获控制模块或主控制模块使用以显示立体图像对的过程的一个实施例的流程图。过程500在开始框505处开始,且随后移动到框510,其中接收第一图像。在一些实施例中,图像可从图1的图像传感器115或116或者图1B的输入装置191接收。过程500随后移动到框515,其中接收第二图像。类似于第一图像,在一些实施例中,第二图像也可从图像传感器或输入装置接收。过程500随后移动到框520,其中确定第一图像与第二图像之间的垂直不等性。框520可实施上文论述的不等性确定实施例中的任一者,以包含行求和、行边缘求和或关注点匹配以确定两个图像之间的垂直不等性。用于对准图像的其它技术是此项技术中已知的且也可实施。举例来说,还可利用数字摄影术中已知的图像对齐技术。
应注意,过程500的替代实施例在框520中使用其它方法确定垂直不等性。举例来说,一些实施例可通过接收指示第一图像与第二图像之间存在的垂直不等性的元信息来确定垂直不等性。元信息可例如经由图1B中图解说明的输入装置191接收。所述信息可从网络、存储装置或甚至在显示装置自身内运行的另一处理器接收。
过程500随后移动到决策框525,其中将垂直不等性与阈值进行比较以确定是否应由装置100的成像处理指令执行对不等性的校正。举例来说,在一些实施例中,装置100的移位与裁剪模块165可提供用于校正图像的装置,但某些垂直不等性可能超过移位与裁剪模块的补偿能力的能力。另外,在极大垂直不等性的情况下,所得立体图像的视场可变得不实际地小。
如果在决策框525处做出两个图像之间的垂直不等性低于阈值的确定,那么过程500移动到框570,其中清除可能已显示的任何低质量指示符。过程500随后移动到框575,其中将对垂直不等性的校正应用于第一图像、第二图像或两个图像。此校正可由图1A的移位与裁剪模块155或图1B的移位与裁剪模块184中包含的指令应用。过程500随后移动到框580,其中将两个图像编码为立体图像对。此编码可由位于图1A的编码模块160或图1B中图解说明的装置180的编码模块186中的指令执行。过程500随后移动到框585,其中显示立体图像对。立体图像可在图1A的显示器125或图1B的显示器194上显示。过程500随后返回到框510且过程500重复。
如果在决策框525处做出两个图像之间的垂直不等性高于阈值的确定,那么可显示异常信息。异常信息可包含指示符,例如质量或视场指示符。异常信息还可包含询问用户是否以某些显示能力(例如立体图像对的显示)继续的用户提示。在图解说明的实施例中,过程500移动到框530以产生低质量指示符。在一些实施例中,指示符可嵌入到立体图像对自身中,因此当显示时,指示符清楚地对用户可见。
或者,运行过程500的装置可包含其它指示符,例如经配置以显示质量指示符的灯或辅助显示屏幕。指示符可显示于此装置的嵌入式显示器上。而且,还可提供可闻指示符。举例来说,当垂直不等性超过阈值时,可向用户呈现音调、蜂鸣或口头警报。
过程500随后移动到决策框535,其中指令确定装置是否应提示用户是否应继续立体成像。在图解说明的实施例中,可配置的提示提供了装置行为中的灵活性。举例来说,新手用户可能偏好于避免提示,而是依赖于内建的装置逻辑来为其做出决策。较高级用户可能偏好于具有对其装置内的立体成像过程的额外控制。如果启用提示,那么过程500移动到框555,其中对用户进行提示。对用户的提示在一些实施例中可通过图1B的主控制模块188或显示控制模块187中包含的指令来实现。
接着,过程500移动到框560,其中执行指令以接收来自用户的输入。过程500随后移动到决策框565,其中指令确定用户的响应是否指示其希望继续立体成像。如果用户选择继续,那么过程500移动通过页参考“A”到框545,其中指令致使产生二维图像。二维成像模式可仅利用在框510和515中较早接收的两个图像中的一者。在一些实施例中,由框545产生的图像可为来自图像传感器1的图像或来自图像传感器2的图像。或者,其可为从输入接收的图像,例如图1B中图解说明的输入装置191。过程500随后移动到框590,其中显示二维图像。在一些实施例中,二维图像可在图1的显示器125或图1B的显示器194上显示。过程500随后重复。
应注意,虽然图5图解说明针对以高于阈值的垂直不等性俘获的每个立体图像对将产生用户提示的逻辑流程,但所属领域的技术人员将认识到,可实施额外逻辑以避免对用户的过度提示。举例来说,可实施每分钟/小时/天的最大提示数目。或者,可能仅随着成像环境中的实质垂直不等性改变来产生提示。举例来说,可建立界定垂直不等性的“低”、“中”和“高”量的阈值。当垂直不等性的量从一个阈值交叉到另一阈值时,在一些实施例中,这可产生提示。举例来说,在达到某个相对小阈值之后可能显示第一提示。如果用户选择继续,那么假如不等性将达到严重得多的水平,则可产生额外提示。这些变化是此项技术中已知的,但为了简洁而未说明。
还应注意,虽然图5中图解说明的实施例经设计以与“用户”交互,但其它实施例可提供替代控制方式。举例来说,一些实施例可替代于提示而改为产生呈电子消息的形式的控制信号以传达立体成像的状态。举例来说,立体成像装置可配置有输入和输出端口,其中当立体成像环境中的某些阈值被交叉时信号发送到输出端口。这些输出端口可包含无线连接或经由例如USB的硬有线连接。此外,立体成像装置可从输入端口接受输入。举例来说,在产生指示垂直不等性超过特定阈值的输出信号之后,一些实施例可在输入端口上接受指示是否应继续立体成像、装置是否应移位到二维成像模式或可能是否应完全停止成像的输入。
如果决策框535确定用户提示未启用,那么过程500移动到决策框540,其中做出对垂直不等性的补偿是否可能但具有减小的视场的确定。如果可补偿垂直不等性,那么过程500移动到框550,其中可显示视场异常信息。举例来说,在图解说明的实施例中,产生减小的视场指示符。过程500随后移动到框575,且将校正应用于图像,且过程500随后如早先描述而继续。
如果在决策状态540做出垂直不等性太大而使得即使在减小的视场的情况下也无法产生足够图像的确定,那么过程500移动到框545,且产生二维图像。过程500随后在框590处显示二维图像,且返回到框510以重复过程500。
应认识到,若干变化可用于图5的图解说明的实施例。举例来说,对用户的提示在一些实施例中可能不可配置,且可无条件启用或不执行。其它实施例可在产生具有显著减小的视场的立体图像对之前提示用户。其它实施例可在垂直不等性达到阈值时无条件转变到二维成像,而不实施用户提示、视场确定或各种指示符的产生的复杂性。图5既定表示产生立体图像对的这些各种方法的仅一种组合。
还可了解,图5中图解说明的实施例包含一些简化以便于论述。举例来说,一些实施例将需要包含处理逻辑以避免对用户的过量提示,例如在边缘情况成像环境中,所述边缘情况环境致使垂直不等性从可容易校正的值频繁转变为需要用户提示的值。另外,图5未图解说明使过程500结束的方法。然而,一些实施例将采用实现向结束状态的转变的额外条件逻辑。举例来说,装置100的某些实施例可包含用户致动的控制,其确定成像装置是否处于立体成像模式或传统二维模式。此控制的致动可致使过程500退出。或者,其它实施例可具有用户致动的控制,其充当俘获控制按钮。当致动时,当所述控制经致动时,一些实施例可在成像当前不在过程中的情况下开始成像,且在成像在过程中的情况下结束成像。此控制的致动在一些实施例中可结束过程500。
图6是用于显示立体图像对的方法的数据流图。数据流在图的左侧开始,其中从输入605接收右帧610和左帧615。接着,产生行投影620和625且发送到框630,其中计算两个帧610与615之间的垂直不等性。使用此计算的结果来修改帧610和615以产生左帧640和右帧635。为了调整帧610和615的垂直不等性,可裁剪或移位每一图像。在移位或裁剪操作之后,图像635和640可具有改善的质量,当与图像610和615相比时具有较小的垂直不等性。随后在框645中在立体图像对中编码所述两个帧。将包含图像635和640的立体图像对发送到决策框650,其中确定立体图像质量是否可接受。如果其可接受,那么过程600移动到框655,且将两个图像显示为立体图像。如果立体图像对的质量是不可接受的,那么在框660处提供二维图像用于显示。
图7是用于显示立体图像对的替代方法的数据流图。类似于图6,从输入705接收右帧710和左帧715。然而,不同于图6中的数据流600,输入705还提供指示两个帧710与715之间的垂直不等性的元数据。将此元数据转换为裁剪控制参数730,且基于原始帧710和715以及裁剪数据730产生新帧735和740。随后可在框750处评估这些经校正帧的垂直不等性,且如果可接受,那么显示立体图像755。否则,显示二维图像760。
所属领域的技术人员将进一步了解,结合本文揭示的实施方案描述的各种说明性逻辑块、模块、电路和过程步骤可实施为电子硬件、计算机软件或所述两者的组合。为了清楚地说明硬件与软件的这种可交换性,上文已大体上在其功能性方面描述了各种说明性组件、块、模块、电路和步骤。将此类功能性实施为硬件还是软件取决于特定应用和对整个***施加的设计约束。熟练的技术人员针对每一特定应用可以不同方式实施所描述的功能性,但不应将此类实施方案决策解释为造成与本发明的范围的脱离。所属领域的技术人员将认识到,一个部分或一部分可包括少于或等于整体的事物。举例来说,像素集合的一部分可称为这些像素的子集。
结合本文所揭示的实施方案描述的各种说明性逻辑块、模块和电路可用经设计以执行本文描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行。通用处理器可为微处理器,但在替代例中,处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。
结合本文所揭示的实施方案描述的方法或过程的步骤可直接以硬件、以由处理器执行的软件模块或以所述两者的组合来实施。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸式盘、CD-ROM或此项技术中已知的任何其它形式的非暂时性存储媒体中。示范性计算机可读存储媒体耦合到处理器,使得处理器可从计算机可读存储媒体读取信息和向计算机可读存储媒体写入信息。在替代方案中,存储媒体可与处理器成一体式。处理器和存储媒体可驻留在ASIC中。ASIC可驻留在用户终端、相机或其它装置中。在替代方案中,处理器和存储媒体可作为离散组件驻留在用户终端、相机或其它装置中。
本文包含标题以用于参考和帮助定位各部分。这些标题既定不限制关于其描述的概念的范围。此些概念在整个说明书中可始终具有适用性。
提供对所揭示实施方案的先前描述是为了使得所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将容易了解对这些实施实施方案的各种修改,且在不脱离本发明精神或范围的情况下,本文所界定的一股原理可适用于其它实施方案。因此,本发明不希望限于本文展示的实施方案,而是应被赋予与本文所揭示的原理和新颖特征一致的最广范围。
Claims (29)
1.一种在电子显示器上显示立体图像对的方法,其包括:
从第一图像传感器接收第一图像,所述第一图像表示场景的左视角;
从第二图像传感器接收第二图像,所述第二图像表示所述场景的右视角;
确定所述第一图像与所述第二图像之间的垂直不等性;
通过产生至少一个经校正图像来校正所述第一图像与所述第二图像之间的所述垂直不等性;
在所述经校正垂直不等性低于阈值的情况下,基于所述经校正图像显示立体图像对;以及
在所述经校正垂直不等性大于或等于所述阈值的情况下,显示所述立体图像对的二维版本。
2.根据权利要求1所述的方法,其中所述垂直不等性是通过从输入装置接收元信息而确定。
3.根据权利要求1所述的方法,其进一步包括当所述垂直不等性高于阈值时显示异常信息。
4.根据权利要求3所述的方法,其中所述异常信息包含低质量指示符。
5.根据权利要求3所述的方法,其中所述异常信息包含询问是否继续立体成像的提示。
6.根据权利要求3所述的方法,其中所述异常信息是二维图像。
7.根据权利要求1所述的方法,其进一步包括当所述立体图像的视场低于第二阈值时显示视场异常信息。
8.根据权利要求7所述的方法,其中所述视场异常信息是减小的视场指示符。
9.根据权利要求1所述的方法,其中确定所述垂直不等性包括:
产生所述第一图像的第一行总和向量;
产生所述第二图像的第二行总和向量;以及
确定所述第一行总和向量和所述第二行总和向量的最佳拟合。
10.根据权利要求1所述的方法,其中确定所述垂直不等性包括:
产生所述第一图像的第一行边缘总和向量;
产生所述第二图像的第二行边缘总和向量;以及
确定所述第一行边缘总和向量和所述第二行边缘总和向量的最佳拟合。
11.根据权利要求1所述的方法,其进一步包括将所述立体图像对存储到数据存储装置。
12.根据权利要求10所述的方法,其中所述最佳拟合是通过差值的最小总和来确定。
13.根据权利要求1所述的方法,其中校正所述垂直不等性包含移位或裁剪所述第一图像或所述第二图像。
14.一种用于显示立体图像对的图像处理装置,其包括:
处理器;
第一成像传感器;
第二成像传感器;
主控制模块,其经配置以从所述第一成像传感器接收第一图像且从所述第二成像传感器接收第二图像,所述第一图像表示场景的左视角,及所述第二图像表示所述场景的右视角;
不等性确定模块,其经配置以确定所述第一图像与所述第二图像之间的垂直不等性;
移位与裁剪模块,其经配置以通过产生至少一个经校正图像来校正所述第一图像与所述第二图像之间的所述垂直不等性;以及
显示控制模块,其经配置以在所述经校正垂直不等性低于阈值时在电子显示器上基于所述经校正图像显示立体图像对,且在所述经校正垂直不等性大于或等于所述 阈值的情况下显示所述立体图像对的二维版本。
15.根据权利要求14所述的装置,其中所述显示控制模块进一步经配置以当所述垂直不等性高于阈值时显示异常信息。
16.根据权利要求15所述的装置,其中所述异常信息是当所述垂直不等性高于阈值时询问是否继续立体成像的提示。
17.根据权利要求15所述的装置,其中所述异常信息是当所述垂直不等性高于阈值时的二维图像。
18.根据权利要求15所述的装置,其中所述显示控制模块进一步经配置以当所述立体图像的视场低于第二阈值时显示视场异常信息。
19.根据权利要求18所述的装置,其中所述视场异常信息是减小的视场指示符。
20.根据权利要求14所述的装置,其进一步包括数据存储装置,其中所述主控制模块进一步经配置以将所述立体图像对存储到所述数据存储装置。
21.根据权利要求14所述的装置,其进一步包括电子显示器,其中所述显示控制模块经配置以在所述电子显示器上显示所述立体图像对。
22.根据权利要求14所述的装置,其中所述不等性确定模块通过以下操作确定所述垂直不等性:
产生所述第一图像的第一行总和向量,
产生所述第二图像的第二行总和向量,以及
确定所述第一行总和向量和所述第二行总和向量的最佳拟合。
23.根据权利要求14所述的装置,其中所述不等性确定模块通过以下操作确定所述垂直不等性:
产生所述第一图像的第一行边缘总和向量;
产生所述第二图像的第二行边缘总和向量;以及
确定所述第一行边缘总和向量和所述第二行边缘总和向量的最佳拟合。
24.根据权利要求23所述的装置,其中所述最佳拟合是通过使两个向量之间的绝对差值的总和最小化来确定。
25.根据权利要求14所述的装置,其中所述图像处理装置是无线电话手持机。
26.一种用于显示立体图像对的成像装置,其包括:
用于从第一成像传感器接收第一图像的装置,所述第一图像表示场景的左视角;
用于从第二成像传感器接收第二图像的装置,所述第二图像表示所述场景的右视角;
用于确定所述第一图像与所述第二图像之间的垂直不等性的装置;
用于通过产生至少一个经校正图像来校正所述垂直不等性的装置;
用于当所述经校正垂直不等性低于阈值时在电子显示器上基于所述经校正图像显示立体图像对的装置;以及
用于在所述经校正垂直不等性大于或等于所述阈值时在所述电子显示器上显示所述立体图像对的二维版本的装置。
27.根据权利要求26所述的装置,其进一步包括无线电话手持机。
28.根据权利要求26所述的装置,其中所述用于确定垂直不等性的装置包含配置处理器以执行行总和向量的最佳拟合的指令。
29.根据权利要求26所述的装置,其中所述用于确定垂直不等性的装置包含配置处理器以执行行边缘总和向量的最佳拟合的指令。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/249,028 | 2011-09-29 | ||
US13/249,028 US9402065B2 (en) | 2011-09-29 | 2011-09-29 | Methods and apparatus for conditional display of a stereoscopic image pair |
PCT/US2012/057232 WO2013049130A1 (en) | 2011-09-29 | 2012-09-26 | Methods and apparatus for conditional display of a stereoscopic image pair |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103843329A CN103843329A (zh) | 2014-06-04 |
CN103843329B true CN103843329B (zh) | 2017-02-15 |
Family
ID=47018526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280048172.5A Active CN103843329B (zh) | 2011-09-29 | 2012-09-26 | 用于立体图像对的有条件显示的方法和设备 |
Country Status (7)
Country | Link |
---|---|
US (2) | US9402065B2 (zh) |
EP (1) | EP2761875A1 (zh) |
JP (1) | JP5932045B2 (zh) |
KR (1) | KR101620766B1 (zh) |
CN (1) | CN103843329B (zh) |
IN (1) | IN2014CN02130A (zh) |
WO (1) | WO2013049130A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9402065B2 (en) | 2011-09-29 | 2016-07-26 | Qualcomm Incorporated | Methods and apparatus for conditional display of a stereoscopic image pair |
JP5768684B2 (ja) * | 2011-11-29 | 2015-08-26 | 富士通株式会社 | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム |
US9571864B2 (en) * | 2012-03-30 | 2017-02-14 | Intel Corporation | Techniques for media quality control |
US9125255B2 (en) | 2012-05-03 | 2015-09-01 | Abl Ip Holding Llc | Networked architecture for system of lighting devices having sensors, for intelligent applications |
US9165393B1 (en) * | 2012-07-31 | 2015-10-20 | Dreamworks Animation Llc | Measuring stereoscopic quality in a three-dimensional computer-generated scene |
US9137879B2 (en) | 2012-08-01 | 2015-09-15 | Abl Ip Holding Llc | Networked system of intelligent lighting devices with sharing of processing resources of the devices with other entities |
CN103533343B (zh) * | 2013-09-29 | 2015-05-20 | 宁波大学 | 一种基于数字水印的立体图像质量客观评价方法 |
KR101590777B1 (ko) * | 2014-12-16 | 2016-02-11 | 경북대학교 산학협력단 | 스테레오 비젼에서의 시차 보정장치 및 그 방법 |
CN105282428B (zh) * | 2015-05-28 | 2019-03-01 | 维沃移动通信有限公司 | 一种移动终端拍摄的方法及移动终端 |
KR101766756B1 (ko) * | 2015-11-20 | 2017-08-10 | 경북대학교 산학협력단 | 스테레오 비전 시스템의 렉티피케이션 장치 및 그 방법 |
US10192345B2 (en) * | 2016-07-19 | 2019-01-29 | Qualcomm Incorporated | Systems and methods for improved surface normal estimation |
US10964034B1 (en) * | 2019-10-30 | 2021-03-30 | Nvidia Corporation | Vertical disparity detection in stereoscopic images from optical flow data |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3539788B2 (ja) | 1995-04-21 | 2004-07-07 | パナソニック モバイルコミュニケーションズ株式会社 | 画像間対応付け方法 |
JP4149037B2 (ja) | 1998-06-04 | 2008-09-10 | オリンパス株式会社 | 映像システム |
US7254265B2 (en) | 2000-04-01 | 2007-08-07 | Newsight Corporation | Methods and systems for 2D/3D image conversion and optimization |
GB2372659A (en) | 2001-02-23 | 2002-08-28 | Sharp Kk | A method of rectifying a stereoscopic image |
JP2003018619A (ja) | 2001-07-03 | 2003-01-17 | Olympus Optical Co Ltd | 立体映像評価装置およびそれを用いた表示装置 |
JP2003061116A (ja) | 2001-08-09 | 2003-02-28 | Olympus Optical Co Ltd | 立体映像表示装置 |
EP2357840A3 (en) | 2002-03-27 | 2012-02-29 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
EP1742488B1 (en) | 2004-04-26 | 2014-10-15 | Olympus Corporation | Image file reproducing apparatus and method |
KR20060023714A (ko) | 2004-09-10 | 2006-03-15 | 학교법인 포항공과대학교 | 영상 정합 시스템 및 영상 정합 방법 |
US8885017B2 (en) | 2005-07-14 | 2014-11-11 | 3Ality Digital Systems, Llc | Real-time process and technology using image processing to maintain and ensure viewer comfort during capture, live transmission, and post-production of stereoscopic 3D imagery |
JP2011077984A (ja) | 2009-10-01 | 2011-04-14 | Panasonic Corp | 映像処理装置 |
JP2011082757A (ja) | 2009-10-06 | 2011-04-21 | Fujifilm Corp | 表示モード判定装置及び方法、並びに撮像装置及び方法 |
US10080006B2 (en) | 2009-12-11 | 2018-09-18 | Fotonation Limited | Stereoscopic (3D) panorama creation on handheld device |
WO2011105814A2 (ko) * | 2010-02-23 | 2011-09-01 | 삼성전자 주식회사 | 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치 |
GB2478157A (en) | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for cutting between a first and second image sequence in a stereoscopic video |
GB2478776B (en) * | 2010-03-18 | 2015-08-19 | Snell Ltd | Analysis of stereoscopic images |
US8890934B2 (en) * | 2010-03-19 | 2014-11-18 | Panasonic Corporation | Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same |
DE102010015258A1 (de) * | 2010-04-15 | 2011-10-20 | Bundesdruckerei Gmbh | Sicherheitselement mit einer lokal hinsichtlich ihrer Lichtausbreitungseigenschaften modifizierten lichtleitenden Struktur und Verfahren zur Herstellung eines solchen Sicherheitselements |
JP5546633B2 (ja) | 2010-06-25 | 2014-07-09 | 富士フイルム株式会社 | 立体画像再生装置、立体画像再生システム及び立体画像再生方法 |
JP2012047974A (ja) * | 2010-08-26 | 2012-03-08 | Toshiba Corp | 映像表示装置及び映像表示方法 |
US9530192B2 (en) | 2011-06-30 | 2016-12-27 | Kodak Alaris Inc. | Method for determining stereo quality score and automatically improving the quality of stereo images |
US9191649B2 (en) * | 2011-08-12 | 2015-11-17 | Qualcomm Incorporated | Systems and methods to capture a stereoscopic image pair |
US9402065B2 (en) | 2011-09-29 | 2016-07-26 | Qualcomm Incorporated | Methods and apparatus for conditional display of a stereoscopic image pair |
-
2011
- 2011-09-29 US US13/249,028 patent/US9402065B2/en active Active
-
2012
- 2012-09-26 IN IN2130CHN2014 patent/IN2014CN02130A/en unknown
- 2012-09-26 KR KR1020147010851A patent/KR101620766B1/ko not_active IP Right Cessation
- 2012-09-26 WO PCT/US2012/057232 patent/WO2013049130A1/en active Application Filing
- 2012-09-26 CN CN201280048172.5A patent/CN103843329B/zh active Active
- 2012-09-26 EP EP12772633.9A patent/EP2761875A1/en not_active Withdrawn
- 2012-09-26 JP JP2014533666A patent/JP5932045B2/ja not_active Expired - Fee Related
-
2016
- 2016-06-22 US US15/190,060 patent/US10171791B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP5932045B2 (ja) | 2016-06-08 |
KR20140070619A (ko) | 2014-06-10 |
JP2014531860A (ja) | 2014-11-27 |
US9402065B2 (en) | 2016-07-26 |
EP2761875A1 (en) | 2014-08-06 |
IN2014CN02130A (zh) | 2015-05-29 |
US20130083002A1 (en) | 2013-04-04 |
KR101620766B1 (ko) | 2016-05-12 |
US10171791B2 (en) | 2019-01-01 |
WO2013049130A1 (en) | 2013-04-04 |
US20160301913A1 (en) | 2016-10-13 |
CN103843329A (zh) | 2014-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103843329B (zh) | 用于立体图像对的有条件显示的方法和设备 | |
CN111083380B (zh) | 一种视频处理方法、电子设备及存储介质 | |
US9898856B2 (en) | Systems and methods for depth-assisted perspective distortion correction | |
US10593014B2 (en) | Image processing apparatus, image processing system, image capturing system, image processing method | |
US9343043B2 (en) | Methods and apparatus for generating composite images | |
JP6883608B2 (ja) | 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム | |
US20100194902A1 (en) | Method for high dynamic range imaging | |
KR20140112909A (ko) | 파노라마 영상을 생성하는 전자 장치 및 방법 | |
JP2017505004A (ja) | 画像生成方法及びデュアルレンズ装置 | |
CN104660909A (zh) | 图像获取方法、图像获取装置和终端 | |
KR101723210B1 (ko) | 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법 | |
US20160292842A1 (en) | Method and Apparatus for Enhanced Digital Imaging | |
KR20150091064A (ko) | 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템 | |
CN116168076A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
TWI615808B (zh) | 全景即時影像處理方法 | |
US9767580B2 (en) | Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images | |
CN114339029B (zh) | 拍摄方法、装置及电子设备 | |
CN112738399B (zh) | 图像处理方法、装置和电子设备 | |
CN109191396B (zh) | 人像处理方法和装置、电子设备、计算机可读存储介质 | |
CA2822946C (en) | Methods and apparatus for generating composite images | |
CN114119701A (zh) | 图像处理方法及其装置 | |
CN113016011A (zh) | 用于基底、涂覆品、中空玻璃单元等的增强现实***和方法 | |
CN115103169B (zh) | 投影画面校正方法、装置、存储介质以及投影设备 | |
CN113890984B (zh) | 拍照方法、图像处理方法和电子设备 | |
CN115965675A (zh) | 图像处理方法及装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |