CN102595169A - 用于360度立体视频捕捉的底架组件 - Google Patents

用于360度立体视频捕捉的底架组件 Download PDF

Info

Publication number
CN102595169A
CN102595169A CN2011104442939A CN201110444293A CN102595169A CN 102595169 A CN102595169 A CN 102595169A CN 2011104442939 A CN2011104442939 A CN 2011104442939A CN 201110444293 A CN201110444293 A CN 201110444293A CN 102595169 A CN102595169 A CN 102595169A
Authority
CN
China
Prior art keywords
image
view
imageing sensor
panorama
catadioptric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011104442939A
Other languages
English (en)
Inventor
H·扎尔加坡
A·加登
B·沃特
M·龙迪内利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102595169A publication Critical patent/CN102595169A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/565—Optical accessories, e.g. converters for close-up photography, tele-convertors, wide-angle convertors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/06—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe involving anamorphosis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明描述了用于360度立体视频捕捉的底架组件。公开了一种底架组件，包括底架以及固定安装到底架的多个图像传感器。图像传感器的数量可以变化，但是在一个示例中，存在三个图像传感器，在底架内排列成等边三角形。每个图像传感器包括相机(其可以是视频相机)和反折射镜。每个图像传感器中的镜子可以经由用于将镜子安装到底架的杆和环相对于相机固定安装。

Description

用于360度立体视频捕捉的底架组件
技术领域
本发明涉及用于360度立体视频捕捉的底架组件。
背景技术
人类视觉使用了各种提示来感知真实世界中的三维(3D)深度。这些提示之一是视网膜差异，其中眼间距离导致左眼和右眼接收到外界投影略微不同。立体成像尝试通过向每个眼睛呈现略微不同的图像来创建人为的3D深度感知。从彼此隔开一距离的不同有利地点捕捉两个图像，该距离近似于人眼的眼间距离。假定图像被正确地同步且有利地点近似眼间距离，则大脑以创建图像中深度幻象的方式来处理这些图像。
常规的3D相机包括用于生成两个场景视图的一对间隔开的图像传感器。尽管适用于场景的正视图或场景的某些其它部分，但是常规的3D相机不能获得场景的全景360度视图。这至少是因为在围绕360°全景的某一视角，第一图像传感器会捕捉第二图像传感器的视野，反之亦然，导致了360°视野内的堵塞。另一选择是旋转这对图像传感器以便在没有任何相机堵塞的情况下捕捉完全的360°视野，但该技术不能正确地捕捉动态场景。
发明内容
本文公开了一种底架组件，包括底架以及固定安装到底架的多个图像传感器。图像传感器的数量可以变化，但是在一个示例中，存在三个图像传感器，在底架内排列成等边三角形。每个图像传感器包括相机(其可以是视频相机)和反折射(catadioptric)镜。每个视频传感器中的镜子可以经由用于将镜子安装到底架的杆和环(collar)相对于相机来固定安装。在实施例中，每个图像传感器中的镜子具有等角表面。
图像传感器用于捕捉全景图像，例如360°全景。在一个示例中，第一图像传感器捕捉全景的第一部分的视图以及捕捉全景第的二部分的视图，全景的第一部分的视图用于第一部分的立体视图的左视角，全景的第二部分的视图用于第二部分的立体视图的右视角。第一图像传感器不用于捕捉全景的第三部分的视图。
第二图像传感器捕捉全景的第一部分的视图以及捕捉全景的第三部分的视图，全景的第一部分的视图用于第一部分的立体视图的右视角，全景的第三部分的视图用于第三部分的立体视图的左视角。第二图像传感器不用于捕捉第二部分的视图。
第三图像传感器捕捉全景的第三部分的视图以及捕捉全景的第二部分的视图，全景的第三部分的视图用于第三部分的立体视图的右视角，全景的第二部分的视图用于第二部分的立体视图的左视角。第三图像传感器不用于捕捉第一部分的视图。
在一个示例中，本技术涉及用于捕捉立体图像数据的***，包括：彼此结合操作以捕捉全景的左、右视图用于生成全景的立体视图。
在另一个示例中，本技术涉及用于捕捉立体图像数据的反折射底架组件，包括：底架，包括三个容纳器(receptacle)；以及三个图像传感器，在底架的每个容纳器中固定安装一个，三个图像传感器一起工作以捕捉用于提供全景的立体视图的图像数据。
在另一示例中，本技术涉及用于捕捉立体图像数据的反折射组件，包括：三个图像传感器，它们彼此固定安装并且一起工作以捕捉用于提供全景的立体视图的图像数据，三个图像传感器中的每个图像传感器包括：用于捕捉图像的相机，以及用于将绕反折射镜360°的图像引导到相机中的反折射镜。
提供本发明内容以便以简化形式介绍在以下详细描述中进一步描述的概念精选。本发明内容不旨在标识所要求保护主题的关键或必要特征，也不旨在用于帮助确定所要求保护主题的范围。此外，所要求保护的主题并不受限于解决在本公开任何部分提到的任何或全部缺点的实现。
附图说明
图1是包括反折射底架组件和计算***的本***的示意图。
图2是反折射底架组件的透视图。
图3是反折射底架的透视图。
图4是移除了凸镜的反折射底架组件的一部分的透视图。
图5是在反折射底架组件的图像传感器内使用的镜子的俯视图。
图6是反折射底架组件的图像传感器的截面侧视图。
图7是捕捉全景视图的反折射底架组件的俯视图。
图8是捕捉图7中全景的不同部分的视图的反折射底架组件的俯视图。
图8A是图7中反折射底架组件的示意图，示出了遮挡角的计算。
图9是示出图8的反折射底架组件的图像传感器的左视图、右视图和遮挡视图的图表。
图10-12是根据本***替代实施例的反折射底架组件的俯视图。
图13是本***的一实施例的操作流程图。
图14是捕捉反折射图像的凸镜的仰视图。
图15是从图14的反折射图像弯曲的柱形图像的透视图。
图16是图14中凸镜的仰视图，示出凸镜的多种参数。
图17是图15中柱形图像的展平视图。
图18-20是由三个图像传感器捕捉的柱形图像，示出可以出于校准目的而在不同图像之间匹配的提示。
图21是示出图13中步骤208的进一步细节的流程图。
图22是示出图13中步骤212的进一步细节的流程图。
图23是来自不同图像传感器的柱形图像被分成左视图和右视图的示意图。
图24和25是在从全景的不同部分接收图像数据时区分明显的眼间距离的两个示例。
图26是左图像被组合成全景左图像且右图像被组合成全景右图像的示意图。
图27是示出图13中步骤218的进一步细节的流程图。
图28是示出图27中步骤274的进一步细节的流程图。
图29是待组合的左图像对或右图像对的示意图。
图30是图29的图像被组合成带有重叠区域的示意图。
图31是示出图30的图像在重叠区域中以第一方向通过而弯曲的示意图。
图32是示出图30的图像在重叠区域中以第二方向通过而弯曲的示意图。
图33是可在其上实现本***实施例的示例计算设备的框图。
具体实施方式
现在参考附图1-33描述本技术的多个实施例，这些实施例一般涉及用于生成全景立体图像的***和方法。在各实施例中，本***包括硬件和软件组件。硬件组件包括计算设备以及在底架中彼此固定的三个或更多图像传感器的组件。每个图像传感器生成全景的图像，诸如场景的360°视图。软件组件将反折射图像处理成全景的柱形图像，将来自不同图像传感器的柱形图像彼此在空间上校准并且在时间上同步，将柱形图像分成用于左眼的图像和用于右眼的图像，然后将来自不同传感器的左眼图像以及来自不同传感器的右眼图像缝合在一起。结果是可以向用户显示以便提供例如360°全景的3D立体视图的全景左视图和右视图。
在示例中，***中所使用的图像可以是真实事件、人物、地点或事物的图像。仅在一些非限制性的示例中，图像可以是体育事件或音乐会的图像，其中用户能够观看来自竞技场、舞台或者图像收集设备所位于的任何地方的事件。下面说明用于生成场景的立体全景视图的硬件和软件组件。
图1-4示出用于捕捉全景立体图像的***100的一个示例。***100包括能够与计算***110通信的反折射底架组件104。下面参照图33更详细地说明了计算***110的实施例，但通常，计算***110可以是一个或多个台式计算机、膝上型计算机、服务器、多处理器***、大型计算机、分布式计算环境或其它处理***。反折射底架组件104可以经由物理连接或者无线地与计算***110通信。在实施例中，计算***110可以是与组件104分离的组件。在这样的实施例中，计算***110可以直接连到组件104，或者计算***110和组件104可以经由例如LAN或因特网这样的网络连接相连。在进一步的实施例中，计算***可以被集成为反折射底架组件104的一部分，以形成单个组件。
在图1-4的示例实施例中，反折射底架组件104包括三个反折射图像传感器112、114和116。每个反折射图像传感器可以一起安装在底架120中以使图像传感器彼此保持固定。图3是没有图像传感器112、114、116的底架120的视图。底架120可以包括容纳器，一般为柱形的图像传感器112、114、116的每一个可以被容纳并且例如通过一个或多个螺杆或其它扣件扣紧在容纳器中。一旦被扣紧，图像传感器112、114和116就相对于彼此保持基本上固定。在所示的实施例中，底架120被配置成容纳三个反折射图像传感器。如下面说明的，底架120可以被配置成容纳三个以上的图像传感器。底架120例如可以安装在三脚架122上。
每个图像传感器112、114、116包括中心轴，每个中心轴在此被称为传感器112、114、116的光轴。传感器112、114、116固定在底架120内，使得光轴一起限定了等边三角形的顶点。在其它实施例中，相应传感器的轴可以形成其它配置的三角形。底架120可由金属、塑料或其它刚性材料形成。在包括三个以上图像传感器的实施例中，底架120可被相应地配置成将组件内的每个图像传感器保持为彼此固定关系。
由于反折射图像传感器112、114、116的每一个彼此相同，以下对其一的说明应用于阵列104中的每一个反折射图像传感器。如图1-2、4-6所示，每个反折射图像传感器可以包括相机124以及经由杆132和环133固定安装到相机124的凸镜130。镜子130包括顶部130a和与杆132相邻的底部130b。杆132可以是关于反折射图像传感器的光轴而同轴的，并且可以支撑镜子使得镜子的底部130b距离相机约为7英寸，然而在其它实施例中也可以更大或更小。杆132可以是直径为四分之一英寸到二分之一英寸的圆形，然而在其它实施例中，它也可以具有其它直径并且可以是其它截面形状。
镜子130和杆132可以通过环133相对于相机124而固定，环133可以附加到底架120的容纳器。镜子130和杆132可以通过各种其它附加方法来附加到底架120和/或相机124。在2008年7月15日颁发的题为“Apparatus ForMounting a Panoramic Mirror(用于安装全景镜的装置)”的第7399095号美国专利中公开了一种这样的方法，该专利整体结合于此。构想了其它安装结构，用于以使安装结构在由反折射图像传感器所捕捉的图像中最少出现的方式将镜子安装到相机。相机124可以是用于捕捉图像并将图像数字化为像素数据的已知数字相机。在一个示例中，相机可以是具有IEEE-1394接口的IIDC数字相机。可使用其它类型的数字相机。
凸镜130可以关于光轴对称，并且通常可用来捕捉来自360°全景的图像数据并将该图像数据向下引导至相机124。具体而言，如图5、6中所示的，镜子130的表面被设置成使入射到镜子130的部分上的光线LR被引导到相机124中的透镜134。透镜又将光线聚焦到图像传感设备138上，图像传感设备138可以例如是图6示意性示出的CCD或CMOS传感器。在下面描述的实施例中，每个反折射图像传感器112、114、116所捕捉的全景可以是360°全景。然而，由图像传感器所产生的全景可以小于360°，诸如在90°与360°之间，但在其它实施例中也可以小于90°。
在实施例中，镜子130的表面可以关于图像传感器的光轴对称。可以使用在与相机光学元件组合时真正等角的镜形状。在这一等角的镜/相机***中，图像中的每个像素可以跨越相等的角度，而不考虑它距由反折射图像传感器112、114、116所创建的圆形图像中心的距离。由此，图像的径向弯曲是统一的。可以修改镜子形状，以便补偿在与镜子组合时相机透镜添加的透视效果，从而提供经改进的高分辨率全景图像。关于凸镜130形状的一个示例的进一步细节在2006年6月6日向Singh等人颁发的题为“System andMethod for Panoramic Imaging(用于全景成像的***和方法)”第7058239号美国专利中有阐述，该专利通过引用整体结合于此。下面提供了镜子130的形状的一些细节。
图5、6示出等角镜130的示例的几何形状。所反射的光线LR由常数增益α来放大，而不管沿着镜子130的垂直轮廓的位置。这些镜子的一般形式在公式(1)中给出：
cos ( θ 1 + α 2 ) = ( γ γ 0 ) - ( 1 + α ) / 2 - - - ( 1 )
对于不同的α值，可以生产具有高曲度或低曲度的镜子，而仍旧保持它们的等角特性。在一个实施例中，α在从大约3到大约15的范围内，例如可以为11。这些镜的一个优点是图像数据中的常数分辨率。在实施例中，镜子130的顶部130a可以具有3英寸直径，镜子130从顶部130a到底部130b的高度可以是2英寸。在其它实施例中，该直径和高度可以在那些值以上和/或以下变化。
已经确定，向相机添加透镜引入了使得每个像素不跨越相同的角度的效果。这是因为镜子和相机的组合不再是投影设备。由此，为了真正的等角，可以将镜子成形为计入透镜的透视效果，并且可以修改算法。以上标识的第2003/0095338号美国专利公开中阐述了如何修改上述公式(1)以计入透镜效应的示例，这些示例通过引用结合于此。
表面符合这些凸面外形的镜子130的一个优点是它们导致图像数据中的常数分辨率。这允许简明的数学变换和不昂贵的处理能将每个反折射图像传感器112、114、116所获得的圆形图像转换(或展开(un-warp))成具有线性x轴和y轴分量的柱形图像。然而，可以理解，在其它实施例中镜表面可以符合各种其它外形。在这些其它实施例中，可以使用已知的数学公式来将由每个反折射图像传感器所获得的所得圆形图像转换成具有线性x轴和y轴分量的柱形图像。
在实施例中，镜子130可由涂敷有铝制反射面和例如硅之类的保护涂层的
Figure BSA00000647194100071
玻璃制成。应当理解，在其它实施例中，镜子130可由其它材料以及其它反射面和/或涂层制成。在一个示例中，镜子的平滑度是可见光波长的四分之一，但是同样，在其它实施例中这也可以变化。
图7示出具有三个反折射图像传感器112、114和116的反折射底架组件104的示例的俯视图。图像传感器的每一个捕捉周围全景P的图像。如下面说明的，包括三个或更多图像传感器的组件104的一个特征是可以从组件104中至少两个不同的图像传感器选择周围全景P的视图，以便在各个方向上从图像传感器提供360°全景P的无阻碍立体图。例如，如图8的俯视图所示，可以使用图像传感器112和114来提供全景P的部分P1的无阻碍视图；可以使用图像传感器114和116来提供全景P的部分P2的无阻碍视图；并且可以使用图像传感器116和112来提供全景P的部分P3的无阻碍视图。部分P1、P2和P3一起形成全景的360°视图。在实施例中，片段P1、P2和P3的每一个可以是120°，但在其它实施例中无需如此。
一般而言，如背景技术部分中所述，为了提供立体图像，从不同视野拍摄两个图像：左侧视图和右侧视图。当左侧视图和右侧视图偏移与人眼的眼间距离近似的视差时，可以向左眼显示左侧图像，向右眼显示右侧图像。所产生的组合图像(如果被正确校准和同步)可由大脑解释为具有立体深度。
为了使用组件104的图像传感器来提供该立体效果，给定的图像传感器在捕捉全景的第一部分时提供左侧图像，同一个图像传感器在观看全景的第二部分时提供右侧图像。确定两个图像传感器中的哪一个提供了全景的给定部分的左侧图像和右侧图像取决于相对于来自全景该部分的光线哪个图像传感器在左而哪个在右。
例如，现在参考图8，当使用图像传感器112和114来捕捉全景的图像部分P1时，图像传感器114相对于入射光线在右侧，并由此图像传感器114为部分P1提供右侧图像。然而，当使用图像传感器114和116来捕捉全景的图像部分P2时，图像传感器114相对于入射光线在左侧，并由此图像传感器114为部分P2提供左侧图像。当使用组件104来捕捉图像部分P3时，来自图像传感器114的视图可包括图像传感器112和116并且被它们阻碍，因此在捕捉全景的部分P3的视图时不使用图像传感器114。以下提供了用于获得全景图像并将它们处理成立体全景视图的***110的结构和操作。
图9示出由图8中围绕360°全景的图像传感器112、114、116捕捉的图像的图表，其中将原点(0°)任意地选择为在P3和P1之间。如图所示，对于图8的配置，图像传感器112将为部分P1提供左侧图像数据，并且相对部分P2被遮蔽，并且会为部分P3提供右侧图像数据。图像传感器114将为部分P1提供右侧图像数据，为部分P2提供左侧图像数据，并且会相对部分P3被遮蔽。图像传感器116将相对部分P1被遮蔽，为部分P2提供右侧图像数据，并且会为部分P3提供左侧图像数据。图8和9中用“x”标记的区域表示来自该图像传感器的视野，该视野被另一图像传感器阻碍并且随后在生成立体全景视图时不使用。可以理解，由于图像传感器观看全景的不同部分，其它相机配置会得到左图像数据、右图像数据和被遮蔽的图像数据的不同分解。
在图8所示的三传感器实施例中，可能使左图像跨越120°，右图像跨越120°，被遮蔽的区域为120°。然而，如下面说明的，当来自每个图像传感器的左图像被组合并且来自每个图像传感器的右图像被组合时，希望在图像中提供可能发生缝合和混合的重叠。在实施例中，如图9所示，左图像片段和右图像片段可能有某种程度的重叠。此外，也如图9所示，通过降低被用作遮蔽区域x的区域的角大小，可以提高左图像和右图像的跨度。重叠程度可以变化，但例如可以是10°到20°的重叠。在其它实施例中，重叠可以更大或更小。
遮蔽区域x可以被减少的量取决于图像传感器112、114、116中使用的镜子的尺寸和间隔。现在将参考图8A的示例来说明这一点。该示例示出关于图像传感器112的尺寸和间隔，但同样也可以应用于图像传感器114和116。来自图像传感器112的右图像可以延伸到和传感器116相切的线j。此外，右图像会包括图像传感器116的视图。类似地，来自传感器112的左图像可以延伸到和传感器114相切的线k。此外，左图像会包括图像传感器114的视图。
在图8A中，r是镜子的半径rmax，而D是镜子之间的中心-中心距离。限定遮蔽区域x的遮蔽角(以度为单位)由角α+β+α给出，其中：
α＝sin-1(r/D)，以及
β＝180(1-(2/N))，其中N等于镜子的数目。
由此，遮蔽角由以下公式给出：
2sin-1(r/D)+180(1-(2/N)).             (2)
从以上公式可见，在图像传感器112、114和116的三个镜子互相接触使得D＝2r时，公式(2)给出的遮蔽角会是120°。然而，当镜子之间存在间隔使得D大于2r时，遮蔽角会小于120°，使得如图9所示，左图像和右图像有更大的重叠跨度。期望的重叠可以通过选择镜子的尺寸和间隔来设置。
如所指出的，在其它实施例中，反折射底架组件140可以包括三个以上的图像传感器。图10是包括标记为IS1、IS2、IS3和IS4的四个图像传感器的反折射底架组件104的俯视图。图像传感器1和2可用于提供全景P的部分P1的无阻碍视图；图像传感器2和3可用于提供全景P的部分P2的无阻碍视图；图像传感器3和4可用于提供全景P的部分P3的无阻碍视图；以及图像传感器4和1可用于提供全景P的部分P4的无阻碍视图。在实施例中，片段P1、P2、P3和P4的每一个可以都是90°，但是在其它实施例中无需如此。根据哪个部分正在被捕捉，每个图像传感器可用于提供左侧视图或右侧视图。例如，图像传感器3在捕捉P2时提供右侧视图，而在捕捉P3时提供左侧视图。
在各实施例中，在四个镜子的配置中，为了提供用于缝合图像的重叠区域，左图像和右图像跨越的角度应当大于90°(360°/4)。左图像和右图像的跨度可以通过彼此重叠来增加。除此之外或作为替代，遮挡区域x可以小于180°。特别是，如关于图像传感器1所示的，右图像跨越的角可以被提高至线j，左图像可被提高至线k。虽然仅针对图像传感器1示出，但是这可以应用于每个图像传感器1-4。如上所示，线j与相邻图像传感器4相切，且线k与相邻传感器2相切。可以选择图像传感器1-4中镜子的尺寸和形状以由上述公式(2)限定遮挡区域。遮挡区域的量会部分地限定左图像和右图像的可允许跨度。
其它配置是已知的。图11示出包括图像传感器1-5的反折射底架组件104的俯视图。如图11所示，相邻的图像传感器对可用来捕捉五个不同的部分P1-P5。根据哪个部分正在被捕捉，每个图像传感器可用于提供左侧视图或右侧视图。例如，图像传感器5在捕捉P5时提供右侧视图，而在捕捉P1时提供左侧视图。可以设置左图像和右图像间的重叠。此外，遮挡区域x可以被缩小至由线j和k(分别为图像传感器5和2的切线)所界定的角。这还允许提高左图像和右图像的跨度。尽管仅在图像传感器1上示出，但是针对图像传感器1示出的遮挡区域可以应用于图像传感器1-5的每一个。
图12示出进一步的配置，该配置包括含有图像传感器1-6的反折射底架组件104的俯视图。如图12所示，相邻的图像传感器对可用来捕捉六个不同的部分P1-P6。根据哪个部分正在被捕捉，每个图像传感器可用于提供左侧视图或右侧视图。例如，图像传感器4在捕捉P3时提供右侧视图，而在捕捉P4时提供左侧视图。可以设置左图像和右图像间的重叠。此外，遮挡区域x可以被缩小至由线j和k(分别为图像传感器6和2的切线)所界定的角。这还允许提高左图像和右图像的跨度。尽管仅在图像传感器1上示出，但是针对图像传感器1示出的遮挡区域可以应用于图像传感器1-6的每一个。
图1-12中列举的实施例仅仅是示例性的。应当理解，在其它实施例中，其它的反折射底架组件104可以包括六个以上的图像传感器。此外，在反折射底架组件104的实施例具有在与每个图像传感器的光轴垂直的平面上彼此对齐的不同图像传感器时，可以构想，图像传感器中的一个或多个相对于一个或多个其它图像传感器可以在平面之外；也就是说，一个或多个图像传感器可以沿其光轴相对于一个或多个其它图像传感器上移或下移。
此外，尽管反折射底架组件104中的全部图像传感器的光轴可以彼此平行，但是可以构想，一个或多个图像传感器的光轴可以朝向或远离一个或多个剩余图像传感器的光轴而倾斜。例如，图像传感器的光轴可以朝向彼此倾斜0°与45°之间的角度。下述实施例是关于具有三个图像传感器112、114和116的组件104描述的。然而，以下描述也可应用于具有三个以上图像传感器的组件104。
此外，尽管本技术的实施例包括上述镜子130，替换实施例可以在没有镜子的情况下捕捉围绕360°全景的图像。具体而言，相机124可以包括广角透镜，使得包括例如三个这种图像传感器的实施例可以捕捉全景的三个图像，每个都约为360°。之后，如以下所说明的，所捕捉的图像可以被解析成柱形图像。
图13是示出从由反折射底架组件104的图像传感器所捕捉的反折射图像生成左全景图像和右全景图像的高级流程图。在步骤200中，反折射底架组件104的图像传感器112、114、116捕捉反折射图像数据。如上所述，反折射底架组件104中的每个图像传感器捕捉例如围绕360°全景的周围全景P的图像。图14示出由图像传感器112、114、116获得的360°全景P的反折射图像150。来自360°围绕图像传感器的光线入射到镜子130上，并向下反射进入相机124以创建反折射图像150。反折射图像150包括全景P、以及组件104中其它传感器的图像。例如，在图14所示的图像由图像传感器116生成时，传感器112和114的图像在所捕捉的图像中可见。
在步骤202中，来自每一个图像传感器的图像可以在时间上彼此同步，步骤204是重新获得捕捉***参数的校准步骤。这些参数对于将来自输入图像的像素映射到输出立体柱形图像是必要的。如以下所说明的，在实施例中，图13的步骤可以每帧执行一次，以提供立体视频图像。在这样的实施例中，同步步骤202仅需执行一次。一旦图像传感器彼此同步，就无需对于每帧重复该步骤。然而，在其它实施例中，可以每帧执行同步步骤。类似地，可构想校准步骤可以仅执行一次。例如，在步骤204，校准步骤可以通过受控图像在受控环境中执行。一旦图像彼此校准，就无需每帧都重复该步骤。然而，与时间同步步骤不同，图像传感器的彼此校准更可能改变，例如，如果图像传感器被震动、掉落或以其它方式彼此运动。因此，在其它实施例中，可以每帧执行校准步骤204(或者在受控环境中以及随后在受控环境外的实况使用中，或者仅在受控环境外的实况使用中)。
步骤202的适当同步操作的进一步细节在申请人于2010年5月3日提交的题为“Heterogeneous Image Sensor Synchronization(异类图像传感器同步)”的共同待批美国专利申请第12/772,802号中公开，该申请通过引用整体结合于此。然而，一般而言，可以使用已知的同步锁相技术并且/或者图像传感器112、114、116中的每一个可以被绑定至反折射底架组件104中或者计算设备110中的公共时钟。通过使用公共时钟，***可以确保在来自不同图像传感器的图像被组合时，图像都是在同一时间实例拍摄的。在实施例中，如果图像传感器全部被同步锁相或硬件同步，可以省略同步步骤。
图13的校准步骤204包括将相机124中获得的反折射图像弯曲为柱形图像的步骤208。具体而言，镜子130的底部130b从全景P接收的光线量与镜顶部130a相同。然而，底部130b小于顶部130a。因而，与从顶部130a生成的反折射图像数据相比，镜子130的底部130b所生成的全景图像数据更为紧缩。在上文提到的第7,058,239号美国专利中公开了用于将反折射图像弯曲成柱形图像(也称为将反折射图像展开成柱形图像)的算法细节。进一步的细节也在2005年2月15日颁发的题为“Panoramic Mirror and System ForProducing Enhanced Panoramic Images(用于产生增强的全景图像的全景镜和***)”的第6,856,472号美国专利中公开，该专利通过引用整体结合于此。
图15示出弯曲成柱形图像154的图14中反折射图像数据的示意表示。柱形图像154可以由反折射图像150的等角或等直角投影产生。图17示出变平成柱形图像数据二维表示的图15中柱形图像154。尽管在图17上被示为平坦的二维图像，柱形图像154表示全景的360°视图，其最左侧部分和最右侧部分是全景的同一区域的图像。
图16是图14中反折射图像150的视图，其中具有图像中心(xcen，ycen)、最小半径rmin(从所投影镜杆的中心到边缘)、以及最大半径rmax(从镜子的中心到外边缘)的指示。如图17所示，反折射图像中从rmin到rmax通过(xcen，ycen)的径线158映射到柱形图像中的垂线160。
给定柱形图像的宽度w，对于图像传感器，对着角θ(逆时针方向)的径线158通过以下公式被映射到垂线160：
x＝w*(θ)/2π.
沿着宽度维度上的距离x的范围是从0到全宽w。
如上所述，在实施例中，镜子形状是等角的。这一形状的优点在于，沿着x和y方向上在径线158和垂线160之间的弯曲是线性的。也就是说，y坐标(在底部y＝0)对应于：
y＝h*(r-rmin)/(rmax-rmin)
其中h是柱形图像的高度。沿着高度维度的距离y从0至全高h(在r＝rmax)变化。如上所述，在其它实施例中，镜子形状可以不是等角的。在这样的实施例中，可以推导出用于将反折射图像中的径线158弯曲成柱形图像中垂线160的已知公式。
对于第二和第三图像传感器从反折射数据到柱形数据的映射与对于第一图像传感器所述的是相同的，除了添加固定角偏移以计入第二和第三图像传感器相对于第一图像传感器的相对定向之外。
校准步骤204还包括将来自不同图像传感器112、114、116的图像垂直地对齐。具体而言，如下面所说明的，来自不同图像传感器的图像部分彼此组合。即使在图像传感器最初彼此校准的情况下，移动、震动或错位也会使来自不同图像传感器的图像变成未校准。执行校准以确保图像在垂直方向上(沿y方向)对齐，因为y方向上的错位会影响立体效果。校准在水平方向上(沿x方向)并不如此关键，因为图像彼此间有意偏移与眼间距离近似的距离以产生深度幻象和3D效果。
如上所述，可以执行校准一次或者可以周期性地执行校准，例如在反折射底架组件104静止的情况下。或者，可以对来自图像传感器112、114、116的捕捉图像数据的每帧执行校准，例如在反折射底架组件104静止或移动的情况下。在实施例中，反折射底架组件104可以包括图像稳定硬件和/或软件以最小化图像传感器112、114、116所捕捉的图像之间的任何差异。
图18又示出在步骤200和208中由第一图像传感器生成的全景的柱形数据。图19和20类似地分别示出由第二和第三图像传感器以类似方式生成的柱形图像数据。。如图可见，在捕捉完全的360°全景时，每个图像传感器捕捉其视野内的剩余图像传感器的图像。如上所述，每个图像传感器所生成的图像具有四个可变参数：定义图像中心的两个参数(xcen，ycen)；从所投影镜杆的中心到边缘的最小半径rmin；以及镜子中心到外边缘的最大半径rmax。对于三图像传感器***，存在十二个可变参数。
然而，通过使图像传感器之一作为基准，而其它图像传感器与基准相比较，可以将可变参数的数量减少为八个。校准步骤208的目标是选择第二和第三图像传感器的可变参数，以便最小化由三个图像传感器所生成的柱形图像之间的垂直移位。
一种执行校准步骤208的方法是通过标识由不同图像传感器112、114和116所生成的图像中诸如对象角落166之类的点特征。现在将参考附图21的流程图描述这一校准步骤的进一步细节。在步骤224，来自不同图像传感器的图像的点特征166(在图18-20中标记出其中的一些)被标识。点特征可以是具有局部强度边缘的数据点，因此在来自不同图像传感器的图像之间可以容易地被标识。理想情况下，在每个图像内标识多个这种空间上良好分布的点特征。图像内的其它对象的各方面也可以成为提示。
存在各种用于从图像中标识出提示的已知算法。在例如Mikolajczyk，K和Schmid，C的“A Performance Evaluation of Local Descriptors(局部描述符的性能评估)”(IEEE Transactions on Pattern Analysis & MachineIntelligence(IEEE模式分析和机器智能学报)，27，10，1615-1630(2005))中阐述了这种算法。该论文通过引用整体结合于此。用于通过图像数据检测提示的另一方法是比例不变特征变换(Scale-Invariant Feature Transform，SIFT)算法。例如在2004年3月23日颁发的题为“Method and Apparatus forIdentifying Scale Invariant Features in an Image and Use of Same for Locatingan Object in an Image(用于在图像中标识比例不变特征以及将其用于定位图像中对象的方法和装置)”的美国专利第6,711,293号中描述了SIFT算法，该专利通过引用整体结合于此。另一提示检测器方法是最大稳定极值区域(Maximally Stable Extremal Regions，MSER)算法。例如在J.Matas、O.Chum、M.Urba、和T.Pajdla的论文“Robust Wide Baseline Stereo FromMaximally Stable Extremal Regions(来自最大稳定极值区域的强健宽基线立体)”(Proc.of British Machine Vision Conference(英国机器视觉会议文集)，第384-396页(2002年))中描述了MSER算法，该论文通过引用整体结合于此。
一旦来自相应图像的点特征被标识，在步骤226，这些点匹配就可以被映射回所输入的反折射图像(图14和16)。对于给定的一组假定相机参数，来自输入图像的提示166可以被映射至柱形坐标。在步骤230，在图像之间比较提示以标识不同图像中的相同提示。在步骤234，可以找到提示166的相应对之间的垂直(y坐标)移位。因此，在步骤238，选择了能产生最小垂直移位(差异)平均的可变参数值。在一个实施例中，可以使用Nelder-Mead单形算法来搜索能使图像传感器112、114和116之间的垂直移位最小化的局部最优相机参数。Nelder-Mead单形算法在例如由Nelder，John A.、R.Mead的“A Simplex Method For Function Minimization(用于函数最小化的单形方法)”(Computer Journal(计算机学刊)7：308-313(1965))中有描述，该公开通过引用整体结合于此。
在图像彼此校准之后，在步骤212，来自每个图像传感器112、114和116的图像被分成左视图和右视图。左视图是指将向用户左眼显示的图像数据，右视图是指将向用户右眼显示的图像数据，从而向用户显示在全景时创建立体效果。重要的是，当两个图像传感器从场景的相同部分接收图像数据时，由于两个图像在反折射底架组件104内彼此间偏移，因此两个图像包含视差。所捕捉的视差是造成立体效果的原因。
根据图像数据来自于全景中的哪个区域，每个图像传感器既生成左视图又生成右视图。在从全景的一个区域接收图像数据时，图像传感器提供右视图，在从全景的另一个区域接收图像数据时，同一个图像传感器可以提供左视图。现在参考图21的流程图以及图8、9和23的示图来说明将来自图像传感器的图像数据分成左视图和右视图的进一步细节。
在步骤250中，对于给定的反折射底架组件配置，可以根据组件相对于正在被捕捉的全景部分的定向，预先确定每个图像传感器所捕捉的哪些视图将被用作左视图、右视图或不使用。如图8和9中所示的，当反折射底架组件104如图8所示地定向时，来自全景的部分P1的图像由图像传感器112和114来捕捉。两个图像传感器接收来自部分P1的图像数据，其中图像传感器112接收左侧图像数据，图像传感器114接收右侧图像数据。由于两个图像间的视差，分别来自图像传感器112和114的部分P1的左视图和右视图的呈现会实现部分P1的立体视图。如下面说明的，明显的眼间距离取决于图像数据是来自P1的中间部分还是来自P1的边侧部分而改变，该改变可以被校正。在查看部分P1时，图像传感器116捕捉图像传感器112、114中至少一个的出现。由此，来自图像传感器116的视图不用于来自部分P1的图像数据。
以相同方式，图像传感器114和116分别提供部分P2左视图和右视图。图像传感器112不用于来自部分P2的图像数据。图像传感器116和112分别提供部分P3的左视图和右视图。图像传感器114不用于来自部分P3的图像数据。由此，围绕360°全景，给定的图像传感器将提供左视图、右视图和无视图。
现在参考图22的流程图以及图23的示图，来自图像传感器112、114和116中每一个的左视图被分组在一起，来自图像传感器112、114和116中每一个的右视图被分组在一起。图23示出分别从例如图像传感器112、114和116取得的柱形图像168、170和172。在图像168、170和172的每一个上标记左视图和右视图。然后在步骤254，处理图像168、170、172的每一个以便移除除了左视图以外的全部视图，并且在步骤258，被保存为一组图像174、176和178。类似地，在步骤260，再次处理图像168、170和172来移除除了右视图以外的全部视图，这些图像在步骤264被保存为一组图像180、182和184。然后图像168、170和172可以被缝合在一起以提供整个全景的左视图图像数据，但是将图像传感器处理出图像外。类似地，图像174、176和178随后可以被缝合在一起以提供整个全景的右视图图像数据，但是将图像传感器处理出图像外。下面说明了缝合步骤。
如上所述，一对图像传感器之间的明显眼间距离可以取决于图像传感器正在从全景的哪个部分接收图像数据而改变。例如，图24和25示出两种情况。在第一种情况下，图像传感器114和116正在观看图像传感器的基本上正前方的全景部分(按照上述的任意惯例，这是来自P2的中间部分)。在上下文中的“正前方”是指与图像传感器114和116的光轴之间的线垂直。明显的眼间距离是D1。在图25的第二种情况下，图像传感器114和116正在观看靠近边界的全景部分，例如，靠近部分P1。明显的眼间距离是D2。D2小于D1。因而，对图25中全景部分捕捉的左图像数据和右图像数据的立体效果与对图24中全景部分捕捉的左图像数据和右图像数据的立体效果不同。
因而，参照图13中的步骤214，可以处理左图像168、170、172以及右图像174、176、178以便校正在从全景一部分的中间拍摄的视图和边侧拍摄的视图之间的明显眼间距离变化。该处理步骤可以涉及处理图像以便有效地改变捕捉图像的有利地点，使得不管是查看全景的正前方部分还是边侧部分，明显眼间距离都是相同的。有利的点的这一变化不是相机位置的实际变化。它是在机器空间中图像传感器有利地点的转换，以便有效地转换图像数据，就如同图像传感器处在不同的有利地点那样。在图像传感器彼此校准之后，在单参考***中，每个图像传感器的位置相对于彼此是已知的。这样，来自任一个图像传感器的图像数据可以用已知的矩阵变换来转换，其中移位部分地取决于场景深度，以便表现为在不同的有利地点生成。在其它实施例中可以省略对眼间距离变化的校正步骤214。
现在参考图13中的步骤218以及图26的示图，一旦如上所述获得了左图像174、176、178和右图像180、182、184，左图像可被组合成单个全景左图像186，并且右图像可被组合成单个全景右图像188。在上述三图像传感器配置中，左图像174、176、178和右图像180、182、184中的每一个可能仅跨越120°，使得当被组合到全景左图像186和全景右图像188中时，每个图像包括完整的360°全景。然而，例如当组合左图像174、176、178时，每个图像来自不同的图像传感器以及略微不同的视角。由此，即使图像传感器捕捉在图像之间的接缝处的相同图像，不同视图之间的视差也会在图像被组合之处的接缝处造成不连续。对于在将右图像180、182、184组合为全景右图像188时同样如此。
为了防止不连续性，图像传感器112、114、116所捕捉的左视图和右视图的每一个可以各自跨越略大于120°，使得在组合左图像174、176、178时，接缝处有重叠。对于右图像180、182、184同样如此。组合图像例如可以重叠10°至20°，然而在其它实施例中，重叠可以更大或更小。
现在将参考图27的流程图说明组合左图像174、176、178和右图像180、182、184的步骤218的进一步细节。组合图像涉及将左图像的边缘重叠在一起以形成合成全景左图像、以及将右图像重叠在一起以形成合成全景右图像的步骤270。此后，在步骤274，在重叠区域内执行缝合算法以移除任何接缝的出现。
参考图28的流程图和图29-32的示图来描述步骤274的缝合操作的进一步细节。图29示出要缝合在一起的一对图像190和192。图像190、192可以来自图26所示的左侧图像174、176、178或右侧图像180、182、184中的任一个。为清楚起见，以虚线示出图像192。图像190和192包括对象194、196，这些对象可以是由图像传感器所捕捉的任何对象。在其它示例中，可以存在更少或更多的这种对象。图30示出具有重叠区域198的被组合图像190、192。尽管图像是对相同对象拍摄的，但是因为图像从略微不同的视角拍摄，因此对象彼此并未完全对齐。对象194在重叠区域198中被示为对象194a和194b，并且对象196在重叠区域198中被示为对象196a和196b。
在步骤284，计算两个流场；一个流场将图像190的特征弯曲为重叠区域198内图像192的相应特征，另一个流场将图像192的特征弯曲为重叠区域198内图像190的相应特征。每个流场以相同方式计算，通过对强度分布和移位像素进行局部比较以便最小化强度分布中的差异。这具有分别对齐对象194a和194b以及对象196a和196b的效果。在实施例中，也可以标识和对齐诸如对象角落和边缘之类的图像特征，以便计算流。作为校准的结果，重叠区域198内的190和192之间的移位是水平的。通过将场景对象保持在最小距离，可以将移位保持为合理的小，以便使光流计算是容易处理的。重叠区域内的像素移位可能不相同。也就是说，对象194a和194b之间的偏移距离d1可能与对象196a和196b之间的偏移距离d2不同。
在步骤284，基于匹配强度分布所需的距离来计算双向流场。在实施例中，移动可以是水平的，但是由于校准过程中的硬件不完整性和不准确性，图像对齐也可能需要一些小的垂直移动。在实施例中，可以使用Horn-Schunck流算法来计算双向流场，例如在B.K.P.Horn和B.G.Schunck的“Determining Optical Flow(确定光流)”，Artificial Intelligence(人工智能)第17卷第185-203页(1981)中所描述的，该公开通过引用整体结合于此。可以使用其它已知算法来基于来自重叠图像的相应图案来计算流场。
如上所述，来自相应对象的不同像素可能需要沿着重叠区域198内的线移动不同的距离。流场线可以是水平的，或者它们可以是带有少量垂直偏移而水平的。流场线可能具有单像素宽度，或者流场线可以为多像素长。在相应强度分布中的相应像素相对较远分离的情况下，会导致相对强的流场。相反，在相应亮度图案中的相应像素相对靠近的情况下，会导致相对弱的流场。
如果图像数据仅仅移位了所计算的流场以对齐相应的强度分布，则在重叠区域边界处的图像中会有间隙。为了补偿该间隙，在步骤286，将像素沿每个流场线移动的距离乘以在0与1之间的因子，该因子与距重叠边缘的距离成比例。如图31所示，在第一遍(pass)中，在步骤288来自图像190的像素沿所计算的流场从左向右弯曲。图31示出流场的三个部分x1、x2和x3。图像190中处在重叠区域198左边界的像素将它们的流场乘以0。这样，这些像素不移动。在图像190左边界附近的像素具有非零的小因子。这样，图像190中靠近左边界的像素向右移位等于流场乘以小因子的小量。中间的像素移动约为流场一半的因子。最后，重叠区域右边界处的像素移动流场的完全量(流场乘以1)。
如图31所示，在第一遍之后，由于对象194a靠近左边界，因此对象194a中的像素仅仅朝对象194b弯曲了小距离。另一方面，在第一遍之后，由于对象196a靠近右边界，因此对象196a中的像素朝对象196b弯曲了该距离的一大部分。
在步骤286的第二遍中，如图32所示，来自图像192的像素沿相同的计算流场x1、x2和x3从右向左弯曲。如上所述，像素192中的处在重叠区域198右边界的像素将它们的流场乘以0。这样，这些像素不移动。中间的像素移动约为流场一半的因子。重叠区域左边界处的像素被移动流场的完全量(流场乘以1)。
在步骤290，向在上述第一遍和第二遍中生成的弯曲图像应用拉普拉斯(Laplacian)混合。对拉普拉斯混合技术的描述在例如P.J.Burt和E.H.Adelson的“A Multiresolution Spline With Application To Image Mosaics(可应用于图像镶嵌的多解样条)”(ACM Transactions on Graphics(图形学ACM学报)，Vol.2，No.4，第217-236页(1983年10月))中有阐述，该公开通过引用整体结合于此。然而，一般而言，从第一遍和第二遍生成的图像首先被分解成经带通滤波的分量图像集。接着，每个空间频带内的分量图像被聚集成对应的带通镶嵌图(mosaic)。在该步骤中，使用过渡区内的加权平均来结合分量图像，过渡区大小与频带内表示的波长成比例。最后，将带通镶嵌图图像相加来获得重叠区域198内的合成图像。步骤280到290的效果是，在图像中不留间隙以及在不模糊图像内对象的情况下，对重叠区域进行弯曲以对齐高频对象。应当理解，可以使用拉普拉斯混合之外的已知算法来对图像进行平滑和混合。
再次参考图13的高级流程图，一旦获得了左全景图像186和右全景图像188，可以经由3D头戴式显示器(未示出)向用户显示图像，该3D头戴式显示器向用户左眼显示左全景图像186并且向用户右眼显示右全景图像188。左全景图像186和右全景图像188可以在步骤222向用户显示。可以在3D头戴式显示器中或者作为分立控制器向用户提供使用户能向前、向左、向右或向后看的控制。无论用户看向何处，都可以显示全景的立体视图。在其它实施例中，可以扩展图像数据以便不仅提供柱形立体图像数据，而且还提供球形立体图像数据。在这样的实施例中，可以提供附加的图像传感器来从用户之上和之下捕捉图像数据。
可以为图像传感器中获得的图像数据的每个新帧执行图13的上述步骤。在一个示例中，图像传感器可以以60Hz对图像数据进行采样，但是在其它实施例中，采样率可以高于或低于60Hz。由此，可以向用户显示立体视频数据，其中用户能够360°自由地选择视频全景的任何视图。在其它实施例中，图像传感器可以360°或不足360°地捕捉全景的静态图像。
尽管本***有利地提供了360°全景的立体视图，但是可以理解，被图像传感器所观看的和/或向用户显示的全景可以小于360°。在进一步示例中，全景可以是180°以及介于180°与360°之间的角度。在进一步的实施例中，全景可以小于180°。
图33示出可以是上述计算***中任一个的示例性计算***。图33示出计算机610，包括但不限于处理单元620、***存储器630以及将包括***存储器的各种***组件耦合到处理单元620的***总线621。***总线621可以是若干类型的总线结构中的任一种，包括使用各种总线体系结构中的任一种的存储器总线或存储器控制器、***总线、以及局部总线。作为示例而非限制，这样的体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线，以及也称为夹层总线的***部件互连(PCI)总线。
计算机610通常包括各种计算机可读介质。计算机可读介质可以是能由计算机610访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或能用于存储所需信息且可以由计算机610访问的任何其它介质。通信介质通常以诸如载波等已调制数据信号或其它传输机制来体现计算机可读指令、数据结构、程序模块或其它数据，并包括任意信息传送介质。术语“已调制数据信号”是指其一个或多个特征以在信号中编码信息的方式被设定或改变的信号。作为示例而非限制，通信介质包括诸如有线网络或直接线连接之类的有线介质，以及诸如声学、RF、红外之类的无线介质及其它无线介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
***存储器630包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)631和随机存取存储器(RAM)632。包含诸如在启动期间帮助在计算机610内的元件之间传输信息的基本例程的基本输入/输出***633(BIOS)通常储存储在ROM 631中。RAM 632通常包含处理单元620可立即访问和/或正在操作的数据和/或程序模块。作为示例而非限制，图33示出了操作***634、应用程序635、其它程序模块636、以及程序数据637。
计算机610也可以包括其它可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图33示出对不可移动、非易失性磁介质进行读写的硬盘驱动器641，对可移动、非易失性磁盘652进行读写的磁盘驱动器651，以及对诸如CD ROM或其它光学介质等可移动、非易失性光盘656进行读写的光盘驱动器655。可在示例性操作环境中使用的其它可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器641通常由诸如接口640等不可移动存储器接口连接至***总线621，并且磁盘驱动器651和光盘驱动器655通常由诸如接口650等可移动存储器接口连接至***总线621。
上文所讨论的并且在图33中示出的驱动器及其相关联的计算机存储介质为计算机610提供了对计算机可读的指令、数据结构、程序模块及其它数据的存储。例如，在图33中，硬盘驱动器641被示为存储操作***644、应用程序645、其它程序模块646和程序数据647。这些组件可以与操作***634、应用程序635、其它程序模块636，以及程序数据637相同，也可以不同。在此操作***644、应用程序645、其它程序模块646以及程序数据647被赋予不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，例如键盘662和定点设备661——通常是指鼠标、跟踪球或触摸垫——向计算机610输入命令和信息。其它输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其它输入设备通常通过耦合至***总线的用户输入接口660连接至处理单元620，但也可以由其它接口和总线结构，例如并行端口、游戏端口或通用串行总线(USB)来连接。监视器691或其它类型的显示设备也通过诸如视频接口690之类的接口连接至***总线621。除监视器之外，计算机也可包括诸如扬声器697和打印机696之类的其它***输出设备，它们可以通过输出***接口695来连接。
计算机610可以使用到一个或多个远程计算机(如远程计算机680)的逻辑连接而在联网环境中操作。远程计算机680可以是个人计算机、服务器、路由器、网络PC、对等设备或其它公共网络节点，并且通常包括上文参考计算机610所描述的许多或全部元件，虽然图33中只示出了存储器设备681。图33中所描述的逻辑连接包括局域网(LAN)671和广域网(WAN)673，但是也可以包括其它网络。这些联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN网络环境中使用时，计算机610通过网络接口或适配器670连接到LAN 671。当在WAN联网环境中使用时，计算机610通常包括调制解调器672或用于通过诸如因特网等WAN 673建立通信的其他手段。调制解调器672可以是内置的或外置的，可以经由用户输入接口660或其它适当的机制连接到***总线621。在联网环境中，相对于计算机610所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图33示出驻留在存储器设备681上的远程应用程序685。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其它手段。
本***的前述详细描述是出于说明和描述的目的而提供的。这并不旨在穷举本***或将本***限于所公开的精确形式。鉴于上述教导，许多修改和变形都是可能的。选择所述实施例以最好地解释本***的原理及其实践应用，从而允许本领域技术人员能够在各种实施例中并采用各种适于所构想的特定用途的修改来最好地利用本***。本***的范围旨在由所附权利要求书来定义。

Claims (10)

1.一种用于捕捉立体图像数据的***(100)，包括：
三个或更多个图像传感器(104)，它们彼此结合操作以捕捉全景的左视图和右视图用于生成立体全景视图。
2.如权利要求1所述的用于捕捉立体图像数据的***，其特征在于，所述三个或更多个图像传感器捕捉360°全景。
3.如权利要求1所述的用于捕捉立体图像数据的***，其特征在于，所述三个或更多个图像传感器中的图像传感器包括反折射凸镜和从所述镜子接收反折射图像的相机。
4.如权利要求3所述的用于捕捉立体图像数据的***，其特征在于，所述反折射凸镜包括等角表面。
5.如权利要求1所述的用于捕捉立体图像数据的***，其特征在于，所述三个或更多个图像传感器包括四个至六个之间的图像传感器。
6.一种用于捕捉立体图像数据的反折射底架组件(104)，包括：
底架(120)，其包括三个容纳器；以及
三个图像传感器(112，114，116)，在所述底架的每个容纳器中固定安装一个，所述三个图像传感器一起工作以捕捉用于提供全景的立体视图的图像数据。
7.如权利要求6所述的反折射底架组件，其特征在于，所述三个容纳器支撑所述三个图像传感器，其中图像传感器的光轴一起定义等边三角形。
8.如权利要求6所述的反折射底架组件，其特征在于，所述三个或更多个图像传感器捕捉360°全景。
9.一种用于捕捉立体图像数据的反折射组件(104)，包括：
三个图像传感器(112，114，116)，它们被彼此固定安装并且一起工作以捕捉用于提供全景的立体视图的图像数据，所述三个图像传感器中的每个图像传感器包括：
相机(124)，用于捕捉图像，以及
反折射镜(130)，用于将围绕所述反折射镜360°的图像向下引导到所述相机(124)。
10.如权利要求9所述的反折射组件，其特征在于，所述三个图像传感器包括：
第一图像传感器，用于捕捉：a)全景的第一部分的视图，用于第一部分的立体视图的左视角，以及b)全景的第二部分的视图，用于第二部分的立体视图的右视角；
第二图像传感器，用于捕捉：a)全景的第一部分的视图，用于第一部分的立体视图的右视角，以及b)全景的第三部分的视图，用于第三部分的立体视图的左视角；
第三图像传感器，用于捕捉：a)全景的第三部分的视图，用于第三部分的立体视图的右视角，以及b)全景的第二部分的视图，用于第二部分的立体视图的左视角；
CN2011104442939A 2010-12-17 2011-12-16 用于360度立体视频捕捉的底架组件 Pending CN102595169A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/971,656 2010-12-17
US12/971,656 US20120154519A1 (en) 2010-12-17 2010-12-17 Chassis assembly for 360-degree stereoscopic video capture

Publications (1)

Publication Number Publication Date
CN102595169A true CN102595169A (zh) 2012-07-18

Family

ID=46233847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011104442939A Pending CN102595169A (zh) 2010-12-17 2011-12-16 用于360度立体视频捕捉的底架组件

Country Status (2)

Country Link
US (1) US20120154519A1 (zh)
CN (1) CN102595169A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464785A (zh) * 2014-05-20 2017-02-22 奈克斯特Vr股份有限公司 包括或用于一个或多个照相机的装置和方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6456844B2 (ja) 2013-02-04 2019-01-23 ヴァロリゼーション−ルシェルシュ，リミテッド・パートナーシップ 全周囲立体イメージング
EP4113991A1 (en) 2014-09-03 2023-01-04 Nevermind Capital LLC Methods and apparatus for capturing, streaming and/or playing back content
US20180063507A1 (en) * 2015-04-09 2018-03-01 Philippe Cho Van Lieu Apparatus for recording stereoscopic panoramic photography
WO2017026705A1 (ko) * 2015-08-07 2017-02-16 삼성전자 주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
KR102458339B1 (ko) 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
US10582181B2 (en) * 2018-03-27 2020-03-03 Honeywell International Inc. Panoramic vision system with parallax mitigation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195344A (ja) * 1997-09-18 1999-04-09 Matsushita Electric Ind Co Ltd 全方位ステレオ画像撮影装置
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
WO2003054625A1 (en) * 2001-12-20 2003-07-03 Wave Group Ltd. A panoramic stereoscopic imaging method and apparatus
US7224382B2 (en) * 2002-04-12 2007-05-29 Image Masters, Inc. Immersive imaging system
US20090034086A1 (en) * 2005-04-18 2009-02-05 David James Montgomery Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7710451B2 (en) * 1999-12-13 2010-05-04 The Trustees Of Columbia University In The City Of New York Rectified catadioptric stereo sensors
FR2806809B1 (fr) * 2000-03-22 2002-11-22 Powell Group Dispositif d'aquisition d'image panoramique
US6982743B2 (en) * 2002-01-31 2006-01-03 Trustees Of The University Of Pennsylvania Multispectral omnidirectional optical sensor and methods therefor
US7399095B2 (en) * 2003-07-09 2008-07-15 Eyesee360, Inc. Apparatus for mounting a panoramic mirror
KR100715026B1 (ko) * 2005-05-26 2007-05-09 한국과학기술원 단일카메라 전방향 양안시 영상 획득 장치
KR100765209B1 (ko) * 2006-03-23 2007-10-09 삼성전자주식회사 전방향 스테레오 카메라 및 그 제어 방법
US7701577B2 (en) * 2007-02-21 2010-04-20 Asml Netherlands B.V. Inspection method and apparatus, lithographic apparatus, lithographic processing cell and device manufacturing method
US7859572B2 (en) * 2007-08-06 2010-12-28 Microsoft Corporation Enhancing digital images using secondary optical systems
KR20110068994A (ko) * 2008-08-14 2011-06-22 리모트리얼리티 코포레이션 3-미러 파노라마 카메라
US20100141766A1 (en) * 2008-12-08 2010-06-10 Panvion Technology Corp. Sensing scanning system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195344A (ja) * 1997-09-18 1999-04-09 Matsushita Electric Ind Co Ltd 全方位ステレオ画像撮影装置
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
WO2003054625A1 (en) * 2001-12-20 2003-07-03 Wave Group Ltd. A panoramic stereoscopic imaging method and apparatus
US7224382B2 (en) * 2002-04-12 2007-05-29 Image Masters, Inc. Immersive imaging system
US20090034086A1 (en) * 2005-04-18 2009-02-05 David James Montgomery Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464785A (zh) * 2014-05-20 2017-02-22 奈克斯特Vr股份有限公司 包括或用于一个或多个照相机的装置和方法

Also Published As

Publication number Publication date
US20120154519A1 (en) 2012-06-21

Similar Documents

Publication Publication Date Title
CN102595168B (zh) 用于360度立体视频的无缝左/右视图
CN102547357A (zh) 用于捕捉全景立体视频的***
CN102595169A (zh) 用于360度立体视频捕捉的底架组件
CN102547358A (zh) 360度立体视频的左/右图像生成
US9729787B2 (en) Camera calibration and automatic adjustment of images
JP6875081B2 (ja) ディスプレイ装置のパラメータ推定方法及びその方法を用いた装置
US7837330B2 (en) Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
US8482595B2 (en) Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
JP6192853B2 (ja) 超音波深度検出を使用するオプティカルフロー画像化システム及び方法
JP5054971B2 (ja) ディジタル３ｄ／３６０度カメラシステム
US8798451B1 (en) Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
US20190122332A1 (en) Image distortion transformation method and apparatus
US9503638B1 (en) High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint
CN105191280A (zh) 在多透镜相机中的成像器上移动图像
CN101271187A (zh) 无死角的双目立体全方位视觉传感装置
CN105027002A (zh) 四透镜球面相机取向
Gurrieri et al. Acquisition of omnidirectional stereoscopic images and videos of dynamic scenes: a review
CN115049548A (zh) 恢复从阵列相机获得的图像的方法和装置
Kweon et al. Image-processing based panoramic camera employing single fisheye lens
Gurrieri et al. Depth consistency and vertical disparities in stereoscopic panoramas
JP2019521390A (ja) 画像取得複合レンズおよびその応用
GB2560301A (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
Gledhill 3D panoramic imaging for virtual environment construction
Weerasinghe et al. Stereoscopic panoramic video generation using centro-circular projection technique
Nguyen Self-calibration for consumer omnidirectional multi-camera mounted on a helmet

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1173010

Country of ref document: HK

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120718