CN103562791A - 用于与移动计算设备一起进行全景视频成像的装置和方法 - Google Patents

Abstract

一种装置包括：外壳；凹形全景反射器；支承结构，被配置为将凹形全景反射器保持在相对于外壳的固定位置上；以及安装设备，用于将外壳安置在相对于计算设备的固定方位上，以使得由凹形全景反射器反射的光被引向计算设备中的光传感器。

Description

用于与移动计算设备一起进行全景视频成像的装置和方法

技术领域

本发明涉及一种用于全景视频成像的装置和方法。

背景技术

在转让给Eyesee360,Inc.的美国专利No.6,963,355、No.6,594,448、No.7,058,239、No.7,399,095、No.7,139,440、No.6,856,472以及No.7,123,777中公开了包括光学设备、去扭曲软件、显示器以及各种应用的全景成像***。所有这些在先专利都通过引用被并入本文。

发明内容

在一方面中，本发明提供一种装置，该装置包括：外壳；凹形全景反射器；支承结构，被配置为将凹形全景反射器保持在相对于外壳的固定位置上；以及安装设备，用于将外壳安置在相对于计算设备的固定方位上，以使得由凹形全景反射器反射的光被引向计算设备中的光传感器。

在另一方面中，本发明提供一种方法，该方法包括：在计算设备中接收全景图像数据；实时地观看全景图像的区域；以及响应于计算设备的方位和/或用户输入来改变所观看的区域。

在另一方面中，本发明提供一种装置，该装置包括：全景光学设备，被配置为将光反射到照相机；计算设备，用于对来自照相机的图像数据进行处理以生成渲染的图像；以及显示器，用于显示渲染的图像的至少一部分，其中，显示的图像响应于计算设备的方位和/或用户输入而改变。

附图说明

图1A、1B和1C示出全景光学设备。

图2A、2B和2C示出全景光学设备。

图3A、3B、3C、3D、3E和3F示出全景光学设备。

图4A、4B和4C示出附接到移动计算设备的壳体。

图5A、5B、6A、6B、7A、7B、8A、8B、9A、9B、9C、10A和10B示出用于将全景光学设备安装到移动计算设备（诸如iPhone）的结构。

图11A、11B、11C、11D和11E示出另一全景光学设备。

图12A、12B和12C示出附接到移动计算设备的壳体。

图13和14示出全景镜形状。

图15-17是示出本发明的某些实施例的各个方面的流程图。

图18、19A和19B示出根据本发明的各种实施例的交互式显示特征。

图20、21和22示出根据本发明的各种实施例的基于方位的显示特征。

图23是示出本发明的另一方面的流程图。

具体实施方式

图1A、1B和1C示出根据本发明的实施例的附接到计算设备的全景光学设备10（在本文中也被称为光学器件）。在各种实施例中，计算设备可以是移动计算设备，诸如iPhone或包括照相机的其它电话。在其它实施例中，计算设备可以是包括具有执行本文中所描述的至少一些功能所需的信号处理能力的组件的固定设备或便携式设备。计算设备可包括照相机或其它图像传感器，或者可以能够从照相机或其它图像传感器接收图像数据。

图1A是光学设备10的实施例的等角视图，图1B是其侧视图，图1C是其前视图。设备包括外壳12。在该实施例中，外壳包括第一部分14和第二部分18，第一部分14具有第一轴16，第二部分18具有第二轴20。为了方便起见，第一轴可被称为垂直轴，第二轴可被称为水平轴。然而，轴的空间方位将取决于设备在使用时的方位。外壳的第一部分的至少一部分22具有截头锥（frustoconical）的形状。反射器组件24附接到外壳的第一部分，并且沿着外壳的第一轴16居中设置。反射器组件包括从顶部部分28向下延伸的凹形全景镜26。全景镜延伸到外壳中并且超出外壳的端部30以创建缺口（gap）32。进入该缺口的光被凹形全景镜26反射到外壳中。第二镜34被安装在外壳内以将光引向开口36。在一个实施例中，第二镜是相对于第一轴16和第二轴20二者以45°角安置的平面镜。光在外壳的第二部分的端部、在朝向开口36的方向上反射出第二镜。反射器组件还包括沿着轴16被安置并且与透明支承构件40耦接的立柱（post）38。通过以这种方式安装反射器组件，其它支承结构（其可导致眩光）的使用被避免。

外壳12还包括凸出部（projection）42，所述凸出部42从第二部分延伸，并被成形为与壳体或其它安装结构耦接，所述壳体或其它安装结构被用于将光学设备与计算设备耦接并且将光学设备保持（hold）在相对于计算设备的固定方位上。在图1A、1B和1C的实施例中，凸出部具有椭圆形（oblong）形状，该椭圆形形状具有拉长边44、46以及两个弧形端部48和50。在该实施例中，端部48的曲率半径小于端部50的曲率半径。这防止端部50在横向方向上延伸超出光学设备外壳的侧面。然而，凸出部可适合放入壳体或其它安装结构中的椭圆形开口内，并且仍维持光学设备外壳和壳体或其它安装结构的相对方位。

光学设备外壳还包括在第一部分与第二部分的侧面之间延伸的大致三角形形状的部分52。该三角形部分可用作用于***和移除的扩大的指握部（fingerhold）。

图2A、2B和2C示出图1A、1B和1C的全景光学设备的附加特征。图2A是光学设备的侧视图。图2B是光学设备的下部部分的放大视图。图2C是图2B的沿着线54-54截取的截面图。外壳包括位于相对于图1B的第一轴16和第二轴20二者的45°角处的平面部分56。图2A、2B和2C显示主外壳与安装点之间的隐藏的机械接口58。该接口被设计为提供部件之间的垂直对准，具有一定容限以使得它更容易操作并且更难以损坏。

图3A、3B、3C、3D、3E和3F示出根据本发明的另一实施例的全景光学设备。该实施例与图1A、1B和1C的实施例类似，但是包括不同的用于与计算设备耦接的结构。图3A是光学设备62的实施例的等角视图，图3B是其前视图，图3C是其侧视图，图3D是其后视图，图3E是其俯视图，图3F是其沿着线60-60截取的截面图。该设备包括外壳64。该外壳包括第一部分66和第二部分70，第一部分66具有第一轴68，第二部分70具有第二轴72。为了方便起见，第一轴可被称为垂直轴，第二轴可被称为水平轴。然而，轴的空间方位将取决于该设备在使用时的方位。外壳的第一部分的至少一部分74具有截头锥的形状。反射器组件76附接到外壳的第一部分，并且沿着外壳的第一轴68居中设置。反射器组件包括从顶部部分80向下延伸的凹形全景镜78。全景镜延伸到外壳中并且超出外壳的端部82以创建缺口84。进入该缺口的光被反射到外壳中。第二镜86被安装在外壳内以将光引向开口90。在一个实施例中，第二镜是相对于第一轴68和第二轴72二者以45°角安置的平面镜。光在外壳的第二部分的端部、在朝向开口90的方向上反射出第二镜。反射器组件还包括沿着轴68被安置并且与透明支承构件94耦接的立柱92。

外壳62还包括多个突出部（protrusion）96、98、100和102，这些突出部从第二部分的平整表面104延伸，并且被成形为与壳体或其它安装结构中的多个凹口耦接，所述壳体或其它安装结构用于将光学设备与计算设备耦合并且将光学设备保持在相对于计算设备的固定方位上。外壳还包括在第一部分与第二部分的侧面之间延伸的大致三角形形状的部分106。突出部的旋转对称性允许座架（mount）在多达四个不同的方位上相互作用以用于操作。

全景镜的曲率可被改变以提供不同的视场。缺口84可基于它挡住（occlude）何种光线反射来提供进一步约束。可能的视场可在水平线以下-90度至大约70度以上的范围内，或者介于两者之间的任何范围内。

镜86的大小使计算设备中的照相机的视场所包含的光反射。在一个示例中，照相机垂直视场为24°。然而，可改变光学设备的组件的尺寸和配置来适应具有其它视场的照相机。

图4A、4B和4C示出根据本发明的实施例的附接到移动计算设备的壳体。图4A是壳体110的实施例的侧视图，图4B是其前视图，图4C是其等角视图。壳体110包括两个部分112和114。图4A、4B和4C中所描绘的壳体被设计为用作用于将光学设备与移动计算设备（诸如iPhone）耦接的安装夹具（fixture）。壳体的侧壁116、118、120和122包含小的唇部（lip）124，该唇部124被设计为夹紧（grip）沿着iPhone的屏幕的外侧的斜边（beveled edge）。当壳体的这两个部分滑到iPhone上时，该前唇部抵靠iPhone的背部将壳体的背面保持在张力状态中（in tension）。这两个部分通过一对平行的斜角表面126、128接合，从而当这两个部件滑到iPhone上并然后被按压在一起时形成扣合。壳体中的开口130、132被安置为允许接触背部上的各个按钮和照相机。当光学设备与壳体耦合时，用于照相机的开口132紧贴图1A、1B和1C的光学设备的前部的突出圆筒形成过盈配合，从而当光学设备被附接时使二者保持对准和配对。

壳体包括在两个部件上均对称并且在曲线路径上连续地形成的平滑轮廓唇部。它被设计为当被附接时提供正“按扣”动作，以及提供相等的移除和***力。平滑轮廓被设计为避免因重复循环而磨损。它还给予将这两个部分拉在一起以在电话周围形成紧密配合的张力，这在保持照相机开口132与iPhone照相机之间的对准上给予帮助。开口132相对于光学器件上的突出圆筒可以略小（slightly undersized）。这提供提高壳体的保持力的过盈配合。另外，圆筒的外形可向外鼓胀（bulge）以适合放入开口中。开口132可朝向电话逐渐尖细，这将提供附加的保持力。

图5A、5B、6A、6B、7A、7B、8A、8B、9A、9B、9C、10A和10B示出根据本发明的各种实施例的用于将全景光学设备安装到移动计算设备（诸如iPhone）的各种结构。

图5A和5B分别是根据本发明的实施例的光学设备140和用于计算设备的壳体142的一部分的示意性前视图和侧视图。在该实施例中，从光学设备140的前面突出的圆筒144包括圆形部分146和从该圆形部分延伸的键（key）148。电话壳体142包括被安置为与电话中的照相机相邻的开口150。开口150包括被安置为容纳全景光学设备的突出圆筒上的键的部分152和154。部分152和154被安置为相隔90°以允许光学设备被安装在两个交替方位中的一个方位上。

图6A和6B分别是根据本发明的实施例的光学设备160和用于计算设备的壳体162的部分示意性前视图和侧视图。在该实施例中，顶部的槽接口包括从光学设备160的前面突出的圆筒164，圆筒164包括U形卡口部分166。电话壳体162包括被安置为与电话中的照相机相邻的开口168。开口168包括被安置为容纳全景光学设备的卡口部分的槽（slot）170。

图7A和7B分别是根据本发明的实施例的光学设备180和用于计算设备的壳体182的部分示意性前视图和侧视图。在该实施例中，磁体对准的接口包括从光学设备180的前面突出的圆筒184，圆筒184包括圆形部分186和与该圆形部分相邻的磁体188。电话壳体182包括被安置为与电话中的照相机相邻的开口190。壳体中的磁体192和194与全景光学设备的磁体耦合。

图8A和8B分别是根据本发明的实施例的光学设备200和用于计算设备的壳体202的部分示意性前视图和侧视图。在该实施例中，利用凸块对准的磁体接口包括从光学设备200的前面突出的圆筒204，圆筒204包括圆形部分206、围绕该圆形部分延伸的磁体208和对准凸块（bump）210。电话壳体202包括被安置为与电话中的照相机相邻的开口212。磁体214被安置为与全景光学设备的磁体耦合，并且凹口216、218被提供以接纳对准凸块。

图9A和9B分别是根据本发明的实施例的光学设备220和用于计算设备的壳体222的部分示意性前视图和侧视图。图9C是示出在光学器件被安装在移动计算设备上之后该光学器件的旋转移动的前视图。在该实施例中，四分之一转接口包括从光学设备220的前面突出的圆筒224，圆筒224包括圆形部分226和从该圆形部分226延伸的凸缘（flange）228、230。电话壳体222包括被安置为与电话中的照相机相邻的开口232。开口232包括被安置为容纳全景光学设备的突出圆筒上的凸缘的部分234。如图9C所示，凸缘包括限制光学器件的旋转移动的挡块（stop）236和238，以使得光学器件可相对于壳体被安置在垂直或水平方位上。

图10A和10B分别是根据本发明的实施例的光学设备240和用于计算设备的壳体242的部分示意性前视图和侧视图。在该实施例中，四销接口包括从光学设备240的前面突出的多个销（pin）244。电话壳体242包括被安置为与靠近电话中的照相机的开口相邻的多个孔246。销相对于孔可以略大（slightly oversized），从而提供将这两个部件保持在一起的过盈配合。另外，这些销的外形可向外鼓胀以适合放入朝向电话逐渐尖细的孔中，这将提供附加的保持力。

图11A是光学设备250的另一实施例的等角视图，图11B是其前视图，图11C是其侧视图，图11D是其后视图，图11E是其截面图。该光学设备包括与上述全景反射器和外壳类似的全景反射器和外壳，但是包括不同的用于将光学设备与计算设备耦接的结构252。该耦接结构包括被成形为适合放入用于计算设备的壳体中的开口内的突出部254。该突出部的端部具有大致椭圆形形状的凸缘256，该凸缘256具有弯曲端部258和具有笔直部分的两边260、262。该凸缘的与弯曲端部258相对的端部包括较小的弯曲端部264。

图12A、12B和12C示出附接到移动计算设备的壳体266。该壳体包括其大小接纳光学设备250上的突出部的开口268。在该实施例中，该突出部将在开口268的右手侧被***并且在箭头的方向上滑动。然后，围绕开口268的一部分的唇部270将与凸缘啮合，并且将光学设备保持到位。

图13示出进入全景光学器件并且反射出全景镜282的光线280。全景镜282具有凹面284，该凹面284具有可由下述参数限定的形状。光线反射出全景镜282，并且被引向光学设备的底部附近的另一个镜。光学设备的垂直视场是通过外壳的边缘与镜支承结构的顶部之间的开口（例如，图3F中的84）进入光学设备的顶部与底部光线286、288之间的角度。沿着外反射线288的光线会聚于一点。因为该性质减少了从外壳反射的杂散光并且导致外壳具有最小的容积（volume），所以该性质是有益的。

光学器件从360度的水平环境收集光，并且围绕该光学器件的垂直环境的子集（例如，从水平线起±45°）被该光学器件中的曲面镜反射。该反射然后可被照相机记录，或者被能够从照相机接收图像数据的记录设备记录，以捕捉全景静态或运动图像。

一个或多个平整的次镜（secondary mirror）可被包括在光学器件内以适应更方便的形式因素（form factor）或捕捉的方向。出于放大或聚焦的目的，次镜还可以被弯曲。

图14示出可根据本发明的实施例而构造的全景镜形状。沿着照相机轴292安置的照相机290接收从凹形全景镜294反射的光。几个实施例中的镜形状可由以下等式限定。图14包括以下等式中出现的各个参数。

参数：

$A=\frac{7\mathrm{\π}}{9},R_{\mathrm{cs}}=\frac{\mathrm{\π}}{60},R_{\mathrm{ce}}=\frac{\mathrm{\π}}{15},r_o=77,\mathrm{\α}=-10$

等式：

$k=\frac{-1-\mathrm{\α}}{2}$

r(R_cs)=r_o

$\∀\mathrm{\θ}\∈[R_{\mathrm{cs}},R_{\mathrm{ce}}]:$

$\frac{\mathrm{dr}}{d(\mathrm{\θ}+\frac{A}{\mathrm{\α}})}=r\cot (k\tan (\mathrm{\θ}+\frac{A}{\mathrm{\α}})+\frac{\mathrm{\π}}{2}-k\tan \left(R_{\mathrm{cs}}\right)-\frac{R_{\mathrm{cs}}}{2})$ (实施例#1)

$\frac{\mathrm{dr}}{d(\mathrm{\θ}+\frac{A}{\mathrm{\α}})}=r\cot (k\tan (\mathrm{\θ}+\frac{A}{\mathrm{\α}})+\frac{\mathrm{\π}}{2})$ (实施例#2)

$\frac{\mathrm{dr}}{\mathrm{d\θ}}=r\cot (k\tan \left(\mathrm{\θ}\right)+\frac{\mathrm{\π}-A}{2}-k\tan \left(R_{\mathrm{cs}}\right)-\frac{R_{\mathrm{cs}}}{2})$ (实施例#3)

在等式中，A是以弧度为单位的光线r_o的方向与平行于照相机轴294的线之间的角度；R_cs是以弧度为单位的照相机轴与镜上反射光线r_o的点之间的角度；R_ce是以弧度为单位的照相机轴与镜的边缘之间的角度；r_o是以毫米为单位的内径；α是增益因子；θ是以弧度为单位的照相机轴与反射光线r之间的角度；k根据第一等式中的α而限定。

在实施例#1中，镜等式被扩展以考虑照相机起始角度（以弧度为单位表达的R_cs）。在实施例#2镜设计的情况下，照相机起始角度将为零。通过在R_cs被设置为零的情况下对实施例#1的附加项进行评估，该等式简化为：

R_cs=0

$\frac{\mathrm{dr}}{d(\mathrm{\θ}+\frac{A}{\mathrm{\α}})}=r\cot (k\tan (\mathrm{\θ}+\frac{A}{\mathrm{\α}})+\frac{\mathrm{\π}}{2}-k\tan \left(R_{\mathrm{cs}}\right)-\frac{R_{\mathrm{cs}}}{2})$

$\frac{\mathrm{dr}}{d(\mathrm{\θ}+\frac{A}{\mathrm{\α}})}=r\cot (k\tan (\mathrm{\θ}+\frac{A}{\mathrm{\α}})+\frac{\mathrm{\π}}{2}-k\tan \left(0\right)-\frac{0}{2})$

$\frac{\mathrm{dr}}{d(\mathrm{\θ}+\frac{A}{\mathrm{\α}})}=r\cot (k\tan (\mathrm{\θ}+\frac{A}{\mathrm{\α}})+\frac{\mathrm{\π}}{2}-k\left(0\right)-\frac{0}{2})$

$\frac{\mathrm{dr}}{d(\mathrm{\θ}+\frac{A}{\mathrm{\α}})}=r\cot (k\tan (\mathrm{\θ}+\frac{A}{\mathrm{\α}})+\frac{\mathrm{\π}}{2})$

图15是示出本发明的各种实施例的信号处理和图像操作特征的框图。在图15的实施例中，光学设备300（诸如上述任一光学设备）可被用于将光引向照相机302。照相机将图像像素数据输出到帧缓冲器304。然后，对图像进行纹理映射306。在被记录312之前，对经过纹理映射的图像进行去扭曲（unwarp）308和压缩310。

麦克风314被提供以检测声音。麦克风输出被存储在音频缓冲器316中，并且在被记录之前被压缩318。计算设备可包括与光学和音频数据同时生成数据320的传感器，包括全球定位***（GPS）传感器、加速度计、陀螺仪和指南针。该数据被编码322并且被记录。

触摸屏324被提供以感测用户提供的触摸动作326。用户触摸动作和传感器数据被用于选择特定的观看方向，其然后被渲染（render）。计算设备可与用户触摸动作和/或传感器数据组合来交互式地渲染经过纹理映射的视频数据，以生成用于显示330的视频。图15中所示的信号处理可由移动计算设备（诸如智能电话）中的处理器或处理电路执行。处理电路可包括通过使用实现本文中所描述的功能的软件来编程的处理器。

许多移动计算设备（诸如iPhone）包含可用于接收用户命令的内置触摸屏或触摸屏输入传感器。在软件平台不包含内置触摸或触摸屏传感器的使用场景下，可使用外部连接的输入设备。用户输入（诸如触摸、拖动和手指开合（pinching））可通过现成的软件框架的使用而被触摸和触摸屏传感器检测为触摸动作。

许多移动计算设备（诸如iPhone）还包含可接收被全景镜反射的光的内置照相机。在移动计算设备不包含内置照相机的使用情景下，可使用外部连接的现成的照相机。照相机可捕捉被上述光学设备中的一种光学设备中的镜所反射的装置环境的静态或运动图像。这些图像可被递送给视频帧缓冲器以供软件应用使用。

许多移动计算设备（诸如iPhone）还包含内置GPS、加速度计、陀螺仪和指南针传感器。这些传感器可被用于提供用于执行本文中所描述的一些图像处理和显示功能的方位、位置和运动信息。在计算设备不包含这些传感器中的一个或多个的使用情景下，可使用外部连接的现成的传感器。这些传感器提供与装置及其环境相关的地理空间和方位数据，这些数据然后被软件使用。

许多移动计算设备（诸如iPhone）还包含内置麦克风。在移动计算设备不包含内置麦克风的使用情景下，可使用外部连接的现成的麦克风。麦克风可从装置的环境捕捉音频数据，该音频数据然后被递送给音频缓冲器以供软件应用使用。

如果从已知方位的多个麦克风记录多通道的音频数据，可在回放期间旋转音频场（field）以与交互式渲染器显示在空间上同步。

触摸动作形式的用户输入可由软件平台上的硬件抽象框架提供给软件应用。这些触摸动作使得软件应用能够为用户提供预录媒体、从互联网下载或流传输的共享媒体、或当前正被记录或预览的媒体的交互式展示。

视频帧缓冲器是可由现成的软件框架提供的、存储最近被捕捉的静态或运动图像的一个或多个帧的硬件抽象。这些帧可被软件检索（retrieve）以用于各种用途。

音频缓冲器是可由已知的现成的软件框架中的一种软件框架提供的、存储表示最近从麦克风捕捉的音频数据的某一长度的音频的硬件抽象。该数据可被软件检索以用于音频压缩和存储（记录）。

纹理映射是由软件从视频缓冲器检索的单个帧。为了显示视频序列，可周期性地从视频帧缓冲器刷新该帧。

***可从GPS数据检索位置信息。可从指南针数据检索绝对偏航方位，当计算设备处于静止时通过3轴加速度计可确定由于重力而引起的加速度，并且从陀螺仪数据可确定俯仰（pitch）、滚动（roll）和偏航（yaw）的变化。可从来自软件平台的时钟的时间戳和GPS坐标确定速率（velocity）；通过合并在时间上对加速度数据进行积分的结果可实现更精细的精度值。

交互式渲染器328将用户输入（触摸动作）、来自照相机的静态或运动图像数据（经由纹理映射）和移动数据（从地理空间/方位数据编码）组合以提供用户控制的对预录媒体、通过网络下载或流传输的共享媒体或当前正被记录或预览的媒体的观看。用户输入可实时地用于确定观看方位和缩放。如该描述中所使用的，实时意指显示器基本上在图像被设备感测的同时（或以对于用户来说不明显的延迟）显示图像、和/或显示器基本上与用户输入被接收同时地显示响应于该用户输入的图像变化。通过将全景光学器件与具有内置照相机的移动计算设备耦接，内部信号处理带宽可足以实现实时显示。

纹理映射可被应用于球的、圆柱的、立方体的或其它几何形状的顶点网格，提供虚拟的观看场景，将来自纹理的已知的角坐标与每个顶点的期望角坐标相关。另外，可通过使用方位数据来调整视图以考虑装置的俯仰、偏航和滚动的变化。

通过将静态或运动图像纹理映射到将每个顶点的期望角坐标与来自纹理的已知的角坐标相关的平整网格上来生成每个帧的去扭曲版本。

许多软件平台提供通过使用压缩算法来对视频帧序列进行编码的工具。一种常用算法是AVC或H.264压缩。压缩器可被实现为移动计算设备的硬件特征，或者通过在通用CPU上运行的软件来实现，或者通过它们的组合来实现。经过去扭曲的视频的帧可被传递给这样的压缩算法以生成压缩的数据流。该数据流可适合于在设备内部永久存储器上记录、或者通过有线或无线网络被传送到服务器或另一移动计算设备。

许多软件平台提供使用压缩算法对音频数据序列进行编码的工具。一种常用算法是AAC。压缩器可被实现为移动计算设备的硬件特征，或者通过在通用CPU上运行的软件来实现，或者通过它们的组合来实现。音频数据的帧可被传递给这样的压缩算法以生成压缩的数据流。该数据流可适合于记录在计算设备的内部永久存储器上、或者通过有线或无线网络被传送到服务器或另一移动计算设备。该流可被与压缩的视频流交织以生成同步的电影文件。

通过使用集成显示设备（诸如iPhone上的屏幕）或外部连接的显示设备可生成来自交互式渲染的显示视图。此外，如果多个显示设备被连接，则每个显示设备可以它自己不同的场景视图为特征。

视频、音频和地理空间/方位/运动数据可被存储到移动计算设备的本地存储介质、外部连接的存储介质，或者可通过网络被存储到另一计算设备。

图16A、16B和17是示出本发明的某些实施例的方面的流程图。图16A是示出视频和音频信息的获取和传送的框图。在图16A中所示的实施例中，光学器件350、照相机352、视频帧缓冲器354、纹理映射356、去扭曲渲染358、视频压缩360、麦克风362、音频缓冲器364和音频压缩366可以以上对于图15中的相应组件所描述的方式来实现。在图16A的***中，对纹理映射数据执行交互式渲染368，并显示所渲染的图像以用于预览370。压缩的视频和音频数据被编码372并且被传送374。

图16B是示出视频和音频信息的接收的框图。在图16B中所示的实施例中，块380显示编码的流被接收。视频数据被发送给视频帧缓冲器382，音频数据被发送给音频帧缓冲器384。音频然后被发送给扬声器386。视频数据被进行纹理映射388，并且视角（perspective）被渲染390。然后，在显示器上显示视频数据392。图16A和16B描述实时流传输（live streaming）情景。一个用户（发送者）正在捕捉全景视频，并且将它实时流传输给一个或多个接收者。每个接收者可独立地控制其交互式渲染，从而在任何方向上观看实时放送（feed）。

图17是示出同一参与者获取、传送和接收视频和音频信息的框图。在图17中所示的实施例中，光学器件400、照相机402、视频帧缓冲器404、纹理映射406、去扭曲渲染408、视频压缩410、麦克风412、音频缓冲器414、音频压缩416、流编码418和传送420可以以上对于图16A和16B所描述的方式来实现。块422显示编码的流被接收。编码的流被解码424。视频数据被解压缩426并被发送给视频帧缓冲器428，音频数据被解压缩430并被发送给音频帧缓冲器432。音频然后被发送给扬声器434。视频数据被进行纹理映射436，并且视角被远程渲染438。经过纹理映射的信息被本地渲染440。然后，渲染的视频数据被组合并被显示442。图17表示图16A和16B中的构思对于两个或更多个实时流的扩展。同一参与者可从一个或多个其它参与者接收全景视频以及还可传送他们自己的全景视频。这将用于“全景视频聊天”或群组聊天情形。

用于装置的软件提供交互式显示，从而允许用户实时地改变全景视频的观看区域。交互包括基于触摸的摇动（pan）、倾斜（tilt）和缩放（zoom）、基于方位的摇动和倾斜、以及基于方位的滚动校正。可以使这些交互仅用作触摸输入、仅方位输入或这两者的混合，在这两者的混合中，输入被相加地（additively）处理。这些交互可被应用于实时预览、捕捉预览和预录或流媒体。如该描述中所使用的，“实时预览”是指源自于设备上的照相机的渲染，“捕捉预览”是指当记录发生时该记录的渲染（即，在任何处理之后）。预录媒体可来自驻留在设备上的视频记录，或者被主动地从网络下载到设备。流媒体是指实时地通过网络递送的、仅在设备上短暂存储的全景视频放送。

图18示出响应于用户命令的摇动和倾斜功能。移动计算设备包括触摸屏显示器450。用户可触摸屏幕并且在箭头452所示的方向上移动来改变所显示的图像，以实现摇动和/或倾斜功能。在屏幕454中，图像犹如照相机视场被向左摇动那样变化。在屏幕456中，图像犹如照相机视场被向右摇动那样变化。在屏幕458中，图像犹如照相机向下倾斜那样变化。在屏幕460中，图像犹如照相机向上倾斜那样变化。如图18所示，基于触摸的摇动和倾斜允许用户通过采用单次接触拖动来改变观看区域。来自用户触摸的初始接触点被映射到摇动/倾斜坐标，并且在拖动期间计算摇动/倾斜调整以保持在用户手指的下面的摇动/倾斜坐标。

如图19A和19B所示，基于触摸的缩放允许用户动态地缩小或放大。来自用户触摸的两个接触点被映射到摇动/倾斜坐标，从这些坐标计算角度度量以表示两个接触手指之间的角度。观看视场（模拟缩放）随着用户手指捏合或放开而被调整，以使动态变化的手指位置与初始角度度量匹配。如图19A所示，捏合两个接触手指生成缩小效果。也就是说，屏幕470中的对象在屏幕472中显得更小。如图19B所示，手指放开生成放大效果。也就是说，屏幕474中的对象在屏幕476中显得更大。

图20示出可从由计算设备中的指南针传感器提供的指南针数据导出的基于方位的摇动，允许用户通过转动移动设备来改变显示摇动范围。这可通过在所记录的指南针数据可用的情况下使实时的指南针数据与所记录的指南针数据匹配来实现。在所记录的指南针数据不可用的情况下，可将任意向北的值映射到记录的媒体上。记录的媒体可以是例如如图13中所描述的那样生成的全景视频记录等。当用户480在沿着线484的初始位置上拿着移动计算设备482时，在设备显示器上生成图像486。当用户480在沿着线488的左摇位置（该位置以角度y偏移初始位置）上移动计算设备482时，在设备显示器上生成图像490。当用户480在沿着线492的右摇位置（该位置以角度x偏移初始位置）上移动移动计算设备482时，在设备显示器上生成图像494。实际上，显示器正在显示通过照相机和全景光学设备的组合捕捉的全景图像的不同部分。将要显示的图像的部分由指南针方位数据相对于初始位置的指南针数据的变化确定。

有时候，可取的是，即使当所记录的指南针数据可用时也使用任意向北的值。有时候，不使摇动角度随设备1:1地变化也是可取的。在一些实施例中，渲染的摇动角度可以相对于设备的用户可选择的比率改变。例如，如果用户选择4x运动控制，则将设备旋转90°将允许用户看见视频的全部旋转，当用户不具有完全地转体（spin around）的移动自由时这是方便的。

在基于触摸的输入与方位输入组合的情况下，可将触摸输入作为附加偏移相加到方位输入。通过这样做，有效地避免了两种输入方法之间的冲突。

在陀螺仪数据可用并且提供更好的性能的移动设备上，在之前渲染的帧与当前帧之间的时间间隔上可对测量沿着多个轴的旋转随时间的变化的陀螺仪数据进行积分。该总的方位上的变化可与用于渲染之前的帧的方位相加，以确定用于渲染当前帧的新的方位。在陀螺仪和指南针数据都可用的情况下，陀螺仪数据可周期性与指南针位置同步或作为一次初始偏移。

如图19所示，可从加速度计数据导出基于方位的倾斜，允许用户通过倾斜移动设备来改变显示倾斜范围。这可通过计算相对于移动设备的实时的重力矢量来实现。重力矢量沿着设备的显示平面相对于设备的角度将与设备的倾斜角度匹配。该倾斜数据相对于记录的媒体中的倾斜数据被映射。在所记录的倾斜数据不可用的情况下，可将任意的水平值映射到所记录的媒体上。设备的倾斜可被用于直接指定用于渲染的倾斜角度（即，垂直地拿电话将使视图在水平线上处于居中），或者为了操作者的方便，可以以任意偏移使用它。该偏移可基于当回放开始时设备的初始方位（例如，当回放开始时电话的角度位置可在水平线上处于居中）来确定。当用户500在沿着504的初始位置上拿着移动计算设备502时，在设备显示器上生成图像506。当用户500在沿着线508的向上倾斜位置（该位置以角度x偏移重力矢量）上移动移动计算设备502时，在设备显示器上生成图像510。当用户500在沿着线512的向下倾斜位置（该位置以角度y偏移重力）上移动移动计算设备502时，在设备显示器上生成图像514。实际上，显示器正在显示通过照相机和全景光学设备的组合而捕捉的全景图像的不同部分。将要显示的图像的部分由垂直方位数据相对于初始位置的指南针数据的变化来确定。

在基于触摸的输入与方位输入组合的情况下，可将触摸输入作为附加偏移相加到方位输入。

在陀螺仪数据可用并且提供更好的性能的移动设备上，可在之前渲染的帧与当前帧之间的时间间隔上对测量沿着多个轴的旋转随时间的变化的陀螺仪数据进行积分。该总的方位变化可与用于渲染前一帧的方位相加，以确定用于渲染当前帧的新的方位。在陀螺仪和加速度计数据都可用的情况下，陀螺仪数据可周期性与重力矢量同步或同步为一次初始偏移。

如图20所示，自动滚动校正可被计算为设备的垂直显示轴与来自设备的加速度计的重力矢量之间的角度。当用户在沿着线520的初始位置上拿着移动计算设备时，在设备显示器上生成图像522。当用户沿着线524将移动计算设备移动到x滚动位置（该位置以角度x偏移重力矢量）时，在设备显示器上生成图像526。当用户在沿着线528的y滚动位置（该位置以角度y偏移重力）上移动移动计算设备时，在设备显示器上生成图像530。实际上，显示器正在显示通过照相机和全景光学设备的组合而捕捉的全景图像的倾斜部分。将要显示的图像的部分由垂直方位数据相对于初始重力矢量的变化来确定。

在陀螺仪数据可用并且提供更好的性能的移动设备上，可在之前渲染的帧与当前帧之间的时间间隔上对测量沿着多个轴的旋转随时间的变化的陀螺仪数据进行积分。该总的方位变化可与用于渲染之前的帧的方位相加，以确定用于渲染当前帧的新的方位。在陀螺仪和加速度计数据都可用的情况下，陀螺仪数据可周期性与重力矢量同步或作为一次初始偏移。

图21是本发明的另一实施例的框图。在图21中，媒体源540是压缩的或未被压缩的视频、音频、位置、方位以及速率数据的组合存储。媒体源可从网络连接流传输、下载、或预录。媒体源可与iPhone分离，或者被存储在iPhone中。例如，媒体可驻留在电话上，可处于从服务器到电话的下载的处理中，或者仅来自流的几帧/几秒的视频可以短暂的方式被存储在电话上。

触摸屏542是可见于许多移动计算设备（诸如iPhone）上的显示器。触摸屏包含用于实现触摸动作544的内置触摸屏或触摸屏输入传感器。在软件平台不包含内置触摸屏或触摸屏传感器的使用场景下，可使用外部连接的现成的传感器。触摸、拖动、手指开合等形式的用户输入可通过使用现成的软件框架而被触摸屏和触摸屏传感器检测为触摸动作。

触摸动作形式的用户输入可由软件平台上的硬件抽象框架提供给软件应用，以为用户提供预录媒体、从互联网下载或流传输的共享媒体、或当前正被记录或预览的媒体的交互式展示。

如块546所示，许多软件平台提供使用解压缩算法对视频帧序列进行解码的工具。常用算法包括AVC和H.264。解压缩可被实现为移动计算设备的硬件特征，或者通过在通用CPU上运行的软件来实现，或者通过它们的组合来实现。解压缩的视频帧被传递给视频帧缓冲器548。

如块550所示，许多软件平台提供使用解压缩算法对音频数据序列进行解码的工具。一种常用算法是AAC。解压缩可被实现为移动计算设备的硬件特征，或者通过在通用CPU上运行的软件来实现，或者通过它们的组合来实现。解压缩的音频帧被传递给音频帧缓冲器552并被输出到扬声器554。

视频帧缓冲器548是由多个现成的软件框架中的任何一个软件框架提供的、存储解压缩视频的一个或多个帧的硬件抽象。这些帧可被软件检索以用于各种用途。

音频缓冲器552是可通过使用已知的现成的软件框架实现的、存储某一长度的解压缩音频的硬件抽象。该数据可被软件检索以用于音频压缩和存储（记录）。

纹理映射556是由软件从视频缓冲器检索的单个帧。为了显示视频序列，可周期性地从视频帧缓冲器刷新该帧。

解码位置、方位和速率块558中的功能针对媒体源的视频部分的当前时间偏移从媒体源检索位置、方位和速率数据。

交互式渲染器560将用户输入（触摸动作）、来自媒体源的静态或运动图像数据（经由纹理映射）和来自媒体源的移动数据组合，以提供用户控制的对预录媒体、通过网络下载或流传输的共享媒体的观看。用户输入被实时地使用以确定观看方位和缩放。纹理映射可被应用于球的、圆柱的、立方体的或其它几何形状的顶点网格，提供虚拟的观看场景，将来自纹理的已知的角坐标与每个顶点的期望角坐标相关。最后，通过使用方位数据来调整视图以将原始记录装置的俯仰、偏航和滚动的变化考虑到媒体中。

来自交互式渲染的信息可被用于在集成显示设备562（诸如iPhone上的屏幕）或外部连接的显示设备上生成可见输出。

扬声器通过使用集成扬声器设备（诸如iPhone上的扬声器）或外部连接的扬声器设备来提供从音频缓冲器输出的、与从交互式渲染所显示的视频同步的声音。在从处于已知方位的多个麦克风记录多通道的音频数据的情况下，在回放期间可旋转音频场以与交互式渲染器显示在空间上同步。

根据本发明的实施例的***的一些应用和使用的示例包括：运动跟踪；社交网络；360映射和巡视（touring）；安全和监控；以及军事应用。

对于运动跟踪，处理软件可被编写为检测并跟踪感兴趣的对象（人、交通工具等）的运动并显示跟随这些感兴趣的对象的视图。

对于社交网络和娱乐或体育事件，处理软件可从多个设备提供单个实时事件的多个观看视角。通过使用地理定位数据，软件可在当前时间或之前的时间显示来自邻近的其它设备的媒体。单个的设备可被用于个人媒体的n向共享（很像YouTube或flickr）。事件的一些示例包括音乐会和体育赛事，其中，多个设备的用户可上传他们各自的视频数据（例如，从用户在会场中的位置拍摄的图像），并且各个用户可选择所期望的观看位置以观看视频数据中的图像。还可提供这样的软件，以用于使用装置进行单向（one-way）配置（展示风格—一方或两方音频通信和一方视频发送）、双向（two-way）配置（会议室到会议室）或n向（n-way）配置（多个会议室或会议环境）的电话会议。

对于360°映射和巡视，处理软件可被编写为通过使用地理空间数据和由一个或多个设备和用户随时间供给的多个视角来执行街道、建筑物和场景的360°映射。装置也可被安装在地上或航空器上，或者与自主/半自主无人机结合使用。所得的视频媒体可如被捕捉那样重放，以提供沿着街道路线、建筑物内部的虚拟巡视或飞行巡视。所得的视频媒体基于用户所请求的位置还可被回放为单个的帧，以提供任意360°巡视（帧合并和插值技术可被应用以使不同视频中的帧之间的转换变得容易或者从所显示的帧去除临时的固定物、交通工具和人）。

对于安全和监控，装置可被安装在便携式设备和固定设备中，用作低型（low profile）安全照相机、交通照相机或警车照相机。在犯罪现场也可使用一个或多个设备来收集360°视场中的法医证据。光学器件可与加固的记录设备配对以用作各种交通工具中的视频黑盒的部分；被安装在内部、外部或二者以同时对引入事件的某一预定长度的时间提供视频数据。

对于军事应用，人可便携的***和车载***可被用于炮口焰检测以快速地确定敌军的位置。在单个操作区域内可使用多个设备以提供多个感兴趣的目标或位置的多个视角。当被作为人可便携的***安装时，该装置可被用于为其用户提供他或她的直接环境的更好的情景意识。当被作为固定设备安装时，该装置可被用于在该装置的大部分被隐藏或伪装的情况下进行远程监控。该装置可被构造为适应非可见光谱（诸如用于360度热检测的红外线）中的照相机。

尽管以上已出于说明的目的描述了本发明的特定实施例，但是对于本领域技术人员显而易见的是，可以在不脱离本发明的情况下对本发明的细节进行大量的变化。

Claims (81)

1.一种装置，包括：

外壳；

凹形全景反射器；

支承结构，所述支承结构被配置为将凹形全景反射器保持在相对于外壳的固定位置中；以及

安装设备，所述安装设备用于将外壳安置在相对于计算设备的固定方位上，以使得由所述凹形全景反射器反射的光被引向计算设备中的光传感器。

2.根据权利要求1所述的装置，其中，所述凹形全景反射器的一部分被安置在外壳的外部，并且在轴向方向上从外壳的端部移位以在凹形全景反射器的边缘与外壳的端部之间形成开口。

3.根据权利要求2所述的装置，其中，所述凹形全景反射器的形状限定垂直视场。

4.根据权利要求1所述的装置，还包括：

被安置以将来自凹形全景反射器的光反射到光传感器的镜。

5.根据权利要求4所述的装置，其中，所述镜的大小包含计算设备中的照相机的视场。

6.根据权利要求1所述的装置，其中，所述外壳的至少一部分具有大体上截头锥的形状。

7.根据权利要求1所述的装置，其中，所述支承结构包括：

透明构件，所述透明构件被安置在外壳中与外壳的轴垂直的平面中；以及

中心开口，所述中心开口被配置为容纳与凹形全景反射器耦接的立柱。

8.根据权利要求1所述的装置，其中，所述安装设备包括：

用于移动计算设备的壳体，其中，所述壳体被配置为与所述外壳耦接。

9.根据权利要求8所述的装置，其中，所述壳体包括被配置为与外壳上的大体椭圆形的突出部进行过盈配合的椭圆形开口。

10.根据权利要求8所述的装置，其中，所述壳体包括被配置为接纳外壳上的键接突出部的键接开口。

11.根据权利要求8所述的装置，其中，所述壳体包括被配置为接纳外壳上的突出部的卡口开口。

12.根据权利要求8所述的装置，其中，所述壳体包括被配置为与外壳上的磁体耦合的磁体。

13.根据权利要求8所述的装置，其中，所述壳体包括被配置为接纳外壳上的对准凸块的对准凹槽。

14.根据权利要求8所述的装置，其中，所述壳体包括被配置为接纳外壳上的有翼突出部的开口。

15.根据权利要求8所述的装置，其中，所述壳体包括被配置为接纳外壳上的销的多个开口。

16.根据权利要求8所述的装置，其中，所述壳体包括被配置为夹紧沿着移动计算设备上的屏幕的外缘的斜边的唇部。

17.根据权利要求16所述的装置，其中，所述唇部抵靠移动计算设备的背部将壳体的背面保持在张力状态中。

18.根据权利要求8所述的装置，其中，所述壳体包括滑到移动计算设备上的两个部件。

19.根据权利要求18所述的装置，其中，所述两个部件通过一对平行的斜角表面接合，从而当所述两个部件滑到移动计算设备上、然后被按压在一起时形成过盈配合。

20.根据权利要求8所述的装置，所述壳体包括被配置为接纳外壳上的突出部并且允许所述突出部滑入与照相机开口相邻的位置中的开口。

21.根据权利要求1所述的装置，其中，所述凹形全景反射器具有由以下等式中的一个等式限定的形状：

$\frac{\mathrm{dr}}{d(\mathrm{\θ}+\frac{A}{\mathrm{\α}})}=r\cot (k\tan (\mathrm{\θ}+\frac{A}{\mathrm{\α}})+\frac{\mathrm{\π}}{2}-k\tan \left(R_{\mathrm{cs}}\right)-\frac{R_{\mathrm{cs}}}{2});$

$\frac{\mathrm{dr}}{d(\mathrm{\θ}+\frac{A}{\mathrm{\α}})}=r\cot (k\tan (\mathrm{\θ}+\frac{A}{\mathrm{\α}})+\frac{\mathrm{\π}}{2});$ 或

$\frac{\mathrm{dr}}{\mathrm{d\θ}}=r\cot (k\tan \left(\mathrm{\θ}\right)+\frac{\mathrm{\π}-A}{2}-k\tan \left(R_{\mathrm{cs}}\right)-\frac{R_{\mathrm{cs}}}{2})$

其中，A是以弧度为单位的光线r_o的方向与平行于照相机轴294的线之间的角度；R_cs是以弧度为单位的照相机轴与镜上反射光线r_o的点之间的角度；R_ce是以弧度为单位的照相机轴与镜的边缘之间的角度；r_o是以毫米为单位的内径；α是增益因子；θ是以弧度为单位的照相机轴与反射光线r之间的角度；k根据第一等式中的α而限定。

22.一种方法，包括：

在计算设备中接收全景图像数据；

实时地观看全景图像的区域；以及

响应于计算设备的方位和/或用户输入来改变所观看的区域。

23.根据权利要求22所述的方法，其中，所述用户输入包括基于触摸的摇动、倾斜和/或缩放。

24.根据权利要求23所述的方法，其中，将来自用户的触摸的初始接触点映射到摇动/倾斜坐标，并且在拖动期间计算摇动/倾斜调整以将摇动/倾斜坐标保持在用户手指的下面。

25.根据权利要求22所述的方法，其中，所述计算设备的方位被用于实现摇动、倾斜和/或基于方位的滚动校正。

26.根据权利要求22所述的方法，其中，用户输入和方位输入被相加地处理。

27.根据权利要求23所述的方法，其中，对于基于触摸的缩放，将来自用户触摸的两个接触点映射到摇动/倾斜坐标，从所述摇动/倾斜坐标计算角度度量以表示两个接触手指之间的角度。

28.根据权利要求27所述的方法，其中，视场模拟缩放随着用户手指捏合或放开而被调整，以将动态改变的手指位置匹配到初始角度度量。

29.根据权利要求27所述的方法，其中，手指捏合两个接触点生成缩小效果。

30.根据权利要求22所述的方法，其中，基于方位的摇动是从由计算设备中的指南针传感器提供的指南针数据导出的。

31.根据权利要求30所述的方法，其中，在记录的指南针数据可用的情况下，将实时的指南针数据与记录的指南针数据进行比较。

32.根据权利要求30所述的方法，其中，将任意向北的值映射到记录的媒体上。

33.根据权利要求30所述的方法，其中，将陀螺仪数据映射到任意向北的值以提供模拟的指南针输入。

34.根据权利要求30所述的方法，其中，陀螺仪数据被周期性地与指南针位置同步或者作为一次初始偏移。

35.根据权利要求22所述的方法，其中，由指南针方位数据相对于初始位置的指南针数据的变化所确定的全景图像的不同部分被示出。

36.根据权利要求22所述的方法，其中，基于方位的倾斜是从加速度计数据导出的。

37.根据权利要求36所述的方法，其中，重力矢量是相对于所述计算设备确定的。

38.根据权利要求37所述的方法，其中，所述重力矢量沿着计算设备的显示平面相对于计算设备的角度与设备的倾斜角度匹配。

39.根据权利要求38所述的方法，其中，倾斜数据相对于记录的媒体中的倾斜数据被映射。

40.根据权利要求38所述的方法，其中，将任意的水平值映射到记录的媒体上。

41.根据权利要求22所述的方法，其中，将被观看的图像的一部分由垂直方位数据相对于初始位置数据的变化来确定。

42.根据权利要求22所述的方法，其中，通过基于触摸的输入作为偏移被相加到方位输入来将基于触摸的输入与方位输入组合。

43.根据权利要求22所述的方法，其中，将陀螺仪数据映射到任意的水平值以提供模拟的重力矢量输入。

44.根据权利要求43所述的方法，其中，陀螺仪数据被周期性地与重力矢量同步或者作为一次初始偏移。

45.根据权利要求22所述的方法，其中，自动滚动校正被计算为计算设备的垂直显示轴与来自计算设备的加速度计的重力矢量之间的角度。

46.根据权利要求22所述的方法，其中，显示器示出通过照相机和全景光学设备的组合而捕捉的全景图像的倾斜部分。

47.根据权利要求22所述的方法，其中，将被观看的图像的区域由垂直方位数据相对于初始重力矢量的变化来确定。

48.根据权利要求22所述的方法，还包括：

检测并跟踪感兴趣的对象的运动，并显示跟随该感兴趣的对象的区域。

49.根据权利要求22所述的方法，还包括：

从多个计算设备提供单个实时事件的多个观看视角。

50.根据权利要求49所述的方法，还包括：

在当前时间或之前的时间显示来自多个计算设备的图像数据。

51.一种装置，包括：

全景光学设备，所述全景光学设备被配置为将光反射到照相机；

计算设备，所述计算设备用于对来自照相机的图像数据进行处理以生成渲染的图像；以及

显示器，所述显示器用于示出渲染的图像的至少一部分，其中，显示的图像响应于计算设备的方位和/或用户输入而改变。

52.根据权利要求51所述的装置，其中，所述用户输入包括基于触摸的摇动、倾斜和/或缩放。

53.根据权利要求52所述的装置，其中，将来自用户的触摸的初始接触点映射到摇动/倾斜坐标，并且在拖动期间计算摇动/倾斜调整以将摇动/倾斜坐标保持在用户手指的下面。

54.根据权利要求51所述的装置，其中，所述计算设备的方位被用于实现摇动、倾斜和/或基于方位的滚动校正。

55.根据权利要求51所述的装置，其中，用户输入和方位输入被相加地处理。

56.根据权利要求51所述的装置，其中，对于基于触摸的缩放，将来自用户触摸的两个接触点映射到摇动/倾斜坐标，从所述摇动/倾斜坐标计算角度度量以表示两个接触手指之间的角度。

57.根据权利要求56所述的装置，其中，视场模拟缩放随着用户手指捏合或放开而被调整，以将动态改变的手指位置匹配到初始角度度量。

58.根据权利要求56所述的装置，其中，手指捏合两个接触点生成缩小效果。

59.根据权利要求56所述的装置，还包括：

在计算设备中的指南针传感器，其中，基于方位的摇动是从指南针数据导出的。

60.根据权利要求59所述的装置，其中，将实时的指南针数据与记录的指南针数据进行比较。

61.根据权利要求59所述的装置，其中，将任意向北的值映射到记录的媒体上。

62.根据权利要求59所述的装置，还包括：

陀螺仪，其中，将陀螺仪数据映射到任意向北的值以提供模拟的指南针输入。

63.根据权利要求59所述的装置，其中，陀螺仪数据被周期性地与指南针位置同步或者作为一次初始偏移。

64.根据权利要求51所述的装置，其中，由指南针方位数据相对于初始位置的指南针数据的变化所确定的渲染的图像的不同部分被示出。

65.根据权利要求51所述的装置，其中，基于方位的倾斜是从加速度计数据导出的。

66.根据权利要求51所述的装置，其中，重力矢量是相对于所述计算设备确定的。

67.根据权利要求66所述的装置，其中，所述重力矢量沿着计算设备的显示平面相对于计算设备的角度与设备的倾斜角度匹配。

68.根据权利要求66所述的装置，其中，倾斜数据相对于记录的媒体中的倾斜数据被映射。

69.根据权利要求66所述的装置，其中，将任意的水平值映射到记录的媒体上。

70.根据权利要求51所述的装置，其中，将被示出的图像的一部分由垂直方位数据相对于初始位置的指南针数据的变化来确定。

71.根据权利要求51所述的装置，其中，通过触摸输入作为偏移被相加到方位输入来将基于触摸的输入与方位输入组合。

72.根据权利要求51所述的装置，其中，将陀螺仪数据映射到任意的水平值以提供模拟的重力矢量输入。

73.根据权利要求72所述的装置，其中，陀螺仪数据被周期性地与重力矢量同步或者作为一次初始偏移。

74.根据权利要求51所述的装置，其中，自动滚动校正被计算为计算设备的垂直显示轴与来自计算设备中的加速度计的重力矢量之间的角度。

75.根据权利要求51所述的装置，其中，显示器示出通过照相机和全景光学设备的组合而捕捉的全景图像的倾斜部分。

76.根据权利要求51所述的装置，其中，将被示出的图像的部分由垂直方位数据相对于初始重力矢量的变化来确定。

77.根据权利要求51所述的装置，其中，将陀螺仪数据映射到任意的向上的值以提供模拟的重力矢量输入。

78.根据权利要求51所述的装置，其中，陀螺仪数据被周期性地与重力矢量同步或者作为一次初始偏移。

79.根据权利要求51所述的装置，其中，所述计算设备检测并跟踪感兴趣的对象的运动，并显示跟随该感兴趣的对象的区域。

80.根据权利要求51所述的装置，还包括：

从多个计算设备提供单个实时事件的多个观看视角。

81.根据权利要求80所述的装置，还包括：

在当前时间或之前的时间显示来自多个计算设备的图像数据。

Images