CN108028915A - 用于产生环绕视图的***和方法 - Google Patents

Abstract

描述一种设备。所述设备包含电子装置。所述电子装置经配置以基于至少一个立体视图范围和至少一个单像视图范围的组合提供环绕视图。还描述一种方法。所述方法包含从相应多个镜头获得多个图像。所述方法还包含基于渲染包含第一渲染椭圆和第二渲染椭圆的立体环绕视图而避免阻挡镜头。渲染所述立体环绕视图包含将所述多个图像的第一图像原生地映射到所述第一渲染椭圆的第一范围，以及将所述第一图像原生地映射到所述第二渲染椭圆的第二范围。

Description

用于产生环绕视图的***和方法

相关申请案

本申请案与2015年9月15日申请的第62/218,792号美国临时专利申请案“用于从鱼眼相机产生立体环绕视图的***和方法(SYSTEMS AND METHODS FOR PRODUCING ASTEREOSCOPIC SURROUND VIEW FROM FISHEYE CAMERAS)”相关且要求其优先权。

技术领域

本发明大体涉及电子装置。更具体地说，本发明涉及用于产生环绕视图的***和方法。

背景技术

一些电子装置(例如，相机、视频摄录影机、数码相机、蜂窝式电话、智能电话、计算机、电视机、汽车、个人相机、可穿戴式相机、虚拟现实装置(例如，耳机)、扩增现实装置(例如，耳机)、混合现实装置(例如，耳机)、运动相机、监控摄像头、安装摄像头、互联摄像头、机器人、无人机、智能应用、医疗保健设备、机顶盒等)捕获和/或利用图像。举例来说，智能电话可捕获和/或处理静态和/或视频图像。所述图像可经处理、显示、存储和/或发射。所述图像可描绘例如包含景观和/或对象的场景。

在一些情况下，可能难以描绘所捕获场景深度。举例来说，可能难以在宽检视范围上描绘场景深度。如从此论述可观察到，改进广角图像利用和/或处理的***和方法可能是有益的。

发明内容

描述一种设备。所述设备包含电子装置，其经配置以基于至少一个立体视图范围和至少一个单像视图范围的组合提供环绕视图。

所述设备可包含耦合到所述设备的多个镜头。所述镜头可经配置以获得所述至少一个立体视图范围和所述至少单像视图范围的多个图像。电子装置可经配置以在无可耦合到所述设备的阻挡镜头的情况下在环绕视图中渲染所述至少一个单像视图范围。

所述设备可以是车辆。所述车辆可包含耦合到所述车辆的多个镜头。所述多个镜头可经配置以获得用于形成环绕视图的所述至少一个立体视图范围。

所述设备可包含耦合到车辆的显示器。所述显示器可经配置以输出环绕视图。

所述设备可以是移动装置。所述移动装置可包含耦合到所述移动装置的多个镜头。所述多个镜头中的至少两个可经配置以获得用于形成环绕视图的所述至少一个立体视图范围。

所述设备可包含经配置以在扩增现实中输出环绕视图的显示器。所述设备可包含处理器，其经配置以执行所述至少一个立体视图范围中的至少一个和所述至少一个单像视图范围中的至少一个之间的重叠中的淡变和混合中的至少一个。

电子装置可经配置以渲染环绕视图。环绕视图可包含第一椭圆视图和第二椭圆视图。所述设备可包含处理器，其经配置以基于第一椭圆视图和第二椭圆视图之间对应于不同镜头对的图像的互换而避免反向立体视差。

所述设备可包含处理器，其经配置以基于由耦合到所述设备的多个镜头获得的多个图像的投影来避免图像的再对准。所述设备可以是先进驾驶者辅助***(ADAS)中使用的车辆。

还描述一种设备。所述设备包含用于基于至少一个立体视图范围和至少一个单像视图范围的组合提供环绕视图的装置。

还描述一种方法。所述方法包含从相应多个镜头获得多个图像。所述方法还包含基于渲染包含第一渲染椭圆和第二渲染椭圆的立体环绕视图而避免阻挡镜头。渲染立体环绕视图可包含将所述多个图像的第一图像原生地映射到第一渲染椭圆的第一范围，以及将所述第一图像原生地映射到第二渲染椭圆的第二范围。

渲染立体环绕视图可包含避免反向立体视差，包含将所述多个图像原生地映射到第一渲染椭圆以及将所述多个图像原生地映射到第二渲染椭圆。所述多个图像可原生地映射到第一渲染椭圆和第二渲染椭圆的不同范围。

所述多个镜头可安装在车辆上。立体环绕视图可在先进驾驶者辅助***(ADAS)中利用。

所述多个镜头可安装在一或多个无人机上。所述多个镜头中的至少一个可具有大于180度的视场。

所述多个图像可包含第一半椭圆、第二半椭圆、第三半椭圆和第四半椭圆。第一渲染椭圆可以是左渲染椭圆，且第二渲染椭圆可以是右渲染椭圆。左渲染椭圆可包含第一范围中的第一半椭圆的至少一部分、第二范围中的第二半椭圆的至少一部分、第三范围中的第四半椭圆的至少一部分，和第四范围中的第三半椭圆的至少一部分。右渲染椭圆可包含第一范围中的第三半椭圆的至少一部分、第二范围中的第一半椭圆的至少一部分、第三范围中的第二半椭圆的至少一部分，和第四范围中的第四半椭圆的至少一部分。

所述方法可包含执行所述多个图像中的至少两个之间的混合和淡变中的至少一个。所述方法可包含将所述多个图像直接投影到第一渲染椭圆和第二渲染椭圆以避免执行再对准。

还描述一种计算机程序产品。所述计算机程序产品包含具有指令的非暂时性有形计算机可读媒体。所述指令包含用于致使电子装置从相应多个镜头获得多个图像的代码。所述指令还包含用于致使电子装置基于用于致使电子装置渲染包含第一渲染椭圆和第二渲染椭圆的立体环绕视图的代码而避免阻挡镜头的代码。所述用于致使电子装置渲染立体环绕视图的代码包含用于致使电子装置将所述多个图像的第一图像原生地映射到第一渲染椭圆的第一范围且将所述第一图像原生地映射到第二渲染椭圆的第二范围的代码。

附图说明

图1是说明设备的一个配置的实例的图式；

图2是说明根据本文中揭示的***和方法的设备的配置的一个实例的框图；

图3是说明其中可实施用于产生环绕视图的***和方法的设备的一个实例的框图；

图4是说明基于镜头的布置的视图范围的图式；

图5是说明互换半椭圆的实例的图式；

图6是说明用于互换半椭圆的方法的一个配置的流程图；

图7说明半椭圆的实例；

图8是说明关于避免环绕视图中的阻挡镜头的额外细节的图式；

图9A是说明用于从半椭圆移除阻挡镜头的方法的实例的图式；

图9B说明在用如结合图9A所描述的未受阻挡楔形替代受阻挡楔形之后半椭圆的实例；

图9C是说明包含至少一个立体视图范围和至少一个单像视图范围的环绕视图的实例的图式；

图10是说明用于渲染具有至少一个立体视图范围和至少一个单像视图范围的环绕视图的方法的一个配置的实例的流程图；

图11是说明用于互换半椭圆的方法的一个配置的流程图；

图12是说明用于获得半椭圆的方法的一个配置的流程图；

图13是说明用于环绕视图重放的功能方法的图式；

图14是说明环绕视图重放的一个实例的图式；

图15是说明本文中揭示的***和方法的配置的实例的图式；

图16是说明本文中揭示的***和方法的配置的另一实例的图式；

图17是说明用于避免立体环绕视图中的阻挡的方法的一个配置的流程图；

图18是说明可经渲染以产生立体环绕视图的渲染形状的实例的图式；

图19是说明本文中揭示的***和方法的配置的另一实例的图式；

图20是说明本文中揭示的***和方法的配置的另一实例的图式；

图21是说明本文中揭示的***和方法的配置的另一实例的图式；

图22是说明本文中揭示的***和方法的配置的另一实例的图式；以及

图23说明可包含于经配置以实施本文中揭示的***和方法的各种配置的设备内的特定组件。

具体实施方式

本文中揭示的***和方法可涉及立体环绕图像(例如，视频)捕获和/或重放。举例来说，本文中揭示的***和方法可提供用于立体环绕(例如，水平方向和垂直方向两者中360度)图像和/或视频捕获的方法。

一些广角图像捕获方法描述如下。在一个方法中，双侧鱼眼镜头相机可用于在单像视图中(而非立体视图中)捕获360度图像和视频。单像图像不能提供深度感。举例来说，其不能提供不同视角以提供深度信息(例如，其不能利用左与右或前与后的概念)。

一些用于立体图像的方法可包含将鱼眼镜头放置在汽车上(例如，左前(FL)相机、右前(FR)相机、左后(BL)相机和右后(BR)相机)。然而，镜头/相机之间的间隔(D)可能较远，大约几米。相应地，一些方法可利用具有大形状因数的装置(举例来说，其利用和/或需要鱼眼镜头之间的大距离)。

一些方法可仅产生以下中的任一个：(a)单像(无深度或类似于用仅一只眼睛看)360度图像，(b)360度立体视图但仅针对上半球(类似于仅看周围环境的一半)或(c)360度视图但在仅一个高度处(例如，仅以仰角0)。

在一些图像捕获***中，相机镜头可协同定位在同一平面中，其中镜头分隔开物理距离，使得可通过合成由个别相机镜头捕获的像素且调整分隔这些相机镜头的物理距离来形成立体椭圆(例如，球面)图像。所揭示的***和方法的一些配置可涉及像素的原生映射以形成立体椭圆图像，而不需要单独地合成椭圆图像和考虑镜头的物理分隔距离。一些图像***不使用原生映射，因为一些图像捕获***不直接由像素创建立体椭圆视图。实际上，一些图像***可通过复制两个所捕获图像且合成所捕获图像以形成立体椭圆视图来创建立体视图。

在原生映射中，举例来说，来自镜头的像素可能已经捕获立体图像信息，因为相机可经定位以与人眼分隔距离大致匹配。原生映射可实现仅渲染几何形状以立体地显现。在合成中(例如，合成所捕获视图)，可计算场景的某种视差(例如，深度)图。视差(例如，深度)图可用于确定像素如何被内插或移位。像素可需要合成以与人眼视差大致匹配。

一些图像捕获***(同一平面中的两个相机分隔开某一距离)通过选择性地挑选像素来合成所捕获图像。这些***不具有满足以下条件的图像：在第二镜头的视图中捕获第一镜头，以及第一镜头在来自第二镜头的第二图像捕获之后随后呈现。换句话说，由于像素的选择性合成，立体椭圆视图不包含在捕获镜头的视场中的“其它”镜头的阻挡。在无选择性合成以补偿镜头之间的距离的情况下，可执行像素的原生映射。一些图像捕获***未能通过原生映射移除其它镜头的阻挡或捕获镜头视场中的任何其它阻挡。

如可从以上论述观察到，当尝试产生环绕视图(例如，立体环绕视图)时可能产生多种问题。可能产生的一个问题是映射问题。举例来说，假定装置(例如，智能电话)包含两对前-后镜头。举例来说，电子装置可包含：左侧的第一对镜头(例如，鱼眼镜头)，其包含一个朝向装置前部的镜头和另一个朝向装置后部的镜头；以及右侧的第二对镜头，其包含一个朝向装置前部的镜头和另一个朝向装置后部的镜头。所述镜头中的每一个可提供近似半球图像数据。相应地，每对镜头可提供近似球面图像，其中球面图像的视角彼此移位。

渲染立体环绕视图的一种方法将左球面图像映射到用户的左眼，且将右球面图像映射到用户的右眼。归因于球面图像之间的移位(例如，视差)，用户可在向前检视时感知到深度。然而，当向后检视(例如，在球面图像中的每一个中将视点旋转180°)时，球面图像不再对应于用户的眼睛位置。举例来说，图像数据从用户的眼睛位置反向，从而致使左/右视图反向。反向立体视差可意味着使视图视角相对于眼睛视角反转。在反向立体视差中，举例来说，左眼看到右视图视角，且右眼看到左视图视角。此问题可能致使用户在注视所渲染环绕视图时感觉到眩晕。

本文中揭示的***和方法的一些配置可减轻和/或解决映射问题。举例来说，半椭圆(例如，半球面图像)可在镜头对之间互换。举例来说，对应于用户的左眼的左渲染形状(例如，椭圆、球面等)可用来自对应于第一前-后镜头对的半椭圆的图像数据和来自对应于第二前-后镜头对的半椭圆的图像数据渲染。相应地，当朝前和朝后检视时，图像的视点可对应于用户的眼睛位置。应注意，如本文所使用的前缀“半”可或可不表示恰好一半。举例来说，半椭圆可小于全椭圆，且可以或可以不是椭圆的恰好一半。在一些配置中，半椭圆可跨越比椭圆的一半更多或更少。举例来说，半椭圆可跨越160度、180度、220度、240度等。

当尝试产生环绕视图时可能产生视差问题。一些方法可从不同方向(例如，相反方向、前方向和后方向等)捕获半球面图像。半球面图像之间可能存在视差(例如，偏移)。举例来说，一个镜头可相对于另一镜头倾斜，和/或可不相对于另一镜头恰好对准。这可能导致半球面图像之间的视差(例如，垂直视差)。为了产生环绕视图，一些方法可试图对准图像，减少视差和/或拼接图像。举例来说，像素可在一个或两个图像中移动(例如，移位)以试图使组合的图像无缝。然而，像素移动到的不可见线在相机之间可能不是恒定的。除非考虑视差(举例来说，经由校准)，否则视差(例如，垂直视差)可能仍然存在。所述视差和/或移动像素以对准图像可能致使用户感觉到眩晕和/或不适。

在本文中揭示的***和方法的一些配置中，可避免再对准(例如，移动像素、拼接等)。举例来说，本文中揭示的***和方法的一些配置可通过将每一镜头图像直接投影到球面来避免再对准(例如移动像素和/或拼接)。图像接着可混合(例如，在图像边缘处)。

捕获阻挡可能是尝试产生环绕视图时可能产生的另一问题。举例来说，镜头可提供包含装置的一部分(例如，装置外壳、另一镜头等)的图像。这可能阻挡试图捕获的场景。

在本文中揭示的***和方法的一些配置中，可使用一或多种方法避免阻挡。在一些方法中，来自镜头(例如，来自一对鱼眼镜头)的受阻挡范围可用来自另一镜头(例如，来自另一对鱼眼镜头)的未受阻挡范围替代。在一些方法中，可通过在环绕视图中渲染单像视图范围(例如，对应于受阻挡范围)和立体视图范围来避免阻挡。举例来说，在一些方法中，环绕视图可渲染为一或多个立体视图范围和一或多个单像视图范围的混合(例如，这可避免阻挡)。这些方法中的一或多个可在其中镜头具有近似180°视场和/或其中两个或两个以上镜头近似共面安装的一些配置中使用。

在本文中揭示的***和方法的一些配置中，可使用重叠视场避免阻挡。举例来说，假定两对前-后鱼眼镜头安装在装置(例如，智能电话)上。鱼眼镜头中的每一个可具有大于180°的视场。在一个实施方案中，举例来说，每一鱼眼镜头可具有240度视场。可通过背对背安装鱼眼镜头来实现60度重叠。因为可能存在某一厚度，所以尽管背对背安装，相机仍可能展现视差。可确定关注区(例如，重叠区)。举例来说，关注区可以是已知的和/或基于设置相机来确定。

像素可基于关注区复制到适当左眼和右眼位置(例如，渲染椭圆(例如，球面)。在一些方法中，可执行一或多个变换(例如，除复制之外)以增强和/或混合图像(例如，颜色)。在一些实施方案中，图像可能受阻挡。举例来说，不同相机(例如，两个相机)可能看见彼此。可利用像素(例如，末端处的图像信息)来替代其中出现阻挡(例如，镜头、相机等)的像素。

广角相机可包含至少一个广角镜头，宽FOV相机可包含至少一个宽FOV镜头，鱼眼相机可包含至少一个鱼眼镜头，标准相机可包含至少一个标准镜头，且/或长焦相机可包含至少一个长焦镜头。标准相机和/或标准镜头可产生不呈现为失真(或仅具有可忽略的失真)的标准图像。广角镜头和宽FOV镜头(例如，广角相机、宽FOV相机)可具有比标准镜头短的焦距，和/或可产生具有扩大视场的图像。广角镜头和宽FOV镜头(例如，广角相机、宽FOV相机)可产生具有视角失真的图像，其中图像呈现为弯曲(例如，场景中的直线在用广角或宽FOV镜头捕获的图像中呈现为弯曲)。举例来说，广角镜头和/或宽FOV镜头可产生广角图像、宽FOV图像、弯曲图像、球面图像、半球面图像、半椭圆图像、鱼眼图像等。长焦镜头和/或长焦相机可具有比标准镜头长的焦距和/或可产生具有收缩视场和/或呈现为放大的图像。

如本文中所使用，“鱼眼镜头”可为广角和/或宽视场(FOV)镜头的实例。举例来说，鱼眼相机可产生具有近似100和240度之间的视角的图像。举例来说，许多鱼眼镜头可具有大于100度的FOV。一些鱼眼镜头具有至少140度的FOV。举例来说，先进驾驶者辅助***(ADAS)情境中使用的一些鱼眼镜头可具有(但不限于)140度或更大的FOV。鱼眼镜头可产生外观为全景和/或近似椭圆(例如，球面、半球面、半椭圆等)的图像。鱼眼相机可产生具有较大失真的图像。举例来说，由鱼眼相机捕获的场景中的一些水平线可呈现为弯曲而非直线。相应地，与其它镜头(例如，常规相机)相比，鱼眼镜头可展现失真和/或大FOV。

应注意，可依据鱼眼镜头、鱼眼相机和/或鱼眼图像描述本文中揭示的***和方法的若干实例。应注意，本文中揭示的***和方法可另外或替代地结合一或多个标准镜头、广角镜头、宽FOV镜头、长焦镜头、标准相机、广角相机、宽FOV相机、长焦相机、标准图像、广角图像、宽FOV图像和/或长焦图像等应用。相应地，参考一或多个“鱼眼相机”、“鱼眼镜头”和/或“鱼眼图像”的实例可另外或替代地揭示具有标准镜头、广角镜头、宽FOV镜头、长焦镜头、标准相机、广角相机、宽FOV相机、长焦相机、标准图像、广角图像、宽FOV图像和/或长焦图像等而非鱼眼相机、鱼眼镜头和/或鱼眼图像的其它对应实例。对一或多个“相机”的一般参考可指代标准相机、广角相机、宽FOV相机鱼眼相机和/或长焦相机等中的任一个或全部。对一或多个“镜头”或“光学***”的一般参考可指代标准镜头、广角镜头、宽FOV镜头、鱼眼镜头和/或长焦镜头等中的任一个或全部。对一或多个“图像”的一般参考可指代标准图像、广角图像、宽FOV图像、鱼眼图像和/或长焦图像中的任一个或全部。

本文中揭示的***和方法可在许多情境、装置和/或***中应用。举例来说，本文中揭示的***和方法可实施在电子装置、车辆、无人机、相机、计算机、安全***、可穿戴式装置(例如，运动相机)、飞机、船、休闲车辆、虚拟现实(VR)装置(例如，VR耳机)、扩增现实(AR)装置(例如，AR耳机)等中。

鱼眼相机可安装在多个位置中。举例来说，可定位四个相机，其中两个相机在设备、电子装置、车辆、无人机等的前方且两个相机在其后方。可根据本文中揭示的***和方法实施许多其它位置。不同鱼眼相机可具有不同倾斜角。来自鱼眼相机的鱼眼图像可具有重叠区。在一些配置中，多于或少于四个相机可经安装且用于产生360度或小于360度的组合视图(例如，环绕视图)。组合视图可以是比单独的每一个别图像提供更大视角的图像的组合。环绕视图可以是部分或完全环绕一或多个对象(例如，车辆、无人机、建筑物、智能电话等)的组合视图。在一些配置中，从宽FOV相机产生的组合视图(例如，环绕视图)可用于产生立体三维(3D)组合视图(例如，环绕视图)。如何连接来自多个镜头的输出图像以产生组合视图(例如，清晰大FOV(例如360度)环绕视图)提出具有挑战性的问题。

现参看图式描述各种配置，图式中相同的参考标号可以指示功能上类似的元件。可以广泛多种不同配置来布置及设计如本文中在各图中大体描述及说明的***和方法。因此，对如各图中所表示的若干配置的以下更详细描述并不希望限制如所要求的范围，而是仅表示***及方法。

图1是说明设备102的一个配置的实例的图式。在本文中揭示的***和方法的一些配置中，两对108a-b鱼眼镜头可耦合到设备102(例如，包含在设备102中)。如本文中所使用，术语“耦合”可意味着直接或间接连接。术语“耦合”可在机械和/或电子情境中使用。举例来说，左前鱼眼镜头104可以机械方式耦合到设备102(例如，附接到设备102、安装在设备102上等)，而图像传感器可以电子方式耦合到处理器。A图中的元件或组件之间的线和/或箭头可指示耦合。

图1中说明设备102的自上向下视图。在此实例中，设备102包含左前鱼眼镜头104、右后鱼眼镜头106、右前鱼眼镜头110和左后鱼眼镜头112。

如图1中所说明，设备102可包含鱼眼镜头对A 108a和鱼眼镜头对B 108b。鱼眼镜头对A 108a可安装在距鱼眼镜头对B 108b分隔距离114处。举例来说，左前鱼眼镜头104和右后鱼眼镜头106可形成鱼眼镜头对A 108a(例如，双倍鱼眼镜头)。另外或替代地，右前鱼眼镜头110和左后鱼眼镜头112可形成鱼眼镜头对B 108b(例如，双倍鱼眼镜头)。

可利用鱼眼镜头104、106、110、112来捕获立体环绕图像和/或立体环绕视频。举例来说，两个单像360度图像和视频俘获双倍鱼眼镜头可相对紧密的一起安装在一个集成装置(例如，相机、智能电话、移动装置、车辆、无人机等)上以捕获立体环绕图像。

图2是说明根据本文中揭示的***和方法的设备202的配置的一个实例的框图。在此实例中，设备202可包含四个鱼眼镜头相机216、图像信号处理器(ISP)218、处理器220和存储器222。设备202可根据本文中揭示的***和方法捕获立体环绕图像(和/或视频)。

鱼眼镜头相机216中的每一个可以是广角相机。举例来说，每一鱼眼镜头相机可捕获近似180度或更大角度的场景。在一些配置中，鱼眼镜头相机中的每一个可包含图像传感器和用于捕获图像信息的光学***(例如，一或多个镜头)。鱼眼镜头相机216可耦合到ISP218。

举例来说，在一些配置中，设备202可包含图像信号处理器(ISP)218。图像信号处理器218可从鱼眼镜头相机216接收图像数据(例如，原始传感器数据和/或经预处理的传感器数据)。图像信号处理器218可对图像数据执行一或多个操作。举例来说，图像信号处理器218可执行解扩展、局部色调映射(LTM)、滤波、缩放比例和/或裁剪等。图像信号处理器218可将所得图像数据提供到处理器220和/或存储器222。

存储器222可存储图像数据。举例来说，存储器222可存储已经由ISP 218和/或处理器220处理的图像数据。ISP 218、处理器220和/或存储器222可经配置以执行本文中所揭示的方法、步骤、程序和/或功能中的一或多个。

本文中揭示的***和方法的一些配置可从鱼眼相机产生环绕视图(例如，立体环绕视图)。如本文中所使用，“鱼眼相机”可以是广角和/或宽视场(FOV)相机。举例来说，鱼眼相机可以近似180度或更大的视角产生图像。这可产生外观为全景和/或半椭圆(例如，半球面)的图像。

图3是说明其中可实施用于产生环绕视图的***和方法的设备302的一个实例的框图。举例来说，设备302可经配置以从鱼眼相机产生环绕视图(例如，立体环绕视图)。设备302的实例包含电子装置、相机、视频摄录影机、数码相机、蜂窝式电话、智能电话、计算机(例如，台式计算机、膝上型计算机等)平板计算机装置、媒体播放器、电视机、车辆、汽车、个人相机、可穿戴式相机、虚拟现实装置(例如，耳机)、扩增现实装置(例如，耳机)、混合现实装置(例如，耳机)、运动相机、监控摄像头、安装摄像头、互联摄像头、机器人、飞机、无人机、无人驾驶飞行器(UAV)、智能应用、医疗保健设备、游戏控制台、个人数字助理(PDA)、机顶盒、电气设备等。举例来说，设备302可以是先进驾驶者辅助***(ADAS)中使用的车辆。设备302可包含一或多个组件或元件。所述组件或元件中的一或多个可实施在硬件(例如，电路)或硬件与软件的组合和/或固件(例如，具有指令的处理器)中。

在一些配置中，设备302可包含处理器320、存储器322、显示器342、一或多个图像传感器324、一或多个光学***326和/或一或多个通信接口334。处理器320可耦合到存储器322、显示器342、图像传感器324、光学***326和/或通信接口334(例如，与之进行电子通信)。处理器320可以是通用单或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器320可被称为中央处理单元(CPU)。尽管设备302中仅展示单一处理器320，但在替代配置中，可使用处理器(例如，ISP和应用处理器、ARM和DSP等)的组合。处理器320可经配置以实施本文中所揭示的方法中的一或多个。举例来说，处理器320可经配置以从鱼眼图像产生环绕视图。

在一些配置中，设备302可执行结合图1-23中的一或多个描述的功能、程序、方法、步骤等中的一或多个。另外或替代地，设备302可包含结合图1-23中的一或多个描述的结构中的一或多个。

通信接口334可使设备302能够与一或多个其它设备(例如，电子装置)通信。举例来说，通信接口334可提供用于有线和/或无线通信的接口。在一些配置中，通信接口334可耦合到用于发射和/或接收射频(RF)信号的一或多个天线332。另外或替代地，通信接口334可实现一或多种类别的有线(例如通用串行总线(USB)、以太网等)通信。

在一些配置中，可实施和/或利用多个通信接口334。举例来说，一个通信接口334可为蜂窝式(例如，3G、长期演进(LTE)、CDMA等)通信接口334，另一通信接口334可为以太网接口，另一通信接口334可为通用串行总线(USB)接口，且又一通信接口334可为无线局域网(WLAN)接口(例如，电气电子工程师学会(IEEE)802.11接口)。在一些配置中，通信接口334可将信息(例如，图像信息、环绕视图信息等)发送到另一设备或装置(例如，车辆、智能电话、相机、显示器、远程服务器等)，和/或从另一设备或装置(例如，车辆、智能电话、相机、显示器、远程服务器等)接收信息。

设备302可获得一或多个图像(例如，数字图像、图像帧、视频等)。举例来说，设备302可包含图像传感器324和光学***326(例如，镜头)，所述光学***将定位于光学***326的视场内的场景和/或对象聚焦到图像传感器324上。相机(例如，可见光谱相机，或其它)可包含至少一个图像传感器和至少一个光学***。相应地，在一些实施方案中，设备302可以是一或多个相机和/或可包含一或多个相机。在一些配置中，图像传感器324可捕获所述一或多个图像。光学***326可耦合到处理器320和/或由处理器320控制。另外或替代地，设备302可从另一设备或装置(例如，耦合到设备302的一或多个外部相机、网络服务器、交通相机、水下相机、车辆相机、网络相机等)请求和/或接收所述一或多个图像。

在一些配置中，设备302可经由通信接口334请求和/或接收所述一或多个图像。举例来说，设备302可或可不包含相机(例如，图像传感器324和/或光学***326)，且可从一或多个远程装置接收图像。图像(例如，图像帧)中的一或多个可包含一或多个场景和/或一或多个对象。在一些实例中，图像传感器324和/或光学***326可以机械方式耦合到设备302(例如，可附接到智能电话的主体、附接到轿车的引擎盖等)。图像传感器324和/或光学***326可经由有线和/或无线链路链接到设备302。举例来说，图像传感器324和/或光学***326可硬连线到车辆中的控制机构(例如，处理器320，或由图像传感器324和/或光学***326捕获的信息可以无线方式发射(例如，串流或另外以无线方式运送)到控制机构(例如，处理器320)。

在一些配置中，光学***326可包含一或多个鱼眼(例如，宽FOV)镜头。相应地，光学***326和图像传感器324可以是耦合到设备302(例如，包含在设备302中)的一或多个鱼眼(例如，宽FOV)相机的组件。另外或替代地，设备302可耦合到一或多个外部鱼眼(例如，宽FOV)相机和/或与之通信。在一些实施方案中，两个或两个以上光学***(例如，镜头)可定位成彼此近似共面。举例来说，两个镜头可定位(例如，安装)在第一平面中，且两个其它镜头可定位在第二平面中。在一些实施方案中，两个或两个以上平面可彼此近似平行。

在一些配置中，设备302可包含图像数据缓冲器(未图示)。图像数据缓存器可缓冲(例如，存储)来自图像传感器324和/或外部相机的图像数据。经缓冲图像数据可提供到处理器320。

在一些配置中，设备302可包含相机软件应用和/或一或多个显示器342。当相机应用处于运行中时，定位于光学***326的视场内的对象的图像可由图像传感器324捕获。正由图像传感器324捕获的图像可提供在显示器342上。举例来说，显示器342可经配置以输出环绕视图。举例来说，一或多个环绕视图(例如，立体环绕视图)图像可发送到显示器342以供由用户检视。在一些配置中，这些图像可从存储器322重放，存储器322可包含较早捕获的场景的图像数据。设备302所获得的所述一或多个图像可为一或多个视频帧和/或一或多个静态图像。在一些实施方案中，显示器342可以是经配置以输出环绕视图的扩增现实显示器和/或虚拟现实显示器。

处理器320可包含和/或实施图像获得器336。图像帧中的一或多个可提供到图像获得器336。在一些配置中，图像获得器336可根据结合图1-23中的一或多个描述的方法、功能、程序、步骤和/或结构中的一或多个操作。图像获得器336可从一或多个相机(例如，标准相机、广角相机、鱼眼相机等)获得图像(例如，鱼眼图像、半椭圆、半球等)。举例来说，图像获得器336可从一或多个图像传感器324和/或从一或多个外部相机接收图像数据。图像可从多个相机(例如，不同位置处)捕获。如上文所描述，图像可从包含在设备302中的图像传感器324(例如，鱼眼相机)捕获，或可从一或多个远程相机(例如，远程鱼眼相机)捕获。

在一些配置中，图像获得器336可请求和/或接收一或多个图像(例如，鱼眼图像、半椭圆、半球等)。举例来说，图像获得器336可经由通信接口334从远程装置(例如，外部相机、远程服务器、远程电子装置等)请求和/或接收一或多个图像。从相机获得的图像可由处理器320处理以产生环绕视图(例如，立体环绕视图)。

应注意，“半椭圆”可指代由鱼眼相机捕获的图像数据和/或映射到弯曲表面的图像数据。举例来说，半椭圆可包含半椭圆(例如，半球)的形状呈现为弯曲和/或失真的图像数据。在一些配置中，半椭圆可包含二维(2D)图像数据。图7包含半椭圆的实例。

处理器320可包含和/或实施渲染器330。渲染器330可基于图像数据(例如，半椭圆)渲染环绕视图(例如，立体和/或单像视图)。举例来说，渲染器330可渲染包含第一渲染形状(例如，第一椭圆、第一椭圆视图、第一渲染球面、左渲染形状等)和第二渲染形状(例如，第二椭圆、第二椭圆视图、第二渲染球面、右渲染形状等)的环绕视图。渲染器330可包含图像映射器338和/或镜头隐匿器340。

处理器320可包含和/或实施图像映射器338。图像映射器338可将图像映射到渲染形状。举例来说，图像映射器338可在渲染形状之间互换图像(例如，图像范围、半椭圆等)。这可如结合图4-6、14、17-18中的一或多个描述而实现。举例来说，图像映射器338可在第一渲染形状(例如，第一椭圆视图)和第二渲染形状(例如，第二椭圆视图)之间互换对应于不同镜头对的图像。互换对应于不同镜头对的图像可避免反向立体视差。另外或替代地，图像映射器338可互换两个或两个以上半椭圆以便有助于随着不同检视角度而发生的变化的焦平面移位。

处理器320可包含和/或实施镜头隐匿器340。镜头隐匿器340可隐匿视图中鱼眼镜头的出现。在一些配置中，这可如结合图7-10和15-22中的一或多个描述而实现。在一些方法中，镜头隐匿器可渲染立体视图(例如，在所有方向上)，相对于轴线的范围内除外。举例来说，假定右前鱼眼镜头沿着轴线(例如，在大致相同平面中)紧挨着左前鱼眼镜头安装。右前鱼眼镜头可捕获展示左前鱼眼镜头的图像数据，其中视图在轴线向左附近的范围内。代替于在所述范围内渲染立体视图，镜头隐匿器340可在所述范围内切换到单像视图(来自单一鱼眼镜头)相应地，在一些方法中，环绕视图可包含至少一个立体视图范围和至少一个单像视图范围。

在一些配置中，渲染器330(例如，镜头隐匿器340)可执行立体视图和单像视图之间的淡变和/或可混合立体视图和单像视图。这可帮助提供立体视图和单像视图之间的较平滑转变。

在一些配置中，渲染器330可将来自多个镜头的图像(例如，半椭圆)投影到渲染形状(例如，椭圆、椭圆视图、球面等)。举例来说，渲染器330可将图像原生地映射(例如，直接投影)到渲染形状(而非合成视图)。通过这种方式，在一些方法中，设备302可避免使图像再对准。

处理器320可提供环绕视图(例如，立体视图和/或单像视图。举例来说，处理器320可将视图提供到显示器342以供呈现。另外或替代地，处理器320可将视图发送到另一装置(例如，经由通信接口334)。

在一些配置中，环绕视图(例如，立体环绕视图)可在ADAS中利用。举例来说，环绕视图可呈现给车辆中的用户以便辅助驾驶者避免碰撞。举例来说，环绕视图可呈现给正倒车的驾驶者，其可帮助驾驶者避免使车辆与停车场中的另一车辆或行人碰撞。提供立体视图可辅助驾驶者的深度感知。

视图可在形状上进行渲染。举例来说，视图可渲染为椭圆(例如，球面)的内部。

视图可从某一视点(例如，视角、相机角度等)提供。举例来说，虚拟现实头戴装置可从特定视角展示视图的一部分。视点可位于所渲染形状(例如，椭圆、球面等)的中心处。

在一些配置中，镜头隐匿器340可避免渲染立体环绕视图的过程中的阻挡镜头。举例来说，渲染器330(例如，镜头隐匿器340)可将图像原生地映射到渲染椭圆使得避免阻挡，同时提供(部分或完整)立体环绕视图。在一些方法中，镜头隐匿器340可将第一图像原生地映射到第一渲染椭圆(例如，球面)的范围，且将所述第一图像原生地映射到第二渲染椭圆的范围。渲染椭圆中的每一个可对应于用户的一只眼睛。结合图4-22中的一或多个提供更多细节。

在一些配置中，渲染器330(例如，图像映射器338、镜头隐匿器340等)可避免反向立体视差。举例来说，渲染器330可将多个图像原生地映射到第一渲染椭圆，且可将所述多个图像映射到第二渲染椭圆，其中所述多个图像原生地映射第一渲染椭圆和第二渲染椭圆的不同范围。结合图4-22中的一或多个提供更多细节。

存储器322可存储指令和/或数据。处理器320可存取存储器322(例如，从其读取和/或向其写入)。可由存储器322存储的指令和/或数据的实例可包含图像数据(例如，半椭圆数据)、渲染数据(例如，几何形状数据、几何形状参数、几何形状视点数据、几何形状位移数据、几何形状旋转数据等)、范围数据(例如，预定范围和/或其中阻挡镜头出现在图像数据中的范围。)、图像获得器336指令、渲染器330指令、图像映射器338指令和/或镜头隐匿器340指令等。

存储器322可存储用于供处理器320执行操作的图像和指令代码。存储器322可以是能够存储电子信息的任何电子组件。存储器322可体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、随处理器包含的机载存储器、EPROM存储器、EEPROM存储器、寄存器等，包含其组合。

数据和指令可存储于存储器322中。指令可以可由处理器320执行，以实施本文所描述的方法中的一或多个。执行指令可涉及使用存储于存储器322中的数据。当处理器320执行指令时，指令的各个部分可加载到处理器320上，且各条数据可加载到处理器320上。

在一些配置中，设备302可在显示器342上呈现用户接口328。举例来说，用户接口328可使用户能够与设备302交互。在一些配置中，用户接口328可使用户能够指示偏好(例如，视图设定)和/或与视图交互。举例来说，用户接口328可接收用于改变环绕视图(例如，放大或缩小、旋转环绕视图、移位环绕视图、改变环绕视图形状、改变环绕视图视点等)的一或多个命令。

显示器342可集成到设备302中和/或可耦合到设备302。举例来说，设备302可以是具有集成显示器的虚拟现实头戴装置。在另一实例中，设备302可以是计算机，其耦合到具有显示器342的虚拟现实头戴装置。在又一实例中，设备302可为车辆。车辆可具有经配置以获得用于产生环绕视图的图像的多个镜头。在一些配置中，车辆可具有经配置以输出环绕视图的一或多个集成显示器342。

设备302(例如，处理器320)可以任选地耦合到一或多种装置、成为一或多种装置的一部分(例如，集成到其中)、包含和/或实施一或多种装置。举例来说，设备302可实施在装备有相机的无人机中。设备302可提供由无人机上的多个鱼眼相机捕获的场景的环绕视图。在另一实例中，设备302(例如，处理器320)可实施在运动相机(其包含多个鱼眼相机)中。

应注意，电子装置的元件或组件中的一或多个可组合和/或划分。举例来说，图像获得器336、渲染器330、图像映射器338和/或镜头隐匿器340可组合。另外或替代地，图像获得器336、渲染器330、图像映射器338和/或镜头隐匿器340中的一或多个可划分成执行其操作的子集的元件或组件。

应注意，结合图3描述的元件或组件中的一或多个可以是任选的。举例来说，在一些配置中，设备302可不包含和/或可不实施图像传感器324、光学***326、通信接口334、天线332、处理器320、存储器322和/或显示器342中的一或多个。另外或替代地，在一些配置中，设备302可不实施图像映射器338或镜头隐匿器340。在一些实施方案中，图像映射器338和/或镜头隐匿器340可被实施为独立电路(例如，并不实施为处理器的一部分)。在一些配置中，设备群组(例如，无人机群集、车辆群组等)可协调以产生一或多个环绕视图。举例来说，设备302的集合可将图像数据提供(例如，发送、发射等)到可基于图像数据渲染一或多个环绕视图的另一设备302。

图4是说明基于镜头(例如，鱼眼镜头)的布置的视图范围(例如，视场)的图式。图4中说明设备402(例如，鱼眼镜头)的自上向下视图。结合图4描述的设备402可以是本文中所描述的设备102、202、302中的一或多个的一个实例。在此实例中，设备402包含左前鱼眼镜头404、右后鱼眼镜头406、右前鱼眼镜头410和左后鱼眼镜头412。如图4中所说明，设备402可包含鱼眼镜头对A 408a和鱼眼镜头对B 408b。举例来说，左前鱼眼镜头404和右后鱼眼镜头406可形成鱼眼镜头对A 408a(例如，双倍鱼眼镜头)。另外或替代地，右前鱼眼镜头410和左后鱼眼镜头412可形成鱼眼镜头对B 408b(例如，双倍鱼眼镜头)。

根据图4中说明的布置，当检视方向为向前时，可实现立体视图范围A 446a，因为两个前镜头404、410的位置垂直于检视方向布置。换句话说，可实现如图4中所展示的立体视图的前场。此外，当视点方向为向后时，可实现立体视图范围B 446b，因为两个后镜头406、412的位置垂直于检视方向布置。换句话说，可实现如图4中所展示的立体视图的后场。

然而，当视点方向为向左或向右的任一个时，可产生单像视图范围A 444a或单像视图范围B 444b，因为两个镜头的位置与检视方向近似成直线布置。换句话说，可产生如图4中所展示的单视图的左场和单视图的右场。举例来说，可以来自左前鱼眼镜头404的图像产生单像视图范围A 444a的前部分以避免从右前鱼眼镜头410的视角展示阻挡左前鱼眼镜头404。

图5是说明互换半椭圆的实例的图式。具体地说，图5说明镜头配置548的一个实例。此类似于图1中说明的布置。举例来说，设备(例如，360度立体相机)可包含如结合图1所描述和/或如图5中的镜头配置中所说明的四个鱼眼镜头504、506、510、512。

确切地说，设备的前侧可包含左前鱼眼镜头504和右前鱼眼镜头510。如所说明，左前鱼眼镜头504可在第一鱼眼镜头对中，而右前鱼眼镜头510可在第二鱼眼镜头对中。此外，装置的后侧可包含右后鱼眼镜头506和左后鱼眼镜头512。右后鱼眼镜头506可在第一鱼眼镜头对中，而左后鱼眼镜头512可在第二鱼眼镜头对中。标记A(1)、A(2)、B(1)和B(2)说明图像捕获镜头和渲染形状中的图像渲染位置之间的对应性。

鱼眼图像(例如，半椭圆)可映射到渲染形状(例如，椭圆、球面等)和/或在所述渲染形状上渲染。所述形状中的每一个可对应于一侧(例如，左眼或右眼)。举例来说，设备(例如，电子装置)可用头戴式显示器(例如，虚拟现实头戴装置等)或其它显示器(例如，3D TV等)以三维(3D)形式渲染立体环绕视图(例如，360度立体视图)。为了检视由相机捕获的图像或视频，可在渲染过程中使用渲染形状(例如，虚拟球面)来投影图像或视频。

图5中，渲染配置A 550说明对于虚拟球面的3D渲染的一个实例。虚拟球面可以左渲染球面A(例如，左眼检视球面)和右渲染球面A(例如，右眼检视球面)渲染。如果第一鱼眼镜头对映射到左渲染形状(例如，针对左眼的虚拟球面)且第二鱼眼镜头对映射到右渲染形状(例如，针对右眼的虚拟球面)，那么当视点方向为向后时渲染形状可能对应于不正确侧。举例来说，如果用户在向后的方向上检视经渲染场景，那么左后鱼眼镜头512将为用户的右眼提供图像，而右后鱼眼镜头506将为用户的左眼提供图像。此问题可被称为反向立体视差。举例来说，如果半椭圆不互换，那么当视点方向为向后时右和左视图反转。渲染配置A550说明此布置的实例。在不互换半椭圆的情况下，左渲染球面A 554将包含来自右后鱼眼镜头506的图像数据，且右渲染球面A 556将包含来自左后鱼眼镜头512的图像数据。在此情况下，朝后的右侧视图将映射到用户的左眼且朝后的左侧视图将映射到用户的右眼。

渲染配置B 552说明互换半椭圆。举例来说，来自右后鱼眼镜头506和左后鱼眼镜头512的半椭圆可互换。举例来说，当渲染左渲染形状B 558(例如，左眼视图)时，由左前鱼眼镜头504和左后鱼眼镜头512捕获的半椭圆(例如，图像或视频)可映射到左渲染形状B558。举例来说，来自左前鱼眼镜头504和左后鱼眼镜头512的半椭圆可用作左渲染形状B558(例如，针对虚拟球面的左视图)上映射的纹理。

当渲染右渲染形状B 560(例如，右眼视图)时，由右前鱼眼镜头510和右后鱼眼镜头506捕获的半椭圆(例如，图像或视频)可映射到右渲染形状B 560。举例来说，来自右前鱼眼镜头510和右后鱼眼镜头506的半椭圆可用作右渲染形状B 560(例如，针对虚拟球面的右视图)上映射的纹理。互换半椭圆可减轻反向立体视差问题。应注意，图5中的左渲染形状B558和右渲染形状B 560中说明的相机可说明左渲染形状B 558和右渲染形状B 560中的检视角度的实例。

应注意，渲染期间的视点位置和/或方向(例如，虚拟相机位置和检视方向)可由经由用户的位置及定向的手动输入或自动检测的任一个从用户接收的输入控制。虚拟相机位置和两只眼睛的检视方向可能需要同步。

应注意，双眼视觉中的零视差平面可通过旋转针对左眼和针对右眼不同地映射到渲染形状(例如，球面)的纹理来修改。举例来说，左视图(例如，左眼视图)可在视点方向α中渲染，同时在渲染右视图(例如，右眼视图)时将相对较小角度添加到α。当α为正值时，此可等效于使左眼视口和右眼视口移动成彼此更接近。这可导致将零视差平面移动得更远。当α为负时，这可导致将零视差平面移动得较接近。

图6是说明用于互换半椭圆的方法600的一个配置的流程图。方法600可由结合一或多个图1-4描述的设备102、202、302、402中的一或多个执行。设备302可从镜头(例如，鱼眼镜头)获得602图像(例如，半椭圆)。这可如结合图1-3和5中的一或多个描述而实现。举例来说，设备302可从多个镜头获得602多个图像。

设备302可在渲染形状(例如，椭圆、椭圆视图等)之间互换604对应于不同镜头对的图像(例如，半椭圆)。可执行此操作以避免反向立体视差。举例来说，设备302可将第二半椭圆与第四半椭圆互换604来渲染环绕视图。这可如结合图3和5中的一或多个描述而实现。

设备302可基于渲染形状提供606环绕视图。此可如结合图3所描述而实现。举例来说，设备302(例如，处理器320)可将环绕视图提供到设备上的一或多个显示器和/或可将环绕视图发送到另一设备或装置。

图7说明半椭圆762、764、766、768的实例。确切地说，图7说明左前半椭圆762、右后半椭圆766、右前半椭圆764和左后半椭圆768。如图7中可观察到，包含左前鱼眼镜头704和右后鱼眼镜头706的第一鱼眼镜头对(例如，鱼眼镜头对A 108a或第一双倍鱼眼镜头)可在右前半椭圆764(来自右前鱼眼镜头710)和左后半椭圆768(来自左后鱼眼镜头712)中捕获。此外，包含右前鱼眼镜头710和左后鱼眼镜头712的第二鱼眼镜头对(例如，鱼眼镜头对B108b或第二双倍鱼眼镜头)可在左前半椭圆762(来自左前鱼眼镜头704)和右后半椭圆766(来自右后鱼眼镜头706)中捕获。应注意，右后半椭圆766和左后半椭圆768可根据本文中揭示的***和方法调换(例如，互换)。

如果这些半椭圆之前用于产生立体图像，那么来自邻近相机对的鱼眼镜头将阻挡所得的所捕获立体图像。举例来说，经渲染360度合成图像组合所有四个所捕获图像。当视点方向为在经渲染360度合成图像中径直向前(轴上)时，其它鱼眼镜头可能不可见。然而，当视图方向处于倾斜角时，其它双倍鱼眼镜头可能阻挡视图。

图8是说明关于避免环绕视图中的阻挡镜头的额外细节的图式。具体地说，图8说明左渲染形状858(例如，椭圆)和右渲染形状860(例如，椭圆)。左渲染形状858可对应于用户的左眼，且右渲染形状860可对应于用户的右眼。此实例可利用类似于结合图5描述的镜头配置548的镜头配置。举例来说，左前半椭圆862可由左前镜头获得，右前半椭圆864可由右前镜头获得，左后半椭圆868可由左后镜头获得，且右后半椭圆866可由右后镜头获得。左前半椭圆862和左后半椭圆868可映射(例如，原生地映射)到左渲染形状858。右前半椭圆864和右后半椭圆866可映射(例如，原生地映射)到右渲染形状860。应注意，图8中的左渲染形状858和右渲染形状860的中心中说明的镜头可说明左渲染形状858和右渲染形状860中的检视起点的实例。

在此实例中，渲染形状858、860可在第一角度A 870a和第一角度B 870b(例如，场景前方的大部分)的重叠范围中以及第三角度A 874a和第三角度B 874b(例如，场景后方的大部分)的重叠范围中提供立体视图。图8说明避免在立体环绕视图(例如，360度立体视图)渲染期间展示其它阻挡镜头的方法。举例来说，此方法可避免在利用渲染形状(例如，虚拟球面、虚拟椭圆等)的3D渲染期间展示和/或渲染一或多个阻挡镜头。

结合图1给出具有4个鱼眼镜头的360度立体相机的布置的一个实例。为避免如结合图7描述显示另一镜头(例如，相机)，可在利用渲染形状(例如，虚拟椭圆、球面等)的3D视图渲染期间专门处理四个片段。如图8中所说明，左前鱼眼镜头804可以第二角度B 872b出现，右前鱼眼镜头810可以第四角度A 876a出现，右后鱼眼镜头806可以第二角度A 872a出现，且左后鱼眼镜头812可以第四角度B 876b出现。

左渲染形状858中的第二角度A 872a可为在近似180度处起始到终止角度的角范围(或对应负角范围)，其中右后鱼眼镜头806可见。对于左渲染形状858，如果视点方向转向左超过180度，那么右后鱼眼镜头806以左渲染形状858的第二角度A 872a出现。然而，右后半椭圆866在所述范围中未受阻挡。

右渲染形状860中的第二角度B 872b是在其中左前鱼眼镜头可见处起始到近似180度的倾斜角。对于右渲染形状860，如果视点方向转向左，那么左前鱼眼镜头以右渲染形状860的第二角度B 872b出现。然而，左前半椭圆862在所述范围中未受阻挡。

右渲染形状860中的第四角度B 876b可为在大于180度处起始到近似360(或0)度的角范围(或对应负角范围)，其中左后鱼眼镜头812可见。对于右渲染形状860，如果视点方向转向右超过0度，那么左后鱼眼镜头812以右渲染形状860的第四角度B 876b出现。然而，左后半椭圆在所述范围中未受阻挡。

左渲染形状858中的第四角度A 876a可为在近似0度处起始到终止角度的角范围(或对应负角范围)，其中右右前鱼眼镜头810可见。对于左渲染形状858，如果视点方向转向右，那么右前鱼眼镜头810以左渲染形状858的第四角度A 876a出现。然而，右前半椭圆在所述范围中未受阻挡。

对于左渲染形状858(例如，左眼检视球面)，左后半椭圆868中的一个片段可被来自右后半椭圆866的对应片段替代。另外或替代地，左前半椭圆862中的片段可被来自右前半椭圆864的对应片段替代。

对于右渲染形状860(例如，右眼检视球面)，右后半椭圆866中的一个片段可被来自左后半椭圆868的对应片段替代。另外或替代地，右前半椭圆864中的片段可被来自左前半椭圆862的对应片段替代。

所述替代程序可避免展示和/或渲染一或多个阻挡镜头(例如，相机镜头)。替代程序不会影响检视质量，因为左和右视图场可以是如上文结合图4所描述的单像视图。图9A-C中给出更多细节。

图9A是说明用于从半椭圆移除阻挡镜头的方法的实例的图式。举例来说，设备302可在渲染期间用未受阻挡图像范围替代受阻挡图像范围(其中阻挡镜头出现)。

图9A中说明半椭圆A 978a(例如，左前半椭圆和左后半椭圆)和半椭圆B 978b(例如，右前半椭圆和右后半椭圆)。半椭圆A 978a可映射到第一渲染形状(例如，椭圆、球面等)，且半椭圆B 978b可映射到第二渲染形状。如图9A中所说明，半椭圆A 978a和半椭圆B978b中的每一个可包含其中捕获阻挡(例如，阻挡镜头)的范围(例如，角范围)。这些范围可被称为受阻挡楔形。举例来说，所述阻挡可以是如结合图7-8所描述的鱼眼镜头。应注意，本文中所描述的方法可应用于其它种类的阻挡(例如，电子装置的一部分、装置外壳的一部分、无人机螺旋桨、墙壁等)。举例来说，半椭圆A 978a可包含第一受阻挡楔形A 982a和第二受阻挡楔形A 986a。此外，半椭圆B 978b可包含第一受阻挡楔形B982b和第二受阻挡楔形B986b。

此外，半椭圆A 978a和半椭圆B 978b中的每一个可包含未受阻挡(例如，如结合图8所描述)的范围(例如，角范围)。这些范围可被称为未受阻挡楔形。举例来说，半椭圆A978a可包含第一未受阻挡楔形A 980a和第二未受阻挡楔形A 984a。此外，半椭圆B978b可包含第一未受阻挡楔形B 980b和第二未受阻挡楔形B 984b。

设备302可在渲染期间用未受阻挡楔形替代受阻挡楔形以去除图像数据中的阻挡鱼眼镜头。举例来说，设备302可用第一未受阻挡楔形B 980b替代第一受阻挡楔形A 982a，可用第二未受阻挡楔形B 984b替代第二受阻挡楔形A 986a，可用第一未受阻挡楔形A980a替代第一受阻挡楔形B 982b，和/或可用第二未受阻挡楔形A 984a替代第二受阻挡楔形B986b。应注意，额外和/或替代的受阻挡范围可用对应的未受阻挡范围替代。

在一些配置中，此替代方法可结合结合图3-6描述的半椭圆互换方法执行。举例来说，在如上文所描述互换半椭圆后，受阻挡图像楔形可用对应的未受阻挡图像楔形替代。

图9B说明在如结合图9A所描述用未受阻挡楔形980a-b、984a-b替代受阻挡楔形之后半椭圆978a-b的实例。应注意，图像楔形替代可产生拼接(例如，相对微小或最小拼接)。举例来说，可存在不同影线区域之间的拼接，如图9B中的虚线所说明。

图9C是说明包含至少一个立体视图范围988a-b和至少一个单像视图范围990a-b的环绕视图的实例的图式。举例来说，结合图9A-9B描述的楔形替代方法可描述为在一或多个立体视图988a-b(例如，其可覆盖视场的大部分)和一或多个单像视图990a-b之间成角度地(例如，在轴线992附近)切换。

如图9C中所说明，设备302可基于至少一个立体视图范围988a-b和至少一个单像视图范围990a-b的组合提供(例如，渲染)环绕视图。举例来说，设备302可在立体视图范围A988a中和/或立体视图范围B 988b中渲染立体视图。此外，设备302可在单像视图范围A990a中和/或单像视图范围B 990b中渲染单像视图。单像视图范围A 990a和/或单像视图范围B 990b可以是相对于轴线992的角范围。在一些配置中，单像视图范围990a-b的范围涵盖轴线。应注意，在一些配置中，可在原生映射的上下文中(且不在例如视图合成的上下文中)执行替代方法(例如，单像和立体混合方法)。

当视点方向为径直向前(例如，在起点处垂直于轴线992)时，经渲染视图可以是立体的，这可提供到视图的深度的外观。然而，当视点方向在轴线992附近转向右或转向左时，经渲染视图可切换到单像视图，以避免视图中出现一或多个阻挡镜头。应注意，单像视图范围可包含其中将出现阻挡鱼眼镜头的范围(例如，大于或等于其中将出现阻挡鱼眼镜头的范围的范围)。环绕视图(例如，在水平角度和垂直角度两者中范围涵盖360度的完全环绕视图)可因此包含一或多个立体视图范围988a-b和一或多个单像视图范围988b。

图10是说明用于渲染具有至少一个立体视图范围和至少一个单像视图范围的环绕视图的方法1000的一个配置的实例的流程图。方法1000可由本文中所描述的设备102、202、302中的一或多个(例如，结合图2描述的设备202和/或结合图3描述的设备302)执行。

设备302可获得1002从镜头(例如，鱼眼镜头)获得(例如，捕获)的半椭圆。这可如结合图1-3和5-8中的一或多个描述而实现。

设备302可渲染1004至少一个立体视图范围。这可如结合图9A-9C中的一或多个描述而实现。举例来说，可在其中阻挡镜头不在至少两个镜头(例如，鱼眼镜头)中出现的范围中渲染立体视图。。

设备302可渲染1006至少一个单像视图范围。这可如结合图9A-9C中的一或多个描述而实现。举例来说，单像视图可在其中阻挡镜头在半椭圆中出现(或将出现)的范围中渲染。应注意，渲染1004所述至少一个立体视图范围和渲染1006所述至少一个单像视图范围可执行为渲染环绕视图的一部分。举例来说，环绕视图可包含至少一个立体视图范围和至少一个单像视图范围。

设备302可提供环绕视图。此可如结合图3所描述而实现。举例来说，设备302(例如，处理器320)可将环绕视图提供到装置上的一或多个显示器和/或可将环绕视图发送到另一装置。另外或替代地，设备302可提供环绕视图的一部分(例如，基于当前检视方向的当前可检视范围中的部分)。

当渲染包含立体视图范围和单像视图范围的环绕视图时可能产生的一个问题是，立体视图范围和单像视图范围之间的困难转变。在一些配置中，设备302可执行所述至少一个立体视图范围和所述至少一个单像视图范围之间的淡变。举例来说，设备302可在从立体视图范围转变到单像视图范围的范围中淡出包含阻挡的一个半椭圆，同时淡入替代半椭圆。举例来说，未受阻挡楔形可大于受阻挡范围以便允许受阻挡范围附近用于淡变和/或混合的某一重叠。另外或替代地，设备302可在从单像视图范围转变到立体视图范围的范围中淡出一或多个单像半椭圆，同时淡入立体半椭圆。在一些方法中，可在立体视图范围和/或单像视图范围的一部分中执行淡变。举例来说，可在立体视图范围和单像视图范围之间的缓冲区中发生淡变。

在一些配置中，设备302可混合所述至少一个立体视图范围和所述至少一个单像视图范围。举例来说，设备302可在从立体视图范围转变到单像视图范围的范围中和/或从单像视图范围转变到立体视图范围的范围中将单像视图范围与立体视图范围混合。在一些方法中，可在立体视图范围和/或单像视图范围的一部分中执行混合。举例来说，可在立体视图范围和单像视图范围之间的缓冲区中发生混合。在一些配置中，所述混合可以是经加权混合。淡入/淡出方法和/或混合(例如，经加权混合)方法可帮助提供单像和立体视图区之间的柔和转变。

本文中揭示的***和方法可减轻当产生立体环绕图像和/或视频时可能发生的问题中的一或多个。一些方法具有大形状因数，其需要镜头/鱼眼镜头之间的大距离和/或仅产生单像(无深度)环绕图像。在立体图像的渲染期间，观察方向可能影响2D平面焦深。举例来说，径直向前注视可产生一个深度处的焦深。随着视点方向以向左(相对于径直向前)的角度注视，焦深移位使得2D场景呈现为较接近。如果视点方向向右注视，那么焦深移位使得2D场景呈现为较远。在不修改捕获程序的情况下，当用户向一侧注视(以检视经渲染立体图像)(其中另一鱼眼镜头对以倾斜角定位)时，另一鱼眼镜头对捕获在所得所捕获立体图像中。当在单像视图和立体视图之间切换时，可能存在困难转变。

图11是说明用于互换半椭圆的方法1100的一个配置的流程图。举例来说，图11可描述用于基于第一渲染形状(例如，第一椭圆视图)和第二渲染形状(例如，第二椭圆视图)之间对应于不同镜头对的图像的互换来避免反向立体视差的方法1100。方法1100可由本文中所描述的设备102、202、302中的一或多个(例如，结合图2描述的设备202和/或结合图3描述的设备302)执行。设备302可获得1102从镜头(例如，鱼眼镜头)捕获的半椭圆。这可如结合图1-3和5中的一或多个描述而实现。

设备302可将半椭圆映射1104(例如，原生地映射)到渲染形状。举例来说，设备302可将来自镜头(例如，对应于第一鱼眼镜头对的第二鱼眼镜头)的图像数据映射1104到渲染形状(例如，对应于第二鱼眼镜头对的第二渲染形状)。这可如结合图3和5中的一或多个描述而实现。

设备302可将另一半椭圆映射1106(例如，原生地映射)到另一渲染形状。举例来说，设备302可将来自另一镜头(例如，对应于第二鱼眼镜头对的第四鱼眼镜头)的图像数据映射1106到另一渲染形状(例如，对应于第一鱼眼镜头对的第一渲染形状)。这可如结合图3和5中的一或多个描述而实现。

图12是说明用于获得半椭圆的方法1200的一个配置的流程图。方法1200可由本文中所描述的设备102、202、302中的一或多个执行。设备302可获得1202从第一鱼眼镜头捕获的第一半椭圆。举例来说，设备302可利用耦合到设备302(例如，包含在设备302中)的第一鱼眼镜头(例如，鱼眼相机)捕获图像。或者，设备302可从另一装置接收图像，其中所述图像是用第一鱼眼镜头(例如，鱼眼相机)捕获的。此可如上文结合图1-3中的一或多个所描述而实现。应注意，第一鱼眼镜头可在第一方向中(例如，近似垂直于第一鱼眼镜头的底座或安装轴线)定向。第一鱼眼镜头可以是一对鱼眼镜头中的一个鱼眼镜头(例如，双倍鱼眼镜头中的一个)。

设备302可获得1204从第二鱼眼镜头捕获的第二半椭圆。举例来说，设备302可利用耦合到设备302(例如，包含在设备302中)的第二鱼眼镜头(例如，鱼眼相机)捕获图像。或者，设备302可从另一装置接收图像，其中所述图像是用第二鱼眼镜头(例如，鱼眼相机)捕获的。此可如上文结合图1-3中的一或多个所描述而实现。应注意，第二鱼眼镜头可在第二方向中(例如，与第一方向近似相反)定向。第二鱼眼镜头可以是一对鱼眼镜头中的一个鱼眼镜头(例如，双倍鱼眼镜头中的一个)。第一鱼眼镜头和第二鱼眼镜头可在大致相同轴线上紧挨着彼此安装。

设备302可获得1206从第三鱼眼镜头捕获的第三半椭圆。举例来说，设备302可利用耦合到设备302(例如，包含在设备302中)的第三鱼眼镜头(例如，鱼眼相机)捕获图像。或者，设备302可从另一装置接收图像，其中所述图像是用第三鱼眼镜头(例如，鱼眼相机)捕获的。此可如上文结合图1-3中的一或多个所描述而实现。应注意，第三鱼眼镜头可在第三方向中(例如，近似垂直于第三鱼眼镜头的底座或安装轴线和/或在近似第一方向中)定向。第三鱼眼镜头可以是一对鱼眼镜头中的一个鱼眼镜头(例如，双倍鱼眼镜头中的一个)。

设备302可获得1208从第四鱼眼镜头捕获的第四半椭圆。举例来说，设备302可利用耦合到设备302(例如，包含在设备302中)的第四鱼眼镜头(例如，鱼眼相机)捕获图像。或者，设备302可从另一装置接收图像，其中所述图像是用第四鱼眼镜头(例如，鱼眼相机)捕获的。此可如上文结合图1-3中的一或多个所描述而实现。应注意，第四鱼眼镜头可在第四方向中(例如，与第三方向近似相反)定向。第四鱼眼镜头可以是一对鱼眼镜头中的一个鱼眼镜头(例如，双倍鱼眼镜头中的一个)。第三鱼眼镜头和第四鱼眼镜头可在大致相同轴线上紧挨着彼此安装。

图13是说明用于环绕视图重放的功能方法的图式。结合图13描述的用于重放的程序可由本文中所描述的设备102、202、302中的一或多个(例如，结合图2描述的设备202、结合图3描述的设备302或另一设备)执行。

设备302可获得1302半椭圆。此可如结合图3所描述而实现。设备302可将半椭圆映射1304到一或多个形状上。举例来说，设备302可将半椭圆原生地映射1304到渲染形状(例如，椭圆)上。在一些配置中，设备302可在渲染形状(例如，球面、椭圆等)上打开和/或对齐半椭圆。举例来说，设备302可对球面UV纹理坐标执行图像对齐。设备302可向帧缓冲器绘制1306网格1312(例如，对应于渲染形状的网格)。如图13中所说明，在一些配置中，可不执行视差调整。

设备302可以任选地在重放期间执行左视图和右视图之间的静态或动态校准。举例来说，设备302可执行1308渲染形状(例如，椭圆、球面、等)调整以便减少图像之间的垂直视差。举例来说，设备302可执行球面UV调整以减少垂直视差。另外或替代地，设备302可执行1310渲染形状(例如，椭圆、球面、等)位置调整以减少水平视差。举例来说，设备302可执行球面位置调整以减少水平视差。设备302可向帧缓冲器绘制1306网格1312。帧缓冲器可提供到一或多个显示器以供呈现。

图14是说明环绕视图(例如，立体环绕视图)重放的一个实例的图式。在一些方法中，环绕视图(例如，在水平方向和垂直方向两者中包含360度范围的视图)可在虚拟现实(VR)装置(例如，Google Cardboard)上或具备3D功能的装置(例如，3D TV)上完成。在一些配置中，环绕视图重放可基于用环绕视图图像或视频作为纹理的虚拟椭圆(例如，球面)的3D图形渲染。

在环绕视图场景的重放期间，渲染可定位于虚拟球面内部，其中纹理在其内壁上。视点可在虚拟椭圆(例如，球面)内。举例来说，图14中左渲染形状1458和右渲染形状1460的中心中说明的相机可说明左渲染形状1458和右渲染形状1460中的检视起点的实例。纹理是如上文所描述而捕获的图像或视频。应注意，可在相同装置上或不同装置上捕获、渲染和/或重放环绕视图。

对于左渲染形状1458(例如，左视图)，纹理可以是左前半椭圆1462和左后半椭圆1468(例如，分别由左前镜头和左后镜头捕获的图像)。每一镜头可覆盖椭圆(例如，球面)的前半部和后半部。对于右渲染形状1460(例如，右视图)，纹理可以是右前半椭圆1464和右后半椭圆1466(例如，分别由右前镜头和右后镜头捕获的图像)。每一镜头可覆盖球面的前半部和后半部。每一镜头可覆盖椭圆(例如，球面)的前半部和后半部。

在渲染期间，检视方向可根据传感器(例如，陀螺、加速计等)在检视装置上的三个旋转自由度(3DOF)上进行调整。在渲染期间，可根据用于放大的向前移动命令和/或用于缩小的向后移动命令调整视点位置。

左和右检视方向两者可同步。左和右图像和视频播放两者可同步。前和后图像和视频播放两者可同步。

图15是说明本文中揭示的***和方法的配置的实例的图式。确切地说，图15说明相对于车辆1502的环绕视图1500。车辆1502可以是本文中所描述的设备102、202、302中的一或多个的实例。如图15中所说明，若干镜头1504、1506、1510 1512可耦合到车辆1502。

在此实例中，左前镜头1504、右后镜头1506、右前镜头1510和左后镜头1512耦合到车辆1502的顶部。车辆1502(例如，包含在车辆1502中的电子装置)可从镜头1504、1506、1510 1512捕获半椭圆且基于半椭圆渲染环绕视图1500。在此实例中，展示阻挡镜头的半椭圆范围可用如本文所描述(例如，如结合图9A-C中的一或多个所描述)的半椭圆的未受阻挡范围替代。此方法产生包含立体视图范围A 1588a、立体视图范围B 1588b、单像视图范围A1590a和单像视图范围B 1590b的环绕视图1500。

图16是说明本文中揭示的***和方法的配置的另一实例的图式。确切地说，图16说明相对于无人机群组1602a-d的环绕视图1600。无人机1602a-d可以是本文中所描述的设备102、202、302中的一或多个的实例。如图16中所说明，镜头1604、1606、16101612可耦合到无人机1602a-d中的每一个。

在此实例中，左前镜头1604耦合到无人机A 1602a，右后镜头1606耦合到无人机B1602b，右前镜头1610耦合到无人机C 1602c且左后镜头1612耦合到无人机1602d。无人机1602a-d可从镜头1604、1606、1610 1612捕获半椭圆，和/或无人机1602a-d中的一或多个可基于半椭圆渲染环绕视图1600。在此实例中，展示阻挡无人机的半椭圆范围可用如本文所描述(例如，如结合图9A-C中的一或多个所描述)的半椭圆的未受阻挡范围替代。此方法产生包含立体视图范围A 1688a、立体视图范围B 1688b、单像视图范围A 1690a和单像视图范围B 1690b的环绕视图1600。

图17是说明用于避免立体环绕视图中的阻挡(例如，阻挡镜头)的方法1700的一个配置的流程图。方法1700可由结合一或多个图1-3描述的设备102、202、302中的一或多个执行。设备302可从镜头(例如，鱼眼镜头)获得1702图像(例如，半椭圆)。这可如结合图1-3和5中的一或多个描述而实现。举例来说，设备302可从多个镜头获得1702多个图像。在一些配置中，镜头中的一或多个可具有大于180度(例如，220度、240度等)的视场。

设备302可通过将图像原生地映射到渲染椭圆来渲染1704立体环绕视图。举例来说，设备302可基于渲染1704立体环绕视图而避免阻挡(例如，阻挡镜头)。立体环绕视图可包含第一渲染形状(例如，椭圆、球面等)和第二渲染形状(例如，椭圆、球面等)。渲染1704立体环绕视图可包含将第一图像(例如，来自第一镜头的图像、第一半椭圆等)原生地映射到第一渲染形状的第一范围，以及将所述第一图像原生地映射到第二渲染形状的第二范围。举例来说，第一图像(例如，第一图像的不同范围)可映射到第一渲染形状和第二渲染形状的不同范围。在一些配置中，不同映射(例如，镜头对之间的互换、图像调换等)可施加到不同视图范围(例如，朝前、朝后等)。结合图18给出渲染1704立体环绕视图的实例。

在较具体实例中，设备302可移除第一镜头的视场中的阻挡(例如，由位于相同平面中的立体镜头对捕获)。此可通过在立体镜头对之间映射(例如，调换、互换等)图像范围而实现。在一些配置中，所述映射可基于视图定向(例如，朝向定向)。举例来说，当视图向后时可执行与视图向前时所执行的映射不同的映射。

在一些配置中，渲染1704立体环绕视图可避免反向立体视差。举例来说，所述多个图像可原生地映射到渲染形状(例如，椭圆)。所述多个图像可原生地映射到渲染形状(例如，椭圆)的不同范围。

设备302可提供1706环绕视图。此可如结合图3所描述而实现。举例来说，设备302(例如，处理器320)可将环绕视图提供到设备上的一或多个显示器和/或可将环绕视图发送到另一设备或装置。

图18是说明可经渲染以产生立体环绕视图的渲染形状1801、1803的实例的图式。在此实例中，渲染形状1801、1803中的每一个包含四个范围。举例来说，左渲染形状1801包含第一范围A 1805a、第二范围A 1807a、第三范围A 1809a和第四范围A 1811a。右渲染形状1803包含第一范围B 1805b、第二范围B 1807b、第三范围B 1809b和第四范围B 1811b。应注意，对应范围(例如，第一范围A 1805a和第一范围B 1805b等)可或可不具有相同跨度(例如，角度)。在一些情况下，可在所捕获图像的范围中的一或多个中捕获阻挡。举例来说，来自左前镜头的图像可包含第四范围A 1811a中的阻挡(例如，阻挡镜头)，等等。在一些情况下，此可类似于结合图8描述的情形。

在本文中揭示的***和方法的一些配置中，可实现完全立体环绕视图。举例来说，设备302的镜头中的每一个可具有大于180度的视场。这可允许在完全360旋转中至少两个镜头的覆盖度重叠。在其中镜头中的每一个具有240度视场的实例中，当背对背安装镜头时可实现近似60度的重叠。

为避免反向立体视差和/或阻挡，来自镜头中的每一个的图像可映射到渲染形状1801、1803中的每一个的不同部分。在图18中说明的实例中，来自左前镜头的图像(例如，半椭圆)可映射(例如，原生地映射)到第一范围A 1805a和第二范围B 1807b。另外或替代地，来自右后镜头的图像(例如，半椭圆)可映射(例如，原生地映射)到第二范围A 1807a和第三范围B 1809b。另外或替代地，来自左后镜头的图像(例如，半椭圆)可映射(例如，原生地映射)到第三范围A 1809a和第四范围B 1811b。另外或替代地，来自右前镜头的图像(例如，半椭圆)可映射(例如，原生地映射)到第四范围A 1811a和第一范围B 1805b。

原生映射可避免阻挡(例如，阻挡镜头)。举例来说，在其中在来自特定镜头的图像中展示阻挡的那些范围中，来自不同镜头的无阻挡的图像可映射到渲染形状。因为来自镜头中的每一个的图像之间存在足够重叠，所以可在整个环绕视图中实现立体视图。

应注意，不同镜头(例如，相机)可在多种位置中耦合到多种对象和/或装置(例如，汽车、无人机等)和/或安装在其上。如果设备(例如，设备302)正在单一(视频)帧中串流输出数据，那么图像可复制(例如，调换)到适当眼睛。如果不这样做，用户可能感知到反向立体视差。其它方法(例如，其产生前方和后方的单像视图)不会遇到此问题。然而，当两个镜头并排放置时，视图可能不再仅仅是从前向后的单像视图，而是朝前的一对视图和朝后的另一对视图。相应地，对于产生立体视图的设备(例如，车辆、智能电话等)，串流的数据可能需要针对用户正检视的任何检视方向映射到适当眼睛。

图19是说明本文中揭示的***和方法的配置的另一实例的图式。确切地说，图19说明相对于车辆1902的立体环绕视图1900。车辆1902可为本文中所描述的设备102、202、302中的一或多个的实例。如图19中所说明，若干镜头1904、1906、1910、1912可耦合到车辆1902。镜头1904、1906、1910、1912中的每一个可具有大于180度的视场。在此实例中，用源自每一相应镜头1904、1906、1910、1912的虚线或点线展示每一视场边界。如图19中可观察到，至少两个视场可覆盖每一检视方向。

在此实例中，左前镜头1904、右后镜头1906、右前镜头1910和左后镜头1912耦合到车辆1902的隅角。车辆1902(例如，包含在车辆1902中的电子装置)可从镜头1904、1906、1910、1912捕获图像(例如，半椭圆)且基于所述图像(例如，半椭圆)渲染环绕视图1900。在一些配置中，展示阻挡镜头的图像范围可用如本文所描述(例如，如结合图17-18中的一或多个所描述)的图像的未受阻挡范围替代。此方法产生立体环绕视图1900。

在此实例中，说明范围A 1913、范围B 1915、范围C 1917和范围D 1919。虽然范围1913、1915、1917、1919说明为对应于镜头视场边界，应注意，范围1913、1915、1917、1919中的一或多个可占据由至少两个视场覆盖的任何范围(且例如可不直接对应于视场边界)。在此实例中，可通过原生地映射针对左渲染形状来自左前镜头1904的图像和针对右渲染形状来自右前镜头1910的图像而产生范围A 1913中的立体环绕视图。可通过原生地映射针对左渲染形状来自右后镜头1906的图像和针对右渲染形状来自左前镜头1904的图像而产生范围B 1915中的立体环绕视图1900。可通过原生地映射针对左渲染形状来自左后镜头1912的图像和针对右渲染形状来自右后镜头1906的图像而产生范围C 1917中的立体环绕视图1900。可通过原生地映射针对左渲染形状来自右前镜头1910的图像和针对右渲染形状来自左后镜头1912的图像而产生范围D 1919中的立体环绕视图1900。

图20是说明本文中揭示的***和方法的配置的另一实例的图式。确切地说，图20说明相对于无人机群组2002a-d的立体环绕视图2000。无人机2002a-d可以是本文中所描述的设备102、202、302中的一或多个的实例。如图20中所说明，镜头2004、2006、2010、2012可耦合到无人机2002a-d中的每一个。镜头2004、2006、2010、2012中的每一个可具有大于180度的视场。在此实例中，用源自每一相应镜头2004、2006、2010、2012的虚线或点线展示每一视场边界。如图20中可观察到，至少两个视场可覆盖每一检视方向。

在此实例中，左前镜头2004耦合到无人机A 2002a，右后镜头2006耦合到无人机B2002b，右前镜头2010耦合到无人机C 2002c且左后镜头2012耦合到无人机2002d。无人机2002a-d可从镜头2004、2006、2010、2012捕获图像(例如，半椭圆)，和/或无人机2002a-d中的一或多个可基于所述图像(例如，半椭圆)渲染环绕视图2000。在一些配置中，展示阻挡的图像范围可用如本文所描述(例如，如结合图17-18中的一或多个所描述)的图像的未受阻挡范围替代。此方法产生立体环绕视图2000。

在此实例中，说明范围A 2013、范围B 2015、范围C 2017和范围D 2019。虽然范围2013、2015、2017、2019说明为对应于镜头视场边界，应注意，范围2013、2015、2017、2019中的一或多个可占据由至少两个视场覆盖的任何范围(且例如可不直接对应于视场边界)。在此实例中，可通过原生地映射针对左渲染形状来自左前镜头2004的图像和针对右渲染形状来自右前镜头2010的图像而产生范围A 2013中的立体环绕视图2000。可通过原生地映射针对左渲染形状来自右后镜头2006的图像和针对右渲染形状来自左前镜头2004的图像而产生范围B 2015中的立体环绕视图2000。可通过原生地映射针对左渲染形状来自左后镜头2012的图像和针对右渲染形状来自右后镜头2006的图像而产生范围C 2017中的立体环绕视图2000。可通过原生地映射针对左渲染形状来自右前镜头2010的图像和针对右渲染形状来自左后镜头2012的图像而产生范围D 2019中的立体环绕视图2000。

图21是说明本文中揭示的***和方法的配置的另一实例的图式。确切地说，图21说明相对于车辆2102的立体环绕视图2100。车辆2102可为本文中所描述的设备102、202、302中的一或多个的实例。如图21中所说明，若干镜头2104、2106、2110、2112可耦合到车辆2102。镜头2104、2106、2110、2112中的每一个可具有大于180度的视场。在此实例中，用源自每一相应镜头2104、2106、2110、2112的虚线或点线展示每一视场边界。如图21中可观察到，至少两个视场可覆盖每一检视方向。

在此实例中，左前镜头2104、右后镜头2106、右前镜头2110和左后镜头2112耦合到车辆2102的顶部。车辆2102(例如，包含在车辆2102中的电子装置)可从镜头2104、2106、2110、2112捕获图像(例如，半椭圆)且基于所述图像(例如，半椭圆)渲染环绕视图2100。在一些配置中，展示阻挡镜头的图像范围可用如本文所描述(例如，如结合图17-18中的一或多个所描述)的图像的未受阻挡范围替代。此方法产生立体环绕视图2100。

在此实例中，说明范围A 2113、范围B 2115、范围C 2117和范围D 2119。在此实例中，范围2113、2115、2117、2119不直接对应于镜头视场边界。应注意，范围2113、2115、2117、2119中的一或多个可占据由至少两个视场覆盖的任何范围(且例如可或可不直接对应于视场边界)。在此实例中，可通过原生地映射针对左渲染形状来自左前镜头2104的图像和针对右渲染形状来自右前镜头2110的图像而产生范围A 2113中的立体环绕视图。可通过原生地映射针对左渲染形状来自右后镜头2106的图像和针对右渲染形状来自左前镜头2104的图像而产生范围B 2115中的立体环绕视图2100。可通过原生地映射针对左渲染形状来自左后镜头2112的图像和针对右渲染形状来自右后镜头2106的图像而产生范围C 2117中的立体环绕视图2100。可通过原生地映射针对左渲染形状来自右前镜头2110的图像和针对右渲染形状来自左后镜头2112的图像而产生范围D 2119中的立体环绕视图2100。应注意，虽然依据四个镜头描述本文的许多实例，但可根据本文中揭示的***和方法实施更多或更少镜头。

图22是说明本文中揭示的***和方法的配置的另一实例的图式。确切地说，图22说明相对于无人机2202的立体环绕视图2200。无人机2202可为本文中所描述的设备102、202、302中的一或多个的实例。如图22中所说明，若干镜头2204、2206、2210、2212可耦合到无人机2202。镜头2204、2206、2210、2212中的每一个可具有大于180度的视场。在此实例中，用源自每一相应镜头2204、2206、2210、2212的虚线或点线展示每一视场边界。如图22中可观察到，至少两个视场可覆盖每一检视方向。

在此实例中，左前镜头2204、右后镜头2206、右前镜头2210和左后镜头2212耦合到无人机2202的隅角。无人机2202(例如，包含在无人机2202中的电子装置)可从镜头2204、2206、2210、2212捕获图像(例如，半椭圆)且基于所述图像(例如，半椭圆)渲染环绕视图2200。在一些配置中，展示阻挡镜头的图像范围可用如本文所描述(例如，如结合图17-18中的一或多个所描述)的图像的未受阻挡范围替代。此方法产生立体环绕视图2200。

在此实例中，说明范围A 2213、范围B 2215、范围C 2217和范围D 2219。在此实例中，范围2213、2215、2217、2219并不直接对应于镜头视场边界。应注意，范围2213、2215、2217、2219中的一或多个可占据由至少两个视场覆盖的任何范围(且例如可或可不直接对应于视场边界)。在此实例中，可通过原生地映射针对左渲染形状来自左前镜头2204的图像和针对右渲染形状来自右前镜头2210的图像而产生范围A 2213中的立体环绕视图。可通过原生地映射针对左渲染形状来自右后镜头2206的图像和针对右渲染形状来自左前镜头2204的图像而产生范围B 2215中的立体环绕视图2200。可通过原生地映射针对左渲染形状来自左后镜头2212的图像和针对右渲染形状来自右后镜头2206的图像而产生范围C 2217中的立体环绕视图2200。可通过原生地映射针对左渲染形状来自右前镜头2210的图像和针对右渲染形状来自左后镜头2212的图像而产生范围D 2219中的立体环绕视图2200。

图23说明可包含于经配置以实施本文中揭示的***和方法的各种配置的设备2302内的特定组件。设备2302的实例可包含相机、视频摄录影机、数码相机、蜂窝式电话、智能电话、计算机(例如，台式计算机、膝上型计算机等)平板计算机装置、媒体播放器、电视机、车辆、汽车、个人相机、可穿戴式相机、虚拟现实装置(例如，耳机)、扩增现实装置(例如，耳机)、混合现实装置(例如，耳机)、运动相机、监控摄像头、安装摄像头、互联摄像头、机器人、飞机、无人机、无人驾驶飞行器(UAV)、智能应用、医疗保健设备、游戏控制台、个人数字助理(PDA)、机顶盒等。设备2302可根据本文中所描述的设备102、202、302、车辆1502、1902、2102和/或无人机1602、2002、2202等中的一或多个实施。

设备2302包含处理器2341。处理器2341可以是通用单或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器2341可被称为中央处理单元(CPU)。尽管设备2302中仅展示单一处理器2341，但在替代配置中，可实施处理器(例如，ARM和DSP)的组合。

设备2302还包含存储器2321。存储器2321可以是能够存储电子信息的任何电子组件。存储器2321可体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、随处理器包含的机载存储器、EPROM存储器、EEPROM存储器、寄存器等，包含其组合。

数据2325a和指令2323a可存储于存储器2321中。指令2323a可以可由处理器2341执行以实施本文中所描述的方法600、1000、1100、1200、1700、程序、步骤和/或功能中的一或多个。执行指令2323a可涉及使用存储于存储器2321中的数据2325a。当处理器2341执行指令2323时，指令2323b的各个部分可加载到处理器2341上，和/或各条数据2325b可加载到处理器2341上。

设备2302还可包含发射器2331和/或接收器2333以允许将信号发射到设备2302和从设备2302接收信号。发射器2331和接收器2333可统称为收发器2335。一或多个天线2329a-b可电连接到收发器2335。设备2302还可包含(未图示)多个发射器、多个接收器、多个收发器和/或额外天线。

设备2302可包含数字信号处理器(DSP)2337。设备2302还可包含通信接口2339。通信接口2339可以允许和/或启用一或多种输入和/或输出。举例来说，通信接口2339可包含用于将其它装置联接到设备2302的一或多个端口和/或通信装置。在一些配置中，通信接口2339可包含发射器2331、接收器2333或这两者(例如，收发器2335)。另外或替代地，通信接口2339可包含一或多个其它接口(例如，触摸屏、小键盘、键盘、麦克风、相机等)。举例来说，通信接口2339可使用户能够与设备2302交互。

设备2302的各种组件可通过一或多个总线耦合在一起，所述一或多个总线可包含电力总线、控制信号总线、状态信号总线、数据总线等。为清楚起见，各种总线在图23中被说明为总线***2327。

术语“确定”涵盖许多种类的动作，且因此“确定”可包含计算、估算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、查实等。并且，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)等。并且，“确定”可包含分辨、选择、挑选、建立等等。

除非另外明确地指定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”与“至少基于”两者。

术语“处理器”应广义上解释为涵盖通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在一些情况下，“处理器”可指代专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可指代处理装置的组合，例如DSP和微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它此类配置。

术语“存储器”应广义上解释为涵盖能够存储电子信息的任何电子组件。术语存储器可指各种类型的处理器可读媒体，例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、快闪存储器、磁性或光学数据存储装置、寄存器等。如果处理器可从存储器读取信息和/或写入信息到存储器，那么存储器被称为与处理器进行电子通信。与处理器成一体的存储器与处理器进行电子通信。

术语“指令”和“代码”应被广义地解释为包含任何类型的计算机可读语句。例如，术语“指令”和“代码”可指代一或多个程序、例程、子例程、函数、过程等。“指令”和“代码”可包括单一计算机可读语句或许多计算机可读语句。

本文中所描述功能可实施于由硬件执行的软件或固件中。所述功能可以存储为计算机可读媒体上的一或多个指令。术语“计算机可读媒体”或“计算机程序产品”指代可通过计算机或处理器存取的任何有形存储媒体。借助于实例而非限制，计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携载或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘及Blu-其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。应注意，计算机可读媒体可为有形且非暂时性的。术语“计算机程序产品”是指计算装置或处理器，其与可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)组合。如本文中所使用，术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。

还可经由发射媒体发射软件或指令。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或无线技术(例如，红外线、无线电及微波)从网站、服务器或其它远程源发射软件，那么同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如，红外线、无线电及微波)包含在发射媒体的定义中。

本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。所述方法步骤和/或动作可彼此互换而不脱离权利要求书的范围。换句话说，除非正描述的方法的适当操作需要步骤或动作的特定次序，否则，在不脱离权利要求书的范围的情况下，可修改特定步骤及/或动作的次序及/或使用。

另外，应了解，用于执行本文中描述的方法和技术的模块和/或其它适当装置可由装置下载和/或以其它方式获得。举例来说，装置可耦合到服务器以促进用于执行本文中所描述的方法的装置的传递。或者，本文中所描述的各种方法可经由存储装置(例如，随机存取存储器(RAM)、只读存储器(ROM)、例如压缩光盘(CD)或软盘等物理存储媒体等)提供，使得在将存储装置耦合或提供到装置后，所述装置可即刻获得各种方法。

应理解，权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下，可在本文中所描述的***、方法和设备的布置、操作和细节方面进行各种修改、改变和变更。

Claims (30)

1.一种设备，其包括：

电子装置，其经配置以基于至少一个立体视图范围和至少一个单像视图范围的组合提供环绕视图。

2.根据权利要求1所述的设备，其进一步包括耦合到所述设备的多个镜头，其中所述镜头经配置以获得所述至少一个立体视图范围和所述至少单像视图范围的多个图像。

3.根据权利要求1所述的设备，其中所述电子装置经配置以在无耦合到所述设备的阻挡镜头的情况下在所述环绕视图中渲染所述至少一个单像视图范围。

4.根据权利要求1所述的设备，其中所述设备为车辆，其中所述车辆包括耦合到所述车辆的多个镜头，其中所述多个镜头经配置以获得用于形成所述环绕视图的所述至少一个立体视图范围。

5.根据权利要求4所述的设备，其进一步包括耦合到所述车辆的显示器，其中所述显示器经配置以输出所述环绕视图。

6.根据权利要求1所述的设备，其中所述设备为移动装置，其中所述移动装置包括耦合到所述移动装置的多个镜头，其中所述多个镜头中的至少两个经配置以获得用于形成所述环绕视图的所述至少一个立体视图范围。

7.根据权利要求1所述的设备，其进一步包括经配置以在扩增现实中输出所述环绕视图的显示器。

8.根据权利要求1所述的设备，其中所述电子装置经配置以渲染所述环绕视图，其中所述环绕视图包括第一椭圆视图和第二椭圆视图。

9.根据权利要求8所述的设备，其进一步包括处理器，所述处理器经配置以基于所述第一椭圆视图和所述第二椭圆视图之间对应于不同镜头对的图像的互换而避免反向立体视差。

10.根据权利要求8所述的设备，其进一步包括处理器，所述处理器经配置以基于由耦合到所述设备的多个镜头获得的多个图像的投影来避免图像的再对准，其中所述设备为先进驾驶者辅助***ADAS中使用的车辆。

11.根据权利要求1所述的设备，其进一步包括处理器，所述处理器经配置以执行所述至少一个立体视图范围中的至少一个和所述至少一个单像视图范围中的至少一个之间的重叠中的淡变和混合中的至少一个。

12.一种设备，其包括：

用于基于至少一个立体视图范围和至少一个单像视图范围的组合提供环绕视图的装置。

13.根据权利要求12所述的设备，其中所述用于提供环绕视图的装置包括用于在无耦合到所述设备的阻挡镜头的情况下在所述环绕视图中渲染所述至少一个单像视图范围的装置。

14.根据权利要求12所述的设备，其中所述用于提供环绕视图的装置包括用于基于所述第一椭圆视图和所述第二椭圆视图之间对应于不同镜头对的图像的互换而避免反向立体视差的装置。

15.一种方法，其包括：

从相应多个镜头获得多个图像；以及

基于渲染包括第一渲染椭圆和第二渲染椭圆的立体环绕视图避免阻挡镜头，其中渲染所述立体环绕视图包括将所述多个图像的第一图像原生地映射到所述第一渲染椭圆的第一范围以及将所述第一图像原生地映射到所述第二渲染椭圆的第二范围。

16.根据权利要求15所述的方法，其中渲染所述立体环绕视图包括避免反向立体视差，

包括将所述多个图像原生地映射到所述第一渲染椭圆以及将所述多个图像原生地映射到所述第二渲染椭圆，其中所述多个图像原生地映射到所述第一渲染椭圆和所述第二渲染椭圆的不同范围。

17.根据权利要求15所述的方法，其中所述多个镜头安装在车辆上，且其中所述立体环绕视图在先进驾驶者辅助***ADAS中利用。

18.根据权利要求15所述的方法，其中所述多个镜头安装在一或多个无人机上。

19.根据权利要求15所述的方法，其中所述多个镜头中的至少一个具有大于180度的视场。

20.根据权利要求15所述的方法，其中所述多个图像包括第一半椭圆、第二半椭圆、第三半椭圆和第四半椭圆，其中所述第一渲染椭圆为左渲染椭圆且所述第二渲染椭圆为右渲染椭圆，且其中所述左渲染椭圆包括所述第一范围中所述第一半椭圆的至少一部分、所述第二范围中所述第二半椭圆的至少一部分、第三范围中所述第四半椭圆的至少一部分，和第四范围中所述第三半椭圆的至少一部分，且其中所述右渲染椭圆包括所述第一范围中所述第三半椭圆的至少一部分、所述第二范围中所述第一半椭圆的至少一部分、所述第三范围中所述第二半椭圆的至少一部分，和所述第四范围中所述第四半椭圆的至少一部分。

21.根据权利要求15所述的方法，其进一步包括执行所述多个图像中的至少两个之间的混合和淡变中的至少一个。

22.根据权利要求15所述的方法，其进一步包括将所述多个图像直接投影到所述第一渲染椭圆和所述第二渲染椭圆以避免执行再对准。

23.一种计算机程序产品，其包括其上具有指令的非暂时性有形计算机可读媒体，所述指令包括：

用于致使电子装置从相应多个镜头获得多个图像的代码；以及

用于致使所述电子装置基于用于致使所述电子装置渲染包括第一渲染椭圆和第二渲染椭圆的立体环绕视图的代码而避免阻挡镜头的代码，其中所述用于致使所述电子装置渲染所述立体环绕视图的代码包括用于致使所述电子装置将所述多个图像的第一图像原生地映射到所述第一渲染椭圆的第一范围且将所述第一图像原生地映射到所述第二渲染椭圆的第二范围的代码。

24.根据权利要求23所述的计算机程序产品，其中所述用于致使所述电子装置渲染所述立体环绕视图的代码包括用于致使所述电子装置避免反向立体视差的代码，包括用于致使所述电子装置将所述多个图像原生地映射到所述第一渲染椭圆且将所述多个图像原生地映射到所述第二渲染椭圆的代码，其中所述多个图像原生地映射到所述第一渲染椭圆和所述第二渲染椭圆的不同范围。

25.根据权利要求23所述的计算机程序产品，其中所述多个镜头安装在车辆上，且其中所述立体环绕视图在先进驾驶者辅助***ADAS中利用。

26.根据权利要求23所述的计算机程序产品，其中所述多个镜头安装在一或多个无人机上。

27.根据权利要求23所述的计算机程序产品，其中所述多个镜头中的至少一个具有大于180度的视场。

28.根据权利要求23所述的计算机程序产品，其中所述多个图像包括第一半椭圆、第二半椭圆、第三半椭圆和第四半椭圆，其中所述第一渲染椭圆为左渲染椭圆且所述第二渲染椭圆为右渲染椭圆，且其中所述左渲染椭圆包括所述第一范围中所述第一半椭圆的至少一部分、所述第二范围中所述第二半椭圆的至少一部分、第三范围中所述第四半椭圆的至少一部分，和第四范围中所述第三半椭圆的至少一部分，且其中所述右渲染椭圆包括所述第一范围中所述第三半椭圆的至少一部分、所述第二范围中所述第一半椭圆的至少一部分、所述第三范围中所述第二半椭圆的至少一部分，和所述第四范围中所述第四半椭圆的至少一部分。

29.根据权利要求23所述的计算机程序产品，其进一步包括用于致使所述电子装置执行所述多个图像中的至少两个之间的混合和淡变中的至少一个的代码。

30.根据权利要求23所述的计算机程序产品，其进一步包括用于致使所述电子装置将所述多个图像直接投影到所述第一渲染椭圆和所述第二渲染椭圆以避免执行再对准的代码。