CN107660337B - 用于从鱼眼摄像机产生组合视图的***及方法 - Google Patents

用于从鱼眼摄像机产生组合视图的***及方法 Download PDF

Info

Publication number
CN107660337B
CN107660337B CN201680029879.XA CN201680029879A CN107660337B CN 107660337 B CN107660337 B CN 107660337B CN 201680029879 A CN201680029879 A CN 201680029879A CN 107660337 B CN107660337 B CN 107660337B
Authority
CN
China
Prior art keywords
image
fisheye
common
images
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680029879.XA
Other languages
English (en)
Other versions
CN107660337A (zh
Inventor
张涛
郭烽
毕宁
B·福鲁坦保尔
P·H·阮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107660337A publication Critical patent/CN107660337A/zh
Application granted granted Critical
Publication of CN107660337B publication Critical patent/CN107660337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明描述一种电子装置。所述电子装置包含处理器。所述处理器经配置以从多个摄像机获得图像。所述处理器还经配置以将每一图像投影到每一摄像机的相应3维3D形状。所述处理器经进一步配置以由所述图像产生组合视图。

Description

用于从鱼眼摄像机产生组合视图的***及方法
相关申请案
本申请案涉及且主张针对“用于从鱼眼摄像机产生环绕视图的***及方法(SYSTEMS AND METHODS FOR SURROUND VIEW GENERATION FROM FISHEYE CAMERAS)”在2015年6月2日提出申请的美国临时专利申请案第62/170,075号的优先权。
技术领域
本发明大体来说涉及电子装置。更特定来说，本发明涉及用于从鱼眼摄像机产生组合视图的***及方法。
背景技术
一些电子装置(例如，摄像机、视频便携式摄像机、数字摄像机、蜂窝式电话、智能电话、计算机、电视、汽车、个人摄像机、可穿戴摄像机、虚拟现实装置(例如，耳机)、增强现实装置(例如，耳机)、混合现实装置(例如，耳机)、动作摄像机、监控摄像机、安装式摄像机、连接式摄像机、机器人、遥控飞机、智能应用程序、保健设备、机顶盒，等)捕获及/或利用图像。例如，智能电话可捕获及/或处理静止及/或视频图像。图像可经处理、显示、存储及/或发射。图像可描绘包含例如包含风景及/或对象的场景。
在一些状况下，图像可能失真。例如，可以使图像中的风景及/或对象失真的方式描绘。失真可能在一些情景中特别显著，例如在使用广角镜头时。如从此论述可观察到，改进广角图像利用及/或处理效率的***及方法可为有益的。
发明内容
本发明描述一种电子装置。所述电子装置包含处理器。所述处理器经配置以从多个摄像机获得图像。所述处理器还经配置以将每一图像投影到每一摄像机的相应3维(3D)形状。所述处理器经进一步配置以由所述图像产生组合视图。
所述处理器可经配置以使所述3D形状中的至少一者旋转以使对应图像大约对准于方向。所述处理器可经配置以使所述3D形状中的至少一者旋转以补偿对应摄像机的倾斜。
所述处理器可经配置以将每一3D形状的至少一部分投影到封围与摄像机相关联的所有3D形状的共用3D形状。所述处理器可经配置以将共同3D形状的至少一部分投影到共用平面。所述处理器可经配置以将共用3D平面从共用3D平面的北极投影到共用平面。共用平面可大约平行于地面。
所述处理器可经配置以使投影到共用平面的图像对准。所述处理器可经配置以确定对准误差是否超过预定阈值。
所述处理器可经配置以确定邻近图像之间的至少一个接缝且修整所述图像以产生组合图像。所述处理器可经配置以将组合图像投影到形状。
摄像机可安装在车辆中。所述处理器可经配置以在车辆上呈现组合视图。图像可为广角图像且摄像机可为广角摄像机。
本发明还描述一种方法。所述方法包含从多个摄像机获得图像。所述方法还包含将每一图像投影到每一摄像机的相应3维(3D)形状。方法另外包含由图像产生组合视图。
本发明还描述计算机程序产品。计算机程序产品包含具有指令的非暂时性有形计算机可读媒体。指令包含用于致使电子装置从多个摄像机获得图像的电子装置的代码。指令还包含用于致使电子装置将每一图像投影到每一摄像机的相应3维(3D)形状的代码。指令进一步包含用于致使电子装置由图像产生组合视图的代码。
本发明还描述一种设备。所述设备包含用于从多个摄像机获得图像的装置。所述设备还包含用于将每一图像投影到每一摄像机的相应3维(3D)形状的装置。所述设备进一步包含用于由图像产生组合视图的装置。
附图说明
图1说明由四个鱼眼摄像机捕获的鱼眼图像的实例；
图2说明由图1中的鱼眼图像产生的组合视图的一个实例；
图3为说明其中可实施用于产生组合视图的***及方法的电子装置的一个实例的框图；
图4为说明用于产生组合视图的方法的一个配置的流程图；
图5展示摄像机的倾斜角度的实例；
图6为说明组合来自不同位置的鱼眼摄像机的多个鱼眼图像的困难中的一些的鱼眼图像的实例；
图7说明将鱼眼图像投影到三维(3D)形状的一个实例；
图8为根据本文中所揭示的***及方法的共用3D形状的一个实例的图；
图9为说明将3D形状投影到共用3D形状的实例的图；
图10为说明将3D形状投影到共用3D形状上的更具体实例的图；
图11为说明将3D形状投影到共用3D形状上的另一更具体实例的图；
图12为说明投影到共用平面上的共用3D形状的实例的图；
图13为说明用于产生组合视图的方法的更具体配置的流程图；
图14说明来自四个鱼眼摄像机的四个输入鱼眼图像的实例；
图15说明在平面上的鱼眼图像的实例；
图16说明在平面上的鱼眼图像的另一实例；
图17说明在平面上的鱼眼图像的另一实例；
图18说明在共用平面上的鱼眼图像的实例；
图19说明在共用平面上的鱼眼图像的另一实例；
图20说明在共用平面上的组合视图的实例；
图21说明组合视图的另一实例；
图22说明组合视图的另一实例；以及
图23说明可包含在经配置以实施本文中所揭示的***及方法的各种配置的电子装置内的某些组件。
具体实施方式
本文中所揭示的***及方法的一些配置可提供从摄像机产生的组合视图(例如，环绕视图)。可结合各种摄像机、透镜及/或图像应用本文中所揭示的***及方法。例如，可利用一或多个广角摄像机、宽视野(FOV)摄像机、鱼眼摄像机、正常摄像机及/或长焦距(例如，摄远)摄像机来提供一或多个广角图像、宽FOV图像、鱼眼图像、弯曲图像、球形图像、半球形图像、正常图像、长焦距图像等。例如，图像可为具有广角、宽FOV、鱼眼、弯曲、球形、半球形、正常及/或长焦距外观及/或性质(例如，透视失真、经扩展FOV、可忽略或无失真、收缩(FOV)、放大，等)的二维(2D)图像。广角摄像机可包含至少一个广角透镜，且宽FOV摄像机可包含至少一个宽FOV透镜，鱼眼摄像机可包含至少一个鱼眼透镜、正常摄像机可包含至少一个正常透镜，且/或长焦距摄像机可包含至少一个长焦距透镜。正常摄像机及/或正常透镜可产生正常图像，其并不看起来失真(或仅具有可忽略失真)。广角透镜及宽FOV透镜(例如，广角摄像机、宽FOV摄像机)可具有比正常透镜短的焦距且/或可产生具有扩展视野的图像。广角透镜及宽FOV透镜(例如，广角摄像机、宽FOV摄像机)可产生具有透视失真的图像，其中图像看起来弯曲(例如，场景中的直线在用广角或宽FOV透镜捕获的图像中看起来弯曲)。例如，广角透镜及/或宽FOV透镜可产生广角图像、宽FOV图像、弯曲图像、球形图像、半球形图像、鱼眼图像，等。长焦距透镜及/或长焦距摄像机可具有比正常透镜长的焦距且/或可产生具有收缩视野及/或看起来经放大的图像。
如本文中所使用，“鱼眼摄像机”可为广角及/或宽视野(FOV)摄像机的实例。例如，鱼眼摄像机可产生具有介于大约100度与180度之间的视角的图像。例如，许多鱼眼透镜可具有大于100度的FOV。一些鱼眼透镜具有至少140度的FOV。例如，在高级驾驶辅助***(ADAS)上下文中使用的一些鱼眼透镜可具有140度或更大的FOV。在一个配置中，鱼眼透镜具有185度的FOV。鱼眼透镜可产生外观为全景及/或大约球形(例如，半球形)的图像。鱼眼摄像机可产生具有大失真的图像。例如，由鱼眼摄像机捕获的场景中的一些水平线可能看起来为弯曲的而非笔直的。因此，与其它透镜(例如，正规摄像机)相比，鱼眼透镜可展现失真及/或大FOV。
应注意，可在鱼眼透镜、鱼眼摄像机及/或鱼眼图像方面描述本文中所揭示的***及方法的数个实例。应注意，本文中所揭示的***及方法可另外或替代地结合一或多个正常透镜、广角透镜、宽FOV透镜、长焦距透镜、正常摄像机、广角摄像机、宽FOV摄像机长焦距摄像机、正常图像、广角图像、宽FOV图像及/或长焦距图像等来应用。因此，指代一或多个“鱼眼”摄像机、“鱼眼透镜”及/或“鱼眼图像”的实例可另外或替代地揭示替代鱼眼摄像机、鱼眼透镜及/或鱼眼图像的具有正常透镜、广角透镜、宽FOV透镜、长焦距透镜、正常摄像机、广角摄像机、宽FOV摄像机、长焦距摄像机、正常图像、广角图像、宽FOV图像及/或长焦距图像等的其它对应实例。通常对一或多个“摄像机”的提及可指代正常摄像机、广角摄像机、宽FOV摄像机、鱼眼摄像机及/或长焦距摄像机等中的任何者或全部。通常对一或多个“透镜”或“光学***”的提及可指代正常透镜、广角透镜、宽FOV透镜、鱼眼透镜及/或长焦距透镜，等中任何者或全部。通常对一或多个“图像”的提及可指代正常图像、广角图像、宽FOV图像、鱼眼图像及/或长焦距图像中的任何者或全部。
本文中所揭示的***及方法可应用于许多上下文、装置及/或***中。例如，本文中所揭示的***及方法可实施于电子装置、车辆、遥控飞机、摄像机、计算机、安全***、可穿戴装置(例如，动作摄像机)、飞机、船、娱乐车辆、虚拟现实(VR)装置(例如，VR耳机)、增强现实(AR)装置(例如，AR耳机)，等。
鱼眼摄像机可安装在多个位置中。例如，可定位四个摄像机，其中一个摄像机在车辆的前面部分、一个摄像机在左侧部分、一个在右侧部分且一个在后面部分。不同鱼眼摄像机可具有不同倾斜角度。来自鱼眼摄像机的鱼眼图像可具有重叠区域。在一些配置中，多于或少于四个摄像机可经安装且用于产生360度或小于360度的组合视图(例如，环绕视图)。组合视图可为提供比单独每一个别图像大的视角的图像的组合。环绕视图可为部分或完全环绕对象(例如，车辆、遥控飞机、建筑物，等)的组合视图。在一些配置中，从宽FOV摄像机产生的组合视图(例如，环绕视图)可用于产生三维(3D)组合视图(例如，环绕视图)。连接来自多个鱼眼摄像机的输出图像以产生组合视图(例如，清晰大FOV(例如360度)环绕视图)的方式存在挑战性问题。
组合图像可被称作图像拼接(例如，全景拼接)。环绕视图产生可与全景拼接问题相关联。全景拼接可在通过旋转摄像机捕获图像时工作。由于图像失真及宽基线，全景拼接对多个摄像机(例如，鱼眼摄像机)可能更具挑战性。失真可由鱼眼摄像机引起，而宽基线可由将摄像机放置在不同位置处造成。在这些状况下，摄像机可未经建模为旋转摄像机。
一种方法为完全地或部分地不使鱼眼图像失真且接着将全景拼接应用于图像。然而，此方法可能由于由失真造成的模糊(例如，模糊重叠区域)及由宽基线造成的困难而不允许良好拼接。例如，未失真图像可能具有模糊的重叠区域，此可能难以拼接成功。
在另一方法中，可将图像展开(unwarp)且接着可应用全景图像。例如，可将图像展开以将一些失真沿垂直方向移除，且接着可拼接图像。此方法可能针对一些摄像机设置工作，但可能针对其它摄像机设置失败。例如，其可能难以将图像展开以实现成功拼接。此外，产生图像可裁剪天空及地面区域的大部分。所产生图像可为条状(例如，矩形)图像，其中第一图像未连接到最后图像。
另一方法可为从鱼眼摄像机产生全视图范围。此方法可仅适于使旋转摄像机。
根据本文中所揭示的***及方法，鱼眼摄像机可经建模为3D形状(例如，球面、球体、球形状、椭圆体、多面体、梯形棱柱、盒状、立方体、矩形棱柱，等)。可将具有宽基线的鱼眼摄像机产生的多个鱼眼图像投影到单个3D形状。例如，由于存在于邻近鱼眼摄像机之间的宽基线，每一鱼眼摄像机可经建模为具有不同3D位置及/或可能不同半径(其可能与鱼眼透镜的焦距有关)的单独3D形状(例如，球面)。3D形状中的每一者可具有类似倾斜角度且/或可指向摄像机方向中的每一者(例如，前、左、右、后，等)。可发现封围单独3D形状的共用3D形状。例如，每一小球面(例如，对应于单独鱼眼摄像机)可由共用球面封围。可将小3D形状上的图像投影到此共用3D形状。例如，可将小球面投影到共用球面。应注意，在此上下文中“共用”意指共用3D形状对多个3D形状所共用。例如，可将多个3D形状投影到单个共用3D形状。
在不存在宽基线的情况下，所投影图像可以共用3D形状良好拼接。在宽基线的情况下，图像可能不良好匹配。为了使图像更佳地对准，可执行(比如，从共用球面的北极)到平行于地面的共用平面的进一步投影。在共用地面上，这些图像(例如，所投影图像)可经对准及拼接以获得大视野(FOV)图像(例如，组合视图、环绕视图，等)。一旦大FOV图像位于共同平面上，可采取任选步骤来使其变换成球面或其它3D结构以获得一或多个3D效应。例如，可将共用地面上的图像投影到球面以产生3D效应。
本文中所揭示的***及方法的一些益处可包含以大基线及/或不同倾斜角度来处置多个鱼眼摄像机。本文中所揭示的***及方法可保存来自原始鱼眼图像的几乎全部图像内容(例如，天空及地面)。
在高级驾驶辅助***(ADAS)的上下文中出现一些问题。例如，ADAS可产生鸟瞰视图，所述鸟瞰视图为从车上面到车周围地面的所见的视图。鸟瞰视图可通常展示地面视图的一些良好结果。然而，地面上面的其它对象可高度失真(例如，平坦化)。一些方法可由旋转摄像机所捕获的鱼眼图像产生全视图图像。此外，由于宽基线问题，这些方法可能并非工作良好。
应注意，本文中所揭示的***及方法可在一些实例中实施于车辆及/或高级驾驶辅助***(ADAS)。虽然本文中所揭示的***及方法的一些实例是在车辆及/或ADAS方面描述，但***及方法可在各种上下文中实施。在高级驾驶辅助***(ADAS)中，多个宽FOV摄像机(例如，鱼眼摄像机)可安装在车辆(例如，车辆的不同侧)中以允许驾驶员观察周围场景。例如，鱼眼摄像机可提供地面上及地面上面的对象的视图(例如，提供给驾驶员)。
在一些实例中，汽车组合视图(例如，环绕视图)***可为向车辆的驾驶员提供车辆周围区域的360度视图的汽车ADAS技术。一些组合视图(例如，环绕视图)***可包含安装在车辆周围的四到六个宽视野(FOV)摄像机，例如鱼眼摄像机。由这些摄像机产生的组合视图(例如，环绕视图)可实时辅助驾驶员(例如，在停车期间)。
图1说明由四个鱼眼摄像机捕获的鱼眼图像102a到d的实例；例如，鱼眼图像102a到d可为由单独鱼眼摄像机供应的输入鱼眼图像。如图1中所展示，由鱼眼摄像机产生的鱼眼图像102a到d具有大的失真。例如，第一鱼眼图像102a中的建筑物看起来弯曲。
在一些配置中，鱼眼摄像机可安装在车辆上，其中第一鱼眼摄像机在车辆的右侧，第二鱼眼摄像机在车辆的前部，第三鱼眼摄像机在车辆的左侧且第四鱼眼摄像机在车辆的后部。安装在车辆中的具有多个鱼眼摄像机的ADAS***具有宽基线问题，这是因为摄像机之间的距离相对大(例如，前摄像机安装在汽车的前格栅中且侧摄像机安装在侧视镜下方)。因此，摄像机可未经建模为旋转摄像机。
在一些状况下，同一对象可能在不同鱼眼图像中展示不同小平面。因此，对象可能在鱼眼图像之间并非匹配良好，无论使用哪一线性变换。额外问题为安装在车辆中的鱼眼摄像机可具有不同倾斜角度。例如，前摄像机可相对向下倾斜，致使如第二鱼眼图像102b中所说明捕获更多地面(例如，在水平线下面的更多内容)。然而，侧摄像机可能相对向上倾斜，致使如第一鱼眼图像102a中所说明捕获在水平线上面的更多内容。倾斜角可能不同且可能在一些状况下相对大。
在一些状况下，鱼眼图像之间的重叠区域可为相对小。另外或替代地，鱼眼图像可能在一些状况中缺少特征(例如，可能具有大区域的结构不清的天空及/或地面)。因此，组合鱼眼图像可为困难的。
图2说明由图1中的鱼眼图像102a到d产生的组合视图204(例如，360度环绕视图)的一个实例。如图2中所说明，可根据本文中所揭示的***及方法用多个鱼眼图像产生周边环境的视图。
图3为说明其中可实施用于产生组合视图的***及方法的电子装置310的一个实例的框图。例如，电子装置310可经配置以从鱼眼摄像机产生组合视图(例如，环绕视图)。电子装置310的实例包含摄像机、视频便携式摄像机、数字摄像机、蜂窝式电话、智能电话、计算机(例如，桌上型计算机、膝上型计算机，等)、平板装置、媒体播放器、电视、车辆、汽车、个人摄像机、可穿戴摄像机、虚拟现实装置(例如，耳机)、增强现实装置(例如，耳机)、混合现实装置(例如，耳机)、动作摄像机、监控摄像机、安装式摄像机、连接式摄像机、机器人、飞机、遥控飞机、无人驾驶航空器(UAV)、智能应用程序、保健设备、游戏主控台、个人数字助理(PDA)、机顶盒，等。电子装置310可包含一或多个组件或元件。组件或元件中的一或多者可以硬件(例如，电路)或硬件及软件的组合(例如，具有指令的处理器)实施。
在一些配置中，电子装置310可包含处理器314、存储器308、显示器306、一或多个图像传感器312、一或多个光学***326，及/或通信接口322。处理器314可耦合到以下各项(例如，与其电子通信)：存储器308、显示器306、图像传感器312、光学***326及/或通信接口322。处理器314可为通用单芯片或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列，等。处理器314可被称作中央处理单元(CPU)。尽管仅单个处理器314经展示在电子装置310中，但在替代配置中，可使用处理器(例如，ARM及DSP)的组合。处理器314可经配置以实施本文中所揭示的方法，所述方法将在下文详细地解释以由图像(例如，广角图像、鱼眼图像，等)产生组合视图(例如，环绕视图)。在一些配置中，电子装置310可执行结合图4及7到22中的一或多者所描述的功能、程序、方法、步骤等中的一或多者。
通信接口322可使得电子装置310能够与一或多个其它电子装置进行通信。例如，通信接口322可提供用于有线及/或无线通信的接口。在一些配置中，通信接口322可耦合到用于发射及/或接收射频(RF)信号的一或多个天线324。另外或替代地，通信接口322可实现一或多个有线(例如，通用串行总线(USB)、以太网，等)通信。
在一些配置中，可实施及/或利用多个通信接口322。例如，一个通信接口322可为蜂窝式(例如，3G、长期演进(LTE)、CDMA，等)通信接口322，另一通信接口322可为以太网接口、另一通信接口322可为通用串行总线(USB)接口，且另一通信接口322可为无线局域网(WLAN)接口(例如，电气与电子工程师协会(IEEE)802.11接口)。在一些配置中，通信接口322可将信息(例如，图像信息、组合视图信息，等)发送到另一装置(例如，车辆、智能电话、摄像机、显示器、远程服务器，等)或从所述另一装置接收信息。例如，电子装置310可与车辆共用信息(例如，另一车辆)。
电子装置310可获得一或多个图像(例如，数字图像、图像帧、视频，等)。例如，电子装置310可包含图像传感器312及光学***326(例如，透镜)，所述光学***将位于光学***326的视野内的场景及/或对象的图像聚焦到图像传感器312上。摄像机(例如，可见光谱摄像机)可包含至少一个图像传感器及至少一个光学***(例如，透镜)。因此，在一些实施方案中，电子装置310可为一或多个摄像机且/或可包含一或多个摄像机。在一些配置中，图像传感器312可捕获一或多个图像。光学***326可耦合到处理器314或由其控制。另外或替代地，电子装置310可请求及/或接收来自另一装置(例如，耦合到电子装置310的一或多个外部摄像机、网络服务器、交通摄像机、水下摄像机、车载摄像机、网络摄像机，等)的一或多个图像。在一些配置中，电子装置310可经由通信接口322请求及/或接收一或多个图像。例如，电子装置310可或可不包含摄像机(例如，图像传感器312及/或光学***326)且可接收来自一或多个远程装置的图像。图像(例如，图像帧)中的一或多者可包含一或多个场景及/或一或多个对象。
在一些配置中，光学***326可包含一或多个透镜(例如，广角透镜、宽FOV透镜、鱼眼透镜，等)。因此，光学***326及图像传感器312可为包含在电子装置310中的一或多个摄像机(例如，广角摄像机、宽FOV摄像机、鱼眼摄像机，等)的组件。另外或替代地，电子装置310可耦合到一或多个外部摄像机(例如，外部广角摄像机、外部宽FOV摄像机、外部鱼眼摄像机，等)及/或与其通信。
在一些配置中，电子装置310可包含图像数据缓冲器(未展示)。图像数据缓冲器可缓冲(例如，存储)来自图像传感器312及/或外部摄像机的图像数据。可将所缓冲图像数据提供到处理器314。
在一些配置中，电子装置310可包含摄像机软件应用程序及/或显示器306。在摄像机应用程序正运行时，位于光学***326的视野内的对象的图像可由图像传感器312捕获。可在显示器306上呈现可由图像传感器312捕获的图像。例如，可将一或多个组合视图(例如，环绕视图)图像发送到显示器306供由用户观看。在一些配置中，这些图像可以相对高帧速率接连不断地显示以使得在任何给定时刻在显示器306上呈现位于光学***326的视野内的场景及/或对象。由电子装置310获得一或多个图像可为一或多个视频帧及/或一或多个静止图像。在一些配置中，显示器306可表示额外或替代信息。例如，显示器306可呈现对应于一或多个所检测及/或所追踪对象的一或多个关注区(例如，边界框)。另外或替代地，显示器306可呈现深度信息(例如，在组合视图中距一或多个对象(例如，所选择对象)一或多个估计距离)。
处理器314可包含及/或实施图像获得器316。可将图像帧中的一或多者提供到图像获得器316。图像获得器316可从一或多个摄像机(例如，广角摄像机、宽FOV摄像机、鱼眼摄像机，等)获得图像(例如，弯曲图像、广角图像、宽FOV图像、鱼眼图像，等)。例如，图像获得器316可接收来自一或多个图像传感器312及/或来自一或多个外部摄像机的图像数据。图像可从单个摄像机(例如，多个位置(例如，角度、位置，等)处的一个摄像机)捕获或可从多个摄像机(例如，在不同位置处)捕获。如上文所描述，图像可从包含在电子装置310中的图像传感器312(例如，广角摄像机、宽FOV摄像机、鱼眼摄像机，等)捕获或可从一或多个摄像机(例如，远程广角摄像机、远程宽FOV摄像机、远程鱼眼摄像机，等)捕获。
在一些配置中，图像获得器316可请求及/或接收一或多个图像(例如，广角图像、宽FOV图像、鱼眼图像、弯曲图像、球形图像、半球形图像，等)。例如，图像获得器316可经由通信接口322请求及/或接收来自远程装置(例如，外部摄像机、远程服务器、远程电子装置等)的一或多个图像。从摄像机获得的图像可由处理器314处理以产生组合视图(例如，环绕视图)。
处理器314可包含及/或实施图像操作器318。图像操作器318可对图像(例如，鱼眼图像)执行一或多个操作。可对图像执行的操作的实例可包含：将每一图像(例如，广角图像、宽FOV图像、鱼眼图像、弯曲图像，球形图像、半球形图像，等)投影到3D形状，使一或多个3D形状旋转(使3D形状及/或图像对准于特定方向)，将每一3D形状的至少一部分投影到封围与摄像机相关联的所有3D形状的共用3D形状及/或将共用3D形状的至少一部分投影到共用平面。
图像操作器318可将图像(例如，广角图像、宽FOV图像、鱼眼图像、弯曲图像、球形图像、半球形图像，等)中的每一者投影到相应3D形状。例如，图像操作器318可将图像中的每一者投影到相应球面、球体、球形形状、弯曲3D形状、半球面、椭圆体、多面体(例如，近似球面或其它多面体的多面体)、梯形棱柱、盒状、立方体、矩形棱柱，等。例如，每一摄像机可产生可投影到单独3D形状的图像。在一些配置中，可将每一图像投影到球面。将每一图像投影到3D形状(例如，球面、球体、椭圆体，等)可更容易组合图像且/或可减少最终误差。可在一些方法中将图像投影到对应3D形状的全部或部分。例如，可仅将图像投影到球面的大约一半(例如，水平方向上的-90度到90度及垂直方向上的-70度到70度)。
在一些配置中，图像操作器318可使3D形状中的至少一者旋转以使对应图像大约对准于方向。例如，在将图像投影到其相应3D形状时，3D形状中的每一者(投影到3D形状的图像)可初始指向同一方向。因此，可使3D形状中的一或多者旋转以指向一或多个相应方向。此旋转可为水平旋转(例如，绕垂直轴旋转)。在一些配置中，每一3D形状(例如，图像)的方向可为对应摄像机的方向。例如，可使第一球面(例如，投影于第一球面上的第一图像)旋转于右侧方向，可使第二球面(例如，投影于第二球面上的第二图像)旋转到前方向，可使第三球面(例如，投影于第三球面上的第三图像)旋转到左侧方向，且/或可使第四球面(例如，投影于第四球面上的第四图像)旋转到后方向。应注意，在一些配置中，可使3D形状中的仅一组旋转。例如，在投影图像时，可已使四个球面中的一者指向正确方向。因此，可使四个球面中的仅三者旋转。
应注意，可使一或多个3D形状(例如，球面)旋转到大约方向(例如，90度、180度、270度，等)。在一些配置中，旋转角度(例如，以度及/或弧度为单位)可相依于摄像机的设置。例如，前方向在理想状况下可能为90度旋转。然而，如果摄像机设置具有旋转误差，那么旋转角度变化(例如，92度、88度，等)。
在一些配置中，图像操作器318可使3D形状中的至少一者旋转以大约补偿对应摄像机的倾斜。例如，不同摄像机可具有不同倾斜。图像操作器318可使3D形状(例如，球面)中的一或多者旋转使得倾斜在摄像机之间匹配。此旋转可为垂直旋转(例如，绕水平轴旋转)。在一些配置中，图像操作器318可使3D形状中的一或多者倾斜使得3D形状的全部的倾斜为特定倾斜(例如，10度、5度、0度、-5度、-10度，等)。倾斜可经预定、用户配置及/或自动检测。例如，可确定(例如，校准、自动检测及/或用户配置)一个摄像机的倾斜。图像操作器318可使其它摄像机的对应3D形状旋转使得其匹配所确定摄像机的倾斜。
图像操作器318可将每一3D形状的至少一部分投影到共同3D形状。共用3D形状可封围(例如，含有)对应于摄像机的3D形状的全部。特定来说，对应于摄像机的所有3D形状可位于共用3D形状的内部。更具体来说，通过封围(例如，共用)3D形状所封围的3D形状的所有点可在封围的3D形状内且/或可与封围的3D形状交叉。3D形状的全部可经封围在共用3D形状内以便促使3D形状到共用3D形状的投影。例如，较小3D形状(例如，球面)可由较大共用3D形状(例如，球面)封围。封围越严密(例如，内部3D形状之间的较小空间及/或内部3D形状及封围之间的较小空间)，最终组合图像中的误差可能越小。图8说明封围多个球面的共用球面的实例。
图像操作器318可将每一3D形状的至少一部分投影到共用3D形状。图9说明经投影到共用球面的球面的实例。可经投影的3D形状的部分可包含少于、确切或多于包含经投影到3D形状的图像的3D形状的区段。可将3D形状的此部分投影到共用3D形状的部分。因此，可将多个图像投影从3D形状投影到共用3D形状的多个部分。在一些状况及/或配置下，共用3D形状的多个部分可重叠。因此，投影到共用3D形状的多个图像(来自其相应3D形状)可重叠。在其它状况及/或配置中，投影到共用3D形状的多个图像(来自其相应3D形状)可不重叠。
可利用一或多个投影起源点。例如，与共用3D形状有关的一或多个内部点及/或一或多个外部点可用作投影起源点。在一些配置中，共用球面的中心可用作多个球面(例如，对应于每一摄像机)中的每一者到共用球面的投影的投影起源点。图10说明作为投影起源点的球面中心的实例。在其它配置中，多个球面(例如，对应于每一摄像机)中的每一者的中心可用作每一相应球面的投影起源点。图11说明作为投影起源点的球面的中心的实例。
在一些配置中，图像操作器318可将共用3D形状的至少一部分投影到共用平面。可经投影的共用3D形状的部分可包含少于、确切或多于包含经投影到共用3D形状的图像的共用3D形状的区段。可将共用3D形状的此部分投影到共用平面的部分。因此，可将多个图像从共用3D形状投影到共用平面的部分。在一些状况及/或配置中，投影起源点可在共用3D平面的外部、上或内部。例如，投影起源点可位于共用3D形状的顶部中心点。图12说明经投影到共用平面的共用3D形状的实例，其中投影起源点为球面的北极。在一些配置中，共用平面可大约平行于地面。
处理器314可包含及/或实施组合视图产生器320。组合视图产生器320可基于图像而产生组合视图。在一些配置中，组合视图产生器320可组合图像(例如，已经投影到共用平面)以形成组合图像。例如，组合视图产生器320可执行图像对准(例如，配准)，接缝发现及/或修整(例如，裁剪)以产生组合图像。
图像对准可包含使图像对准以便大约匹配图像(例如，在共用平面中)的重叠区(例如，区域)。例如，可使重叠区域的全部或部分大约匹配以使图像对准。在一些配置中，可将图像转化及/或按比例调整以便大约匹配重叠区。例如，可应用于仿射变换以使图像对准。另外或替代地，可利用投影变换及/或图像变形可使图像对准。在一些配置中，可重复及/或跳过前述程序(例如，将每一图像投影到3D形状，旋转以补偿倾斜，使3D形状中的一或多者旋转到方向，将每一3D形状投影到共用3D形状，将共用3D形状投影到共用平面，转换，旋转，投影变换，变形，等)中的一或多者直到对准误差小于对准误差阈值为止。图13说明可基于对准误差而重复及/或跳过这些程序中的一或多者的图像对准的实例。
接缝发现(例如，接缝选择)可包含确定邻近图像之间(例如，在图像之间的重叠区域中)的接缝。接缝可经产生以便改进图像之间的连续性(例如，减少不连续性)。例如，组合视图产生器320可确定沿着其图像匹配良好及/或在其处差异较小(例如，在其处边缘、对象、纹理、颜色及/或亮度匹配良好)的接缝。修整图像可包含修整(例如，裁剪)重叠区域的部分。例如，针对每一图像，可保存接缝的一侧上的图像数据，而可能修整(例如，裁剪、抛弃，等)接缝的另一侧上的图像数据。共用平面上的所得组合图像在一些配置中可能为组合视图。
在一些配置中，组合视图产生器320可将组合图像投影到形状。例如，可将组合图像(例如，在共用平面上)投影到例如碗(例如，碗内部)、杯(例如，杯内部)、球面(例如，整个球面内部、部分球面内部、半球面内部，等)、球体(例如，整个球体内部、部分球体内部、半球体内如，等)、圆柱体(例如，整个圆柱体内部、部分圆柱体内部，等)、椭圆体(例如，整个椭圆体内部、部分椭圆体内部、半椭圆体内部，等)、多面体(例如，多面体内部、部分多面体内部，等)、梯形棱柱(例如，梯形棱柱内部、部分梯形棱柱内部，等)，等。此可在一些配置中提供3D效应。在一些方法中，“碗”(例如，多层碗)形状可为具有扁平(例如，平面)基础的(完整或部分)球面、球体或椭圆体。形状可能为对称的或可能为不对称的。在一些配置中，电子装置310(例如，组合视图产生器320)可将电子装置310(例如，车辆、遥控飞机，等)的模型(例如，3D模型)或表示***图像视图中。在一些配置中可预定模型或表示。投影到形状的所得组合图像可为组合视图。
在一些配置中，组合视图产生器320可显现组合视图(在共用平面上及/或在形状上)。可在显示器306上呈现所显现组合视图。例如，处理器314可将组合视图提供到显示器306，所述显示器可呈现组合视图。
可从视角(例如，远景、摄像机角度，等)呈现组合视图。例如，可从上下视角、从后到前视角(例如，从后到前提升、从后到前下降，等)、从前到后视角(例如，从前到后提升，从前到后下降，等)，倾斜视角(例如，在后面及稍微上面徘徊、其它角度视角，等)，等呈现组合视图。
本文中所揭示的***及方法的一些配置还可提供自由视角显现，其中可从任何视角(例如，任何显现角度)或给定视角范围显现组合视图。在一些配置中，可基于用户接口328输入而调整组合视图。例如，用户接口328(例如，触摸屏)可接收指示组合视图的旋转、移位及/或变焦的输入。例如，组合视图产生器320可基于轻扫来改变组合视图的旋转，所述轻扫可指示沿轻扫方向旋转，可基于多触摸轻扫(例如，双指轻扫)而改变组合视图的移位，可指示沿轻扫方向移位，及/或可基于多触摸收缩或展开而改变组合视图的变焦。
在一些配置中，电子装置310可识别一或多个图像(例如，组合图像)中的关注区(ROI)。例如，电子装置310可基于一或多个图像而执行对象检测。例如，电子装置310可检测对象，例如，标志、道路标志、交通标志、交通信号、人、面部、符号(例如，字符、文本、数字，等)、车辆、建筑、障碍，等。电子装置310可基于所检测对象而识别ROI。例如，ROI可为相对于所检测到对象所建立的区域。在一些配置中，电子装置310可用边界框来定界所检测到对象。ROI可为包含在边界框内的区域。电子装置310可基于ROI而变焦组合视图的至少一部分。在一些实例中，电子装置310(例如，组合视图产生器320)可改变视角以便放大ROI。在另一实例中，电子装置310(例如，组合视图产生器320)可在呈现ROI的经变焦版本的显示器306上产生放大窗口。在一些配置中，电子装置310(例如，处理器314及/或显示器306)可产生一或多个线，所述线将放大窗口连接到图像可视化中的ROI的位置。
存储器308可存储指令及/或数据。处理器314可存取存储器308(例如从中读取及/或写入其中)。可由存储器308存储的指令及/或数据的实例可包含图像数据、图像组合数据(例如，接缝位置数据)、组合视图数据(例如，几何数据、几何参数、几何视角数据、几何移位数据、几何旋转数据，等)、对象数据(例如，位置、大小、形状，等)、图像获得器316指令、图像操作器318指令，及/或组合视图产生器320指令，等。
存储器308可存储用于由处理器314执行操作的图像及指令代码。存储器308可为能够存储电子信息的任何电子组件。存储器308可体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、与处理器包含在一起的机载存储器、EPROM存储器、EEPROM存储器、寄存器，等等，包含其组合。
数据及指令可存储在存储器308中。指令可由处理器314执行以实施本文中所描述方法中的一或多者。执行指令可涉及使用存储在存储器308中的数据。在处理器314执行指令时，可将指令的各种部分加载到处理器314上，且可将各种数据片段加载到处理器上。
在一些配置中，电子装置310可在显示器306上呈现用户接口328。例如，用户接口328可使得用户能够与电子装置310交互。在一些配置中，用户接口328可使得用户能够指示偏好(例如，组合视图设置)及/或与组合视图交互。例如，用户接口328可接收用于改变组合视图(例如，放大或缩小、使组合视图旋转、使组合视图移位、改变组合视图形状、改变组合视图视角，等)的一或多个命令。另外或替代地，用户接口328可接收指示组合视图中的对象的选择的输入(例如，点击)。在一些配置中，可追踪所选择对象。请注意，可基于输入(例如，手动)来调整算法中所使用的一或多个参数(例如，变焦、视角、投影形状、裁剪，等)。另外或替代地，一或多个参数可经调适用于优化问题，例如，所述优化问题可通过使一些定义的能量函数最小化而解决。
在一些配置中，显示器306可为接收来自物理接触(例如，通过手指、触笔或其它工具)的输入的触摸屏。例如，触摸屏可为接收指示图像可视化的用户偏好及/或一或多个修改的触摸输入的输入介面。另外或替代地，电子装置310可包含或耦合到另一输入接口。例如，电子装置310可包含面向用户的摄像机且可检测用户姿态(例如，手势、手臂姿态、眼睛追踪、眼睑眨眼，等)。在另一实例中，电子装置310可耦合到鼠标且可检测指示输入的鼠标单击。
应注意，在一些配置中可能不需要任何用户输入。例如，电子装置310可如本文中所描述自动地产生组合视图。
在一些配置中，电子装置310(例如，处理器314)可任选地耦合到高级驾驶辅助***(ADAS)，为ADAS的部分(例如，整合到其中)，包含及/或实施ADAS。例如，电子装置310可在车辆(在仪表盘中显示器、主控台显示器、挡风玻璃投影仪、平视显示器、光学头戴式显示器，等)中呈现组合视图。此可辅助驾驶员态势感知及/或避免碰撞。
电子装置310(例如，处理器314)可任选地耦合到一或多个其它种类装置，为所述一或多个其它种类装置的部分(例如，整合到其中)，包含及/或实施所述一或多个其它种类装置。例如，电子装置310可实施于配备有摄像机的遥控飞机中。组合视图可提供由遥控飞机上的多个摄像机捕获的场景的广视图。在另一实例中，电子装置310(例如，处理器314)可实施于动作摄像机(包含一或多个摄像机及/或透镜)。
应注意，可组合及/或划分电子装置的元件或组件中的一或多者。例如，图像获得器316、图像操作器318及/或组合视图产生器320可经组合。另外或替代地，图像获得器316、图像操作器318及/或组合视图产生器320中的一或多者可经划分成执行其操作的子集的元件或组件。
图4为说明用于产生组合视图的方法400的更具体配置的流程图。例如，方法400可由本文中所描述的电子装置310执行。
电子装置310可从多个摄像机(例如，广角摄像机、宽FOV摄像机、鱼眼摄像机，等)获得402图像(例如，广角图像、宽FOV图像、鱼眼图像、弯曲图像、球形图像、半球形图像，等)。上述情形可如结合图1及3中的一或多者所描述完成。例如，电子装置310可从电子装置310中所包含的多个摄像机获得图像。在另一实例中，电子装置310可请求及/或接收来自耦合到电子装置310(与其电子通信)的多个摄像机的图像。在另一实例中，电子装置310可请求及/或接收来自一或多个远程装置(例如，远程服务器，等)的图像。在一些配置中，每一摄像机可供应多个图像中的一个图像(例如，每次)。
电子装置310可将每一图像(例如，广角图像、宽FOV图像、鱼眼图像、弯曲图像、球形图像，半球形图像，等)投影404到每一摄像机的相应3D形状。上述情形可如结合图3所描述完成。例如，电子装置310可将图像中的每一者投影到单独3D形状(例如，球面、椭圆体、多面体，等)。例如，可将图像中的每一者映射到3D形状的全部或部分。应注意，3D形状中的每一者可为相同类型(例如，全部球面)或3D形状中的一或多者可不同(例如，三个球面及一椭圆体，等)。
电子装置310可由图像(例如，广角图像、宽FOV图像、鱼眼图像、弯曲图像、球形图像、半球形图像，等)产生406组合视图。上述情形可如结合图3所描述完成。例如，电子装置310可执行图像对准、接缝发现及/或修整。例如，电子装置310可使图像对准(例如，图像在3D形状上的投影，图像在共用3D形状上的投影及/或图像在共用平面上的投影，等)。例如，电子装置310可使投影到共用平面的图像的至少部分对准。在一些配置中，电子装置310可确定对准误差是否足够小(例如，小于对准误差阈值)及/或可重复一或多个操作指导对准误差足够小。电子装置310可发现邻近图像之间的接缝且/或可修整图像中的每一者的部分。
在一些配置中，电子装置310可显示组合视图。上述情形可如结合图3所描述完成。例如，电子装置310(例如，处理器314)可将组合视图提供到显示器(例如，电子装置310中所包含的显示器306或耦合到电子装置310及/或与其通信的显示器)。显示器可呈现组合视图。在一些配置中，摄像机可安装在车辆中且组合视图可在车辆中呈现。
图5展示摄像机530的倾斜角度534的实例。在此实例中，摄像机530(例如，鱼眼摄像机)相对于轴532向下倾斜。轴532可为任意轴(例如，平行于地面、垂直于重力矢量、与水平线对准、相对于物理主体(例如，车辆、遥控飞机框架、建筑物，等)的结构的轴、另一摄像机的指向方向、预定轴，等)。
不同摄像机(例如，鱼眼摄像机)的倾斜角度可能不同且可能相对较大。因此，不同摄像机(例如，鱼眼摄像机)可以不同角度捕获周围场景。结合图1及6给出以不同倾斜角度捕获的图像的实例。
图6为说明组合来自不同位置的鱼眼摄像机的多个鱼眼图像的困难中的一些的鱼眼图像636、638、640的实例。特定来说，图6说明不同倾斜角度642的效应、邻近鱼眼图像之间的小重叠区646，及由于宽基线648所致的同一对象的不同小平面。更具体来说，来自邻近摄像机的图像可具有重叠区域。然而，邻近摄像机之间的重叠区域可能相对小且可能缺少共用特征。如图6中所说明，右鱼眼图像638及后鱼眼图像640具有小重叠区域646，其中共用对象在右鱼眼图像638与后鱼眼图像640之间展示不同小平面(例如，不同侧)。此外，前鱼眼图像636及右鱼眼图像638展现不同倾斜角度642。在一些状况下，由鱼眼摄像机捕获的场景可展现较少特征644(例如，可能具有大的结构不清的区域，例如，天空或地面)。如上文所描述，鱼眼图像636、638、640还展示大的失真。因此，连接来自鱼眼摄像机的鱼眼图像636、638、640来产生大FOV(例如，360度)组合视图(例如，环绕视图)为挑战性问题。
图7说明将鱼眼图像750投影到3D形状754的一个实例。为了改善上文所提及困难(例如，结合图6所描述)，多个鱼眼摄像机中的每一者可在一些配置中经建模为单独3D形状(例如，球面)。如图7中所说明，例如，可将每一鱼眼图像750投影752到对应3D形状754(例如，球面)。由于邻近鱼眼摄像机(例如，安装在车辆中)之间的宽基线的存在，每一鱼眼摄像机可经建模为具有与鱼眼透镜的焦距有关的不同3D位置及/或不同尺寸(例如，半径)的单独3D形状。
如上文所描述，多个鱼眼图像可由电子装置310获得。具有不同倾斜角度的不同鱼眼摄像机可造成关于鱼眼图像之间的对准的困难。根据本文中所揭示的***及方法，可将每一鱼眼图像750投影752到相应3D形状754。例如，可将投影步骤单独地应用于每一鱼眼图像。应注意，3D形状(例如，球面)在一些配置中可为单独的且可具有不同大小(例如，半径)。
可使3D形状754中的一或多者旋转以补偿一或多个对应鱼眼摄像机的倾斜。例如，可使3D形状中的一或多者垂直地旋转以补偿倾斜角度。例如，可使具有所投影鱼眼图像的3D形状中的一或多者旋转使得垂直对准在鱼眼图像之间大约一致。因此，可使投影到一或多个3D形状的鱼眼图像中的一或多者向上及/或向下旋转。在一些配置中，此旋转可使鱼眼图像垂直对准于轴。
如上文所描述，可使每一3D形状754(具有所投影鱼眼图像)旋转以使对应鱼眼图像大约对准于方向。例如，在将每一鱼眼图像750投影752到3D形状754时，3D形状中的每一者(例如，投影到3D形状的鱼眼图像)可指向同一方向。可使3D形状中的一或多者旋转到对应方向(例如，可接近对应鱼眼摄像机的方向的方向)。
图8为根据本文中所揭示的***及方法的共用3D形状856的一个实例的图。具体来说，图8说明由共用3D形状856封围的四个3D形状858a到d。在此实例中，经封围的3D形状858a到d中的每一者为球面且共用3D形状856为球面。在此实例中，经封围的3D形状858a到d中的每一者对应于相应鱼眼摄像机，其中已将来自鱼眼摄像机中的每一者的每一相应鱼眼图像分别投影到3D形状858a到d中的每一者。
如在图8中可观察到，经封围的3D形状858a到d中的每一者可在共用3D形状856内(例如，3D形状858a到d的所有点在共用3D形状856的表面处或所述表面内)。例如，鱼眼摄像机的较小球面中的每一者可如图8中所展示由共用球面封围。例如，图8展示四个较小球面(3D形状858a到d)，所述四个较小球面可对应于安装在车辆的前方向(例如，3D形状B858b)、左方向(例如，3D形状C 858c)、右方向(例如，3D形状A 858a)及后方向(例如，3D形状D 858d)的四个鱼眼摄像机，以及封围四个个别球面的共用球面(共用3D形状856)。应注意，经封围的3D形状为同一形状(例如，同一形状)或不同类型及/或可为同一大小或不同大小。
如图8中所说明，共用3D形状856可具有北极860。北极860可为共用3D形状856的顶部处的中心位置或点。在一些配置中，北极860可被用作用于将共用3D形状856投影到共用平面上的投影起源点。
图9为说明将3D形状958a到d投影962到共用3D形状956上的实例的图。为说明清楚起见，从自上到下视图展示共用3D形状956及3D形状958a到d。特定来说，结合图9所描述的共用3D形状956(例如，共用球面)可为结合图8所描述的共用3D形状856(例如，共用球面)的实例且结合图9所描述的3D形状958a到d(例如，对应于鱼眼摄像机的球面)可为结合图8所描述的3D形状858a到d(例如，对应于鱼眼摄像机的球面)的实例。特定来说，图9中的小圆圈可表示原始鱼眼图像投影到其上的3D形状958a到d(例如，球面)。较大虚线圆圈可表示封围小3D形状958a到d(例如，球面)的共用3D形状956(例如，共用球面)。
可将3D形状958a到d中的每一者投影962到共用3D形状956。图9说明由将3D形状958a到d中的每一者投影962到共用3D形状956上所致的投影结果966的实例。例如，投影结果966可表示在将鱼眼摄像机的球面(3D形状958a到d)投影到其上之后的共用球面(共用3D形状956)。投影结果966中的不同经图案化线可表示对应于3D形状958a到d的所投影鱼眼图像964a到d(例如，来自不同摄像机的鱼眼图像)。例如，所投影鱼眼图像A964a可为从3D形状A958a投影到共用3D形状956上的鱼眼图像，所投影鱼眼图像B 964b可为从3D形状B 958b投影到共用3D形状956上的鱼眼图像，所投影鱼眼图像C 964c可为从3D形状C 958c投影到共用3D形状956上的鱼眼图像，且所投影鱼眼图像D 964d可为从3D形状D 958d投影到共用3D形状956上的鱼眼图像。
应注意，在投影之前，在一些配置中，可对3D形状(例如，小球面)中的一或多者执行旋转使得将鱼眼图像放置在正确摄像机位置处。例如，可对对应于前摄像机的前3D形状执行旋转使得其在共用3D形状(例如，球面)中的投影图像在前面。
图10为说明将3D形状1058a到d投影1062到共用3D形状1056上的更具体实例的图。为说明清楚起见，从自上到下视图展示共用3D形状1056及3D形状1058a到d。特定来说，结合图10所描述的共用3D形状1056(例如，共用球面)可为结合图8所描述的共用3D形状856(例如，共用球面)的实例且结合图10所描述的3D形状1058a到d(例如，对应于鱼眼摄像机的球面)可为结合图8所描述的3D形状858a到d(例如，对应于鱼眼摄像机的球面)的实例。特定来说，图10中的小圆圈可表示原始鱼眼图像投影到其上的3D形状1058a到d(例如，球面)。较大虚线圆圈可表示封围小3D形状1058a到d(例如，球面)的共用3D形状1056(例如，共用球面)。
可将3D形状1058a到d中的每一者投影1062到共用3D形状1056。图10说明由将3D形状1058a到d中的每一者投影1062到共用3D形状1056上所致的投影结果1066的实例。例如，投影结果1066可表示在将鱼眼摄像机的球面(3D形状1058a到d)投影到其上之后的共用球面(共用3D形状1056)。投影结果1066中的不同经图案化线可表示对应于3D形状1058a到d的所投影鱼眼图像1064a到d(例如，来自不同摄像机的鱼眼图像)。例如，所投影鱼眼图像A1064a可为从3D形状A1058a投影到共用3D形状1056上的鱼眼图像，所投影鱼眼图像B1064b可为从3D形状B 1058b投影到共用3D形状1056上的鱼眼图像，所投影鱼眼图像C1064c可为从3D形状C 1058c投影到共用3D形状1056上的鱼眼图像，且所投影鱼眼图像D1064d可为从3D形状D 1058d投影到共用3D形状1056上的鱼眼图像。
在图10中所说明的配置中，投影起源点1070在共用3D形状1056(例如，球面)的中心处。例如，共用3D形状1056的近似中心可用作用于将3D形状A到D 1058a到d投影到共用3D形状1056的投影起源点(例如，投影中心)。每一3D形状1058a到d(例如，经封围的3D形状，小球面，等)可具有其自己的可用面积。可使用面积可由对应鱼眼摄像机的视野确定。例如，3D形状B 1058b的可用面积可大约为3D形状B 1058b的前半部分(例如，半球面、半椭圆体、弧形，等)。例如，3D形状B 1058的从最左点到最右点的弧形(例如，在给定垂直范围上方)可表示前鱼眼摄像机的3D形状B 1058b的可用部分。应注意，3D形状的可用部分可沿垂直及/或水平维度具有较小或较大范围。例如，3D形状的可用部分的范围可在水平方向上从2度到178度且在垂直方向上从-80度到80度。
可将每一3D形状1058a到d(例如，球面)的可用部分投影到每一3D形状1058a到d的共用3D形状(例如，共用球面)。如投影结果1066中所说明，共用3D形状(例如，共用球面)上的所投影图像之间可存在间隙1068a到d。在一些配置中，可将这些间隙1068a到d移除。例如，可使所投影鱼眼图像1064a到d对准。例如，电子装置310可执行仿射变换以辅助移除间隙1068a到d。
在一些配置中，投影起源点1070可为共用3D形状1056(例如，共用球面)的近似中心。在一些方法中可从小的3D形状1058a到d(例如，球面)的中心确定共用3D形状1056的近似中心。例如，电子装置310可确定到小的3D形状1058b(例如，球面)的所有中心相同距离的点。所述点可被用作投影起源点1070且/或可被认为共用3D形状1056(例如，共用球面)的中心。在一些方法中，共用3D形状1056(例如，共用球面)的大小(例如，半径)可由电子装置310通过要求共用3D形状1056(例如，球面)尽可能紧密地封围所有小的3D形状1058a到d(例如，球面)来确定。
在一些实例中，共用球面可与全部小球面大约成切线。使用共用球面的中心做为投影点，可将小球面投影到共用球面。取决于鱼眼摄像机的视野(FOV)，可将对应于场景的小球面的部分投影到共用球面。
图11为说明将3D形状1158a到d投影1162到共用3D形状1156上的另一更具体实例的图。为说明清楚起见，从自上到下视图展示共用3D形状1156及3D形状1158a到d。特定来说，结合图11所描述的共用3D形状1156(例如，共用球面)可为结合图8所描述的共用3D形状856(例如，共用球面)的实例且结合图11所描述的3D形状1158a到d(例如，对应于鱼眼摄像机的球面)可为结合图8所描述的3D形状858a到d(例如，对应于鱼眼摄像机的球面)的实例。特定来说，图11中的小圆圈可表示原始鱼眼图像投影到其上的3D形状1158a到d(例如，球面)。较大虚线圆圈可表示封围小3D形状1158a到d(例如，球面)的共用3D形状1156(例如，共用球面)。
可将3D形状1158a到d中的每一者投影1162到共用3D形状1156。图11说明由将3D形状1158a到d中的每一者投影1162到共用3D形状1156上所致的投影结果1166的实例。例如，投影结果1166可表示在将鱼眼摄像机的球面(3D形状1158a到d)投影到其上之后的共用球面(共用3D形状1156)。投影结果1166中的不同经图案化线可表示对应于3D形状1158a到d的所投影鱼眼图像1164a到d(例如，来自不同摄像机的鱼眼图像)。例如，所投影鱼眼图像A1164a可为从3D形状A1158a投影到共用3D形状1156上的鱼眼图像，所投影鱼眼图像B1164b可为从3D形状B 1158b投影到共用3D形状1156上的鱼眼图像，所投影鱼眼图像C1164c可为从3D形状C 1158c投影到共用3D形状1156上的鱼眼图像，且所投影鱼眼图像D1164d可为从3D形状D 1158d投影到共用3D形状1156上的鱼眼图像。
在图11中所说明的配置中，投影起源点1170a到b位于3D形状1158a到d(例如，球面)的中心处。例如，每一3D形状1158a到d的近似中心可分别用作用于将3D形状A到D1158a–d投影到共用3D形状1156的投影起源点1170a到d。例如，每一小球面的中心可用作每一相应球面的投影中心。
如上文所论述，每一3D形状1158a到d(例如，经封围的3D形状、小球面，等)可具有其自己的可用面积。可使用面积可由对应鱼眼摄像机的视野确定。例如，3D形状B1158b的可用面积可大约为3D形状B 1158b的前半部分(例如，半球面、半椭圆体、弧形，等)。例如，3D形状B 1158的从最左点到最右点的弧形(例如，在给定垂直范围上方)可表示前鱼眼摄像机的3D形状B 1158b的可用部分。应注意，3D形状的可用部分可沿垂直及/或水平维度具有较小或较大范围。可将每一3D形状1158a到d(例如，球面)的可用部分投影到每一3D形状1158a到d的共用3D形状(例如，共用球面)。
图12为说明投影到共用平面1272上的共用3D形状1256的实例的图。例如，一旦将全部鱼眼图像(例如，在由共用3D形状1256封围的3D形状投影到共用3D形状(例如，共用球面)，可将鱼眼图像从共用3D形状(例如，共用球面)重新投影到共用平面1272。图12中所说明的实例为共用3D形状1256及共用平面1272的侧视图。例如，图12中所说明的共用3D形状1256可为结合图8到11中的一或多者所描述的共用3D形状856、956、1056、1156中的一或多者的实例。在一些配置中，共用平面1272可平行于(或大约平行于)地面。图12展示从共用3D形状1256(例如，共用球面)的北极1274到共用平面1272(例如，地面)的投影的实例。例如，共用3D形状(例如，共用3D形状的最上中心点)的最上点可在一些配置中用作投影起源点。在图12中，P为共用球面上的点，且P'为共用平面1272上的投影点。
在一些配置中，经投影于共用平面1272上的鱼眼图像可经对准及/或拼接以获得(例如，产生)组合视图(例如，大FOV环绕视图)。在一些配置中，可将共用平面1272上的图像投影于3D形状(例如，回到球面)以获得3D组合视图(例如，环绕视图)。
图13为说明用于产生组合视图的方法1300的更具体配置的流程图。特定来说，图13说明用于从鱼眼摄像机产生组合视图(例如，环绕视图)的方法1300的一个实例。方法1300可由电子装置(例如，结合图3所描述的电子装置310)执行。
电子装置310可校准1302鱼眼摄像机。可用可确保可将鱼眼图像投影到3D形状(例如，球面)的任何校准方法来执行校准。例如，可使用等距鱼眼模型，其可由焦距f及图像中心(x0,y0)表示。
在一些配置中，可利用以下方法来估计3D形状(例如，球面)的参数。为了估计图像中心(x0,y0)，电子装置310可沿着鱼眼图像(例如，鱼眼图像中的每一者)的圆圈边界获得样本点。电子装置310可使用这些点的位置来接近圆圈。经估计的圆圈的中心可为(x0,y0)。电子装置310还可从经估计圆圈估计圆圈的半径。另外，针对焦距f，如果知晓鱼眼摄像机的FOV，例如，180度，那么f*θ＝圆圈的半径。因此，电子装置310可确定如上文所描述的圆圈的半径且θ可为角度(例如，180/2度或Pi/2的弧度表示)。电子装置310可接着确定焦距。
电子装置310可从多个鱼眼摄像机获得鱼眼图像。例如，上述情形可如上文结合图3到4中的一或多者所描述来完成。
电子装置310可将每一鱼眼图像投影1304到每一鱼眼摄像机的相应3D形状(例如，球面)。上述情形可如上文结合图3到4及7中的一或多者所描述来完成。例如，可将来自鱼眼摄像机的每一鱼眼图像投影1304到其自己的3D形状(例如，球面)。例如，每一鱼眼透镜可由球面模型化。因此，可将每一鱼眼图像投影1304到由对应校准参数确定的3D形状(例如，球面)。
电子装置310可使至少一个3D形状旋转1306以补偿对应鱼眼摄像机的倾斜。上述情形可如上文结合图3及5到7中的一或多者所描述来完成。例如，可使3D形状(例如，球面)中的一或多者旋转以补偿对应鱼眼摄像机的倾斜。在一些实施方案中，摄像机可以不同倾斜角度安装。例如，前摄像机可向上指，而其它摄像机可向下指。对应于一或多个鱼眼摄像机的一或多个鱼眼图像可通过使3D形状(例如，球面)旋转而不倾斜使得每一摄像机具有相同或基本上相同倾斜额角度。
电子装置310可使至少一个3D形状旋转1308以使对应鱼眼图像大约对准于方向。上述情形可如上文结合图3及7中的一或多者所描述来完成。例如，可使3D形状(例如，球面)中的一或多者旋转1308以校正鱼眼图像的方向。在将鱼眼图像投影到3D形状(例如，球面)时，例如，其可初始指向同一方向。因此，可使一或多个鱼眼图像(例如，3D形状、球面，等)旋转使得每一鱼眼图像指向正确方向。针对对应于前摄像机的所投影鱼眼图像，例如，可旋转1308使得其指向共用3D形状(例如，共用球面)的前面。在一些配置中，倾斜及/或方向不对准(例如，指向误差)可能在运行时间之前进行预定及/或评估。例如，误差可能手动预定且/或误差可事先评估。
电子装置310可将每一3D形状的至少一部分投影1310到共用3D形状(例如，共用球面)。上述情形可如结合图3及8到11中的一或多者所描述来完成。在一些配置中，共用3D形状可封围3D形状的全部。例如，可将每一鱼眼摄像机的每一个别3D形状(例如，球面)投影1310到封围鱼眼摄像机的所有个别3D形状(例如，球面)的共用3D形状(例如，共用球面)。
电子装置310可将共用3D形状(例如，共用球面上的鱼眼图像)的至少一部分投影1312(例如，重新投影)到共用平面。上述情形可如结合图3及12中的一或多者所描述来完成。在一些配置中，共用平面可与地面大约平行。可使用任何投影方法。例如，可使用立体摄影投影来将共用3D形状(例如，球面)上的每一图像投影到共用平面。在一些方法中，投影1312可为从共用平面(例如，共用球面)的北极到大约平行于地面的共用平面。
电子装置310可使鱼眼图像对准1314。例如，电子装置310可针对已投影到共用平面的鱼眼图像使鱼眼图像彼此对准1314(例如，与邻近鱼眼图像)。上述情形可如结合图3、10及12中的一或多者所描述来完成。在一些配置中，可应用仿射变换以使投影于共用平面上的鱼眼图像对准。例如，可使共用平面上的图像转化及/或按比例调整以匹配重叠区域。另外或替代地，可使用鱼眼图像之间的投影变换及/或图像变形。
电子装置310可确定对准误差。在一些配置中，可基于重叠区域之间的像素匹配的紧密程度而确定对准误差。例如，电子装置310可计算重叠区域的像素之间的相关性。可在对准1314之前、期间及/或之后计算一或多个相关性。对准误差可由重叠区域之间的相关性或基于重叠区域之间的相关性的值(例如，得分)指示(例如，与其成反比)。例如，相关性越高，对准误差越低。
在一些配置中，对准误差可另外或替代地基于特征匹配。例如，在重叠区域中可能存在图案及/或特征。电子装置310可确定重叠区域中的一或多个特征(例如，关键点、特征矢量，等)。例如，使鱼眼图像对准1314可包含确定特征。对准误差(例如，得分)可由重叠区域之间的特征匹配的程度指示(例如，与其成反比)。例如，对准误差可基于特征(例如，特征矢量)的相关性、特征(例如，关键点)之间的距离，等。
电子装置310可确定1316对准误差是否过大。例如，电子装置310可确定1316对准误差是否超过预定阈值。如果对准误差过大(例如，如果对准误差并不足够小，如果对准误差超过预定阈值，等)，那么电子装置310可重复或跳过一或多个操作(例如，以调整对准直到对准误差小于预定义阈值为止)。例如，电子装置310可将每一鱼眼图像投影1304到相应3D形状，使至少一个3D形状旋转1306以补偿倾斜，使至少一个3D形状旋转1308以使鱼眼图像对准于方向，将3D形状的至少一部分投影1310到共用3D形状，将共用3D形状的至少一部分投影1312到共用平面及/或使鱼眼图像(例如，视需要)对准1314以减少对准误差。
如果对准误差并非过大(例如，如果对准误差足够小，如果对准误差并未超过预定阈值，等)，电子装置310可确定1318邻近鱼眼图像之间的至少一个接缝。例如，电子装置310可选择一或多个接缝以用于进行邻近鱼眼图像修整(例如，切割)及/或拼接图像。接缝中的一或多者能有益于(例如，最佳接缝)修整及/或拼接鱼眼图像。
电子装置310可基于接缝来修整1320至少一个鱼眼图像。例如，电子装置310可修整(例如，裁减掉、移除，等)与邻近鱼眼图像重叠及/或超过所述鱼眼图像的鱼眼图像的部分。例如，可沿着接缝切割鱼眼图像。可将鱼眼图像的部分保存在最终组合图像(例如，组合视图、环绕视图，等)，而可能抛弃一或多个部分。可在一些配置中抛弃经修正(例如，裁减掉)图像数据。另外或替代地，电子装置310可拼接(例如，组合、接合，等)图像。
产生组合视图可包含使鱼眼图像对准1314，确定1318邻近鱼眼图像之间的至少一个接缝，修整1320至少一个鱼眼图像及/或拼接鱼眼图像。在产生组合视图(例如，确定1318至少一个接缝，修整1320至少一个鱼眼图像及/或拼接鱼眼图像)，在一些配置中，电子装置310可输出组合视图(例如，环绕视图)。例如，电子装置310可将组合视图输出到一或多个显示器且/或可将组合视图发送到另一装置。在一些配置中，电子装置310可将组合视图存储在存储器中。图14到22中展示鱼眼摄像机的组合视图(例如，环绕视图)产生的实例。
图14说明来自四个鱼眼摄像机的四个输入鱼眼图像的实例。在此实例中，以从左到右的次序，第一鱼眼图像1402a对应于车辆上的前鱼眼摄像机，第二鱼眼图像1402b对应于车辆上的右鱼眼摄像机，第三鱼眼图像1402c对应于车辆上的左鱼眼摄像机且第四鱼眼图像1402d对应于车辆上的后鱼眼摄像机。可如上文结合图1、3到4及13中的一或多者所描述获得鱼眼图像1402a到d。
图15说明在平面1576上的鱼眼图像1578的实例。在此实例中，已将来自图14的第一鱼眼图像1402a(例如，前鱼眼摄像机图像)投影于球面且接着将其投影到大约平行于地平面的平面1576。如图15中可观察，尚未使对应于前鱼眼摄像机的鱼眼图像1578旋转到前方向。因此，鱼眼图像1578面向右(而非前摄像机的前部)。
图16说明在平面1680上的鱼眼图像1682的另一实例。在此实例中，已将来自图14的第一鱼眼图像1402a(例如，前鱼眼摄像机图像)投影于个别球面。接着使个别球面旋转90度(水平地)以使鱼眼图像1682对准于前方向。还使个别球面旋转15度(垂直地)以补偿前鱼眼摄像机中的倾斜。将个别球面投影到共用球面。接着将鱼眼图像1682投影到屏幕1680。如可观察，鱼眼图像1682面向前部(例如，对应于前鱼眼摄像机)。
图17说明在平面1780上的鱼眼图像1786的另一实例。在此实例中，已将来自图14的第二鱼眼图像1402b(例如，右鱼眼摄像机图像)投影于个别球面。在此状况下，可能尚未使个别球面旋转以对准于方向(例如，因为鱼眼图像1786可已面向正确方向)，但可能已使球面旋转以补偿倾斜。接着将鱼眼图像1786投影到共用球面且接着将其投影到平面1780。在此实例中，平面1780可能与结合图16所描述的平面1680相同(例如，共用平面)。
图18说明在共用平面1880上的鱼眼图像1882、1886的实例。在此实例中，如结合图16到17所描述将来自图14的第一鱼眼图像1402a(例如，前鱼眼摄像机图像)与第二鱼眼图像1402b(例如，右鱼眼摄像机图像)两者投影于共用平面1880。因此，对应鱼眼图像1882、1886经说明在共用平面1880上。还使鱼眼图像1882、1886对准。如图18中可观察到，鱼眼图像1882、1886之间存在重叠1888。
图19说明在共用平面1980上的鱼眼图像1990、1992、1994、1996的另一实例。在此实例中，将来自图14的第一鱼眼图像1402a(例如，前鱼眼摄像机图像)、第二鱼眼图像1402b(例如，右鱼眼摄像机图像)、第三鱼眼图像1402c(例如，左鱼眼摄像机图像)及第四鱼眼图像1402d(例如，后鱼眼摄像机图像)投影于共用平面1980。因此，对应鱼眼图像1990、1992、1994、1996经说明在共用平面1980上。可能已调整鱼眼图像1990、1992、1994、1996中的一或多者(例如，使其旋转以对准于方向及/或旋转以补偿倾斜)。已将鱼眼图像1990、1992、1994、1996对准、修整及拼接。如在图19中可观察到，保持或保留每一鱼眼图像1990、1992、1994、1996的仅部分。
图20说明在共用平面2080上的组合视图(例如，环绕视图)2098的实例。在此实例中，在共用平面2080上的自上到下360度组合视图2098可为来自结合图14及16到19所描述的程序的所得图像。
图21说明组合视图2198的另一实例。在此实例中，图20的组合视图2098已经进一步裁剪且已***车辆图像2101(例如，模型)以产生组合视图2198。例如，车辆可经描绘为组合视图2098中的实际车辆的模型或表示。应注意，组合视图可以其它形状经裁剪。
图22说明组合视图2298的另一实例。在此实例中，已将图20的组合视图2098投影到半椭圆体形状以提供3D视图效应。另外，已将图20的组合视图2098裁剪以移除后视图部分且已***车辆图像2201(例如，模型)以产生组合视图2198。此外，在此实例中，组合视图2298的视角为在车辆在上面及后面的斜角。
图23说明可包含在经配置以实施本文中所揭示的***及方法的各种配置的电子装置2310内的某些组件。电子装置2310的实例可包含摄像机、视频便携式摄像机、数字摄像机、蜂窝式电话、智能电话、计算机(例如，桌上型计算机、膝上型计算机，等)、平板装置、媒体播放器、电视、车辆、汽车、个人摄像机、可穿戴摄像机、虚拟现实装置(例如，耳机)、增强现实装置(例如，耳机)、混合现实装置(例如，耳机)、动作摄像机、监控摄像机、安装式摄像机、连接式摄像机、机器人、飞机、遥控飞机、无人驾驶航空器(UAV)、智能应用程序、保健设备、游戏主控台、个人数字助理(PDA)、机顶盒，等。电子装置2310可根据结合图3所描述的电子装置310实施。电子装置2310包含处理器2321。处理器2321可为通用单芯片或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列，等。处理器2321可被称作中央处理单元(CPU)。尽管在电子装置2310中仅展示单个处理器2321，但在替代配置中，可实施处理器(例如，ARM及DSP)的组合。
电子装置2310还包含存储器2307。存储器2307可为能够存储电子信息的任何电子组件。存储器2307可体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、与处理器一起包含的机载存储器、EPROM存储器、EEPROM存储器、寄存器，等等，包含其组合。
数据2305a及指令2303a可存储在存储器2307中。指令2303a可由处理器2321执行以实施本文中所描述方法(例如，方法400、方法1300)、程序、步骤及/或功能中的一或多者。执行指令2303a可涉及使用存储在存储器2307中的数据2305a。在处理器2321执行指令2303时，可将指令2303b的各种部分加载到处理器2321上，及/或可将数据2305b的各种片段加载到处理器2321上。
电子装置2310还可包含发射器2313及接收器2315以允许信号去往及来自电子装置2310的发射及接收。发射器2313及接收器2315可被共同称作收发器2323。一或多个天线2311a到b可电耦合到收发器2323。电子装置2310还可包含(未展示)多个发射器、多个接收器、多个收发器及/或额外天线。
电子装置2310可包含数字信号处理器(DSP)2317。电子装置2310还可包含通信接口2319。通信接口2319可允许及/或实现一或多个种类的输入及/或输出。例如，通信接口2319可包含用于将其它装置链接到电子装置2310的一或多个端口及/或通信装置。在一些配置中，通信接口2319可包含发射器2313、接收器2315或两者(例如，收发器2323)。另外或替代地，通信接口2319可包含一或多个其它接口(例如，触摸屏、小键盘、键盘、麦克风、摄像机，等)。例如，通信接口2319可适当用户能够与电子装置2310交互。
电子装置2310的各种组件可通过一或多个总线耦合在一起，所述总线可包含电源总线、控制信号总线、状态信号总线、数据总线，等。为清楚起见，各种总线在图23中经说明为总线***2309。
术语“确定”囊括广泛各种动作，且因此“确定”可包含运算、计算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)，确定及其类似者。另外，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)及其类似者。此外，“确定”可包含解析、选择、挑选、建立及其类似者。
除非另有明确规定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”及“至少基于”两者。
术语“处理器”应广泛揭示为囊括通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机，等等。在一些情况下，“处理器”可指专用集成电路(ASIC)、可编程逻辑装置(PLD)、场可编程门阵列(FPGA)等。术语“处理器”可指处理装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它此配置。
术语“存储器”应广泛解释为囊括能够存储电子信息的任何电子组件。术语存储器可指各种类型的处理器可读媒体，例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、快闪存储器、磁性或光学数据存储器、寄存器，等。如果处理器可从存储器读取信息及/或将信息写入到存储器，那么存储器被认为与处理器电子通信。与处理器成整体的存储器与处理器电子通信。
术语“指令”及“代码”应广泛揭示为包含任何类型的计算机可读语句。例如，术语“指令”及“代码”可指一或多个程序、例程、子例程、函数、程序，等。“指令”及“代码”可包括单个计算机可读语句或许多计算机可读语句。
本文中所描述功能可以由硬件执行的软件或固件实施。功能可作为一或多个指令被存储在计算机可读媒体上。术语“计算机可读媒体”或“计算机程序产品”是指可由计算机或处理器存取的任何有形存储媒体。通过实例的方式且非限制性，计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光学磁碟存储装置、磁盘存储装置或其它磁性存储装置或可用于以指令或数据结构的形式存储所要程序代码且可由计算机存取的其它媒体。如本文中所使用，磁盘及光盘包含光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及
Figure BDA0001478961670000271
光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。应注意，计算机可读媒体可为有形的且非易失性。术语“计算机程序产品”是指结合可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)的计算装置或处理器。如本文中所使用，术语“代码”可是指可由计算装置或处理器执行的软件、指令、代码或数据。
软件或指令还可经由传输媒体来传输。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输软件，那么所述同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术皆包含于媒体的定义中。
本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。方法步骤及/或动作可彼此互换而不背离权利要求书的范围。换句话说，除非所描述的方法的恰当操作需要特定次序的步骤或动作，否则具体步骤及/或动作的次序及/或使用可被修改而不脱离权利要求书的范围。
此外，应了解，用于执行本文中所描述的方法及技术的模块及/或其它适当装置可通过装置下载及/或以它方式获得。例如，装置可耦合到服务器以促使用于执行本文中所描述方法的装置的转移。替代地，本文中所描述的各种方法可经由存储装置(例如，随机存取存储器(RAM)、只读存储器(ROM)、例如光盘(CD)或软盘物理存储媒体，等)提供，使得装置可在将存储装置耦合或提供到装置时获得各种方法。
应理解，权利要求书并不限制于上文所说明的精确配置及组件。可在本文中所描述的***、方法及设备的布置、操作及细节作出各种修改、改变及变化而不会背离权利要求书的范围。

Claims (15)

1.一种电子装置，其包括：
处理器，其经配置以：
从处于不同位置的多个摄像机中的每一者获得图像；
针对处于不同位置的所述多个摄像机中的每一者，将所获得的图像投影到单独球面，其中每一单独球面具有不同位置；
将所述多个单独球面中的每一者的至少一部分投影到封围全部所述单独球面的共用球面的一部分；以及
由投影到所述共用球面的所述图像产生所获得的所述图像的组合视图。
2.根据权利要求1所述的电子装置，其中所述处理器经配置以使所述单独球面中的至少一者旋转以使对应图像大约对准于对应摄像机的方向，或者其中所述处理器经配置以使所述单独球面中的至少一者旋转以补偿对应摄像机的倾斜。
3.根据权利要求1所述的电子装置，其中所述处理器经配置以将所述共用球面的至少一部分投影到共用平面。
4.根据权利要求3所述的电子装置，其中所述处理器经配置以将所述共用球面从所述共用球面的北极投影到所述共用平面，其中所述共用平面大约平行于地面，或者其中所述处理器经配置以大约匹配经投影于所述共用平面的所述图像的重叠区。
5.根据权利要求4所述的电子装置，其中所述处理器经配置以确定对准误差是否超过预定阈值。
6.根据权利要求4所述的电子装置，其中所述处理器经配置以确定邻近图像之间的至少一个接缝且修整所述图像以产生组合图像。
7.根据权利要求6所述的电子装置，其中所述处理器经配置以将所述组合图像投影到3D形状，或者其中所述摄像机安装在车辆中且所述处理器经配置以在所述车辆中呈现所述组合视图。
8.根据权利要求1所述的电子装置，其中所述图像为广角图像且所述摄像机为广角摄像机。
9.一种方法，其包括：
从处于不同位置的多个摄像机中的每一者获得图像；
针对处于不同位置的所述多个摄像机中的每一者，将所获得的图像投影到单独球面，其中每一单独球面具有不同位置；
将所述多个单独球面中的每一者的至少一部分投影到封围全部所述单独球面的共用球面的一部分；以及
由投影到所述共用球面的所述图像产生所获得的所述图像的组合视图。
10.根据权利要求9所述的方法，其进一步包括：
使所述单独球面中的至少一者旋转以使对应图像大约对准于对应摄像机的方向；或者
使所述单独球面中的至少一者旋转以补偿对应摄像机的倾斜。
11.根据权利要求9所述的方法，其进一步包括：
将所述共用球面的至少一部分投影到共用平面。
12.根据权利要求11所述的方法，其中将所述共用球面从所述共用球面的北极投影到所述共用平面，其中所述共用平面大约平行于地面；或者其中产生所述组合视图包括大约匹配投影于所述共用平面的所述图像的重叠区。
13.根据权利要求12所述的方法，其中产生所述组合视图包括：
确定邻近图像之间的至少一个接缝；以及
修整所述图像以产生组合图像。
14.根据权利要求13所述的方法，其中产生所述组合视图包括将所述组合图像投影到3D形状，或者其中所述摄像机安装在车辆中且在所述车辆中呈现所述组合视图。
15.一种在其上具有指令的非易失性有形计算机可读介质，所述指令在被计算机执行时致使所述计算机执行权利要求9-14中任意一项所述的方法。
CN201680029879.XA 2015-06-02 2016-03-30 用于从鱼眼摄像机产生组合视图的***及方法 Active CN107660337B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562170075P 2015-06-02 2015-06-02
US62/170,075 2015-06-02
US14/954,357 2015-11-30
US14/954,357 US9866752B2 (en) 2015-06-02 2015-11-30 Systems and methods for producing a combined view from fisheye cameras
PCT/US2016/025019 WO2016195792A1 (en) 2015-06-02 2016-03-30 Systems and methods for producing a combined view from fisheye cameras

Publications (2)

Publication Number Publication Date
CN107660337A CN107660337A (zh) 2018-02-02
CN107660337B true CN107660337B (zh) 2020-07-31

Family

ID=55808852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680029879.XA Active CN107660337B (zh) 2015-06-02 2016-03-30 用于从鱼眼摄像机产生组合视图的***及方法

Country Status (5)

Country Link
US (1) US9866752B2 (zh)
EP (1) EP3304498B1 (zh)
CN (1) CN107660337B (zh)
ES (1) ES2834489T3 (zh)
WO (1) WO2016195792A1 (zh)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014184864A1 (ja) * 2013-05-14 2014-11-20 株式会社Ihi 非接触電力伝送装置及び移動車両
US10269257B1 (en) 2015-08-11 2019-04-23 Gopro, Inc. Systems and methods for vehicle guidance
US10043237B2 (en) 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
US9813623B2 (en) 2015-10-30 2017-11-07 Essential Products, Inc. Wide field of view camera for integration with a mobile device
US9819865B2 (en) * 2015-10-30 2017-11-14 Essential Products, Inc. Imaging device and method for generating an undistorted wide view image
US9906721B2 (en) 2015-10-30 2018-02-27 Essential Products, Inc. Apparatus and method to record a 360 degree image
US9896205B1 (en) 2015-11-23 2018-02-20 Gopro, Inc. Unmanned aerial vehicle with parallax disparity detection offset from horizontal
US9720413B1 (en) * 2015-12-21 2017-08-01 Gopro, Inc. Systems and methods for providing flight control for an unmanned aerial vehicle based on opposing fields of view with overlap
US9663227B1 (en) 2015-12-22 2017-05-30 Gopro, Inc. Systems and methods for controlling an unmanned aerial vehicle
US9953422B2 (en) * 2016-02-23 2018-04-24 Motorola Mobility Llc Selective local registration based on registration error
GB201605137D0 (en) * 2016-03-25 2016-05-11 Jaguar Land Rover Ltd Virtual overlay system and method for occluded objects
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
US20180063428A1 (en) * 2016-09-01 2018-03-01 ORBI, Inc. System and method for virtual reality image and video capture and stitching
US10339627B2 (en) * 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
CN107993276B (zh) * 2016-10-25 2021-11-23 杭州海康威视数字技术股份有限公司 一种全景图像的生成方法及装置
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
DE102016225066A1 (de) * 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
RU2654127C1 (ru) * 2016-12-20 2018-05-16 Федеральное государственное автономное образовательное учреждение высшего образования "Белгородский государственный национальный исследовательский университет" (НИУ "БелГУ") Способ формирования цифрового панорамного изображения
US11402740B2 (en) 2016-12-22 2022-08-02 Cherry Imaging Ltd. Real-time tracking for three-dimensional imaging
US11412204B2 (en) 2016-12-22 2022-08-09 Cherry Imaging Ltd. Three-dimensional image reconstruction using multi-layer data acquisition
EP3559740A4 (en) 2016-12-22 2020-09-09 EVA - Esthetic Visual Analytics Ltd. REAL-TIME TRACKING FOR THREE-DIMENSIONAL IMAGING
US10999569B2 (en) * 2016-12-22 2021-05-04 Eva—Esthetic Visual Analytics Ltd. Three-dimensional image reconstruction using multi-layer data acquisition
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
CN106791674A (zh) * 2016-12-29 2017-05-31 上海喆视智能科技有限公司 Vr拍摄方法、***及移动终端
US10194097B2 (en) * 2017-01-13 2019-01-29 Gopro, Inc. Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
WO2018144315A1 (en) * 2017-02-01 2018-08-09 Pcms Holdings, Inc. System and method for augmented reality content delivery in pre-captured environments
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10373360B2 (en) 2017-03-02 2019-08-06 Qualcomm Incorporated Systems and methods for content-adaptive image stitching
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US10567733B2 (en) * 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
CN108629732B (zh) * 2017-03-15 2021-05-14 比亚迪股份有限公司 车辆环视全景图像生成方法、装置和车辆
CN110462678B (zh) * 2017-03-30 2023-05-02 富士胶片株式会社 图像处理装置及图像处理方法
JP6439233B2 (ja) * 2017-03-31 2018-12-19 マツダ株式会社 車両用画像表示装置及び画像処理方法
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10972672B2 (en) * 2017-06-05 2021-04-06 Samsung Electronics Co., Ltd. Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
KR102351542B1 (ko) * 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10587856B1 (en) * 2017-08-24 2020-03-10 Gopro, Inc. Spherical visual content transitions
US10400929B2 (en) 2017-09-27 2019-09-03 Quick Fitting, Inc. Fitting device, arrangement and method
DE102018108751B4 (de) * 2018-04-12 2023-05-04 Motherson Innovations Company Limited Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
EP3787277A4 (en) * 2018-04-26 2022-03-30 Tenntwo Co., Ltd. WIDE IMAGE DELIVERY METHOD
WO2019245302A1 (en) * 2018-06-22 2019-12-26 Lg Electronics Inc. Method for transmitting 360-degree video, method for providing a user interface for 360-degree video, apparatus for transmitting 360-degree video, and apparatus for providing a user interface for 360-degree video
CN109120852A (zh) * 2018-09-26 2019-01-01 深圳市共进电子股份有限公司 网络摄像机***、网络摄像机及安防***
WO2020068960A1 (en) * 2018-09-26 2020-04-02 Coherent Logix, Inc. Any world view generation
US10825131B2 (en) * 2018-11-13 2020-11-03 Intel Corporation Circular fisheye camera array rectification
KR102641287B1 (ko) * 2018-12-27 2024-02-27 주식회사 주원테크놀러지 카메라 시스템의 센터 보정 방법 및 장치
CN113646769A (zh) 2019-02-15 2021-11-12 丰田自动车欧洲公司 用于图像归一化的***和方法
US11050932B2 (en) * 2019-03-01 2021-06-29 Texas Instruments Incorporated Using real time ray tracing for lens remapping
CN109919128B (zh) * 2019-03-20 2021-04-13 联想(北京)有限公司 控制指令的获取方法、装置及电子设备
JP7327478B2 (ja) * 2019-06-13 2023-08-16 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
US20210158493A1 (en) * 2019-11-21 2021-05-27 GM Global Technology Operations LLC Generation of composite images using intermediate image surfaces
US10969047B1 (en) 2020-01-29 2021-04-06 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
US11035510B1 (en) 2020-01-31 2021-06-15 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
KR20240096759A (ko) 2020-05-17 2024-06-26 코어포토닉스 리미티드 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
JP7380435B2 (ja) * 2020-06-10 2023-11-15 株式会社Ｊｖｃケンウッド 映像処理装置、及び映像処理システム
US11551412B2 (en) * 2020-07-24 2023-01-10 Cesium GS, Inc. Systems and methods for traversing implied subdivision hierarchical level of detail content
EP4229552A4 (en) * 2020-10-13 2024-03-06 Flyreel, Inc. GENERATION OF MEASUREMENTS OF PHYSICAL STRUCTURES AND ENVIRONMENTS THROUGH AUTOMATED ANALYSIS OF SENSOR DATA
US20220212599A1 (en) * 2021-01-05 2022-07-07 Magna Electronics Inc. Vehicular trailer angle detection system for fifth-wheel trailers
KR102535136B1 (ko) * 2021-08-05 2023-05-26 현대모비스 주식회사 영상정합장치 및 방법
US11763497B2 (en) 2021-10-19 2023-09-19 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for generating simulated datasets for fisheye camera applications

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5960108A (en) 1997-06-12 1999-09-28 Apple Computer, Inc. Method and system for creating an image-based virtual reality environment utilizing a fisheye lens
US6486908B1 (en) * 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
EP1179958B1 (en) 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
WO2012132237A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 立体視画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
EP2511137B1 (en) * 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
EP2523163B1 (en) 2011-05-10 2019-10-16 Harman Becker Automotive Systems GmbH Method and program for calibrating a multicamera system
CN102651131B (zh) 2012-03-30 2014-08-20 北京化工大学 基于旋转矩阵搜索的鱼眼图像匹配方法
US20140104394A1 (en) * 2012-10-15 2014-04-17 Intel Corporation System and method for combining data from multiple depth cameras
US20140168475A1 (en) 2012-12-14 2014-06-19 Microsoft Corporation Four-lens spherical camera orientation
WO2014152855A2 (en) 2013-03-14 2014-09-25 Geerds Joergen Camera system

Also Published As

Publication number Publication date
EP3304498B1 (en) 2020-08-26
US20160360104A1 (en) 2016-12-08
EP3304498A1 (en) 2018-04-11
WO2016195792A1 (en) 2016-12-08
US9866752B2 (en) 2018-01-09
ES2834489T3 (es) 2021-06-17
CN107660337A (zh) 2018-02-02

Similar Documents

Publication Publication Date Title
CN107660337B (zh) 用于从鱼眼摄像机产生组合视图的***及方法
US20230328220A1 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
EP3195584B1 (en) Object visualization in bowl-shaped imaging systems
CN110663245B (zh) 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法
JP6453449B2 (ja) ボウル型イメージングシステムにおけるオブジェクト追跡
US20170078653A1 (en) Systems and methods for producing a surround view
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JP2019536170A (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
CN103839227B (zh) 鱼眼图像校正方法和装置
CN111164971B (zh) 用于3d内容的视差观察器***
US11216979B2 (en) Dual model for fisheye lens distortion and an algorithm for calibrating model parameters
CN110651295B (zh) 图像处理设备、图像处理方法和程序
US20160037154A1 (en) Image processing system and method
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
Zhang et al. A setup for panoramic stereo imaging
Kim Generation of stereo images from the heterogeneous cameras
JP2016167792A (ja) 多方向画像出力装置および多方向画像出力プログラム
CN113592704A (zh) 一种图像生成方法、装置及***
CN117413511A (zh) 电子装置及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant