CN106462050A - 用于半球形和球形成像的宽视场阵列相机 - Google Patents

用于半球形和球形成像的宽视场阵列相机 Download PDF

Info

Publication number
CN106462050A
CN106462050A CN201580030449.5A CN201580030449A CN106462050A CN 106462050 A CN106462050 A CN 106462050A CN 201580030449 A CN201580030449 A CN 201580030449A CN 106462050 A CN106462050 A CN 106462050A
Authority
CN
China
Prior art keywords
camera
reflector
image
extensible
visual field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580030449.5A
Other languages
English (en)
Other versions
CN106462050B (zh
Inventor
T·W·奥斯本
T·G·格奥尔基耶夫
S·R·戈马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106462050A publication Critical patent/CN106462050A/zh
Application granted granted Critical
Publication of CN106462050B publication Critical patent/CN106462050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0075Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having an element with variable optical properties
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

各方面涉及用于产生超宽视场图像的方法和***。在一些实施例中,用于俘获宽视场图像的图像俘获***包括光圈;经定位以经由所述光圈接收光的中心相机,所述中心相机具有光轴;多个***相机,其安置在所述中心相机旁侧且指向所述中心相机的所述光轴的一部分,所述多个相机环绕所述中心相机布置;以及多个可延伸反射器。所述反射器经配置以从第一位置移动到第二位置且具有背向所述中心相机的所述光轴的镜面化第一表面和面向所述中心相机的所述光轴的第二黑色表面,所述多个***相机环绕所述中心相机布置。

Description

用于半球形和球形成像的宽视场阵列相机
技术领域
本发明涉及包含多相机阵列的成像***和方法。具体来说,本发明涉及实现低剖面成像***和移动装置同时俘获宽视场图像的***和方法。
背景技术
许多移动装置(例如,移动电话和平板计算机计算装置)包含可由用户操作以俘获静态和/或视频图像的相机。因为移动装置通常设计为相对较小,所以可为重要的是将相机或成像***设计成尽可能的薄以便维持低剖面移动装置。折叠式光学图像传感器阵列(“阵列相机”)允许创建低剖面图像俘获装置,而不缩短焦距或减小图像在传感器阵列的视场内的分辨率。通过使用主和次表面朝向阵列中的每一传感器重新引导光,且通过定位用以将入射光聚焦于主表面与次表面之间的透镜组合件,传感器阵列可定位于垂直于透镜组合件的平坦衬底上。较长的焦距使得有可能实施例如光学变焦等特征,且有可能并入更复杂的光学装置(其需要比通常由传统移动相机提供的更多的空间),例如添加更多光学元件。
相机可需要昂贵且较大的光学组件以产生宽视场(“FOV”)从而用于俘获图像。一些相机(例如,在移动装置上)可具有对可用于产生宽或超宽FOV的透镜的大小和/或重量限制,使得俘获宽FOV所需的较大光学组件的使用不可行。因此,能够使用小成像设备(例如,如实施于移动装置中)产生宽、超宽或半球形图像对于许多用户来说可为合意的。
发明内容
本文所描述的折叠光学传感器阵列和图像俘获技术允许创建低剖面图像俘获装置,而不缩短焦距或减小图像在传感器阵列的视野内的分辨率,其中所俘获图像具有宽视场且不受视差和倾斜伪影影响。薄外观尺寸阵列相机的挑战为在不增大总体阵列的高度的情况下俘获具有宽视场的图像。现有阵列相机的另一挑战为归因于如由阵列的不同相机可见的相同对象的不同视图之间的视差和倾斜的质量降低。视差防止通过每一相机所俘获的图像完全无缝拼接成最终图像而无伪影。相机视图可部分地重叠(例如,大致20%)。取决于深度(例如,从透镜到对象的距离),来自一个相机的图像可相对于来自另一相机的图像移位。当图像拼接或融合在一起时,所得视差和倾斜可导致对应于重叠视场的图像区域中的“双图像”鬼影。即使构造所述阵列使得传感器视场中不存在重叠,当此类特征越过传感器视场之间的边界时,视差导致所述图像中的非连续特征,例如线和边缘。
在一些实施例中,通过如本文中所描述的无视差和倾斜伪影的宽视场阵列相机解决尤其上述问题。一些实施例可采用中心相机以俘获中心视场。如本文中所使用,“相机”可指代图像传感器(或多区域传感器衬底的专用部分)和影响提供到所述图像传感器的光的任何对应光学组件。举例来说,光学组件可包含(但不限于)光圈、透镜、透镜组合件中的一或多者,所述透镜组合件可包含多个透镜和/或其它光聚焦或准直组件、镜面、折射元件和/或反射元件以及任何任选的光学折叠元件(例如,反射表面或折射棱镜)。中心相机可被数个额外***相机环绕。镜面的中心结构(例如,具有多个表面或刻面的固定式结构或数个可延伸反射器)可经定位以允许表示目标图像的中心部分的光穿过以到达中心相机且将表示目标图像的圆周部分(例如,环绕中心部分的180度全景)的入射光***成多个部分以供阵列中的额外相机俘获。额外***相机可包含一或多个光学折叠元件以朝向相机的传感器或朝向多区域传感器衬底的专用部分重新引导从对应反射器所接收到的光。因此,在一些实施例中,阵列中的每一相机的传感器可位于基本上平坦衬底上且可形成为具有多个图像感测区域的单个衬底。相较于具有位于不同平面中的传感器,此类配置可用以减小阵列的高度。此配置还可降低制造和/或定位多个传感器的成本。镜面表面和相机可根据预定空间关系定位以避免引起所俘获图像中的视差和倾斜伪影。
表示目标图像场景的经***光的每一部分可经历任何所需处理(例如,投影转换),且例如通过线性掺合或其它图像拼接技术组装到目标图像中。通过使用中心相机、反射结构以及***相机,宽视场阵列的一些实例可实现半球形视场,其中中心相机俘获半球形视场的中心部分且周围的相机协作俘获半球形视场的圆周部分,所述圆周部分在与中心部分拼接时形成完整半球形视场。此半球形相机可维持相对薄的外观尺寸,例如大致9mm的高度(其中相机阵列的高度大致5mm且反射器的高度大致4mm),同时俘获宽视场而在用于形成完整视场的个别图像之间无视差。一些实施例可具有相机阵列中的任一者或两者的较小高度和反射器的高度。通过例如以背靠背配置组合两个此类相机,一些实例可实现完整球形视场同时维持相对薄的外观尺寸,例如大致18mm的高度。在一些实施例中,反射器可为可伸缩的以与含有阵列的壳体相抵平放,使得在并不处于使用中时,半球形相机具有大致5到6mm的薄外观尺寸且球形相机具有大致10到12mm的薄外观尺寸。通过对材料的谨慎的选择,其它实施例可甚至更小(例如,具有更低高度和更薄外观尺寸)。当然,对于实施方案并不必要的薄外观尺寸的应用,一些实施例还可较大。
用于俘获宽视场图像的图像俘获***的一个实施例包含光圈、经定位以经由光圈接收光的中心相机,所述中心相机具有光轴。在一些实施例中,中心相机的光轴经过图像俘获***的入射光瞳的中心且垂直于传感器平面。在一些实施例中,光圈为入射光瞳。在一些实施例中,多个***相机安置在中心相机旁侧且指向中心相机的光轴的一部分。所述多个***相机可环绕中心相机布置。举例来说,在一些实施例中,六(6)个***相机(或更多或更少,视特定设计和传感器区域需要)可环绕呈基本上圆形配置的中心相机相等地间隔开且与呈基本上圆形配置的中心相机等距。***相机的间距和距离可取决于阵列的特定设计要求而改变。
在一些实施例中,多个可延伸反射器可经配置以从第一(或缩回)位置(基本上平行于光圈所安置的平面(例如,含有中心相机和***相机的相机壳体的上部表面))移动到第二(或经延伸)位置(更接近于中心相机的光轴)。反射器可包含背向中心相机的光轴的镜面化(或另外通常光反射)第一表面和面向中心相机的光轴的黑色(或另外通常光吸收)第二表面。所述多个***相机和所述多个镜面可相对于彼此布置使得在所述多个可延伸反射器处于第二位置中时从镜面化第一表面反射的光的至少一部分进入多个***相机中的一者。
在宽视场阵列相机的一个特定实施方案中,例如当相机用于具有所需薄外观尺寸的移动装置(例如,蜂窝电话、平板计算机计算装置或其它便携式计算装置)中时,环绕中心相机的镜面可缩回,因此中心相机为唯一在使用中的相机。在此位置中,中心相机相较于在镜面经延伸时可具有较宽视场。当镜面经延伸到其第二位置时,例如在如图5A中所展示的高度“G”处,中心相机相较于在镜面经缩回时可具有较窄视场,但在此配置中,周围的***相机可接收光以延伸阵列相机的总体视场(相较于在反射器缩回的情况下中心相机的视场),例如从而实现完整半球形视场。
经延伸镜面的高度G(图5A)(经测量平行于中心相机的入射光瞳与周围镜面的高度G之间的中心相机光轴)可为由相机设计器提供的给定值或可为由优化设计软件自动地产生的高度。可设置此类软件以优化所需结果的集合,例如发现必要的最短高度,其中考虑例如制造容限的因素或物理机械设计约束。镜面的倾角(即,镜面561与平行于中心相机光轴的平面之间形成的角度)通过图5A中的“β”说明,其可为给定值,例如如通过优化设计软件确定。β的角度可为0到+/-360°。在一些实施例中,***经配置以在可延伸反射器位于第二位置中时产生半球形图像。在一些实施例中,***经配置以在可延伸反射器位于第二位置中时产生球形图像。
宽视场阵列相机的一个目标为设计用于薄移动电话的高分辨率半球相机。典型移动电话使用具有64度到76度之间的对角视场(DFOV)的相机,所述对角视场大致等效于由分别具有35mm或28mm焦距透镜的“全帧”DSLR相机所俘获的图片。很大程度上由于移动电话相机的广泛使用,因此目前许多人认为通过透镜(在视场中等效于35mm全帧DSLR透镜)所俘获的图像产生看起来最自然的图片。因此,对于宽视场阵列相机的一些实施方案,能够俘获具有典型DFOV的图片以及较宽DFOV图片和半球形图片可为合意的。
查看通过本文中所描述的宽视场阵列相机所俘获的半球形图像的一种方法为使用虚拟现实护目镜。或者,可处理图像以产生展示半球形图像中所俘获的内容的平坦图像,例如以供显示在通常为移动和台式计算装置提供的平板显示器上。在一些实例中,此平坦图像对于半球形图像可呈半圆形形式且对于球形图像可呈完整圆形形式。
由于一些原因,可难以使用移动电话中的一个相机实施俘获具有比76度宽得多的DFOV的图片。由于视场增大,因此相对照明滚降增大。通常,对于移动电话,相较于视场的中心,宽视场透镜在视场的边缘处具有调制传递函数(MTF)效能的显著降低。相较于对于较大相机,光学组件的制造容限对于移动装置相机来说较紧密,由于透镜偏离中心和倾斜将进一步减小视场边缘附近的MTF。使用如本文中所描述的相机阵列可为克服仅使用具有例如大约76度或更宽的DFOV的单个相机的困难的良好解决方案。阵列中的每一相机将看到总图像的部分,因此每一相机将具有比单个宽视场相机将具有的视场窄的视场。此可导致阵列相机中的每一者在每一透镜的外部边缘处具有较低相对照明透镜滚降,由此导致组合图像内的较均匀照明。类似地,在具有宽视场的组合图像的边缘处的MTF可高于用于俘获类似视场的单个透镜的MTF。
一个方面涉及用于俘获宽视场图像的图像俘获***,其包括第一成像***,所述第一成像***包括第一光圈;经定位以经由第一光圈接收光的第一中心相机,所述第一中心相机具有延伸穿过光圈的光轴;第一多个***相机,其环绕第一中心相机布置且指向第一中心相机的光轴的一部分;以及第一多个可延伸反射器,其经配置以从第一位置移动到第二位置,第一成像***在第一多个可延伸反射器处于第一位置中的情况下具有第一FOV且在第一多个可延伸反射器处于第二位置中的情况下具有第二FOV,第二FOV大于第一FOV,第二位置更接近于第一中心相机的光轴,第一多个***相机和第一多个可延伸反射器相对于彼此布置使得当第一多个可延伸反射器处于第二位置中时从第一多个可延伸反射器中的一者反射的光的至少一部分进入第一多个***相机中的对应一者。
图像俘获***的一些实施例进一步包括第二成像***,所述第二成像***包括第二光圈;经定位以经由第二光圈接收光的第二中心相机,所述第二中心相机具有延伸穿过所述第二光圈的光轴;第二多个***相机,其环绕第二中心相机布置且指向第二中心相机的光轴的一部分;以及第二多个可延伸反射器,其经配置以从第三位置移动到第四位置,第二成像***在第二多个可延伸反射器处于第三位置中的情况下具有第一FOV且在第二多个可延伸反射器处于第二位置中的情况下具有第二FOV,第四位置相较于第三位置更接近于第二中心相机的光轴,第二多个***相机和第二多个可延伸反射器相对于彼此布置使得当所述第二多个可延伸反射器处于第四位置中时从第二多个额外可延伸反射器中的一者反射的光的至少一部分进入所述第二多个***相机中的对应一者。
另一方面涉及用于使用单个阵列相机俘获宽视场图像的方法,包括控制环绕中心相机定位的多个可延伸反射器、也环绕中心相机定位的多个***相机以及与多个可延伸反射器中的一者相关联的每一者的定位,中心相机具有光轴且所述多个***相机指向光轴的一部分;确定俘获标准视场图像还是宽视场图像,宽视场图像相较于标准视场图像覆盖更大场;响应于确定俘获标准视场图像,将所述多个可延伸反射器定位在第一位置中,且使用中心相机俘获标准视场图像;以及响应于确定俘获宽视场图像,将所述多个可延伸反射器定位在第二位置中使得从多个可延伸反射器中的一者反射的光的至少一部分进入多个***相机中的相关联的一者、使用中心相机俘获宽视场图像的中心部分、以及使用所述多个***相机俘获宽视场图像的多个***部分。
另一方面涉及存储指令的非暂时性计算机可读媒体,所述指令在执行时使得一或多个处理器执行包括以下各者的操作以用于控制环绕中心相机定位的多个可延伸反射器和与也环绕中心相机定位的多个***相机中的一者相关联的每一者的定位:确定俘获标准视场图像还是宽视场图像,宽视场图像相较于标准视场图像覆盖更大场;响应于确定俘获标准视场图像,产生第一指令以将所述多个可延伸反射器定位在第一位置中,且接收包括来自中心相机的标准视场图像的第一图像数据;以及响应于确定俘获宽视场图像,产生第二指令以将所述多个可延伸反射器定位在第二位置中使得从多个可延伸反射器中的一者反射的光的至少一部分进入多个***相机中的相关联的一者,且接收包括来自中心相机的宽视场图像的中心部分和来自所述多个***相机的宽视场图像的多个***部分的第二图像数据。
另一方面涉及用于俘获标准视场图像或宽视场图像的设备,所述设备包括具有至少一上部表面和与上部表面间隔开的下部表面的壳体装置;位于上部表面与下部表面之间的图像感测装置;位于壳体装置的上部表面中的第一光圈下方且位于图像感测装置的中心感测区域上方的光聚焦装置;多个额外光聚焦装置,其环绕第一光聚焦装置定位且位于壳体装置的上部表面中的对应多个额外光圈下方和图像感测装置的多个额外感测区域上方;以及多个光反射装置,其环绕第一透镜组合件上方的第一光圈定位,所述多个光反射装置中的每一者与多个额外光聚焦装置中的一者相关联。
附图说明
将在下文中结合附图来描述某些方面,提供附图是为了说明但不限制所揭示方面,其中相同标号表示相同元件。
图1A说明折叠光学传感器组合件的实施例的横截面侧视图。
图1B说明折叠光学传感器组合件的另一实施例的横截面侧视图。
图2说明图像俘获装置的一个实施例的框图。
图3A到3B说明半球相机阵列的实施例的实例,其中对于半球或宽视场(FOV)选项,反射器(例如,镜面)经延伸。
图3C说明图3A的半球相机阵列的实例,其中在通用配置(换句话说,非半球形成像配置)中,反射器(例如,镜面)缩回。
图4A说明第一相机(相机-1FOV)的视场(FOV)和第二相机(相机-2FOV)的FOV,其中对象-1和对象-2至少部分地处于每一FOV中,即,至少部分地在相机-1FOV和相机-2FOV两者中。
图4B说明相机1的FOV和相机2的FOV的重叠区。
图4C说明相机1的FOV和相机2的FOV的重叠区,其中相机2的光轴相对于相机1旋转,且其中相机2的边缘的光线用作跟踪到每一传感器的光线的实例。
图5A说明无视差模型的实施例的实例。
图5B说明在图5A中所使用的角度符号的图例。
图5C说明中心相机和***相机设计的实施例的实例。
图6A说明可产生半球形图像的成像***(例如,阵列相机)的组件的布置。
图6B说明图6A中所描绘的阵列相机布置的俯视图的实例。
图6C说明图6A的阵列相机的相机视场的实例侧视图。
图6D说明图6A的阵列相机的反射器实施例的实例侧视图。
图7说明包含背靠背地布置两个半球形相机(其中一个相机面向移动电话的后部且另一相机面向移动电话的前部)的球形相机的实施例的实例。
具体实施方式
I.介绍
本文中所揭示的实施方案包含用于使用具有折叠式光学装置的阵列相机产生基本上无视差和倾斜伪影的图像的***、方法和设备的实施例。其它实施例也为可能的,例如包含本文中所描述的特征的一或多个方面的实施例;因此此描述和图式不应解释为将所描述发明限制于特定实施例。本发明的各方面涉及在所俘获图像中呈现极少或无视差伪影的阵列相机。举例来说,阵列相机的中央镜棱镜的平面可在共同时刻(被称作“顶点”)处相交,从而界定***的对称性的纵轴。顶点可充当阵列中的传感器的光轴的交叉时刻。所述阵列中的每一传感器使用中央镜棱镜的对应刻面“看到”所述图像场景的一部分,且因此每一个别传感器/镜面对仅表示总阵列相机的子光圈。完整阵列相机具有基于所有个别光圈光线的总和(即基于将子光圈所产生的图像拼接在一起)而产生的合成光圈。在实施方案中的任一者中,所有相机可经配置以自动地聚焦,且可通过执行自动聚焦功能性的指令的处理器控制自动聚焦。尽管贯穿本发明,中心相机或侧部相机可被称作和描述为阵列相机,或参考折叠式光学装置而描述,但除非另外说明,否则此类相机还可为非阵列(折叠式光学)相机,其经设计以拟合在为本文中所描述的实施例所分配的空间中且与本文中的实例相关。
在以下描述中,给出特定细节以提供对实例的彻底理解。然而,可以在无这些特定细节的情况下实践实例。
II.折叠式光学阵列相机的概述
现参考图1A和1B,现将更详细地描述适合与本文中所描述的自动聚焦***和技术一起使用的折叠式光学多传感器组合件100A、100B的实例。图1A说明包含均可安装到衬底150的图像传感器105、125,反射次要光折叠表面110、135,透镜组合件115、130以及中心反射表面120的折叠式光学装置阵列100A的实例的横截面侧视图。图1B说明包含主要光折叠表面122、124的中心棱镜141、146和形成次要光折叠表面135、110的额外棱镜的折叠光学传感器阵列的实施例的横截面侧视图。
参考图1A,在某些实施例中,图像传感器105、125可包含电荷耦合装置(CCD)、互补金属氧化物半导体传感器(CMOS)或响应于所接收到的图像接收光和产生图像数据的任何其它图像感测装置。每一传感器105、125可包含布置于阵列中的多个传感器(或传感器元件)。图像传感器105、125可能够获得静止相片的图像数据且还可提供关于所俘获的视频流中的运动的信息。传感器105和125可为个别传感器阵列,或各自可表示传感器阵列的阵列,例如传感器阵列的3x1阵列。然而,如所属领域的技术人员将理解,所揭示的实施方案中可使用任何合适的传感器阵列。
传感器105、125可安装在衬底150上,如图1A中所展示。在一些实施例中,所有传感器可通过安装到平坦衬底150而处于一个平面上。衬底150可为任何合适的基本上平坦材料。中心反射表面120和透镜组合件115、130也可安装在衬底150上。用于安装一或多个传感器阵列、多个透镜组合件以及多个主要和次要反射或折射表面的多个配置是可能的。
在一些实施例中,中心反射表面120可用于朝向传感器105、125重新引导来自目标图像场景的光。中心反射表面120可为一或多个镜面,且按需要可为平坦的或可经定形以将入射光恰当地重新引导到图像传感器105、125。举例来说,在一些实施例中,中心反射表面120可经设定镜面大小和形状以经由透镜组合件115、130将入射光光线反射到传感器105、125。中心反射表面120可将包括目标图像的光***成多个部分且引导在不同传感器处的每一部分。举例来说,中心反射表面120(也被称作主要光折叠表面,由于其它实施例可实施折射棱镜而不是反射表面)的第一侧面122可朝向左侧传感器105发送对应于第一视场140的光的一部分,而第二侧面124朝向右侧传感器125发送对应于第二视场145的光的第二部分。应了解,图像传感器的视场140、145共同地覆盖至少目标图像。
在接收传感器各自为多个传感器的阵列的一些实施例中,中心反射表面可由相对于彼此成角的多个反射表面组成,以便朝向所述传感器中的每一者发送目标图像场景的不同部分。所述阵列中的每一传感器可具有基本上不同的视场,且在一些实施例中,所述视场可重叠。当设计透镜***时,中心反射表面的某些实施例可具有复杂的非平面表面以增加自由度。另外,尽管将中心表面论述为反射表面,但在其它实施例中,中心表面可为折射性的。举例来说,中心表面可为配置有多个刻面的棱镜,其中每一刻面将包括所述场景的光的一部分朝所述传感器中的一者引导。
在反射离开中心反射表面120之后,入射光的至少一部分可经由透镜组合件115、130中的每一者传播。可在中心反射表面120与传感器105、125之间和中心反射表面120与反射表面110、135之间设置一或多个透镜组合件115、130。透镜组合件115、130可用于聚焦针对每一传感器的目标图像的部分。
在一些实施例中,每一透镜组合件可包括一或多个透镜,以及用于使所述透镜在多个不同透镜位置当中移动穿过壳体的致动器。所述致动器可为音圈电机(VCM)、微电子机械***(MEMS)或形状记忆合金(SMA)。透镜组合件可进一步包括用于控制致动器的透镜驱动器。
在一些实施例中,可通过改变每一相机的透镜115、130与对应传感器105、125之间的焦距来实施传统的自动聚焦技术。在一些实施例中,此可通过移动镜筒来实现。其它实施例可通过上下移动移动中央镜或通过调整所述镜面相对于透镜组合件的角度来调整焦点。某些实施例可通过在每一传感器上方移动侧镜来调整焦点。此类实施例可允许组合件个别地调整每一传感器的焦点。另外,对于一些实施例,有可能(例如)通过将透镜(如液体透镜)放置在整个组合件上方来一次改变整个组合件的焦点。在某些实施方案中,可使用计算摄影术来改变相机阵列的焦点。
可在中央镜120周围提供与所述传感器相对的多个侧反射表面,例如反射表面110和135。在穿过透镜组合件之后,侧反射表面110、135(也被称作次要光折叠表面,由于其它实施例可实施折射棱镜而不是反射表面)可将光(向下,如图1A的取向中所描绘)反射到传感器105、125上。如所描绘,传感器105可位于反射表面110之下且传感器125可位于反射表面135之下。然而,在其它实施例中,传感器可在侧反射表面上方,且侧反射表面可经配置以向上反射光(参见例如图1B)。侧反射表面和传感器的其它合适的配置是可能的,其中朝向传感器重新引导来自每一透镜组合件的光。某些实施例可使得侧反射表面110、135的移动能够改变相关联的传感器的焦点或视场。
可通过中央镜120的与每一传感器相关联的表面来将所述传感器的视场140、145转向到对象空间中。可采用机械方法来使镜面倾斜和/或使阵列中的棱镜移动,以使得每一相机的视场可转向到对象场上的不同位置。此可(例如)用来实施高动态范围相机,以提高相机***的分辨率,或实施全光相机***。每一传感器(或每一3x1阵列)的视场可投射到对象空间中,且每一传感器可根据所述传感器的视场俘获包括目标场景的一部分的部分图像。如图1A中所说明,在一些实施例中,相对传感器阵列105、125的视场140、145可重叠一定的量143。为了减小重叠143且形成单个图像,如下文所描述的拼接程序可用于根据两个相对传感器阵列105、125组合所述图像。拼接程序的某些实施例可在将部分图像拼接在一起时采用重叠143以用于识别共同特征。在将重叠图像拼接在一起之后,可将经拼接的图像裁剪到所要的高宽比,例如4:3或1:1,以形成最终图像。在一些实施例中,与每一FOV相关的光学元件的对准经布置以最小化重叠143,以使得多个图像形成为单个图像,其中加入所述图像需要最少或不需要图像处理。
图1B说明折叠光学阵列相机100B的另一实施例的横截面侧视图。如图1B中所展示,传感器组合件100B包含:一对图像传感器105、125,其各自安装到衬底150;分别对应于图像传感器105、125的透镜组合件115、130;以及分别定位在图像传感器105、125的防护玻璃罩106、126上方的次要光折叠表面110、135。折射棱镜141的主要光折叠表面122引导来自目标图像场景的光的一部分沿着光轴121穿过透镜组合件115,重新引导其离开次要光折叠表面110,穿过防护玻璃罩106,以及入射到传感器105上。折射棱镜146的主要光折叠表面124引导来自目标图像场景的光的一部分沿着光轴123穿过透镜组合件130,重新引导其离开次要光折叠表面135,穿过防护玻璃罩126,以及入射到传感器125上。折叠光学阵列相机100B说明实施折射棱镜而不是图1A的阵列相机100A的反射表面的一个阵列相机实施例。将折射棱镜141、146中的每一者提供于衬底150中的光圈中,使得主要光引导表面122、124处于衬底所形成的平面下方,且接收表示目标图像场景的光。
传感器105、125可安装在衬底150上,如图1B中所展示。在一些实施例中,所有传感器可通过安装到平坦衬底150而处于一个平面上。衬底150可为任何合适的基本上平坦材料。所述衬底150可包含如上文所描述的光圈以允许入射光穿过所述衬底150到达主要光折叠表面122、124。用于将一或多个传感器阵列以及所说明的其它相机组件安装到所述衬底150的多个配置是可能的。
主要光折叠表面122、124可为如所说明的棱镜表面,或可为一或多个镜面,以及可按需要为平坦的或经定形从而恰当地将入射光重新引导到图像传感器105、125。在一些实施例中,主要光折叠表面122、124可形成为如图1A中所说明的中央镜角锥或棱镜。所述中央镜角锥、棱镜或其它反射表面可将表示目标图像的光***为多个部分且将每一部分引导于不同传感器处。举例来说,主要光折叠表面122可朝向左侧传感器105发送对应于第一视场的光的一部分,而主要光折叠表面124朝向右侧传感器125发送对应于第二视场的光的第二部分。在接收传感器各自是多个传感器的阵列的一些实施例中,光折叠表面可由相对于彼此成角度的多个反射表面组成以便朝向所述传感器中的每一者发送目标图像场景的不同部分。应了解,相机的视场一起共同覆盖至少目标图像,且可在俘获之后对准和拼接在一起,从而形成由所述阵列的合成光圈所俘获的最终图像。所述阵列中的每一传感器可具有基本上不同的视场,且在一些实施例中,所述视场可重叠。
如图1A和1B所说明,每一阵列相机具有总高度H。在一些实施例中,总高度H可大约为4.5mm或更小。在其它实施例中,总高度H可大约为4.0mm或更小。尽管未说明,但可在具有大约为4.5mm或更小或大约为4.0mm或更小的对应内部高度的壳体中提供整个阵列相机100A、100B。
如本文中所使用,术语“相机”可指代图像传感器、透镜***以及数个对应光折叠表面,例如如图1A和1B中所说明的主要光折叠表面124、透镜组合件130、次要光折叠表面135以及传感器125。被称作“阵列”或“阵列相机”的折叠光学多传感器阵列可包含呈各种配置的多个此类相机,例如如图1A和1B中所说明的实施例中所说明。阵列配置的一些实施例揭示于2013年3月15日申请且标题为“使用折叠光学装置的多相机***(MULTI-CAMERASYSTEM USING FOLDED OPTICS)”的美国申请公开案第2014/0111650号中,所述公开案的揭示内容特此以引用的方式并入。将得益于本文中所描述的自动聚焦***和技术的其它阵列相机配置是可能的。
图2描绘装置200的高级框图,其具有包含连接到一或多个相机215a到n的图像处理器220的组件集合。图像处理器220还与工作存储器205、存储器组件230和装置处理器250通信,所述工作存储器205、存储器组件230和装置处理器250又与存储装置210和电子显示器225通信。
装置200可为蜂窝电话、数码相机、平板计算机、个人数字助理,或类似者。存在许多便携式计算装置,其中例如本文所描述的降低厚度的成像***将提供优点。装置200还可为静止计算装置或薄成像***将有利的任何装置。在装置200上多个应用可供用户使用。这些应用可包含传统的摄影和视频应用、高动态范围成像、全景照片和视频,或例如3D图像或3D视频等立体成像。
图像俘获装置200包含用于俘获外部图像的相机215a到n。相机215a到n可各自包括传感器、透镜组合件以及用于将目标图像的一部分重新引导到每一传感器的主要和次要反射或折射表面,如上文相对于图1A和1B所论述。一般来说,可使用N个相机215a到n,其中N≥2。因此,目标图像可***成N个部分,其中所述N个相机的每一传感器根据所述传感器的视场而俘获目标图像的一个部分。将理解,相机215a到n可包括适合实施本文中所描述的折叠光学成像装置的任何数目的相机。可增加传感器的数目以达成***的较低z高度或满足其它目的的需要,例如具有类似于全光相机的重叠视场,此可实现在后处理之后调整图像的焦点的能力。其它实施例可具有适合于高动态范围相机的视场重叠配置,其实现俘获两个同时的图像且接着将其合并在一起的能力。相机215a到n可耦合到图像处理器220,以将所俘获图像传送到工作存储器205、装置处理器250,传送到所述电子显示器225,且传送到存储装置(存储器)210。
图像处理器220可经配置以对包括目标图像的N个部分的所接收的图像数据执行各种处理操作以便输出高质量拼接图像,如将在下文更详细地描述。图像处理器220可为通用处理单元或专门设计用于成像应用的处理器。图像处理操作的实例包含裁剪、按比例缩放(例如,到不同分辨率)、图像拼接、图像格式转换、色彩内插、色彩处理、图像滤波(例如,空间图像滤波)、透镜伪影或疵点校正等。在一些实施例中,图像处理器220可包括多个处理器。某些实施例可具有专用于每一图像传感器的处理器。图像处理器220可为一或多个专用图像信号处理器(ISP)或处理器的软件实施方案。
如所展示,图像处理器220连接到存储器230和工作存储器205。在所说明的实施例中,存储器230存储俘获控制模块235、图像拼接模块240、操作***245以及反射器控制模块270。这些模块包含配置装置处理器250的图像处理器220以执行各种图像处理和装置管理任务的指令。工作存储器205可由图像处理器220使用以存储存储器组件230的模块中含有的处理器指令的工作集合。替代地,工作存储器205也可以由图像处理器220使用以存储在装置200的操作期间产生的动态数据。
如上所提及,图像处理器220由存储在存储器中的若干模块来配置。俘获控制模块235可包含配置图像处理器220以调用反射器控制模块270从而将相机的可延伸反射器定位于第一或第二位置中的指令,且可包含配置图像处理器220以调整相机215a到n的聚焦位置的指令。俘获控制模块235可进一步包含控制装置200的总体图像俘获功能的指令。举例来说,俘获控制模块235可包含调用子例程以配置图像处理器220从而使用相机215a到n俘获目标图像场景的原始图像数据的指令。俘获控制模块235接着可调用图像拼接模块240以对由相机215a到n俘获的N个部分图像执行拼接技术且将经拼接且裁剪的目标图像输出到成像处理器220。俘获控制模块235还可调用图像拼接模块240以对原始图像数据执行拼接操作以便输出待俘获场景的预览图像,且在某些时间间隔下或当原始图像数据中的场景改变时更新预览图像。
图像拼接模块240可包括配置图像处理器220以对所俘获图像数据执行拼接和裁剪技术的指令。举例来说,N个传感器215a到n中的每一者可根据每一传感器的视场来俘获包括目标图像的一部分的部分图像。所述视场可共享重叠区域,如上文及下文所描述。为了输出单个目标图像,图像拼接模块240可配置图像处理器220以组合多个N个部分图像以产生高分辨率目标图像。目标图像产生可通过已知图像拼接技术而进行。图像拼接的实例可在美国专利申请案第11/623,050号中找到,所述美国专利申请案特此以引用的方式并入。
举例来说,图像拼接模块240可包含用以针对匹配特征来比较沿着N个部分图像的边缘的重叠区域以便确定所述N个部分图像相对于彼此的旋转和对准的指令。归因于部分图像的旋转和/或每一传感器的视场的形状,组合的图像可形成不规则形状。因此,在对准且组合N个部分图像之后,图像拼接模块240可调用子例程,其配置图像处理器220以将组合图像裁剪到所需形状和高宽比,例如4:3矩形或1:1正方形。可将经裁剪的图像发送到装置处理器250,以用于在显示器225上显示,或用于保存在存储装置210中。
操作***模块245配置图像处理器220以管理装置200的工作存储器205和处理资源。举例来说,操作***模块245可包含装置驱动器以管理例如相机215a到n等硬件资源。因此,在一些实施例中,上文所论述的图像处理模块中所含有的指令可以不与这些硬件资源直接交互,而是替代地通过位于操作***组件245中的标准子例程或API进行交互。操作***245内的指令可接着与这些硬件组件直接交互。操作***模块245可进一步配置图像处理器220以与装置处理器250共享信息。
反射器控制模块270可配置图像处理器220以为产生致动器或电机使得相机的可延伸反射器在第一位置与第二位置之间转移以便仅使用中心相机俘获标准FOV图像或使用中心相机结合周围的额外相机俘获宽FOV图像的指令。举例来说,反射器控制模块270可配置图像处理器220以例如通过使用触敏显示器225将图像俘获模式选择控制提供到用户,从而允许装置200的用户选择对应于标准FOV图像或宽FOV图像的图像俘获模式。基于用户选择,反射器控制模块270可配置图像处理器220以将适当的指令提供到装置用于将可延伸反射器转移到对应于用户选择的位置中。在一些实施例中,可延伸反射器可固定在经延伸位置中且可省略反射器控制模块270。
装置处理器250可经配置以控制显示器225来向用户显示所俘获图像或所俘获图像的预览。显示器225可在成像装置200外部或可为成像装置200的部分。显示器225还可经配置以提供取景器,其显示用于在俘获图像之前使用的预览图像,或可经配置以显示存储在存储器中或最近由用户俘获的所俘获图像。显示器225可包括LCD或LED屏幕,且可实施触敏式技术。
装置处理器250可将数据写入到存储模块210,例如表示所俘获图像的数据。尽管存储模块210以图形方式表示为传统磁盘装置,但所属领域的技术人员将理解,存储模块210可经配置为任何存储媒体装置。举例来说,存储模块210可包含磁盘驱动器,例如,软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器,或固态存储器,例如快闪存储器、RAM、ROM和/或EEPROM。存储模块210还可包含多个存储器单元,且所述存储器单元中的任一者可经配置为在图像俘获装置200内,或可在图像俘获装置200外部。举例来说,存储模块210可包含ROM存储器,其含有存储于图像俘获装置200内的***程序指令。存储模块210还可包含经配置以存储所俘获图像的存储器卡或高速存储器,其可为可从相机装卸的。
尽管图2描绘具有单独组件以包含处理器、成像传感器和存储器的装置,但所属领域的技术人员将认识到,这些单独组件可用多种方式组合以便实现特定的设计目标。举例来说,在替代实施例中,存储器组件可与处理器组件组合以节省成本且改进性能。另外,尽管图2说明两个存储器组件(包含包括若干模块的存储器组件230以及包括工作存储器的单独存储器205),但所属领域的技术人员应认识到利用不同存储器架构的若干实施例。举例来说,设计可利用ROM或静态RAM存储器以用于存储实施存储器组件230中含有的模块的处理器指令。处理器指令可加载到RAM中以促进图像处理器220的执行。举例来说,工作存储器205可包括RAM存储器,其中指令在由图像处理器220执行之前加载到工作存储器205中。
III.超宽视场阵列相机的概述
本文中所描述的宽视场阵列相机的一些实施例的目标是为具有所需薄外观尺寸的移动计算装置(例如,移动电话)设计具有半球形视场的高分辨率相机。如上文所描述,典型移动电话使用具有64度到76度之间的对角视场(DFOV)的相机,所述视场大致等效于由分别具有35 mm或28 mm焦距透镜的“全帧”DSLR相机所俘获的图片。很大程度上由于移动电话相机的广泛使用,目前许多人认为通过透镜(在视场中等效于35 mm全帧DSLR透镜)所俘获的图像产生看起来最自然的图片。因此,对于宽视场阵列相机的一些实施方案,能够俘获具有典型DFOV的图片以及较宽DFOV图片和半球形图片可为合意的。
出于至少以下原因,难以使用单个相机实施俘获具有比76度宽得多的DFOV的图片:(1)由于单个相机的视场增大,相对照明滚降增大;(2)相较于视场的中心,小移动相机中所使用的宽视场透镜在视场的边缘处通常具有调制传递函数(MTF)性能的显著降低;以及(3)移动相机的制造容限较紧密,由于透镜偏离中心和倾斜将进一步减小在视场的边缘附近的MTF。在一些实施例中,通过本文中所描述的多相机阵列解决尤其这些问题,此可提供对于仅使用一个相机俘获具有宽于大致76度的视场的图像的挑战的良好解决方案。阵列的每一相机将看到总图像的部分;因此每一相机相较于用于俘获具有类似视场的图像的单个相机将具有较窄视场。此可导致阵列相机中的每一者相较于单个相机在每一透镜的外部边缘处具有较低的相对照明透镜滚降,且可相对应地导致图像内的较均匀照明,取决于所使用的相机的数目。类似地,在每一视场的边缘处的MTF降低将比单个相机用于俘获图像的情况下的低。
可根据预定空间关系配置相机阵列以便俘获目标图像场景的不同部分而无视差伪影,从而为了图像的更易于拼接和在拼接期间图像数据的更少损耗(和视场的损耗)。举例来说,归因于阵列中相机之间的预定空间关系,所有相机均可经由一个共同入射光瞳有效地俘获图片。使用例如本发明中所提供的方程式组,可定位相机阵列以使得其将呈现具有一个共同入射光瞳。另外,方程式提供关于如何放置相机以使得来自目标图像场景中的对象的光的光线将不会被相机的位置阻挡的信息。本发明提供关于空间关系的若干特定实例,所述空间关系使得阵列相机能够实现此空间关系同时俘获半球形或球形图像。提供特定实例以展示此设计可并入在薄蜂窝电话中,例如大致为5.5mm厚的蜂窝电话,然而更厚装置中的宽视场阵列相机的实施方案可根据不同参数构造。背靠背地使用这些相机半球形设计中的两个的配置可产生完整“全局”相机,其能够产生球形图像,即在所有方向上从装置延伸的球形视角的图像。所揭示的实施例可并入到具有所需薄外观尺寸的蜂窝电话或其它移动装置中。
在一些实施例中,具有透镜和/或其它成像组件的小球可延伸到电话或其它移动计算装置之外,例如从电话的前部和后部延伸或从电话的顶部和底部延伸,从而提供环绕电话的球形视野。本发明包含将使得有可能使用相对较小相机俘获具有宽视场的极高分辨率图像的配置。这些图像可为通过移动相机所俘获的正常65度的DFOV图像、具有90度或更大的视场的广角图像以及例如50度DFOV的较窄DFOV图像。在本发明中还指出不同其它类型的配置选项。用于将目标图像场景分离成多个部分的反射表面可为光滑的平坦表面或光滑的曲面表面。光滑的表面将帮助防止或最小化相机与反射器的对准问题。平坦图像可能可归因于相机与反射器的不当对准而具有伪影。
宽视场阵列相机应用的一个实例为通过蜂窝电话或其它便携式计算装置俘获半球形图片,其中半球的边缘垂直于计算装置的主体的平面。可使用3D护目镜查看这些图片以形成几乎实境经历,其中查看者(用户)可“浸入”在图像中,即使得查看者可以每一方向查看成像。在其它实例中,这些图片可经展平以供显示在典型面板显示器上。对于本文中所描述的配置,允许成像装置在成像装置的所有方向上形成图像,即为环绕成像装置的全局视图的球形视场图像,也是符合事实的。
图3A和3B说明宽视场阵列相机510(也被称作半球阵列相机510)的实施例的实例。如图3A中的相机510的俯视图中所说明,相机510包含可延伸反射器505a到f。可延伸反射器505也展示于图3B中的侧视图剖视图中。在此实施例中,可延伸反射器505为包含至少镜面化表面的结构,且环绕中心相机520定位。图3B展示可延伸反射器505的侧视图剖视图,其中相机已经配置为半球或宽视场(FOV)选项。图3C展示缩回的可延伸反射器505,其中中心相机具有并不形成半球形相机或相较于在可延伸反射器505经延伸时的FOV并不一样宽的FOV(例如,中心相机520的FOV在镜面505经延伸的情况下可具有小于侧部相机525的FOV的FOV)。如图3C中所展示,可延伸反射器505在镜面505缩回时覆盖周围的相机525。可延伸镜面505由于可或可不使用来自这些周围的相机的图像或可关闭相机而覆盖周围的相机是不必要的。其它实施例可包含额外特征或更少特征。
如所属领域的一般技术人员将了解,出于说明清楚起见,图3A到3C可不包含宽视场相机510的每一实施方案细节。图3A提供如在无具有暴露的相机阵列的覆盖相机壳体的情况下可见的半球阵列相机510的俯视图。图3B提供壳体540内的半球阵列相机510的剖视图横截面图,其展示中心相机520和两个***相机的传感器区域以及呈经延伸配置的可延伸反射器505。图3C提供壳体540内的半球阵列相机510的剖视图横截面图,其展示中心相机520和一个***相机的传感器区域以及呈缩回配置的可延伸反射器505。对于图3B和3C,一个***相机的光学元件示意性地说明为框图,然而,应理解,每一***相机包含此类光学元件,且此类光学元件可包含透镜组合件和一或多个光学折叠元件以将接收到的光向下重新引导到对应传感器上。
在图3A的所说明的实施例中,存在具有环绕中心相机520的六个***相机525的宽视场阵列相机510。中心相机520具有入射光瞳582A且每一***相机525具有入射光瞳584A。垂直于***相机中的一者的光轴且含有特定***相机525的入射光瞳584A的平面可相对于垂直于中心相机520光轴且含有中心相机520的入射光瞳582A的平面倾斜。在图3B中所说明的侧视图的实例中,延伸可延伸反射器505以用于形成宽视场(FOV)图像,例如180度半球形图像。经延伸的可延伸反射器505可从如所说明的相机壳体的上部表面542突出大致4.0mm,或可在其它实施例中取决于针对所需设计所产生的参数突出更小或更大距离。提供所说明的尺寸以展示适合用于便携式计算装置中的具有相对薄外观尺寸的宽视场阵列相机510的一个特定实例,且不限制相机510的其它实例的有可能的尺寸。
在图3B中所说明的实施例中,半球阵列相机510可定位于相机壳体540内。相机壳体540可包含与下部表面544间隔开的上部表面542。在一些实施例中,上部表面542与下部表面544可间隔开例如如所展示的大致5.0mm,从而形成薄相机。在其它实施例中,间距可更大或更小。图像感测衬底550可与下部表面544相邻定位或紧固到下部表面544。图像感测衬底可包含与中心透镜组合件562相关联且位于中心光圈582B下方的中心感测区域552,中心光圈582B可在上部表面542中。上部表面542中的中心光圈582B可与中心相机520的入射光瞳582A对准(或在一些实例中可形成中心相机520的入射光瞳582A)。在一些实施例中,且如图3B中所说明,中心感测区域552、中心透镜组合件562以及自动聚焦装置572(其可为致动器或将致动器运动从远程位置转移到透镜组合件562的机械联动装置)组成中心相机520。中心感测区域552可制造在衬底550上,或其可连接到衬底550。出于实例的目的,通过特定数字和透镜的配置来说明中心透镜组合件562,且此透镜配置并不意图限制可用于中心相机520的可能的透镜组合件。中心相机传感器区域552不必定位在可含有例如525的周围相机的传感器区域554的共同衬底550上。每一传感器区域552和554可相对于彼此定位在不同衬底上。也可应用其它实施例。
中心相机520具有视场530A且此FOV允许一些光线592在可延伸反射器505呈图3B中所说明的经延伸配置定位时从相机510上方进入。面向中心光圈582B的可延伸反射器505的表面可由吸收光的材料而不是反射光的材料构造或涂布(或提供)有吸收光的材料而不是反射光的材料,例如黑色非反射(或基本上非反射)材料,从而最小化可来自FOV 530A外部的光或与FOV 530A内的光相关的可能反射或其它因素的杂散光,其可穿过光圈582B朝向中心相机520。当可延伸反射器505经延伸时,图3C中的视场530B可宽于图3A中的FOV 530A。如果图3B中的可延伸反射器505将通过中心相机520观测到的场景的FOV减小到相较于可能的更宽FOV 530B的较窄FOV 530A,那么可出现此情形。
图像感测衬底550可包含数个***感测区域554,其各自与位于上部表面542中的***光圈584B下方的***光学元件564相关联。上部表面542中的***光圈584B可与***相机525的入射光瞳584A对准(或在一些实例中可形成***相机525的入射光瞳584A)。在各种实施例中,布置在中心感测区域552周围的多个***感测区域554中的每一***感测区域554可制造在衬底550上,或其可连接到衬底550,或可在并不连接到其它***相机525的感测区域554的单独衬底上。每一***光学元件564可包含一或多个透镜或其它光聚焦结构和一或多个光折叠表面(例如,反射镜面或折射固体),以便聚焦和导引光经由***光圈584B进入到***感测区域554上。每一***相机525可含有聚焦由致动器或其它类似装置控制的相机(定位在光学元件564内)的透镜的方法。出于说明清楚起见,仅展示一个***光学元件564,然而,每一***相机525可具有用于聚焦和导引进入光的***光学元件。
当可延伸反射器505呈图3B中所说明的经延伸配置时,在形成于呈经延伸配置的可延伸反射器505与上部表面542之间的角度到平行于上部表面542的角度之间的角度范围内从相机510的侧部进入的光线594、596(如由光线596所说明)经由***光圈584A和***光学元件564反射到***感测区域554上。在一些实施例中,相机外壳光圈584B可略微宽于相机光圈584A。仅穿过光圈584A的光线最终可停留在成像区域554上。在相机内,可进行限幅从而可阻止一些光线进入584A到达图像感测区域554。从相机510上方进入的光线592的一部分也经由***光圈584A和***光学元件564反射到***感测区域554上。当可延伸反射器505与相机壳体540相抵呈缩回配置定位时,光圈584B和/或584A可经阻挡且光无法通过到达***感测区域554。
面向***相机光圈584A的可延伸反射器505的表面可由镜面或反射表面构造或具备镜面或反射表面。在一些实施例中,镜面或反射表面可基本上平坦,且在其它实施例中,其可为凹面的或凸面的表面。当设计***光学元件564以实现所需成像性能和/或***感测区域554的其它方面时可考虑表面的凹度或凸度。
在图3B中,展示基本上彼此平行的光线592且所述光线592可被认为来自对象空间中遥远的一点。如图3B中所展示,592中的一些光线可行进到中心相机的光圈582A上且可进入中心相机的光圈582A且随后可成像于传感器表面552上。可延伸镜面505在经延伸时可朝向***相机564的光圈584A反射一些光线592。这些光线可在与相机564相关联的成像传感器表面554上行进且成像在与相机564相关联的成像传感器表面554上。可有可能看到对象空间中同一点的图像,从对象空间发散的光线592在图像中投射在图像传感器表面552上且在图像中投射在图像传感器表面554上。当可伸缩的镜面505缩回时,表面552和554上的同一点的图像在光级上可低于中心相机的图像。可有可能经由使用可最小化或基本上最小化拼接伪影的图像处理技术将投射在表面552和554上的图像拼接在一起。尽管本文中的实例主要是在可在图3B中所展示的经延伸状态与缩回状态之间转变的可延伸反射器的上下文内论述,但一些实施例可具有永久地附于经延伸状态下的反射器,例如作为近似倒锥形形状的结构。
图3C说明图3B的半球相机阵列510的实施例的实例,其中可延伸反射器505经缩回从而基本上平行于相机壳体540的上部表面542而呈通用配置(换句话说,标准FOV成像模式或非半球形成像配置)。具有中心相机520的此实施方案的一个优点为有可能缩回可延伸反射器505且具有一个通用的相机(例如,中心相机520)。
图3C还说明中心相机520的光轴532。在一些实施例中,每一***相机525可布置在中心相机520周围使得每一***相机透镜组合件(定位在光学元件564内)的光轴534与中心相机520的光轴532上的共同相交点相交或基本上在中心相机520的光轴532上的共同相交点附近通过。此共同相交点可使用图5A中所展示的模型定位,此将在下文中进一步描述。
图4A说明第一相机的视场(FOV)(相机-1FOV)和其相关联的图像传感器405。图4A还展示第二相机的FOV(相机-2FOV)和其相关联的图像传感器410。在图4A中,未展示相机-1和相机-2的物理形状,其中替代地分别展示每一相机的FOV和相关联的图像传感器405和410。对象-1和对象-2至少部分地处于相机-1和相机-2两者的每一FOV中,从而说明如何可出现视差图像拼接伪影的实例。在此实例中,两个相机用于俘获重叠图像。这两个图像接着拼接在一起以形成一个较大图像。除非两个相机共享同一入射光瞳,如图4B的位置417处所示,否则将有可能存在视差拼接伪影。
为了更好地理解如何可出现视差拼接伪影,图4A中所展示的对象-1可被认为朝向距离d0移动,其中传感器405的图像表面和传感器410的图像表面上的重叠像素的数目朝向一个或零个像素减小。当对象-1在位置d1处时,展示多于一个像素的重叠像素的数目。另外,如果存在在距离d2处的另一对象(例如,对象-2),那么相较于在距离d1处的对象-1,有人可看到存在更多重叠像素。当有人尝试沿着每一图像的边缘切割通过图像传感器405和410所俘获的图像且接着将其拼接在一起时,所述问题变得显而易见。如果你使用与距离d0相关联的边缘,那么在距离d2处的对象-2的各部分将处于两个图中,而位于距离d0处的对象将具有两个图像中共同的一个或零个像素。
图4B说明两个相机(相机-1和相机-2)的FOV的重叠区451。在本发明中解决的一个问题为如何布置(或定位)多个相机(例如,相机阵列)以使得所有相机共享一个共同入射光瞳。相机-1和相机-2在图4B和4C中展示为共用一个共同光瞳417。
图4C类似于图4B,其中存在相机-1和相机-2的视场的重叠区491。如所示,相机-2473的FOV的一个边缘经延伸且与两个图像传感器405和410的图像表面相交。注意,图像传感器405和410的图像表面上的线473的相交点并不随线473上的点距光瞳417的距离的改变而改变。所属领域的技术人员应能够由此实例了解,当相机共享同一共同入射光瞳时,通过那些相机所俘获的图像可沿着在两个图像中所发现的连续线切割且具有原则上基本上最少到无拼接伪影。有时,布置具有共同光瞳的多个相机经描述为在如图1A所描述的拼接伪影方面“无视差”。图4C说明关于旋转的另一点。可以俯仰、偏航和横摇角旋转形式旋转相机-2图像传感器405的光轴。横摇将旋转传感器。只要两个相机405、410的两个光轴共享共同入射光瞳,就有可能知道多少像素经重叠且能够合并两个图像以产生一个图像而无或基本上几乎无视差伪影。
图5A说明使用类似于图3A、3B和3C中所展示的中心相机520的模型无视差或基本上无视差的阵列相机***的实施例的实例。图5B展示相对于图5A以及表1和2使用的图例,其中正角经展示为逆时针旋转角度,负角经展示为顺时针旋转角度,具有双向箭头的角度连同X和Y线性方向以及X轴上起始于零度的角度的笛卡尔坐标***始终为正角且在逆时针旋转方向上正地增大。在图5A中,相机520包含图像传感器521、光学组件522和入射光瞳中心点523。光轴532表示相机520的光轴。相机520的入射光瞳的位置不必置于光学组件522的前面。入射光瞳有可能在光学组件522内或在传感器521前面的任何地方。线524和532在入射光瞳中心点523处彼此正交地相交。入射光瞳中心点523被称作坐标位置(0,0),即位置(0,0),其意味着沿着线524的零点位置和沿着线532的零点位置。
在图5A中,相对于原点(0,0)以及线524和532展示距离“d”且展示距离“e”。表1提供方程式,一旦给定G、Lambda(λ)、Omega(Ω)和镜面角度Beta(β)的输入值,方程式就提供距离“e”和“d”以及***相机525的光轴角度如图5A中所展示的相机525包含传感器525s、组件525c和入射光瞳中心点525e。入射光瞳525e位于点(d,e)处。图5A中所展示的其它角度和距离在此处帮助理解图5A中所展示的模型且能够导出表1中所展示的方程式。
为了充分解释表1中的方程式,将使用表2中所展示的设计实例。线524垂直于光轴532且在坐标(0,0)处相交。中心相机半FOV角λ为30度,如表2中所展示。***相机525中的一者经展示以具有30度的半FOV角Ω。高度G在镜面561的顶部到线524之间。一个人可使用的设计程序为首先选择G、λ和Ω的值。下一步骤为改变β和高度G直到可找到可实现的解决方案为止。如果一个人具有中心相机520和***相机525的三维尺寸,那么目标可为寻找将允许中心相机520以物理方式拟合在环绕中心相机520的***相机525内的角度β和高度G组合。通过改变β和高度G的值,所呈现的方程式可用于确定“d”、“e”和θ的值,其中θ为相机525中的一者的光轴552的光轴角度。
如图5A中所展示,***相机中的任一者的光轴552与点(d,e)和线532处于同一平面。图5A展示与展示图5A的页面相同的平面上的线532和552。镜面表面561位于垂直于由点(d,e)、线552和线532形成的平面的平面表面上。表2中的镜面表面角β和方程式将产生都等于相同值的角alpha(α)1、2和3(即,α1、α2和α3)。在表2中,α1、2和3的值都展示为45度。基于反射定律,角度α2和α3应相等。人们可注意到,镜面表面561应也与在位置(0.5*d,0.5*e)处连接点(0,0)和(d,e)的线543相交。人们现应能够展示,沿着平行于从对象空间朝向点(0,0)的的线544b的路径的图5A的页面的平面内正在行进的光的光线将在为线544b的一部分的点(k,g)处分离,且一些光线将行进到点523周围的入射光瞳上而其它光线将反射离开镜面表面561,其中这些光线中的一些将进入在图5A的页面上所展示的点(d,e)周围的相机525的入射光瞳。图3B通过在图3B中观测光线592的路径而帮助展示此情形。
如果人们仔细地检查图5A,那么其可观测到每一***相机525表现为具有虚拟相机,其入射光瞳由于使用镜面561而在虚拟位置(0,0)处且在其光轴处于页面的平面上的情况下其光轴与所展示的***相机525的光轴位于页面的相同平面上且其光轴与所展示的***相机525的光轴在镜面表面561上的相同位置处相交。人们还可观测到,离开镜面561的经反射光轴与来自虚拟相机的虚拟光轴指向相同的方向且反射光轴和虚拟光轴两者在它们向外延伸通过镜面到对象空间中时处于相同线上。
人们也应能够看到,虚拟相机与实际相机525将看到相同FOV,其中虚拟和实际相机的FOV受平行于镜面561的平面的镜面表面的边缘限制。在中心相机520周围的周围***相机525中的每一者的镜面表面中的每一者的边缘以所有镜面与垂直于线532的平面的相交处为界且含有点(0,G)。如图5A中所展示,所有镜面表面位于平面的表面上。图3A展示六个***相机,其中六个平坦镜面表面在本文中所描述的阵列相机布置的高度G处形成六角形表面593。
如下文表2中所展示,角λ加上两倍Ω的总和为(30+60),即,总共90度。表2描述形成半球图像的六个***相机的布置。人们可增大或减小λ和/或Ω的值以达成特定方面,以便实现具有小于或大于半球FOV的宽FOV相机或适应有必要拟合特定外观尺寸或其它方面的设计的另一方面。
待考虑的一个因素为图3B中所展示的镜面表面505的边缘,为图3A中所展示的光线592***,其中一些光行进到中心相机上且这些光线中的一些进入中心相机的入射光瞳。同样,与光线592一起正在行进的一些光线将反射离开镜面505且那些光线中的一些将进入如图3A中所展示的周围的相机525的入射光瞳。在图像中,人们可看到,随着光级降低,何处这些光线已经通过由镜面边缘以及入射光瞳的大小和位置进行的***而减少。人们可接着使用合成光圈技术以沿着边缘恢复光级且在基本上最少拼接伪影的情况下将其拼接在一起。
表1
表2
图5C说明经绘制以匹配以上表2的输入和输出值的的尺寸的中心相机520和***相机525设计的实施例的实例。在图5C的设计中,中心相机520与***相机525的光学元件之间的空间冲突501的一个解决方案为增大反射器507的高度,如图5C中所展示。其它解决方案可涉及例如经由折叠光学装置(例如,一或多个经适当地设定大小和放置的反射或折射元件)修改***相机525的光学装置以便不与中心相机520占据相同空间。每一相机520、525的透镜组合件的估计大小的高度大致为3.0mm且宽度大致为5.0mm长。
图6A说明可产生半球形图像的成像***(例如,如本文中所描述的宽视场阵列相机)的各组件的布置的实施例的一个实例的俯视图。每一***相机625的透镜指向中心相机620且出于说明内部相机配置的目的未展示相机壳体和反射器。反射器在经延伸时可安置在环绕中心相机620的所说明的六边形形状区605附近或沿着环绕中心相机620的所说明的六边形形状区域605安置。相机625中的每一者的合适的机械光学设计可出于最小空间和所需尺寸而将所有透镜集成在共同模块中。环绕中心相机620的相机625中的每一者可使用棱镜、镜面或其它等效光学组件以有效地重新引导(或折叠)光穿过相机625。在一些实施例中,周围的相机625的所有传感器630与中心相机620的传感器安置于相同衬底上。在一个实例中,在所有传感器区域均安置于晶片上的情况下,所述衬底可从单个硅晶片切割掉。此布置允许对一个传感器区域的数字和模拟处理与所述衬底上的所有传感器一样共享。其也允许数字数据传送***(例如,相机MIPI接口)使用传感器上的较小空间且节约功率。然而,对于所有传感器区域,如果存在传感器晶片的较大未使用的区域,那么使用单个晶片可浪费昂贵材料,且因此一些实施例可经设计以最小化单个晶片的未使用的区域或具有安置于共同衬底上的每一相机的单独传感器晶片。因此,在一些实施例中,传感器630可制造在多于一个硅晶片上(例如,各自经制造在单独硅晶片上)且接着传感器可安置于共同结构上。在一些实施例中,结构为平面的。将传感器安置在共同结构上可有助于对准多个成像***。
图6B说明图6A中所描绘的阵列相机布置的俯视图的实例而不展示相机透镜主体或传感器区域。出于说明性目的,椭圆形图案610表示由切穿倾斜***相机625的FOV圆锥体的平面目标引起的***相机625的FOV。
图6C说明对应于图6A的阵列相机中的***相机625的相机视场的光线615的圆锥的实例侧视图。一个实例椭圆形图案610说明于光线615的圆锥内。
图6D说明图6A的阵列相机的反射器实施例的实例侧视图。在一些实施例中,镜面表面605A或605B为平坦(平面)的。然而,镜面表面605A或605B不必为平坦的。替代地,在一些实施例中,镜面表面可具有凹形605A或凸形605B。
一些实例可经设计以解决某些聚焦问题且考虑倾斜相机。举例来说,相对于中心相机倾斜的***相机625可能可存在关于透镜的后焦距与相对于完整相机阵列组合件的光轴倾斜的传感器之间的光场的挑战。如果将平坦测试图放置在倾斜透镜附近,那么人们可预期景深较窄。一旦聚焦,人们可观测到中心经焦点对准而边缘离焦。一个光学解决方案可为倾斜光场从而更加平行于相机阵列光轴。
中心相机620的一个优点为其并不具有此倾斜问题。甚至在阵列受移动装置的薄外观尺寸约束时,中心相机620的视场可足够宽以例如完全成像位于距阵列10cm或更远处的电子名片。在此状况下,电子名片通常将不通过周围的倾斜相机625成像,且因此当通过中心相机620成像主要对象时,倾斜透镜聚焦问题可不会显著降低最终拼接图像的质量。
图7说明全局或完整球形视场阵列相机700的实施例的实例。全局阵列相机700包含背靠背地布置两个半球形相机710A和710B以俘获相对的半球形视场。在包含所说明的实施例的一些实施例中,两个半球形相机710A和710B可为参考图3B和3C所描述的半球阵列相机。来自相机710A和710B的相对半球形视场可接着经拼接在一起以形成完整球形图像。在所说明的实例中,两个阵列共享共同相机壳体表面715,然而,在支撐传感器的传感器衬底或另一材料在相机710A、710B之间共同共享的其它实施例中,此表面可省略。在一些实施例中,两个相机不必确切背靠背地对准且在接缝处所得的任何像差(或由于两个相机未经确切对准)可在图像的后处理期间经校正或最小化。
在球形阵列相机700的一些实施例中,在通过两个阵列相机710A和710B所俘获的半球形图像之间可存在视差伪影。相对于用户垂直旋转相机710A和710B可帮助减少此类视差伪影。举例来说,此可通过旋转球形阵列相机700实现,因此两个半球相接的表面或平面715相对于直立站立的用户垂直,其中一个相机面向用户且另一相机背对用户(如果在用户前面保持处于典型成像姿态)。以此取向方式所俘获的图像将适合于通过虚拟现实眼镜查看,其中视差拼接伪影仅在用户在全局场景周围看向右侧或左侧时有可能观测到。
在一个实例中,当在移动电话中实施时,一个相机面向移动电话的后部定位且另一相机面向移动电话的前部定位。因而,移动电话上的后向和前向相机两者将产生高分辨率和宽视场图像,与前向相机相较于后向相机产生显著较低分辨率图像的当前典型移动电话相机配置形成对比。
尽管真实且不完美的镜面可引起使用本文中所描述的半球形或球形阵列相机实施例中的任一者所俘获图像的暗化,但此类暗化在通过使用不完美的镜面的阵列所俘获的所有图像内应恒定。因此,在一些实施例中,后俘获处理技术可用于例如通过使用已知变暗区的遮罩倍增所俘获图像而修正归因于镜面的图像的已知暗化。结果将呈现为如同图像是通过具有锐边缘和锐顶端的理想镜面所俘获。
IV.实施***和术语
本文中所揭示的实施方案提供用于无视差和倾斜伪影的宽视场(例如,半球形或球形)阵列相机的***、方法和设备。所属领域的技术人员将认识到,这些实施例可用硬件、软件、固件或其任何组合来实施。
在一些实施例中,可在无线通信装置中利用上文所论述的电路、过程和***。无线通信装置可为用来与其它电子装置无线通信的一种电子装置。无线通信装置的实例包含蜂窝电话、智能电话、个人数字助理(PDA)、电子阅读器、游戏***、音乐播放器、上网本、无线调制解调器、膝上型计算机、平板计算机装置等。
无线通信装置可包含:一或多个图像传感器;图像信号处理器;以及存储器,其包含用于实施上文所论述的过程的指令或模块。装置还可具有数据、从存储器加载指令和/或数据的处理器、一或多个通信接口、一或多个输入装置、一或多个输出装置(例如,显示装置)和电源/接口。无线通信装置可另外包含传输器和接收器。传输器和接收器可共同称作收发器。收发器可耦合到一或多个天线以供传输和/或接收无线信号。
无线通信装置可以无线方式连接到另一电子装置(例如,基站)。无线通信装置或者可被称作移动装置、移动台、订户台、用户设备(UE)、远程站、接入终端、移动终端、终端、用户终端、订户单元等。无线通信装置的实例包含膝上型或台式计算机、蜂窝电话、智能电话、无线调制解调器、电子阅读器、平板计算机装置、游戏***等。无线通信装置可根据例如第三代合作伙伴计划(3GPP)等一或多个业界标准来操作。因此,通用术语“无线通信装置”可包含根据业界标准以不同的命名法来描述的无线通信装置(例如,接入终端、用户设备(UE)、远端终端等)。
可将本文中所描述的功能作为一或多个指令存储在处理器可读或计算机可读媒体上。术语“计算机可读媒体”是指可由计算机或处理器接入的任何可用媒体。借助于实例而非限制,此类媒体可包括RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置或任何其它可用来存储呈指令或数据结构形式的所需程序代码并且可由计算机接入的媒体。如本文所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘和光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。应注意,计算机可读媒体可为有形且非暂时性的。术语“计算机程序产品”是指与可由计算装置或处理器执行、处理或计算的代码或指令(例如,“程序”)组合的计算装置或处理器。如本文所使用,术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。
本文中所揭示方法包括用于实现所描述的方法的一或多个步骤或动作。在不偏离权利要求书的范围的情况下,方法步骤和/或动作可彼此互换。换句话说,除非正描述的方法的适当操作需要步骤或动作的特定次序,否则,在不脱离权利要求书的范围的情况下,可修改特定步骤和/或动作的次序和/或使用。
应注意,如本文中所使用,术语“耦合(couple、coupling、coupled)”或词语耦合的其它变体可指示间接连接或者直接连接。举例来说,如果第一组件“耦合”到第二组件,那么第一组件可间接连接到第二组件或者直接连接到第二组件。如本文中所使用,术语“多个”指示两个或多于两个。举例来说,多个组件指示两个或多于两个组件。
术语“确定”涵盖广泛多种动作,且因此“确定”可包含计算、运算、处理、导出、调查、查找(例如,在表、数据库或另一数据结构中查找)、查明等。并且,“确定”可包含接收(例如,接收信息)、接入(例如,接入存储器中的数据)等等。而且,“确定”可包含解决、选择、挑选、建立等。
除非另外明确指定,否则短语“基于”并不意味着“仅基于”。换句话说,短语“基于”描述“仅基于”和“基于至少”两者。
在以上描述中,给出特定细节以提供对实例的彻底理解。然而,所属领域的一般技术人员将理解,可在没有这些特定细节的情况下实践实例。举例来说,可在框图中展示电组件/装置,以免以不必要的细节混淆所述实例。在其它情况下,可详细展示这些组件、其它结构和技术以便进一步解释所述实例。
出于参考目的且为了辅助定位各个部分,本文中包含标题。这些标题并不希望限制关于其描述的概念的范围。此类概念可在整个说明书中都适用。
还应注意,可将所述实例描述成过程,这个过程被描绘成流程图、流图、有限状态图、结构图或框图。尽管流程图可以将操作描述成顺序过程,但是许多操作可以并行或同时执行,并且所述过程可以重复。另外,可重新布置操作的次序。当其操作完成时,过程终止。过程可对应于方法、函数、程序、子例程、子程序等。当过程对应于软件函数时,过程的终止对应于函数返回到调用函数或主函数。
提供对所揭示实施方案的先前描述以使得所属领域的技术人员能够进行或使用本发明。对这些实施方案的各种修改对于所属领域的技术人员将易于显而易见,且本文中所定义的一般原理可应用于其它实施方案而不脱离本发明的精神或范围。因此,本发明并不希望限于本文中所展示的实施方案,而是应符合与本文中所揭示的原理和新颖特征一致的最广范围。

Claims (30)

1.一种用于俘获宽视场图像的图像俘获***,其包括:
第一成像***,其包括:
第一光圈;
第一中心相机,其经定位以经由所述第一光圈接收光,所述第一中心相机具有延伸穿过所述光圈的光轴;
第一多个***相机,其环绕所述第一中心相机布置且指向所述第一中心相机的所述光轴的一部分;以及
第一多个可延伸反射器,其经配置以从第一位置移动到第二位置,所述第一成像***在所述第一多个可延伸反射器处于所述第一位置中的情况下具有第一FOV且在所述第一多个可延伸反射器处于所述第二位置中的情况下具有第二FOV,所述第二FOV大于所述第一FOV,所述第二位置更接近于所述第一中心相机的所述光轴,所述第一多个***相机和所述第一多个可延伸反射器相对于彼此布置,使得在所述第一多个可延伸反射器处于所述第二位置中时,从所述第一多个可延伸反射器中的一者反射的光的至少一部分进入所述第一多个***相机中的对应一者。
2.根据权利要求1所述的***,其进一步包括处理器,所述处理器经配置以使用由所述第一中心相机产生的图像和在所述第一多个可延伸反射器位于所述第二位置中时所俘获的来自所述第一多个***相机中的每一者的图像形成半球形图像。
3.根据权利要求1所述的***,其中所述第一多个可延伸反射器各自包括背向所述第一中心相机的所述光轴的镜面化第一表面。
4.根据权利要求3所述的***,其中所述第一多个可延伸反射器各自包括面向所述第一中心相机的所述光轴的第二黑色表面。
5.根据权利要求3所述的***,其中所述第一多个可延伸反射器中的所述一者的所述镜面化第一表面在所述第一多个可延伸反射器处于所述第二位置中时反射朝向所述第一多个***相机中的所述对应一者反射的所述光的所述至少一部分。
6.根据权利要求3所述的***,其中所述第一多个可延伸反射器中的每一者的所述镜面化第一表面为凹面或凸面表面中的一者。
7.根据权利要求1所述的***,其中所述第一多个可延伸反射器中的所述一者包括对应于所述第一多个***相机中的所述对应一者的FOV的基本上椭圆形形状。
8.根据权利要求1所述的***,其中所述第一多个***相机和所述第一中心相机中的每一者包括透镜组合件和图像传感器。
9.根据权利要求8所述的***,其中所述第一多个***相机和所述第一中心相机中的每一者的所述图像传感器安置于共同衬底上,所述共同衬底形成基本上与所述中心相机的所述光轴正交的平面。
10.根据权利要求9所述的***,其中在所述第一位置中,所述第一多个可延伸反射器呈缩回配置,使得所述第一多个反射器中的每一者的反射表面基本上平行于所述衬底而定位。
11.根据权利要求9所述的***,其中在所述第二位置中,所述第一多个可延伸反射器呈经延伸配置,使得所述第一多个反射器中的每一者的反射表面与平行于所述衬底成角度地定位,所述角度具有对应于产生所述第二FOV的180度的值的预定值。
12.根据权利要求11所述的***,其中在所述第一多个可延伸反射器处于所述第二位置中时,在平行于所述衬底的方向上接近所述第一中心相机的所述光轴的光线的至少一部分反射离开所述第一多个经延伸反射器朝向所述第一多个***相机。
13.根据权利要求1所述的***,其进一步包括:
第二成像***,其包括:
第二光圈;
第二中心相机,其经定位以经由所述第二光圈接收光,所述第二中心相机具有延伸穿过所述第二光圈的光轴;
第二多个***相机,其环绕所述第二中心相机布置且指向所述第二中心相机的所述光轴的一部分;以及
第二多个可延伸反射器,其经配置以从第三位置移动到第四位置,所述第二成像***在所述第二多个可延伸反射器处于所述第三位置中的情况下具有所述第一FOV且在所述第二多个可延伸反射器处于所述第二位置中的情况下具有所述第二FOV,所述第四位置相较于所述第三位置更接近于所述第二中心相机的所述光轴,所述第二多个***相机和所述第二多个可延伸反射器相对于彼此布置,使得在所述第二多个可延伸反射器处于所述第四位置中时,从所述第二多个额外可延伸反射器中的一者反射的光的至少一部分进入所述第二多个***相机中的对应一者。
14.根据权利要求13所述的***,其中所述第一和第二成像***中的每一者的所述第二FOV为半球形形状且相较于所述第一和第二成像***中的另一者的所述半球形形状的FOV观察基本上不同的图像场景。
15.根据权利要求14所述的***,其中所述第一和第二成像***呈背靠背布置安置,使得包括所述第一和第二成像***中的每一者的所述第二FOV的组合的总FOV为球形形状。
16.一种用于使用单个阵列相机俘获宽视场图像的方法,其包括:
控制环绕中心相机定位的多个可延伸反射器的定位,多个***相机也环绕所述中心相机定位且各自与所述多个可延伸反射器中的一者相关联,所述中心相机具有光轴且所述多个***相机指向所述光轴的一部分;
确定俘获标准视场图像还是所述宽视场图像,所述宽视场图像相较于所述标准视场图像覆盖更大场;
响应于确定俘获所述标准视场图像:
将所述多个可延伸反射器定位在第一位置中,以及
使用所述中心相机俘获所述标准视场图像;以及
响应于确定俘获所述宽视场图像:
将所述多个可延伸反射器定位在第二位置中,使得从所述多个可延伸反射器中的一者反射的光的至少一部分进入所述多个***相机中的相关联的一者,
使用所述中心相机俘获所述宽视场图像的中心部分,以及
使用所述多个***相机俘获所述宽视场图像的多个***部分。
17.根据权利要求16所述的方法,其中,响应于确定俘获所述标准视场图像,所述方法进一步包括将所述中心部分和所述多个***部分组合成所述宽视场图像。
18.根据权利要求16所述的方法,其中所述宽视场图像的所述中心部分包括所述标准视场图像的一部分。
19.根据权利要求16所述的方法,其中将所述多个可延伸反射器定位在所述第一位置中包括与含有所述中心相机和所述多个***相机的相机壳体相抵缩回所述多个可延伸反射器。
20.根据权利要求16所述的方法,其中将所述多个可延伸反射器定位在所述第二位置中包括使所述多个可延伸反射器相对于含有所述中心相机和所述多个***相机的相机壳体成角度,使得所述多个可延伸反射器中的每一者的反射表面引导表示所述多个***部分的光朝向所述多个***相机。
21.一种存储指令的非暂时性计算机可读媒体,所述指令在执行时使得一或多个处理器为了控制环绕中心相机定位且各自与也环绕所述中心相机定位的多个***相机中的一者相关联的多个可延伸反射器的定位,执行包括以下各者的操作:
确定俘获标准视场图像还是宽视场图像,所述宽视场图像相较于所述标准视场图像覆盖更大场;
响应于确定俘获所述标准视场图像:
产生第一指令以将所述多个可延伸反射器定位在第一位置中,以及
接收包括来自所述中心相机的所述标准视场图像的第一图像数据;以及
响应于确定俘获所述宽视场图像:
产生第二指令以将所述多个可延伸反射器定位在第二位置中,使得从所述多个可延伸反射器中的一者反射的光的至少一部分进入所述多个***相机中的相关联的一者,以及
接收包括来自所述中心相机的所述宽视场图像的中心部分和来自所述多个***相机的所述宽视场图像的多个***部分的第二图像数据。
22.根据权利要求21所述的非暂时性计算机可读媒体,其中响应于确定俘获所述宽视场图像,所述操作进一步包括将所述中心部分和所述多个***部分组合成所述宽视场图像。
23.根据权利要求21所述的非暂时性计算机可读媒体,其中产生所述第一指令包括产生用于使与所述多个可延伸反射器中的至少一个可延伸反射器相关联的致动器将所述至少一个可延伸反射器定位为基本上与含有所述中心相机和所述多个***相机的相机壳体相抵地呈缩回配置的指令。
24.根据权利要求21所述的非暂时性计算机可读媒体,其中产生所述第二指令包括产生用于使与所述多个可延伸反射器中的可延伸反射器相关联的致动器将所述可延伸反射器定位为呈经延伸配置使得所述可延伸反射器的反射表面引导表示所述多个***部分中的一者的光朝向所述多个***相机中的相关联的相机的指令。
25.一种用于俘获标准视场图像或宽视场图像的设备,所述设备包括:
壳体装置,其具有至少一上部表面和与所述上部表面间隔开的下部表面;
图像感测装置,其位于所述上部表面与所述下部表面之间;
光聚焦装置,其位于所述壳体装置的所述上部表面中的第一光圈下方且位于所述图像感测装置的中心感测区域上方;
多个额外光聚焦装置,其环绕所述第一光聚焦装置定位,且位于所述壳体装置的所述上部表面中的对应多个额外光圈下方且位于所述图像感测装置的多个额外感测区域上方;以及
多个光反射装置,其在所述第一透镜组合件上方环绕所述第一光圈定位,所述多个光反射装置中的每一者与所述多个额外光聚焦装置中的一者相关联。
26.根据权利要求25所述的设备,所述第一光聚焦装置具有光轴,其中所述多个额外光聚焦装置中的每一者的光轴经定位以与所述第一光聚焦装置的所述光轴相交。
27.根据权利要求25所述的设备,其进一步包括用于在对应于所述标准视场图像的第一位置与对应于所述宽视场图像的第二位置之间转移所述多个光反射装置的致动装置。
28.根据权利要求25所述的设备,其进一步包括与所述图像感测装置通信的处理装置。
29.根据权利要求28所述的设备,其进一步包括提供到所述处理装置以将来自所述中心感测区域和所述多个额外感测区域的图像数据组合到所述宽视场图像中的指令。
30.根据权利要求28所述的设备,其进一步包括提供到所述处理装置以产生如下的指令:配置致动装置以在对应于所述标准视场图像的第一位置与对应于所述宽视场图像的第二位置之间转移所述多个可延伸反射器的指令。
CN201580030449.5A 2014-06-20 2015-06-16 用于半球形和球形成像的宽视场阵列相机 Active CN106462050B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462015329P 2014-06-20 2014-06-20
US62/015,329 2014-06-20
US14/739,311 2015-06-15
US14/739,311 US9819863B2 (en) 2014-06-20 2015-06-15 Wide field of view array camera for hemispheric and spherical imaging
PCT/US2015/035978 WO2015195629A1 (en) 2014-06-20 2015-06-16 Wide field of view array camera for hemispheric and spherical imaging

Publications (2)

Publication Number Publication Date
CN106462050A true CN106462050A (zh) 2017-02-22
CN106462050B CN106462050B (zh) 2019-02-22

Family

ID=54870827

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580030449.5A Active CN106462050B (zh) 2014-06-20 2015-06-16 用于半球形和球形成像的宽视场阵列相机
CN201580032615.5A Expired - Fee Related CN106415392B (zh) 2014-06-20 2015-06-19 能够捕获全球面图像的无视差多相机***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580032615.5A Expired - Fee Related CN106415392B (zh) 2014-06-20 2015-06-19 能够捕获全球面图像的无视差多相机***

Country Status (8)

Country Link
US (2) US9819863B2 (zh)
EP (2) EP3158726A1 (zh)
JP (2) JP2017525221A (zh)
KR (2) KR20170020777A (zh)
CN (2) CN106462050B (zh)
BR (1) BR112016029565A2 (zh)
CA (1) CA2952623A1 (zh)
WO (2) WO2015195629A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107370933A (zh) * 2017-09-19 2017-11-21 信利光电股份有限公司 一种多摄像头模组
CN107483790A (zh) * 2017-09-19 2017-12-15 信利光电股份有限公司 一种多摄像头模组
CN107509017A (zh) * 2017-09-19 2017-12-22 信利光电股份有限公司 一种多摄像头模组
CN108737724A (zh) * 2017-04-17 2018-11-02 英特尔公司 用于360视频捕获和显示的***和方法

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9197816B2 (en) * 2013-10-18 2015-11-24 The Lightco Inc. Zoom related methods and apparatus
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9294672B2 (en) * 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9392188B2 (en) * 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
ES2821735T3 (es) 2014-08-21 2021-04-27 Identiflight Int Llc Sistema y procedimiento de detección de pájaros
US9856856B2 (en) 2014-08-21 2018-01-02 Identiflight International, Llc Imaging array for bird or bat detection and identification
US9602702B1 (en) * 2014-09-08 2017-03-21 Sulaiman S. Albadran Video camera with multiple data input
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
WO2016073468A1 (en) * 2014-11-03 2016-05-12 Gary Franklin Bart Fixed view magnetic camera
US20160248972A1 (en) * 2015-02-23 2016-08-25 Ebsco Industries, Inc Panoramic Game Camera
EP3275171A4 (en) * 2015-03-27 2018-11-21 Google LLC Cluster based photo navigation
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10275898B1 (en) * 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US9819865B2 (en) 2015-10-30 2017-11-14 Essential Products, Inc. Imaging device and method for generating an undistorted wide view image
US9813623B2 (en) 2015-10-30 2017-11-07 Essential Products, Inc. Wide field of view camera for integration with a mobile device
US9906721B2 (en) * 2015-10-30 2018-02-27 Essential Products, Inc. Apparatus and method to record a 360 degree image
CN105627926B (zh) * 2016-01-22 2017-02-08 尹兴 四像机组平面阵列特征点三维测量***及测量方法
US10151970B2 (en) * 2016-04-11 2018-12-11 As Vision Limited Aerial panoramic oblique photography apparatus
US10354426B2 (en) 2016-08-04 2019-07-16 Datalogic IP Tech, S.r.l. Symbol stitching imaging system
US20180063428A1 (en) * 2016-09-01 2018-03-01 ORBI, Inc. System and method for virtual reality image and video capture and stitching
US20180096494A1 (en) * 2016-09-30 2018-04-05 Visbit Inc. View-optimized light field image and video streaming
KR102558474B1 (ko) * 2016-09-30 2023-07-25 삼성전자주식회사 이미지를 표시하기 위한 방법 및 그 전자 장치
US10419681B2 (en) * 2016-10-26 2019-09-17 Robert Bosch Gmbh Variable field of view multi-imager
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
CN108574808B (zh) * 2017-03-08 2021-02-12 杭州海康威视数字技术股份有限公司 一种图像拼接方法、装置及图像处理***
US20180260929A1 (en) * 2017-03-08 2018-09-13 Intel Corporation Digital camera methods and devices optimized for computer vision applications
US10652460B2 (en) * 2017-03-30 2020-05-12 Canon Kabushiki Kaisha Image-capturing apparatus and image-capturing control method
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10400929B2 (en) 2017-09-27 2019-09-03 Quick Fitting, Inc. Fitting device, arrangement and method
KR102436730B1 (ko) * 2017-12-06 2022-08-26 삼성전자주식회사 가상 스크린의 파라미터 추정 방법 및 장치
US11029496B2 (en) 2017-12-21 2021-06-08 Apple Inc. Folded lens system
US10728517B2 (en) * 2017-12-22 2020-07-28 Flir Systems Ab Parallax mitigation for multi-imager systems and methods
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
JP7081473B2 (ja) 2018-03-02 2022-06-07 株式会社リコー 撮像光学系、撮像システム及び撮像装置
US10582181B2 (en) 2018-03-27 2020-03-03 Honeywell International Inc. Panoramic vision system with parallax mitigation
CN108710261B (zh) * 2018-06-07 2020-12-25 信利光电股份有限公司 一种摄像模组
KR102553555B1 (ko) * 2018-09-21 2023-07-10 엘지이노텍 주식회사 카메라 모듈
CN114615400A (zh) * 2019-01-03 2022-06-10 核心光电有限公司 相机、双重相机及三重相机
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
CN110503621B (zh) * 2019-08-23 2022-07-01 上海圭目机器人有限公司 基于定位数据的图像全局拼接方法
KR102232366B1 (ko) * 2019-10-07 2021-03-26 (주)하이비젼시스템 렌즈모듈 액티브 얼라인 시스템 및 방법
US10969047B1 (en) 2020-01-29 2021-04-06 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
US11035510B1 (en) 2020-01-31 2021-06-15 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
US11281868B2 (en) 2020-03-10 2022-03-22 Cognex Corporation Modular vision system and methods
US11665410B2 (en) * 2020-03-10 2023-05-30 Cognex Corporation Modular vision systems and methods
US11812125B2 (en) 2020-07-01 2023-11-07 Universal City Studios Llc Anti-reflective camera housing system
KR102381272B1 (ko) * 2020-09-17 2022-03-30 삼성전기주식회사 휴대 단말기
US11145228B1 (en) * 2020-11-06 2021-10-12 Lockheed Martin Corporation Immersive display structure
US20230199166A1 (en) * 2021-12-20 2023-06-22 Industrial Technology Research Institute System and method for computing relative rotation and relative translation of back-to-back cameras
WO2024062326A1 (en) * 2022-09-21 2024-03-28 Alcon Inc. Low profile optical systems for surgical procedures

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201917706U (zh) * 2009-10-20 2011-08-03 富士胶片株式会社 摄像透镜以及摄像装置
JP2013117568A (ja) * 2011-12-01 2013-06-13 Olympus Corp 視差画像取得装置、携帯情報端末及び視差画像取得方法
CN203519914U (zh) * 2011-04-28 2014-04-02 富士胶片株式会社 成像镜头和成像设备
CN203519911U (zh) * 2011-04-28 2014-04-02 富士胶片株式会社 成像镜头和成像设备
CN203551875U (zh) * 2011-04-28 2014-04-16 富士胶片株式会社 成像镜头和成像设备

Family Cites Families (291)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2112428A1 (de) 1970-09-09 1972-06-08 Midori Kai Co Ltd Kamera zur Aufnahme hemisphaerischer Kinobilder
US4114171A (en) 1976-04-06 1978-09-12 Vivitar Corporation Reflex camera with internal zoom lens
US4437745A (en) 1982-09-30 1984-03-20 Stephen Hajnal Three dimensional camera system
GB8430980D0 (en) 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
US4639586A (en) 1985-02-06 1987-01-27 The United States Of America As Represented By The Secretary Of The Air Force Optically phased laser transmitter
US4740780A (en) 1985-06-24 1988-04-26 Gec Avionics, Inc. Head-up display for automobile
US5214462A (en) 1986-05-12 1993-05-25 Asahi Kogaku Kogyo Kabushiki Kaisha Lens shutter camera including zoom lens and barrier mechanisms
US6031892A (en) 1989-12-05 2000-02-29 University Of Massachusetts Medical Center System for quantitative radiographic imaging
US5194959A (en) 1989-12-21 1993-03-16 Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts
US5016109A (en) 1990-07-02 1991-05-14 Bell South Corporation Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields
US5063441A (en) 1990-10-11 1991-11-05 Stereographics Corporation Stereoscopic video cameras with image sensors having variable effective position
US5142357A (en) 1990-10-11 1992-08-25 Stereographics Corp. Stereoscopic video camera with image sensors having variable effective position
US5207000A (en) 1991-06-14 1993-05-04 Industrial Technology Research Institute Method and apparatus useful for determining an angle between a virtual optical axis and a planar surface
US5231461A (en) 1991-12-09 1993-07-27 Hughes Danbury Optical Systems, Inc. Solar monochromator for filter calibration
US5926411A (en) 1991-12-30 1999-07-20 Ioptics Incorporated Optical random access memory
US5686960A (en) 1992-01-14 1997-11-11 Michael Sussman Image input device having optical deflection elements for capturing multiple sub-images
DE4212271C1 (zh) 1992-04-11 1993-07-08 Deutsche Forschungsanstalt Fuer Luft- Und Raumfahrt E.V., 5300 Bonn, De
US5243413A (en) 1992-09-02 1993-09-07 At&T Bell Laboratories Color parallax-free camera and display
US5313542A (en) 1992-11-30 1994-05-17 Breault Research Organization, Inc. Apparatus and method of rapidly measuring hemispherical scattered or radiated light
DE69312257T2 (de) 1993-02-11 1998-01-29 Agfa Gevaert Nv Strahlungsfelderkennungsverfahren
US5586063A (en) 1993-09-01 1996-12-17 Hardin; Larry C. Optical range and speed detection system
US5614941A (en) 1993-11-24 1997-03-25 Hines; Stephen P. Multi-image autostereoscopic imaging system
GB2284273B (en) 1993-11-29 1997-01-08 Hadland Photonics Limited Electronic high speed camera incorporating a beam splitter
JPH089424A (ja) 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体画像撮像制御装置
JP3186448B2 (ja) 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
JP3458486B2 (ja) 1994-10-25 2003-10-20 松下電器産業株式会社 全方位撮影装置及び全方位画像合成装置
KR100235343B1 (ko) 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
JPH08194274A (ja) 1995-01-13 1996-07-30 Olympus Optical Co Ltd 立体撮像装置
US5606627A (en) 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
US5990934A (en) 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5745305A (en) 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5793527A (en) 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US5539483A (en) 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US5903306A (en) 1995-08-16 1999-05-11 Westinghouse Savannah River Company Constrained space camera assembly
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6115176A (en) 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US5640222A (en) 1996-03-15 1997-06-17 Paul; Eddie Method and apparatus for producing stereoscopic images
US6850279B1 (en) 1996-06-18 2005-02-01 Sony Corporation Optical image recording system, and associated processing system
US5721585A (en) 1996-08-08 1998-02-24 Keast; Jeffrey D. Digital video panoramic image capture and display system
JPH10142490A (ja) 1996-11-15 1998-05-29 Canon Inc 環境認識装置及びカメラ
AU6515798A (en) 1997-04-16 1998-11-11 Isight Ltd. Video teleconferencing
US7028899B2 (en) 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
DE19903807A1 (de) 1998-05-05 1999-11-11 Zeiss Carl Fa Beleuchtungssystem insbesondere für die EUV-Lithographie
US6285365B1 (en) 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6141145A (en) 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6128143A (en) 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6144501A (en) 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
US6992700B1 (en) 1998-09-08 2006-01-31 Ricoh Company, Ltd. Apparatus for correction based upon detecting a camera shaking
US7271803B2 (en) * 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
GB2354390A (en) 1999-09-16 2001-03-21 Ibm Wide-angle image capture apparatus
US6650774B1 (en) 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization
US6862364B1 (en) 1999-10-27 2005-03-01 Canon Kabushiki Kaisha Stereo image processing for radiography
US6782137B1 (en) 1999-11-24 2004-08-24 General Electric Company Digital image display improvement system and method
JP2001194114A (ja) 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
JP2001209037A (ja) 2000-01-26 2001-08-03 Olympus Optical Co Ltd 可変ホログラム素子及びそれらを用いた光学装置
US6823021B1 (en) 2000-10-27 2004-11-23 Greenwich Technologies Associates Method and apparatus for space division multiple access receiver
US6701081B1 (en) 2000-06-06 2004-03-02 Air Controls, Inc. Dual camera mount for stereo imaging
US6768509B1 (en) 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
WO2002027372A2 (en) 2000-07-14 2002-04-04 Applied Wdm, Inc. Optical waveguide transmission devices
JP2002040584A (ja) 2000-07-28 2002-02-06 Hamamatsu Photonics Kk 高速撮像カメラ
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP2002277736A (ja) 2001-03-21 2002-09-25 Olympus Optical Co Ltd 撮像装置
US6421185B1 (en) 2001-04-16 2002-07-16 The United States Of America As Represented By The Secretary Of The Air Force Wide field-of-view imaging system using a spatial light modulator
US6628897B2 (en) 2001-06-20 2003-09-30 Sony Corporation Camera system
EP1427191A4 (en) 2001-08-17 2006-08-16 Sony Corp PICTURE SETUP
US20030038814A1 (en) 2001-08-27 2003-02-27 Blume Leo R. Virtual camera system for environment capture
US7116351B2 (en) * 2001-10-29 2006-10-03 Sony Corporation Imaging device
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003260025A (ja) 2002-03-08 2003-09-16 Olympus Optical Co Ltd カプセル型内視鏡
US6768598B2 (en) 2002-04-02 2004-07-27 Sony Corporation Image pickup system
US6861633B2 (en) 2002-06-20 2005-03-01 The Aerospace Corporation Microelectromechanical system optical sensor providing bit image data of a viewed image
US7298392B2 (en) 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7209161B2 (en) 2002-07-15 2007-04-24 The Boeing Company Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras
JP2004072349A (ja) 2002-08-05 2004-03-04 Canon Inc 撮像装置、及びその制御方法
JP2004080088A (ja) * 2002-08-09 2004-03-11 Sony Corp 撮像装置
US7893957B2 (en) 2002-08-28 2011-02-22 Visual Intelligence, LP Retinal array compound camera system
US7084904B2 (en) 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
WO2004061485A2 (en) 2003-01-02 2004-07-22 Covi Technologies, Inc. Optical block assembly
US6933493B2 (en) 2003-04-07 2005-08-23 Kingpak Technology Inc. Image sensor having a photosensitive chip mounted to a metal sheet
IL155525A0 (en) 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
JP3709879B2 (ja) 2003-05-01 2005-10-26 日産自動車株式会社 ステレオ画像処理装置
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
WO2004109359A1 (ja) 2003-06-09 2004-12-16 Olympus Corporation 可変ミラー
US6809887B1 (en) 2003-06-13 2004-10-26 Vision Technologies, Inc Apparatus and method for acquiring uniform-resolution panoramic images
US20050117015A1 (en) * 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
US7495694B2 (en) 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
KR100541028B1 (ko) 2003-07-21 2006-01-11 주식회사 옵토메카 이미지 센서 및 그 제조 방법
US20050057659A1 (en) 2003-09-16 2005-03-17 Takami Hasegawa Camera image shake correcting device
US7028546B2 (en) 2003-10-21 2006-04-18 Instrumented Sensor Technology, Inc. Data recorder
US20050111106A1 (en) 2003-10-31 2005-05-26 Kazuhiro Matsumoto Optical element assembly formed of multiple optical elements such as prisms, and image pickup apparatus using the same in image pickup function section
KR100875938B1 (ko) 2004-02-19 2008-12-26 캐논 가부시끼가이샤 광학기기 및 빔 스플리터
US20050185711A1 (en) 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
GB0406730D0 (en) 2004-03-25 2004-04-28 1 Ltd Focussing method
US7593057B2 (en) * 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
KR20070064319A (ko) 2004-08-06 2007-06-20 유니버시티 오브 워싱톤 가변 응시 시거리 주사 광 디스플레이
CN101427372B (zh) 2004-08-25 2012-12-12 普罗塔里斯菲洛有限责任公司 用于多个相机装置的设备和操作该设备的方法
US7039292B1 (en) 2004-09-09 2006-05-02 Rockwell Collins, Inc. Optical system for vehicle flight control
DE102004045430A1 (de) 2004-09-18 2006-05-18 Deutsche Telekom Ag Vorrichtung zur Bildstabilisierung
JP3791847B1 (ja) 2005-08-10 2006-06-28 京セラ株式会社 カメラモジュールおよび該カメラモジュールを搭載した情報端末
EP1816514B1 (en) 2004-11-15 2012-06-20 Hitachi, Ltd. Stereo camera
US7372996B2 (en) 2004-12-27 2008-05-13 Trw Automotive U.S. Llc Method and apparatus for determining the position of a vehicle seat
WO2006075528A1 (ja) 2005-01-13 2006-07-20 National University Corporation NARA Institute of Science and Technology 3次元オブジェクト計測装置
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP4177826B2 (ja) 2005-03-23 2008-11-05 株式会社東芝 画像処理装置および画像処理方法
US20060215054A1 (en) 2005-03-23 2006-09-28 Eastman Kodak Company Wide angle camera with prism array
JP2006279538A (ja) 2005-03-29 2006-10-12 Sony Corp 撮像装置
US20060238441A1 (en) 2005-04-25 2006-10-26 The Boeing Company Method and apparatus for displaying a stereoscopic image
US20070102622A1 (en) 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
WO2007014293A1 (en) 2005-07-25 2007-02-01 The Regents Of The University Of California Digital imaging system and method to produce mosaic images
JP5364965B2 (ja) 2005-07-26 2013-12-11 コニカミノルタ株式会社 撮像光学系、撮像レンズ装置及びデジタル機器
JP2007081473A (ja) 2005-09-09 2007-03-29 Eastman Kodak Co 複数光学系を有する撮像装置
TW200721803A (en) 2005-10-17 2007-06-01 Via Tech Inc 3-D stereoscopic image display system
US20070164202A1 (en) 2005-11-16 2007-07-19 Wurz David A Large depth of field line scan camera
JP4979928B2 (ja) 2005-11-28 2012-07-18 株式会社トプコン 三次元形状演算装置及び三次元形状演算方法
US8059185B2 (en) 2005-12-28 2011-11-15 Canon Kabushiki Kaisha Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range
US7215479B1 (en) 2006-02-10 2007-05-08 Micron Technology, Inc. Integrated lens system for image sensor and method for manufacturing the same
GB2435360B (en) 2006-02-16 2009-09-23 Imagination Tech Ltd Method and apparatus for determining motion between video images
JP4844177B2 (ja) 2006-03-07 2011-12-28 株式会社ニコン ブレ補正装置及びカメラ
JP2007274542A (ja) 2006-03-31 2007-10-18 Sony Corp 撮像装置および携帯電話機
CN101055342A (zh) 2006-04-12 2007-10-17 鸿富锦精密工业(深圳)有限公司 自动对焦镜头模组
US8433157B2 (en) 2006-05-04 2013-04-30 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
US8139125B2 (en) * 2006-05-05 2012-03-20 Nokia Corporation Optical image recording device with small height and high resolution
EP2023298A4 (en) 2006-05-09 2010-07-21 Sega Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING PROGRAM
JP4972779B2 (ja) 2006-05-30 2012-07-11 コニカミノルタアドバンストレイヤー株式会社 光学ユニットおよび撮像装置
JP5067021B2 (ja) 2006-06-01 2012-11-07 富士ゼロックス株式会社 画像形成装置、画像形成装置の組立方法及び解体方法並びに画像形成装置に用いられる仮止め部材
JP4851239B2 (ja) 2006-06-05 2012-01-11 株式会社トプコン 画像処理装置及びその処理方法
JP2008048293A (ja) 2006-08-18 2008-02-28 Kyocera Corp 撮像装置、およびその製造方法
US20080058629A1 (en) * 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
DE102006044786A1 (de) 2006-09-14 2008-03-27 Schefenacker Vision Systems Germany Gmbh Kamerasystem, Verfahren zum Betreiben eines Kamerasystems und Sensoreinrichtung eines Kamerasystems
EP1912098B1 (en) 2006-10-12 2012-04-25 Carl Zeiss SMT GmbH Unit magnification projection objective
US7817354B2 (en) 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
KR100866491B1 (ko) 2007-01-30 2008-11-03 삼성전자주식회사 영상 처리 방법 및 장치
JP4917060B2 (ja) 2007-02-26 2012-04-18 Hoya株式会社 撮像ユニット及び携帯用電子機器
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US20080231698A1 (en) * 2007-03-20 2008-09-25 Alan Edward Kaplan Vehicle video control system
US8356035B1 (en) 2007-04-10 2013-01-15 Google Inc. Association of terms with images using image similarity
JP4582423B2 (ja) 2007-04-20 2010-11-17 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP5013078B2 (ja) 2007-04-24 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 レンズ鏡胴及び撮像装置
US20080290435A1 (en) 2007-05-21 2008-11-27 Micron Technology, Inc. Wafer level lens arrays for image sensor packages and the like, image sensor packages, and related methods
JP2008294819A (ja) 2007-05-25 2008-12-04 Sony Corp 撮像装置
US20090005112A1 (en) 2007-06-29 2009-01-01 Samsung Electronics Co., Ltd. Optical imaging system configurations for handheld devices
US20090003646A1 (en) 2007-06-29 2009-01-01 The Hong Kong University Of Science And Technology Lossless visible watermarking
JPWO2009011153A1 (ja) 2007-07-13 2010-09-16 三菱電機株式会社 画像読取装置
JP4900118B2 (ja) 2007-07-31 2012-03-21 コニカミノルタオプト株式会社 カメラモジュールおよび電子機器
TWI383666B (zh) 2007-08-21 2013-01-21 Sony Taiwan Ltd 多重鏡頭相機系統之先進式動態接圖方法
JP5000428B2 (ja) 2007-08-22 2012-08-15 Hoya株式会社 撮像装置
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
KR20090032261A (ko) 2007-09-27 2009-04-01 삼성전자주식회사 움직임 추정에 기초하여 움직임 보상을 수행하는 영상 처리장치 및 그 방법
JP5152483B2 (ja) 2007-10-05 2013-02-27 ソニー株式会社 撮像装置
EP3836539B1 (en) 2007-10-10 2024-03-13 Gerard Dirk Smits Image projector with reflected light tracking
CN101822068B (zh) 2007-10-11 2012-05-30 皇家飞利浦电子股份有限公司 用于处理深度图的方法和设备
US20100259655A1 (en) 2007-11-01 2010-10-14 Konica Minolta Holdings, Inc. Imaging device
KR100927347B1 (ko) 2007-11-13 2009-11-24 파워옵틱스 주식회사 줌렌즈 광학계
JP4831514B2 (ja) 2007-11-13 2011-12-07 独立行政法人情報通信研究機構 設定パラメータ最適化装置およびそのプログラム
US8791984B2 (en) 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
CN100465699C (zh) 2007-12-05 2009-03-04 浙江大学 利用棱镜分光渐晕补偿实现多ccd无缝拼接的光电***
KR101349589B1 (ko) 2007-12-13 2014-01-10 엘지이노텍 주식회사 카메라 모듈
US8300086B2 (en) 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation
US20090185067A1 (en) 2007-12-21 2009-07-23 Stereo Display, Inc. Compact automatic focusing camera
EP2227711A4 (en) 2008-01-02 2014-01-22 Univ California TELEMIC ROSCOPY DEVICE WITH HIGH NUMERICAL APERTURE
US7978222B2 (en) 2008-03-01 2011-07-12 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for image stabilization
WO2009111642A1 (en) 2008-03-05 2009-09-11 Contrast Optical Design & Engineering, Inc. Multiple image camera and lens system
CN101981915B (zh) 2008-03-26 2014-03-05 柯尼卡美能达精密光学株式会社 摄像装置
JP5786149B2 (ja) 2008-03-28 2015-09-30 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク 汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法
CN101571666A (zh) 2008-04-28 2009-11-04 鸿富锦精密工业(深圳)有限公司 成像设备
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US9001187B2 (en) 2009-05-11 2015-04-07 CapsoVision, Inc. Capsule imaging system having a folded optical axis
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
WO2009147814A1 (ja) 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP5223486B2 (ja) 2008-06-18 2013-06-26 ソニー株式会社 電子双眼鏡
WO2010010712A1 (ja) 2008-07-24 2010-01-28 パナソニック株式会社 カメラ駆動装置
JP2010041381A (ja) 2008-08-05 2010-02-18 Nikon Corp 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム
KR100942925B1 (ko) 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
US8451318B2 (en) 2008-08-14 2013-05-28 Remotereality Corporation Three-mirror panoramic camera
US8305425B2 (en) 2008-08-22 2012-11-06 Promos Technologies, Inc. Solid-state panoramic image capture apparatus
JP2010067014A (ja) 2008-09-11 2010-03-25 Ricoh Co Ltd 画像分類装置及び画像分類方法
CN102165496B (zh) 2008-09-25 2014-08-13 皇家飞利浦电子股份有限公司 三维图像数据处理
CN102177465B (zh) 2008-10-14 2014-06-18 日本电产三协株式会社 摄影用光学装置
US8267601B2 (en) 2008-11-04 2012-09-18 James Cameron Platform for stereoscopy for hand-held film/video camera stabilizers
JP4852591B2 (ja) 2008-11-27 2012-01-11 富士フイルム株式会社 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
CN101770059B (zh) 2008-12-27 2012-06-20 鸿富锦精密工业(深圳)有限公司 相机模组
US9395617B2 (en) 2009-01-05 2016-07-19 Applied Quantum Technologies, Inc. Panoramic multi-scale imager and method therefor
US8326036B2 (en) 2009-02-20 2012-12-04 Qylur Security Systems, Inc. Automated image separation method
GB0903689D0 (en) 2009-03-03 2009-04-15 Sigmavision Ltd Vehicle tyre measurement
JP5316118B2 (ja) 2009-03-12 2013-10-16 オムロン株式会社 3次元視覚センサ
US20100265313A1 (en) 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US20100278423A1 (en) 2009-04-30 2010-11-04 Yuji Itoh Methods and systems for contrast enhancement
US8503778B2 (en) 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
US8170408B2 (en) 2009-05-18 2012-05-01 Invensense, Inc. Optical image stabilization in a digital still camera or handset
US8194170B2 (en) 2009-06-02 2012-06-05 Algonquin College Axicon lens array
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
US8405750B2 (en) 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
CN101581828B (zh) 2009-06-09 2011-06-22 苏州大学 环形孔径超薄光学成像***
US9479768B2 (en) 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
JP5293463B2 (ja) 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
JP5450200B2 (ja) 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
US8294073B1 (en) 2009-10-01 2012-10-23 Raytheon Company High angular rate imaging system and related techniques
US9063345B2 (en) 2009-10-19 2015-06-23 Pixar Super light-field lens with doublet lenslet array element
JP5539818B2 (ja) 2009-10-20 2014-07-02 富士フイルム株式会社 撮像レンズおよび撮像装置
US8325187B2 (en) 2009-10-22 2012-12-04 Samsung Electronics Co., Ltd. Method and device for real time 3D navigation in panoramic images and cylindrical spaces
US8457398B2 (en) 2009-10-27 2013-06-04 Himax Media Solutions, Inc. Image enhancement method and apparatuses utilizing the same
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011066275A2 (en) 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
WO2011081646A1 (en) 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
US8442392B2 (en) 2009-12-22 2013-05-14 Nokia Corporation Method and apparatus for operating the automatic focus or the optical imaging stabilizing system
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
JP5683025B2 (ja) 2010-04-19 2015-03-11 パナソニックIpマネジメント株式会社 立体画像撮影装置および立体画像撮影方法
JP5593118B2 (ja) 2010-04-30 2014-09-17 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
WO2011155318A1 (ja) 2010-06-08 2011-12-15 日本電産サンキョー株式会社 振れ補正装置、撮影用光学装置およびレンズ駆動装置
JP5622443B2 (ja) 2010-06-08 2014-11-12 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
JP5138734B2 (ja) 2010-06-15 2013-02-06 シャープ株式会社 撮像レンズ、および撮像モジュール
CN101902657B (zh) 2010-07-16 2011-12-21 浙江大学 一种基于深度图分层的虚拟多视点图像的生成方法
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
TWI409577B (zh) 2010-08-20 2013-09-21 Primax Electronics Ltd 光學影像系統
US20120056987A1 (en) 2010-09-03 2012-03-08 Luke Fedoroff 3d camera system and method
JP5392415B2 (ja) 2010-09-22 2014-01-22 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
WO2012041390A1 (en) 2010-10-01 2012-04-05 Contex A/S Signal intensity matching of image sensors
WO2012078114A1 (en) 2010-12-09 2012-06-14 Nanyang Technological University Method and an apparatus for determining vein patterns from a colour image
JP5716465B2 (ja) 2011-03-09 2015-05-13 ソニー株式会社 撮像装置
US9197798B2 (en) 2011-03-25 2015-11-24 Adobe Systems Incorporated Thin plenoptic cameras using microspheres
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
US8928988B1 (en) 2011-04-01 2015-01-06 The Regents Of The University Of California Monocentric imaging
EP2695385B8 (en) 2011-04-08 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
US20120293607A1 (en) 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
CN103597810B (zh) 2011-05-27 2017-02-15 诺基亚技术有限公司 图像拼接
EP2721828B1 (en) 2011-06-15 2015-07-15 Microsoft Technology Licensing, LLC High resolution multispectral image capture
TWI507807B (zh) 2011-06-24 2015-11-11 Mstar Semiconductor Inc 自動對焦方法與裝置
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US8896890B2 (en) 2011-06-30 2014-11-25 Lexmark International, Inc. Image capture system having a folded optical path
JP5848052B2 (ja) 2011-07-21 2016-01-27 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US8855476B2 (en) 2011-09-28 2014-10-07 DigitalOptics Corporation MEMS MEMS-based optical image stabilization
WO2013059399A1 (en) 2011-10-20 2013-04-25 Monsanto Technology Llc Plant stand counter
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
US8582220B2 (en) 2011-12-05 2013-11-12 Himax Technologies Limited Lens module
CN202405984U (zh) 2011-12-10 2012-08-29 东莞市旭业光电科技有限公司 一种用于音圈马达的垫片
KR101975893B1 (ko) 2012-03-21 2019-09-10 엘지이노텍 주식회사 카메라 모듈
US9210405B2 (en) 2012-03-22 2015-12-08 Qualcomm Technologies, Inc. System and method for real time 2D to 3D conversion of video in a digital camera
KR101818778B1 (ko) 2012-03-23 2018-01-16 한국전자통신연구원 실감 파노라마 영상 생성을 위한 3d 데이터 포맷 생성/소비 장치 및 방법
US20130260823A1 (en) 2012-03-31 2013-10-03 Ashutosh Y. Shukla Compact Portable Electronic Device Having Augmented Back Volume for Speaker
NL2008639C2 (en) 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
EP2677734A3 (en) 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
EP2677733A3 (en) 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
WO2014012603A1 (en) 2012-07-17 2014-01-23 Heptagon Micro Optics Pte. Ltd. Optical devices, in particular computational cameras, and methods for manufacturing the same
CN105787909B (zh) 2012-08-08 2018-07-20 杜比实验室特许公司 用于高动态范围图像的图像处理
JP6207303B2 (ja) * 2012-09-10 2017-10-04 キヤノン株式会社 制御装置、制御装置を備えるアクチュエータ、画像振れ補正装置、交換用レンズ、撮像装置、及び自動ステージ
JP6116168B2 (ja) * 2012-09-14 2017-04-19 キヤノン株式会社 情報処理装置およびその方法
JP5995624B2 (ja) * 2012-09-19 2016-09-21 キヤノン株式会社 撮像装置および交換レンズ
JP5995637B2 (ja) * 2012-10-04 2016-09-21 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、記憶媒体
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9659991B2 (en) * 2012-10-22 2017-05-23 Canon Kabushiki Kaisha Image capturing apparatus, manufacturing method thereof, and camera
JP2014112302A (ja) 2012-12-05 2014-06-19 Ricoh Co Ltd 所定領域管理システム、通信方法、及びプログラム
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9568713B2 (en) 2013-01-05 2017-02-14 Light Labs Inc. Methods and apparatus for using multiple optical chains in parallel to support separate color-capture
US9171355B2 (en) 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
JP2015036716A (ja) 2013-08-12 2015-02-23 ソニー株式会社 像ぶれ補正装置及び撮像装置
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
EP2860699A1 (en) 2013-10-11 2015-04-15 Telefonaktiebolaget L M Ericsson (Publ) Technique for view synthesis
US9223118B2 (en) 2013-10-31 2015-12-29 Apple Inc. Small form factor telephoto camera
CN203745777U (zh) 2014-01-10 2014-07-30 瑞声声学科技(深圳)有限公司 阵列式镜头装置
CN106031147B (zh) * 2014-02-13 2019-04-09 索尼公司 用于使用角膜反射调整相机设置的方法和***
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US20150373269A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Parallax free thin multi-camera system capable of capturing full wide field of view images
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
US10070055B2 (en) * 2015-03-25 2018-09-04 Massachusetts Institute Of Technology Devices and methods for optically multiplexed imaging
US20170038502A1 (en) 2015-08-06 2017-02-09 Qualcomm Incorporated Methods and apparatus having a two-surface microlens array for low f-number plenoptic cameras

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201917706U (zh) * 2009-10-20 2011-08-03 富士胶片株式会社 摄像透镜以及摄像装置
CN203519914U (zh) * 2011-04-28 2014-04-02 富士胶片株式会社 成像镜头和成像设备
CN203519911U (zh) * 2011-04-28 2014-04-02 富士胶片株式会社 成像镜头和成像设备
CN203551875U (zh) * 2011-04-28 2014-04-16 富士胶片株式会社 成像镜头和成像设备
JP2013117568A (ja) * 2011-12-01 2013-06-13 Olympus Corp 視差画像取得装置、携帯情報端末及び視差画像取得方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737724A (zh) * 2017-04-17 2018-11-02 英特尔公司 用于360视频捕获和显示的***和方法
CN107370933A (zh) * 2017-09-19 2017-11-21 信利光电股份有限公司 一种多摄像头模组
CN107483790A (zh) * 2017-09-19 2017-12-15 信利光电股份有限公司 一种多摄像头模组
CN107509017A (zh) * 2017-09-19 2017-12-22 信利光电股份有限公司 一种多摄像头模组

Also Published As

Publication number Publication date
US9843723B2 (en) 2017-12-12
KR101877160B1 (ko) 2018-08-07
JP2017525221A (ja) 2017-08-31
KR20170020777A (ko) 2017-02-24
JP2017525206A (ja) 2017-08-31
US9819863B2 (en) 2017-11-14
CA2952623A1 (en) 2015-12-23
EP3158725B1 (en) 2020-07-29
BR112016029565A2 (pt) 2017-08-22
EP3158725A1 (en) 2017-04-26
WO2015196082A1 (en) 2015-12-23
CN106415392A (zh) 2017-02-15
WO2015195629A1 (en) 2015-12-23
CN106462050B (zh) 2019-02-22
CN106415392B (zh) 2019-06-14
KR20170020797A (ko) 2017-02-24
EP3158726A1 (en) 2017-04-26
US20150373268A1 (en) 2015-12-24
US20150373279A1 (en) 2015-12-24

Similar Documents

Publication Publication Date Title
CN106462050B (zh) 用于半球形和球形成像的宽视场阵列相机
US9733458B2 (en) Multi-camera system using folded optics free from parallax artifacts
KR102008054B1 (ko) 굴절 프리즘들을 이용하는 폴딩되는 광학 어레이 카메라
US10044919B2 (en) Structures and methods for capturing images by a portable electronic device
KR102225429B1 (ko) 시차 및 틸트 아티팩트들이 없는 폴딩형 광학계를 이용한 멀티-카메라 시스템
US20150373269A1 (en) Parallax free thin multi-camera system capable of capturing full wide field of view images
CN106464813B (zh) 能够捕获全宽视野图像的无视差薄型多相机***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant