CN113891059B - 对双摄像机进行立体校准的方法 - Google Patents
对双摄像机进行立体校准的方法 Download PDFInfo
- Publication number
- CN113891059B CN113891059B CN202111346427.3A CN202111346427A CN113891059B CN 113891059 B CN113891059 B CN 113891059B CN 202111346427 A CN202111346427 A CN 202111346427A CN 113891059 B CN113891059 B CN 113891059B
- Authority
- CN
- China
- Prior art keywords
- camera
- parameters
- initial intrinsic
- intrinsic parameters
- disparity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000009977 dual effect Effects 0.000 claims abstract description 25
- 238000007670 refining Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000012937 correction Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000004164 analytical calibration Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
对包含一第一摄像机及一第二摄像机的一双摄像机进行立体校准的的方法。在一些实施例中,一方法包含:使用所述摄像机的初始内在参数及可选地初始外在参数,来获得优化外在参数及优化内在参数;使用所述优化外在参数及所述外在参数,来估计一无穷大偏移量e;使用所述优化外在参数、所述外在参数及所述无穷大偏移量参数e,来估计一缩放因子s,其中一起使用所述优化外在参数及所述外在参数、所述无穷大偏移量e及所述缩放因子s,来提供立体校准,从而改善深度估计。
Description
相关申请
本申请为申请号202080002266.3(PCT/IB2020/051948)、申请日2020年03月06日、发明名称为“用于动态立体校准的方法及***”的分案申请。本申请要求2019年3月9日提交的美国临时专利申请No.62/816,097的优先权,其内容通过引用整体并入本文。
技术领域
本文公开的实施例基本上涉及例如在立体数字摄像机中的光学仪器校准,尤其是涉及在双孔径数字摄像机(“双摄像机”)中的立体校准,所述双孔径数字摄像机配置成用以被合并在车辆中作为一驾驶员辅助***的一部分。
背景技术
定义:
“动态立体校准”–在使用立体摄像机(移动或不移动)的情况下,在没有一已知校准表的情况下估计一立体(双)摄像机的“立体参数”。
“立体参数”:为了产生一高精度的深度图而需要进行校准的立体摄像机参数,包括内在参数(对于每个摄像机)及外在参数(对于每个摄像机对)。
“内在参数”:包括焦距、X及Y轴上的光轴以及透镜畸变系数的参数。
“外在参数”:包括三个相对(两个摄像机之间)角度(偏摆、俯仰及滚转)及三个偏移量(Tx、Ty及Tz)的参数。
“视差轴”:视差的轴线(在我们的XYZ坐标系中,如果摄像机水平放置,则为X)。
“非视差轴”:垂直于所述视差轴的轴线(在我们的XYZ坐标系中,如果摄像机水平放置,则为Y)。
高级驾驶员辅助***(Advanced Driver-Assistance Systems,ADAS)是已知的。包含在车辆中的一高级驾驶员辅助***结合了传感器及算法,以理解所述车辆的环境,从而使所述车辆的一驾驶员可以得到辅助或收到危险警告。高级驾驶员辅助***依靠计算机视觉,计算机视觉在获取、处理、分析及理解环境及周围物体方面起着关键作用。通常,高级驾驶员辅助***使用带有两个或多个摄像机或“摄像机模块”的多摄像机***。
图1A示出了具有各种布置的多摄像机***的车辆的俯视图。术语“车辆”可适用于任何车辆,包括但不限于汽车、摩托车、卡车、公共汽车、飞机、自行车等。在(a)中,一双摄像机***包含沿着X轴彼此靠近布置的两个摄像机102及104。在此,视差轴为X轴,非视差轴为Y轴。两个摄像机可以共享一个公共外壳。在(b)中,两个摄像机彼此之间以比(a)中更大的距离沿着Y轴放置。在(c)中,两个摄像机110及112沿着作为视差轴的X轴来布置。在(d)中有四个摄像机114、116、118及120,在(e)中有三个摄像机122、124及126,并且在(f)中有两个摄像机128及130,如图所布置。摄像机不限于特定类型的摄像机。在一个示例中,摄像机可以是相同的。在一个示例中,摄像机可能在以下一个或多个参数方面有所不同:焦距、传感器大小、像素大小和/或间距和/或f值(f-number,f/#)。在一个示例中,摄像机可以是一彩色摄像机、一黑白摄像机或一红外线(IR)敏感摄像机。在一个示例中,一多摄像机***可以附加地包含红外投影机、光纤、激光、传感器或其组合(未示出)。
所述环境的准确深度图对于所述计算机视觉的正常运行是不可少的。一深度图是一种图像或图像通道,其包含涉及场景物体的表面到一视点的距离的信息。
用于创建所述环境的深度图的一种常见解决方案是使用一立体摄像机或一双摄像机(由两个子摄像机所组成的一摄像机)来成像及估计所述摄像机到物体的所述距离。为了深度图创建使用一双摄像机取决于计算在视场(field of view,FOV)中的各种物体的所述像素的视差。为了将以像素为单位的视差值准确地转换为以米为单位的真实深度,需要准确的摄像机立体校准。
一立体(或双)摄像机***的校准包含分析获取的数据,以评定所述内在参数及外在参数的准确度,并且相应地进行调整。
假定所有内在参数及外在参数都是已知的,则可以使用方程1来计算和/或估计在一车辆双摄像机***的所述视场中的一物体的距离(或“深度”)Z:
其中f是焦距,B是基线,D是以像素为单位的视差,“ps”是像素大小。
然而,实际上出厂校准及动态校准过程有内在参数与外在参数上存在有估计误差,可以一修正方程1’来表示:
其中“s”是一未知的缩放因子,是沿着一视差轴(即Tx)在焦距估计及转换的一累积误差,并且“e”代表一“无穷大视差误差”或“无穷大偏移量”,其封装了对左(“L”)及右(“R”)摄像机在光轴位置的所述估计误差(内在参数)以及沿着所述“非视差轴”旋转的估计误差(外在参数)。
图1B示出了对于e中的两个示例性误差在深度估计中的可能视差的一示例。假定e估计有0.5像素误差或1像素误差。所述图显示了用于具有焦距(f)等于1、像素大小(ps)等于0.0042毫米(mm)及基线(B)等于120毫米(mm)的一立体***的一图表(参见方程1’)。所述图表描绘了基于距离的分歧的误差百分比,所述图表对0.5像素误差与1像素误差(公式1'中的“e”)进行比较。甚至半个像素误差对深度估计的影响也非常明显,尤其是在远距离情况下。
在一主车辆中安装立体或双摄像机之前,手动立体校准是很困难的。由于摄像机生命周期的变化,维护一预安装立体校准是很困难的。此类变化可以包含(但不限于)热膨胀、振动及机械冲击,这会导致某些校准参数随着时间变化。校准安装在一挡风玻璃后的一立体(或双)摄像机是更加复杂的,因为所述挡风玻璃可能会引响所述立体摄像机的某些校准参数,例如通过扭曲所述摄像机的透视或视角。因此,仅在将所述摄像机安装在所述主车辆中之后才能执行所述校准。
已经有许多的尝试来解决所述立体摄像机校准问题,然而没有一个能够设计出符合工业需求的解决方案。某些解决方案尝试运行运动恢复结构(Structure from Motion,SFM)算法。运动恢复结构算法使用复杂的算法,其跟踪在连续图像中的移动特征以确定它的结构信息,然后处理所述图像帧以计算出一深度图。这种解决方案无法符合工业需求,因为运行这些处理非常地困难,并且对安装在一移动汽车中的所述摄像机的计算要求也很高。
因此,需要一种动态立体校准***及方法,其克服使用运动恢复结构技术的现有***及方法中的缺陷,这将是有益的。
发明内容
在各种实施例中,提供了用于对包含一第一摄像机及一第二摄像机的一立体数字摄像机进行动态立体校准的方法,每一个摄像机具有内在参数及外在参数,所述方法包括:基于输入内在参数及可选地输入外在参数,来获得优化外在参数及优化内在参数;使用所述优化外在参数及所述外在参数,来估计一偏移量参数e;使用所述优化外在参数、所述外在参数及经估计的偏移量参数e,来估计一缩放因子s;使用所述优化外在参数及所述外在参数、所述无穷大偏移量e及所述缩放因子s,来提供立体校准,从而改善深度估计。
在某些实施例中,本文公开的一种用于动态立体校准的方法,可以包含:选择用于所述第一摄像机的所述内在参数和/或所述外在参数的初始值及用于所述第二摄像机的所述内在参数的初始值。所述初始值可以从例如所述摄像机的设计(“标称”值)、出厂设定(如果对每个摄像机进行了校准)或所述摄像机的先前使用等得出。所述内在参数和/或所述外在参数的校准可以包含:捕获来自所述第一摄像机的至少一个图像及来自所述第二摄像机的至少一个图像;匹配来自所述第一摄像机的所述至少一个图像上的相应点与来自所述第二摄像机的所述至少一个图像上的相应点;及使用对极几何来计算所述第一摄像机及所述第二摄像机的优化内在参数及优化外在参数。这以经对准核线来提供所述第一摄像机与所述第二摄像机的一初始校准。可以使用一处理器来执行各种选择、计算、处理等,并且可以将所述处理的数据/结果存储在一存储器中。
估计偏移量参数e及缩放因子s的进一步动作可以包含:基于接收来自所述第一摄像机及所述第二摄像机的图像来获得至少两图像对,其中所述至少两图像对是通过所述第一摄像机及所述第二摄像机连续地拍摄的图像,其中每对图像(每个摄像机一个)需要同时地拍摄;匹配在所述至少两图像对上的相应点;及生成一视差图,其中所述视差图包含来自所述至少两图像对上的相应点所匹配的像素,其中具有恒定视差的像素被识别为在无穷大距离处的像素。
在某些实施例中,所述方法包含存储所述至少两图像对在一存储器中。
在某些实施例中,由所述第一摄像机所捕获的至少两图像对及由所述第二摄像机所捕获的所述至少两图像对的数量是由一处理器来确定的。
在某些实施例中,一旦捕获到一完整视场(FOV),所述处理器就停止从所述第一摄像机及所述第二摄像机接收至少两图像对。
在某些实施例中,所述立体数字摄像机安装在一车辆中。
在某些实施例中,所述立体数字摄像机配置成用以被合并在一车辆中,作为一驾驶员辅助***的一部分。
在某些实施例中,设定所述第一摄像机的所述初始内在参数及所述第二摄像机的所述初始内在参数的步骤包含一处理器,对用于所述立体数字摄像机的所述内在参数执行一初始猜测。
在某些实施例中,选择初始内在参数的步骤包含出厂校准。
在某些实施例中,所述选择初始内在参数包含来自光束法平差的独立估计。
在某些实施例中,选择初始内在参数包含来自运动恢复结构(SFM)的独立估计。
在某些实施例中,来自所述第一摄像机的所述至少一个图像及来自所述第二摄像机的至少一个图像存储在存储器中。
在某些实施例中,来自所述第一摄像机及所述第二摄像机的至少一个图像上的所述相应点存储在存储器中。
在某些实施例中,所述视差图存储在存储器中。
在某些实施例中,重复用于校准外在参数及内在参数的步骤,以获得一完整视场。
在某些实施例中,重复校准深度的步骤,以获得一完整视场。
在某些实施例中,所述内在参数是选自由焦距、图像失真及光轴所组成的一群组。
在某些实施例中,所述外在参数描述一个摄像机相对于另一个摄像机的平移及旋转。
在某些实施例中,所述方法包含使用无穷大视差来补偿估计误差。
在某些实施例中,所述方法包含识别在所述至少两图像对中的移动物体。
在某些实施例中,所述方法包含从所述视差图移除所述移动物体。
在某些实施例中,使用计算机视觉来识别所述移动物体。
在某些实施例中,使用高视差值来识别所述移动物体。
在某些实施例中,所述方法包含多次重复上述参考步骤中的步骤,并且对结果进行平均。
在一实施例中,提供了一种用于动态立体摄像机校准的方法,包括从一双摄像机获得至少两图像对,对所述至少两图像对执行本地注册,并且获得一注册图,查找所述注册图中的一最小视差,计算一最小视差值,定义一全局最小视差值,及使用所述全局最小视差值来校准所述双摄像机。
附图说明
本文中的一些实施例仅通过示例的方式参考附图进行了描述。现在具体地具体参考附图,要强调的是,所示出的细节是作为示例并且出于对本申请的实施例的说明性讨论的目的。就这一点而言,结合附图进行的描述对于本领域技术人员而言是显而易见的,可以如何实践本申请的实施例。在附图中:
图1A示出了具有各种布置的多摄像机***的车辆的俯视图。
图1B示出了由于无穷大视差所导致在深度估计中的可能视差的一示例。
图2A示出了描述用于校准立体参数的一示例性实施例的一流程图。
图2B示出了描述用于校准立体参数的一示例性实施例的一流程图。
图3A示出了描述本文公开的一种用于无穷大校正的方法的一示例性实施例的一流程图。
图3B示出了描述本文公开的一种用于无穷大校正的方法的一示例性实施例的一流程图。
图4A示出了描述本文公开的一种方法中的一种用于估计物体比例的方法的一示例性实施例的一流程图。
图4B示出了描述本文公开的一种方法中的另一种用于估计物体比例的方法的一示例性实施例的一流程图。
图5描述了安装在一车辆中并且用于执行本文公开的一种方法的一***。
具体实施方式
本文公开的实施例描述了所述内在参数及所述外在参数的动态立体校准的方法,包含方程1’的“附加”参数、缩放因子s及视差误差e的估计。虽然方程中的所有参数都可以在一工厂(在其中组装双摄像机和/或组装车辆)中估算,但由于多种因素,所述参数在所述摄像机的生命周期中可能会发生变化,包含(但不限于)子摄像机之间的偏移、子摄像机之间的倾斜、子摄像机的透镜与传感器之间的偏移、摄像机焦距的变化等。
本申请有效地校准所述摄像机参数,以确保所述摄像机正确地观看其周围环境并且能够有效地计算距离。
图2A示出了描述用于校准一立体摄像机的内在参数及外在参数的一示例性方法的一实施例的一流程图。在步骤202中,为两个摄像机选择初始外在参数和/或初始内在参数。一初始校准参数可以通过来自光束法平差的独立估计、运动恢复结构、先前的校准参数等,从出厂设定(所述立体摄像机已知的所有标称值-焦距、透镜失真、光轴、基线等)来估计。在步骤204中,对内在参数及(可选地)外在参数进行校准。所述校准包含:在子步骤208中,获得第一组左右图像;在子步骤210中,匹配相应点;分别地对右图像及左图像使用一特征提取方法;及在所述右图像中查找左图像的所述相应特征。最少需要四对点,但通常使用几百对点。在子步骤212中,通过计算外在参数继续进行所述校准,例如使用基本矩阵估计及分解、估计3个角度(偏摆、俯仰及滚转)及到未知比例的转换(三个偏移量)Tx、Ty、Tz。然后,在子步骤214中,使用一优化技术(即,梯度标准)来精化所述内在参数,以最小化所选的内在参数上的非视差轴误差。所述精化包含:沿所述非视差轴(NDA)对每个匹配特征点计算所述图像位置差异。所述优化的目的是最小化来自所有图像中的所有匹配特征的绝对非视差轴的总和。在一个完美校准的立体***中,所述绝对非视差轴的总和将收敛为零。对于实际情况,例如,可以设定一个停止条件,使所述最小化的平均绝对非视差轴处于从零开始的一“增量”值之内。例如,所述增量值可以是0.1像素。使用另一个停止条件及示例,所述停止条件可以是小于0.25像素的一最大绝对非视差轴。
步骤204的输出是优化立体校准参数206,即一校准双摄像机输出,其允许将所述摄像机***的输出改正成具有平行核线的一对图像。然后,所述优化立体校准参数使用在估计无穷大偏移量e及缩放因子s。
这种优化问题可以利用多种优化技术来解决,例如梯度下降。在这个子步骤中,精化内在参数包含左右摄像机之间的焦距比、透镜失真系数及“非视差”光轴差异。
图2B示出了描述用于校准一立体摄像机的内在参数及外在参数的一示例性方法的另一实施例的一流程图。所述实施例类似于图2A的实施例,但有以下变化:
1.迭代步骤208及210,直到收集到足够的匹配点:这是在步骤211中执行的一迭代过程,直到所述匹配特征均匀分布在所述摄像机的视场(FOV)及与所述摄像机隔开一距离,例如通过在N0 x N0 x FOV_Pdisp的一3D框中具有5个相应点(N~1/20FOV P~1/10视差范围,以像素为单位)。
2.迭代步骤212及214,直到达到稳态:这是在步骤213中执行的一迭代过程。在步骤214中,精化内在参数之后,在步骤212中,重新计算外在参数,并且进行精化直到所述参数值或绝对非视差轴的总和达到稳态。
图3A示出了描述一种用于无穷大校正(即,用于估计方程1’中的无穷大偏移量e)的方法的一示例性实施例的一流程图。所述方法是在一动态环境中(例如,在一给定车辆中驾驶时)使用一双摄像机来实现的。在步骤302中,当运动时,获得至少两组立体图像(例如,4个图像,二个左图像及二个右图像)。在步骤304中,匹配在每组左图像与右图像中的相应点。在步骤306中,匹配在两组图像之间的相应点。与用一组图像来执行的左对右(L-R)特征的所述匹配相比,在步骤306中,在各种车辆位置(即,在步骤304中,在不同组立体图像中所获得的同一点),所述匹配是左对左(L-L)和/或右对右(R-R)。在步骤308中,生成了相应点的视差图。所述视差图的生成包含:计算在两个时间帧中,在步骤304及306中匹配的所有特征的所述视差值。不论是通过改正所述输入图像(在步骤302之前)或是仅改正所述相应特征(在步骤308之前),这个步骤必须在改正点上完成。然后,在输出206中获得(估计)改正参数(即立体参数)。在某些实施例中,当提到“视差”时,假定使用改正图像或改正图像坐标。在步骤310中,在不同时间步长上(所述车辆运动时)具有恒定视差的像素标记为“无穷大”距离。然后在步骤312中,估计所述无穷大偏移量e,其被定义为在无穷大处的点的所述视差。在某些实施例中,这是通过平均所有无穷大标记的像素的所述视差来完成的。在某些实施例中,仅一个无穷大标记的像素就足够了,尽管实际上将会使用几十个。
可选地,过滤静止物体的一步骤314可以在估计无穷大偏移量e的步骤312之前来执行。对所述双摄像机和/或所述给定车辆(例如,另一辆以与所述给定车辆相同的速度及方向驱动的车辆)是静止的物体将具有恒定视差(与无穷大像素相同),因此需要从所述无穷大偏移量估计中过滤出来。所述过滤可以包含例如对具有足够大的视差(无穷大视差将接近于零)的像素进行阈值处理或通过机器学习来检测汽车/摩托车/自行车。
图3B示出了描述另一种用于无穷大校正的方法的一示例性实施例的一流程图。实施例与图3A中的实施例相似,除了一附加循环(迭代)步骤316外,步骤316迭代步骤302至308,以确保估计无穷大偏移量的步骤312具有足够数量的无穷大像素(通常需要更多无穷大标记的像素),即达到无穷大偏移量估计的一稳态。
图4A示出了描述一种用于估计比例(估计方程1’中的缩放因子)的方法的一示例性实施例的一流程图。如同无穷大偏移量e的估计,所述方法是在一动态环境中(例如,在一给定车辆中驾驶时)使用一双摄像机来实现的。在步骤402中,当运动时,获得至少一组立体图像。在步骤404中,使用一检测算法,通过在所述获取图像的其中一个内查找一已知尺寸物体来检测已知尺寸物体(OKD)。我们将一“经检测已知尺寸物体”定义为XOKD。经检测已知尺寸物体可以是例如一车牌长度、一交通速度标志直径或彼此相同和/或在一给定位置(城市、州、国家、大洲等)具有恒定尺寸的任何其他物体。在步骤406中,每个已知尺寸物体上的所述相应点匹配到所述相应立体图像,并且在步骤408中,以像素为单位来计算已知物体的大小。所述大小的计算可以包含使用一细分算法来查找与所述物体关联的所有像素,及计算其尺寸POKD(例如,车牌长度或交通速度标志直径)。在步骤410中,使用改正图像或改正图像坐标(如同在步骤308中)来计算所述已知尺寸物体的所述视差。在步骤412中,使用例如摄像机焦距及物体像素大小作为距离=焦距(focal_length)*经检测已知尺寸物体(XOKD)/已知物体尺寸(POKD)来计算所述经检测已知尺寸物体与所述双摄像机的距离。
在一些实施例中,由于物体尺寸可能是已知的,所以需要一组图像。在其他实施例中,可以获得多组图像,优选一千组图像,然而,也可以有效利用更少组图像。对缩放因子s的多个输出估计可以是许多测量值的平均值。
图4B示出了描述一种用于估计缩放因子s的方法的另一示例性实施例的一流程图。在步骤420中,当运动时,获得至少两组立体(左及右)图像。在步骤422中,查找(检测)相对于地面的静止物体(例如,通过用于交通标志/交通信号灯、建筑物和/或交叉路口的一检测算法)。在步骤424中,以类似于步骤304中的方式来匹配每组中的相应点。在步骤416中,以类似于步骤306中的方式来匹配多组图像之间的相应点。在步骤428中,以类似于步骤308中的方式生成相应点的一视差图。在步骤430中,获得(测量)在多组图像的每对之间,由所述车辆驱动的一距离ΔZ,如使用所述车辆的速度计/全球定位***(GPS)/外部惯性测量单元。然后,在步骤432中,使用下列方程1’及方程2(在步骤312中,已经估计所述无穷大偏移量e之后),使用所述静止物体的视差及所述驱动距离来估计缩放因子s,
此外,可以轻易地提取缩放因子s并且在许多样本中平均。
在替代实施例中,一双摄像机***从所述双摄像机获得一组两个图像。所述***执行了两个图像组的本地注册,并且获得一注册图。所述***通过查找所述注册图中的所述最小视差,计算所述最小视差值的最小值,定义一全局最小视差值,及使用所述全局最小视差值来校准所述双摄像机来进行。
图像注册是将不同的数据组转换为一个坐标系的过程。所述数据可以是多张照片、来自不同传感器的数据、时间、深度或视点。
图5示意性地示出了编号为500的一电子装置的一实施例,所述电子装置包含一双光圈摄像机(作为可以具有两个以上摄像机模块的一多光圈摄像机的一个特定示例)。电子装置500包括一第一摄像机模块502及一第二摄像机模块510,所述第一摄像机模块502包含一第一透镜模块504,所述第一透镜模块504形成被一第一图像传感器506所记录的一第一图像,所述第二摄像机模块510包含一第二透镜模块512,所述第二透镜模块512形成被一第二图像传感器514所记录的一图像。所述两个摄像机模块在不同方面可以是相同。例如,所述两个摄像机可能具有相似或不同的视场(FOV)。所述摄像机可以是不同类型的,例如具有对可见(VIS)波长范围或红外(IR)或其他波长范围敏感的图像传感器、飞行时间(TOF)相机等。电子装置500可以进一步包括一处理单元或应用处理器(Application Processor,AP)520。在一些实施例中,初始或先前校准数据可以存储在所述电子装置500的存储器524中。
在使用中,例如应用处理器520的一处理单元可以接收分别来自摄像机模块502及510的第一图像数据及第二图像数据(或第一图像或第二图像),并且供应摄像机控制信号给摄像机模块502及510,以确保同时地获取两个图像。在接收来自每个摄像机的至少一张图像后,应用处理器520会执行在图2A、图2B、图3A、图3B及图4A、图4B中所描述的过程。最终结果将是更新的立体校准参数,其可以存储在所述存储器524中,以供进一步使用。
应该理解的是,在权利要求书或说明书中提及“一个”或“一种”元件的情况下,这种引用不应被解释为仅存在这类元件中的一个。
可以实施本文所描述的方法来校准摄像机参数,就像用户每次开车时一样地频繁、或在每次使用时多次校准、或由制造商或用户提示预先设置好的排定校准周期,以在出厂时进行一次校准。本申请不需要网络或云访问,但是可以受益于具有用于存储或处理数据(例如图像的存储、访问维度数据、远程处理等)的访问。
公开的实施例能够独立地处理多组图像对,从而提供比标准技术更好的结果。公开的方法可以在不需要严格的顺序要求的情况下完成,与需要一系列20-100个图像对的运动恢复结构(SFM)不同。此外,当与其他已知处理及解决方案相比时,它们是独特的,因为它们(1)减少了对***的计算需求,并且(2)减少了校准参数所需要的图像数量。
除非另有定义,否则本文中使用的所有技术或/和科学术语具有与本申请所属领域的普通技术人员通常所理解的术语具有相同含义。
尽管本公开描述了有限数量的实施例,但是应当理解,可以对这种实施例进行许多变化、修改和其他应用。一般而言,应将本公开理解为不限于本文描述的具体实施例,而是仅由所附权利要求的范围限制。
Claims (8)
1.一种对包含一第一摄像机及一第二摄像机的一双摄像机进行立体校准的方法,其特征在于:所述方法包括:在一移动车辆,
a)选择用于所述第一摄像机及所述第二摄像机中的每一个的初始内在参数,其中所述初始内在参数包含所述第一摄像机及第二摄像机的内在参数的标称值;
b)使用所述双摄像机来获得第一组左右图像并且匹配在所述左右图像中的相应点以获得匹配特征点;
c)使用基本矩阵计算外在参数,其中所述外在参数包括所述第一摄像机及所述第二摄像机中的每一个的偏摆角度、俯仰角度及滚转角度;
d)基于所述匹配特征点来精化所述初始内在参数;
e)使用经精化的所述初始内在参数及经计算的所述外在参数来估计一无穷大偏移量,其中包含:动态地获得至少两组立体图像;通过计算在两个时间帧中在相同组中及多组之间匹配的所有特征的视差值来生成一视差图;将在不同时间步长上具有恒定视差的像素标记为各自在无穷大处的点;及从所述在无穷大处点的一各自视差来估计无穷大偏移量;
f)使用经精化的所述初始内在参数、经计算的所述外在参数及所述无穷大偏移量来估计一缩放因子,其中包含:动态地获得至少一组立体图像;在所述至少一组立体图像中检测至少一个已知尺寸物体,以获得一经检测已知尺寸物体;匹配在所述经检测已知尺寸物体中的相应点;计算所述经检测已知尺寸物体的大小;计算所述经检测已知尺寸物体的一视差;计算所述第一摄像机及所述第二摄像机与所述经检测已知尺寸物体的一距离;及使用所述大小、所述视差及所述距离,来估计所述缩放因子,其中所述缩放因子是沿着一视差轴在焦距估计及转换的一累积误差;以及
g)使用经精化的所述初始内在参数、经计算的所述外在参数、所述无穷大偏移量及所述缩放因子来更新用于立体校准的立体校准参数,从而通过在所述移动车辆中的所述双摄像机改善深度估计。
2.如权利要求1所述的方法,其特征在于:所述立体校准是一动态立体校准。
3.如权利要求1或2所述的方法,其特征在于:所述初始内在参数包含所述第一摄像机及第二摄像机的出厂校准的初始内在参数。
4.如权利要求1或2所述的方法,其特征在于:所述初始内在参数包含来自光束法平差所独立估计的所述第一摄像机及第二摄像机的初始内在参数。
5.如权利要求1或2所述的方法,其特征在于:所述初始内在参数包含来自运动恢复结构所独立估计的所述第一摄像机及第二摄像机的初始内在参数。
6.如权利要求1或2所述的方法,还包括:在所述外在参数的计算与在所述左右图像中的相应点的所述匹配之间进行迭代,直到收集到足够的匹配点。
7.如权利要求1或2所述的方法,其特征在于:所述精化所述初始内在参数包含:沿一非视差轴对每一个匹配特征点计算一图像位置差异,并且其中所述精化所述初始内在参数包含:满足一停止条件。
8.如权利要求6所述的方法,其特征在于:所述精化所述初始内在参数包含:沿一非视差轴对每一个匹配特征点计算一图像位置差异,并且其中所述精化所述初始内在参数包含:满足一停止条件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111346427.3A CN113891059B (zh) | 2019-03-09 | 2020-03-06 | 对双摄像机进行立体校准的方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962816097P | 2019-03-09 | 2019-03-09 | |
US62/816,097 | 2019-03-09 | ||
CN202111346427.3A CN113891059B (zh) | 2019-03-09 | 2020-03-06 | 对双摄像机进行立体校准的方法 |
CN202080002266.3A CN111971956B (zh) | 2019-03-09 | 2020-03-06 | 用于动态立体校准的方法及*** |
PCT/IB2020/051948 WO2020183312A1 (en) | 2019-03-09 | 2020-03-06 | System and method for dynamic stereoscopic calibration |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080002266.3A Division CN111971956B (zh) | 2019-03-09 | 2020-03-06 | 用于动态立体校准的方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113891059A CN113891059A (zh) | 2022-01-04 |
CN113891059B true CN113891059B (zh) | 2024-02-13 |
Family
ID=72426168
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111346427.3A Active CN113891059B (zh) | 2019-03-09 | 2020-03-06 | 对双摄像机进行立体校准的方法 |
CN202080002266.3A Active CN111971956B (zh) | 2019-03-09 | 2020-03-06 | 用于动态立体校准的方法及*** |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080002266.3A Active CN111971956B (zh) | 2019-03-09 | 2020-03-06 | 用于动态立体校准的方法及*** |
Country Status (5)
Country | Link |
---|---|
US (2) | US11315276B2 (zh) |
EP (2) | EP4224841A1 (zh) |
KR (2) | KR102268094B1 (zh) |
CN (2) | CN113891059B (zh) |
WO (1) | WO2020183312A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114765667A (zh) * | 2021-01-13 | 2022-07-19 | 安霸国际有限合伙企业 | 用于多视图拼接的固定图案校准 |
KR102557429B1 (ko) * | 2021-07-06 | 2023-07-20 | 한동대학교 산학협력단 | 어안렌즈 카메라를 이용한 자율 발렛 주차 시스템 및 방법 |
US11798192B1 (en) * | 2022-06-30 | 2023-10-24 | Plusai, Inc. | Methods and apparatus for calibrating stereo imagery using motion of vehicle |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1630487A (zh) * | 2002-02-11 | 2005-06-22 | 维思克斯公司 | 确定相对位置和旋转偏移 |
CN101231750A (zh) * | 2008-02-21 | 2008-07-30 | 南京航空航天大学 | 一种双目立体测量***的标定方法 |
CN102523464A (zh) * | 2011-12-12 | 2012-06-27 | 上海大学 | 一种双目立体视频的深度图像估计方法 |
CN103685936A (zh) * | 2012-09-25 | 2014-03-26 | 通用汽车环球科技运作有限责任公司 | 宽视场摄像机图像的校准和扭曲恢复 |
KR101597163B1 (ko) * | 2014-08-14 | 2016-02-24 | 아진산업(주) | 스테레오 카메라 교정 방법 및 장치 |
US9866820B1 (en) * | 2014-07-01 | 2018-01-09 | Amazon Technologies, Inc. | Online calibration of cameras |
Family Cites Families (338)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3085354A (en) | 1957-01-31 | 1963-04-16 | Westinghouse Electric Corp | Multi-gimbal flight simulator |
US3483452A (en) | 1968-09-11 | 1969-12-09 | Hercules Inc | Capacitors with polypropylene film and liquid dielectrics |
US3584513A (en) | 1969-01-06 | 1971-06-15 | Singer General Precision | Self-calibrating system for navigational instruments |
US3941001A (en) | 1973-11-09 | 1976-03-02 | Lear Siegler, Inc. | Gimbal control mechanism |
US4199785A (en) | 1979-01-05 | 1980-04-22 | Honeywell Inc. | Electronic zoom system |
JPS59191146A (ja) | 1983-04-13 | 1984-10-30 | Hitachi Ltd | 光学走査装置 |
US5099263A (en) | 1984-11-10 | 1992-03-24 | Minolta Camera Kabushiki Kaisha | Variable focal length camera |
DE58902538D1 (de) | 1988-05-19 | 1992-12-03 | Siemens Ag | Verfahren zur beobachtung einer szene und einrichtung zur durchfuehrung des verfahrens. |
DE3927334C1 (zh) | 1989-08-18 | 1991-01-10 | Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De | |
JP2703105B2 (ja) | 1989-10-20 | 1998-01-26 | 富士写真フイルム株式会社 | 手振れ補正装置 |
US5032917A (en) | 1990-03-12 | 1991-07-16 | Rca Licensing Corporation | Video signal blending apparatus |
JPH0443773A (ja) | 1990-06-11 | 1992-02-13 | Matsushita Electric Ind Co Ltd | 演算回路 |
US5041852A (en) | 1990-10-18 | 1991-08-20 | Fjui Photo Film Co., Ltd. | Camera shake correction system |
JP3261152B2 (ja) | 1991-03-13 | 2002-02-25 | シャープ株式会社 | 複数の光学系を備えた撮像装置 |
US5394520A (en) | 1991-09-26 | 1995-02-28 | Hughes Aircraft Company | Imaging apparatus for providing a composite digital representation of a scene within a field of regard |
US5657402A (en) | 1991-11-01 | 1997-08-12 | Massachusetts Institute Of Technology | Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method |
US5248971A (en) | 1992-05-19 | 1993-09-28 | Mandl William J | Method and apparatus for multiplexed oversampled analog to digital modulation |
JPH06177706A (ja) | 1992-12-08 | 1994-06-24 | Sony Corp | 信号処理装置 |
EP0605045B1 (fr) | 1992-12-29 | 1999-03-31 | Laboratoires D'electronique Philips S.A.S. | Procédé et dispositif de traitement d'images pour construire une image à partir d'images adjacentes |
US5682198A (en) | 1993-06-28 | 1997-10-28 | Canon Kabushiki Kaisha | Double eye image pickup apparatus |
US5805140A (en) | 1993-07-16 | 1998-09-08 | Immersion Corporation | High bandwidth force feedback interface using voice coils and flexures |
US6128416A (en) | 1993-09-10 | 2000-10-03 | Olympus Optical Co., Ltd. | Image composing technique for optimally composing a single image from a plurality of digital images |
JP3355787B2 (ja) | 1994-05-20 | 2002-12-09 | ソニー株式会社 | 光軸補正機構 |
US6714665B1 (en) | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
CA2155719C (en) | 1994-11-22 | 2005-11-01 | Terry Laurence Glatt | Video surveillance system with pilot and slave cameras |
JPH08271976A (ja) | 1995-03-29 | 1996-10-18 | Canon Inc | カメラ |
US5768443A (en) | 1995-12-19 | 1998-06-16 | Cognex Corporation | Method for coordinating multiple fields of view in multi-camera |
US5982951A (en) | 1996-05-28 | 1999-11-09 | Canon Kabushiki Kaisha | Apparatus and method for combining a plurality of images |
US5926190A (en) | 1996-08-21 | 1999-07-20 | Apple Computer, Inc. | Method and system for simulating motion in a computer graphics application using image registration and view interpolation |
JPH10126796A (ja) | 1996-09-12 | 1998-05-15 | Eastman Kodak Co | デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ |
US5960218A (en) | 1997-02-18 | 1999-09-28 | Mobi Corporation | Dual focal length camera |
US5940641A (en) | 1997-07-10 | 1999-08-17 | Eastman Kodak Company | Extending panoramic images |
US6148120A (en) | 1997-10-30 | 2000-11-14 | Cognex Corporation | Warping of focal images to correct correspondence error |
US6341180B1 (en) | 1997-12-18 | 2002-01-22 | Cellavision Ab | Image content autofocus for microscopy using a noise-insensitive focus filter |
JP3695119B2 (ja) | 1998-03-05 | 2005-09-14 | 株式会社日立製作所 | 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 |
US6208765B1 (en) | 1998-06-19 | 2001-03-27 | Sarnoff Corporation | Method and apparatus for improving image resolution |
GB9823689D0 (en) | 1998-10-30 | 1998-12-23 | Greenagate Limited | Improved methods and apparatus for 3-D imaging |
US6611289B1 (en) | 1999-01-15 | 2003-08-26 | Yanbin Yu | Digital cameras using multiple sensors with multiple lenses |
US6738073B2 (en) | 1999-05-12 | 2004-05-18 | Imove, Inc. | Camera system with both a wide angle view and a high resolution view |
US20020063711A1 (en) | 1999-05-12 | 2002-05-30 | Imove Inc. | Camera system with high resolution image inside a wide angle view |
US20020075258A1 (en) | 1999-05-12 | 2002-06-20 | Imove Inc. | Camera system with high resolution image inside a wide angle view |
US6346950B1 (en) | 1999-05-20 | 2002-02-12 | Compaq Computer Corporation | System and method for display images using anamorphic video |
US7038716B2 (en) | 1999-07-30 | 2006-05-02 | Pixim, Inc. | Mobile device equipped with digital image sensor |
US7015954B1 (en) | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
US6650368B1 (en) | 1999-10-26 | 2003-11-18 | Hewlett-Packard Development Company, Lp. | Digital camera and method of enhancing zoom effects |
US6643416B1 (en) | 1999-11-30 | 2003-11-04 | Eastman Kodak Company | Method for determining necessary resolution for zoom and crop images |
US20020005902A1 (en) | 2000-06-02 | 2002-01-17 | Yuen Henry C. | Automatic video recording system using wide-and narrow-field cameras |
JP2002010276A (ja) | 2000-06-22 | 2002-01-11 | Olympus Optical Co Ltd | 撮像装置 |
JP4501239B2 (ja) | 2000-07-13 | 2010-07-14 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
US7002583B2 (en) | 2000-08-03 | 2006-02-21 | Stono Technologies, Llc | Display of images and image transitions |
US6778207B1 (en) | 2000-08-07 | 2004-08-17 | Koninklijke Philips Electronics N.V. | Fast digital pan tilt zoom video |
US7345277B2 (en) | 2000-08-09 | 2008-03-18 | Evan Zhang | Image intensifier and LWIR fusion/combination system |
JP2002214662A (ja) | 2001-01-23 | 2002-07-31 | Olympus Optical Co Ltd | 光学装置の振れ補正装置 |
US6741250B1 (en) | 2001-02-09 | 2004-05-25 | Be Here Corporation | Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path |
GB2372659A (en) | 2001-02-23 | 2002-08-28 | Sharp Kk | A method of rectifying a stereoscopic image |
US7346217B1 (en) | 2001-04-25 | 2008-03-18 | Lockheed Martin Corporation | Digital image enhancement using successive zoom images |
JP2002341220A (ja) | 2001-05-14 | 2002-11-27 | Olympus Optical Co Ltd | 光学機器 |
GB0116877D0 (en) | 2001-07-10 | 2001-09-05 | Hewlett Packard Co | Intelligent feature selection and pan zoom control |
US6680748B1 (en) | 2001-09-27 | 2004-01-20 | Pixim, Inc., | Multi-mode camera and method therefor |
US20030093805A1 (en) | 2001-11-15 | 2003-05-15 | Gin J.M. Jack | Dual camera surveillance and control system |
US7339621B2 (en) | 2001-12-13 | 2008-03-04 | Psion Teklogix Systems, Inc. | Imager output signal processing |
JP4198449B2 (ja) | 2002-02-22 | 2008-12-17 | 富士フイルム株式会社 | デジタルカメラ |
JP2003298920A (ja) | 2002-03-29 | 2003-10-17 | Fuji Photo Film Co Ltd | デジタルカメラ |
GB2388265B (en) | 2002-04-30 | 2005-10-12 | Hewlett Packard Co | Improvements in and relating to processing of images |
JP4657564B2 (ja) | 2002-04-30 | 2011-03-23 | イーストマン コダック カンパニー | 電子スチルカメラ及び画像処理方法 |
CA2386560A1 (en) | 2002-05-15 | 2003-11-15 | Idelix Software Inc. | Controlling optical hardware and dynamic data viewing systems with detail-in-context viewing tools |
JP3870124B2 (ja) | 2002-06-14 | 2007-01-17 | キヤノン株式会社 | 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
US6839067B2 (en) | 2002-07-26 | 2005-01-04 | Fuji Xerox Co., Ltd. | Capturing and producing shared multi-resolution video |
US20040061788A1 (en) | 2002-09-26 | 2004-04-01 | Logitech Europe S.A. | Multiple mode capture button for a digital camera |
JP4481560B2 (ja) | 2002-10-08 | 2010-06-16 | オリンパス株式会社 | レンズ鏡筒 |
US7321470B2 (en) | 2002-10-08 | 2008-01-22 | Olympus Corporation | Camera |
GB2394852B (en) | 2002-10-31 | 2006-12-20 | Hewlett Packard Co | Image capture systems using motion detection |
JP2004219569A (ja) | 2003-01-10 | 2004-08-05 | Olympus Corp | 電子撮像装置 |
JP3861815B2 (ja) | 2003-01-17 | 2006-12-27 | コニカミノルタフォトイメージング株式会社 | 手振れ補正機能付きカメラ |
JP4055599B2 (ja) | 2003-02-13 | 2008-03-05 | コニカミノルタオプト株式会社 | 撮像レンズ装置およびそれを備えた電子機器 |
AU2003236050A1 (en) | 2003-03-20 | 2004-10-11 | Seijiro Tomita | Panoramic picture creating method and device, and monitor system using the method and device |
US20040240052A1 (en) | 2003-06-02 | 2004-12-02 | Pentax Corporation | Multiple-focal imaging device, and a mobile device having the multiple-focal-length imaging device |
US7596284B2 (en) | 2003-07-16 | 2009-09-29 | Hewlett-Packard Development Company, L.P. | High resolution image reconstruction |
US7619683B2 (en) | 2003-08-29 | 2009-11-17 | Aptina Imaging Corporation | Apparatus including a dual camera module and method of using the same |
JP2005099265A (ja) | 2003-09-24 | 2005-04-14 | Fujinon Corp | 撮像装置および撮像方法、ならびに測距方法 |
EP1536633A1 (en) | 2003-11-27 | 2005-06-01 | Sony Corporation | Photographing apparatus and method, supervising system, program and recording medium |
JP2005208194A (ja) | 2004-01-21 | 2005-08-04 | Konica Minolta Photo Imaging Inc | 撮影装置 |
KR20050090780A (ko) | 2004-03-10 | 2005-09-14 | 삼성전자주식회사 | 영상촬영장치 |
US7990422B2 (en) | 2004-07-19 | 2011-08-02 | Grandeye, Ltd. | Automatically expanding the zoom capability of a wide-angle video camera |
JP4894041B2 (ja) | 2004-07-20 | 2012-03-07 | 株式会社ファイブ・ディー | 電子撮像装置 |
US7564019B2 (en) | 2005-08-25 | 2009-07-21 | Richard Ian Olsen | Large dynamic range cameras |
WO2006026354A2 (en) | 2004-08-25 | 2006-03-09 | Newport Imaging Corporation | Apparatus for multiple camera devices and method of operating same |
US7916180B2 (en) | 2004-08-25 | 2011-03-29 | Protarius Filo Ag, L.L.C. | Simultaneous multiple field of view digital cameras |
US7465107B2 (en) | 2004-09-21 | 2008-12-16 | Canon Kabushiki Kaisha | Photographing apparatus and control method therefor |
KR101054344B1 (ko) | 2004-11-17 | 2011-08-04 | 삼성전자주식회사 | 박막 트랜지스터 표시판 및 그 제조 방법 |
US7688364B2 (en) | 2004-12-10 | 2010-03-30 | Ambarella, Inc. | Decimating and cropping based zoom factor for a digital camera |
KR100636969B1 (ko) | 2004-12-30 | 2006-10-19 | 매그나칩 반도체 유한회사 | Isp 내장형 이미지 센서 및 듀얼 카메라 시스템 |
US7573514B2 (en) | 2005-02-03 | 2009-08-11 | Eastman Kodak Company | Digital imaging system with digital zoom warning |
US7663662B2 (en) | 2005-02-09 | 2010-02-16 | Flir Systems, Inc. | High and low resolution camera systems and methods |
US7561191B2 (en) | 2005-02-18 | 2009-07-14 | Eastman Kodak Company | Camera phone using multiple lenses and image sensors to provide an extended zoom range |
US7236306B2 (en) | 2005-02-18 | 2007-06-26 | Eastman Kodak Company | Digital camera using an express zooming mode to provide expedited operation over an extended zoom range |
US20060187322A1 (en) | 2005-02-18 | 2006-08-24 | Janson Wilbert F Jr | Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range |
US7206136B2 (en) | 2005-02-18 | 2007-04-17 | Eastman Kodak Company | Digital camera using multiple lenses and image sensors to provide an extended zoom range |
US7256944B2 (en) | 2005-02-18 | 2007-08-14 | Eastman Kodak Company | Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range |
JP2006238325A (ja) | 2005-02-28 | 2006-09-07 | Canon Inc | カメラシステム |
KR100658150B1 (ko) | 2005-04-08 | 2006-12-15 | 삼성전기주식회사 | 카메라 모듈 및 이의 제작방법 |
WO2006137253A1 (ja) | 2005-06-22 | 2006-12-28 | Matsushita Electric Industrial Co., Ltd. | 画像生成装置および画像生成方法 |
KR20070005946A (ko) | 2005-07-05 | 2007-01-11 | 엘지전자 주식회사 | 휴대 단말기용 카메라 렌즈의 위치 검출 장치 |
JP2007033879A (ja) | 2005-07-27 | 2007-02-08 | Sony Corp | 撮像レンズ装置及び撮像装置 |
US7424218B2 (en) | 2005-07-28 | 2008-09-09 | Microsoft Corporation | Real-time preview for panoramic images |
JP4573725B2 (ja) | 2005-08-01 | 2010-11-04 | イーストマン コダック カンパニー | 複数光学系を有する撮像装置 |
JP4573724B2 (ja) | 2005-08-01 | 2010-11-04 | イーストマン コダック カンパニー | 複数光学系を有する撮像装置 |
US7964835B2 (en) | 2005-08-25 | 2011-06-21 | Protarius Filo Ag, L.L.C. | Digital cameras with direct luminance and chrominance detection |
JP4992720B2 (ja) | 2005-11-14 | 2012-08-08 | 株式会社ニコン | 像ブレ補正装置およびカメラ |
JP4788953B2 (ja) | 2005-11-16 | 2011-10-05 | ソニー株式会社 | 撮像装置及びズームレンズ |
US8238695B1 (en) | 2005-12-15 | 2012-08-07 | Grandeye, Ltd. | Data reduction techniques for processing wide-angle video |
US20070177025A1 (en) | 2006-02-01 | 2007-08-02 | Micron Technology, Inc. | Method and apparatus minimizing die area and module size for a dual-camera mobile device |
EP1984775A4 (en) | 2006-02-06 | 2010-03-31 | Nokia Corp | METHOD AND DEVICE FOR DETECTING POSITION IN AN IMAGING SYSTEM |
JP4579842B2 (ja) | 2006-02-06 | 2010-11-10 | イーストマン コダック カンパニー | 撮像装置 |
JP2009526257A (ja) | 2006-02-06 | 2009-07-16 | ノキア コーポレイション | ジンバルプリズムを用いた光学像スタビライザ |
US9182228B2 (en) | 2006-02-13 | 2015-11-10 | Sony Corporation | Multi-lens array system and method |
JP4622882B2 (ja) | 2006-02-21 | 2011-02-02 | カシオ計算機株式会社 | デジタルカメラ |
US7708478B2 (en) | 2006-04-13 | 2010-05-04 | Nokia Corporation | Actuator mechanism and a shutter mechanism |
US7773121B1 (en) | 2006-05-03 | 2010-08-10 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | High-resolution, continuous field-of-view (FOV), non-rotating imaging system |
JP2007306282A (ja) | 2006-05-11 | 2007-11-22 | Citizen Electronics Co Ltd | カメラモジュール |
KR100749337B1 (ko) | 2006-06-13 | 2007-08-14 | 삼성전자주식회사 | 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치 |
US7737379B2 (en) | 2006-07-19 | 2010-06-15 | Witdouck Calvin J | System and method for sorting larvae cocoons |
US8189100B2 (en) | 2006-07-25 | 2012-05-29 | Qualcomm Incorporated | Mobile device with dual digital camera sensors and methods of using the same |
US7756330B2 (en) | 2006-07-27 | 2010-07-13 | Eastman Kodak Company | Producing an extended dynamic range digital image |
US20080030592A1 (en) | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
US7667762B2 (en) | 2006-08-01 | 2010-02-23 | Lifesize Communications, Inc. | Dual sensor video camera |
JP2008076485A (ja) | 2006-09-19 | 2008-04-03 | Konica Minolta Opto Inc | レンズ鏡胴、及び撮像装置 |
JP2008096584A (ja) | 2006-10-10 | 2008-04-24 | Nikon Corp | カメラ |
US7697053B2 (en) | 2006-11-02 | 2010-04-13 | Eastman Kodak Company | Integrated display having multiple capture devices |
JP4448844B2 (ja) | 2006-11-22 | 2010-04-14 | 富士フイルム株式会社 | 複眼撮像装置 |
US7769205B2 (en) * | 2006-11-28 | 2010-08-03 | Prefixa International Inc. | Fast three dimensional recovery method and apparatus |
KR100871566B1 (ko) | 2006-12-04 | 2008-12-02 | 삼성전자주식회사 | 이미지 촬상 장치의 손떨림 보상을 위한 장치 및 방법 |
US7533819B2 (en) | 2007-01-31 | 2009-05-19 | Symbol Technologies, Inc. | Dual camera assembly for an imaging-based bar code reader |
US7978239B2 (en) | 2007-03-01 | 2011-07-12 | Eastman Kodak Company | Digital camera using multiple image sensors to provide improved temporal sampling |
US7859588B2 (en) | 2007-03-09 | 2010-12-28 | Eastman Kodak Company | Method and apparatus for operating a dual lens camera to augment an image |
US7729602B2 (en) | 2007-03-09 | 2010-06-01 | Eastman Kodak Company | Camera using multiple lenses and image sensors operable in a default imaging mode |
US7676146B2 (en) | 2007-03-09 | 2010-03-09 | Eastman Kodak Company | Camera using multiple lenses and image sensors to provide improved focusing capability |
US7683962B2 (en) | 2007-03-09 | 2010-03-23 | Eastman Kodak Company | Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map |
US9618748B2 (en) | 2008-04-02 | 2017-04-11 | Esight Corp. | Apparatus and method for a dynamic “region of interest” in a display system |
EP2149067A1 (en) | 2007-04-19 | 2010-02-03 | D.V.P. Technologies Ltd. | Imaging system and method for use in monitoring a field of regard |
US8794526B2 (en) | 2007-06-04 | 2014-08-05 | Hand Held Products, Inc. | Indicia reading terminal processing plurality of frames of image data responsively to trigger signal activation |
JP2009048516A (ja) * | 2007-08-22 | 2009-03-05 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
US8390729B2 (en) | 2007-09-05 | 2013-03-05 | International Business Machines Corporation | Method and apparatus for providing a video image having multiple focal lengths |
US20090086074A1 (en) | 2007-09-27 | 2009-04-02 | Omnivision Technologies, Inc. | Dual mode camera solution apparatus, system, and method |
JP2009109904A (ja) | 2007-10-31 | 2009-05-21 | Sony Corp | レンズ鏡筒及び撮像装置 |
US20090122195A1 (en) | 2007-11-09 | 2009-05-14 | Van Baar Jeroen | System and Method for Combining Image Sequences |
US20090128644A1 (en) | 2007-11-15 | 2009-05-21 | Camp Jr William O | System and method for generating a photograph |
US8310587B2 (en) | 2007-12-04 | 2012-11-13 | DigitalOptics Corporation International | Compact camera optics |
KR20090058229A (ko) | 2007-12-04 | 2009-06-09 | 삼성전기주식회사 | 듀얼 카메라 모듈 |
WO2009097552A1 (en) | 2008-02-01 | 2009-08-06 | Omnivision Cdm Optics, Inc. | Image data fusion systems and methods |
US8115825B2 (en) | 2008-02-20 | 2012-02-14 | Apple Inc. | Electronic device with two image sensors |
CN101276415A (zh) | 2008-03-03 | 2008-10-01 | 北京航空航天大学 | 用多定焦摄像机实现多分辨率图像采集的装置和方法 |
US20100097444A1 (en) | 2008-10-16 | 2010-04-22 | Peter Lablans | Camera System for Creating an Image From a Plurality of Images |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
FI20085510L (fi) | 2008-05-28 | 2009-11-29 | Valtion Teknillinen | Zoom-kamera -järjestely, joka käsittää useita alikameroita |
JP4513906B2 (ja) | 2008-06-27 | 2010-07-28 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
US8134589B2 (en) | 2008-07-17 | 2012-03-13 | Eastman Kodak Company | Zoom by multiple image capture |
KR101477178B1 (ko) | 2008-07-17 | 2014-12-29 | 삼성전자주식회사 | 듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영방법 |
GB2462095A (en) | 2008-07-23 | 2010-01-27 | Snell & Wilcox Ltd | Processing of images to represent a transition in viewpoint |
US8237807B2 (en) | 2008-07-24 | 2012-08-07 | Apple Inc. | Image capturing device with touch screen for adjusting camera settings |
US8786770B2 (en) | 2008-09-10 | 2014-07-22 | Panasonic Corporation | Camera body and imaging device |
CN101394487B (zh) | 2008-10-27 | 2011-09-14 | 华为技术有限公司 | 一种合成图像的方法与*** |
JP5230376B2 (ja) | 2008-11-28 | 2013-07-10 | 三星電子株式会社 | 撮像装置及び撮像方法 |
JP5265336B2 (ja) | 2008-12-25 | 2013-08-14 | 富士フイルム株式会社 | 手振れ補正装置及び光学機器 |
JP2010204341A (ja) | 2009-03-03 | 2010-09-16 | Nikon Corp | カメラ |
CN101833157A (zh) | 2009-03-13 | 2010-09-15 | 鸿富锦精密工业(深圳)有限公司 | 相机模组 |
WO2010108119A2 (en) | 2009-03-19 | 2010-09-23 | Flextronics Ap, Llc | Dual sensor camera |
WO2010116366A1 (en) | 2009-04-07 | 2010-10-14 | Nextvision Stabilized Systems Ltd | Video motion compensation and stabilization gimbaled imaging system |
KR101552481B1 (ko) | 2009-04-13 | 2015-09-21 | 삼성전자 주식회사 | 줌 렌즈 모듈 |
WO2010122841A1 (ja) | 2009-04-22 | 2010-10-28 | コニカミノルタオプト株式会社 | レンズ鏡胴、撮像装置及びレンズ鏡胴の製造方法 |
US8553106B2 (en) | 2009-05-04 | 2013-10-08 | Digitaloptics Corporation | Dual lens digital zoom |
SG177152A1 (en) | 2009-06-16 | 2012-01-30 | Intel Corp | Camera applications in a handheld device |
US20100321494A1 (en) | 2009-06-18 | 2010-12-23 | Theia Technologies, Llc | Compact dome camera |
WO2011005413A2 (en) | 2009-06-22 | 2011-01-13 | Omnivision Technologies, Inc. | System and method for an image sensor operable in multiple video standards |
WO2011009108A2 (en) | 2009-07-17 | 2011-01-20 | Universal Robotics, Inc. | System and method for automatic calibration of stereo images |
JP5846346B2 (ja) | 2009-08-21 | 2016-01-20 | ミツミ電機株式会社 | カメラの手振れ補正装置 |
CN201514511U (zh) | 2009-09-08 | 2010-06-23 | 华晶科技股份有限公司 | 潜望式镜头结构 |
KR101613928B1 (ko) | 2009-09-09 | 2016-04-20 | 엘지전자 주식회사 | 이동 단말기 |
ES2739036T3 (es) | 2009-09-14 | 2020-01-28 | Viion Systems Inc | Cámara de análisis de vídeo de resolución dual sacádica |
KR101617289B1 (ko) | 2009-09-30 | 2016-05-02 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
JP5513834B2 (ja) | 2009-10-13 | 2014-06-04 | 台湾東電化股▲ふん▼有限公司 | レンズ駆動装置 |
US8514491B2 (en) | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US8400555B1 (en) | 2009-12-01 | 2013-03-19 | Adobe Systems Incorporated | Focused plenoptic camera employing microlenses with different focal lengths |
US20110128288A1 (en) | 2009-12-02 | 2011-06-02 | David Petrou | Region of Interest Selector for Visual Queries |
CN102906763A (zh) | 2010-01-28 | 2013-01-30 | 美国路通创新科技公司 | 带有拍摄扫描装置和基于个人电脑的处理软件的文件成像*** |
JP5445235B2 (ja) | 2010-03-09 | 2014-03-19 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2011205374A (ja) | 2010-03-25 | 2011-10-13 | Fujifilm Corp | 表示装置 |
TWI478828B (zh) | 2010-03-26 | 2015-04-01 | Hon Hai Prec Ind Co Ltd | 車載影像系統及安裝有該車載影像系統的汽車 |
JP4783465B1 (ja) | 2010-03-26 | 2011-09-28 | 富士フイルム株式会社 | 撮像装置及び表示装置 |
US8456518B2 (en) | 2010-03-31 | 2013-06-04 | James Cameron & Vincent Pace | Stereoscopic camera with automatic obstruction removal |
US20110242342A1 (en) | 2010-04-05 | 2011-10-06 | Qualcomm Incorporated | Combining data from multiple image sensors |
US8547389B2 (en) | 2010-04-05 | 2013-10-01 | Microsoft Corporation | Capturing image structure detail from a first image and color from a second image |
US8446484B2 (en) | 2010-04-21 | 2013-05-21 | Nokia Corporation | Image processing architecture with pre-scaler |
TWI524752B (zh) | 2010-05-03 | 2016-03-01 | 量宏科技股份有限公司 | 用於高解析度影像及視訊擷取之裝置及方法 |
US20130250150A1 (en) | 2010-05-03 | 2013-09-26 | Michael R. Malone | Devices and methods for high-resolution image and video capture |
DE102010017057B4 (de) | 2010-05-21 | 2015-03-19 | Jena-Optronik Gmbh | Kamera mit mehreren Festbrennweiten |
CN101876533B (zh) * | 2010-06-23 | 2011-11-30 | 北京航空航天大学 | 一种显微立体视觉校准方法 |
CN103154816A (zh) | 2010-07-13 | 2013-06-12 | R·S·米尔拉伊 | 用于静态摄影的可变三维照相机组件 |
JP2012027263A (ja) | 2010-07-23 | 2012-02-09 | Sony Corp | 撮像装置、その制御方法およびプログラム |
US8493482B2 (en) | 2010-08-18 | 2013-07-23 | Apple Inc. | Dual image sensor image processing system and method |
US8896655B2 (en) | 2010-08-31 | 2014-11-25 | Cisco Technology, Inc. | System and method for providing depth adaptive video conferencing |
JP5609467B2 (ja) | 2010-09-15 | 2014-10-22 | 株式会社リコー | 撮像装置及び撮像方法 |
US8780251B2 (en) | 2010-09-20 | 2014-07-15 | Canon Kabushiki Kaisha | Image capture with focus adjustment |
US20120075489A1 (en) | 2010-09-24 | 2012-03-29 | Nishihara H Keith | Zoom camera image blending technique |
US20140192238A1 (en) | 2010-10-24 | 2014-07-10 | Linx Computational Imaging Ltd. | System and Method for Imaging and Image Processing |
US9204026B2 (en) | 2010-11-01 | 2015-12-01 | Lg Electronics Inc. | Mobile terminal and method of controlling an image photographing therein |
JP5719148B2 (ja) | 2010-11-10 | 2015-05-13 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
KR101731346B1 (ko) | 2010-11-12 | 2017-04-28 | 엘지전자 주식회사 | 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치 |
US9900522B2 (en) | 2010-12-01 | 2018-02-20 | Magna Electronics Inc. | System and method of establishing a multi-camera image using pixel remapping |
JP5589823B2 (ja) * | 2010-12-21 | 2014-09-17 | 株式会社リコー | ステレオカメラの校正装置および校正方法 |
US8274552B2 (en) | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
US10200671B2 (en) | 2010-12-27 | 2019-02-05 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
JP2012141442A (ja) | 2010-12-28 | 2012-07-26 | Sony Corp | レンズ保護装置、レンズユニット及び撮像装置 |
US8803990B2 (en) | 2011-01-25 | 2014-08-12 | Aptina Imaging Corporation | Imaging system with multiple sensors for producing high-dynamic-range images |
US8520080B2 (en) | 2011-01-31 | 2013-08-27 | Hand Held Products, Inc. | Apparatus, system, and method of use of imaging assembly on mobile terminal |
JP5814566B2 (ja) | 2011-02-28 | 2015-11-17 | オリンパス株式会社 | 撮像装置、撮像方法及び撮像装置の制御プログラム |
US20120229663A1 (en) | 2011-03-08 | 2012-09-13 | Spectral Instruments Imaging , Llc | Imaging system having primary and auxiliary camera systems |
JP5708097B2 (ja) | 2011-03-18 | 2015-04-30 | 株式会社リコー | 撮像装置、撮像方法、及び撮像プログラム |
US9172856B2 (en) | 2011-03-29 | 2015-10-27 | Microsoft Technology Licensing, Llc | Folded imaging path camera |
CN102739949A (zh) | 2011-04-01 | 2012-10-17 | 张可伦 | 多镜头相机和多镜头装置的控制方法 |
US8553129B2 (en) | 2011-05-10 | 2013-10-08 | Htc Corporation | Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device |
EP2523450B1 (en) | 2011-05-10 | 2014-05-14 | HTC Corporation | Handheld electronic device with dual image capturing method and computer program product |
KR101224790B1 (ko) | 2011-06-14 | 2013-01-21 | 삼성전기주식회사 | 영상 촬상 장치 |
US8605199B2 (en) | 2011-06-28 | 2013-12-10 | Canon Kabushiki Kaisha | Adjustment of imaging properties for an imaging assembly having light-field optics |
JP5821356B2 (ja) | 2011-07-15 | 2015-11-24 | ミツミ電機株式会社 | レンズ駆動装置 |
US9270875B2 (en) | 2011-07-20 | 2016-02-23 | Broadcom Corporation | Dual image capture processing |
JP6103840B2 (ja) | 2011-07-28 | 2017-03-29 | キヤノン株式会社 | 補正光学装置及び撮像装置 |
US8988564B2 (en) | 2011-09-09 | 2015-03-24 | Apple Inc. | Digital camera with light splitter |
EP2592823A3 (en) | 2011-10-12 | 2013-06-19 | Canon Kabushiki Kaisha | Image-capturing device |
US8947627B2 (en) | 2011-10-14 | 2015-02-03 | Apple Inc. | Electronic devices having displays with openings |
JP5884421B2 (ja) | 2011-11-14 | 2016-03-15 | ソニー株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
JP5741395B2 (ja) | 2011-11-16 | 2015-07-01 | コニカミノルタ株式会社 | 撮像装置 |
US8970655B2 (en) | 2011-12-16 | 2015-03-03 | Polycom, Inc. | Reflective and refractive solutions to providing direct eye contact videoconferencing |
US8619148B1 (en) | 2012-01-04 | 2013-12-31 | Audience, Inc. | Image correction after combining images from multiple cameras |
JP2013143753A (ja) | 2012-01-12 | 2013-07-22 | Olympus Corp | 撮像装置 |
KR20130090225A (ko) | 2012-02-03 | 2013-08-13 | 삼성전자주식회사 | 카메라 이미지 센서의 동작 모드 변경 방법 |
GB2499200B (en) | 2012-02-07 | 2014-12-17 | Canon Kk | Method and device for transitioning between an image of a first video sequence and an image for a second video sequence |
US8866943B2 (en) | 2012-03-09 | 2014-10-21 | Apple Inc. | Video camera providing a composite video sequence |
US20130258044A1 (en) | 2012-03-30 | 2013-10-03 | Zetta Research And Development Llc - Forc Series | Multi-lens camera |
US9029759B2 (en) | 2012-04-12 | 2015-05-12 | Nan Chang O-Film Optoelectronics Technology Ltd | Compact camera modules with features for reducing Z-height and facilitating lens alignment and methods for manufacturing the same |
JP2013238848A (ja) | 2012-04-20 | 2013-11-28 | Hoya Corp | 撮像装置 |
CN102722321A (zh) | 2012-05-22 | 2012-10-10 | 中兴通讯股份有限公司 | 双摄像头切换的方法及装置 |
US8953084B2 (en) | 2012-05-30 | 2015-02-10 | Digimarc Corporation | Plural focal-plane imaging |
JP2015527764A (ja) | 2012-06-08 | 2015-09-17 | ノキア コーポレイション | マルチ・フレーム画像キャリブレータ |
CN104350734B (zh) | 2012-06-11 | 2017-12-12 | 索尼电脑娱乐公司 | 图像生成设备以及图像生成方法 |
KR101991719B1 (ko) | 2012-06-29 | 2019-06-21 | 엘지이노텍 주식회사 | 카메라 모듈 |
US9134503B2 (en) | 2012-07-06 | 2015-09-15 | Apple Inc. | VCM OIS actuator module |
JP6444733B2 (ja) | 2012-07-12 | 2018-12-26 | ソニー株式会社 | 像振れ補正装置と像振れ補正方法および撮像装置 |
US9733717B2 (en) | 2012-07-12 | 2017-08-15 | Dual Aperture International Co. Ltd. | Gesture-based user interface |
KR102051501B1 (ko) | 2012-07-26 | 2019-12-03 | 엘지이노텍 주식회사 | 카메라 모듈 |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
US9609190B2 (en) | 2012-10-31 | 2017-03-28 | Invisage Technologies, Inc. | Devices, methods, and systems for expanded-field-of-view image and video capture |
CN105122129A (zh) | 2012-11-08 | 2015-12-02 | 威动光有限公司 | 微型光学变焦镜头 |
JP6152386B2 (ja) | 2012-11-16 | 2017-06-21 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | カメラ駆動装置 |
KR101960493B1 (ko) | 2012-12-12 | 2019-07-15 | 삼성전자주식회사 | 광학조절장치 |
CN103024272A (zh) | 2012-12-14 | 2013-04-03 | 广东欧珀移动通信有限公司 | 移动终端的双摄像头控制装置、方法、***以及移动终端 |
WO2014107634A2 (en) | 2013-01-05 | 2014-07-10 | Tinz Optics, Inc. | Methods and apparatus relating to the use of multipe optical chains |
US20140313316A1 (en) | 2013-01-30 | 2014-10-23 | SeeScan, Inc. | Adjustable variable resolution inspection systems and methods using multiple image sensors |
US20140218587A1 (en) | 2013-02-07 | 2014-08-07 | Motorola Mobility Llc | Double sided camera module |
WO2014152855A2 (en) | 2013-03-14 | 2014-09-25 | Geerds Joergen | Camera system |
WO2014145166A2 (en) | 2013-03-15 | 2014-09-18 | Eyecam, LLC | Autonomous computing and telecommunications head-up displays glasses |
US9457470B2 (en) * | 2013-04-05 | 2016-10-04 | Abb Technology Ltd | Robot system and method for calibration |
JP6214206B2 (ja) | 2013-05-13 | 2017-10-18 | キヤノン株式会社 | 撮像装置、制御方法及びプログラム |
JP6100089B2 (ja) | 2013-05-17 | 2017-03-22 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
DE102013209829B4 (de) | 2013-05-27 | 2016-04-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Optische Struktur mit daran angeordneten Stegen und Verfahren zur Herstellung derselben |
KR102166262B1 (ko) | 2013-06-10 | 2020-10-15 | 삼성전자주식회사 | 카메라 렌즈 어셈블리 |
KR101634516B1 (ko) | 2013-06-13 | 2016-06-28 | 코어포토닉스 리미티드 | 이중 조리개 줌 디지털 카메라 |
TWI546570B (zh) | 2013-07-01 | 2016-08-21 | 台灣東電化股份有限公司 | 可切換光路徑之光學防震機構 |
US9137447B2 (en) | 2013-07-31 | 2015-09-15 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus that generates an image including an emphasized in-focus part of a captured image |
US9285566B2 (en) | 2013-08-08 | 2016-03-15 | Apple Inc. | Mirror tilt actuation |
US9494769B2 (en) | 2013-09-12 | 2016-11-15 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Multi-lens imaging module and actuator with auto-focus adjustment |
CN105579902B (zh) | 2013-09-23 | 2019-06-28 | Lg伊诺特有限公司 | 一种制造相机模块的方法 |
US9615012B2 (en) | 2013-09-30 | 2017-04-04 | Google Inc. | Using a second camera to adjust settings of first camera |
TW201515433A (zh) * | 2013-10-14 | 2015-04-16 | Etron Technology Inc | 影像校正系統和立體照相機的校正方法 |
US9736365B2 (en) | 2013-10-26 | 2017-08-15 | Light Labs Inc. | Zoom related methods and apparatus |
US9344626B2 (en) | 2013-11-18 | 2016-05-17 | Apple Inc. | Modeless video and still frame capture using interleaved frames of video and still resolutions |
US9509979B2 (en) * | 2013-11-26 | 2016-11-29 | Mobileye Vision Technologies Ltd. | Stereo auto-calibration from structure-from-motion |
CN104680501B (zh) | 2013-12-03 | 2018-12-07 | 华为技术有限公司 | 图像拼接的方法及装置 |
US9215377B2 (en) | 2013-12-04 | 2015-12-15 | Nokia Technologies Oy | Digital zoom with sensor mode change |
EP3062509B1 (en) | 2013-12-06 | 2020-06-03 | Huawei Device Co., Ltd. | Terminal and image processing method |
US9736391B2 (en) | 2013-12-06 | 2017-08-15 | Huawei Device Co., Ltd. | Photographing method of dual-lens device, and dual-lens device |
US10306165B2 (en) | 2013-12-06 | 2019-05-28 | Huawei Device Co., Ltd. | Image generating method and dual-lens device |
US9973672B2 (en) | 2013-12-06 | 2018-05-15 | Huawei Device (Dongguan) Co., Ltd. | Photographing for dual-lens device using photographing environment determined using depth estimation |
DE102014201271A1 (de) * | 2014-01-24 | 2015-07-30 | Robert Bosch Gmbh | Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug |
US9538096B2 (en) | 2014-01-27 | 2017-01-03 | Raytheon Company | Imaging system and methods with variable lateral magnification |
KR102128468B1 (ko) | 2014-02-19 | 2020-06-30 | 삼성전자주식회사 | 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법 |
TW201533514A (zh) | 2014-02-27 | 2015-09-01 | Tdk Taiwan Corp | 相機模組的反射鏡結構 |
US9316810B2 (en) | 2014-03-07 | 2016-04-19 | Apple Inc. | Folded telephoto camera lens system |
US9557627B2 (en) | 2014-03-07 | 2017-01-31 | Apple Inc. | Folded camera lens systems |
CN103841404A (zh) | 2014-03-18 | 2014-06-04 | 江西省一元数码科技有限公司 | 一种新型三维影像拍摄模组 |
US20150271471A1 (en) | 2014-03-19 | 2015-09-24 | Htc Corporation | Blocking detection method for camera and electronic apparatus with cameras |
KR102214193B1 (ko) | 2014-03-25 | 2021-02-09 | 삼성전자 주식회사 | 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법 |
FR3019359B1 (fr) * | 2014-03-31 | 2017-10-06 | Continental Automotive France | Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique |
US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
KR101771778B1 (ko) | 2014-04-11 | 2017-08-25 | 삼성전기주식회사 | 카메라 모듈 |
CN105024516B (zh) | 2014-04-30 | 2017-12-01 | 光宝电子(广州)有限公司 | 音圈马达阵列模块 |
EP3099044B1 (en) | 2014-05-15 | 2018-12-26 | Huawei Technologies Co. Ltd. | Multi-frame noise reduction method and terminal |
US20150334309A1 (en) | 2014-05-16 | 2015-11-19 | Htc Corporation | Handheld electronic apparatus, image capturing apparatus and image capturing method thereof |
US9360671B1 (en) | 2014-06-09 | 2016-06-07 | Google Inc. | Systems and methods for image zoom |
US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
JP2016057468A (ja) | 2014-09-10 | 2016-04-21 | Hoya株式会社 | 屈曲撮像装置 |
FR3026591B1 (fr) * | 2014-09-25 | 2016-10-21 | Continental Automotive France | Procede de calibration extrinseque de cameras d'un systeme de formation d'images stereos embarque |
KR102032882B1 (ko) | 2014-09-30 | 2019-10-16 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 자동 포커싱 방법, 장치 및 전자 장치 |
WO2016081567A1 (en) | 2014-11-19 | 2016-05-26 | Orlo James Fiske | Thin optical system and camera |
KR102287013B1 (ko) | 2014-11-25 | 2021-08-06 | 삼성디스플레이 주식회사 | 박막 트랜지스터, 이를 포함하는 유기 발광 표시 장치 및 그 제조 방법 |
JP6622503B2 (ja) * | 2014-11-25 | 2019-12-18 | 日本放送協会 | カメラモデルパラメータ推定装置及びそのプログラム |
US10634867B2 (en) | 2014-11-28 | 2020-04-28 | Samsung Electro-Mechanics Co., Ltd. | Camera module |
US9286680B1 (en) | 2014-12-23 | 2016-03-15 | Futurewei Technologies, Inc. | Computational multi-camera adjustment for smooth view switching and zooming |
US11019330B2 (en) | 2015-01-19 | 2021-05-25 | Aquifi, Inc. | Multiple camera system with auto recalibration |
US9800798B2 (en) | 2015-02-13 | 2017-10-24 | Qualcomm Incorporated | Systems and methods for power optimization for imaging devices with dual cameras |
EP4220267A3 (en) | 2015-04-16 | 2023-08-09 | Corephotonics Ltd. | Auto focus and optical image stabilization in a compact folded camera |
WO2016172167A1 (en) * | 2015-04-20 | 2016-10-27 | Washington University | Camera calibration with lenticular arrays |
US9485432B1 (en) | 2015-04-29 | 2016-11-01 | Uurmi Systems Private Limited | Methods, systems and apparatuses for dual-camera based zooming |
US20160353012A1 (en) | 2015-05-25 | 2016-12-01 | Htc Corporation | Zooming control method for camera and electronic apparatus with camera |
CN111812910B (zh) | 2015-06-24 | 2021-05-11 | 核心光电有限公司 | 折叠式相机模块 |
CN106709899B (zh) | 2015-07-15 | 2020-06-02 | 华为终端有限公司 | 双摄像头相对位置计算方法、装置和设备 |
KR102159910B1 (ko) | 2015-08-13 | 2020-10-23 | 코어포토닉스 리미티드 | 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라 |
EP3207301A4 (en) | 2015-08-14 | 2018-05-09 | SZ DJI Osmo Technology Co., Ltd. | Gimbal having parallel stability mechanism |
US20170070731A1 (en) | 2015-09-04 | 2017-03-09 | Apple Inc. | Single And Multi-Camera Calibration |
EP3335077B1 (en) | 2015-09-06 | 2019-08-14 | Corephotonics Ltd. | Auto focus and optical image stabilization with roll compensation in a compact folded camera |
JP2017062150A (ja) * | 2015-09-24 | 2017-03-30 | マツダ株式会社 | ステレオカメラの校正装置、及びステレオカメラの校正方法 |
KR20170075442A (ko) | 2015-12-23 | 2017-07-03 | 삼성전자주식회사 | 촬상 장치 모듈, 이를 포함하는 사용자 단말 장치 및 촬상 장치 모듈의 작동 방법 |
JP6780661B2 (ja) * | 2016-01-15 | 2020-11-04 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに画像処理システム |
US9843736B2 (en) | 2016-02-26 | 2017-12-12 | Essential Products, Inc. | Image capture with a camera integrated display |
KR20170112491A (ko) | 2016-03-31 | 2017-10-12 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
CN107925717B (zh) | 2016-05-30 | 2020-10-27 | 核心光电有限公司 | 旋转滚珠引导音圈电动机 |
US10303042B2 (en) | 2016-07-12 | 2019-05-28 | Tdk Taiwan Corp. | Lens driving module |
US10921118B2 (en) * | 2016-07-27 | 2021-02-16 | Vehicle Service Group, Llc | Hybrid 3D optical scanning system |
TWM533229U (en) | 2016-08-26 | 2016-12-01 | Largan Precision Co Ltd | Optical path folding element, imaging lens module and electronic device |
CN106504186B (zh) * | 2016-09-30 | 2019-12-06 | 天津大学 | 一种立体图像重定向方法 |
CN106603765B (zh) | 2016-12-20 | 2020-03-17 | Oppo广东移动通信有限公司 | 支架组件及移动终端 |
CN106534655B (zh) | 2017-01-11 | 2019-04-16 | Oppo广东移动通信有限公司 | 摄像头模组及移动终端 |
EP3789810B1 (en) | 2017-01-12 | 2022-09-28 | Corephotonics Ltd. | Compact folded camera |
US10334149B2 (en) | 2017-02-23 | 2019-06-25 | Qualcomm Incorporated | Adjustment for cameras for low power mode operation |
KR102426728B1 (ko) | 2017-04-10 | 2022-07-29 | 삼성전자주식회사 | 포커스 제어 방법 및 이를 지원하는 전자 장치 |
JP6967715B2 (ja) * | 2017-04-18 | 2021-11-17 | パナソニックIpマネジメント株式会社 | カメラ校正方法、カメラ校正プログラム及びカメラ校正装置 |
US12022197B2 (en) * | 2018-02-14 | 2024-06-25 | University Of Massachusetts | Image capturing system, method, and analysis of objects of interest |
US11257272B2 (en) * | 2019-04-25 | 2022-02-22 | Lucid VR, Inc. | Generating synthetic image data for machine learning |
-
2020
- 2020-03-06 KR KR1020207024468A patent/KR102268094B1/ko active IP Right Grant
- 2020-03-06 CN CN202111346427.3A patent/CN113891059B/zh active Active
- 2020-03-06 EP EP23172689.4A patent/EP4224841A1/en active Pending
- 2020-03-06 KR KR1020217018350A patent/KR102494006B1/ko active IP Right Grant
- 2020-03-06 US US16/975,726 patent/US11315276B2/en active Active
- 2020-03-06 WO PCT/IB2020/051948 patent/WO2020183312A1/en unknown
- 2020-03-06 CN CN202080002266.3A patent/CN111971956B/zh active Active
- 2020-03-06 EP EP20770621.9A patent/EP3782363B1/en active Active
-
2022
- 2022-04-02 US US17/712,074 patent/US11527006B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1630487A (zh) * | 2002-02-11 | 2005-06-22 | 维思克斯公司 | 确定相对位置和旋转偏移 |
CN101231750A (zh) * | 2008-02-21 | 2008-07-30 | 南京航空航天大学 | 一种双目立体测量***的标定方法 |
CN102523464A (zh) * | 2011-12-12 | 2012-06-27 | 上海大学 | 一种双目立体视频的深度图像估计方法 |
CN103685936A (zh) * | 2012-09-25 | 2014-03-26 | 通用汽车环球科技运作有限责任公司 | 宽视场摄像机图像的校准和扭曲恢复 |
US9866820B1 (en) * | 2014-07-01 | 2018-01-09 | Amazon Technologies, Inc. | Online calibration of cameras |
KR101597163B1 (ko) * | 2014-08-14 | 2016-02-24 | 아진산업(주) | 스테레오 카메라 교정 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
KR20210077792A (ko) | 2021-06-25 |
CN113891059A (zh) | 2022-01-04 |
US11527006B2 (en) | 2022-12-13 |
KR102494006B1 (ko) | 2023-01-30 |
EP3782363A4 (en) | 2021-06-16 |
EP3782363A1 (en) | 2021-02-24 |
EP3782363B1 (en) | 2023-06-07 |
EP4224841A1 (en) | 2023-08-09 |
US20220254047A1 (en) | 2022-08-11 |
EP3782363C0 (en) | 2023-06-07 |
KR20200118073A (ko) | 2020-10-14 |
WO2020183312A1 (en) | 2020-09-17 |
US11315276B2 (en) | 2022-04-26 |
CN111971956B (zh) | 2021-12-03 |
US20210090281A1 (en) | 2021-03-25 |
KR102268094B1 (ko) | 2021-06-22 |
CN111971956A (zh) | 2020-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113891059B (zh) | 对双摄像机进行立体校准的方法 | |
CN107316325B (zh) | 一种基于图像配准的机载激光点云与影像配准融合方法 | |
JP6767998B2 (ja) | 画像の線からのカメラの外部パラメータ推定 | |
CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
US20150279016A1 (en) | Image processing method and apparatus for calibrating depth of depth sensor | |
US10499038B2 (en) | Method and system for recalibrating sensing devices without familiar targets | |
KR20160119444A (ko) | 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품 | |
US10666926B1 (en) | Residual error mitigation in multiview calibration | |
WO2021150784A1 (en) | System and method for camera calibration | |
KR20130121290A (ko) | 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 | |
KR20230003803A (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
KR20150002995A (ko) | Fov왜곡 보정 모델에 2d패턴을 적용한 왜곡중심 보정 방법 | |
Ayaz et al. | Survey on zoom-lens calibration methods and techniques | |
Budge et al. | Calibration method for texel images created from fused flash lidar and digital camera images | |
CN111412898B (zh) | 基于地空耦合的大区域变形摄影测量方法 | |
EP3688407B1 (en) | Light projection systems | |
JPH0252204A (ja) | 3次元座標計測装置 | |
JP2020165968A (ja) | 校正方法、校正装置及びプログラム | |
WO2021255495A1 (en) | Method and system for generating a three-dimensional model based on spherical photogrammetry | |
JP6365744B2 (ja) | プログラム、記録媒体、及び校正方法 | |
Tu et al. | Extrinsic Parameter Co-calibration of a Monocular Camera and a LiDAR Using Only a Chessboard | |
CN114462622B (zh) | 一种用于众包数据的深度学习模型部署与训练方法 | |
Mehta et al. | Radial distortion estimation using analytical technique | |
Zhang | Camera Imaging and Calibration | |
Ahn | Calibration of various configuration of multiple cameras for Driver Assistance Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |