CN107079100B

CN107079100B - 用于相机阵列的透镜移位校正的方法和***

Info

Publication number: CN107079100B
Application number: CN201580064676.XA
Authority: CN
Inventors: G.索马纳思; O.内斯塔雷斯; K.塞沙德林纳坦; 吴翌
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2014-12-29
Filing date: 2015-11-25
Publication date: 2020-11-24
Anticipated expiration: 2035-11-25
Also published as: US20160191759A1; WO2016109067A1; US9628695B2; CN107079100A

Abstract

一种用于相机阵列的透镜移位校正的***、物品和方法。

Description

用于相机阵列的透镜移位校正的方法和***

背景技术

诸如数字相机之类的数字图像处理设备或者具有此类相机的设备使用自动特征来增加在数字相机上的预览屏幕上的图像、所记录的图片、和所记录的视频的质量。这包括涉及自动白平衡（AWB）、自动聚焦（AF）和自动曝光控制（AEC）的3A特征。自动聚焦是透镜位置相对于图像传感器或其他图像捕获介质的自动调整以获得锐利清晰的图像。

透镜的移动是由相机致动器或电动机来控制的，该相机致动器或电动机将电流（在音圈电动机（VCM）致动器的情况下）转换成运动。透镜的位置与所施加的电流（以mA计）线性成比例。为了执行计算以将透镜放置在具***置，必须确定应该施加多少电流以将透镜移动到该位置。归因于可以在相机设备和在相机内托住并移动透镜的相机的部分的制造期间发生的制造容差和/或其他误差，当相机被放置在不同取向时，透镜可相对于相机内的传感器并且归因于重力或其他力而移位。这可能导致焦距以及主点（principal point）从用于校准的焦距和主点的不期望的改变，从而降低所捕获或记录的图像的质量以及继而为此类目的而提供多个相机的设备上的3D深度检测的准确性。

附图说明

在附图中通过示例的方式并且不通过限制的方式来图示本文中所述的材料。为了图示的简洁性和清楚性，图中图示的元件不一定按照比例来绘制。例如，为了清楚起见某些元件的尺寸可能相对于其他元件被放大。此外，在适当考虑的情况下，参考标记已经在各图之间被重复以指示对应或相似的元件。在图中：

图1是示出图像捕获设备上的透镜的定位的示意图；

图2是示出多相机阵列的示意图；

图3是用于具有自动聚焦的多相机阵列的透镜校正过程的流程图；

图4是用于具有自动聚焦的多相机阵列的透镜校正过程的流程图；

图4A是用于具有自动聚焦的多相机阵列的透镜校正过程的详细流程图；

图5是示出在透镜校正过程中的多个经纠正的（rectified）图像的使用的示意图；

图6是在透镜移位校正之前的图像的灰度视差图；

图7是在透镜移位校正之后的图6的图像的灰度视差图；

图8是在图6-7中使用的图像；

图9是在透镜移位校正之前的图像的灰度视差图；

图10是在透镜移位校正之后的图9的图像的灰度视差图；

图11是在图9-10中使用的图像；

图12是在透镜移位校正之前的对于原始和缩放图片中的对象的缩放准确度的比较；

图13是在透镜移位校正之后的对于原始和缩放图片中的对象的缩放准确度的比较；

图14是在透镜移位校正之前的图像的另一灰度视差图；

图15是在透镜移位校正之后的图14的图像的灰度视差图；

图16是示出在透镜移位校正之前的图片中的对象的缩放的图片；

图17是示出在透镜移位校正之后的图片中的对象的缩放的图片；

图18是示例***的说明性示图；

图19是另一示例***的说明性示图；

图20图示全部根据本公开的至少一些实施方式而布置的另一示例设备；以及

图21是根据本文中实施方式中的至少一个且处于操作中的透镜移位校正的方法的示图。

具体实施方式

现在参考随附的图来描述一个或多个实施方式。尽管讨论了具体配置和布置，但是应该理解仅为了说明性目的来执行这点。相关领域的技术人员将会认识到可在不偏离描述的精神和范围的情况下采用其他配置和布置。对相关领域的技术人员来说将明显的是，还可在除了本文中所述的之外的各种其他***和应用中采用本文中描述的技术和/或布置。

尽管下面的描述阐述了例如可在诸如片上***（SoC）架构之类的架构中表明的各种实施方式，但是本文中所述的技术和/或布置的实施方式不限于特定架构和/或计算***，并且可通过为了类似目的的任何架构和/或计算***来实施。例如，采用例如多个集成电路（IC）芯片和/或封装、以及/或者各种计算设备和/或消费电子（CE）设备（诸如成像设备、数字相机、智能电话、网络相机、视频游戏面板或控制台、机顶盒、具有多个相机的平板电脑或膝上型电脑等等）的各种架构可实施本文中所述的技术和/或布置。此外，尽管下面的描述可阐述众多具体细节，诸如***组件的逻辑实施方式、类型和相互关系、逻辑划分/集成选择等等，但是可在没有此类具体细节的情况下实践所要求的主题。在其他实例中，可能未详细示出诸如例如控制结构和全软件指令序列之类的一些材料以便不模糊本文中公开的材料。可以以硬件、固件、软件或其任何组合来实施本文中公开的材料。

本文中公开的材料还可被实施为计算机可读介质或存储器上存储的指令，所述指令可由一个或多个处理器读取和执行。机器可读介质可包括用于存储或传输以由机器（例如计算设备）可读的形式的信息的任何介质和/或机制。例如，机器可读介质可包括只读存储器（ROM）；随机存取存储器（RAM）；磁盘存储介质；光存储介质；闪速存储器设备；电、光、声或其他形式的传播信号（例如载波、红外信号、数字信号、等等）；以及其他。以另一形式，非瞬时物品（诸如非瞬时计算机可读介质）可与上面提到的任何示例或其他示例一起使用，除了它不包括瞬时信号本身之外。它确实包括除了信号本身之外的那些元件，其以“瞬时”方式临时保持数据，诸如RAM等等。

在说明书中对“一个实施方式”、“实施方式”、“示例实施方式”等等的参考指示所述实施方式可包括特定特征、结构或特性，但是每个实施方式可能不一定包括该特定特征、结构或特性。此外，此类短语不一定指代相同实施方式。进一步地，当结合实施方式来描述特定特征、结构或特性时，主张结合其他实施方式来实施此类特征、结构或特性在本领域技术人员的知识内，不管在本文中是否被明确描述。

***、物品和方法用来提供用于相机阵列的透镜移位校正。

如上面提到的，许多数字相机和具有此类相机的设备提供自动控制特征，诸如包括自动聚焦（AF）、自动曝光控制（AEC）和自动白平衡（AWB）的3A特征。本文相关的，自动聚焦（AF）使用校准算法来确定在某些电流水平处透镜的位置，以使得可以通过施加对应电流来将透镜驱动到期望位置。可通过多相机设备（诸如平板电脑或智能电话或包括基于VCM（音圈电动机）的自动聚焦机制的其他图像捕获设备）来提供此类特征。此类设备可具有混合相机阵列，其中相机模块不需要是相同的。在一些示例中，至少一个相机可具有自动聚焦，而至少两个其他相机具有固定焦点（focus）。

这些阵列的一个应用是获得深度数据。这可包括例如定义3D空间并使用来自提供相同真实场景的不同视点的多个相机的信息来在空间中准确地定位图片中的对象。这通过在生产期间校准相机阵列（工厂校准）来完成，其是估计每个相机的固有参数（焦距、主点、几何失真等等）以及非固有参数（相对3D旋转和平移等等）的过程。该校准允许产生所谓的经纠正的图像，其中可以使用1D（单维）扫描线搜索来计算失真，其中与例如在视频编解码器中使用的更一般的2D搜索相对，匹配两个图像上的两个对应点的线与由两个经纠正的图像形成的真实极线（epipolar line）平行。利用所估计的视差和校准参数，该***可以针对图像的每个像素计算3D点，这允许许多不同应用，包括3D测量。

如本文所使用的，真实极线被称为沿着两个相机的从相机至相机中心的线存在或存在于该线上。因此，对于放置在公共面中的经纠正的图像，用连结相机中心的线来表示真实极线。进一步地，使对应特征点匹配的线应该与真实极线平行。因此，代替陈述平行于真实极线的线，这些匹配线可被称为局部或匹配极线或仅仅极线。因此，本文中对极线的任何提及可以是真实极线或局部极线，这取决于上下文。而且，在本文中特征点被可互换地称为关键点。

参考图1，提供图像捕获（或成像）设备10，诸如包括移动相机的相机，诸如专用数字相机、安装在智能手机或平板电脑上的相机以及具有自动聚焦特征以使得透镜或传感器移动的许多其他类型的相机。图像捕获设备10可以被视为光学***，所述光学***具有移动透镜12以及由传感器16形成的成像平面14。该透镜12被安装在传感器16附近的透镜致动器18上。透镜12捕获来自距透镜的距离为S1的感兴趣的对象20的光，并且使它聚焦在传感器16上。当对象被聚焦到“无穷远”时从成像平面14到透镜12的距离被称为焦距或者焦距离（f），并且按照惯例以毫米来指定。当透镜被无意地移位至位置12a（并且被聚焦至无限远而不是对象20，如所示的）而不是有意地利用音圈电动机将透镜移动至该位置时，该运动将焦距改变为S2，而同时3D检测计算可能仍基于焦距（f）。

更具体地，当校准混合阵列时，透镜被设置到由焦点寄存器中的一个具体值给出的特定位置。在深度模式中，透镜被设置到相同位置。然而，例如当诸如平板电脑上的相机处于不同于在校准期间所使用的取向的取向时重力会推和拉透镜，这促使透镜如图1中所示在改变有效焦距（f）的光轴的方向上移位。对于VCM的另一影响是透镜还可以平行于传感器平面移位（在图1中在纸面向外或者在纸上向上和向下），这同样归因于取决于模块取向的不同拉/推重力。因此，根据模块的取向使透镜在3D中有效地移位（平行于且正交于传感器平面），从而将透镜带到在其中焦距和主点不再对应于在校准期间估计的焦距和主点的非校准状态。主点是通过将光轴从传感器或相机的中心投影至图像而在图像上形成的点。通过一个示例，对于焦距该变化可以如30个像素一样大，并且对于主点是5个像素，尽管对于其他自动聚焦透镜它可能不同。

这里提议来解决这些问题的解决方案针对从具有其他固定焦点相机的相机阵列的自动聚焦相机获取的每个或单独的图片自动估计经纠正的图像的2D位移以及尺度。在本文中，沿着Z或光轴补偿移位将被称为尺度校正，并且平行于传感器的移位将被称为2D位移或简单地位移校正。自动聚焦模块可使用位移和尺度参数来将透镜位置重新校准至适当校准的状态，以使得下一步骤（视差估计、3D测量等等）不会遭受归因于透镜移位的不准确校准。

基本上，假设非自动聚焦相机不物理上移动，并且仅有的影响是相机之一（具有自动聚焦的一个）遭受透镜相对于传感器的潜在3D平移，从而影响焦距和主点。因此，假设来自其他非自动聚焦相机的图像以及极线不需要被调整且保持被适当校准。因此，一个原则是针对来自自动聚焦模块的经纠正的图像而估计尺度因子和2D平移或位移，而不是调整来自固定相机的图像以最小化匹配的关键点集合的纠正误差。

参考图2，通过可被用于本文的透镜移位校正方法的一个示例布置，多相机设备200具有两个720p（其指代垂直线视频显示分辨率）固定焦点相机0和1，以及具有由VCM驱动的自动聚焦透镜的一个8Mp相机。在设备200上形成相机0-2的块还表示图像的相对位置和取向，以及由那些相应相机形成的相机传感器表面。相机0和1被示为在距相机2相同的距离处但是以如由相机0和1的中心坐标指示的相同和相对角度处。然而，假如存在具有导致不稳定透镜的自动聚焦的至少一个相机（并且通过一种方式，对于三个相机、仅一个自动聚焦相机），并且存在与自动聚焦相机不共线的至少两个或更多非自动聚焦（固定焦点）相机，本文中公开的***和方法将可适用于其他相机阵列。在这里，如图2中所示自动聚焦相机（相机2）被布置在V形中的点上。而且，对于本文中的过程，x和y（或位移）方向被示为相对于相机和相机传感器表面平行，并且因此相对于由那些相机形成的图像平行，同时方向z（或尺度）垂直于相机传感器表面和图像（或在纸中和纸外）。

一个其他假设是720p相机0和1被良好校准，并且8Mp相机2非固有性不改变。假设仅有的改变归因于由于VCM的不稳定性而引起的8Mp相机中的3D中的透镜移位，其包括造成不同于在校准时的焦距的沿着光轴（Z）的尺度移位，以及平行于传感器平面（XY）的位移移位，其造成主点关于校准时的主点的位移或平移。

参考图3，提供用于相机阵列的透镜移位校正的方法的过程300。在所图示的实施方式中，过程300可包括以偶数编号的一个或多个操作、功能或动作302-306。通过非限制示例的方式，可在本文中相应地且在相关的情况下参考图1、2和18的示例图像捕获设备10、200和1800来描述过程300。

过程300可包括“获得多个相机的图像数据，其中该相机中的至少一个要执行自动聚焦”302。图像数据可从诸如平板电脑之类的设备上的单个相机阵列获得，或者可从多个设备上的多个相机获得，其中相机的精确位置是已知的。图像数据还可以是经预处理且经纠正的图像数据，如下面解释的。还如本文中提到的，相机阵列应该具有至少一个自动聚焦相机，和至少两个固定焦点相机。

过程300还可包括“确定移位参数以使自动聚焦相机的单独的图像的错位点的位置移位并且校正通过使用多个相机的非自动聚焦相机的图像上的对应点确定的位置”304，并且具体地以确定需要应用于由自动聚焦相机提供的图像的校正。换言之，尺度和位移参数指示应用于形成自动聚焦相机的图像像素数据坐标和经适当校准的位置的位置校正，就像通过使用利用适当校准指示的焦距、主点或这二者来放置图像像素数据一样。本文中的短语错位点仅仅指代基于自动聚焦的相机的图像上的点以区分这些点与基于固定焦点的图像上的对应匹配点。因为通过一种形式将参数应用于基于自动聚焦的图像上的所有点，所以该所有点可被视为被错位，不管该点实际上是否被错位。

过程300可包括“通过使用参数来扭曲来自自动聚焦相机的图像以修改自动聚焦相机的图像上的错位点的位置”306。如下面所解释的，可针对来自相机阵列的每组图像针对自动聚焦相机的每个或多个图像确定位置。

参考图4，提供用于相机阵列的透镜移位校正的方法的示例过程400，并且图4是该方法的框图。在所图示的实施方式中，过程400可包括如通过以偶数编号的操作402至416中的一个或多个所图示的一个或多个操作、功能或动作。通过非限制示例的方式，可在本文中相应地且在相关的情况下参考图1、2和18的示例图像捕获设备10、200和1800来描述过程400。

过程400可包括获得原始图像（被示为0到2）。图像2被示为具有相对于其他图像的放大尺寸以表示图像2是高分辨率图像。过程400然后可包括纠正404，其产生经纠正的图像406并包括来自高分辨率图像2的一个。根据阵列的当前校准来纠正原始图像。纠正将图像变换到公共面中以使得图像可被并排放置以简化特征匹配。

过程400然后可包括“关键点提取和匹配”408。在该操作中，关键点被提取，并且基于固定焦点的图像上的对应点与基于自动聚焦的图像上的错位点相匹配。关键点还可被适当地过滤以消除对于该操作的错误匹配。可以首先通过快速视网膜关键点（FREAK）、二进制鲁棒不变可缩放关键点（BRISK）、尺度不变特征变换（SIFT）、加速鲁棒特征（SURF）或其他这样的检测程序来检测关键点。

然后为了从图像到图像地匹配关键点，典型地通过匹配描述符（可以包括例如点的梯度、灰度、和/或RGB颜色值）的技术来匹配以及通过将一个图像上的每个点与另一图像上的每个点进行比较来匹配关键点。然而，分片（tiled）匹配包括使类似贴片位置中的关键点从图像到图像地匹配以使得不需要针对每个关键点来搜索整个图像的应用。具体地，搜索区域可被约束成一个图像上的点的某些块并且在要被匹配的另一图像上的点的对应位置附近，或者在从要被匹配的点至另一图像的（局部）极线附近、或者这二者。用于匹配关键点的许多其他常规方法是可用的，诸如近似最近邻搜索、二进制搜索或蛮力一对一的匹配。

过程400然后可包括“（s，d）参数估计”410以针对单独的图像（并且在一个形式中，自动聚焦相机的每个图像）形成位移和尺度参数。不期望的透镜移位的效果将对应于来自相机2（8Mp模块）的原始未经纠正的图像的XY中的尺度因子和位移（或移位）。可以通过影响来自相机2的经纠正的图像的XY中的尺度因子和位移来近似该效果，以使得该过程使用经纠正的图像来估计尺度因子和2D位移，如在图4的方法的框图中所示的并且如下面利用过程450（图4A）更详细解释的。

一旦针对图像确定了参数，然后过程400就可包括“针对所估计的位移和尺度而调整的HR纠正”412以通过将参数应用于像素图像数据来生成经校正的高分辨率图像2。类似地，“位移和尺度”414也可被执行以生成经校正的非高分辨率图像2。如上文提到的，位移指代平行于相机传感器的2D校正。然后经校正的、经纠正的图像416可以被用来执行具有较高准确度的特征匹配。

参考图4A并以框图形式提供用于相机阵列的透镜移位校正的方法的过程450。在所图示的实施方式中，过程400可包括如通过以偶数编号的操作452至468中的一个或多个所图示的一个或多个操作、功能或动作。通过非限制示例的方式，可在本文中相应地且在相关的情况下参考图1、2和18的示例图像捕获设备10、20和1800来描述过程400。

过程450可包括“接收相同场景的以及具有至少一个自动聚焦相机的相机阵列的多个图像的非经纠正的图像数据”452。因此，图像数据可来自于还没有被纠正的原始图像。不过，该图像可以已经接收预处理以使得图像准备好纠正。这可包括噪声降低、像素线性化、阴影补偿、分辨率降低、拜耳去马赛克、晕影（vignette）消除、和/或3A相关操作（包括自动白平衡（AWB）、自动聚焦（AF）和/或其他自动曝光（AE）等等）。这还可包括从自动聚焦相机接收HR分辨率图像（例如8Mp）和从固定焦点相机接收非高分辨率图像（例如720p）。

这还可包括接收图像集合或一系列图像集合，其中每个集合都具有来自相机阵列的不同相机的图像，其中图像中的至少一个来自于自动聚焦相机并且至少其他图像来自于固定焦点相机。相机也以共线布置来布置以使得可以在三角测量类型的算法中使用固定焦点相机来获得基于自动聚焦的图像上的校正点位置，如本文中所解释的。

过程400然后可包括“纠正图像”454，并且如上文所解释的。这导致所有三个图像被变换到公共面以简化从图像到图像的特征点匹配。

过程400可包括“匹配关键点”456。该操作可包括检测并提取关键点，并且然后跨图像找到关键点匹配，如上面已经解释的。

参考图5，并且考虑经匹配的关键点集合，过程400然后可以“估计尺度和位移参数”458。具体地，该操作尝试形成使纠正误差最小化的参数。误差方程可被***超定（over-determined）线性***中以使得可从该***确定移位参数估计。对应于相机阵列中的相机的布置（诸如设备200上的那个）的图像500的布置可被用来解释该过程，并且在非共线布置中具有三个经纠正的图像0、1和1（分别是502、504和506）。图像2（506）仅为了解释的目的而在图5上被放大并且与图像的实际大小无关。三个匹配点被示出为

、

、以及无意地移位的

。对于

的期望位置是在

。经匹配的特征点对中的每一个或许多在各图像之间可具有它们自己的相似布置。

将要理解，相机的非共线布置以及继而它们各自的图像使得能够通过使用三角测量类型的方程来确定移位参数，因为极线（诸如图5上的且来自于固定焦点相机的两个图像（在这里502和504）上的两个点的e01和e02）被假设成正确的，并且这些两条极线然后可以被用来在自动聚焦相机的图像506上形成经校正的点

，并且其对应于图像506上的错位点

。细节如下。

参数估计操作可包括“获得图像的经匹配的特征点数据”460。这可包括获得针对基于自动聚焦的图像2上的错位关键点的图像数据，以及在基于固定焦点图像0和1上的其对应匹配关键点。图像数据可包括各点的坐标。也就是说，每个关键点都具有用于进行匹配的描述符和图像中的位置（x，y），其中通常关于作为（0,0）的图像的左上角来描述该位置。尽管在操作460中，获得经匹配的关键点集合，并且在其他方程中，可以取关键点表示来意为在图像中的其位置（x，y）。

匹配关键点=

（1）。

纠正误差可以被定义为从经匹配的关键点到极线的正交距离，并且通过使用如通过下面的纠正误差方程示出的经匹配的关键点集合（方程（1））来确定，以估计尺度和位移参数

：

，

其中

是特征点

和

之间的纠正误差，并且

是特征点

和

之间的纠正误差。

和

是从错位点至极线e01和e02的单位矢量正交距离。如图5中所示，沿着极线的单位矢量被指示为

和

。将会理解，误差方程（2）和（3）是最小二乘类型的方程，并且替换物可以是经加权的误差方程。

误差的最小化可以被表示为：

。

可在超定线性***中求解参数，并且在一个示例形式中其使用如下面方程中的矩阵乘法：

，

其中

和

是来自图像0的至极线的正交距离

的x和y分量，并且对于来自图像1的

的分量类似地。针对来自基于固定焦点的图像（在这里图像0和1）上的对应点的每条极线提供方程（5）中的矩阵中的每行。因此，两个或更多行可与基于自动聚焦的图像2上的单个错位点相关联，并且所述单个错位点具有来自其他图像的匹配对应点。

下一操作可以是“建立从图像集合的每个图像上的点至自动聚焦相机的图像的极线”462。如所提到的，在这里极线从固定焦点相机的图像上的对应点至自动聚焦相机的图像上的正确匹配点。极线平行于作为图像（或相机传感器）的中心至中心的真实极线而延伸，并且匹配点必须落在该线上。因此，可通过将自动聚焦相机的图像上的错位点从其他图像上的对应点移位至多个极线的交叉点

并且延伸到自动聚焦相机的图像来校正该错位点。

操作458然后可包括“确定从自动聚焦相机的图像上的特征点至极线的至少一个距离”464，并且特别地用来形成从错位点至极线的正交极矢量。然后这些距离可被用于通过使用这些距离来填充方程而确定参数。通过相机阵列和图像布置500的示例，该距离是从错位点

至经校正的点

的2D校正。

一旦获得了所有特定点数据和正交极线距离，该操作然后就可包括“通过使用正交距离来生成移位参数”466，并且特别地用来确定尺度s参数和位移dx和dy参数。通过一种形式，这包括通过矩阵乘法求解被填充的超定线性***来估计参数

。最后，结果是使纠正误差

和

最小化的一个最终参数集合，并且将应用于基于自动聚焦的图像中的所有点以用于图像的校正。

一旦估计了移位参数，过程450就可包括“通过应用参数来扭曲自动聚焦相机的图像”468。特别地，通过根据所估计的尺度和位移来扭曲来自相机2的经纠正的图像来对其进行调整。通过一种形式，通过在尺度s和位移dx和dy值二者中进行因式分解并且通过使用如下的2×3仿射变换扭曲矩阵来调整每一个点；

，

其提供基于自动聚焦图像2上的最终经校正的点

。

通过另一选项，还可以通过调整纠正变换以虑及尺度和位移而获得来自相机2的高分辨率经纠正的图像。这可通过将所估计的参数集成到对于该图像的纠正变换中并应用单个扭曲步骤来完成。

可针对自动聚焦相机的每个图像（或者换言之来自多个相机的每个图像集合）或以某一其他间隔（诸如每n个图像）来重复这些操作。

参考图8-17，示出来自测试的结果图像。提供一些定性结果（按灰度的视差图）和定量结果（具有已知尺寸的对象的测量结果）。利用具有类似于图2上示出的多个相机的平板设备来获取图像。

参考图6-8，对于在具有大幅降低的伪像的透镜移位校正之后在灰度上具有很大改进的准确变化的图8的图像800，在图6-7中示出灰度视差图600和700（分别对于透镜移位校正之前和之后）。

参考图9-11，对于在具有大幅降低的伪像的透镜移位校正之后在灰度上也具有很大改进的准确变化的图11的图像1100，在图9-10中示出灰度视差图900和1000（分别对于透镜移位校正之前和之后）。

参考图12-13，示出在透镜移位校正之前从原始图像1200至特写（close-up）图像1202的缩放，同时示出在透镜移位校正之后从原始图像1300至特写图像1302的缩放。图像1200和1202示出分别为86.12cm和265.40cm的并且由捕获图像的平板电脑的图像处理***自动测量的板宽度和人高度，而图像1300和1302示出分别在64.57cm和174.46cm处测量的相同板宽度和人高度。实际测量的宽度和高度是64cm的板宽度和175cm的人高度。从6m的距离拍摄图片。

参考图14-15，示出了图像的灰度视差图1400和1500（分别对于透镜移位校正之前和之后），并且在透镜校正之后的图片1500中具有很大降低的伪像。

参考图16-17，将分别对于透镜移位校正之前和之后的经缩放的图像1600和1700与实际测量值进行比较。在这里，在透镜移位校正之前两个板1602和1604具有58cm和70cm的宽度。而在透镜移位校正之后图像1700上的相同的板1702和1704具有65cm和62cm的相应的宽度。实际测量结果分别是64cm和61cm。

将会认识到，尽管在本文中使用单个设备（诸如平板电脑）上的相机阵列描述了各方法，但是所述方法可被应用于不在单个设备上的多相机阵列，只要各相机相对于彼此的位置是精确已知的。

参考图21，通过另一方法，过程2100图示执行根据本公开的至少一些实施方式的透镜移位校正的图像处理***1800的操作。更详细地，以说明的形式，过程2100可包括如通过以偶数编号的动作2102至2120中的一个或多个所图示的一个或多个操作、功能或动作。通过非限制示例的方式，在本文中将参考图18来描述过程2100。具体地，***或设备1800包括逻辑单元1804，其包括纠正单元1813、关键点单元1814和透镜移位校正单元1812。该透镜移位校正单元1812具有移位参数单元1815和扭曲单元1816。该***的操作可以如下进行。

过程2100提供如上所述透镜移位校正算法的执行，并且所述透镜移位校正算法校正相机阵列的自动聚焦相机中的透镜移位。通过确定应用于自动聚焦相机的图像的点的移位参数以及通过使用来自该阵列中的其他相机的图像的点计算移位参数来执行校正。然后可按移位参数将自动聚焦相机的图像扭曲到经适当校准的状况。

因此，过程2100可包括“接收经纠正的图像集合的图像数据”2102。如上文所提到的，可通过非共线相机阵列来得到经纠正的图像，其中相机中的至少一个使用自动聚焦，并且至少两个其他相机是固定焦点相机。原始图像数据被纠正并且来自于都拍摄于同一场景的图像的集合（它们可以或者可以不是同时拍摄的）。

过程2100可包括“提取和匹配图像上的关键点”2104。也如上文所提到的，关键点可被检测，并且然后图像到图像地匹配。这可使用如上文所述的关键点描述符和匹配技术来执行。

过程2100可包括“获得经匹配的关键点数据”2106。该操作可包括获得自动聚焦相机的图像2上的错位点的坐标以及固定焦点相机的图像上的经匹配的关键点的对应坐标。

过程2100可包括“建立从固定焦点相机的图像上的对应点至自动聚焦相机的图像上的经校正的点的极线”2108。特别地，因为相机阵列布置是已知的，所以从图像到图像的真实极线的角度和方向是已知的。因此，自动聚焦相机的图像上的任何点应该位于来自固定焦点相机的图像上的对应点的局部极线（平行于真实极线）的交叉点上。一旦极线被建立，则就有可能确定需要多少移位来将错位点移动至线的交叉点。

过程2100可包括“确定从自动聚焦图像上的错位点至极线的距离”2110。该操作包括计算从错位点至每一个极线的正交距离。然后每个距离也可被用来确定对于每个距离的x和y分量。

过程2100可包括“使用该距离来确定尺度和位移参数”2112。因此，如方程（5）中所示，通过一个示例，使用三角测量关系，可通过尝试使置于使用矩阵乘法的超定线性***中的最小二乘方程中的纠正误差最小化来确定移位参数。其他示例是可能的。对于自动聚焦相机的图像上的所有关键点，距离和点值可被***在方程（5）中。结果是对于每个图像的尺度s参数和位移d（或dx和dy）参数。

过程2100可包括“应用参数来校正自动聚焦相机的图像”2114。因此，可将移位参数应用于自动聚焦相机的图像中的关键点或所有点，并应用于自动聚焦相机的经纠正的图像。这可包括使用上面讨论的2×3仿射变换扭曲来在计算基于自动聚焦的图像上的最终经校正的点中对尺度和位移二者进行因式分解。

可选地，过程2100可包括“应用参数来校正自动聚焦相机的未经纠正的高分辨率图像”2116。因此，可将移位参数应用于也来自自动聚焦相机的高分辨率图像的一些或所有点。

过程2100可包括“向其他图像提供经校正的图像以用于进一步的应用”2118。具体地，然后可将图像集合移交给其他应用，所述其他应用可确定指示对于一个点从图像到图像的位置中的像素变化的视差图、以及/或者形成用来测量距离和/或标识通过使用图像形成的3D空间中的对象的3D深度图。上面提到了其他应用。

过程2100可包括“下一图像集合”2120。因此，本方法单独地应用于图像，并且可应用于由相机阵列捕获的每个图像或图像集合。如上面提到的预计到其他替换。

此外，可以响应于由一个或多个计算机程序产品提供的指令来进行图3-4A和21的操作中的任何一个或多个。此类程序产品可包括提供指令的信号承载介质，所述指令当被例如处理器执行时可提供本文中所述的功能。可以以任何形式的一个或多个机器可读介质来提供该计算机程序产品。因此，例如，包括一个或多个处理器核的处理器可响应于由一个或多个计算机或机器可读介质传达给处理器的程序代码和/或指令或指令集而进行本文中的示例过程的操作中的一个或多个。一般来说，机器可读介质可传达以程序代码和/或指令或指令集形式的软件，其可使设备和/或***中的任一个如本文中所述那样来执行。机器或计算机可读介质可以是非瞬时物品或介质（诸如非瞬时计算机可读介质），并且可与上面提到的示例或其他示例中的任一个一起使用，除了它不包括瞬时信号本身之外。它确实包括除了信号本身之外的那些元件，其可以以“瞬时”方式临时保持数据，诸如RAM等等。

如在本文中所述的任何实施方式中所使用的，术语“模块”指代被配置成提供本文中所述的功能的软件逻辑、固件逻辑和/或硬件逻辑的任何组合。该软件可被具体化为软件包、代码和/或指令集或指令，并且如在本文中所述的任何实施方式中所使用的“硬件”可包括例如单独地或以任何组合的硬接线电路、可编程电路、状态机电路和/或存储通过可编程电路执行的指令的固件。所述模块可共同地或单独地被具体化为形成较大***的部分的电路，例如集成电路（IC）、片上***（SoC）等等。例如，可经由本文中讨论的编码***的软件、固件或硬件来在对于实施方式的逻辑电路中具体化该模块。

如在本文中所述的任何实施方式中所使用的，术语“逻辑单元”指代被配置成提供本文中所述的功能的固件逻辑和/或硬件逻辑的任何组合。逻辑单元可共同地或单独地被具体化为形成较大***的部分的电路，例如集成电路（IC）、片上***（SoC）等等。例如，可在对于本文中讨论的编码***的实施方式固件或硬件的逻辑电路中具体化该逻辑单元。本领域普通技术人员将会认识到，由硬件和/或固件执行的操作可以替代地经由软件来实施，该软件可被具体化为软件包、代码和/或指令集或指令，并且还会认识到逻辑单元还可利用软件的一部分来实施其功能。

如在本文中所述的任何实施方式中所使用的，术语“组件”指代模块或逻辑单元，这些术语如上所述。因此，术语“组件”可指代被配置成提供本文中所述的功能的软件逻辑、固件逻辑和/或硬件逻辑的任何组合。例如，本领域普通技术人员将会认识到，由硬件和/或固件执行的操作可以替代地经由软件模块来实施，该软件模块可被具体化为软件包、代码和/或指令集，并且还会认识到逻辑单元还可利用软件的一部分来实施其功能。

参考图18，根据本公开的至少一些实施方式来布置示例图像处理***1800。在各种实施方式中，该示例图像处理***1800可具有用来形成或接收所捕获的图像数据的成像设备1802。这可以以各种的方式来实施。因此，在一种形式中，图像处理***1800可以是数字相机或其他图像捕获设备，并且在这种情况下成像设备1802可以是相机硬件和相机传感器软件、模块或组件1812。在其他示例中，成像处理***1800可具有成像设备1802，其包括或者可以是相机，并且逻辑模块1804可与成像设备1802远程通信或者可以其他方式通信耦合至成像设备1802以用于图像数据的进一步处理。

因此，图像处理设备1800可以是多相机设备（诸如平板电脑）上的单个相机。另外，设备1800可以是平板电脑或具有多个相机的其他设备，其中处理发生在相机之一处或在与相机进行通信的单独处理位置处，无论在平板电脑上还是在平板电脑外。

在任一种情况下，此类技术可包括相机，诸如数字相机***、专用相机设备或成像电话或平板电脑，无论是静止图片还是视频相机、或具有预览屏幕的设备、或这些的某一组合。因此，以一种形式，成像设备1802可包括相机硬件和光学器件，其包括一个或多个传感器以及自动聚焦、变焦、孔径、ND-滤波器、自动曝光、闪光和致动器控制。这些控制可以是传感器模块或用于操作传感器的组件1806的一部分。传感器组件1806可以是成像设备1802的一部分，或者可以是逻辑模块1804的一部分，或者这二者。此类传感器组件可以被用于为取景器生成图像（该取景器可包括预览屏幕），并且拍摄静止图片或视频。成像设备1802还可具有透镜、具有RGB Bayer型滤色器的图像传感器、模拟放大器、A/D转换器、用来将入射光转换成数字信号的其他组件、等等、以及/或者其组合。在本文中数字信号也可被称为原始图像数据。

其他形式包括相机传感器类型的成像设备等等（例如网络相机或网络相机传感器或其他互补金属氧化物半导体型图像传感器（CMOS）），而不使用红-绿-蓝（RGB）深度相机和/或麦克风阵列来定位谁正讲话。相机传感器还可支持其他类型的电子快门，诸如附加于或替代滚动快门的全局快门、以及许多其他快门类型。在其他示例中，除了相机传感器或作为相机传感器的替代，还可能使用RGB-深度相机和/或麦克风阵列。在一些示例中，成像设备1802可被提供有眼睛跟踪相机。

成像设备1802还可具有透镜致动器1808，其具有透镜和透镜驱动器或驱动器逻辑，所述透镜驱动器或驱动器逻辑接收命令以移动透镜和施加电流来移动透镜。自动聚焦（AF）控制1810也可被提供在成像设备上以便从传感器和透镜致动器收集校准数据，并且将该数据传送至存储器和/或AF组件1812。可选地，成像设备1812还可具有用来确认透镜位置的透镜位置传感器1811（如果需要的话）。

在所图示的示例中，逻辑模块1804可包括纠正单元1813、关键点单元1814和透镜移位校正单元1812，该透镜移位校正单元1812继而包括执行本文中提到的操作（诸如在过程400和450中解释的那些）的移位参数单元1815和扭曲单元1816。AF组件1817可被提供来执行AF算法以计算期望的新当前透镜位置以及AF校准以计算经更新的EOC、SOC和INF值。逻辑模块1804还可包括自动白平衡（AWB）模块1818和自动曝光控制（AEC）模块1819。包括透镜移位校正单元1812的逻辑模块1804的组件可通过（一个或多个）处理器1820来操作，或者甚至完全或部分地位于该（一个或多个）处理器1820处，并且该（一个或多个）处理器1820可包括ISP 1822。该逻辑模块可通信耦合至成像设备1802的组件，以便接收原始图像数据。可选地，可由与原始图像数据流分离的数据流来提供数据。在这些情况下，假设逻辑模块1804被视为与成像设备分离。这不需要如此，并且逻辑模块也可以被很好地视为成像设备的部分。

图像处理***1800可具有：一个或多个处理器1820，其可包括专用图像信号处理器（ISP）1822（诸如英特尔Atom）；存储器存储装置1824，其可以保持或者不保持AF校准缓冲器1826以及本文中提到的关键点数据1827；用来提供图像1830的一个或多显示器1828；编码器1832；以及天线1834。在一个示例实施方式中，图像处理***100可具有：显示器1828；通信耦合至显示器的至少一个处理器1820；至少一个存储器1824，其被通信耦合至处理器并具有缓冲器1827，通过一个示例，所述缓冲器1827用于存储关键点或任何其他透镜移位校正数据。编码器1832和天线1834可以被提供用来压缩经修改的图像数据以便传输到可显示或存储图像的其他设备。将会理解，该图像处理***1800还可包括解码器（或编码器1832可包括解码器）以接收并解码图像数据以供***1800处理。另外，经处理的图像1830可以被显示在显示器1828上或者被存储在存储器1824中。如所图示的，这些组件中的任一个可能都能够彼此进行通信和/或与逻辑模块1804和/或成像设备1802的部分进行通信。因此，处理器1820可被通信耦合至图像设备1802和逻辑模块1804二者以用于操作这些组件。通过一种方法，尽管如图18中所示图像处理***1800可包括与特定组件或模块相关联的一个特定块或动作集合，但是这些块或动作可与不同于本文所图示的该特定组件或模块的组件或模块相关联。

参考图19，根据本公开的示例***1900操作本文中所述的图像处理***10、200或1800的一个或多个方面。将会从下面描述的***组件的性质理解到，此类组件可与上面描述的图像处理***的某一或某些部分相关联或者被用来操作该某一或某些部分。在各种实施方式中，***1900可以是媒体***，尽管***1900不限于该上下文。例如，***1900可以被合并到数字静止相机、数字视频相机、具有相机或视频功能的移动设备（诸如成像电话、网络相机、个人计算机（PC）、膝上型计算机、超级膝上型计算机、具有多个相机的平板电脑、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理（PDA）、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备（例如智能电话、智能平板电脑或智能电视）、移动因特网设备（MID）、消息传递设备、数据通信设备等等）。

在各种实施方式中，***1900包括耦合至显示器1920的平台1902。平台1902可从内容设备（诸如（一个或多个）内容服务设备1930或（一个或多个）内容递送设备1940或其他类似内容源）接收内容。包括一个或多个导航特征的导航控制器1950可被用来与例如平台1902和/或显示器1920交互。下面更详细地描述这些组件中的每一个。

在各种实施方式中，平台1902可包括芯片集1905、处理器1910、存储器1912、存储装置1914、图形子***1915、应用程序1916和/或无线电装置1918的任何组合。芯片集1905可提供在处理器1910、存储器1912、存储装置1914、图形子***1915、应用1916和/或无线电装置1918之间的互相通信。例如，芯片集1905可包括能够提供与存储装置1914的互相通信的存储装置适配器（为被描绘）。

处理器1910可被实施为复杂指令集计算机（CISC）或精简指令集计算机（RISC）处理器；x86指令集兼容处理器、多核、或任何其他微处理器或中央处理单元（CPU）。在各种实施方式中，处理器1910可以是（一个或多个）双核处理器、（一个或多个）双核移动处理器、等等。

存储器1912可被实施为易失性存储器设备，诸如但不限于随机存取存储器（RAM）、动态随机存取存储器（DRAM）或静态RAM（SRAM）。

存储装置1914可被实施为非易失性存储设备，诸如但不限于磁盘驱动器、光盘驱动器、带驱动器、内部存储设备、附接的存储设备、闪速存储器、电池备份SDRAM（同步DRAM）、和/或网络可访问存储设备。在各种实施方式中，例如当包括多个硬件驱动器时，存储装置1914可包括用来增加对于有价值的数字媒体的存储性能增强的保护的技术。

图形子***1915可执行诸如静止或视频之类的图像的处理以用于显示。例如，图形子***1915可以是图形处理单元（GPU）或视觉处理单元（VPU）。模拟或数字接口可被用来通信耦合图形子***1915和显示器1920。例如，该接口可以是高清晰度多媒体接口、显示端口、无线HDMI和/或无线HD依从技术中的任一个。图形子***1915可被集成到处理器1910或芯片集1905中。在一些实施方式中，图形子***1915可以是通信耦合至芯片集1905的独立卡。

图形子***1915还可被视为包括具有或操作利用***1800描述的相机操作的应用中的任一个。

本文中描述的图形和/或视频处理技术可在各种硬件架构中实施。例如，图形和/或视频功能可被集成在芯片集内。替代地，可使用分立的图形和/或视频处理器。作为仍另一实施方式，可通过通用处理器（包括多核处理器）来提供图形和/或视频功能。在另外的实施例中，可在消费电子器件中实施该功能。

无线电装置1918可包括能够使用各种合适的无线通信技术来发射和/或接收信号的一个或多个无线电装置。此类技术可涉及跨一个或多个无线网络的通信。示例无线网络包括（但不限于）无线局域网（WLAN）、无线个域网（WPAN）、无线城域网（WMAN）、蜂窝网络、和卫星网络。在跨此类网络的通信中，无线电装置1918可根据处于任何版本的一个或多个可应用标准来操作。

在各种实施方式中，显示器1920可包括任何电视类型的监视器或显示器。显示器1920可包括例如计算机显示屏、触摸屏显示器、视频监视器、电视类设备和/或电视。显示器1920可以是数字和/或模拟的。在各种实施方式中，显示器1920可以是全息显示器。而且，显示器1920可以是可接收视觉投影的透明表面。此类投影可传达各种形式的信息、图像和/或对象。例如，此类投影可以是对于移动增强现实（MAR）应用的视觉覆盖。在一个或多个软件应用1916的控制下，平台1902可在显示器1920上显示用户接口1922。

在各种实施方式中，例如（一个或多个）内容服务设备1930可由任何国内、国际和/或独立的服务来托管并且因此是经由因特网对平台1902可访问的。（一个或多个）内容服务设备1930可被耦合至平台1902和/或显示器1920。平台1902和/或（一个或多个）内容服务设备1930可被耦合至网络1960以便传送（例如发送和/或接收）去到和来自网络1960的媒体信息。（一个或多个）内容递送设备1940也可被耦合至平台1902和/或显示器1920。

在各种实施方式中，（一个或多个）内容服务设备1930可包括有线电视盒、个人计算机、网络、电话、能够递送数字信息和/或内容的因特网使能的设备或电器、以及能够经由网络1960或直接在内容提供商和平台1902和/或显示器1920之间单向地或双向地传送内容的任何其他类似设备。将会认识到，可经由网络1960向和自内容提供商和***1900中的组件中的任一个单向地和/或双向地传送内容。内容的示例可包括任何媒体信息，包括例如视频、音乐、医疗和游戏信息等等。

（一个或多个）内容服务设备1930可接收诸如有线电视节目之类的内容，其包括媒体信息、数字信息和/或其他内容。内容提供商的示例可包括任何有线或***或无线电或因特网内容提供商。所提供的示例不意图以任何方式限制根据本公开的实施方式。

在各种实施方式中，平台1902可从导航控制器1950接收控制信号，所述导航控制器1905具有一个或多个导航特征。例如，控制器1950的导航特征可被用来与用户接口1922交互。在实施例中，导航控制器1950可以是定点设备，其可以是允许用户将空间（例如连续和多维）数据输入计算机中的计算机硬件组件（具体地，人类接口设备）。诸如图形用户接口（GUI）和电视和监视器之类的许多***允许用户使用身体姿势来控制计算机或电视并向计算机或电视提供数据。

控制器1950的导航特征的移动可通过指针、光标、聚焦环或显示在显示器上的其他视觉指示器的移动被复制在显示器（例如显示器1920）上。例如，在软件应用1916的控制下，例如位于导航控制器1950上的导航特征可被映射至显示在用户接口1922上的视觉导航特征。在实施例中，控制器1950可能不是单独的组件，而是可被集成在平台1902和/或显示器1920中。然而，本公开不限于本文所示或所述的元件或在本文所示或所述的上下文中。

在各种实施方式中，驱动器（为示出）可包括使得用户能够在例如初始启动之后、在被启用时利用按钮的触摸立即接通和断开平台1902的技术。程序逻辑可允许平台1902将内容流式传送到媒体适配器或（一个或多个）其他内容服务设备1930或者（一个或多个）内容递送设备1940，即使当平台被“断开”时。此外，芯片集1905可包括例如对于8.1环绕声音音频和/或高清晰度（7.1）环绕声音音频的硬件和/或软件支持。驱动器可包括用于集成图形平台的图形驱动器。在实施例中，该图形驱动器可包括快速***组件互连（PCI）图形卡。

在各种实施方式中，***1900中所示的组件中的任一个或多个可被集成。例如，平台1902和（一个或多个）内容服务设备1930可被集成，或者平台1902和（一个或多个）内容递送设备1940可被集成，或者例如平台1902、（一个或多个）内容服务设备1930和（一个或多个）内容递送设备1940可被集成。在各种实施例中，平台1902和显示器1920可以是集成单元。例如，显示器1920和（一个或多个）内容服务设备1930可被集成，或者显示器1920和（一个或多个）内容递送设备1940可被集成。这些示例不意图限制本公开。

在各种实施例中，***1900可被实施为无线***、有线***或二者的组合。当被实施为无线***时，***1900可包括适用于通过无线共享介质进行通信的组件和接口，诸如一个或多个天线、发射器、接收器、收发器、放大器、滤波器、控制逻辑等等。无线共享介质的示例可包括无线频谱（诸如RF频谱等等）的部分。当被实施为有线***时，***1900可包括适用于通过有线通信介质进行通信的组件和接口，诸如输入/输出（I/O）适配器、将I/O适配器与对应的有线通信介质连接的物理连接器、网络接口卡（NIC）、盘控制器、视频控制器、音频控制器等等。有线通信介质的示例可包括导线、电缆、金属引线、印刷电路板（PCB）、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等等。

平台1902可建立一个或多个逻辑或物理信道来传送信息。该信息可包括媒体信息和控制信息。媒体信息可指代表示期望用于用户的内容的任何数据。内容的示例可包括例如来自语音会话的数据、视频会议、流式视频、电子邮件（“email”）消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等等。来自语音会话的数据可以是例如言语信息、静默时段、背景噪声、舒适噪声、音调等等。控制信息可指代表示期望用于自动化***的命令、指令或控制字的任何数据。例如，控制信息可被用来将媒体信息路由通过***，或者指示节点以预定方式处理媒体信息。然而，实施方式不限于图19中所示或所述的元件或在图19中所示或所述的上下文中。

参考图20，小形状因子设备2000是***1800或1900可以其具体化的变化的物理样式或形状因子的一个示例。通过该方法，设备2000可被实施为具有无线能力的移动计算设备。例如移动计算设备可指代具有处理***和移动电源或电力供应（诸如一个或多个电池）的任何设备。

如上文所述，移动计算设备的示例可包括数字静止相机、数字视频相机、具有相机或视频功能的移动设备（诸如成像电话、网络相机、个人计算机（PC）、膝上型计算机、超级膝上型计算机、平板电脑、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理（PDA）、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备（例如智能电话、智能平板电脑或智能电视）、移动因特网设备（MID）、消息传递设备、数据通信设备等等）、以及作为相机阵列的部分或具有相机阵列的这些中的任一个。

移动计算设备的示例还可包括被布置成由人穿戴的计算机，诸如手腕计算机、手指计算机、戒指计算机、眼镜计算机、带夹计算机、臂带计算机、鞋计算机、衣服计算机和其他可穿戴计算机。在各种实施例中，例如，移动计算设备可被实施为能够执行计算机应用、以及语音通信和/或数据通信的智能电话。尽管通过示例的方式可利用被实施为智能电话的移动计算设备来描述一些实施例，但是可认识到也可使用其他无线移动计算设备来实施其他实施例。实施例不限于在该上下文中。

如图20中所示，设备2000可包括外壳2002、包括屏幕2010的显示器2004、输入/输出（I/O）设备2006、和天线2008。设备2000还可包括导航特征2012。显示器2004可包括用于显示适用于移动计算设备的信息的任何合适的显示单元。I/O设备2006可包括用于将信息输入到移动计算设备中的任何合适的I/O设备。用于I/O设备2006的示例可包括字母数字键盘、数字键盘、触摸板、输入键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别设备和软件、等等。信息还可通过麦克风（未示出）的方式被输入至设备2000中。可通过语音识别设备（未示出）来对此类信息数字化。该实施方式不限于在该上下文中。

本文所述的各种形式的设备和过程可以使用硬件元件、软件元件或二者的组合来实现。硬件元件的示例可以包括处理器、微处理器、电路、电路元件（例如，晶体管、电阻器、电容器、电感器等）、集成电路、专用集成电路（ASIC）、可编程逻辑设备（PLD）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片集等。软件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、***程序、机器程序、操作***软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口（API）、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定是否使用硬件元件和/或软件元件来实施实施方式可以根据任何数目的因素而变化，诸如期望的计算速率、功率水平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。

至少一个实施方式的一个或多个方面可以由存储在表示处理器内的各种逻辑的机器可读介质上的代表性指令来实现，其在由机器读取时使得机器构造逻辑以执行此处描述的技术。称为“IP核”的此类表示可以被存储在有形机器可读介质上，并且被供应到各种客户或制造设施以加载到实际作出逻辑或处理器的构造机器中。

虽然已经参考各种实施方式描述了此处阐述的特定特征，但是该描述不意在限制的意义上被解释。因此，此处描述的实施方式的各种修改以及对本公开所属于的领域中的技术人员显而易见的其他实施方式被认为在本公开的精神和范围内。

下面的示例属于进一步的实施方式。

通过一个示例实施方式，一种用于相机阵列的透镜移位校正的计算机实施的方法包括：获得多个相机的图像数据，其中所述相机中的至少一个要执行自动聚焦；确定移位参数以使自动聚焦相机的单独的图像的错位点的位置移位并且校正通过使用所述多个相机的非自动聚焦相机的图像上的对应点确定的位置；以及通过使用所述参数来扭曲来自自动聚焦相机的图像以修改自动聚焦相机的图像上的错位点的位置。

通过另一实施方式，该方法可包括其中所述移位参数指示对错位点的校正，就像错位点是通过使用先前用于校准的焦距、主点或这二者而定位的一样；其中所述参数从自动聚焦相机的图像到图像而不同；其中所述参数是通过使用超定线性***来确定的；其中所述参数是通过使纠正误差方程最小化来确定的；其中以具有要被确定的参数变量的矩阵乘法形式来放置误差方程。所述方法还可以包括：建立至少两条极线，每一条都从错位点的对应点并从非自动聚焦相机的图像延伸，并且延伸到自动聚焦相机的图像，其中在自动聚焦相机的图像上的极线的交叉点是错位点的正确位置；确定从错位点到自动聚焦相机的图像上的极线中的每一条的距离；以及使用所述距离来计算所述移位参数中的至少一个。所述方法还可以包括，其中所述相机处于非共线布置；其中所述移位参数包括在大体上平行于自动聚焦相机的传感器的平面的方向上的2D位移，或者大体上在自动聚焦相机的光轴的方向上的尺度；并且所述方法包括以下各项中的至少一个：利用所述参数扭曲自动聚焦相机的经纠正的图像；以及利用所述参数扭曲自动聚焦相机的未经纠正的高分辨率图像。

通过另外的实施方式，一种透镜移位校正的计算机实施的***，包括：显示器；通信耦合至显示器的至少一个处理器；通信耦合至至少一个处理器的至少一个存储器；以及

透镜移位校正单元，其通过处理器来操作并用来：获得多个相机的图像数据，其中所述相机中的至少一个要执行自动聚焦；确定移位参数以使自动聚焦相机的单独的图像的错位点的位置移位并且校正通过使用所述多个相机的非自动聚焦相机的图像上的对应点确定的位置；以及通过使用所述参数来扭曲来自自动聚焦相机的图像以修改自动聚焦相机的图像上的错位点的位置。

通过又另外的实施方式，所述***可包括其中所述移位参数指示对错位点的校正，就像错位点是通过使用先前用于校准的焦距、主点或这二者而定位的一样；其中所述参数从自动聚焦相机的图像到图像而不同；其中所述参数是通过使用超定线性***来确定的；其中所述参数是通过使纠正误差方程最小化来确定的；其中以具有要被确定的参数变量的矩阵乘法形式来放置误差方程。所述透镜移位校正单元还可以被提供以：建立至少两条极线，每一条都从错位点的对应点并从非自动聚焦相机的图像延伸，并且延伸到自动聚焦相机的图像，其中在自动聚焦相机的图像上的极线的交叉点是错位点的正确位置；确定从错位点到自动聚焦相机的图像上的极线中的每一条的距离；以及使用所述距离来计算所述移位参数中的至少一个；其中所述相机处于非共线布置；其中所述移位参数包括在大体上平行于自动聚焦相机的传感器的平面的方向上的2D位移，或者大体上在自动聚焦相机的光轴的方向上的尺度。所述透镜移位校正单元要进行以下中的至少一个：利用所述参数扭曲自动聚焦相机的经纠正的图像；以及利用所述参数扭曲自动聚焦相机的未经纠正的高分辨率图像。

通过另一实施方式，一种计算机可读介质，其上存储有指令，所述指令当被执行时使计算设备：获得多个相机的图像数据，其中所述相机中的至少一个要执行自动聚焦；确定移位参数以使自动聚焦相机的单独的图像的错位点的位置移位并且校正通过使用所述多个相机的非自动聚焦相机的图像上的对应点确定的位置；以及通过使用所述参数来扭曲来自自动聚焦相机的图像以修改自动聚焦相机的图像上的错位点的位置。

通过又另一实施方式，所述指令可使计算设备使得其中所述移位参数指示对错位点的校正，就像错位点是通过使用先前用于校准的焦距、主点或这二者而定位的一样；其中所述参数从自动聚焦相机的图像到图像而不同；其中所述参数是通过使用超定线性***来确定的；其中所述参数是通过使纠正误差方程最小化来确定的；并且其中以具有要被确定的参数变量的矩阵乘法形式来放置误差方程。所述指令可以使计算设备：建立至少两条极线，每一条都从错位点的对应点并从非自动聚焦相机的图像延伸，并且延伸到自动聚焦相机的图像，其中在自动聚焦相机的图像上的极线的交叉点是错位点的正确位置；确定从错位点到自动聚焦相机的图像上的极线中的每一条的距离；以及使用所述距离来计算所述移位参数中的至少一个；其中所述相机处于非共线布置；并且其中所述移位参数包括在大体上平行于自动聚焦相机的传感器的平面的方向上的2D位移，或者大体上在自动聚焦相机的光轴的方向上的尺度。所述指令还可以使计算设备进行以下中的至少一个：利用所述参数扭曲自动聚焦相机的经纠正的图像；以及利用所述参数扭曲自动聚焦相机的未经纠正的高分辨率图像。

在另外的示例中，至少一个机器可读介质可包括多个指令，所述多个指令响应于在计算设备上被执行来使计算设备执行根据上述示例中的任一个的方法。

在又另外的示例中，一种装置可包括用于执行根据上述示例中的任一个的方法的部件。

上述的示例可以包括特征的特定组合。然而，上述示例不限于此方面，并且在各种实施方式中，上述示例可以包括仅进行此类特征的子集、进行此类特征的不同次序、进行此类特征的不同组合和/或进行除了明确列出的那些特征之外的附加特征。例如，可以关于任何示例装置、示例***和/或示例物体来实施关于本文中任何示例方法描述的所有特征，并且反之亦然。

Claims

1.一种用于相机阵列的透镜移位校正的计算机实施的方法，包括：

获得多个相机的图像数据，其中所述相机中的至少一个要执行自动聚焦；

确定移位参数以使自动聚焦相机的单独的图像的错位点的位置移位并且校正通过使用所述多个相机的非自动聚焦相机的图像上的对应点确定的位置；

通过使用所述参数来扭曲来自自动聚焦相机的图像以修改自动聚焦相机的图像上的错位点的位置；以及

建立至少两条极线，每一条都从错位点的对应点并从非自动聚焦相机的图像延伸，并且延伸到自动聚焦相机的图像，其中在自动聚焦相机的图像上的极线的交叉点是错位点的正确位置。

2.根据权利要求1所述的方法，其中所述移位参数指示对错位点的校正，就像错位点是通过使用先前用于校准的焦距、主点或这二者而定位的一样。

3.根据权利要求1所述的方法，其中所述参数从自动聚焦相机的图像到图像而不同。

4.根据权利要求1所述的方法，其中所述参数是通过使用超定线性***来确定的。

5.根据权利要求1所述的方法，其中所述参数是通过使纠正误差方程最小化来确定的。

6.根据权利要求5所述的方法，其中以具有要被确定的参数变量的矩阵乘法形式来放置误差方程。

7.根据权利要求1所述的方法，包括确定从错位点到自动聚焦相机的图像上的极线中的每一条的距离；以及

使用所述距离来计算所述移位参数中的至少一个。

8.根据权利要求1所述的方法，其中所述相机处于非共线布置。

9.根据权利要求1所述的方法，其中所述移位参数包括在大体上平行于自动聚焦相机的传感器的平面的方向上的2D位移，或者大体上在自动聚焦相机的光轴的方向上的尺度。

10.根据权利要求1所述的方法，包括利用所述参数扭曲自动聚焦相机的经纠正的图像。

11.根据权利要求1所述的方法，包括利用所述参数扭曲自动聚焦相机的未经纠正的高分辨率图像。

12.根据权利要求1所述的方法，其中所述移位参数指示对错位点的校正，就像错位点是通过使用先前用于校准的焦距、主点或这二者而定位的一样；

其中所述参数从自动聚焦相机的图像到图像而不同；

其中所述参数是通过使用超定线性***来确定的；

其中所述参数是通过使纠正误差方程最小化来确定的；

其中以具有要被确定的参数变量的矩阵乘法形式来放置误差方程；

所述方法包括：

确定从错位点到自动聚焦相机的图像上的极线中的每一条的距离；以及

使用所述距离来计算所述移位参数中的至少一个；

其中所述相机处于非共线布置；

其中所述移位参数包括在大体上平行于自动聚焦相机的传感器的平面的方向上的2D位移，或者大体上在自动聚焦相机的光轴的方向上的尺度；

所述方法包括以下各项中的至少一个：

利用所述参数扭曲自动聚焦相机的经纠正的图像；以及

利用所述参数扭曲自动聚焦相机的未经纠正的高分辨率图像。

13.一种透镜移位校正的计算机实施的***，包括：

显示器；

通信耦合至显示器的至少一个处理器；

通信耦合至至少一个处理器的至少一个存储器；以及

透镜移位校正单元，其通过处理器来操作并用来：

通过使用所述参数来扭曲来自自动聚焦相机的图像以修改自动聚焦相机的图像上的错位点的位置；

14.根据权利要求13所述的***，其中所述移位参数指示对错位点的校正，就像错位点是通过使用先前用于校准的焦距、主点或这二者而定位的一样。

15.根据权利要求13所述的***，其中所述参数从自动聚焦相机的图像到图像而不同。

16.根据权利要求13所述的***，其中所述参数是通过使用超定线性***来确定的。

17.根据权利要求13所述的***，其中所述参数是通过使纠正误差方程最小化来确定的。

18.根据权利要求13所述的***，其中所述透镜移位校正单元要确定从错位点到自动聚焦相机的图像上的极线中的每一条的距离；以及

使用所述距离来计算所述移位参数中的至少一个。

19.根据权利要求13所述的***，其中所述相机处于非共线布置。

20.根据权利要求13所述的***，其中所述移位参数包括在大体上平行于自动聚焦相机的传感器的平面的方向上的2D位移，或者大体上在自动聚焦相机的光轴的方向上的尺度。

21.根据权利要求13所述的***，其中所述移位参数指示对错位点的校正，就像错位点是通过使用先前用于校准的焦距、主点或这二者而定位的一样；

其中所述参数从自动聚焦相机的图像到图像而不同；

其中所述参数是通过使用超定线性***来确定的；

其中所述参数是通过使纠正误差方程最小化来确定的；

其中所述透镜移位校正单元要：

使用所述距离来计算所述移位参数中的至少一个；

其中所述相机处于非共线布置；

其中所述透镜移位校正单元要进行以下中的至少一个：

利用所述参数扭曲自动聚焦相机的经纠正的图像；以及

22.一种装置，其包括用于执行根据权利要求1-12中任一项的方法的部件。

23.一种计算机可读介质，其上存储有指令，所述指令当被运行时使计算设备执行根据权利要求1至12中任一项所述的方法。