CN101150650A - 用于处理图像的设备、方法和介质 - Google Patents

Abstract

提供一种用于处理图像的设备、方法和介质。在该设备中，图像排列单元从待拼接的图像中选择至少一个图像，以使图像的重叠区的颜色尽可能彼此相同，并响应于重排列信号再次操作；图像校正单元在考虑重叠区的颜色的情况下，对作为将至少一个图像移位的结果的重叠区的至少一部分的颜色进行校正之后，产生重排列信号，随后重复对图像的移位。因此，即使图像的重叠区的颜色不相同，也可以在将图像拼接以形成全景图像时精确地排列图像的重叠区，从而使全景图像更准确。

Description

用于处理图像的设备、方法和介质

技术领域

实施例涉及图像处理，更具体地说，涉及一种通过拼接以不同方向拍摄的多个图像来创建全景图像的设备、方法和介质。

背景技术

全景图像是在不同方向上拍摄并以预定的方式拼接的一系列图像。与在一个方向上捕获的图像相比，这样的全景图像提供宽视野(FOV)的场景。因此，可提供更精确的场景的扩展视图。

捕获具有重叠区的图像来制作全景图像。具体地，在拍摄用于全景图像的一系列图像中，先前捕获图像的尾部理想地与当前捕获图像的头部相同。图像的重叠区是捕获场景的相同部分的图像的区，当利用被精确排列的图像的重叠区拼接图像时，可获得更理想的全景图像。

在用于产生全景图像的传统设备中，在调节图像的位置之后拼接一系列图像以使图像的重叠(相同)区的颜色尽可能互相一致。

虽然优选的是从场景(对象)的相同部分捕获的图像的重叠区的颜色相同，但是由于各种原因重叠区的颜色可能不同。例如，由于不同的相机设置(诸如曝光时间和照明)，图像的重叠区的颜色可能不同。

当图像的重叠区的颜色不相同时，很难使用传统全景图像产生设备精确地排列图像的重叠区。也就是说，使用传统全景图像产生设备产生准确的全景图像受到限制。

发明内容

实施例提供一种图像处理设备，即使重叠区的颜色不相同，所述图像处理设备也可通过对具有精确排列的图像的重叠区的一系列图像进行拼接来产生理想全景图像。

实施例提供一种图像处理方法，即使当重叠区的颜色不相同，也可使用所述图像处理方法通过对具有精确排列的图像的重叠区的一系列图像进行拼接来产生理想的全景图像。

实施例提供一种具有用于执行图像处理方法的计算机可读程序的计算机可读记录介质，即使重叠区的颜色不相同，也可使用所述图像处理方法通过对具有精确排列的图像的重叠区的一系列图像进行拼接来产生理想的全景图像。

根据实施例的一方面，提供一种用于处理图像的设备，所述设备包括：图像排列单元，将从待拼接的图像选择的至少一个图像移位，以使图像的重叠区的颜色尽可能地彼此相同，并响应于重新排列信号再次进行操作；以及图像校正单元，在考虑重叠区的颜色的情况下，对作为将至少一个图像移位的结果的重叠区的至少一部分的颜色进行校正之后产生重新排列信号。

根据实施例的另一方面，提供一种处理图像的方法，所述方法包括：(a)将从待拼接的图像选择的至少一个图像移位，以使图像的重叠区的颜色尽可能彼此相同；以及(b)在考虑重叠区的颜色的情况下，对作为将至少一个图像移位的结果的重叠区的至少一部分的颜色进行校正，并进行到步骤(a)。

根据实施例的另一方面，提供一种具有用于执行处理图像的计算机可读程序的计算机可读记录介质，所述方法包括：将从待拼接的图像中选择的至少一个图像移位，以使图像的重叠区的颜色尽可能彼此相同；以及在考虑重叠区的颜色的情况下，对作为对至少一个图像移位的结果的重叠区的至少一部分的颜色进行校正，并继续进行图像的移位。

根据实施例的另一方面，提供一种用于处理图像的方法，包括：将从待拼接的图像选择的至少一个图像移位，以使图像的重叠区的颜色尽可能彼此相同；以及基于重叠区的颜色对作为将至少一个图像移位的结果的重叠区的至少一部分的颜色进行校正。

根据示例性实施例的另一方面，提供至少一种存储实现实施例的方法的计算机可读指令的计算机可读介质。

附图说明

本专利或申请文件包含至少一个以彩色绘制的附图。根据请求并支付必要的费用之后，可由专利局提供具有彩图的本专利或专利申请公布的复印件。结合附图，通过以下对示例性实施例的描述，这些和/或其他方面、特征和优点将变得清楚和更容易理解，其中：

图1A是示出根据示例性实施例的拍摄装置的透视图；

图1B、图1C和图1D是用于解释根据示例性实施例的单行全景图像的示图；

图1E和图1F是用于解释根据示例性实施例的多行全景图像的示图；

图2是示出根据示例性实施例的图像处理设备的框图；

图3A和图3B是示出根据示例性实施例的图2的图像处理设备的映射单元的操作的示图；

图4是示出根据示例性实施例的图2的图像处理设备的图像校正单元的框图；

图5是示出根据另一示例性实施例的图2的图像处理设备的图像校正单元的框图；

图6是用于解释根据示例性实施例的图像处理方法的流程图；

图7是用于具体解释根据示例性实施例的图6的图像处理方法的操作620的流程图；

图8是用于具体解释根据另一示例性实施例的图6的图像处理方法的操作620的流程图。

具体实施方式

现在将详细参照示例性实施例，实施例的示例在附图中示出，其中，相同的标号始终指示相同的组件。以下通过参照附图来描述示例性实施例。

实施例提供一种可产生更理想的全景图像的图像处理设备、方法和介质。在参照图2至图8详细描述示例性实施例之前，现在将参照图1A至图1F简要描述全景图像。

图1A是示出根据示例性实施例的拍摄装置100的透视图。拍摄装置100的示例包括数码相机和其他具有拍摄功能的装置，诸如便携式电话。因此，示例性实施例可包括可执行拍摄操作的任何装置。利用通过拍摄装置100拍摄的多个图像(相片)来产生全景图像。

如图1A所示，x、y和z轴可互相垂直。然而，可以在不同的方向上设置x、y和z轴。在图1A示出的构造中，z轴代表拍摄的方向。也就是说，z轴可以是镜头102指向的方向。x、y和z轴在原点(O)交叉。

箭头104代表拍摄装置100围绕x轴的俯仰运动的方向，箭头106代表拍摄装置100围绕y轴的摇摆(panning)运动的方向。箭头108代表拍摄装置100围绕z轴的滚动运动的方向。以下，术语俯仰角代表拍摄装置100以箭头104的方向进行的俯仰运动量，术语摇摆角代表拍摄装置100以箭头106的方向进行的摇摆运动量，术语滚动角代表拍摄装置100以箭头108的方向进行的滚动运动量。此外，拍摄装置100的俯仰、摇摆和滚动运动的正方向分别为箭头104、106和108的方向。

图1B、图1C和图1D是用于解释根据示例性实施例的单行(水平)全景图像的示图，图1E和图1F是用于解释根据示例性实施例的多行(球体)全景图像的示图。

在此使用术语“单行(水平)全景图像”代表使用利用拍摄装置100以不同的水平角度(即，以不同的水平拍摄方向)从固定点(C)捕获的一系列图像110、112、114和116而制作的全景图像。例如，拍摄装置100自身、手持拍摄装置100的拍摄者或者拍摄者的身体部分(例如，手臂)可围绕固定点(C)旋转以捕获图像110、112、114和116。

参照图1B，图像110、112、114和116可分别为第m捕获图像(其中，m为自然数)、第(m+1)捕获图像、第(m+2)捕获图像和第(m+3)捕获图像。或者，图像110、112、114和116可分别为第(m+3)捕获图像、第(m+2)捕获图像、第(m+1)捕获图像和第m捕获图像。这里，术语“捕获图像”用于代表相片，“第m捕获图像”代表在一系列捕获图像中的第m图像。

参照图1C，固定点(C)是中心点，从所述中心点以不同的角度捕获一系列图像。例如，当拍摄装置100固定于旋转的三脚架固定装置以使用拍摄装置100在不同的角度捕获一系列图像时，三脚架对应于固定点(C)。当拍摄者沿着预定路径在移动其手持拍摄装置100的手臂的同时以不同的角度捕获一系列图像时，拍摄者(具体地说，拍摄者的肩膀起到手臂的转动中心的作用)对应于固定点(C)。

在图1D中，标号111、113、115和117分别代表第m映射图像、第(m+1)映射图像、第(m+2)映射图像和第(m+3)映射图像。或者图像111、113、115和117可分别是第(m+3)映射图像、第(m+2)映射图像、第(m+1)映射图像和第m映射图像。这里，术语“映射图像”用于代表通过将捕获图像投影到预定的曲面上而形成的图像。也就是说，第m映射图像是通过将第m捕获图像投影在预定的曲面上而形成的图像。

捕获图像110、112、114和116被投影到预定的曲面上以形成映射图像111、113、115和117。然后，映射图像111、113、115和117被拼接(连接)到一起以创建单行全景图像。这里，预定的曲面为圆柱体的侧面的至少一部分(以下，称为圆柱体表面)。

在图1D中示出的圆圈是圆柱体的剖面图。如图1D所示，捕获图像110、112、114和116的中心被放置在圆的周线上，映射图像111、113、115和117被全部形成在圆的周线上。

在此使用术语“多行全景图像”代表使用利用拍摄装置100以不同的球体角度(即，以不同的球体拍摄方向)从固定点(C)捕获的一系列图像150、152、154和156而制作的全景图像。例如，拍摄装置100自身、手持拍摄装置100的拍摄者或者拍摄者的身体部分(例如，手臂)可水平和垂直地以固定点(C)为中心转动，以捕获图像150、152、154和156。

参照图1E和图1F，标号150至157可分别代表第m捕获图像、第m映射图像、第(m+1)捕获图像、第(m+1)映射图像、第(m+2)捕获图像、第(m+2)映射图像、第(m+3)捕获图像和第(m+3)映射图像。标号150至157可分别代表(m+1)捕获图像、第(m+1)映射图像、第(m+2)捕获图像、第(m+2)映射图像、第(m+3)捕获图像、第(m+3)映射图像、第m捕获图像和第m映射图像。或者，标号150至157可分别代表第(m+2)捕获图像、第(m+2)映射图像、第(m+3)捕获图像、第(m+3)映射图像、第m捕获图像、第m映射图像、(m+1)捕获图像和第(m+1)映射图像。或者，标号150至157可分别代表第(m+3)捕获图像、第(m+3)映射图像、第m捕获图像、第m映射图像、(m+1)捕获图像、第(m+1)映射图像、第(m+2)捕获图像和第(m+2)映射图像。

参照图1F，与图1C和图1D相似，由字母C代表固定(中心)点。分别使用P、Q和E表示球体的最高点(上极点)、最低点(下极点)和赤道。参考符号V1和V2代表球体的经线。参考符号P1、P2、P3和P4分别代表捕获图像150、152、154和156的中心。参考符号(α)代表捕获图像152和154之间(或者捕获图像150和156之间)的摇摆角，参考符号(θ)代表捕获图像152和150之间(或者捕获图像154和156之间)的俯仰角。如图1F所示，中心P2和P3可位于赤道(E)，中心P1和P4可位于与赤道(E)平行的线上。

通过将捕获图像150、152、154和156投影到预定的曲面上以形成映射图像151、153、155和157，并通过拼接所述映射图像151、153、155和157来产生多行全景图像。这里，预定的曲面为球体的表面的至少一部分(以下，称为球面)。如图1所示，捕获图像150、152、154和156的中心P1、P2、P3和P4位于球面上，映射图像151、153、155和157全部形成于球面上。

图2是示出根据示例性实施例的图像处理设备的框图。该图像处理设备可包括：拍摄单元210、图像存储单元212、提取单元214、映射单元216、移位计算单元218、图像排列单元220、校正参数计算单元222、图像校正单元224和比较单元226。

单元210至226可被包括在拍摄装置100中(参照图1A)。拍摄装置100还可包括诸如液晶显示器(LCD)的显示单元(未示出)。在拍摄装置100中，显示单元显示通过镜头(未示出)获得的场景的图像。

拍摄者可从显示单元上显示的场景的图像找到期望的图像。然后，拍摄者可通过操纵拍摄按钮101(参照图1A)来捕获期望的图像。拍摄按钮101可以是按压按钮或触摸按钮。

此后，拍摄单元210在拍摄按钮***纵时捕获在显示单元上显示的图像，图像存储单元212存储捕获的图像。

提取单元214读取存储在图像存储单元212中的图像，映射单元216通过将读取的图像映射到预定的曲面上来创建映射图像。此外，映射单元216可从拍摄单元210直接接收捕获图像并通过将接收的图像映射到预定的曲面上来直接创建映射图像。如上所述，预定的曲面可以是圆柱面或球面。

移位计算单元218计算待拼接的图像在预设的方向上的移位值，以使用计算的移位值使将被拼接的图像的重叠区的颜色相似度最大化。

拍摄装置100的俯仰、摇摆和滚动方向(在图1A中分别参照箭头104、106和108进行描述)可以是预设的方向的示例。将被拼接的图像可以是用于产生全景图像的多个映射图像。例如，将被拼接的图像可以是第n映射图像(其中，n是自然数)和第(n+1)映射图像。

此外，可以为捕获图像或映射图像计算移位值。也就是说，可以计算用于第n捕获图像和第(n+1)捕获图像中的至少一个或者用于第n映射图像和第(n+1)映射图像中的至少一个的移位值。可根据预设的方向确定是计算用于捕获图像的移位值还是用于映射图像的移位值。

当在不同的方向上捕获的图像不具有重叠区时(参照图1D和图1F)，在将第n捕获图像和第(n+1)捕获图像中的一个投影到包括另一个的平面上之后，移位计算单元218可以计算所述图像的合适的移位值。这里，在不考虑拍摄装置100的焦距的情况下将图像投影，因此图像的形状和面积没有被投影改变。

在示例性实施例中，捕获图像(或者映射图像)包括多个像素，所述像素的每一个都具有特定的颜色。也就是说，每个像素具有代表特定颜色的颜色信息。例如，这样的颜色信息包括红色分量、绿色分量和蓝色分量的组合。当为红色、绿色、蓝色分量中的每一个都分配8比特时，每个分量可表示256种颜色。也就是说，红色、绿色和蓝色分量中的每一个都具有256个颜色值(0-255)中的一个。例如，颜色值0表示绿色分量的最深的绿色，颜色值255表示绿色分量的最浅的绿色。

可在每个预设的方向上准备候选的移位值。在这种情况下，移位计算单元218在预设的方向上按照选择的候选移位值将第n捕获图像和第(n+1)捕获图像中的至少一个(或者第n映射图像和第(n+1)映射图像中的至少一个)移位。然后，移位计算单元218计算第n捕获图像和第(n+1)捕获图像(或者第n映射图像和第(n+1)映射图像)的重叠区之间的颜色相似度。移位计算单元218在每个预设方向上对所有候选移位值重复这些过程，并将得到最大颜色相似度的候选移位值中的一个确定为适合的移位值。

在示例性实施例中，通过以下方式来确定图像的重叠区之间的最大颜色相似度：每当按照候选移位值移动图像中的至少一个时，对图像的重叠区的各个像素的颜色进行比较以计算图像的重叠区之间的颜色相似度，也就是说，计算图像的重叠区的所有像素的颜色相似度；被计算用于各个候选移位值的颜色相似度中的最大值被选为最大颜色相似度。这里，可基于具有高于90％的颜色相似度的重叠区的像素数量或者重叠区的像素的颜色相似度的平均值等来确定最大颜色相似度。

例如，当第n映射图像的具有100个像素的右区与第(n+1)映射图像的具有100个像素的左区重叠时，移位计算单元218从每个预设方向的候选移位值中选择移位值，并按照选择的合适的移位值移动第n映射图像和第(n+1)映射图像。然后，移位计算单元218计算右区100个像素和左区100个像素之间的100个颜色相似度值，并找出100个颜色相似度值的平均值。以这种方式，移位计算单元218计算所有候选移位值的平均值，并确定与最大平均值相应的合适的移位值。

计算单元218可计算用于第n捕获图像和第(n+1)捕获图像或者第n映射图像和第(n+1)映射图像的相同的合适的移位值。或者，移位计算单元218可计算用于第n捕获图像和第(n+1)捕获图像或者第n映射图像和第(n+1)映射图像的不同的合适的移位值。

也就是说，当拍摄单元210捕获第一图像110或150以及第二图像112或152(参照图1B至图1F)时，移位计算单元218计算用于排列第一捕获图像110或150和第二捕获图像112或152(或者用于排列第一映射图像111或151以及第二映射图像113或153)的合适的移位值。然后，当拍摄单元210捕获第三图像114或154时，移位计算单元218计算用于排列第二捕获图像112或152以及第三捕获图像114或154(或者用于排列第二映射图像113或153以及第三捕获图像115或155)的合适的移位值。这里，由于再次计算用于第二捕获图像112或152(或者第二映射图像113或153)的合适的移位值，因此，使用当前的合适的移位值替换用于第二捕获图像112的先前的合适的移位值。以相同的方式，当拍摄单元210捕获第四图像116或156时，移位计算单元218计算用于排列第三捕获图像114或154以及第四捕获图像116或156(或者用于排列第三映射图像115或155以及第四捕获图像117或157)的合适的移位值。这里，由于再次计算用于第三捕获图像114或154(或者第三映射图像115或155)的合适的移位值，因此，使用当前的合适的移位值替换用于第三捕获图像114的先前的合适的移位值。

如果第n捕获图像不是第一捕获图像110或150，则移位计算单元218可不计算用于第n捕获图像或第n映射图像的合适的移位值，而仅计算用于第(n+1)捕获图像或第(n+1)映射图像的合适的移位值。也就是说，一旦计算了用于捕获图像(或映射图像)的合适的移位值，则移位计算单元218可不再计算用于相同的捕获图像(或者相同的映射图像)的合适的移位值。

在这种情况下，当拍摄单元210捕获第一图像110或150(不是捕获的第一图像)和第二图像112或152时，移位计算单元218计算用于排列第一捕获图像110或150以及第二捕获图像112或152(或者用于排列第一映射图像111或151以及第二映射图像113或153)的合适的移位值。然后，当拍摄单元210捕获第三图像114或154时，移位计算单元218计算用于第三捕获图像114或154(或者用于第三映射图像115或155)的合适的移位值。相似地，当拍摄单元210捕获第四图像116或156时，移位计算单元218计算用于第四捕获图像116或156(或者第四映射图像117或157)的合适的移位值。

当移位计算单元218计算用于捕获图像的合适的移位值时(具体地，当移位计算单元218计算用于第n捕获图像和第(n+1)捕获图像中的至少一个的合适的移位值时)，图像排列单元220按照计算的合适的移位值移动第n捕获图像和第(n+1)捕获图像中的至少一个。然后，映射单元216使用第n捕获图像和第(n+1)捕获图像产生第n映射图像和第(n+1)映射图像。

相似地，当移位计算单元218计算用于映射图像的合适的移位值时，(具体地，当移位计算单元218计算用于第n映射图像和第(n+1)映射图像中的至少一个的合适的移位值时)，图像排列单元220按照计算的合适的移位值来移动第n映射图像和第(n+1)映射图像中的至少一个。

在按照合适的移位值移动第n捕获图像和第(n+1)捕获图像中的至少一个或者从第n捕获图像和第(n+1)捕获图像获得的第n映射图像和第(n+1)映射图像中的至少一个之后，在考虑第n映射图像和第(n+1)映射图像的重叠区的颜色的情况下，校正参数计算单元222计算校正参数。

图像校正单元224使用计算的校正参数来校正第n映射图像和第(n+1)映射图像的重叠区的至少一部分的颜色。例如，第n映射图像和第(n+1)映射图像的重叠区的一部分可以是：第n映射图像的重叠区(以下，称为第n重叠区)、第(n+1)映射图像的重叠区(以下，称为第(n+1)重叠区)、第n映射图像和第(n+1)映射图像的两个重叠区、第n映射图像的重叠区的部分、第(n+1)映射图像的重叠区的部分或者第n映射图像和第(n+1)映射图像的两个重叠区的部分。

以下，为了清楚，假设图像校正单元224校正第n重叠区的颜色但是不校正第(n+1)重叠区的颜色，校正参数计算单元222使用以下的等式1计算校正参数。

【等式1】

$\mathrm{ratio}\_R=\frac{\mathrm{Rn}+1}{\mathrm{Rn}}$

$\mathrm{ratio}\_G=\frac{\mathrm{Gn}+1}{\mathrm{Gn}}$

$\mathrm{ratio}\_B=\frac{\mathrm{Bn}+1}{\mathrm{Bn}}$

其中，R、G和B代表红色、绿色和蓝色。Ratio_R、Ratio_G和Ratio_B分别代表对于红色、绿色和蓝色的校正参数。

此外，Rn代表第n重叠区的所有像素的红色分量的总和，Rn+1代表第(n+1)重叠区的所有像素的红色分量的总和，Gn代表第n重叠区的所有像素的绿色分量的总和，Gn+1代表第(n+1)重叠区的所有像素的绿色分量的总和，Bn代表第n重叠区的所有像素的蓝色分量的总和，Bn+1代表第(n+1)重叠区的所有像素的蓝色分量的总和。

在图像校正单元224校正第(n+1)重叠区的颜色但是不校正第n重叠区的颜色的情况下，校正参数计算单元222可使用以下的等式2来计算校正参数。

【等式2】

$\mathrm{ratio}\_R=\frac{\mathrm{Rn}}{\mathrm{Rn}+1}$

$\mathrm{ratio}\_G=\frac{\mathrm{Gn}}{\mathrm{Gn}+1}$

$\mathrm{ratio}\_B=\frac{\mathrm{Bn}}{\mathrm{Bn}+1}$

图像校正单元224单元将第n重叠区的每个像素的颜色值乘以使用等式1计算的校正参数，并将相乘的结果作为对于第n重叠区的每个像素的校正颜色值(以下，称为校正值)输出。可通过以下的等式3来解释该过程。

【等式3】

R_corrected_i＝R_org_i＊ratio_R

G_corrected_i＝G_org_i＊ratio_G

B_corrected_i＝B_org_i＊ratio_B

其中，(i)用于指示重叠区的多个像素中的特定像素(即具有不同的(i)值的第n重叠区的每一个像素)，R_corrected_i、G_corrected_i和B_corrected_i分别代表用于给定的像素的红色、绿色和蓝色分量的校正值。R_org_i、G_org_i和B_org_i分别代表给定像素的红色、绿色和蓝色分量的原始值，即，给定像素的红色、绿色和蓝色分量的未校正值。

上述的图像校正单元224的操作是基于这样的假设：图像校正单元224校正第n重叠区的颜色但是不校正第(n+1)重叠区的颜色。然而，当图像校正单元224校正第(n+1)重叠区的颜色而不校正第n重叠区的颜色时，图像校正单元224可将第(n+1)重叠区的每个像素的颜色值乘以使用等式2计算的校正参数，并将相乘的结果作为用于第(n+1)重叠区的每个像素的校正值输出。

如上面解释的，根据示例性实施例，图像校正单元224可通过将重叠区的所有像素的颜色值与校正参数相乘来校正重叠区的颜色。将在后面参照图4进行更详细的描述。在图像校正单元224的此操作中，计算负荷和时间可随着第n重叠区(或者第(n+1)重叠区)的像素数量的增加而增加。为了解决这些问题，图像校正单元224可根据另一示例性实施例进行操作。将在后面参照图5与图4的示例性实施例进行对比来描述该示例性实施例。

在图像校正单元224校正第n重叠区(或者第(n+1)重叠区)的颜色之后，图像校正单元224产生重排列信号。然后，移位计算单元218响应于该重排列信号再次操作。

当移位计算单元218响应于重排列信号重新计算合适的移位值时，图像排列单元220按照重新计算的合适的移位值移动第n捕获图像和第(n+1)捕获图像中的至少一个(或者第n映射图像和第(n+1)映射图像中的至少一个)。

然后，比较单元226计算当前移动影响的重叠区的当前颜色相似度和先前移动影响的重叠区的先前颜色相似度之间的差，随后将所述差与临界值进行比较。这里，当前移动代表图像排列单元220对第n捕获图像和第(n+1)捕获图像中的至少一个(或者第n映射图像和第(n+1)映射图像中的至少一个)的最后的移动。此外，临界值可以是预设的参考值。另外，移位计算单元218计算重叠区的当前颜色相似度和先前颜色相似度，然后，比较单元226对当前和先前相似度之间的差与临界值进行比较。

具体地，比较单元226计算当前移动影响的重叠区的当前颜色相似度和先前移动影响的重叠区的先前颜色相似度之间的差。然后，比较单元226确定所述差是否大于临界值。

如果所述差大于临界值，则比较单元226用信号通知校正参数计算单元222以与上述方式相同的方式计算校正参数，如果所述差不大于临界值，则比较单元226用信号通知图像排列单元220拼接第n映射图像和第(n+1)映射图像来形成全景图像。在示例性实施例中，当连接或组合图像以形成全景图像时，使用术语“拼接”。

图3A和图3B是示出根据示例性实施例的图2的图像处理设备的映射单元216的操作的示图。

映射单元216将捕获图像310投影到预定的曲面上(例如圆柱面或者球面)，以形成映射图像330。这里，映射单元216在考虑拍摄装置100的焦距的情况下对捕获图像310进行投影。因此，虽然捕获图像310是长方形，但是映射图像330可具有末端渐缩的椭圆形状。

图4是示出根据示例性实施例的作为图2的图像处理设备的图像校正单元224的修改版的图像校正单元224A的框图。图像校正单元224A可包括像素处理器410。

像素处理器410使用校正参数计算单元222计算的校正参数来校正重叠区的至少一部分的像素(即，第n重叠区的像素)的颜色。

具体地，像素处理器410将第n重叠区的每个像素的颜色值乘以校正参数，以计算用于第n重叠区的每个像素的校正颜色值。以这种方式，像素处理器410校正第n重叠区的颜色并通过输出终端OUT1输出校正的第n重叠区。

图5是示出根据示例性实施例的作为图2的图像处理设备的图像校正单元224的修改版的图像校正单元224B的框图。图像校正单元224B可包括校正值处理器510、校正值存储器520和校正值提取器530。

校正值处理器510使用校正参数计算单元222计算的校正参数来计算用于所有可用颜色值的校正值。例如，校正值处理器510将所有可用颜色值乘以通过校正参数计算单元222计算的校正参数，以计算用于所有可用颜色值的校正值。例如，可用颜色值可以是从0到255的范围的8比特颜色值。

例如，校正值处理器510计算用于红色分量的所有可用值的校正值。校正值处理器510计算用于绿色分量的所有可用值的校正值。校正值处理器510计算用于蓝色分量的所有可用值的校正值。

校正值存储器520通过将可用颜色值用作地址来存储所有可用颜色值的可用校正值。也就是说，校正值存储器520存储包含与可用颜色值匹配的校正值的查找表(LUT)。例如，校正值存储器520可包括用于红色、绿色和蓝色分量的查找表。

校正值提取器530从校正值存储器520提取用于重叠区的一些部分的像素(即，第n重叠区的像素)的校正值。这里，校正值提取器530通过输入终端IN2从图像排列单元220接收关于第n重叠区的像素的信息，并通过将像素的颜色值用作查找校正值的地址来从校正值存储器520提取用于像素的校正值。以这种方式，校正值提取器530校正第n重叠区的颜色并通过输出终端OUT2输出校正的第n重叠区。

现在将对图4的图像校正单元224A和图像校正单元224B的操作进行比较。

根据图4的示例性实施例，图像校正单元224A对第n重叠区的所有像素执行计算，以提供用于像素的颜色值的校正值。因此，随着第n重叠区的像素的数量增加，图像校正单元224A的计算负荷和时间也增加。

另一方面，根据图5的示例性实施例，图像校正单元224B通过从校正值存储器520提取的校正值来提供用于第n重叠区的像素的颜色值的校正值。因此，随着第n重叠区的像素的数量增加，图像校正单元224B可比图像校正单元224A更快地提供用于第n重叠区的像素的颜色值的校正值。当图像校正单元224A通过上述乘法运算来计算校正值时，计算时间差可能增加更多。此外，当第n重叠区的像素的数量大于用于像素的可用颜色值的数量(例如，大于256)时，计算时间差很大。其原因在于，校正值计算单元510应该执行与像素的可用颜色值的数量相同次数的计算以产生查找表，并将该查找表存储在校正值存储器520中以允许校正值提取器530提取校正值。

图6是用于解释根据示例性实施例的图像处理方法的流程图。当前示例性实施例的图像处理方法包括操作610至622，以上操作用于通过对精确排列的具有图像重叠区的图像进行拼接来产生更理想的全景图像。

在操作610，映射单元216将第n捕获图像和第(n+1)捕获图像投影到预定的表面上以形成第n映射图像和第(n+1)映射图像。

在操作612，移位计算单元218计算用于第n捕获图像和第(n+1)捕获图像中的至少一个或者第n映射图像和第(n+1)映射图像中的至少一个的合适的移位值。

在操作614，图像排列单元220按照在操作612计算的合适的移位值移动第n捕获图像和第(n+1)捕获图像中的至少一个或者第n映射图像和第(n+1)映射图像中的至少一个。

在操作616，比较单元226确定在操作614被当前移动的第n捕获图像和第(n+1)捕获图像的重叠区之间的颜色相似度(或者第n映射图像和第(n+1)映射图像的重叠区之间的颜色相似度)与在操作614先前移动的第n捕获图像和第(n+1)捕获图像的重叠区之间的颜色相似度(或者第n映射图像和第(n+1)映射图像的重叠区之间的颜色相似度)之间的差是否高于临界值。

如果确定所述差高于临界值，则程序进入到操作618。在操作618，校正参数计算单元222在考虑重叠区(具体地说，第n重叠区和第(n+1)重叠区)的颜色的情况下计算校正参数。

在操作620，图像校正单元224使用在操作618计算的校正参数校正第n重叠区和第(n+1)重叠区的至少一部分(以下，根据上述假设称为第n重叠区)的颜色，并进行操作612。

如果在操作616确定所述差低于或者等于临界值，则程序进入到操作622。在操作622，图像排列单元220拼接第n映射图像和第(n+1)映射图像。具体地说，图像排列单元220通过拼接第n重叠区和第(n+1)重叠区来拼接第n映射图像和第(n+1)映射图像。

图7是用于具体解释根据示例性实施例的作为在图6中解释的图像处理方法的操作620的修改版的操作620A的流程图。操作620A可包括操作710，所述操作710使用校正参数来校正第n和第(n+1)捕获(或映射)图像重叠区的至少一部分的颜色。

在操作710，图像校正单元224通过将第n重叠区的所有像素的颜色值与在操作618计算的校正参数相乘来计算校正值。以这种方式，图像校正单元224校正第n重叠区的颜色。

图8是用于具体解释根据示例性实施例的在图6中解释过的图像处理方法的操作620的修改版的操作620B的流程图。操作620B可包括操作810、820和830，以上操作使用校正参数来校正第n和第(n+1)捕获(或映射)图像的重叠区的至少一部分的颜色。

在操作810，图像校正单元224将像素的每个可用颜色值(例如，0到255)与在操作618计算的校正参数相乘，以计算用于颜色值的所有可能的校正值。

在操作820，图像校正单元224通过将原始颜色值用作校正值的地址来存储所有可能的校正值。

在操作830，图像校正单元224通过将每个像素的颜色值用作校正值的地址来从在操作820存储的校正值中提取用于第n重叠区的每个像素的颜色值的校正值。以这种方式，图像校正单元224校正第n重叠区的颜色。

如上所述，所述用于处理图像的设备和方法提供了更精确的全景图像。移动待拼接的图像中的至少一个以使所述图像的重叠区之间的颜色相似度最大化，并在考虑重叠区的颜色的情况下对图像的重叠区的至少一部分的颜色进行校正(例如，在考虑一个重叠区的情况下校正另一重叠区中的颜色)。此后，再次移动图像中的至少一个以再次最大化图像的重叠区之间的颜色相似度。然后，将图像拼接在一起以创建全景图像。因此，即使图像的重叠区的颜色不相同，也可以在拼接图像以形成全景图像时精确地排列图像的重叠区，从而使得全景图像更准确。

此外，在考虑待拼接的图像的重叠区的颜色的情况下执行颜色校正，并对图像中的至少一个进行至少一次移位以使图像的重叠区的颜色之间的颜色相似度最大化。因此，可提高图像的重叠区之间的颜色相似度(例如，图像的重叠区的像素之间的颜色相似度)。

另外，随着更多次地重复颜色校正和图像移位操作，即使图像的重叠区的初始颜色不相同，也可以非常精确地排列图像的重叠区以形成全景图像。在重复颜色校正和图像移位操作之后，可将图像拼接在一起以创建全景图像。

由于通常需要在有限的时间内产生全景图像，因此可按照预设的上限来控制颜色校正和图像移位操作的重复次数。以这种方式，在示例性实施例中，即使图像的重叠区的颜色不相同，也可以在拼接图像时精确地排列重叠区，从而可更快地产生更理想的全景图像。

如上面解释的，当重复颜色校正和图像移位操作时，在每次对图像移位时计算图像的重叠区之间的颜色相似度。然后，对作为当前移位操作的结果的图像的重叠区的颜色相似度与作为先前移位操作的结果的重叠区的颜色相似度进行比较，并确定当前颜色相似度和先前颜色相似度之间的差是否小于预定的临界值。如果所述差小于临界值，则即使重复的次数没有超过预设的上限，也终止重复颜色校正和图像移位操作。因此，可更快地产生全景图像。

另外，根据示例性实施例，可通过将颜色值与校正参数相乘或者从查找表提取校正值来获得用于图像的重叠区的像素的颜色值的校正值。在后一方法中，可通过将像素的所有可用颜色值(例如，0到255)与校正参数相乘来计算用于像素的所有可用颜色值的校正值，并通过使用所述颜色值作为校正值的地址来将校正值存储在查找表中。然后，从查找表提取用于重叠区的像素的颜色值的校正值。因此，可根据情况通过使用前一种方法或后一种方法获得校正值来更快地校正图像颜色。

除了上述的示例性实施例之外，还可通过在介质/媒体(例如，计算机可读介质/媒体)中/上执行计算机可读代码/指令来实现示例性实施例。所述介质/媒体可对应于任何允许计算机可读代码/指令的存储和/或传输的介质/媒体。所述介质/媒体还可包括单独的计算机可读代码/指令、数据文件、数据结构等，或者与它们进行组合。代码/指令的示例包括机器代码(诸如由编译器产生)和包含可由计算机装置等使用解释器执行的更高级代码的文件。另外，代码/指令可包括功能程序和代码段。

可通过各种方式在介质/媒体中/上记录/传输计算机可读代码/指令，介质/媒体(可包括计算机可读代码/指令、数据文件、数据结构等)的示例包括磁性存储媒体(例如，软盘、硬盘、磁带等)、光学存储装置(例如，CD-ROM、DVD等)、磁光媒体(例如，可光读碟)、硬件存储装置(例如，只读存储器媒体、随机访问存储器媒体、闪速存储器等)以及诸如发送信号的载波的存储/传输媒体。存储/传输媒体的例子可包括有线和/或无线传输媒体。例如，存储/传输媒体可包括光缆(optical wire)/光纤、波导和金属丝/线缆等(以上各项包括发送指定指令、数据结构、数据文件等的信号的载波)。介质/媒体还可以是分布式网络，从而能够以分布式存储/传输以及执行计算机可读代码/指令。介质/媒体还可以是互联网。可由一个或者多个处理器执行计算机可读代码/指令。还可在专用集成电路(ASIC)或者现场可编程门阵列(FPGA)中的至少一个中实施计算机可读代码/指令。

另外，可配置一个或多个软件模块或者一个或多个硬件模块以便执行上述示例性实施例的操作。

在这里使用的术语“模块”代表执行特定任务的软件组件、硬件组件、多个软件组件、多个硬件组件、软件组件和硬件组件的组合、硬件组件和多个软件组件的组合、软件组件和多个硬件组件的组合或者多个软件组件和多个硬件组件的组合。有利地，模块可被配置在可寻址存储介质/媒体旁边并被配置为在一个或多个处理器上执行。因此，模块可例如包括：组件(诸如软件组件、专用软件组件、面向对象软件组件、类组件和任务组件)、处理、功能、操作、执行线程、属性、过程、子程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在组件或模块中提供的功能组合成更少的组件或模块，或者进一步分离成附加的组件或模块。此外，可在装置中提供的至少一个处理器(例如，中央处理单元(CPU))操作组件或模块。另外，硬件组件的示例包括专用集成电路(ASIC)和现场可编程门阵列(FPGA)。如所示，模块还可代表软件组件和硬件组件的组合。这些硬件组件也可以是一个或多个处理器。

计算机可读代码/指令和计算机可读介质/媒体可被专门设计并为示例性实施例的目的而构造，或者可以是对于计算机硬件和/或计算机软件领域的技术人员的已知类型。

虽然已经示出和描述了以下示例性实施例，但是本领域的技术人员将理解，在不脱离权利要求及其等同物限定的本发明的精神和范围的情况下，可以对这些示例性实施例做出改变。

Claims (14)

1.一种用于处理图像的设备，包括：

图像排列单元，将从待拼接的图像中选择至少一个图像移位，以使图像的重叠区的颜色尽可能地彼此相同，并响应于重排列信号再次操作；以及

图像校正单元，在考虑重叠区的颜色的情况下，对作为将所述至少一个图像移位的结果的重叠区的至少一部分的颜色进行校正之后产生重排列信号。

2.如权利要求1所述的设备，还包括比较单元，将以下两个颜色相似度之间的差与临界值进行比较，所述两个颜色相似度分别为：作为对所述至少一个图像的当前移位的结果的重叠区的颜色相似度，以及作为对所述至少一个图像的先前移位的结果的重叠区的颜色相似度，

其中，图像校正单元响应于比较的结果进行操作。

3.如权利要求1所述的设备，还包括校正参数计算单元，在考虑作为所述至少一个图像移位的结果的重叠区的颜色的情况下，计算校正参数，

其中，图像校正单元使用计算的校正参数来校正所述重叠区的至少一部分的颜色。

4.如权利要求3所述的设备，其中，图像校正单元使用校正参数来校正所述重叠区的至少一部分的每个像素的颜色。

5.如权利要求3所述的设备，其中，图像校正单元包括：

校正值计算单元，通过使用所有可用颜色值的校正参数来计算校正值；

校正值存储器，将可用颜色值用作校正值的地址来存储校正值；以及

校正值提取器，从校正值存储器提取用于所述重叠区的至少一部分的像素的颜色值的校正值，提取的校正值以所述重叠区的至少一部分的像素的颜色值作为地址。

6.一种用于处理图像的方法，包括：

(a)将从待拼接的图像中选择的至少一个图像移位，以使图像的重叠区的颜色尽可能地彼此相同；以及

(b)在考虑重叠区的颜色的情况下，对作为将所述至少一个图像移位的结果的重叠区的至少一部分的颜色进行校正，并进行到步骤(a)。

7.如权利要求6所述的方法，还包括：

在步骤(a)之后，确定以下两个颜色相似度之间的差是否大于临界值，所述两个颜色相似度分别为：作为对所述至少一个图像的当前移位的结果的重叠区的颜色相似度和作为对所述至少一个图像的先前移位的结果的重叠区的颜色相似度；以及

如果确定所述差不大于临界值，则通过将作为对所述至少一个图像的当前移位的结果的重叠区进行拼接来产生全景图像。

8.如权利要求6所述的方法，还包括：

在步骤(a)之后，确定以下两个颜色相似度之间的差是否大于临界值，所述两个颜色相似度分别为：作为所述至少一个图像的当前移位的结果的重叠区的相似度和作为所述至少一个图像的先前移位的结果的重叠区的相似度；以及

如果确定所述差大于临界值，则进行到步骤(b)。

9.如权利要求6所述的方法，其中步骤(b)包括：

(b1)在考虑作为对所述至少一个图像移位的结果的重叠区的颜色的情况下，计算校正参数；以及

(b2)使用计算的校正参数来校正所述重叠区的至少一部分的颜色。

10.如权利要求9所述的方法，其中，在步骤(b2)，使用校正参数来校正所述重叠区的至少一部分的每个像素的颜色。

11.如权利要求9所述的方法，其中步骤(b2)包括：

使用所有可用颜色值的校正参数来计算校正值；

通过将可用颜色值用作校正值的地址来存储校正值；以及

从存储的用于所述重叠区的至少一部分的像素的颜色值的校正值提取校正值，提取的校正值以所述重叠区的至少一部分的像素的颜色值作为地址。

12.一种具有用于执行处理图像的方法的计算机可读程序的计算机可读记录介质，所述方法包括：

将从待拼接的图像中选择的至少一个图像移位，以使图像的重叠区的颜色尽可能地彼此相同；以及

在考虑重叠区的颜色的情况下，对作为将所述至少一个图像移位的结果的重叠区的至少一部分的颜色进行校正，并进行到对图像进行移位的步骤。

13.如权利要求1所述的设备，还包括将处理的图像显示为全景图像的显示单元。

14.如权利要求6所述的方法，还包括将处理的图像显示为全景图像。

Images