CN102239698A - 图像处理设备、方法以及程序 - Google Patents

Abstract

本发明涉及一种能够呈现具有不同视差的立体图像的图像处理设备、方法以及程序。图像捕获设备(11)在围绕回转中心(C11)被回转的状态下捕获摄影图像(P(1)至P(N))。图像捕获设备(11)在摄影图像中剪裁特定区域作为条形图像，并且并排布置和组合条形图像，以生成图像捕获区中的区域被设置作为对象的全景图像。图像捕获设备(11)通过在移动条形图像的剪裁位置的同时生成多个全景图像，来获得由多个全景图像构成的全景运动图像。图像捕获设备(11)根据指定视差，从具有视差的多个全景运动图像当中选择两个全景运动图像，并且获得由这两个全景运动图像构成的立体全景运动图像。构成立体全景运动图像的两个全景运动图像被同时再现，从而实现了对象的立体显示。本发明可以应用于摄像装置。

Description

图像处理设备、方法以及程序

技术领域

本发明涉及一种图像处理设备、方法以及程序，并且更具体地，涉及一种被设计成使得可以呈现具有不同视差的立体图像的图像处理设备、方法以及程序。

背景技术

近年来，随着数字照相机的流行，捕获大量照片的用户数量增加。另外，还需要大量捕获的照片的高效呈现方法。

例如，所谓的全景图像是已知作为高效呈现捕获的照片的方式。全景图像是通过并排布置多个静止图像以使得同一对象以重叠方式出现在静止图像中而获得的单个静止图像，其中，该多个静止图像是通过当在特定方向上摇摄(pan)图像捕获设备的同时捕获图像而获得的(参见例如PTL1)。

这样的全景图像允许显示比标准图像捕获设备捕获的单个静止图像宽的范围(视角)作为对象，从而实现了对象的全景图像的更高效的显示。

此外，在当摇摄图像捕获设备的同时捕获多个静止图像以便获得全景图像的情况下，若干个静止图像可包括同一对象。在这样的情况下，不同静止图像中的同一对象是在不同位置捕获的。因此，出现了视差。使用此，从多个静止图像生成具有视差的两个图像(下文中被称作立体图像)。因此，使用双凸透镜方法等来同时显示图像，以使得可以立体地显示要捕获的对象。

引用列表

专利文献

PTL 1：日本专利第3168443号

发明内容

技术问题

同时，在要显示立体图像的情况下，可能需要将构成立体图像的两个图像之间的视差(视点之间的距离)的幅值改变成期望的幅值。然而，上述技术没有考虑要生成的立体图像的视差，因此无法满足这样的要求。

本发明是考虑到这样的情形而做出的，并且旨在实现根据用户的要求而呈现具有不同视差的立体图像。

问题的解决方案

本发明的一方面的图像处理设备包括：位置信息生成装置，用于基于通过在移动图像捕获装置的同时使用图像捕获装置捕获图像而获得的多个摄影图像来生成位置信息，该位置信息表示当多个摄影图像并排布置在特定平面中以使得包括在不同摄影图像中的同一对象以重叠方式出现时，多个摄影图像之间的相对位置关系；条形图像生成装置，用于在多个摄影图像基于位置信息而并排布置在平面中的情况下，通过根据摄影图像当中的摄影图像中的第一参考位置至第三参考位置，在摄影图像中剪裁与另一摄影图像中的第一参考位置至第三参考位置对应的第一区域至第三区域，来从多个摄影图像中的每个生成第一条形图像至第三条形图像，其中该另一摄影图像被并排布置以便与摄影图像重叠；全景图像生成装置，用于通过并排布置和组合从多个摄影图像获得的第一条形图像至第三条形图像，生成具有视差的第一全景图像至第三全景图像，其中，在第一全景图像至第三全景图像中，显示当捕获多个摄影图像时要捕获的图像捕获区中的同一区域；以及选择装置，用于从第一全景图像至第三全景图像当中选择两个全景图像，其中，第一参考位置在摄影图像中位于第二参考位置和第三参考位置之间，并且从第一参考位置到第二参考位置的距离不同于从第一参考位置到第三参考位置的距离。

该图像处理设备还可以包括：显示控制装置，用于通过使得同时显示选择装置从第一全景图像至第三全景图像当中选择的两个全景图像，使得立体地显示图像捕获区中的同一区域。

条形图像生成装置可以被使得针对多个摄影图像，当在特定方向上移动摄影图像中的第一区域至第三区域的同时，从摄影图像生成多个第一条形图像至多个第三条形图像，并且全景图像生成装置可以被使得针对每个第一区域至每个第三区域的位置，生成第一全景图像至第三全景图像，以生成具有多个第一全景图像至多个第三全景图像的图像群，其中，在多个第一全景图像至多个第三全景图像中，显示图像捕获区中的同一区域。

位置信息生成装置可以被使得使用摄影图像当中的摄影图像中的多个预定块区域，通过从在早于该摄影图像的时刻捕获的摄影图像搜索与多个块区域对应的块对应区域中的每个，来生成位置信息。

位置信息生成装置可以被使得基于多个块区域之间的相对位置关系和多个块对应区域之间的相对位置关系，通过检测包括运动对象的块区域并且通过在检测到包括运动对象的块区域的情况下，使用与所检测到的块区域不同的块区域而从多个块区域中搜索对应的块对应区域，来生成位置信息。

本发明的一方面的图像处理方法或程序包括如下步骤：基于通过在移动图像捕获装置的同时使用图像捕获装置捕获图像而获得的多个摄影图像来生成位置信息，该位置信息表示当多个摄影图像并排布置在特定平面中以使得包括在不同摄影图像中的同一对象以重叠方式出现时，多个摄影图像之间的相对位置关系；在多个摄影图像基于位置信息而并排布置在平面中的情况下，通过根据摄影图像当中的摄影图像中的第一参考位置至第三参考位置，在摄影图像中剪裁与另一摄影图像中的第一参考位置至第三参考位置对应的第一区域至第三区域，来从多个摄影图像中的每个生成第一条形图像至第三条形图像，其中该另一摄影图像被并排布置以便与摄影图像重叠；通过并排布置和组合从多个摄影图像获得的第一条形图像至第三条形图像，生成具有视差的第一全景图像至第三全景图像，其中，在第一全景图像至第三全景图像中，显示当捕获多个摄影图像时要捕获的图像捕获区中的同一区域；以及从第一全景图像至第三全景图像当中选择两个全景图像，其中，第一参考位置在摄影图像中位于第二参考位置和第三参考位置之间，并且从第一参考位置到第二参考位置的距离不同于从第一参考位置到第三参考位置的距离。

在本发明的一方面中，基于通过在移动图像捕获装置的同时使用图像捕获装置捕获图像而获得的多个摄影图像来生成位置信息，该位置信息表示当多个摄影图像并排布置在特定平面中以使得包括在不同摄影图像中的同一对象以重叠方式出现时，多个摄影图像之间的相对位置关系；在多个摄影图像基于位置信息而并排布置在平面中的情况下，通过根据摄影图像当中的摄影图像中的第一参考位置至第三参考位置，在摄影图像中剪裁与另一摄影图像中的第一参考位置至第三参考位置对应的第一区域至第三区域，来从多个摄影图像中的每个生成第一条形图像至第三条形图像，其中该另一摄影图像被并排布置以便与摄影图像重叠；通过并排布置和组合从多个摄影图像获得的第一条形图像至第三条形图像，生成具有视差的第一全景图像至第三全景图像，其中，在第一全景图像至第三全景图像中，显示当捕获多个摄影图像时要捕获的图像捕获区中的同一区域；从第一全景图像至第三全景图像当中选择两个全景图像；以及第一参考位置在摄影图像中位于第二参考位置和第三参考位置之间，并且从第一参考位置到第二参考位置的距离不同于从第一参考位置到第三参考位置的距离。

本发明的有益效果

根据本发明的一方面，可以根据用户的要求而呈现具有不同视差的立体图像。

附图说明

图1是描述捕获摄影图像的方式的图。

图2是描述图像捕获期间的视差的图。

图3是示出应用了本发明的图像捕获设备的实施例的示例配置的图。

图4是示出信号处理单元的示例配置的图。

图5是描述立体全景运动图像再现处理的流程图。

图6是描述摄影图像的位置对准的图。

图7是描述中心坐标的计算的图。

图8是描述条形图像的剪裁的图。

图9是描述全景运动图像的生成的图。

图10是示出计算机的示例配置的图。

具体实施方式

在下文中，将参照附图描述应用了本发明的实施例。

[立体全景运动图像的描述]

应用了本发明的图像捕获设备由例如摄像装置等构成，并且从在移动图像捕获设备的状态下由图像捕获设备连续捕获的多个摄影图像生成立体全景运动图像。立体全景运动图像由具有视差的两个全景运动图像构成。

全景运动图像是具有多个全景图像的图像群，在该图像群中，在比真实空间中的图像捕获范围(视角)宽的范围中的区域被显示作为对象，在该真实空间内，图像捕获设备可以以单次图像捕获来捕获图像。因此，如果构成全景运动图像的每个全景图像被认为是一帧的图像，则全景运动图像可以被视为是单个运动图像，或者如果构成全景运动图像的每个全景图像被认为是单个静止图像，则全景运动图像可以被视为是静止图像群。在下文中，为了方便描述，描述将假设全景运动图像是运动图像而继续。

在用户希望使得图像捕获设备生成立体全景运动图像的情况下，用户操作图像捕获设备，以捕获用于生成立体全景运动图像的摄影图像。

例如，如图1所示，在摄影图像的捕获期间，用户在围绕回转中心C11在图中从右到左回转(摇摄)图像捕获设备11的同时，使得图像捕获设备11连续捕获对象的图像，其中图像捕获设备11的光学透镜指向图中的前方。此时，用户调整图像捕获设备11的回转速度，以使得同一静止对象包括在要连续捕获的多个摄影图像中。

以上述方式在移动图像捕获设备11的同时捕获摄影图像导致获得了N个摄影图像P(1)至P(N)。

这里，摄影图像P(1)是N个摄影图像当中具有最早的捕获时刻的摄影图像，即，第一捕获的图像，而摄影图像P(N)是N个摄影图像当中具有最近的捕获时刻的摄影图像或最后捕获的图像。在下文中，第n(其中1≤n≤N)个捕获的摄影图像也被称作摄影图像P(n)。

注意，摄影图像中的每个可以是连续被拍的静止图像或者是拍摄的运动图像中的一帧的图像。

另外，在利用图1中本身旋转了90度的图像捕获设备11(即，横向定向的图像捕获设备11)捕获图像实现了获得在图中的垂直方向上更长的摄影图像的情况下，可利用横向定向的图像捕获设备11来捕获摄影图像。在这样的情况下，生成立体全景运动图像，其中，摄影图像在与图像捕获设备11相同的方向上旋转了90度。

当以上述方式获得N个摄影图像时，图像捕获设备11使用这些摄影图像生成多个全景运动图像。这里，全景运动图像是如下运动图像：其中，当捕获N个摄影图像时要捕获的图像捕获区中的整个区域被显示作为对象。在图像捕获设备11中，生成具有不同视差的多个全景运动图像。

因为多个摄影图像是在图像捕获设备11移动的状态下而捕获的，从而这些摄影图像中的对象具有视差，所以从摄影图像获得具有视差的全景运动图像。

例如，如图2所示，假设当在围绕回转中心C11在图中的箭头方向上回转图像捕获设备11的同时捕获摄影图像时，摄影图像是在位置PT1和位置PT2捕获的。

在该情况下，当图像捕获设备11在位置PT1和位置PT2时所捕获的摄影图像包括同一对象H11。然而，捕获这些摄影图像的位置(即，对象H11的观察位置)是不同的，从而导致了视差。在以恒定回转速度回转图像捕获设备11的情况下，从回转中心C11到图像捕获设备11的距离越长，例如，从回转中心C11到位置PT1的距离越长，则视差变得越大。

使用以上述方式导致的视差生成具有不同观察位置(具有视差)的多个全景运动图像，并且使用双凸透镜方法等同时再现这些全景运动图像中的两个。因此，可以立体地向用户呈现全景运动图像。

注意，在构成立体全景运动图像的两个全景运动图像当中的、被显示为由用户的右眼来观察的全景运动图像在下文中被称作右眼全景运动图像。此外，在构成立体全景运动图像的两个全景运动图像当中的、被显示为由用户的左眼来观察的全景运动图像在下文中被称作左眼全景运动图像。

[图像捕获设备的配置]

图3是示出应用了本发明的图像捕获设备11的实施例的示例配置的图。

图像捕获设备11包括操作输入单元21、图像捕获单元22、图像捕获控制单元23、信号处理单元24、总线25、缓冲存储器26、压缩/展开单元27、驱动器28、记录介质29、显示控制单元30以及显示单元31。

操作输入单元21由按钮等构成。响应于用户的操作，操作输入单元21将对应于操作的信号提供到信号处理单元24。图像捕获单元22由光学透镜、图像捕获元件等构成。图像捕获单元22对来自对象的光执行光电转换以捕获摄影图像，并且将摄影图像提供到图像捕获控制单元23。图像捕获控制单元23控制图像捕获单元22执行的图像捕获操作，并且另外，将从图像捕获单元22获得的摄影图像提供到信号处理单元24。

信号处理单元24经由总线25连接到缓冲存储器26至驱动器28以及显示控制单元30，并且根据来自操作输入单元21的信号而控制整个图像捕获设备11。

例如，信号处理单元24经由总线25将从图像捕获控制单元23获得的摄影图像提供到缓冲存储器26，或者根据从缓冲存储器26获取的摄影图像生成全景运动图像。

缓冲存储器26由SDRAM(同步动态随机存取存储器)等构成，并且暂时记录经由总线25提供的摄影图像等的数据。压缩/展开单元27使用特定方法对经由总线25提供的全景运动图像进行编码或解码。

驱动器28使得经由总线25提供的全景运动图像记录在记录介质29上，或者读取记录在记录介质29上的全景运动图像并且将全景运动图像输出到总线25。记录介质29由可拆卸地附接到图像捕获设备11的非易失性存储器等构成，并且根据驱动器28的控制而在其上记录全景运动图像。

显示控制单元30将经由总线25提供的立体全景运动图像提供到显示单元31，以显示该立体全景运动图像。显示单元31由例如LCD(液晶显示器)或双凸透镜构成，并且根据显示控制单元30的控制、使用双凸透镜方法立体地显示图像。

[信号处理单元的配置]

此外，更具体地，图3中的信号处理单元24被配置为如图4所示。

也就是说，信号处理单元24包括运动估计单元61、条形图像生成单元62、全景运动图像生成单元63以及选择单元64。

运动估计单元61使用经由总线25提供的、具有不同捕获时刻的两个摄影图像来执行运动估计。运动估计单元61包括坐标计算单元71。

坐标计算单元71基于运动估计结果，生成如下信息：其表示当这些摄影图像被放置为并排布置在特定平面中以使得同一对象以重叠方式出现在摄影图像中时，两个摄影图像之间的相对位置关系。具体地，当在特定平面上绘制二维xy坐标系时的摄影图像的中心位置的坐标(在下文中被称作中心坐标)被计算作为表示摄影图像之间的相对位置关系的信息。

条形图像生成单元62通过使用摄影图像和它们的中心坐标在经由总线25提供的摄影图像中剪裁特定区域，来产生条形图像，并且将条形图像提供到全景运动图像生成单元63。

全景运动图像生成单元63组合从条形图像生成单元62获得的条形图像，以生成多个全景图像，从而生成作为全景图像群的全景运动图像。在全景运动图像生成单元63中，生成具有视差的多个全景运动图像。注意，一帧的全景运动图像(即，一个全景图像)是捕获摄影图像时要捕获的图像捕获区中的整个范围(区域)被显示作为对象的图像。

选择单元64根据用户指定的视差(视点之间的距离)，从具有视差的多个全景运动图像中选择两个作为构成立体全景运动图像的右眼全景运动图像和左眼全景运动图像，并且将这两个全景运动图像输出到显示控制单元30。

[立体全景运动体图像再现处理的描述]

接下来，将参照图5的流程图描述立体全景运动图像再现处理，其中，图像捕获设备11捕获摄影图像以生成立体全景运动图像，并且再现该立体全景运动图像。立体全景运动图像再现处理在用户对操作输入单元21进行操作并且发出用于生成立体全景运动图像的指令时开始。

在步骤S11中，图像捕获单元22在如图1所示的、图像捕获设备11移动的状态下捕获对象的图像。从而，获得单个(在下文中被称作一帧)摄影图像。图像捕获单元22捕获的摄影图像经由图像捕获控制单元23从图像捕获单元22被提供到信号处理单元24。

在步骤S12中，信号处理单元24经由总线25将从图像捕获单元22提供的摄影图像提供到缓冲存储器26以暂时记录。此时，信号处理单元24记录分配了帧编号的摄影图像，以便指定要记录的摄影图像是何时捕获的。注意，第n个捕获的摄影图像P(n)在下文中也被称作帧n的摄影图像P(n)。

在步骤S13中，运动估计单元61经由总线25从缓冲存储器26获取当前帧n和在前帧(n-1)的摄影图像，并且通过运动估计执行摄影图像的位置对准。

例如，在紧挨在之前的步骤S12中记录在缓冲存储器26上的摄影图像是第n个捕获的摄影图像P(n)的情况下，运动估计单元61获取当前帧n的摄影图像P(n)和在前帧(n-1)的摄影图像P(n-1)。

然后，如图6所示，运动估计单元61通过搜索在前帧的摄影图像P(n-1)中的、与摄影图像P(n)中的九个块BL(n)-1至BR(n)-3相同的图像所处的位置，来执行位置对准。

这里，块BC(n)-1至BC(n)-3是在图中沿边界CL-n垂直并排布置的矩形区域，其中，边界CL-n是图中基本上位于摄影图像P(n)的中心的虚拟垂直直线。

另外，块BL(n)-1至BL(n)-3是在图中沿边界LL-n垂直并排布置的矩形区域，其中，边界LL-n是图中位于摄影图像P(n)的边界CL-n的左侧的虚拟垂直直线。类似地，块BR(n)-1至BR(n)-3是在图中沿边界RL-n垂直并排布置的矩形区域，其中，边界RL-n是图中位于摄影图像P(n)中的边界CL-n的右侧的虚拟垂直直线。九个块BL(n)-1至BR(n)-3的位置是预先确定的。

运动估计单元61对于摄影图像P(n)中的九个块的每个，搜索摄影图像P(n-1)中具有与块相同的形状和尺寸的并且具有与块的差别最小的区域(该区域在下文中被称作块对应区域)。这里，假设与块的差别是在要处理的块(例如，块BL(n)-1)和被视为是候选块对应区域的区域中的相同位置处的像素的像素值之间的绝对差值的和。

以上运动估计导致对于摄影图像P(n)中的块BL(n)-1至BR(n)-3中的每个，获得位于摄影图像P(n-1)中的、具有与这些块之间的相对位置关系相同的位置关系的块对应区域。

摄影图像P(n-1)中的、与摄影图像P(n)中要处理的块对应的块对应区域是摄影图像P(n-1)中的、与要处理的块具有最小差别的区域。为此，估计在块对应区域中显示与要处理的块的图像相同的图像。

因此，以使得块BL(n)-1至BR(n)-3与相应的块对应区域重叠的方式并排布置摄影图像P(n)和摄影图像P(n-1)以在特定平面中重叠，将导致在摄影图像中的同一对象以重叠方式出现。

然而，实际上在一些情况下，块和块对应区域可能不一定具有完全相同的位置关系。为此，更具体地，运动估计单元61将摄影图像P(n)和摄影图像P(n-1)并排布置在平面中以使得所有块基本上与块对应区域重叠，并且使用结果作为摄影图像的位置对准的结果。

注意，在运动对象出现在摄影图像中并且对象包括在摄影图像P(n)的块中的情况下，所获得的九个块对应区域没有与块BL(n)-1至BR(n)-3相同的位置关系。

因此，在块对应区域之间所获得的相对位置关系与摄影图像P(n)中的块之间的相对位置关系不同的情况下，运动估计单元61排除被估计为包括运动对象的块，并且基于运动估计再次执行位置对准。即，检测具有与其它块对应区域不同的相对位置关系的块对应区域，从要处理的目标排除摄影图像P(n)中对应于检测到的块对应区域的块，并且仅使用其余的块再次执行运动估计。

具体地，假设在图6中以均等的间隔垂直且水平并排布置块BL(n)-1至BR(n)-3，其中间隔为距离QL。例如，相邻的块BL(n)-1与块BL(n)-2之间的距离和相邻的块BL(n)-1与块BC(n)-1之间的距离是QL。在该情况下，运动估计单元61基于与各个块对应的块对应区域之间的相对位置关系，检测摄影图像P(n)中包括运动的块。

也就是说，运动估计单元61确定相邻的块对应区域之间的距离QM，诸如对应于块BR(n)-3的块对应区域与对应于块BC(n)-3的块对应区域之间的距离。

因此，对于块BR(n)-2和块BC(n)-3，假设对应于这些块的块对应区域与对应于块BR(n)-3的块对应区域之间的距离QM与距离QL之间的差的绝对值大于或等于预定阈值。

另外，假设对应于块BR(n)-2和BC(n)-3的块对应区域和其它相邻的块对应区域(排除块BR(n)-3的块对应区域)之间的距离QM与距离QL之间的差的绝对值小于预定阈值。

在该情况下，以与各个块之间的相对位置关系相同的相对位置关系，并排布置与块BR(n)-3不同的其它块的块对应区域。然而，仅块BR(n)-3的块对应区域与其它块对应区域之间的位置关系不同于每个块与其它块对应区域之间的位置关系。在获得这样的检测结果的情况下，运动估计单元61确定块BR(n)-3包括运动对象。

注意，不仅可使用相邻的块对应区域之间的距离、而且可使用所关注的块对应区域相对于另一相邻的块对应区域的旋转角度等来执行对包括运动的块的检测。即，例如，如果存在相对于其它块对应区域倾斜了特定角度或更多的块对应区域，则确定对应于该块对应区域的块包括运动对象。

当以此方式检测到包括运动的块时，运动估计单元61使用除包括运动的块之外的其余块来执行运动估计，以再次执行摄影图像P(n)与摄影图像P(n-1)之间的位置对准。

以此方式，仅使用除了包括运动对象的块之外的、包括非运动对象(即，仅包括所谓的背景)的块的位置对准实现了更精确的位置对准。根据位置对准的结果并排布置摄影图像P(n)和摄影图像P(n-1)，从而使得并排布置这些摄影图像，以使得非运动图像以重叠方式出现。

当执行位置对准时，然后，坐标计算单元71根据每帧的位置对准的结果，计算当先前捕获的摄影图像P(1)至P(n)并排布置在特定平面(即，xy坐标系)中时，摄影图像P(n)的中心坐标。

例如，如图7所示，并排布置各摄影图像，以使得摄影图像P(1)的中心位于xy坐标系的原点的位置，并且使得包括在摄影图像中的同一对象以重叠方式出现。注意，在图中，水平方向表示x方向，并且垂直方向表示y方向。另外，摄影图像P(1)至P(n)中的各个点O(1)至O(n)表示相应摄影图像的中心的位置。

例如，如果假设要处理的当前帧的摄影图像是摄影图像P(n)，则摄影图像P(1)至P(n-1)的中心处的点O(1)至O(n-1)的中心坐标已被确定并且被记录在缓冲存储器26上。

坐标计算单元71从缓冲存储器26读取摄影图像P(n-1)的中心坐标，并且根据所读取的中心坐标以及摄影图像P(n)与摄影图像P(n-1)之间的位置对准的结果，确定摄影图像P(n)的中心坐标。即，点O(n)的x坐标和y坐标被确定作为中心坐标。

返回参照图5的流程图的描述，在步骤S13中，执行位置对准，并且确定摄影图像P(n)的中心坐标。然后，处理进行到步骤S14。

在步骤S14中，运动估计单元61将摄影图像P(n)的所获得的中心坐标提供到缓冲存储器26，并且与摄影图像P(n)相关联地记录中心坐标。

在步骤S15中，信号处理单元24确定是否捕获了预定的特定数量的摄影图像。例如，如图1所示，在单独N次捕获特定区中的区域的情况下，确定当捕获N个摄影图像时捕获了特定数量的摄影图像。

注意，在图像捕获设备11设置有能够检测图像捕获设备11被回转的角度的装置(诸如回转仪传感器)的情况下，取代确定所捕获的摄影图像的数量，可确定从摄影图像的捕获开始起，图像捕获设备11是否已被回转了特定角度。甚至在该情况下，也可以指定是否执行了特定区中的整个特定区域被设置作为对象的摄影图像的捕获。

在步骤S15中确定尚未捕获特定数量的摄影图像的情况下，处理返回到步骤S11，并且捕获下一帧的摄影图像。

另一方面，在步骤S15中确定捕获了特定数量的摄影图像的情况下，处理进行到步骤S16。

在步骤S16中，条形图像生成单元62从缓冲存储器26获取N个摄影图像以及它们的中心坐标，并且通过基于所获取的摄影图像和中心坐标从各个摄影图像剪裁特定区域而生成条形图像。

例如，如图8所示，条形图像生成单元62通过在摄影图像P(n)中剪裁参考边界ML-n、边界LL-n以及边界RL-n限定的区域TM(n)、区域TL(n)以及区域TR(n)，来产生条形图像。注意，在图8中，与图6的情况下的那些部分对应的部分被分配有相同的数字，并且省略其描述。

在图8中，基于中心坐标并排布置已连续捕获的摄影图像P(n)和摄影图像P(n+1)，以使得同一对象以重叠方式出现。图8中的水平方向对应于例如图7中的x方向。

图中摄影图像P(n)中的边界ML-n是位于边界CL-n的左侧的虚拟垂直直线，并且摄影图像P(n+1)中的边界ML-(n+1)是与摄影图像P(n)的边界ML-n对应的边界。即，图中边界ML-n和边界ML-(n+1)是垂直方向上的、位于摄影图像P(n)和摄影图像P(n+1)中的相同位置处的虚拟直线。

摄影图像P(n+1)中的边界LL-(n+1)是与摄影图像P(n)中的边界LL-n对应的边界，并且摄影图像P(n+1)中的边界RL-(n+1)是与摄影图像P(n)中的边界RL-n对应的边界。

另外，图中作为垂直方向上的直线的边界ML(M)-n和边界MR(M)-n是位于摄影图像P(n)中的边界ML-n附近的直线，并且分别位于边界ML-n的左侧和右侧偏离预定距离的位置。类似地，作为图中的垂直方向上的直线的边界ML(M)-(n+1)和边界MR(M)-(n+1)是位于摄影图像P(n+1)中的边界ML-(n+1)附近的直线，并且分别位于边界ML-(n+1)的左侧和右侧偏离预定距离的位置。

图中作为垂直方向上的直线的边界ML(L)-n和边界MR(L)-n是位于摄影图像P(n)中的边界LL-n附近的直线，并且分别位于边界LL-n的左侧和右侧偏离预定距离的位置。

另外，图中作为垂直方向上的直线的边界ML(L)-(n+1)和边界MR(L)-(n+1)是位于摄影图像P(n+1)中的边界LL-(n+1)附近的直线，并且分别位于边界LL-(n+1)的左侧和右侧偏离预定距离的位置。

此外，图中作为垂直方向上的直线的边界ML(R)-n和边界MR(R)-n是位于摄影图像P(n)中的边界RL-n附近的直线，并且分别位于边界RL-n的左侧和右侧偏离预定距离的位置。类似地，图中作为垂直方向上的直线的边界ML(R)-(n+1)和边界MR(R)-(n+1)是位于摄影图像P(n+1)中的边界RL-(n+1)附近的直线，并且分别位于边界RL-(n+1)的左侧和右侧偏离预定距离的位置。

条形图像生成单元62通过从摄影图像P(n)剪裁三个区域TM(n)、TL(n)以及TR(n)，来产生条形图像。

例如，摄影图像P(n)中从边界ML(M)-n延伸到边界MR(M)-(n+1)的位置的区域TM(n)被剪裁作为单个条形图像(在下文中也被称作条形图像TM(n))。这里，摄影图像P(n)中的边界MR(M)-(n+1)的位置是摄影图像P(n)中的如下位置：当并排布置摄影图像P(n)和摄影图像P(n+1)时，该位置与边界MR(M)-(n+1)重叠。

类似地，基本上从摄影图像P(n-1)的中心剪裁摄影图像P(n-1)中从边界ML(M)-(n-1)延伸到边界MR(M)-n的位置的区域TM(n-1)作为单个条形图像。

因此，条形图像TM(n)中从边界ML(M)-n延伸到边界MR(M)-n的位置的区域中的对象基本上与条形图像TM(n-1)中从边界ML(M)-n延伸到边界MR(M)-n的位置的区域中的对象相同。注意，由于条形图像TM(n)和条形图像TM(n-1)是分别从摄影图像P(n)和摄影图像P(n-1)剪裁的图像，所以即使捕获同一对象的图像的时刻也不同。

类似地，条形图像TM(n)中从边界ML(M)-(n+1)延伸到边界MR(M)-(n+1)的位置的区域中的对象基本上与条形图像TM(n+1)中从边界ML(M)-(n+1)延伸到边界MR(M)-(n+1)的位置的区域中的对象相同。

另外，摄影图像P(n)中从边界ML(L)-n延伸到边界MR(L)-(n+1)的位置的区域TL(n)被剪裁作为单个条形图像(在下文中也被称作条形图像TL(n))。此外，摄影图像P(n)中从边界ML(R)-n延伸到边界MR(R)-(n+1)的位置的区域TR(n)被剪裁作为单个条形图像(在下文中也被称作条形图像TR(n))。

在该情况下，摄影图像P(n)中的边界MR(L)-(n+1)和边界MR(R)-(n+1)的位置是摄影图像P(n)中的如下位置：当并排布置摄影图像P(n)和摄影图像P(n+1)时，该位置与这些边界重叠。

以此方式，从每个摄影图像P(n)剪裁基本上在图中的中心的区域TM(n)、左侧的区域TL(n)以及右侧的区域TR(n)，并且产生条形图像TM(n)、条形图像TL(n)以及条形图像TR(n)。

然后，并排布置和组合从N个摄影图像获得的条形图像TM(n)产生单个全景图像。类似地，并排布置和组合从N个摄影图像获得的条形图像TL(n)产生单个全景图像，并且并排布置和组合从N个摄影图像获得的条形图像TR(n)产生单个全景图像。这些全景图像是显示当捕获N个摄影图像时要捕获的图像捕获区中的整个范围(区域)并且具有视差的图像。

返回参照图5的流程图的描述，当从摄影图像获得条形图像时，条形图像生成单元62将所获得的条形图像和各个摄影图像的中心坐标提供到全景运动图像生成单元63。此后，处理从步骤S16进行到步骤S17。

在步骤S17中，全景运动图像生成单元63基于从条形图像生成单元62获得的条形图像和摄影图像的中心坐标，并排布置和组合各个帧的条形图像，并且生成全景运动图像的一帧的图像数据。

也就是说，全景运动图像生成单元63并排布置和组合从基本上在N个摄影图像P(n)的中心处的区域剪裁的N个条形图像TM(n)，并且生成全景运动图像的一帧的图像数据，即，单个全景图像。

类似地，全景运动图像生成单元63并排布置和组合从N个摄影图像P(n)剪裁的N个条形图像TL(n)，并且产生全景运动图像的一帧的图像数据。此外，全景运动图像生成单元63并排布置和组合从N个摄影图像P(n)剪裁的N个条形图像TR(n)，并且产生全景运动图像的一帧的图像数据。

注意，从条形图像TM(n)、条形图像TL(n)以及条形图像TR(n)生成的全景图像在下文中也分别被称作全景图像PM、全景图像PL以及全景图像PR。此外，由全景图像PM、全景图像PL以及全景图像PR构成的全景运动图像也分别被称作全景运动图像PMM、全景运动图像PML以及全景运动图像PMR。

此外，更具体地，例如，在组合条形图像TM(n)和条形图像TM(n-1)之前，全景运动图像生成单元63对于这些条形图像中从边界ML(M)-n延伸到边界MR(M)-n的位置的区域，使用加权相加来确定全景图像的像素的像素值。

即，如果基于中心坐标并排布置条形图像TM(n)和条形图像TM(n-1)，则这些条形图像中从边界ML(M)-n延伸到边界MR(M)-n的位置的区域彼此重叠。全景运动图像生成单元63对条形图像TM(n)和条形图像TM(n-1)中的重叠像素的像素值执行加权相加，并且将所得到的值设置为与这些像素对应的位置处的全景图像中的像素的像素值。

注意，条形图像TM(n)和条形图像TM(n-1)中从边界ML(M)-n延伸到边界MR(M)-n的位置的区域中的像素的加权相加的权重被定义为具有以下特征。

也就是说，从边界ML-n到边界MR(M)-n的位置处的像素被设计为使得用于生成全景图像的条形图像TM(n)中的像素的贡献比率随着像素的位置从边界ML-n变得更接近边界MR(M)-n的位置而变得更高。相反，从边界ML-n到边界ML(M)-n的位置处的像素被设计为使得用于生成全景图像的条形图像TM(n-1)中的像素的贡献比率随着像素的位置从边界ML-n变得更接近边界ML(M)-n的位置而变得更高。

另外，在生成全景图像时，对于从条形图像TM(n)的边界MR(M)-n延伸到边界ML(M)-(n+1)的区域，该区域被直接设置作为全景图像。

此外，在组合条形图像TM(n)和条形图像TM(n+1)时，对于这些条形图像中从边界ML(M)-(n+1)延伸到边界MR(M)-(n+1)的位置的区域，使用加权相加来确定全景图像的像素的像素值。

也就是说，从边界ML-(n+1)到边界MR(M)-(n+1)的位置处的像素被设计为使得用于生成全景图像的条形图像TM(n+1)中的像素的贡献比率随着像素的位置从边界ML-(n+1)变得更接近边界MR(M)-(n+1)的位置而变得更高。相反，从边界ML-(n+1)到边界ML(M)-(n+1)的位置处的像素被设计为使得用于生成全景图像的条形图像TM(n)中的像素的贡献比率随着像素的位置从边界ML-(n+1)变得更接近边界ML(M)-(n+1)的位置而变得更高。

此外，同样在组合条形图像TL(n)和条形图像TR(n)时，与条形图像TM(n)的情况类似，对这些条形图像与其它条形图像重叠的部分执行加权相加。

以此方式，在组合条形图像之前，对连续帧的条形图像的边缘附近的区域进行加权相加，以产生全景图像的像素的像素值。因此，与仅并排布置条形图像以产生单个图像的情况相比，可以获得看起来更自然的图像。

例如，在仅通过并排布置条形图像来产生全景图像的情况下，靠近条形图像的边缘的对象的轮廓可能会失真，或者连续帧的条形图像的亮度的差别会导致全景图像的每个区域的亮度变化。

因此，全景运动图像生成单元63使用加权相加来组合条形图像的边缘附近的区域。这可以防止对象的轮廓失真或者出现亮度变化，从而导致获得看起来更自然的全景图像。

另外，在摄影图像的位置对准时，运动估计单元61可基于摄影图像而检测由包括在图像捕获单元22中的光学透镜引起的透镜失真。在组合条形图像时，条形图像生成单元62可使用所检测到的透镜失真的结果来校正条形图像。也就是说，基于所检测到的透镜失真的结果，使用图像处理来校正条形图像中引起的失真。

当以上述方式获得分别构成三个全景运动图像之一的一帧的全景图像PM、全景图像PL以及全景图像PR时，全景运动图像生成单元63经由总线25将这些全景图像提供到压缩/展开单元27。

在步骤S18中，压缩/展开单元27使用例如JPEG(联合图像专家组)方法对从全景运动图像生成单元63提供的全景运动图像的图像数据进行编码，并且经由总线25将所得到的图像数据提供到驱动器28。

驱动器28将从压缩/展开单元27获得的全景运动图像的图像数据提供到记录介质29以记录该图像数据。在记录图像数据时，全景运动图像生成单元63对每条图像数据分配有帧编号。

在步骤S19中，信号处理单元24确定是否生成了预定的特定数量的帧的全景运动图像的图像数据。例如，在定义了生成由M帧图像数据构成的全景运动图像的情况下，确定当获得M帧图像数据时，生成了特定数量的帧的全景运动图像。

在步骤S19中确定尚未生成特定数量的帧的全景运动图像的情况下，处理返回到步骤S16，并且生成全景运动图像的下一帧的图像数据。

例如，在生成了全景运动图像PMM的第一帧的全景图像的情况下，如参照图8所述，通过在摄影图像P(n)中剪裁从边界ML(M)-n到边界MR(M)-(n+1)的位置的区域TM(n)，产生条形图像。

然后，在生成了全景运动图像PMM的第二和随后帧的全景图像的情况下，要剪裁条形图像的摄影图像P(n)中的区域TM(n)的位置向图8中的左侧移动了与从边界ML-n到边界ML-(n+1)的宽度CW对应的量。

即，假设用于生成全景运动图像PMM的第m帧的条形图像是条形图像TM(n)-m(其中，1≤m≤M)。在该情况下，第m帧的条形图像TM(n)-m的剪裁位置被设置为如下位置：其中，条形图像TM(n)-1的剪裁位置处的区域TM(n)向图8中的左侧移动了等于宽度CW的(m-1)倍的距离。

因此，例如，要从第二帧的条形图像TM(n)-2剪裁的区域被设置为如下区域：其具有与摄影图像P(n)中的、图8中的区域TM(n)相同的形状和尺寸，并且具有位于边界MR(M)-n的位置处的右边缘。

这里，条形图像的剪裁区域要移动的方向是预先根据捕获摄影图像时图像捕获设备11的回转方向而确定的。例如，图8中的示例是基于如下假设：图像捕获设备11被回转，以使得相对于特定帧的摄影图像的中心处的位置，下一帧的摄影图像的中心处的位置总是处于图中的右侧。即，图8中的示例是基于如下假设：图像捕获设备11的运动方向是图中的向右方向。

原因如下。如果根据图像捕获设备11的移动，对于每帧在与摄影图像的中心处的位置的移动方向相反的方向上移动条形图像的剪裁位置，则在构成全景运动图像的各全景图像中将在相同位置显示未移动的同一对象。

与全景运动图像PMM的情况类似，同样在生成全景运动图像PML和全景运动图像PMR的情况下，要剪裁条形图像的摄影图像P(n)中的区域TL(n)和区域TR(n)的位置向图8中的左侧移动了与从边界LL-n到边界LL-(n+1)的宽度对应的量以及与从边界RL-n到边界RL-(n+1)的宽度对应的量。

以上述方式在对于每帧移动条形图像的剪裁位置的同时生成全景运动图像的每帧的图像数据，导致获得例如如图9所示的全景运动图像。注意，在图9中，图中的水平方向对应于图8中的水平方向。例如，图9中的水平方向对应于xy坐标系中的x方向。

在图9的示例中，分别从N个摄影图像P(1)至P(N)生成条形图像TR(1)-1至TR(N)-1，并且组合这些条形图像以获得全景图像PR-1。

类似地，分别从N个摄影图像P(1)至P(N)生成条形图像TR(1)-2至TR(N)-2，并且组合这些条形图像以获得全景图像PR-2。全景图像PR-1和全景图像PR-2分别是构成全景运动图像PMR的第一帧和第二帧的图像。

另外，分别从N个摄影图像P(1)至P(N)生成条形图像TL(1)-1至TL(N)-1，并且组合这些条形图像以获得全景图像PL-1。

类似地，分别从N个摄影图像P(1)至P(N)生成条形图像TL(1)-2至TL(N)-2，并且组合这些条形图像以获得全景图像PL-2。全景图像PL-1和全景图像PL-2分别是构成全景运动图像PML的第一帧和第二帧的图像。

另外，虽然未在图中示出，但是从摄影图像P(1)至P(N)剪裁条形图像TM(n)，并且还生成构成全景运动图像PMM的每帧的全景图像。

这里，例如，从摄影图像P(2)剪裁条形图像TR(2)-2的区域是条形图像TR(2)-1的剪裁区域向图中的左侧移动了对应于宽度CW的量的位置处的区域。宽度CW的值针对全景图像的每帧而改变。

此外，例如，在条形图像TR(1)-1和条形图像TR(2)-2中显示不同时刻的同一对象。此外，还在条形图像TR(1)-1和条形图像TL(m)-1中显示不同时刻的同一对象。

以此方式，在全景图像PR-1至PL-2中显示不同时刻的同一对象。即，各个全景图像具有视差。此外，由于通过组合从多个帧的摄影图像获得的不同条形图像来生成全景图像，所以即使在单个全景图像中捕获在各个区域中显示的对象的时刻也是不同的。

注意，更具体地，使用摄影图像P(1)和摄影图像P(N)来生成每个全景图像的边缘部分。例如，图中的全景图像PR-1的左边缘部分是从摄影图像P(1)的左边缘到条形图像TR(1)-1的右边缘部分的图像。

返回到图5的流程图的描述，在步骤S19中确定生成了特定数量的帧的全景运动图像的情况下，信号处理单元24接收要从现在开始显示的立体全景运动图像的视差的指定幅值。然后，处理进行到步骤S20。

在图像捕获设备11中，使用如上所述的处理生成三个全景运动图像PMM、PML以及PMR，并且将其记录在记录介质29上。

全景运动图像PMM是通过在摄影图像中剪裁基本上在图8中的中心处的区域TM(n)而生成的运动图像。此外，全景运动图像PML和全景运动图像PMR是通过在摄影图像中剪裁在图8中的中心的左侧的区域TL(n)和右侧的区域TR(n)而生成的运动图像。

这里，由于区域TM(n)相对于摄影图像P(n)的中心位于图中的稍微偏左，因此从区域TM(n)到区域TL(n)的距离短于从区域TM(n)到区域TR(n)的距离。因此，全景图像PM和全景图像PL之间的视差的幅值、全景图像PM和全景图像PR之间的视差的幅值以及全景图像PL和全景图像PR之间的视差的幅值彼此不同。

现在，假设由全景运动图像PMM和全景运动图像PML构成的立体全景运动图像被称作立体全景运动图像ML，并且由全景运动图像PMM和全景运动图像PMR构成的立体全景运动图像被称作立体全景运动图像MR。此外，假设由全景运动图像PML和全景运动图像PMR构成的立体全景运动图像被称作立体全景运动图像LR。

此时，在立体全景运动图像ML中，全景运动图像PML和全景运动图像PMM分别用作右眼全景运动图像和左眼全景运动图像。类似地，在立体全景运动图像MR中，全景运动图像PMM和全景运动图像PMR分别用作右眼全景运动图像和左眼全景运动图像。此外，在立体全景运动图像LR中，全景运动图像PML和全景运动图像PMR分别用作右眼全景运动图像和左眼全景运动图像。

在这三个立体全景运动图像中，立体全景运动图像LR具有最大的视差(视点之间的距离)，立体全景运动图像MR具有第二大的视差，而立体全景运动图像ML具有最小的视差。因此，可以取决于要在显示单元31上显示这三个立体全景运动图像中的哪个立体全景运动图像，而显示具有不同视差的立体全景运动图像。

因此，图像捕获设备11使得用户指定“大视差”、“中视差”以及“小视差”之一作为视差的幅值，并且显示具有根据用户指定的视差的立体全景运动图像。也就是说，响应于“大视差”、“中视差”以及“小视差”的指定，分别再现立体全景运动图像LR、立体全景运动图像MR以及立体全景运动图像ML。

在步骤S20中，选择单元64基于来自操作输入单元21的信号，从记录在记录介质29上的三个全景运动图像当中选择两个全景运动图像。例如，在用户指定“大视差”的情况下，选择单元64选择全景运动图像PML和全景运动图像PMR，在它们之间立体全景运动图像的视差最大。

如果选择两个全景运动图像(即，具有指定视差的立体全景运动图像)，则选择单元64经由驱动器28从记录介质29读取所选择的两个全景运动图像。然后，选择单元64将所读取的全景运动图像的图像数据提供到压缩/展开单元27，以指示压缩/展开单元27对图像数据进行解码。然后，处理进行到步骤S21。

在步骤S21中，压缩/展开单元27使用例如JPEG方法对从选择单元64提供的两个全景运动图像的图像数据(即全景图像)进行解码，并且将所得到的图像数据提供到信号处理单元24。

在步骤S22中，信号处理单元24将构成全景运动图像的每帧的全景图像的尺寸减小到预定尺寸。例如，执行尺寸减小处理，以获得允许在显示单元31的显示屏上显示整个全景图像的尺寸。

当减小全景运动图像的尺寸时，信号处理单元24将由减小了尺寸的两个全景运动图像构成的立体全景运动图像提供到显示控制单元30。例如，在显示立体全景运动图像LR的情况下，全景运动图像PML用作右眼全景运动图像，而全景运动图像PMR用作左眼全景运动图像。

在步骤S23中，显示控制单元30将从信号处理单元24获得的立体全景运动图像提供到显示单元31，以使得显示立体全景运动图像。即，显示控制单元30将右眼全景运动图像和左眼全景运动图像的各个帧提供到显示单元31，以便在特定的时间间隔使用双凸透镜方法立体地显示它们。

具体地，显示单元31将每帧的右眼全景图像和左眼全景图像分割成若干个条状的图像，并且通过分割获得的右眼图像和左眼图像在特定方向上并排交替布置并被显示，从而显示立体全景运动图像。使用包括在显示单元31中的双凸透镜，将通过分割获得的并且以上述方式显示的右眼全景图像和左眼全景图像的光线导向观看显示单元31的用户的右眼和左眼。从而，用户的眼睛观察到立体全景运动图像。

当在显示单元31上显示(再现)立体全景运动图像时，立体全景运动图像再现处理结束。

以此方式，图像捕获设备11根据在不同时刻捕获的多个摄影图像的每个，在移动剪裁区域的同时生成多个条形图像，并且组合条形图像以生成每帧的全景运动图像。

另外，图像捕获设备11生成多个全景运动图像，根据用户指定的视差的幅值而从多个全景运动图像中选择两个，并且使得显示由所选择的两个全景运动图像构成的立体全景运动图像。

以此方式生成的立体全景运动图像除了使得捕获对象移动并且表示该移动之外，还实现了对象的立体显示。因此，可以更高效地显示对象的捕获图像。

另外，已在不同的时刻捕获了单个全景图像中的各个区域中的对象。因此，可以呈现更有趣的图像。即，可以更高效地显示对象的捕获图像。

此外，由于多个全景运动图像是预先生成和记录的，因此可以根据用户的请求而呈现具有不同视差的立体全景运动图像。也就是说，用户可以指定视差的期望幅值，并且可以欣赏具有指定视差的立体全景运动图像。

在如下示例的背景下描述了图像捕获设备11：其中，生成三个全景运动图像，并且根据用户指定的视差而显示具有三个不同视差的立体全景运动图像中的任何一个。然而，可显示具有四个或更多个不同视差的立体全景运动图像。在这样的情况下，生成具有视差的全景运动图像，并且将其记录在记录介质29上，该全景运动图像的数量对应于可显示的立体全景运动图像的数量。

另外，取代在记录介质29上记录三个全景运动图像，而是三个立体全景运动图像LR、MR以及ML可被预先生成并被记录在记录介质29上。在这样的情况下，从记录介质29读取具有用户指定的视差的立体全景运动图像，并且显示该立体全景运动图像。

注意，在以上描述中，捕获N个摄影图像，并且所有摄影图像被暂时记录在缓冲存储器26上，此后使用这些摄影图像生成全景运动图像。然而，可与摄影图像的捕获同时地执行全景运动图像的生成。

此外，在以上描述中，在生成全景运动图像之后，减小全景运动图像的尺寸。然而，减小了尺寸的全景运动图像可直接从摄影图像生成。在该情况下，可以使得直到再现立体全景运动图像为止所需的处理量更小，从而导致更迅速地显示立体全景运动图像。此外，诸如个人计算机的设备可设置有用于从摄影图像生成全景运动图像的功能，并且可被设计成从使用摄像装置捕获的摄影图像生成全景运动图像。

此外，在如下示例的背景下给出了以上描述：其中，当捕获摄影图像时要捕获的图像捕获区中的整个范围的区域被显示作为全景图像中的对象。然而，可仅在全景图像上显示图像捕获区中的整个范围的区域的子区域。在这样的情况下，仅图像捕获区中要捕获的子区域被显示作为立体全景运动图像。

此外，还有，取代显示立体全景运动图像，而是可显示由具有指定视差的右眼全景图像和左眼全景图像构成的立体全景图像。在这样的情况下，从例如全景图像PM、全景图像PL以及全景图像PR当中选择由指定视差定义的两个全景图像，并且显示由所选择的全景图像构成的立体全景图像。

上述系列处理可以由硬件来执行，或者可以由软件来执行。在由软件执行该系列处理的情况下，构成软件的程序从程序记录介质被安装到并入专用硬件中的计算机中或者例如能够通过在其中安装各种程序而执行各种功能的通用个人计算机等中。

图10是示出使用程序执行上述系列处理的计算机的硬件的示例配置的框图。

在计算机中，CPU(中央处理单元)301、ROM(只读存储器)302以及RAM(随机存取存储器)303经由总线304相互连接。

此外，输入/输出接口305连接到总线304。由键盘、鼠标、麦克风等构成的输入单元306、由显示器、扬声器等构成的输出单元307、由硬盘、非易失性存储器等构成的记录单元308、由网络接口等构成的通信单元309以及驱动可拆卸介质311(诸如磁盘、光盘、磁光盘或者半导体存储器)的驱动器310连接到输入/输出接口305。

在如上配置的计算机中，CPU 301经由输入/输出接口305和总线304将记录在例如记录单元308上的程序加载到RAM 303中并且执行该程序。从而，执行上述系列处理。

计算机(CPU 301)执行的程序被记录在可拆卸介质311上，或者经由有线或无线传输介质(诸如局域网、因特网或者数字卫星广播)来提供，可拆卸介质311是由例如磁盘(包括软盘)、光盘(诸如CD-ROM(致密盘-只读存储器)或DVD(数字多功能盘))、磁光盘、半导体存储器等构成的封装介质。

然后，可以通过将可拆卸介质311附接到驱动器310，经由输入/输出接口305将程序安装到记录介质308中。此外，程序可以由通信单元309经由有线或无线传输介质来接收，并且可以被安装到记录单元308中。替选地，程序可以被预先安装到ROM 302中或记录单元308中。

注意，计算机执行的程序可以是根据本文所述的顺序、按时间顺序执行处理的程序，或者可以是并行地或者在诸如调用时的必要定时执行处理的程序。

注意，本发明的实施例不限于上述实施例，并且在不背离本发明的范围的情况下，可以进行多种修改。

附图标记列表

11图像捕获设备，22图像捕获单元，24信号处理单元，61运动估计单元，62条形图像生成单元，63全景运动图像生成单元，64选择单元

Claims (7)

1.一种图像处理设备，包括：

位置信息生成装置，用于基于通过在移动图像捕获装置的同时使用所述图像捕获装置捕获图像而获得的多个摄影图像来生成位置信息，所述位置信息表示当所述多个摄影图像并排布置在特定平面中以使得包括在不同所述摄影图像中的同一对象以重叠方式出现时，所述多个摄影图像之间的相对位置关系；

条形图像生成装置，用于在所述多个摄影图像基于所述位置信息而并排布置在所述平面中的情况下，通过根据所述摄影图像当中的摄影图像中的第一参考位置至第三参考位置，在所述摄影图像中剪裁与另一摄影图像中的所述第一参考位置至所述第三参考位置对应的第一区域至第三区域，来从所述多个摄影图像中的每个生成第一条形图像至第三条形图像，其中所述另一摄影图像被并排布置以便与所述摄影图像重叠；

全景图像生成装置，用于通过并排布置和组合从所述多个摄影图像获得的所述第一条形图像至所述第三条形图像，生成具有视差的第一全景图像至第三全景图像，其中，在所述第一全景图像至所述第三全景图像中，显示当捕获所述多个摄影图像时要捕获的图像捕获区中的同一区域；以及

选择装置，用于从所述第一全景图像至所述第三全景图像当中选择两个全景图像，

其中，所述第一参考位置在所述摄影图像中位于所述第二参考位置和所述第三参考位置之间，并且从所述第一参考位置到所述第二参考位置的距离不同于从所述第一参考位置到所述第三参考位置的距离。

2.根据权利要求1所述的图像处理设备，还包括：显示控制装置，用于通过使得同时显示所述选择装置从所述第一全景图像至所述第三全景图像当中选择的所述两个全景图像，使得立体地显示所述图像捕获区中的所述同一区域。

3.根据权利要求1所述的图像处理设备，

其中，所述条形图像生成装置针对所述多个摄影图像，当在特定方向上移动所述摄影图像中的所述第一区域至所述第三区域的同时，从所述摄影图像生成多个所述第一条形图像至多个所述第三条形图像，以及

其中，所述全景图像生成装置针对每个所述第一区域至每个所述第三区域的位置，生成所述第一全景图像至所述第三全景图像，以生成具有多个所述第一全景图像至多个所述第三全景图像的图像群，其中，在多个所述第一全景图像至多个所述第三全景图像中，显示所述图像捕获区中的所述同一区域。

4.根据权利要求1所述的图像处理设备，

其中，所述位置信息生成装置使用所述摄影图像当中的摄影图像中的多个预定块区域，通过从在早于所述摄影图像的时刻捕获的摄影图像搜索与所述多个块区域对应的块对应区域中的每个，来生成所述位置信息。

5.根据权利要求4所述的图像处理设备，

其中，所述位置信息生成装置基于所述多个块区域之间的相对位置关系和多个所述块对应区域之间的相对位置关系，通过检测包括运动对象的块区域并且通过在检测到包括所述运动对象的块区域的情况下，使用与所检测到的块区域不同的块区域而从所述多个块区域中搜索对应的块对应区域，来生成所述位置信息。

6.一种用于图像处理设备的图像处理方法，所述图像处理设备包括：

位置信息生成装置，用于基于通过在移动图像捕获装置的同时使用所述图像捕获装置捕获图像而获得的多个摄影图像来生成位置信息，所述位置信息表示当所述多个摄影图像并排布置在特定平面中以使得包括在不同所述摄影图像中的同一对象以重叠方式出现时，所述多个摄影图像之间的相对位置关系；

条形图像生成装置，用于在所述多个摄影图像基于所述位置信息而并排布置在所述平面中的情况下，通过根据所述摄影图像当中的摄影图像中的第一参考位置至第三参考位置，在所述摄影图像中剪裁与另一摄影图像中的所述第一参考位置至所述第三参考位置对应的第一区域至第三区域，来从所述多个摄影图像中的每个生成第一条形图像至第三条形图像，其中所述另一摄影图像被并排布置以便与所述摄影图像重叠；

全景图像生成装置，用于通过并排布置和组合从所述多个摄影图像获得的所述第一条形图像至所述第三条形图像，生成具有视差的第一全景图像至第三全景图像，其中，在所述第一全景图像至所述第三全景图像中，显示当捕获所述多个摄影图像时要捕获的图像捕获区中的同一区域；以及

选择装置，用于从所述第一全景图像至所述第三全景图像当中选择两个全景图像，

所述图像处理方法包括以下步骤：

通过所述位置信息生成装置根据所述多个摄影图像生成所述位置信息；

通过所述条形图像生成装置从所述多个摄影图像生成所述第一条形图像至所述第三条形图像；

通过所述全景图像生成装置从所述第一条形图像至所述第三条形图像生成所述第一全景图像至所述第三全景图像；以及

通过所述选择装置从所述第一全景图像至所述第三全景图像当中选择两个全景图像，

其中，所述第一参考位置在所述摄影图像中位于所述第二参考位置和所述第三参考位置之间，并且从所述第一参考位置到所述第二参考位置的距离不同于从所述第一参考位置到所述第三参考位置的距离。

7.一种用于使计算机执行包括以下步骤的处理的程序：

基于通过在移动图像捕获装置的同时使用所述图像捕获装置捕获图像而获得的多个摄影图像来生成位置信息，所述位置信息表示当所述多个摄影图像并排布置在特定平面中以使得包括在不同所述摄影图像中的同一对象以重叠方式出现时，所述多个摄影图像之间的相对位置关系；

在所述多个摄影图像基于所述位置信息而并排布置在所述平面中的情况下，通过根据所述摄影图像当中的摄影图像中的第一参考位置至第三参考位置，在所述摄影图像中剪裁与另一摄影图像中的所述第一参考位置至所述第三参考位置对应的第一区域至第三区域，来从所述多个摄影图像中的每个生成第一条形图像至第三条形图像，其中所述另一摄影图像被并排布置以便与所述摄影图像重叠；

通过并排布置和组合从所述多个摄影图像获得的所述第一条形图像至所述第三条形图像，生成具有视差的第一全景图像至第三全景图像，其中，在所述第一全景图像至所述第三全景图像中，显示当捕获所述多个摄影图像时要捕获的图像捕获区中的同一区域；以及

从所述第一全景图像至所述第三全景图像当中选择两个全景图像，

其中，所述第一参考位置在所述摄影图像中位于所述第二参考位置和所述第三参考位置之间，并且从所述第一参考位置到所述第二参考位置的距离不同于从所述第一参考位置到所述第三参考位置的距离。

Images