CN105144229B - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

[问题]为了产生用于显示全景图像的高可视性的缩略图显示的显示数据。[解决方案]本发明选择下述之一用于缩略图显示：在通过向通过合成多个拍摄图像而产生的全景图像数据应用分辨率转换而产生的第一缩略图图像数据和通过对所述全景图像数据执行宽高比调节处理而产生的第二缩略图图像数据。按照所述选择，用所述第一缩略图图像数据或所述第二缩略图图像数据产生用于执行缩略图显示的显示数据。

Description

图像处理装置、图像处理方法和程序

技术领域

本技术涉及图像处理装置、图像处理方法和用于实现图像处理装置和图像处理方法的程序。具体地，本技术涉及适于显示全景图像数据的缩略图的图像处理。

引用列表

专利文献

专利文献1：JP2012-99906A

背景技术

例如，用户在水平扫动相机的同时获取大量拍摄图像(帧图像数据)，并且通过合成获取的拍摄图像来获取所谓的全景图像。

另外，词语“扫动”是指图像拍摄装置在拍摄图像时在图像拍摄方向上进行旋转移动以获取用于产生全景图像的多个帧图像数据的操作。例如，如果图像拍摄方向在水平方向上移动，则扫动方向是指水平方向。

诸如数字静止照相机的图像拍摄装置被构造成如同对一般静止图像那样对于甚至全景图像产生缩略图图像，并且列出并且显示(例如)产生的缩略图图像。

已经设想到显示三维(3D)图像的缩略图的技术，如用于显示缩略图的专利文献1中描述的。

发明内容

技术问题

全景图像在水平方向(或垂直方向)上比一般静止图像长得多。因此，在保持图像宽高比的同时仅仅缩小(经受分辨率转换)的缩略图图像因此在一些情况下相当程度地减小了用户的可视度，尤其是在列出并且显示多个缩略图时。然而，经受分辨率转换的缩略图图像当然代表的是整个全景图像。

同时，用于3D缩略图图像的专利文献1中描述的技术可使得更容易观看缩略图图像，即使是列出并且显示各个缩略图图像时。然而，3D缩略图图像没有直接代表整个全景图像，而是必需施加诸如旋转3D缩略图图像的显示控制，从而导致处理负担更重。

用户容易识别的缩略图图像取决于用于缩略图图像的显示屏或显示区的高宽比和大小、缩略图图像的数量等。

依据这些情形，本技术的目的是更适宜地向用户呈现全景图像数据的缩略图图像。

问题的解决方案

第一，根据本技术的一种图像处理装置包括：缩略图选择部分，其被构造成为了显示缩略图，选择通过向通过合成多个拍摄图像而产生的全景图像数据应用分辨率转换而产生的第一缩略图图像数据和通过对所述全景图像数据执行宽高比调节处理而产生的第二缩略图图像数据中的任一个；显示数据产生部分，其被构造成按照所述缩略图选择部分的选择，用所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个产生用于显示缩略图的显示数据。

因此，可以按照显示全景图像数据的缩略图图像数据的各种情形，用经受分辨率转换的第一缩略图图像数据和经受宽高比调节处理的第二缩略图图像数据中的更合适的一个来显示缩略图图像。

第二，期望的是，在根据本技术的所述图像处理装置中，所述显示数据产生部分从记录介质读取所述缩略图选择部分选择的所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个，并且用读取的缩略图图像数据产生所述显示数据。

这样使得可以产生随选择的缩略图图像数据显示的显示数据。

第三，期望的是，在根据本技术的所述图像处理装置中，所述显示数据产生部分用所述全景图像数据产生所述缩略图选择部分选择的所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个，并且用产生的缩略图图像数据产生用于显示缩略图的显示数据。

这样也使得可以产生随选择的缩略图图像数据显示的显示数据。

第四，期望的是，在根据本技术的所述图像处理装置中，所述缩略图选择部分按照供应所述显示数据的显示装置的显示区的宽高比，选择所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个。

按照显示区的宽高比，选择第一缩略图图像数据和第二缩略图图像数据，从而使得可以按照显示区的情形，选择第一缩略图图像数据和第二缩略图图像数据中更容易观看的一个。

第五，在根据本技术的所述图像处理装置中，所述显示区是指所述显示装置的整个屏幕。

当用显示装置的整个屏幕显示缩略图图像时，这样是合适的。

第六，期望的是，在根据本技术的所述图像处理装置中，所述显示区是指其中显示缩略图的所述显示装置的屏幕中的区域。

当用显示装置的部分屏幕显示缩略图图像时，这样是合适的。

第七，期望的是，在根据本技术的所述图像处理装置中，所述缩略图选择部分按照供应所述显示数据的显示装置的显示区的大小，选择所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个。

容易观看的缩略图图像按照显示区的大小而变化，使得必须支持这种情形。

第八，期望的是，在根据本技术的所述图像处理装置中，所述缩略图选择部分按照所述显示数据中包括的多个缩略图图像数据，选择所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个。

如果例如列出并显示了多个缩略图图像，则容易观看的缩略图图像按照缩略图图像的数量而变化。因此，必须支持这种情形。

根据本技术的一种图像处理方法包括：缩略图选择过程，其为了显示缩略图，选择通过向通过合成多个拍摄图像而产生的全景图像数据应用分辨率转换而产生的第一缩略图图像数据和通过对所述全景图像数据执行宽高比调节处理而产生的第二缩略图图像数据中的任一个；显示数据产生过程，其按照所述缩略图选择过程中进行的选择，用所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个产生用于显示缩略图的显示数据。

根据本技术的程序致使运算处理装置执行各过程中的处理。

这些使得可以实现针对单个全景图像数据选择性显示经受分辨率转换的第一缩略图图像数据和经受宽高比调节处理的第二缩略图图像数据的装置。

本发明的有利效果

根据本技术，如果选择经受分辨率转换的第一缩略图图像数据和经受宽高比调节处理的第二缩略图图像数据来显示全景图像数据的缩略图图像，则可以按照显示全景图像数据的缩略图图像的情形来显示适宜的缩略图图像，并且可以有利地提高用户对缩略图的可识别性。

附图说明

图1是用于描述按照本技术的实施例拍摄全景图像的说明图。

图2是根据实施例的全景图像合成的说明图。

图3是根据实施例的全景图像的说明图。

图4是用于描述按照实施例显示全景图像的缩略图图像的说明图。

图5是根据实施例的图像处理装置的框图。

图6是根据实施例的图像处理装置执行的处理的流程图。

图7是根据实施例的图像拍摄装置的框图。

图8是根据实施例的图像拍摄装置执行的全景图像产生处理的说明图。

图9是根据实施例的图像拍摄装置执行的缩略图图像产生处理的说明图。

图10是按照实施例的通过柱状投影和球面投影产生缩略图图像的视点位置的说明图。

图11是根据实施例的宽高比调节缩略图图像的说明图。

图12是根据实施例的宽高比调节缩略图图像的说明图。

图13是根据实施例的缩略图产生处理示例的流程图。

图14是根据实施例的缩略图产生处理示例的流程图。

图15是根据实施例的缩略图产生处理示例的流程图。

图16是按照实施例确定的图像拍摄装置的姿势的说明图。

图17是按照实施例列出和显示缩略图图像的示例的说明图。

图18是按照实施例显示单个缩略图图像的示例的说明图。

图19是按照实施例确定的显示区的说明图。

图20是根据实施例的显示处理示例的流程图。

图21是根据实施例的显示处理示例的流程图。

图22是根据实施例的显示处理示例的流程图。

图23是根据实施例的显示处理示例的流程图。

图24是根据实施例的计算机装置的框图。

具体实施方式

以下，将按以下次序描述实施例。

图像处理装置、内置图像处理装置的图像拍摄装置、用作图像处理装置的计算机装置、和程序的示例将被作为实施例描述。

<1.全景合成和再现的概况>

<2.第一实施例(图像处理装置)>

<3.第二实施例(图像拍摄装置)>

[3-1：图像拍摄装置的构造]

[3-2：全景合成处理]

[3-3：缩略图图像产生和类型]

[3-4：图像处理示例]

[3-5：缩略图显示区]

[3-6：缩略图显示处理示例]

<4.第三实施例(计算机装置和程序)>

<5.修改形式>

<1.全景合成和再现的概况>

首先，将描述全景合成的概况。

下述的根据实施例的图像拍摄装置50和近来一般的图像拍摄装置(数字静止照相机)可通过在摄影者将图像拍摄装置50绕着一定旋转轴旋转的同时拍摄的多个静止图像(帧图像数据)执行合成处理，产生广角(高达360度)全景图像。

图1A示出用于拍摄全景图像的图像拍摄装置50的移动。由于背景和前景之间的视差使得全景图像中的合成图像的联合处不自然，因此期望使用没有观察到视差的、被称为节点的镜头专用点作为拍摄图像的旋转中心。用于拍摄全景图像的图像拍摄装置50的旋转被称为“扫动”。

图1B是示出通过扫动图像拍摄装置50而获取的多个静止图像被适宜对准的示意图。

这个图示出从第一拍摄图像起的按时间先后顺序的各个拍摄静止图像。也就是说，从时间0至时间(n-1)拍摄的多个帧图像数据被称为多个帧图像数据FM#0、FM#1、…、FM#(n-1)。

如果用n个静止图像产生全景图像，则对如图中所示接连拍摄的一系列n个帧图像数据FM#0至FM#(n-1)执行合成处理。

对准各个帧图像数据通常导致不仅在扫动方向上略微移动，而且在与扫动方向垂直的方向上略微移动。因拍摄人员执行扫动操作时的相机抖动造成该差异。

如图1B中所示，各个拍摄帧图像数据必定一部分与相邻的帧图像数据重叠。因此，必须适宜地设置图像拍摄装置50拍摄多个帧图像数据的时间间隔和拍摄人员的扫动速率的上限。

以这种方式对准的一组帧图像数据具有大量重叠部分，使得必须决定各个帧图像数据的用于最终的全景图像的区域。换句话讲，这与全景合成处理中决定图像的联合处(接缝)相同。

图2A和图2B均示出接缝SM的示例。

接缝包括如图2A中所示的与扫动方向垂直的直线和如图2B中所示的非直线(诸如，曲线)。

接缝SM0代表图2A和图2B中的多个帧图像数据FM#0和FM#1之间的联合处，接缝SM1代表多个帧图像数据FM#1和FM#2之间的联合处，接缝SM(n-2)代表多个帧图像数据FM#(n-2)和FM#(n-1)之间的联合处。

另外，如果这些接缝SM0至SM(n-2)用作合成的相邻图像之间的联合处，则各个帧图像数据中的带阴影图像区不用于最终的全景图像。

当进行全景合成时，在一些情况下对围绕接缝的图像区执行混合处理，以改善接缝周围图像的不自然。

一方面，对各个帧图像数据公共的部分广泛地执行混合处理，以结合各个帧图像数据。另一方面，从公共部分中选择对全景图像有贡献的各像素。在这些情况下，没有清晰的联合处，但在本说明书中，这种宽结合部分也将被当作接缝来处理。

基于相机抖动量来决定各个帧图像数据、通过结合边界区或对边界区执行混合处理来结合各个帧图像数据并且最终削减垂直于扫动的方向上的不必要部分供应了广角全景图像，该全景图像的扫动方向为如图3中所示的纵向方向。

图3示出垂直线上的接缝，并且示意性示出n个帧图像数据FM#0至FM#(n-1)结合于接缝SM0至SM(n-2)以产生全景图像。

将描述用户为了获取这种全景图像用图像拍摄装置50执行的操作的具体示例。

首先，用户将图像配设装置50设置成全景图像拍摄模式，并且还设置最大图像拍摄视角。用户可选择(例如)120度、180度和360度作为最大图像拍摄视角。如果用户选择360度，则可以拍摄所谓的包括用户周围所有场景的全周图像。

接下来，拍摄人员按下图像拍摄装置50的快门按钮，开始拍摄全景图像，并且执行扫动操作。如果此后满足全景图像拍摄的终止条件，则完成全景图像拍摄。例如，终止条件如下：

*达到预设的最大图像拍摄视角，

*用户停止执行扫动操作，

*用户再次按下快门按钮，

*用户将他或她的手指抬离快门按钮(在规范中，在正在拍摄全景图像的同时仍然保持按下快门按钮)，

*出现某种误差

在完成图像拍摄之后，自动地开始全景合成处理。在一定时间之后完成全景图像的合成，全景图像数据被存储在记录装置中。

另外，例如，通过执行诸如分辨率转换的缩小处理，用全景图像数据产生缩略图图像数据，并且缩略图图像数据与全景图像数据关联地被存储在记录装置中。

此后，可以按与一般静止图像相同的方式来实现全景图像，并且可以列出并且显示缩略图图像。

图4A示出全景图像正常显示在图像拍摄装置50的显示面板105a上的示例，图4B示出列出并且显示多个缩略图图像TM1的示例。

在图4B的示例中列出并且显示通过执行诸如分辨率转换的缩小处理而产生的大量缩略图图像TM1，但缩略图图像TM1表现如图中所示的布置在屏幕上的多个经缩小且水平(或垂直)长全景图像数据。因此，全景图像的可视性相当程度地减小。

以下讨论的根据实施例的图像处理装置1和2、图像拍摄装置50和计算机装置70因此使用通过执行如图4C中示出的宽高比调节处理而产生的缩略图图像TM2来列出并显示缩略图图像。尽管以下进行了详细描述，但经受宽高比调节处理的缩略图图像TM2是指以下的缩略图图像：

*通过执行通过将全景图像纹理映射于全景图像数据的投影表面的三维模型而获取的图像的表达处理而产生的缩略图图像，

*通过执行对全景图像应用极坐标变换的处理而产生的缩略图图像，

*通过执行使用全景图像中像素的重要性确定结果来减小全景图像的处理而产生的缩略图图像，

*通过切除(削减)全景图像的部分而产生的缩略图图像。

通过执行宽高比调节处理而产生的这些缩略图图像TM2具有与原始全景图像数据的宽高比不同的宽高比，并且将被一般称为“宽高比调节缩略图图像”。

同时，通过应用分辨率转换而产生的缩略图图像TM1将被称为“正常缩略图图像”，以与缩略图图像TM2区分开。

另外，还将使用参考标号TM2，为了方便描述，用于显示宽高比调节缩略图图像的图像数据将被称为“宽高比调节缩略图图像数据TM2”。以相同的方式，还将使用参考标号TM1，用于显示正常缩略图图像的图像数据将被称为“正常缩略图图像数据TM1”。

图4B示出正常缩略图图像1的可视性减小，但显示区的一些情形(诸如，画面的宽高比、显示装置的姿势、显示区大小、待列出和显示的缩略图的数量)使得正常缩略图图像TM1的可视性是令人满足满意的。正常缩略图图像TM1代表仅仅缩小的原始全景图像，并且包括原始全景图像的整个图像内容。

相反地，通过调节宽高比以提高可视性来获取宽高比调节缩略图图像TM2，但高比调节缩略图图像TM2并没有实际上示出整个原始全景图像。

因此，在各种情形下，正常缩略图图像TM1有时更适于显示，而在其它时间，宽高比调节缩略图图像TM2更适于显示。

根据本实施例，可以按照情形使用正常缩略图图像TM1和宽高比调节缩略图图像TM2中的一个。

<2.第一实施例(图像处理装置)>

将描述根据实施例的图像处理装置1和2的构造示例。

图像处理装置1用全景图像数据PD产生正常缩略图图像TM1和宽高比调节缩略图图像TM2二者。

图像处理装置2通过选择性使用正常缩略图图像TM1和宽高比调节缩略图图像TM2来产生显示数据Dd。

首先，图5A示出全景合成部分10和图像处理装置1。全景合成部分10和图像处理装置1可被一体安装到同一装置中或者被分别安装在不同装置中。

全景合成部分10用输入图像集合FMS产生全景图像数据PD。输入图像集合FMS是指在全景图像拍摄模式下通过拍摄人员执行扫动操作的同时拍摄图像而获取的一系列多个帧图像数据FM。全景合成部分10使用用作输入图像集合FMS的多个帧图像数据FM来产生全景图像数据PD，如参照图1至图3描述的。

图像处理装置1包括正常缩略图产生部分1a和宽高比调节缩略图产生部分1b。

正常缩略图产生部分1a向通过合成多个拍摄图像而产生的全景图像数据PD应用分辨率转换，以产生第一缩略图图像数据(正常缩略图图像数据TM1)。

宽高比调节缩略图产生部分1b对全景图像数据PD执行宽高比调节处理，以产生第二缩略图图像数据(宽高比调节缩略图图像数据TM2)。

以这样的方式构造图像处理装置1，以用单个全景图像数据PD产生并且输出正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2二者。

图6A是图像处理装置1执行的处理的示例。

在步骤F1中，图像处理装置1用全息合成部分10得到全景图像数据PD。

在步骤F2中，图像处理装置1使用正常缩略图产生部分1a来产生正常缩略图图像数据TM1的功能。

在步骤F3中，图像处理装置1使用宽高比调节缩略图产生部分1b产生宽高比调节缩略图图像数据TM2的功能。

在步骤F4中，图像处理装置1输出产生的正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2，以进行记录或发送。例如，多个缩略图图像数据TM1和TM2被从未示出的通信部分发送并且输出到未示出的外部装置，或者被供应到未示出的记录装置并且记录装置将多个缩略图图像数据TM1和TM2记录在记录介质中。

如果使用了这个图像处理装置1，则可以按在用于显示全景图像数据PD的各种情形下显示适宜缩略图图像的方式，准备正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2。

图5B示出包括存储部分11、图像处理装置2和显示部分12的构造示例。存储部分11、图像处理装置2和显示部分12可以被一体安装在同一装置中或者被分别安装在不同装置中。

存储部分11例如针对单个全景图像数据PD，存储通过图5A中示出的图像处理装置1产生正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2。

图像处理装置2包括缩略图选择部分2a和显示数据产生部分2b。

缩略图选择部分2a执行以下处理：选择通过向通过合成多个拍摄图像而产生的全景图像数据PD应用分辨率转换而产生的正常缩略图图像数据TM1和通过对全景图像数据PD执行宽高比调节处理而产生的宽高比调节缩略图图像数据TM2中的哪个用于显示缩略图。

显示数据产生部分2b按照缩略图选择部分2a的选择，用正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2中的任一个产生用于显示缩略图的显示数据Dd。

具体地讲，显示数据产生部分2b从存储部分11读取缩略图选择部分2a选择的正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2中的任一个，并且使用读取的缩略图图像数据来产生显示数据Dd。

显示部分21包括液晶面板、有机电致发光(EL)面板、等离子体显示面板、阴极射线管(CRT)、其它显示装置和用于这个显示装置的显示驱动部分，并且执行各种类型的显示。

这个显示部分21被供应来自图像处理装置2的显示数据Dd，并且基于显示数据Dd执行显示操作。例如，显示部分21基于显示数据Dd执行包括缩略图图像的显示。例如，列出并显示多个缩略图图像，并且显示单个缩略图图像。

图6B示出图像处理装置2执行的处理的示例。

在步骤F10中，图像处理装置2使用缩略图选择部分2a的功能来查看选择标准信息。例如，图像处理装置2查看预定的选择标准信息，诸如，包括显示部分12的显示装置的姿势(根据姿势的显示区的宽高比)、显示屏的宽高比、显示区大小、待列出并显示的缩略图的数量。在步骤F11中，按照选择标准信息，选择正常缩略图图像数据TM1或宽高比调节缩略图图像数据TM2作为用于显示全景图像数据PD的缩略图图像。

在步骤F12中，图像处理装置2从存储部分11读取步骤F11中选择的缩略图图像数据(TM1和TM2中的任一个)。在步骤F13中，图像处理装置2接着使用显示数据产生部分2b的功能来产生显示数据Dd。也就是说，图像处理装置2使用从存储部分11读取的缩略图图像数据来产生显示数据Dd。

在步骤F14中，图像处理装置2将产生的显示数据Dd输出到显示部分12。

因此，按照用于显示全景图像数据的缩略图图像数据的各种情形，可以用经受分辨率转换的第一缩略图图像数据和经受宽高比调节处理的第二缩略图图像数据中的更适宜的一个来显示缩略图图像。

也就是说，如果缩略图选择部分2a按照用作选择标准信息的包括显示部分12的显示装置的姿势(根据姿势的显示区的宽高比)、显示屏的宽高比、显示区大小、待列出并显示的缩略图的数量选择第一缩略图图像数据和第二缩略图图像数据中的任一个，则可以显示适于显示情形的缩略图。

在这种情况下，如果如图5B中所示的图像处理装置1产生的正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2已经被存储在存储部分11中，则显示数据产生部分2b仅仅必须读取所选择的缩略图图像数据，从而导致图像处理装置2的处理负担变轻。

如图5B中所示，图5C示出其中包括存储部分11、图像处理装置2和显示部分12的构造示例。然而，假设全景图像数据PD被存储在存储部分11中。

缩略图选择部分2a在图像处理装置2中以相同方式操作，但显示数据产生部分2b使用全景图像数据PD产生缩略图选择部分2a选择的正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2中的任一个，并且使用产生的缩略图图像数据来产生用于显示缩略图的显示数据Dd。

图6C示出在这种情况下图像处理装置2执行的处理的示例。

在步骤F20中，图像处理装置2使用缩略图选择部分2a的功能来查看选择标准信息。在步骤F21中，按照选择标准信息，选择正常缩略图图像数据TM1或宽高比调节缩略图图像数据TM2作为用于显示全景图像数据PD的缩略图图像。

在步骤F22中，图像处理装置2使用显示数据产生部分2b的功能来产生步骤F21中选择的缩略图图像数据(TM1和TM2中的任一个)。也就是说，图像处理装置2从存储部分11读取全景图像数据PD，对全景图像数据PD执行分辨率转换处理和宽高比调节处理中的任一个，并且产生缩略图图像数据(TM1和TM2中的任一个)。在步骤F23中，图像处理装置2使用以这种方式产生的缩略图图像数据来产生显示数据Dd。

在步骤F24中，图像处理装置2将产生的显示数据Dd输出到显示部分12。

这个构造使得可以显示适于显示情形的缩略图，即使图5A中示出的图像处理装置1没有产生两种类型的缩略图图像数据TM1和TM2。

另外，图5中示出的图像处理装置1和图像处理装置2不仅被构造为单个装置，而且还可被内置于例如数字照相机、摄像机、移动电话、计算机装置、便携式信息处理装置、图像编辑装置、图像再现装置、图像记录装置等。

例如，如果使用云计算***，则可料想到，图像处理装置1和图像处理装置2不是用户使用的装置，但被安装在网络上。

<3.第二实施例(图像拍摄装置)>

[3-1：图像拍摄装置的构造]

接下来，将把包括与图像处理装置1和2对应的结构元件的图像拍摄装置50描述为第二实施例。

图7示出图像拍摄装置50的构造示例。

图像拍摄装置50包括镜头单元100、图像传感器101、图像处理部分102、图形处理部分103、记录装置部分104、显示部分105、通信部分106、存储部分107、控制部分108、操作部分109和传感器部分110。

借助总线111将图像处理部分102、图形处理部分103、记录装置部分104、显示部分105、通信部分106、存储部分107、控制部分108、操作部分109和传感器部分110彼此连接，并且在其间进行图像数据、控制信号等的交换。

镜头单元100收集对象的光学图像。镜头单元100包括以可获取适宜图像的方式按照来自控制部分103的指令来调节焦距、物距、光圈等的机构。镜头单元100还包括用于光学防止图像变模糊的图像稳定机构。

图像传感器101将镜头单元100收集的光学图像光电转换成电信号。具体地讲，用电荷耦合器件(CCD)图像传感器、互补型金属氧化物半导体(CMOS)图像传感器等实现图像传感器101。

图像处理部分102包括：取样电路，其对来自图像传感器101的电信号进行取样；A/D转换电路，其将模拟信号转换成数字信号；图像处理电流，其对数字信号执行预定的图像处理。本文中的这个图像处理部分102除了执行获取图像传感器101拍摄的帧图像数据的处理之外，还执行合成全景图像的处理和产生缩略图图像数据(TM1和TM2)的处理。

这个图像处理部分102不仅包括专用硬件电路，而且还包括中央处理单元(CPU)和数字信号处理器(DSP)，并且可执行软件处理来支持灵活的图像处理。

图形产生部分103是用于告诉产生2D和3D图形的硬件，并且通常被称为图形处理单元(GPU)。GPU不仅包括特定功能专用的硬件电路，而且包括可编程处理器，并且可执行灵活的图形处理。可编程处理器的特性允许将GPU的计算性能用于除了图形外的目的，以这种方式使用GPU一般被称为GPU上的通用计算(GPGPU)。

记录装置104包括记录介质(诸如，包括闪存存储器的半导体存储器、磁盘、光盘和磁-光盘和记录和再现***电路)和用于这些记录介质的机构。

当图像拍摄装置50拍摄图像时，这个记录装置104将被图像处理部分102编码成联合图形专家组(JPEG)格式并且被存储在存储部分107中的JPEG图像数据记录在记录介质中。

当JPEG图像数据被再现时，记录装置104读取保存在记录介质中的JPEG图像数据。JPEG图像数据被存储部分107读取，并且图像处理部分102对JPEG图像数据执行解码处理。解码后的图像数据可在显示部分105上显示或者通过通信部分106被发送和输出到外部装置。

显示部分105包括：D/A转换电路，其被经图像处理部分102处理并且存储在存储部分107中的图像数据转换成模拟的；视频编码器，其将被转换成模拟的图像信号编码成适于下游显示装置的格式；显示面板(图4中示出的显示面板105a)，其显示对应于输入视频信号的图像。

例如，用液晶显示器(LCD)、有机电致发光(EL)面板等实现显示面板105a，并且显示面板105a还具有取景器的功能。

通信部分106与外部装置通信并且执行网络通信。具体地讲，通信部分106包括：移动通信***，其被称为移动电话***的3G或4G通信；模块，其与受IEEE802.11系列支持的无线局域网(LAN)执行无线通信或者与有线LAN、通用串行总线(USB)、或Thunderbolt执行无线通信。这使得可以借助互联网与诸如外部个人计算机、移动电话、智能电话和平板的装置和各种服务器交换数据。

另外，供通信部分106执行通信用的传输路径可以有各种示例，可例如使用用到无线电波、红外线等的无线传输路径和用到电缆连接的有线传输路径二者。还可使用任何信号格式，并且可以进行数字电信号通信、模拟电信号通信、光学通信等。

存储部分107包括诸如动态随机存取存储器(DRAM)的半导体存储器，并且临时存储经图像处理部分102处理的图像数据、控制程序和用于控制部分108的各种类型的数据。

控制部分108包括CPU和控制程序，并且控制图像拍摄装置50的各部分。控制程序本身被实际存储在存储器部分105中，并且由CPU执行。

另外，由控制部分108、图像处理部分102和图形处理部分103执行由图像处理装置1和2执行的处理(用于产生缩略图和显示缩略图的处理)。也就是说，在使用图像拍摄装置50的实施例中，由控制部分108、图像处理部分102和图形处理部分103实现与图像处理装置1和2对应的结构元件。

操作部分109包括输入装置(诸如，包括快门按钮的硬件键、上/下/左/右箭头键、输入键和取消键、操作转盘、触摸面板和缩放杆)，检测拍摄人员(用户)的输入操作，并且将检测到的输入操作传递到控制部分108。控制部分108按照用户的输入操作来决定图像拍摄装置50的操作，并且以各部分执行必要操作的方式来施加控制。

传感器部分110包括陀螺仪传感器、加速度传感器、地磁传感器和全球定位***(GPS)传感器，并且检测各种类型的信息。这些类型的信息被添加到作为元数据的拍摄图像数据中，并且进一步用于各种类型的图像处理和控制处理。

[3-2：全景合成处理]

接下来，将详细描述图像拍摄装置50执行的全景合成处理。

图8示出作为功能构造的用于全景合成处理的图像处理部分102和控制部分108执行的处理和在功能构造组件中执行的处理(算术流程)。

如图中所示，为了进行全景合成处理，执行预处理200、图像注册处理201、移动对象检测处理202、检测和识别处理203、预投影处理204、接缝决定处理205和缝合处理208。

将描述每个处理。

如参照图1描述的，经受预处理200的输入图像集合FMS代表在拍摄人员正在用图像拍摄装置50拍摄全景图像的同时顺序获取的多个帧图像数据FM#0、FM#1、FM#2…

首先，全景合成部分10对通过拍摄人员的全景图像拍摄操作而获取的图像(各个帧图像数据)执行全景合成的预处理200。另外，这里假设帧图像数据FM已经经受与当拍摄正常图像时执行的图像处理相同的图像处理。

输入图像基于镜头单元100特性的像差影响。特别地，镜头的畸变像差对图像注册处理201有负面影响，并且降低了对准精度。此外，在合成后的全景图像中的接缝周围出现伪影，使得在这个预处理200中校正了畸变像差。畸变像差的校正有利地提高了移动对象检测处理202和检测和识别处理203的精度。

接下来，对经受预处理200的帧图像数据执行图像注册处理201、移动对象检测处理202、检测和识别处理203。

必须将多个帧图像数据转换成单个坐标系中的坐标以进行全景合成，这个单个坐标系将被称为全景坐标系。

在图像注册处理201中，在全景坐标系中输入且对准两个连续的帧图像数据。关于图像注册处理201中获取的两个帧图像数据的信息只是这两个图像的坐标之间的关系。然而，如果选择了图像的坐标系中的一个(例如，第一个帧图像数据的坐标系)并且所选择的坐标系被固定为全景坐标系，则所有这多个帧图像数据的坐标系可被转换成全景坐标系。

图像注册处理201中执行的特定处理被粗略分成如下的两个处理：

1.检测图像中的局部移动，

2.用检测到的局部移动信息，得到整个图像的全局移动。

在处理1中，通常使用以下方法：

*块匹配

*诸如Harris、Hessian、SIFT、SURF和FAST的特征点提取和特征点匹配。

另外，得到图像的特征点的局部向量。

处理1中得到的局部向量集合被用作处理2中的输入，并且使用以下的鲁棒估计技术：

*最小二乘法，

*M估计量，

*最小平方(LMedS)方法，

*随机抽样一致性(RANSAC)。

得到对于描述两个帧图像数据的坐标系之间的关系而言最佳的仿射变换矩阵或投影变换矩阵(单应性)。这些种类的信息将在本文中被称为图像注册信息。

多个帧图像数据被合成为全景合成处理的特性。因此，拍摄场景中的移动对象造成移动对象的部分被分开或变模糊，从而导致成像失败或图像质量降低。因此，期望检测移动对象，然后决定避免移动对象的全景的接缝(联合处)。

输入两个或更多个连续多个帧图像数据，在移动对象检测处理202中检测移动对象。具体地讲，例如，如果基于图像注册处理201中获取的图像注册信息实际对准的两个帧图像数据的像素之间的差异值大于或等于给定阈值，则确定像素是移动对象。

另选地，可使用被确定是图像注册处理201中的鲁棒估计中的离群点的特征点信息进行确定。

在检测和识别处理203中检测拍摄帧图像数据中的人的面部或身体、动物等的位置信息。人和动物极有可能是移动对象。即使人和动物没有正在移动，相比于决定的其它对象的接缝，更经常在视觉上感觉到决定的人和动物的全景接缝。因此，期望决定避免这些对象的接缝。也就是说，在这个检测和识别处理203中获取的信息用于补充来自移动对象检测处理202的信息。

基于移动对象检测处理202和检测和识别处理203中获取的信息，在以下讨论的接缝决定处理207中决定接缝。

基于图像注册处理201中获取的图像注册信息，多个帧图像数据都被投影到诸如柱状表面和球形表面的单个平面表面或单个弯曲表面上。同时，基于移动对象信息和检测和识别信息，对同一平面表面或弯曲表面执行投影处理。可基于拍摄图像等的视角自动地选择投影表面，或者还可按照用户操作设置投影表面。

可基于作为缝合处理206之前的处理或缝合处理206的部分的像素处理的优化，对帧图像数据执行预投影处理204。可仅仅在图像注册处理201(例如，作为预处理200的部分)之前执行预投影处理204。更简单地，不一定执行预投影处理204，预投影处理204可被当作柱状投影处理的逼近进行处理。

来自预投影处理204的图像数据、来自图像注册处理201的图像注册信息、来自移动对象检测处理202的移动对象信息、来自检测和识别处理203的检测和识别信息被用作输入，在接缝决定处理205中决定造成全景图像失败较少。

首先，在接缝决定处理205中，用输入信息决定相邻多个帧图像数据之间的重叠区域的成本函数。

例如，通过按照来自移动对象检测处理202的移动对象信息和来自检测和识别处理203的检测和识别信息中的每个为重叠区域中的各像素适当赋予权重而获取的总值被用作函数值。

在这种情况下，较高的成本函数值意指诸如移动对象的更多对象并且在这点存在人体。因此，具有较低成本函数值的一组点被用作接缝，以最大程度防止全景图像的失败。

如果n个图像(n个帧图像数据)用于全景图像合成，则存在n-个重叠区域。因此，定义n-1个成本函数。因此，得到使这n-1个成本函数最小的合成，以选择最佳接缝作为整个全景图像。这通常被称为合成优化问题，并且下面的解决方案是已知的：

*用于得到精确解的方法

-分枝定界法

-记忆法

-动态编程

-图形分割法

*用于得到近似解的方法

-本地搜索(爬山)

-模拟退火

-禁止搜索(Tabu search)

-遗传算法

可以用这些方法中的任一个来得到所有的接缝SM1至SM(n-2)。

在缝合处理206中，使用以这种方式决定的所有的接缝SM1至SM(n-2)和各个帧图像数据FM#0至FM#(n-1)来合成最终的全景图像。

对接缝周围的区域执行混合处理以改善联合处的不自然，而仅仅复制其它区域的像素值，或者只将其它区域重新取样到全景坐标系。另外，所有图像被结合。

最终基于相机抖动量，削减在垂直于扫动方向的方向上的合成图像的不必要部分，从而提供具有作为长边方向的扫动方向的广角全景图像(全景图像数据PD)。

[3-3：缩略图图像产生和类型]

接下来，将描述缩略图图像数据(TM1和TM2)的产生。

针对如上讨论产生的全景图像数据PD，形成仅仅高速显示全景图像或以缩小大小显示全景图像的缩略图图像数据。在本实施例中，尤其针对单个全景图像数据PD形成正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2。图像拍摄装置50可通过主要用图像处理部分102、图形处理部分103和控制部分108执行图9中示出的处理来产生多个缩略图图像数据TM1和TM2。另选地，图像拍摄装置50还可在必要时产生多个缩略图图像数据TM1和TM2中的一个。

图9示出缩略图形成流程的概况。

如图9A中所示，对全景图像数据PD执行将高分辨率全景图像数据PD的分辨率减小至使得全景图像数据PD更容易只是显示或者以缩小大小显示的处理，在缩小处理300中形成正常缩略图图像数据TM1。

依据4:3、16:9、3:2等一般宽高比，将缩略图分辨率限定在例如640像素×480像素或1920像素×1080像素内。

可仅仅形成单个正常缩略图图像数据TM1，或者可按照使用目的形成具有各种类型的分辨率的多个正常缩略图图像。

以这种方式形成的正常缩略图图像数据TM1显示在具有4:3、16:9、3:2等一般宽高比的显示区中。然而，全景图像的像素在其短边和长边上的数量是非常不同的，全景图像如图4B中所示变得相当细长和小并且可视性减小。有一些区域上面没有显示内容，从而导致显示区的使用效率差。

在本实施例中，在针对此情形进行准备时，还形成宽高比调节缩略图图像数据TM2。

也就是说，如图9A中所示，对如图9A中所示的全景图像数据PD执行宽高比调节转换处理301。例如，在宽高比调节转换处理301中，具有大高宽比的全景图像数据PD被变换成具有4:3、16:9、3:2、1:1等合适宽高比的图像。

以下，将示出宽高比调节转换处理301的具体示例。

*处理示例I

首先，将描述表现通过将全景图像纹理映射到全景图像数据的投影表面的三维模型而获取的图像的处理。

可通过将全景图像纹理映射到预投影处理204中使用的预投影表面(诸如，柱状表面或球形表面)的3D模型并且执行将全景图像表现在具有4:3等一般宽高比的屏幕上的处理，获取具有转换后的宽高比的图像。

以从外部俯瞰3D模型的方式，设置用于表现的视点位置。例如，图10A和图10B分别是用于柱状投影和球面投影的3D模型布置的示意图。用图10A中示出的视点位置P1针对柱状投影执行表现，使得可以形成如图11A中所示具有一般宽高比的图像。用图10B中示出的视点位置P1针对球面投影执行表现，使得可以形成如图11B中所示具有一般宽高比的图像。

*处理示例II

可料想到，对全景图像执行应用极坐标变换的处理。

已知的是，全景图像的坐标系被从正交坐标系(x,y)变换成极坐标转换(r,θ)的方形图像，从而使得可以将全景图像变换成行星图像。这个处理可将全景图像变换成具有1:1的宽高比的图像。

*处理示例III

可预料到，执行通过使用全景图像中的像素的重要性确定结果来减小全景图像的处理。

基于内容图像缩放的接接缝雕刻(2007年7月，第3期第26卷，ACM SIGGRAPH 2007的图形会议记录上的ACM仪事录)将像素的重要性定义为能量函数，并且提供在保持内容的同时去除像素以使能量损耗并且减小分辨率的技术。

这种技术在保持全景图像内容的同时，形成具有变成4:3的宽高比的图像。

图12B示出源自图12A中示出的全景图像的、在这个处理中宽高比被调节成4:3的图像的示例。这仅仅是缩小，但以保持尽可能多的高重要性像素的方式，优先地去除诸如天空和地球的特征中差的像素。这样提供了上面反映了图像内容的特征部分的缩小图像。

*处理示例IV

期望在宽高比调节和转换处理中保持关于整个全景图像的信息，然后如处理示例I至III描述地改变宽高比。然而，这个处理需要给定的计算资源。如果可不向宽高比转换处理分派计算资源，则还可以通过以所需的宽高比切割全景图像的部分区域，形成宽高比经调节的图像。

例如，作为图12C中所示的形成图像的处理，切割(削减)图12B中示出的全景图像的部分。

另外，不可以在这个经削减图像中保持整个全景图像的信息。然而，如果从全景图像切割的部分包括通过诸如面部检测、人体检测、一般对象检测和主要对象检测的处理而检测到的区域，则可以产生包括尽可能多的似乎重要的区域的经削减图像。

宽高比调节转换处理301的具体示例已经被示出为处理示例I至V。在所有示例中，可以获取比调节成是显示装置一般宽高比的4:3、16:9、3:2等的图像数据。

在处理示例I、II和III中，相比于经受宽高比调节处理(诸如，仅仅切割全景图像的部分)的图像，可以产生具有更有利的视觉效果的缩略图图像数据。

在这个宽高比调节转换处理301中产生的图像数据将经受图9A中示出的缩小处理302。

在缩小处理302中，缩小宽高比调节转换处理301中处理的图像数据，以形成宽高比调节缩略图图像数据TM2。执行与缩小处理300相同的处理，以减小分辨率。

通过图9A中示出的处理产生正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2。

另外，还可使用如图9B中所示的处理。也就是说，首先，可在缩小处理302中减小全景图像数据PD，然后全景图像数据PD经受宽高比调节转换处理301，以产生宽高比调节缩略图图像数据TM2。

已经描述了宽高比调节转换处理301的一些具体示例。可形成单个宽高比调节缩略图图像数据TM2，或者还可按照这些目的形成一些类型的宽高比调节缩略图图像数据TM2。另外，形成根据处理示例I的宽高比调节缩略图图像数据TM2和根据处理示例III的宽高比调节缩略图图像数据TM2。

以与正常缩略图图像数据TM1相同的方式，可产生具有给定分辨率的单个宽高比调节缩略图图像数据或者可产生具有不同分辨率的多个宽高比调节缩略图图像数据作为相同类型的宽高比调节缩略图图像数据TM2。

在宽高比调节转换处理301的处理示例I中用3D模型形成的缩略图图像是用特定视点表现的图像。另外，可形成与连续视点移动对应的多个表现图像，以更容易识别整个全景图像。针对多个视点位置(诸如，图10中示出的视点位置P1、P2、…)产生多个宽高比调节缩略图图像数据TM2。

这样使得可以仅仅随着缩略图图像旋转3D模型，从而提高整个全景图像的可视性。

图像拍摄装置50将通过如上所述的全景合成处理形成的全景图像数据PD和通过缩略图产生处理产生的正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2转换成诸如JPEG格式的合适格式的数据，并且将它们记录在记录装置104中。图像拍摄装置50接着将预投影处理204中选择的投影表面的类型(诸如柱状表面和球形表面的类型)作为元数据记录。当记录元数据时，图像拍摄装置50可以与可交换图像文件格式(EXIF)相同的方式将元数据嵌入图像数据中。

[3-4：图像处理示例]

以下，将把图像拍摄装置50基于控制部分108施加的控制而执行的图像处理的各种示例描述为包括参照图13、图14和图15的全景产生和缩略图产生的处理。附图的以下示例被示出为控制部分108执行的控制处理。

将描述图13A的处理示例。

在步骤F101中，控制部分108控制全景图像拍摄处理。用户执行全景图像拍摄操作，从而允许图像处理部分102以获取输入图像集合FMS。这个输入图像集合FMS按照控制部分108施加的控制和图像处理部分102的操作经受参照图8描述的处理，并且产生全景图像数据PD。

在步骤F102中，控制部分108施加控制来产生正常缩略图图像数据TM1。也就是说，例如，执行图9A中示出的缩小处理300，作为图像处理部分102和图形处理部分103按照控制部分108施加的控制执行的处理，然后产生正常缩略图图像数据TM1。

在步骤F103中，控制部分108施加控制，以产生宽高比调节缩略图图像数据TM2。也就是说，例如，执行图9A中示出的宽高比调节转换处理301和缩小处理302，作为图像处理部分102和图形处理部分103按照控制部分108施加的控制执行的处理，然后产生宽高比调节缩略图图像数据TM2。另外，还可相反地或并行地执行步骤F102和F103。

在步骤F104中，控制部分108致使记录装置104将各个步骤中形成的全景图像数据PD、正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2记录在记录介质中。

另外，在这个处理示例中的步骤F104中，将全景图像数据PD、正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2记录在记录介质中，但还可将分别在步骤F101、F102和F103中产生的全景图像数据PD、正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2在它们中的每个产生时记录在记录介质中。

此外，在F104中，各个图像数据(PD、TM1和TM2)可不被记录在记录装置104的记录介质中，但被从通信部分106发送到外部装置。例如，通信目的地的装置将各个图像数据记录在记录介质中。

如果如图13A中所示将多个缩略图图像数据TM1和TM2随单个全景图像数据PD一起产生，则可以以可按照用于显示全景图像数据PD的缩略图图像的各种情形选择更合适类型的缩略图图像数据的方式来准备一些类型的缩略图图像数据。

以正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2二者被作为对应于全景图像数据PD的缩略图图像数据记录在记录介质中从而在随后显示全景图像数据PD的缩略图图像时可以选择正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2的方式来执行处理。

这种处理使得可以进行按照显示缩略图的情形来显示更合适缩略图图像的显示方法，并且改善缩略图的用户可识别性。

将描述图13B的处理示例。

将用相同的步骤标号代表已经描述的处理，并且在下面对流程图的描述中将省去重复描述。

通过在图13A中示出的处理中添加步骤F110来获取图13B中示出的这个过程。在步骤F110中，控制部分108决定要产生的宽高比调节缩略图图像数据TM2的类型。也就是说，诸如处理示例I至IV的各种示例可以被作为图9中示出的宽高比调节转换处理301，但在步骤F110中选择其中要使用的处理。

具体地讲，控制部分108进行关于处理选择条件的确定，并且选择例如处理示例I至V中的任一个。

处理选择条件的示例包括投影处理型条件、全景视角条件、对象条件、用户设置条件、或其组合。将示出根据这些处理选择条件的步骤F110中的处理的示例。

如果使用投影处理类型条件作为处理选择条件，则按照预处理处理204中使用的投影表面来产生宽高比调节缩略图图像数据TM2。

例如，在预投影处理204中对柱状表面执行投影处理以产生全景图像数据PD，表现通过将全景图像纹理映射于柱状表面的三维模型而获取的图像的处理被选择作为处理示例1并且产生如图11A中所示的宽高比调节缩略图图像数据TM2。

类似于处理示例I中讨论的内容，在预投影处理204中对球形表面执行投影处理以产生全景图像数据PD，表现通过将全景图像纹理映射于柱状表面的三维模型而获取的图像的处理被选择并且产生如图11B中所示的宽高比调节缩略图图像数据TM2。

如果全景视角条件被用作处理选择条件，则可例如按照全景图像数据PD是否具有360度视角来选择处理。

例如，如果视角是360的，则通过处理示例1产生如图11A或图11B所示的宽高比调节缩略图图像数据TM2。另选地，在处理示例II中还可使用极坐标变换(参见图11C)。

相反地，如果视角不是360的，则使用处理示例III或IV。这是因为，如果视角小于360度，则通过如图11A和图11B中所示的处理示例I产生的缩略图图像包括不存在对象的部分并且图像质量会降低。

可预料到，例如，按照人的面部或身体是否被包括作为对象，选择处理的用作处理选择条件的对象条件。

如果包括比给定大小大的人的面部或身体，则该部位用作特征并且用户变得容易是被图像内容。因此，例如，执行处理示例III和IV，以产生表现面部部分等的宽高比调节缩略图图像数据TM2。同时，如果只包括风景，而不存在面部或人体，或者如果确定包括人员或人的面部，但其大小相当小，则选择处理示例I或II。

如果用户设置条件被用作处理选择条件，则按照用户的设置操作，选择处理示例I至IV中的任一个。

控制部分108例如按照这种处理选择条件，决定图9中示出的宽高比调节转换处理301的方法。在图13中示出的步骤F103中，执行所选择的处理方法，以产生宽高比调节缩略图图像数据TM2。在步骤F104中，记录装置104将形成的全息图像数据PD和正常缩略图图像数据TM1记录在记录介质中。

以这种方式，在图13B的示例中，基于处理选择条件从一些种类的宽高比调节处理之中选择宽高比调节处理(在这种情况下，宽高比调节转换处理301)的类型，并且通过决定的宽高比调节处理产生宽高比调节缩略图图像数据TM2。

各种处理方法可以作为宽高比调节转换处理301，并且选择合适的宽高比调节转换处理作为示例中的处理选择条件来产生合适的缩略图，其中，例如，容易处理的被优先作为缩略图图像，保持图像质量的被优先作为缩略图图像，用户容易识别全景图像内容的被优先作为缩略图图像，或者用户喜好的被优先作为缩略图图像。

将描述图14A的处理示例。

图14A中示出的处理是通过不同种类的宽高比调节处理产生多个宽高比调节缩略图图像数据TM2的示例。

也就是说，步骤F101和F102中的处理以与图13A的处理相同的方式执行，然后控制部分108在步骤F103A产生一些类型的宽高比调节缩略图图像数据TM2。例如，按照处理示例I产生图10A中示出的宽高比调节缩略图图像数据TM2，并且按照处理示例II产生图10C中产生的宽高比调节缩略图图像数据TM2。在步骤F104A中，记录装置104将形成的一些类型的全景图像数据PD、正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2记录在记录介质中。

产生并且准备一些类型的宽高比调节缩略图图像数据TM2，从而允许按照显示全景图像数据PD的缩略图的各种情形，扩宽选择范围。

另外，可用处理选择条件选择和产生根据处理示例I至III中的任一个的宽高比调节缩略图图像数据TM2，并且可另外产生在处理示例IV中削减的宽高比调节缩略图图像数据TM2。这是因为，处理示例IV是仅仅切割的处理，并且产生一些类型的宽高比调节缩略图图像数据TM2没有带来非常重的处理负担。

已经描述了，在步骤F103A中，通过不同种类的宽高比调节处理产生多个宽高比调节缩略图图像数据TM2，但示例也可以作为“通过同一宽高比调节处理产生宽高比调节多个缩略图图像数据TM2”的这个处理。

例如，产生具有与全景图像数据的视点位置不同的视点位置的多个宽高比调节缩略图图像数据TM2。如以上讨论的，在处理示例I中，例如，产生具有诸如图10中示出的视点位置P1、P2、…的多个视点位置的宽高比调节缩略图图像数据TM2作为3D模型的缩略图图像。

如果产生了具有不同视点位置的多个缩略图图像数据，则可以切换和显示从不同视点位置表示原始全景图像数据PD的缩略图。例如，可以仅仅随着缩略图图像旋转3D模型，从而提高整个全景图像的可视性。还可以仅仅通过切换缩略图图像来显示缩略图图像，而不带来非常重的处理负荷。

将描述图14B的处理示例。

图14B中示出的处理是确定全景图像数据PD中的对象以设置视点位置的示例，并且根据视点位置通过宽高比调节处理来产生宽高比调节缩略图图像数据TM2。

在步骤F120中，控制部分108确定重要对象。例如，均用作对象的人的面部和人体被视为重要对象，并且确定全景图像数据PD是否包括重要对象。

在步骤F121中，控制部分108按照重要对象的存在与否来设置视点位置。例如，如果没有重要对象，则控制部分108将初始设置位置设置为视点位置，但如果存在重要对象，则控制部分108将基于作为标准的对象位置来设置视点位置。如果存在多个重要对象，则控制部分108基于多个重要对象的位置来设置多个视点位置。另选地，控制部分108基于重要对象的中心位置来设置视点位置。

在步骤F103B中，例如，在处理示例I或处理示例IV中，控制部分108使用设置的一个或多个视点位置来产生一个或多个宽高比调节缩略图图像数据TM2。

在步骤F104B中，记录装置104将形成的全景图像数据PD和正常缩略图图像数据TM1和形成的一个或多个宽高比调节缩略图图像数据TM2记录在记录介质中。

以这种方式确定对象使得可以确定全景图像数据PD中的重要对象，以据此设置缩略图图像的视点位置，并且允许产生的一个或多个宽高比调节缩略图图像数据TM2合适地向用户表现重要对象。这样使得宽高比调节缩略图图像数据TM2适于为用户表现全景图像内容。

还可使用不仅面部检测或人体检测，而且还可使用一般对象检测、移动对象检测、主要对象检测等来检测重要对象。

将描述图5的处理示例。

图15中示出的处理是以下示例：如果被产生缩略图的图像数据是通过拍摄正常图像而获取的图像数据(非全景图像)，则产生正常缩略图图像数据TM1，而如果被产生缩略图的图像数据是全景图像PD，则产生正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2二者。

在步骤F130中，控制部分108控制拍摄正常静止图像的处理或拍摄全景图像的处理。如果是拍摄正常静止图像，则控制部分108前进至步骤F131至步骤F132，并且施加控制以产生正常缩略图图像数据TM1。

在步骤F133中，控制部分108致使记录装置104将用作正常静止图像的图像数据和正常缩略图图像数据TM1记录在记录介质中。

如果在步骤F133中是拍摄全景图像，则控制部分108从该处理前进至步骤F131至步骤F102、F110、F103和F104中的处理，并且执行与图13B中示出的处理相同的处理。

这个处理允许针对拍摄的正常图像和拍摄的全景图像中的每个合适地产生缩略图图像数据，特别地，可以执行只针对拍摄的全景图像产生宽高比调节缩略图图像数据TM2。

[3-5：缩略图显示区]

接下来，将描述以这种方式产生的缩略图图像(TM1和TM2)的显示。

根据本实施例的图像拍摄装置50选择并显示记录的全景图像数据PD的缩略图图像(TM1和TM2)中的任一个。因此，如上所述，用控制部分108、图像处理部分102、图形处理部分103实现与图5B或图5C中示出的图像处理装置2B对应的功能部分。

也就是说，控制部分108、图像处理部分102、图形处理部分103的操作实现：缩略图选择部分，其选择正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2中的哪个用于显示缩略图；显示数据产生部分，其按照缩略图选择部分的选择，用正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2中的任一个来产生用于显示缩略图的显示数据。

例如，作为对应于缩略图选择部分的操作，按照显示区的宽高比、显示区大小、显示数据中包括的多个缩略图图像数据的数量等来选择待显示的缩略图图像中的一个(TM1和TM2中的一个)。

按照情形选择和显示合适的缩略图图像提高了显示区的使用效率和可视性。

在描述处理之前，将描述选择性显示的示例。

图16和图17均示出根据显示区的宽高比的显示的示例。显示区在本文中是指图像拍摄装置50的整个图像面板105a。也就是说，假设在整个显示面板105a上列出并显示缩略图图像或者显示单个缩略图图像。

如果整个显示面板105a被用作缩略图图像的显示区，则显示区的宽高比是正常固定的。例如，高宽比是1280:720等。然而，用户视觉上识别的高宽比根据图像拍摄装置50的姿势(用户如何握持图像拍摄装置50)而变化。

图16A示出标准姿势，图16B示出相反姿势，图16C示出左90度姿势，图16D示出右90度姿势。由于用户以给定姿势握持图像拍摄装置50，因此图像拍摄装置50保持这些姿势。如图16C和图16D中所示的，在一些情况下，显示区在垂直方向上长。

也就是说，用户在视觉上识别的显示区的宽高比(宽度与高度之比)在一种情况下是例如1280:720并且在其它情况下是720:1280。

图17示出按照显示区的宽高比的这种变化列出和显示t个缩略图图像的示例。

图17A示出显示区具有水平方向上长的宽高比，并且在这种情况下选择宽高比调节缩略图图像数据TM2来列出和显示缩略图图像。例如，以例如4:3或1:1的宽高比显示宽高比调节缩略图图像数据TM2，使得图像可垂直和水平地布置，并且如图中所示地列出并显示。

图17B示出显示区具有垂直方向上长的宽高比，并且在这种情况下选择正常缩略图图像数据TM1来列出和显示缩略图图像。如果正常缩略图图像数据TM1具有水平方向上场的图像，则各个缩略图图像如图中所示地垂直布置。因此，相对大的图像可代表大量的缩略图。

图17A和图17B均示出有效使用显示区，并且用户容易观看到缩略图图像内容。

接下来，图18是在显示面板105a上显示单个缩略图图像的示例。这里，选择并且显示宽高比调节缩略图图像数据TM2。另外，图4A示出选择并且显示正常缩略图图像数据TM1。

在这种情况下，图18示出例如具有1280:720的宽高比的显示区，以此宽高比，可更有效地显示更令人感兴趣的图像。

目前为止已经描述了使用整个显示面板105a作为缩略图图像的显示区，但显示面板105a的部分有时用于显示缩略图图像的示例。

图19A和图19B均示出在显示面板105a上显示应用图像(诸如，菜单显示窗口)，并且使用局部带阴影区105b作为缩略图图像的显示区。

例如，如果以这种方式使用显示面板105a的部分，则缩略图图像的显示区的宽高比相当程度地变化。例如，如果如图19A中所示显示区在垂直方向上长，则正常缩略图图像数据TM1例如更适合。同时，如果如图19B中所示显示区在水平方向上长，则宽高比调节缩略图图像数据TM2例如更适合。

例如，通过按照显示全景图像数据PD的缩略图图像的各种情形(诸如，用户在视觉上识别的显示区的宽高比)以这种方式选择待形式的缩略图图像(TM1或TM2)，使得可以有效使用显示区来根据用户的可视性等显示缩略图。

[3-6：缩略图显示处理示例]

以下，将把图像拍摄装置50基于控制部分108施加的控制执行的图像处理的各种示例描述为参照图20、图21、图22和图23的缩略图图像显示处理。附图的以下示例被示出为控制部分108执行的控制处理。

将描述图20A的处理示例。图20A是按照图像拍摄装置50的显示面板105a的显示区的宽高比来选择和显示缩略图图像的示例。特别地，图20A示出在整个显示面板105a上列出并显示缩略图图像并且按照图16中示出的图像拍摄装置50的各个姿势来选择缩略图图像的处理示例。

控制部分108在步骤F201中确定保持图像拍摄装置50的垂直姿势和水平姿势中的哪个。这是确定用户用哪个姿势握持图像拍摄装置50或者确定图像拍摄装置50的姿势的处理。控制部分108检查来自例如用图7中示出的传感器部分110的加速度传感器的检测信息，并且可确定图像拍摄装置50的姿势。通过这个过程决定图像拍摄装置50保持标准姿势(图16A)、相反姿势(图16B)、左90度姿势(图16C)和右90度姿势(图16D)中的哪个。

在步骤F202中，控制部分108从步骤F201中的确定结果和图像拍摄装置50的显示面板105a的分辨率获取上面显示缩略图图像的显示区的宽高比。例如，如果显示面板105a是宽1280个像素且高720个像素的液晶面板，则被确定为标准姿势的宽高比是1280:720并且被确定为右90度姿势的宽高比是720:1280。

在步骤F203中，控制部分108决定缩略图图像的显示模式。本文中的显示模式是指使用正常缩略图图像数据TM1的显示模式或者使用宽高比调节缩略图图像数据TM2的显示模式。

具体地讲，如果作为步骤F201和F202的结果，确定显示区的宽高比是垂直方向上场的宽高比，则使用“正常缩略图显示模式”。同时，如果作为步骤F201和F202的结果，确定显示区的宽高比是水平方向上场的宽高比，则使用“宽高比调节缩略图显示模式”。

在步骤F204中，处理按照决定的显示模式而分支。处理前进至“正常缩略图显示模式”的步骤F205，从记录装置104的记录介质读取正常缩略图图像数据TM1，然后存储部分107读取正常缩略图图像数据TM1以进行显示处理。

处理前进至“宽高比调节缩略图显示模式”的步骤F206，从记录装置104的记录介质读取宽高比调节缩略图图像数据TM2，然后存储部分107读取宽高比调节缩略图图像数据TM2以进行显示处理。

在步骤F207中，控制部分108解码存储部分107读取的缩略图图像数据(TM1或TM2)的JPEG数据，并且将缩略图图像数据(TM1或TM2)写入显示数据缓冲器中。

在步骤F208中，控制部分108将所有待列出和显示的图像写入显示数据缓冲器中，并且确定是否被准备作为显示数据。如果还有图像没有被处理，则控制部分108返回步骤F204，并且顺序地执行处理。

一旦所有的缩略图图像被反映于显示数据，控制部分108前进至步骤F208至209，将显示数据缓冲器中设置的各个图像作为显示数据输出到显示部分105，以在显示部分105上列出并显示各个图像。

这个处理允许例如按照图像拍摄装置50的姿势如图17A或图17B所示地列出并显示缩略图，并且可以以用户可容易观看缩略图并且可有效使用显示面板105a的显示区的方式来列出并显示缩略图。

如果控制部分108在图像拍摄装置50的显示面板105a上显示图像，则显示面板105a的宽高比具有已知值。因此，不一定一直在步骤F202中执行处理。例如，在步骤F201中确定图像拍摄装置50保持垂直方向上长的姿势和水平方向上长的姿势中的哪个，然后可单独基于确定结果，在步骤F203中决定显示模式。

同时，如果显示面板105a的部分(区域105b)用于如图19中所示列出并显示缩略图，则在步骤F202中必须在此时检测显示区的宽高比。为此，基于被分派作为控制部分108执行的显示应用上的缩略图显示区的显示区在宽度和高度上具有的像素的数量和图像拍摄装置50的姿势，确定用户实际上在视觉上识别的显示区是垂直方向上长的显示区和水平方向上长的显示区中的哪个，并且决定形式模式。

如果图像拍摄装置50将显示数据发送到借助通信部分106等连接的外部显示装置，则在步骤F202中，合适的是，获取外部显示装置的显示区的宽高比并且据此决定显示模式。对于下面的处理示例，同样如此。也就是说，在各处理示例中，可以致使不同的显示装置显示缩略图。

将描述图20B的处理示例。

图20B是如同20A一样按照图像拍摄装置50的显示面板105a的显示区的宽高比选择和显示缩略图图像的示例，但也是使用整个显示面板105a显示单个缩略图图像的处理示例。

步骤F201至F209中的处理与图20A中示出的处理相同。图20B并不包括图20A中示出的步骤F208中的确定处理、或者用于步骤F208的步骤F204至F207中的循环处理。将不再详细描述各步骤。

也就是说，在图20B中示出的处理中，基于用图像拍摄装置50的姿势和显示区的宽高比决定的显示模式，选择单个全景图像数据PD的缩略图图像，从记录介质读取所选择的缩略图图像数据(TM1或TM2)，并且产生显示数据。

即使单独显示单个缩略图图像，这个处理也致使按照用户在视觉上识别的显示区的宽高比来选择显示的缩略图图像。

例如，如果用户在视觉上识别的显示区在垂直方向上长，则可以执行选择并显示宽高比调节缩略图图像数据TM2的处理，而如果用户在视觉上识别的显示区在水平方向上长，则可以执行选择并显示正常缩略图图像数据TM1的处理。

另外，如果显示的是单个缩略图图像，则还可预料到，例如，可按照用户的操作来切换并显示如图18中所示的宽高比调节缩略图图像数据TM2和如图4A中所示的正常缩略图图像数据TM1。例如，可预料到，用户可首先显示按照显示区的宽高比而选择的宽高比调节缩略图图像数据TM2和正常缩略图图像数据TM1中的一个，然后可选地随后切换宽高比调节缩略图图像数据TM2和正常缩略图图像数据TM1。

将描述图21A和图21B中示出的处理。

图21A和图21B是列出并显示缩略图图像并且分别如图20A和图20B中所示地显示单个缩略图图像的处理示例。然而，在图21A和图21B中执行步骤F210和F211来替代步骤F205和F206。其它也是同样。

如果在图21A和图21B中的每个的步骤F203中决定“正常缩略图显示模式”，则控制部分108前进至步骤F210并且施加控制以产生正常缩略图图像数据TM1。也就是说，控制部分108、图像处理部分102和图形处理部分103的操作执行参照图9A或图9B描述的缩小处理302，以用目标全景图像数据PD产生正常缩略图图像数据TM1。

同时，如果在步骤F203中决定“宽高比调节缩略图显示模式”，则控制部分108前进至步骤F211并且施加控制以产生宽高比调节缩略图图像数据TM2。也就是说，控制部分108、图像处理部分102和图形处理部分103的操作执行参照图9A或图9B描述的宽高比调节转换处理301和缩小处理302，以用目标全景图像数据PD产生宽高比调节缩略图图像数据TM2。

然后，控制部分208前进至步骤F207。

也就是说，图21A和图21B中示出的这些处理是当显示缩略图图像时按照显示区的宽高比选择并产生正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2中的任一个的示例。

将描述图22的处理示例。这是按照显示区大小来选择待列出并显示的缩略图图像的示例。

在步骤F220中，控制部分108获取显示区的大小。在步骤F203A中，控制部分208决定显示模式。例如，在这种情况下，确定显示区的大小是否大于或等于预定值，然后基于确定结果，决定使用“宽高比缩略图显示模式”和“正常缩略图显示模式”中的哪个。

例如，如果显示区的大小小，则为了尽可能提高可视性，选择“宽高比缩略图显示模式”。如果显示区的大小大于或等于预定值并且有足够的空间，则选择“正常缩略图显示模式”。

下面的步骤F204至F209与图20A的步骤相同。另外，可执行图21A中示出的步骤F210和F211来替代步骤F205和F206。

将描述图23的处理示例。这是按照待显示的缩略图图像的数量来选择缩略图图像的示例。

在步骤F230中，控制部分108首先确定列出并显示缩略图图像或者显示单个缩略图图像，然后基于确定结果致使处理分支。如果显示的是单个缩略图图像，则控制部分108前进至步骤F205，从记录介质读取正常缩略图图像数据TM1以产生显示数据，前进至步骤F207→F208→F209，并且显示单个缩略图图像。

如果列出并显示缩略图图像，则控制部分108在步骤F231中检查待显示的缩略图图像的数量。在步骤F203B中，控制部分208决定显示模式。例如，在这种情况下，确定待显示的缩略图的数量是否大于或等于预定值，然后将基于确定结果，决定使用“长宽比缩略图显示模式”和“正常缩略图显示模式”中的哪个。

例如，如果待显示的缩略图图像的数量小于预定值，则甚至是正常缩略图图像TM1也没有相当程度地减小可视性。因此，选择“正常缩略图显示模式”。相反地，如果待显示的缩略图图像的数量大于或等于预定值，则为了尽可能提高可视性，选择“长宽比缩略图显示模式”。

下面的步骤F204至F209与图20A的步骤相同。然而，可执行图21A中示出的步骤F210和F211来替代步骤F205和F206。

图23示出如果显示单个缩略图图像则无条件选择正常缩略图图像数据TM1，但即使显示单个缩略图图像也可无条件选择宽高比调节缩略图图像数据TM2。另外，如果显示单个缩略图图像，则也可执行图20B或图21B中示出的处理。

到目前为止，已经描述了各种显示处理示例。

如各示例中已知的，当针对全景图像数据PD显示缩略图图像数据时，可以用经受分辨率转换的正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2中的、按照各种情形更合适的一个来显示缩略图图像。例如，当列出并显示缩略图图像或者显示单个缩略图图像时，可以显示为用户提供更好可视性的缩略图图像或者有效使用显示区。

如果从记录介质读取按照决定的显示模式选择的缩略图图像(TM1或TM2)以产生显示数据(如图20A、图20B、图22和图23中示出的步骤F205和F206中一样)，则可用简单处理产生显示数据并且可以减轻显示缩略图图像的处理负担并且立即显示缩略图图像。

同时，还可执行处理以产生按照决定的显示模式选择的缩略图图像(TM1或TM2)，如图21A和图21B中示出的步骤F210和F211中一样。在这种情况下，不需要例如当拍摄全景图像时预先执行参照图9描述的处理。由于不需要将多个缩略图图像(TM1、TM2)记录在记录介质中，因此记录介质被消耗的容量较少。

按照显示区的宽高比，选择待显示的缩略图图像(TM1或TM2)，从而使得可以按照显示区的情形显示容易观看的缩略图图像(垂直方向上或水平方向上长)。特别地，另外确定图像拍摄装置50的姿势，从而使得可以按照用户实际在视觉上识别缩略图图像时所处的情形来提高可视性。

如果整个显示面板105a用作显示区，则可以用相对大的显示区来显示缩略图图像，并且按照图像拍摄装置50的姿势进一步提高可视性。

同时，显示面板105a的部分还可被用作显示区。如果选择显示面板105的垂直方向上或水平方向上长的部分作为显示区，则可以显示从所显示的设计或应用的方面提供更好可视性并且与用户设置的显示区相符的缩略图图像。

通过按照显示区的大小选择缩略图图像(TM1或TM2)，使得可以按照显示区大小显示容易观看的缩略图图像。

通过按照待显示的缩略图图像的数量选择缩略图图像(TM1或TM2)，使得可以按照待显示的缩略图图像的数量显示容易观看的缩略图图像。

如上所述，当显示全景图像数据的缩略图图像时，在本实施例中，可以按照显示全景图像数据的缩略图图像的情形来显示合适的缩略图图像并且可以提高用户的缩略图可识别性。还可以按照情形，使用以低分辨率表现整个全景图像的正常缩略图图像数据TM1的优点和令人感兴趣并且具有适于显示的宽高比的宽高比调节缩略图图像数据TM2的优点中的一个。

图14A和图14B示出产生多个宽高比调节缩略图图像数据TM2。如果在显示处理中显示模式是“宽高比调节缩略图显示模式”并且多个宽高比调节缩略图图像数据TM2被记录在目标全景图像数据PD的记录介质中，则将读取多种多样的宽高比调节缩略图图像数据TM2。

例如，如果记录了具有不同宽高比的多个宽高比调节缩略图图像数据TM2，则可料想到，选择并且读取最适于当前显示区的一个宽高比调节缩略图图像数据TM2。

如果记录了具有不同分辨率的多个宽高比调节缩略图图像数据TM2，则选择并且读取适于按照待显示缩略图图像的大小、数量被分派用于显示缩略图图像的显示区的一个宽高比调节缩略图图像数据TM2。

如果存储了具有相同宽高比的一些类型的宽高比调节缩略图图像数据TM2，则例如随机地或者通过用户设置优先显示的宽高比调节缩略图图像数据TM2的类型来选择缩略图图像。

如果存储了具有不同视点位置的一些类型的宽高比调节缩略图图像数据TM2，则可选择视点位置更靠近全景图像数据PD中心的缩略图图像，然后按照用户操作将该缩略图图像切换成具有不同视点位置的缩略图图像。

从多个宽高比调节缩略图图像数据TM2中选择待显示的一个宽高比调节缩略图图像数据TM2的这个过程可应用于图21中示出的步骤F211。也就是说，在步骤F211中，执行图13B中示出的步骤F110和F103中的处理，并且按照显示区的宽高比和大小、显示缩略图的数量等使用该处理作为处理选择条件。产生根据处理选择条件的宽高比调节缩略图图像数据TM2。以这种方式，不需要预先产生宽高比调节缩略图图像数据TM2，并且可以在每当显示宽高比调节缩略图图像数据TM2时，显示适于显示情形的宽高比调节缩略图图像数据TM2

<4.第三实施例(计算机装置和程序)>

作为第三实施例，将描述应用于计算机装置和程序的生理。还可用硬件或软件执行图像处理装置1和2执行的处理。

根据实施例的程序致使诸如中央处理单元(CPU)和数字信号处理器(DSP)执行实施例中示出的处理。

也就是说，用于实现图像处理装置1的程序致使运算处理装置执行通过向通过合成多个拍摄图像而产生的全景图像数据PD应用分辨率转换产生第一缩略图图像数据(正常缩略图图像数据TM1)的第一缩略图产生处理和通过对全景图像数据PD执行宽高比调节处理来产生第二缩略图图像数据(宽高比调节缩略图图像数据TM2)的第二缩略图产生处理。

具体地讲，这个程序致使运算处理装置执行图6A、图13A、图13B、图14A、图14B或图15中示出的处理。

用于实现图像处理装置2的程序致使运算处理装置执行选择将用于显示缩略图的、通过向通过合成多个拍摄图像而产生的全景图像数据PD应用分辨率转换而产生的第一缩略图图像数据(正常缩略图图像数据TM1)或通过对全景图像数据PD执行宽高比调节处理而产生的第二缩略图图像数据(宽高比调节缩略图图像数据TM2)中的任一个的缩略图选择处理，并且按照在缩略图选择程序中进行的选择，执行用第一缩略图图像数据和第二缩略图图像数据中的任一个产生用于显示缩略图的显示数据的显示数据产生处理。

具体地讲，这个程序致使运算处理装置执行图6B、图6C、图20A、图20B、图21A、图21B、图22或图23中示出的处理。

这些程序使得可以用运算处理装置实现图像处理装置1和2。

这些程序可预先被记录在用作内置于包括CPU等的微计算机中的诸如计算机装置、ROM等装置中的记录介质的HDD中。

可供选择地，这些程序还可被暂时或永久存储(记录)在诸如柔性片、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、Blue-ray Disc(注册商标)、磁盘、半导体存储器和存储卡。可提供这种可移动记录介质作为所谓的封装软件。

这些程序可不仅被从可移动记录介质安装在个人计算机等上，而是可经由网络(诸如，局域网(LAN)和互联网)从下载站点下载。

这些程序适于广泛提供根据实施例的图像处理装置1和2。例如，通过将程序下载到个人计算机、便携式信息处理装置、移动电话、游戏控制台、视频装置、个人数字助理(PDA)等，可致使便携式信息处理装置等用作图像处理装置1和2。

例如，可以致使如图24中所示的计算机装置执行与根据实施例的图像处理装置1和2执行的处理相同的处理。

图24示出计算机装置70的CPU 71按照存储在ROM 72中的程序或从存储部分78下载到RAM 73的程序来执行各种类型的处理。RAM 73根据需要存储CPU 71执行各种类型的处理必须的数据等。

CPU 71、ROM 72和RAM 73借助总线74彼此连接。这条总线还连接到输入/输出接口75。

输入/输出接口75连接到包括键盘和鼠标的输入部分76、包括阴极射线管(CRT)、LCD、或有机EL面板的显示器、包括扬声器的输出部分77、包括硬盘的存储部分78和包括调制解调器的通信部分79。通信部分79借助包括互联网的网络执行通信处理。

输入/输出接口75根据需要连接到驱动器80并且根据需要在上面安装有诸如磁盘、光盘或半导体存储器的可移动介质81。从其读取的计算机程序根据需要被安装在存储部分78上。

如果用软件执行图像处理装置1和2执行的处理，则从网络和记录介质安装软件中包括的程序。

例如，如图24中所示，这个记录介质包括可移动介质81，可移动介质81与装置主体分开地被分配用于将程序传递到用户。可移动盘81包括例如磁盘(包括软盘)、光盘(包括Blu-ray Disc、CD-ROM和DVD)、磁-光盘(包括微型盘(MD))、或存储程序的半导体存储器。

可供选择地，记录介质包括当被传递到用户并且存储程序时预先被并入装置主体中的ROM 72或包括在存储部分78中的硬盘。

当输入全景图像数据PD时，CPU 71基于这些程序，执行图像处理装置1的正常缩略图图像产生部分1a和宽高比调节缩略图产生部分1b的功能，并且这个计算机装置70用通信部分79的接收操作或驱动器80(可移动介质81)或记录部分78的再现操作，执行产生多个缩略图图像数据TM1和TM2的处理。

CPU 71基于这些程序，执行图像处理装置2的缩略图选择部分2a和显示区产生部分2b的功能，以显示全景图像的缩略图，并且按照情形对多个缩略图图像数据TM1和TM2执行选择性显示处理。

<5.修改形式>

到目前为止已经描述了实施例，并且关于根据公开的图像处理装置，还可以进行各种修改。

已经描述的是，图像拍摄装置50具有图像处理装置1和2二者的功能，但图像拍摄装置50还可被构造成例如仅仅用作图像处理装置1，其它再现装置、显示装置等用作图像处理装置2。对于计算机装置70，同样如此。

图像处理装置1、图像拍摄装置50和计算机装置70可用除了处理示例I至IV外的技术，产生宽高比调节缩略图图像数据TM2。

可产生具有多个分辨率的多个缩略图图像作为正常缩略图图像数据TM1。

另外，还可如下地构造本技术。

(1)一种图像处理装置，包括：

缩略图选择部分，被构造成在通过向通过合成多个拍摄图像而产生的全景图像数据应用分辨率转换而产生的第一缩略图图像数据和通过对所述全景图像数据执行宽高比调节处理而产生的第二缩略图图像数据中选择任一个用于显示缩略图；

显示数据产生部分，被构造成按照所述缩略图选择部分的选择，用所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个产生用于显示缩略图的显示数据。

(2)根据(1)所述的图像处理装置，其中，所述显示数据产生部分从记录介质读出所述缩略图选择部分选择的所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个，并且用读出的缩略图图像数据产生所述显示数据。

(3)根据(1)所述的图像处理装置，其中，所述显示数据产生部分用所述全景图像数据产生所述缩略图选择部分选择的所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个，并且用产生的缩略图图像数据产生用于显示缩略图的显示数据。

(4)根据(1)至(3)中的任一项所述的图像处理装置，其中，所述缩略图选择部分按照供应所述显示数据的显示装置的显示区的宽高比，选择所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个。

(5)根据(4)所述的图像处理装置，其中，所述显示区是指所述显示装置的整个屏幕。

(6)根据(4)所述的图像处理装置，其中，所述显示区是指所述显示装置的屏幕中显示缩略图的区域。

(7)根据(1)至(3)中的任一项所述的图像处理装置，其中，所述缩略图选择部分按照供应所述显示数据的显示装置的显示区的大小，选择所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个。

(8)根据(1)至(3)中的任一项所述的图像处理装置，其中，所述缩略图选择部分按照所述显示数据中包括的多个缩略图图像数据的数量，选择所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个。

(9)一种图像处理方法，所述图像处理方法包括：

缩略图选择过程，在通过向通过合成多个拍摄图像而产生的全景图像数据应用分辨率转换而产生的第一缩略图图像数据和通过对所述全景图像数据执行宽高比调节处理而产生的第二缩略图图像数据中选择任一个用于显示缩略图；

显示数据产生过程，按照所述缩略图选择过程中进行的选择，用所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个产生用于显示缩略图的显示数据。

(10)一种致使运算处理装置执行以下处理的程序：

缩略图选择处理，在通过向通过合成多个拍摄图像而产生的全景图像数据应用分辨率转换而产生的第一缩略图图像数据和通过对所述全景图像数据执行宽高比调节处理而产生的第二缩略图图像数据中选择任一个用于显示缩略图；

显示数据产生处理，按照所述缩略图选择处理中进行的选择，用所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个产生用于显示缩略图的显示数据。

参考符号列表

1、2 图像处理装置

1a 正常缩略图产生部分

1b 宽高比调节缩略图产生部分

2a 缩略图选择部分

2b 显示数据产生部分

10 全景合成部分

11 存储部分

12 显示部分

50 图像拍摄装置

70 计算机装置

102 图像处理部分

103 图形处理部分

104 记录装置部分

105 显示部分

107 存储部分

108 控制部分

Claims (9)

1.一种图像处理装置，包括：

缩略图选择部分，被构造成在通过向通过合成多个拍摄图像而产生的全景图像数据应用分辨率转换而产生的第一缩略图图像数据和通过对所述全景图像数据执行宽高比调节处理而产生的第二缩略图图像数据中选择任一个用于显示缩略图；

显示数据产生部分，被构造成按照所述缩略图选择部分的选择，用所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个产生用于显示缩略图的显示数据；

其中，所述缩略图选择部分按照所述显示数据中包括的多个缩略图图像数据的数量，选择所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个。

2.根据权利要求1所述的图像处理装置，其中，所述显示数据产生部分从记录介质读出所述缩略图选择部分选择的所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个，并且用读出的缩略图图像数据产生所述显示数据。

3.根据权利要求1所述的图像处理装置，其中，所述显示数据产生部分用所述全景图像数据产生所述缩略图选择部分选择的所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个，并且用产生的缩略图图像数据产生用于显示缩略图的显示数据。

4.根据权利要求1所述的图像处理装置，其中，所述缩略图选择部分按照供应所述显示数据的显示装置的显示区的宽高比，选择所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个。

5.根据权利要求4所述的图像处理装置，其中，所述显示区是指所述显示装置的整个屏幕。

6.根据权利要求4所述的图像处理装置，其中，所述显示区是指所述显示装置的屏幕中显示缩略图的区域。

7.根据权利要求1所述的图像处理装置，其中，所述缩略图选择部分按照供应所述显示数据的显示装置的显示区的大小，选择所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个。

8.一种图像处理方法，包括：

缩略图选择过程，按照显示数据中包括的多个缩略图图像数据的数量，在通过向通过合成多个拍摄图像而产生的全景图像数据应用分辨率转换而产生的第一缩略图图像数据和通过对所述全景图像数据执行宽高比调节处理而产生的第二缩略图图像数据中选择任一个用于显示缩略图；

显示数据产生过程，按照所述缩略图选择过程中进行的选择，用所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个产生用于显示缩略图的显示数据。

9.一种具有存储于其上的指令的计算机可读介质，当执行所述指令时，致使运算处理装置执行以下处理的程序：

缩略图选择处理，按照显示数据中包括的多个缩略图图像数据的数量，在通过向通过合成多个拍摄图像而产生的全景图像数据应用分辨率转换而产生的第一缩略图图像数据和通过对所述全景图像数据执行宽高比调节处理而产生的第二缩略图图像数据中选择任一个用于显示缩略图；

显示数据产生处理，按照所述缩略图选择处理中进行的选择，用所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个产生用于显示缩略图的显示数据。