CN109597910A - 用于显示图像的信息处理方法、信息处理设备和存储介质 - Google Patents

Abstract

本发明提供用于显示图像的信息处理方法、信息处理设备和存储介质。将与从指定运动图像提取出的多个第一图像分别相对应的第一时间信息分配给多个第一图像。分别显示该多个第一图像和作为静止图像拍摄的第二图像，使得与第一时间信息和与第二图像相对应的第二时间信息无关地连续排列多个第一图像，并且按基于与指定运动图像相对应的时间信息和第二时间信息的顺序来排列多个第一图像和第二图像。

Description

用于显示图像的信息处理方法、信息处理设备和存储介质

技术领域

本发明涉及用于在显示设备中显示多个图像的信息处理方法、信息处理设备和存储介质。

背景技术

通常，除了拍摄静止图像的功能之外，数字静态照相机等还可以具有拍摄运动图像的功能。

日本特开2005-150923公开了从运动图像中提取多个帧。此外，将使用运动图像的拍摄日期和时间以及再现时间所计算出的值作为拍摄日期和时间写入由从运动图像中提取出的帧生成的静止图像文件中。

可以按预定顺序显示从运动图像提取出的多个图像和作为静止图像所拍摄的图像。

如日本特开2005-150923中描述的针对帧写入拍摄日期和时间的情况下，如果在运动图像的拍摄时间段内包括静止图像的拍摄日期和时间，则根据拍摄日期和时间的顺序可以是帧A、静止图像和帧B。因此，如果按根据拍摄日期和时间的顺序显示这些图像，则尽管帧A和B是从同一运动图像中提取的，但是静止图像显示在帧A和B之间。特别地，如果在与运动图像的摄像场景不同的摄像场景中拍摄静止图像，则可能获得用户不期望的显示结果。

发明内容

本发明提供了一种用于适当地显示包括从运动图像提取出的图像的多个图像的程序、信息处理设备和信息处理方法。

根据本发明的一个方面，一种信息处理方法，用于显示从指定运动图像中提取出的与所述指定运动图像中所包括的多个帧相对应的多个第一图像、以及作为静止图像而拍摄的第二图像，所述信息处理方法包括：用于基于与所述指定运动图像相对应的时间信息，来将与所述多个第一图像分别相对应的第一时间信息分配给所述多个第一图像，以及用于按基于与所述指定运动图像相对应的时间信息和与所述第二图像相对应的第二时间信息的顺序，分别显示所述多个第一图像和所述第二图像。在所述显示中，分别显示所述多个第一图像和所述第二图像，使得与所述第二时间信息和所分配的所述第一时间信息无关地连续排列所述多个第一图像、并且按基于与所述指定运动图像相对应的时间信息和所述第二时间信息的顺序来排列所述多个第一图像和所述第二图像。

根据以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出信息处理设备的结构的图。

图2A和2B是信息处理设备所进行的显示控制处理的示例的流程图。

图3是示出文件信息的示例的图。

图4是示出在从运动图像提取图像的处理之后获得的内部数据的图。

图5是示出排序后的内部数据的图。

图6是示出删除数据行之后的内部数据的图。

图7是示出显示结果的示例的图。

图8A和8B是信息处理设备所进行的显示控制处理的另一示例的流程图。

图9是示出压缩显示的结果的示例的图。

图10是示出展开显示的状态的示例的图。

图11是示出展开显示的状态的另一示例的图。

具体实施方式

第一实施例

首先，将描述根据第一实施例的信息处理设备的结构。图1是示出信息处理设备1004的结构的图。信息处理设备1004能够使用输入图像数据来生成相册(照片集和相簿)，输出所生成的相册作为打印数据，并将所生成的相册上传到外部服务器。信息处理设备1004包括ROM 1009、RAM 1010和CPU 1011。信息处理设备1004还包括打印机1005、监视器1006、输入装置1007、存储装置1008以及用于将信息处理设备1004连接到网络1003的输入/输出接口(未示出)。

CPU 1011是通过使用RAM 1010作为工作存储器而执行存储在存储装置1008或ROM1009中的操作***程序(以下称为“OS”)来控制整个信息处理设备1004的中央处理单元。此外，CPU 1011执行存储在ROM 1009和RAM 1010中的各种程序，以实现信息处理设备1004的各种功能结构以及信息的计算和处理，并控制硬件。ROM 1009是只读存储器并存储各种程序。RAM 1010是用作CPU 1011的工作存储器的随机存取存储器，并且在非易失性RAM的情况下，RAM 1010存储各种程序。

此外，用于生成与相册相对应的相册数据的相册创建应用程序的程序也存储在ROM 1009或RAM 1010中。当CPU 1011执行该程序时，实现下面参考图2A和2B描述的处理。注意，相册数据包括与要在相册中排列的图像相对应的图像数据、作为图像排列所用的模板的图像数据、以及表示模板中的图像排列所用的尺寸、位置和角度等的布局数据。注意，一个模板对应于相册的跨页(double-page spread)。生成与相册的跨页数相对应的相册数据。然而，相册数据的格式不限于此，并且可以生成包括排列在模板上的图像的跨页所用的图像数据。

此外，相册创建应用程序具有自动选择存储在存储装置1008等中的图像组中的多个图像、并自动地将自动选择的图像排列在模板中以生成相册的相册自动创建功能。注意，在图像的自动选择中，CPU 1011使用相册创建应用程序来分析图像组中包括的图像，并基于分析结果来选择要排列的图像的数量。在图像分析中，例如，分析图像质量和图像中包括的对象的类型(例如，人物)。在图像的自动选择中，优先选择高质量图像或包括由用户(例如特定人物)指定的对象的图像。此外，作为相册自动创建功能CPU 1011执行相册创建应用程序，以根据图像的摄像日期和时间来自动地排列相册中的多个图像。例如，CPU 1011进行图像自动布局(自动排列)，使得在多个跨页中，随着页码递增而排列具有较新摄像日期和时间的图像。此外，CPU 1011可以进行图像自动布局(自动排列)，使得在跨页的一个模板中，图像的摄像日期和时间向着左上方的位置变得较旧，并且图像的摄像日期和时间向着右下方的位置变得较新。

此外，相册创建应用程序具有将排列对象从如上所述的相册自动创建功能所创建的相册中排列的图像改变为另一图像的功能。下面描述的图7、9、10和11所示的画面可以显示为包括用于选择要排列的图像的选择候选的图像、而不是排列在由相册自动创建功能创建的相册中的图像的画面。可选地，相册创建应用程序可以包括在不使用相册自动创建功能的情况下由用户手动选择要排列的图像的功能。下面描述的图7、9、10和11所示的画面可以显示为包括用于手动选择的选择候选的图像的画面。

连接到信息处理设备1004和外部服务器1002的网络1003是进行从连接的设备发送信息和从连接的设备接收信息的通信网络。外部服务器1002具有用于连接到打印机1001的输入/输出接口(未示出)，并且打印机1001连接到外部服务器1002。由信息处理设备1004使用相册创建应用程序生成的相册数据通过网络1003而上传到外部服务器1002。如果相册数据是可打印的，则外部服务器1002将上传的相册数据输出到打印机1001。假设外部服务器1002是相册订单输入/管理服务器，并且用户将由信息处理设备1004自身生成的相册数据上传到外部服务器1002。当所需的相册购买过程***作时，外部服务器1002将相册数据输出到用于打印相册数据的打印机1001。此后，输出的打印产品被装订成册并交付给用户。

打印机1005打印由信息处理设备1004生成的打印产品。例如，用户可以使用户拥有的打印机1005使用相册创建应用程序来打印由信息处理设备1004生成的相册，并且用户可以装订成册以完成相册。

监视器1006是用于显示从信息处理设备1004输出的图像信息的显示设备。输入装置1007包括用于向信息处理设备1004输入各种指示的键盘和指点装置。输入装置1007可以与监视器集成为触摸板，并且在这种情况下，用户通过直接触摸监视器来发出指示。存储装置1008是用于存储图像数据和模板的硬盘驱动器(HDD)或固态驱动器(SSD)等。

注意，信息处理设备1004是台式个人计算机(PC)，并且信息处理设备1004、监视器1006、输入装置1007和存储装置1008是图1中的各个装置。然而，本发明不限于此，并且监视器1006、输入装置1007和存储装置1008(其可以是信息处理设备1004的RAM 1010共用的)中的一些或全部可以作为组件包括在信息处理设备1004中。例如，在信息处理设备1004是智能电话或平板装置的情况下，信息处理设备1004包括通过集成监视器1006和输入装置1007而构成的触摸板。

其次，将描述信息处理设备1004所进行的从运动图像提取图像并显示提取出的图像的处理。图2A和2B是信息处理设备1004所进行的显示控制处理的示例的流程图。注意，与图2A和2B中的各种处理相对应的程序模块包括在与相册创建应用程序相对应的程序中，并且该程序存储在ROM 1009或RAM 1010中。然后，CPU 1011执行RAM 1010中的程序，以实现参考图2A和2B描述的处理。

图2A是信息处理设备1004所进行的显示控制处理的主要流程图。在步骤S2001中，CPU 1011响应于用户发出的指示而指定包括要显示的图像的文件夹。例如，可以指定信息处理设备1004的硬盘中的特定文件夹，或者可以指定诸如存储装置1008等的外部存储介质中的图像。此外，外部存储装置可以是用于存储由数字静态照相机拍摄的图像的诸如安全数字(SD)卡等的存储卡。此外，存储卡可以***到包括在信息处理设备1004中的存储卡读取设备(未示出)中，并且可以指定存储卡中的文件夹。此外，用于指定文件夹的显示可以由OS而不是相册创建应用程序执行。在这种情况下，在步骤S2001中，相册创建应用程序使用OS中包括的应用程序编程接口(API)来使OS将用于显示与文件夹有关的信息的画面显示在监视器1006中。相册创建应用程序从OS获得表示由OS提供的画面中指定的文件夹的信息。

在步骤S2002中，CPU 1011在步骤S2001中指定的文件夹中搜索要显示的图像文件，并将图像文件作为内部数据存储在RAM 1010中。作为用于搜索要显示的图像文件的方法，例如，相册创建应用程序使用包括在OS中的API来获得与包括在指定文件夹中的文件有关的信息(文件名和文件路径等)。然后，相册创建应用程序创建文件列表，该文件列表是作为要存储在RAM 1010中的内部数据的文件信息的列表。与包括在文件列表中的文件信息相对应的文件是显示对象的候选者。注意，相册创建应用程序从OS获得的文件名的末端具有扩展名。相册创建应用程序基于扩展名来判断是否要在文件列表中添加文件名，即是否要显示这些文件。然后，仅与具有预定扩展名的文件名相对应的文件信息被包括在文件列表中并被显示。

在步骤S2003中，信息处理设备1004从与在步骤S2002中判断为包括在文件列表中的文件信息相对应的文件中的静止图像文件获得摄像日期和时间。由数字静态照相机拍摄的大多数图像文件具有根据被标准化为可交换图像文件格式(Exif)的文件格式而嵌入的各自的摄像日期和时间。在步骤S2003中，读取根据Exif标准而嵌入的摄像日期和时间并将其存储在内部数据中。可选地，代替Exif标准，可以根据可扩展元数据平台(XMP)标准或针对各供应商定义的数据格式来获得摄像日期和时间。在摄像日期和时间未嵌入文件中的情况下，可以基于由OS管理并且添加到文件的时间戳来获得摄像日期和时间。此外，将如上所述获得的摄像日期和时间作为文件信息添加到文件列表。

图3是示出在步骤S2002中生成的文件列表中包括的文件信息的示例的图。在图3所示的列表中，一行管理一个文件，并且一个文件的文件信息由日期行3001等表示。各数据行包括在步骤S2002中获得的文件名和在步骤S2003中获得摄像日期和时间的情况下的摄像日期和时间。例如，数据行3001包括文件名IMG000.jpg和摄像日期和时间09/01/201711：23：40。图3所示的列表包括从数据行3001到数据行3010的10个数据行。在步骤S2003中，仅获得静止图像文件的摄像日期和时间，因此，不描述表示运动图像的数据行3003和3007中的摄像日期和时间。注意，根据在下面描述的步骤S2004中的运动图像的摄像日期和时间来生成从运动文件中提取出的图像的摄像日期和时间，因此，可以在步骤S2003中获得运动图像文件的摄像日期和时间。

在步骤S2004中，CPU 1011在与步骤S2002和步骤S2003中列出的文件信息相对应的文件中的运动图像文件的运动图像中提取帧作为图像。此外，CPU 1011在步骤S2004中生成如上所述提取出的图像的摄像日期和时间，并且存储这些图像以及包括摄像日期和时间的静止图像文件。

将参考图2B来详细描述步骤S2004中的处理。在步骤S2101中，CPU 1011判断在步骤S2002中生成的文件列表中是否包括运动文件。通过将包括在文件列表中的文件名的扩展名与表示运动图像文件的预定扩展名进行比较来进行该判断。在步骤S2101中判断为否定的情况下，终止图2B中的过程。

另一方面，在步骤S2101中判断为肯定的情况下，执行步骤S2102中的处理。在步骤S2102中，CPU 1011从位于文件列表的最上部分中的未处理的运动图像文件之一中提取多个帧(静止图像)。可以采用各种方法来从运动图像中提取帧。例如，可以在运动图像再现时间内以特定的预定间隔提取帧。可选地，可以获得从运动图像中提取的候选的多个图像之间的相关性，并且如果图像具有高相关性，则由于具有高相关性的图像是相似图像，因此从提取对象中排除其中一个图像。以这种方式，可以减少要提取的图像的数量。

在步骤S2103中，CPU 1011获得在步骤S2102中提取出帧(静止图像)的运动图像的摄像日期和时间。可以从运动图像文件的元数据获得运动图像的摄像日期和时间。具体地，相册创建应用程序从OS获得运动图像文件的摄像日期和时间。摄像日期和时间是开始在运动图像文件中拍摄运动图像的日期和时间。

在步骤S2104中，CPU 1011根据在步骤S2103中获得的运动图像的摄像日期和时间以及在运动图像中所提取的帧(提取的静止图像)的再现时间来确定所提取的静止图像的摄像日期和时间。例如，如果运动图像中记录的摄像日期和时间(摄像开始日期和时间)是9/1/2017 11：23：45并且提取了运动图像的前导帧，则再现时间为0秒。对应于该帧的静止图像的摄像日期和时间是9/1/2017 11：23：45。如果另一帧的再现时间是2秒，则对应于该帧的静止图像的摄像日期和时间是9/1/2017 11：23：47。

在步骤S2105中，CPU 1011将在步骤S2104中分别确定的摄像日期和时间分配给在步骤S2102中从运动图像提取的多个帧(静止图像)。具体地，CPU 1011生成多个静止图像文件，其中该多个静止图像文件与多个帧相对应并且包括与多个帧相对应的图像数据以及在步骤S2104中所确定的摄像日期和时间。此外，CPU 1011将生成的多个静止图像文件存储在RAM 1010或存储装置1008中。

在步骤S2106中，CPU 1011将在步骤S2105中生成的多个静止图像文件的文件信息添加到文件列表中。如上所述，可以从一个运动图像文件的运动图像中提取并存储多个静止图像，因此，将与提取出的帧数对应的多个数据行添加到文件列表。此外，在步骤S2106中，CPU 1011从文件列表中删除与提取帧的运动图像文件相对应的数据行。

此外，在步骤S2106中，当添加从运动图像文件提取出的帧的静止图像文件的文件信息时，CPU 1011除了文件名以及摄像日期和时间之外还将运动图像ID添加到文件列表。运动图像ID是用于指定作为包括在静止图像文件中的图像(帧)的提取源的运动图像的识别信息。因此，相同的运动图像ID被分配给在步骤S2102中从包括在一个运动图像文件中的运动图像中提取出的多个帧。

注意，运动图像ID至少唯一地指定提取源的运动图像。因此，例如，可以针对各运动图像使ID递增。例如，“ID：0001”被分配给从数据行3003的运动图像中提取出的静止图像文件，以及“ID：0002”被分配给从数据行3007的运动图像提取出的静止图像文件。具体地，将这些ID作为文件信息添加到文件列表。

在步骤S2107中，CPU 1011判断文件列表是否包括尚未经过从步骤S2102到步骤S2106的处理的未处理的运动图像文件。例如，CPU 1011在从文件列表的顶部的运动图像文件起执行从步骤S2102到步骤S2106的处理的情况下，判断例如在该文件列表中是否包括与处理对象的运动图像文件相比更低级别的运动图像文件。在判断是肯定的情况下(步骤S2107中为“是”)，再次对运动图像文件执行从步骤S2102到步骤S2106的处理。另一方面，在步骤S2107中判断为否定的情况下，终止图2B所示的处理。

图4是示出作为在进行在步骤S2004中从运动图像(图2B)提取图像的处理之后获得的内部数据的文件列表的图。由于数据行3003和3007是图3中的运动图像文件，因此从图4中的内部数据中删除数据行3003和3007。此外，从数据行3003的运动图像中提取出四个静止图像，并添加数据行4031至4034。同样地，从数据行3007的运动图像中提取出两个静止图像，并添加数据行4071和4072。如图4所示，将文件名、摄像日期和时间以及运动图像ID作为文件信息分配给在步骤S2105中进行的处理中所生成的静止图像文件。

注意，用于分配运动图像ID的方法不限于上述示例。例如，可以生成全局唯一标识符(GUID)并将其分配为运动图像ID。可选地，可以使用通过使用消息摘要算法5(MD5)从运动图像文件生成的哈希值来生成唯一ID。此外，代替生成ID，如果在运动图像中嵌入摄影设备的ID或在摄像时获得的管理ID作为摄像信息，则可以使用该ID作为运动图像ID。此外，以秒为时间单位的摄像日期和时间几乎不与另一摄像日期和时间一致，因此，运动图像的摄像日期和时间可以用作ID。具体地，确定可以将从第一运动图像提取出的多个图像与从第二运动图像提取出的多个图像区分开的识别信息。

此外，作为用于将ID分配给静止图像文件的另一种方法，可以通过将ID分配为从运动图像提取出的帧的静止图像文件的文件名来管理静止图像文件。此外，可以不生成特定ID或不使用替代现有ID的值，而将从同一运动图像提取出的图像作为内部数据中的数据结构(诸如列表等)进行管理。可选地，可以生成图像特有的目录，并且可以将提取出的静止图像存储在各个目录中，以使得对静止图像文件进行管理。

在执行图2A的步骤S2004中的处理(图2B所示的处理)之后，执行图2A的步骤S2005中的处理。在步骤S2005中，CPU 1011基于摄像日期和时间来对图4所示的内部数据(文件列表)执行升序排序。图5是示出排序之后的内部数据(文件列表)的图。

在以排序顺序显示包括文件列表中的文件信息的多个静止图像的情况下，可以根据运动图像的摄像定时来将静止图像夹在从同一运动图像提取出的两个静止图像之间。这例如可能在如下情况下发生：对能够记录静止图像的数字静态照相机在拍摄运动图像期间所拍摄的运动图像和静止图像进行处理的情况，或者在步骤S2001中选择包括由多个数字静态照相机所拍摄的运动图像的文件夹的情况。

如果按基于图5所示的列表的顺序显示多个图像，则在与从同一运动图像中提取出的数据行4031和4032相对应的两个图像之间显示作为与数据行3004相对应的静止图像而拍摄的图像。此外，在第一运动图像和第二运动图像的摄像时间段彼此重叠的情况下，在从第一运动图像提取出的两个静止图像之间可能显示从第二运动图像提取出的静止图像。

以这种方式，如果在从同一运动图像提取出的第一静止图像和第二静止图像之间混合了第三静止图像，则该显示结果是用户不期望(特别是在运动图像和第三静止图像表示不同拍摄场景的情况下)。例如，在用于选择要在相册中排列的图像的画面中输入这种显示状态的情况下，用户可能难以选择期望的图像。因此，在本实施例中，信息处理设备进行从图2A的步骤S2005到步骤S2012的处理作为显示控制，以防止在从同一运动图像提取出的第一图像和第二图像之间显示第三静止图像。

在步骤S2006中，CPU 1011从内部数据(文件列表)的顶部起访问未处理数据行的文件信息，以获得文件信息。当首次对图5所示的内部数据(文件列表)进行步骤S2006中的处理时，获得与数据行3001相对应的文件信息。

在步骤S2007中，CPU 1011判断与在步骤S2006中获得的文件信息相对应的静止图像文件是否是从运动图像提取出的图像。在步骤S2007的判断处理中，例如，通过判断在步骤S2006中获得的文件信息是否包括运动图像ID来识别要判断的静止图像文件的类型。具体地，在步骤S2004中ID被分配给从运动图像提取出的静止图像文件，因此，可以通过判断是否分配了ID来进行与该静止图像文件是否是从运动图像中提取出的有关的判断。作为另一种判断方法，可以通过在步骤S2004中将表示图像是否是从运动图像提取出的标志添加到内部数据(文件列表)来进行判断。

在步骤S2007中判断为肯定的情况下，处理进入步骤S2008。另一方面，在判断为否定的情况下，处理进入步骤S2011。

在步骤S2011中，CPU 1011基于包括在步骤S2006中获得的文件信息中的文件名来从与该文件信息相对应的静止图像文件中读取静止图像，并在监视器1006中显示该静止图像。在监视器1006中排列并显示多个图像的情况下，CPU 1011指定在监视器1006中按图像的排列顺序显示的最后图像之后的下一显示位置。然后，CPU 1011将读取的图像显示在指定的显示位置。在文件信息包括文件路径的情况下，基于文件路径来读取静止图像。

在步骤S2012中，CPU 1011判断在内部数据(文件列表)中是否仍存在未处理的数据行。在判断为肯定的情况下，处理返回到步骤S2006，否则，图2A中的处理终止。

例如，在首次对图5所示的文件列表执行步骤S2006中的处理的情况下，在步骤S2011中显示与数据行3001相对应的图像。此后，当处理返回到步骤S2006时，在步骤S2006中从文件列表的顶部起顺次获得未处理数据行的文件信息，因此，获得数据行3002中的文件信息。当对数据行3002进行步骤S2011中的图像显示时，处理再次返回到步骤S2006。然后，获得数据行4031的文件信息，此外，由于文件信息包括运动图像ID，因此执行步骤S2008中的处理。

在步骤S2008中，CPU 1011获得包括了在步骤S2006中获得的文件信息(文件信息A)中所包括的运动图像ID的至少一个文件信息(文件信息B)。例如，CPU 1011在文件列表中从在步骤S2006中获得的文件信息A的数据行起向下对文件信息内的运动图像ID进行分析。此后，检索具有在步骤S2006中获得的文件信息A中包括的运动图像ID的数据行，以使得获得检索到的数据行的文件信息B。此外，作为步骤S2008中的另一处理，当CPU 1011在步骤S2004中从运动图像提取图像时，从同一运动图像提取出的图像的列表可以与文件列表分开地存储在RAM 1010中。然后，在步骤S2008中，CPU 1011可以参考列表来检索并获得具有在步骤S2006中获得的文件信息A中包括的运动图像ID的数据行。

在图5所示的示例中，假设已经在步骤S2006中获得数据行4031的文件信息。在这种情况下，通过步骤S2008中的处理获得包括与数据行4031的运动图像ID相同的运动图像ID“0001”的数据行4032至4034中的文件信息。

在步骤S2009中，CPU 1011基于在步骤S2006中获得的文件信息A和在步骤S2008中获得的至少一个文件信息B，读取与文件信息A相对应的信息和与至少一个文件信息B相对应的至少一个图像。然后，CPU 1011在监视器1006中显示如上所述获得的多个图像。显示方法与上述步骤S2011中采用的显示方法相同。例如，在监视器1006中排列并显示多个图像的情况下，CPU 1011在步骤S2009指定在监视器1006中按图像的排列顺序显示的最后图像之后的多个图像显示位置。然后，CPU 1011在指定的多个显示位置中显示读取的多个图像。此外，CPU 1011根据文件列表中的顺序来确定在步骤S2009中读取的多个图像的排列顺序。注意，与步骤S2011中的处理相同，当在文件信息中包括文件路径时，可以在步骤S2009中基于文件路径来读取静止图像。

根据从步骤S2006到步骤S2009的处理，例如，当在步骤S2006中获得数据行4031的文件信息时，在步骤S2008中获得数据行4032到4034的文件信息。在步骤S2009中，从具有文件名“MOV001_1.jpg”、“MOV001_2.jpg”、“MOV001_3.jpg”和“MOV001_4.jpg”的四个静止图像文件中读取图像。然后，在监视器1006中按摄像日期和时间的顺序显示读取的四个图像。

在步骤S2010中，CPU 1011从内部数据(文件列表)中删除与在步骤S2009中显示的静止图像文件相对应的文件信息。进行步骤S2010中的删除处理以避免由于在步骤S2006中从顶部起访问内部数据(文件列表)而以重复方式再次显示一度显示过的图像的情形。可以在步骤S2010中实际删除数据行，或者可以在步骤S2010中设置用于表示已经进行了显示的标志。通过在步骤S2006中参考标志可以避免重复图像显示。

对图5所示的文件列表执行步骤S2010中的处理。图6示出删除数据行之后的内部数据(文件列表)。通过从图5所示的文件列表中删除在步骤S2008中获得文件信息的数据行来获得图6所示的文件列表。

对图6所示的文件列表重复进行从步骤S2006到步骤S2011的处理，直到在步骤S2012中判断为不包括未处理的数据为止。具体地，基于数据行3004、3005、3006和3008的文件信息连续地进行图像的读取和显示(S2011)。此后，对数据行4071和4072的文件信息进行图像读取和图像显示(S2009)，并且基于数据行3009和3010的文件信息来进行图像读取和图像显示(S2011)。注意，在静止图像文件中包括具有不同像素数的不同图像的情况下，可以在步骤S2009和步骤S2011中显示具有最小像素数的图像之一(例如，缩略图图像)。

图7示出在基于图4所示的内部数据(文件列表)执行图2A和2B所示的处理的情况下的显示结果的示例。图7是示出在监视器1006中从左上部分到右下部分排列多个图像的情况下的显示示例的图。注意，尽管为了简化图7中的描述，图像由文件名表示，但是实际上显示了诸如照片等的图像的内容。可选地，图7所示的文件名可以显示在诸如照片等的图像的外部或内部。

在如图5所示的根据摄像日期和时间按时间顺序对文件信息进行排序的内部数据(文件列表)中，第三静止图像混合在从运动图像中提取出的第一静止图像和第二静止图像之间。然而，在图7所示的显示结果中，按图像的排列顺序，针对各运动图像总地显示从同一运动图像提取出的多个静止图像。例如，总地显示具有文件名“MOV001_1.jpg”至“MOV001_4.jpg”的四个图像，并且总地显示具有文件名“VD0001_1.jpg”和“VD0001_2.jpg”的两个图像。

通过上述处理，可以要避免在从运动图像提取出的图像和作为静止图像而拍摄的静止图像按时间顺序混合并排列的情况下，第三静止图像混合在从同一运动图像提取出的第一图像和第二图像之间。从同一运动图像提取出的多个静止图像在一系列连续拍摄场景中拍摄的可能性高。因此，在如图7所示总地显示从同一运动图像提取出的多个静止图像的情况下，提高了用户对图像的可视性或图像选择的可用性。

此外，根据图2A和2B所示的处理，ID被分配给各个运动图像，因此，即使多个运动图像的拍摄时间段彼此重叠，从多个运动图像中提取出的多个静止图像也不会混合并且针对各个运动图像总地显示这些静止图像。因此，提高了用户对图像的可视性和图像选择的可用性。

此外，根据图2A和2B中的处理，根据摄像日期和时间显示作为静止图像而拍摄的图像和从运动图像提取出的图像。例如，在图7中，在具有文件名“IMG001.jpg”和“IMG002.jpg”的图像之间显示具有文件名“MOV001_1.jpg”至“MOV001_4.jpg”的文件。因此，用户可以在识别运动图像的摄像日期和时间以及静止图像的摄像日期和时间之后查看和选择图像。因此，与最后显示从运动图像提取出的图像的方法(例如，按以与作为静止图像而拍摄的图像分开的集合方式的排列顺序(用于按图4所示的顺序显示图像的方法))相比，图像的可视性和图像选择的可用性得以提高。

注意，在前述实施例中，基于从运动图像提取出的开头图像的摄像日期和时间来确定从运动图像提取出的图像的显示位置。然而，本发明不限于此，并且可以在未提取运动图像的开头图像的情况下基于从运动图像提取出的图像中的第一个图像的摄像日期和时间来确定从运动图像提取出的图像的显示位置。可选地，可以基于从运动图像提取出的图像中的最后一个图像的摄像日期和时间来确定从运动图像提取出的图像的显示位置。在这种情况下，可以基于提取出的图像的数量和在运动图像拍摄时间段中拍摄的静止图像的数量来进行与是使用第一个图像还是使用最后一个图像有关的判断。

此外，如上所述，本实施例的相册创建应用程序包括相册自动创建功能。图7所示的显示可以是包括要被选择为要被通过相册自动创建功能创建的相册中排列的图像交换的图像的选择候选的图像的画面。具体地，可以进行图7中的显示以选择相册中排列的图像作为由相册自动生成功能自动选择的图像的替代。

在通过相册自动创建功能对图像的自动选择中，在步骤S2004中从运动图像提取出的静止图像是选择候选。然后，CPU 1011在多个跨页或一个跨页中按摄像日期和时间的顺序自动排列这些静止图像。因此，CPU1011可以参考在步骤S2005中排序的文件列表(图5)中的摄像日期和时间来自动排列图像。当用户在自动生成并显示相册之后指示图像交换时，可以执行从图2A中的步骤S2006起的处理，并且可以如图7所示那样显示要新排列的候选的图像。

具体地，如果通过相册自动生成功能创建相册，则可以在与从运动图像提取出的图像的实际摄像日期和时间相对应的位置中排列和显示从运动图像提取出的静止图像。在这种情况下，如果从同一运动图像提取出两个图像，则可能在这两个图像之间排列和显示另一图像。然而，在相册中，可以在与图像的实际摄像日期和时间相对应的真实排列位置中排列和显示从运动图像提取出的图像。当要交换图像时，如图7所示，总地显示从运动图像提取出的多个图像，因此，提高了图像的可视性和图像选择的可用性。

注意，从通过相册自动创建功能自动排列图像时要使用的运动图像中提取出的图像的时间信息可以在步骤S2104中确定，或者被确定为其它定时。

代替相册自动创建功能，相册创建应用程序可以具有用户手动选择要排列的图像的功能，并且图7所示的画面可以显示为包括用于手动选择的选择候选的图像的画面。

第二实施例

尽管在图7所示的显示示例中总地显示从运动图像提取出的图像，但是在仅显示从运动图像提取出的多个图像中的一个图像并且在适当的时候将剩余图像显示为列表的情况下，可以获得相同的效果。将参考图8A和8B来描述显示。图8A和8B是信息处理设备所进行的显示控制处理的示例的流程图。

图8A与图2A的不同之处在于：在与在步骤S2006中获得的文件信息相对应的静止图像文件被判断为从运动图像提取出的图像的文件的情况下，在步骤S8001中进行的显示控制。

图8B是详细示出的步骤S8001中的处理的流程图。在步骤S8002中，CPU 1011根据与用于显示从运动图像中提取出的图像的方法相关联的显示设置的状态，来在步骤S8003中的显示处理(压缩显示)和步骤S8004中的显示处理(展开显示)之间进行切换。例如，在相册创建应用程序的默认显示设置中，进行与步骤S8003相对应的设置。

在步骤S8003中，CPU 1011读取与在步骤S2006中获得的文件信息相对应的文件的图像，并显示图像使得图像可与其它静止图像区分开。此外，在步骤S8003中，CPU 1011不读取与在步骤S2008中获得的文件信息对应的文件的图像，或者不显示图像。

在图9中示出在步骤S8003中进行压缩显示作为示例的情况下通过图8A所示的处理的显示结果。在图9的示例中，图像被显示在文件夹状图标上，从而给用户仿佛进一步提供静止图像的印象。

另一方面，CPU 1011在步骤S8004中进行展开显示处理。在这种情况下，例如，执行与图2A的步骤S2009中的处理相同的处理，并且获得图7所示的显示状态。

此外，当在步骤S8003中进行压缩显示并且显示图9所示的画面时，用户可以选择在图9所示的显示状态下从运动图像提取出的图像。然后，可以将显示设置改变为展开显示，并且可以再次根据图8A的流程图显示图像。在这种情况下，由于展开显示被设置为显示设置，因此执行步骤S8004中的处理。在步骤S8004中，根据被提取用户所选择的静止图像的运动图像，执行用于进入图10或图11中的显示状态的显示处理。

在图9所示的画面中，当用户通过输入装置1007选择具有文件名“MOV001_1.jpg”的图像时，图9所示的显示状态变为图10所示的展开显示的显示状态。在图10中，在与图9的显示结果相比较的情况下，附加显示从被提取文件名“MOV001_1.jpg”的图像的运动图像中提取出的剩余静止图像。具体地，附加显示具有文件名“MOV001_2.jpg”至“MOV001_4.jpg”的静止图像。此外，当用户通过输入装置1007选择具有文件名“VD0001_1.jpg”的图像时，图10所示的显示状态变为图7所示的显示状态。注意，用户通过输入装置1007进行的选择是通过例如使用鼠标点击或触摸面板上的触摸来进行的。

图11是示出在图9所示的显示状态下选择具有文件名“MOV001_1.jpg”的图像的情况下的展开显示的显示状态的另一示例的图。在图11中，代替图9中包括的一些图像，排列从被提取了具有文件名“MOV001_1.jpg”的图像的运动图像中提取出的剩余静止图像，并且以使得可与其它静止图像区分开的方式进行附加显示。在图11中，仿佛打开包括具有文件名“MOV001_1.jpg”的图像的文件夹那样进行显示，以使得展开文件夹中的图像。因此，用户容易识别从运动图像中提取出的剩余图像已经被展开的事实。此外，在图11的示例中，不显示、或者在不改变显示位置的情况下显示未被用户选择并且包括在图9中的显示中的其它静止图像。因此，从被提取用户选择的图像的运动图像提取出的多个图像引起用户的注意，使得用户可以容易地从多个图像中选择期望的图像。

此外，如果在如图7、10和11所示进行展开显示时点击或触摸除了从运动图像提取出的静止图像之外的预定显示区域，则显示设置可以改变为压缩显示，并且可以再次执行图8A和8B的流程图。在这种情况下，进入图9所示的显示状态。

如上所述，当进行压缩显示时，如图9所示，仅显示从运动图像提取出的图像中的第一个图像，并且隐藏提取出的其它图像。此外，当通过用户操作进行展开显示时，如图7、10和11所示，从运动图像提取出的剩余静止图像可以显示为列表。

根据图8A和8B的处理，当按照时间顺序排列和显示从运动图像提取出的图像和作为静止图像而拍摄的图像时，仅显示从运动图像提取出的图像中的第一个图像。然后，用户可以在适当的时候显示从同一运动图像提取出的剩余图像。从同一运动图像中提取出的多个图像被连续地显示(图10)或以强调的方式显示，以使得可与其它静止图像(图11)区分开。因此，用户可以容易地选择从期望的运动图像中提取出的剩余图像。

第三实施例

尽管在前述实施例中使用摄像日期和时间作为与静止图像文件相关联的时间信息，但是本发明不限于此。例如，更新静止图像文件时的日期和、或者创建静止图像文件时的日期和时间等可以用作时间信息。在这种情况下，从运动图像提取出的图像的静止图像文件的更新日期和时间以及创建日期和时间分别根据运动图像的更新日期和时间以及创建日期和时间、以及静止图像文件的再现时间来确定。

此外，在前述实施例中，根据时间信息在监视器中排列和显示多个图像。然而，本发明不限于此，并且可应用于按基于时间信息的显示顺序以时间上连续的方式在监视器中显示多个图像的情况(诸如幻灯片放映的情况等)。即使在这种情况下，根据前述实施例，可以按多个图像的时间显示顺序避免在从同一运动图像提取出的第一图像和第二图像之间显示第三图像的情况。

注意，可以通过以下结构来实现实施例的功能。具体地，当用于进行实施例的处理的程序代码被提供给***或设备、并且***或设备的计算机(或CPU或MPU)执行程序代码时，实现这些功能。在这种情况下，从存储介质读取的程序代码实现了前述实施例的功能，并且存储程序代码的存储介质也实现了实施例的功能。

此外，用于实现实施例的功能的程序代码可以由单个计算机(CPU或MPU)或由组合工作的多个计算机执行。此外，程序代码可以由计算机执行，或者可以提供用于实现程序代码的功能的诸如电路等的硬件。可选地，一些程序代码可以由硬件实现，而其它程序代码可以由计算机执行。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考实施例说明了本发明，但是应该理解，本发明不局限于所公开的实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (13)

1.一种程序使计算机执行信息处理方法，用于显示从指定运动图像中提取出的与所述指定运动图像中所包括的多个帧相对应的多个第一图像、以及作为静止图像而拍摄的第二图像，所述信息处理方法包括：

分配步骤，用于基于与所述指定运动图像相对应的时间信息，来将与所述多个第一图像分别相对应的第一时间信息分配给所述多个第一图像；以及

显示步骤，用于按基于与所述指定运动图像相对应的时间信息和与所述第二图像相对应的第二时间信息的顺序，分别显示所述多个第一图像和所述第二图像，

其中，在所述显示步骤中，分别显示所述多个第一图像和所述第二图像，使得与所述第二时间信息和所分配的所述第一时间信息无关地连续排列所述多个第一图像、并且按基于与所述指定运动图像相对应的时间信息和所述第二时间信息的顺序来排列所述多个第一图像和所述第二图像。

2.根据权利要求1所述的程序，

其中，在所述显示步骤中显示所述多个第一图像以及与不同于所述指定运动图像的运动图像中所包括的多个帧相对应的多个第三图像的情况下，在所述分配步骤中将与所述多个第三图像分别相对应的第三时间信息分别分配给所述多个第三图像，以及

其中，在所述显示步骤中，显示所述多个第一图像、所述第二图像和所述多个第三图像，使得与所述第一时间信息、所述第二时间信息和所述第三时间信息无关地连续排列所述多个第一图像并且连续排列所述多个第三图像，并且按基于与所述指定运动图像相对应的时间信息、所述第二时间信息以及与不同于所述指定运动图像的所述运动图像相对应的时间信息的顺序来排列所述多个第一图像、所述第二图像和所述多个第三图像。

3.根据权利要求2所述的程序，还包括：

确定步骤，用于确定用于将所述多个第一图像和所述多个第三图像彼此区分开的识别信息，

其中，在所述显示步骤中，显示所述多个第一图像和所述多个第三图像，使得与所述第一时间信息和所述第三时间信息无关地，基于所确定的识别信息来连续排列所述多个第一图像并且连续排列所述多个第三图像。

4.根据权利要求3所述的程序，其中，

在所述确定步骤中，针对所述多个第一图像和所述多个第三图像确定不同的ID作为所述识别信息，并且将所确定的ID分配给各个所述第一图像和各个所述第三图像，以及

在所述显示步骤中，显示所述多个第一图像、所述第二图像和所述多个第三图像，使得根据所分配的ID而将所述多个第一图像与所述多个第三图像彼此区分开、并且基于是否分配了所确定的ID的判断的否定结果而将所述第二图像与所述多个第一图像和所述多个第三图像彼此区分开。

5.根据权利要求3所述的程序，该信息处理方法还包括：

生成步骤，用于生成列表，所述列表包括根据所述第一时间信息和所述第二时间信息排列的与各个所述第一图像相对应的信息和与所述第二图像相对应的信息、并且包括所确定的识别信息，

其中，在所述显示步骤中，显示所述多个第一图像和所述多个第三图像，使得与所述第一时间信息和所述第三时间信息无关地，基于所生成的列表来连续排列所述多个第一图像并且连续排列所述多个第三图像。

6.根据权利要求1所述程序，其中，在所述分配步骤中，生成与所述多个第一图像相对应的多个图像文件，所述多个图像文件包括与各个所述第一图像相对应的图像数据和与各个所述第一图像相对应的所述第一时间信息。

7.根据权利要求1所述的程序，其中，所述程序用于创建相册的程序。

8.根据权利要求7所述的程序，该信息处理方法还包括：

选择步骤，用于根据与所述多个第一图像和所述第二图像的显示相关联的用户指示来选择要排列在相册中的图像；以及

排列步骤，用于在所述相册中排列所选择的图像。

9.根据权利要求8所述的程序，该信息处理方法还包括：

自动选择步骤，用于基于包括所述多个第一图像和所述第二图像的图像组中所包括的图像的分析结果，来自动选择要排列的多个图像；以及

自动排列步骤，用于按根据与要排列的各个所选择的图像相对应的时间信息的顺序，自动排列要排列在所述相册中的多个图像，

其中，在所述选择步骤中，选择根据与所述多个第一图像和所述第二图像的显示相关联的用户指示的要排列的图像而不是已经自动排列的图像，以及在所述排列步骤中，在所述相册中排列所选择的图像而不是已经自动排列的图像。

10.根据权利要求9所述的程序，其中，在自动选择所述多个第一图像和所述第二图像的情况下，按根据与各个所述第一图像相对应的所述第一时间信息和所述第二时间信息的顺序，在所述相册中自动排列各个所述第一图像和所述第二图像。

11.根据权利要求1所述的程序，其中，在所述显示步骤中，显示各个所述第一图像和所述第二图像，使得各个所述第一图像和所述第二图像按基于与所述指定运动图像相对应的时间信息和所述第二时间信息的顺序而排列在显示设备中。

12.一种信息处理设备，用于显示从指定运动图像中提取出的与所述指定运动图像中所包括的多个帧相对应的多个第一图像、以及作为静止图像而拍摄的第二图像，所述信息处理设备包括：

分配单元，用于基于与所述指定运动图像相对应的时间信息，来将与所述多个第一图像分别相对应的第一时间信息分配给所述多个第一图像；以及

显示控制器，用于按基于与所述指定运动图像相对应的时间信息和与所述第二图像相对应的第二时间信息的顺序，分别显示所述多个第一图像和所述第二图像，

其中，所述显示控制器显示各个所述第一图像和所述第二图像，使得与所述第二时间信息和所述分配单元所分配的所述第一时间信息无关地连续排列所述多个第一图像、并且按基于与所述指定运动图像相对应的时间信息和所述第二时间信息的顺序来排列所述多个第一图像和所述第二图像。

13.一种信息处理方法，所述信息处理方法用于显示从指定运动图像中提取出的与所述指定运动图像中所包括的多个帧相对应的多个第一图像、以及作为静止图像而拍摄的第二图像，所述信息处理方法包括：

分配步骤，用于基于与所述指定运动图像相对应的时间信息，来将与所述多个第一图像分别相对应的第一时间信息分配给所述多个第一图像；以及

显示步骤，用于按基于与所述指定运动图像相对应的时间信息和与所述第二图像相对应的第二时间信息的顺序，分别显示所述多个第一图像和所述第二图像，

其中，在所述显示步骤中，分别显示所述多个第一图像和所述第二图像，使得与所述第二时间信息和所分配的所述第一时间信息无关地连续排列所述多个第一图像、并且按基于与所述指定运动图像相对应的时间信息和所述第二时间信息的顺序来排列所述多个第一图像和所述第二图像。