CN101606384A - 图像处理装置、运动图像再现装置及其处理方法和程序 - Google Patents

Abstract

本发明的目的是容易地了解利用图像拍摄装置拍摄的运动图像的内容。图像转换模块150基于转换信息来转换拍摄图像。透明度转换模块160转换经过转换的拍摄图像中的透明度。图像合成模块170将经过透明度转换的拍摄图像与日志图像相合成并将得到的新日志图像保存在图像存储器180中。索引图像提取模块190基于索引图像在图像拍摄空间中的坐标位置和大小从经过转换的拍摄图像中提取新的索引图像。选择模块270在显示模块292上显示的全景图像的位置被选择时基于所选择的代表性图像的位置来选择索引图像。显示控制模块291在显示模块292上显示全景图像并且将所选的索引图像以重叠在全景图像上的方式进行显示。

Description

图像处理装置、运动图像再现装置及其处理方法和程序

技术领域

本发明涉及图像处理装置，并且更具体而言涉及图像处理装置、运动图像再现装置以及其中的处理方法和用于使计算机执行该处理方法的程序。

背景技术

近来，数字摄像机已经取得了普及。因此，例如，家长利用数字摄像机来拍摄幼儿园的活动现在已经是很常见的事了。如果在这种活动中例如由家长来完成摄像，则家长通常大多拍摄自己的孩子，并且同时为了详细描述活动，经常还适当地拍摄这种活动的场景本身。另外，例如，由于为每次幼儿园活动拍摄视频，所以积累了大量拍摄的运动图像。

例如，这样拍摄的运动图像可以通过在家中使用运动图像再现装置来再现。然而，例如，在对在两个或更多个活动中拍摄的所有运动图像进行再现时，从开头起再现所有运动图像会花费时间。因此，可以认为，如果观众搜索所有运动图像以寻找期望的部分并且顺序地再现所获得的部分，则可以高效地观赏运动图像的再现。

因此，已经提出了一种技术，其中，为运动图像的每个部分生成缩略图像，并且将所生成的缩略图像用于从期望的再现位置再现运动图像。例如，提出了一种再现装置，其中，根据记录到记录介质的两个或更多个运动场景，形成代表这些场景的两个或更多个缩略图像，从所显示的缩略图像中选择期望的缩略图像，并且从与所选择的缩略图像相对应的场景的开头起开始运动图像的再现(例如，参考日本专利早期公开No.Hei 11-289517(图7))。

根据上述的传统技术，在观看在幼儿园的两个或更多个活动中拍摄的运动图像等时，利用为这些运动图像显示的缩略图像，可以从期望场景的开头起开始运动图像的再现。

这里，例如，为了观看在幼儿园的两个或更多个活动中以自己的孩子为焦点拍摄的运动图像，有可能经常再现其中包括自己的孩子的相似场景，即使这些场景是不同的。在此情况下，要生成的缩略图像经常是彼此相似的。此外，如果所拍摄的运动图像的数目较多，则要生成的缩略图像的数目较多。因此，在显示彼此相似的缩略图像或者显示许多缩略图像的情况下，有可能无法迅速完成准确的搜索。

例如，即使图像拍摄时聚焦的人是同一个人，有时也能够基于拍摄运动图像的地点或氛围来判定运动图像是否为搜索的对象。因此，例如，在查看在幼儿园等的两个或更多个活动中拍摄的运动图像时，如果可以容易地知道发生这些活动的地点或氛围，则可以很容易地识别运动图像的内容，从而可能能够迅速地搜索期望的运动图像。

因此，本发明的一个目的在于使得可以容易地了解利用图像拍摄装置拍摄的运动图像的内容。

发明内容

在实现本发明时，根据其第一方面，提供了一种图像处理装置、其处理方法、以及用于使计算机执行该方法的程序，包括：运动图像存储装置，用于存储利用图像拍摄装置拍摄的拍摄运动图像；转换信息存储装置，用于将用来以构成拍摄运动图像的拍摄图像中的至少一个拍摄图像为基准转换另一拍摄图像的转换信息与每个拍摄图像相关联地存储；图像保存装置，用于保存日志图像；图像转换装置，用于基于转换信息来转换与转换信息相关联的拍摄图像；图像合成装置，用于将转换后的拍摄图像与日志图像相合成以将得到的新日志图像存储在图像保存装置中；索引图像(index image)提取装置，用于基于拍摄运动图像的索引图像在由转换信息限定的图像拍摄空间中的坐标位置和大小，从通过对转换后的拍摄图像中的至少一个进行转换而获得的转换后的拍摄图像之中提取新的索引图像来作为拍摄运动图像的索引图像；显示控制装置，用于将日志图像作为表示拍摄运动图像的代表性图像来进行显示；操作接受装置，用于接受选择所选择的代表性图像上的某个位置的选择操作；以及选择装置，用于基于所选择的代表性图像上的某个位置来选择所提取的索引图像；其中，显示控制装置将所选择的索引图像与代表性图像一起显示。因此，提供了这样的功能，即，基于转换信息来转换拍摄图像，将该转换后的拍摄图像与日志图像相合成以保存得到的新的日志图像，将转换后的拍摄图像中的至少一个选择为拍摄运动图像的索引图像，基于索引图像在图像拍摄空间中的坐标位置和大小来提取新的索引图像，并且在所显示的代表性图像中的某个位置被选择时，基于代表性图像中的所选位置来选择索引图像，并且将该所选索引图像与代表性图像一起显示。

另外，在第一方面中，还可包括索引信息存储装置，用于将所提取的索引图像和索引图像的坐标位置和大小彼此相关联地存储。这提供了这样的功能，即将所提取的索引图像和该索引图像的坐标位置和大小彼此相关联地存储。

另外，在该第一方面中，基于索引信息存储装置中存储的索引图像的坐标位置和大小，显示控制装置可将所选择的索引图像重叠显示在代表性图像上与所选择的索引图像相对应的位置处。这提供了这样的功能，即，可以基于所存储的索引图像的坐标位置和大小将索引图像重叠显示在代表性图像上与所选择的索引图像相对应的位置上。

另外，在该第一方面中，索引图像提取装置可计算转换后的拍摄图像和索引信息存储装置中存储的索引图像之间的重叠率，并且基于计算出的重叠率来提取索引图像。这提供了这样的功能，即，计算转换后的拍摄图像和所存储的索引图像之间的重叠率，并且基于该重叠率来提取索引图像。

另外，在该第一方面中，显示控制装置可基于索引信息存储装置中存储的索引图像的坐标位置和大小，在代表性图像上与所提取的索引图像相对应的位置处显示表示索引图像的位置的标记。这提供了这样的功能，即，基于所存储的索引图像的坐标位置和大小，可以在代表性图像上与所提取的索引图像相对应的位置处显示表示索引图像的位置的标记。

另外，在该第一方面中，显示控制装置可根据所提取的索引图像在拍摄运动图像中的记录位置来改变标记的类型以便显示。这提供了这样的功能，即，根据所提取的索引图像在所拍摄的运动图像中的记录位置来改变标记的类型以便显示。

另外，在该第一方面中，还可包括给定区间信息提取装置，用于提取存在于包括所提取的索引图像的拍摄运动图像的给定区间内的运动图像信息，以及索引信息存储装置，用于将所提取的索引图像和与索引图像相对应地提取的存在于给定区间内的运动图像信息彼此关联地存储，其中，如果显示运动图像信息的指令操作***作接受装置所接受，则显示控制装置显示索引信息存储装置中与所选择的索引图像相关联地存储的运动图像信息。这提供了这样的功能，即，如果接受了显示运动图像信息的指令操作，则显示与所选择的索引图像相关联地存储的运动图像信息。

另外，在该第一方面中，运动图像存储装置可将拍摄运动图像与音频信息相关联地存储，并且还可包括：给定区间信息提取装置，用于提取存在于包括所提取的索引图像的拍摄运动图像的给定区间内的音频信息；索引信息存储装置，用于将所提取的索引图像和与索引图像相对应地提取的存在于给定区间内的音频信息彼此关联地存储；以及音频控制装置，用于在输出索引信息存储装置中与所选择的索引图像相关联地存储的音频信息的指令操作***作接受装置所接受的情况下输出音频信息。这提供了这样的功能，即，如果接受了输出音频信息的指令操作，则输出与所选择的索引图像相关联地存储的音频信息。

在实现本发明时，根据其第二方面，提供了一种图像处理装置、其处理方法、以及用于使计算机执行该方法的程序，包括：运动图像存储装置，用于存储利用图像拍摄装置拍摄的拍摄运动图像；转换信息存储装置，用于将用来以构成拍摄运动图像的拍摄图像中的至少一个拍摄图像为基准转换另一拍摄图像的转换信息与每个拍摄图像相关联地存储；图像保存装置，用于保存日志图像；图像转换装置，用于基于转换信息来转换与转换信息相关联的拍摄图像；颜色信息转换装置，用于根据拍摄图像在拍摄运动图像中的记录位置来转换转换后的拍摄图像中的颜色信息；图像合成装置，用于合成经过颜色转换的拍摄图像并且将得到的新日志图像保存在图像保存装置中；以及显示控制装置，用于将日志图像作为表示拍摄运动图像的代表性图像来进行显示。这提供了这样的功能，即，基于转换信息来转换拍摄图像，根据拍摄图像在拍摄运动图像中的记录位置来转换该转换后的拍摄图像的颜色信息，将经过该颜色信息转换的拍摄图像与日志图像相合成以保存得到的新日志图像，并且将日志图像作为表示拍摄运动图像的代表性图像来进行显示。

另外，在该第二方面中，颜色信息转换装置可根据拍摄图像在拍摄运动图像中的记录位置来转换转换后的拍摄图像中的透明度。这提供了这样的功能，即，根据拍摄图像在拍摄运动图像中的记录位置来转换转换后的拍摄图像中的透明度。

在实现本发明时，根据其第三方面，提供了一种图像处理装置、其处理方法、以及用于使计算机执行该方法的程序，包括：运动图像存储装置，用于存储利用图像拍摄装置拍摄的多个拍摄运动图像；转换信息存储装置，用于将用来以构成拍摄运动图像的拍摄图像中的至少一个拍摄图像为基准转换另一拍摄运动图像的转换信息与每个拍摄图像相关联地存储；图像保存装置，用于保存日志图像；图像转换装置，用于基于转换信息来转换与转换信息相关联的拍摄图像；图像合成装置，用于将转换后的拍摄图像与日志图像相合成并且将得到的新日志图像保存在图像保存装置中；代表性图像存储装置，用于将日志图像存储为表示运动图像的代表性图像；显示位置判决装置，在由用于显示代表性图像的列表的显示区域所标识的近似矩形中，令近似矩形的一端为第一端并且与第一端相接触的另一端为第二端，于是，当代表性图像在以第一端为具有高优先级的布置位置的情况下被顺序地布置并且作为要被进行布置确定的代表性图像的对象代表性图像被布置在另一已布置的代表性图像旁边时，如果每个已布置的代表性图像的与第一端相反的那端与第一端的最大距离短于对象代表性图像的与第一端相反的那端与第一端的最大距离，则显示位置判决装置将对象代表性图像的一端与第二端相接触的位置确定为对象代表性图像的布置位置；以及显示控制装置，用于将每个代表性图像显示在所确定的显示位置处。这提供了这样的功能，即，基于转换信息来转换拍摄图像，将该转换后的拍摄图像与日志图像相合成以保存得到的新日志图像，并且在由用于显示代表性图像存储装置中存储的代表性图像的列表的显示区域所标识的近似矩形中，令近似矩形的一端为第一端并且与第一端相接触的另一端为第二端，于是，当代表性图像在以第一端为具有高优先级的布置位置的情况下被顺序地布置并且作为要被进行布置确定的代表性图像的对象代表性图像被布置在另一已布置的代表性图像旁边时，如果每个已布置的代表性图像的与第一端相反的那端与第一端的最大距离短于对象代表性图像的与第一端相反的那端与第一端的最大距离，则显示位置判决装置将对象代表性图像的一端与第二端相接触的位置确定为对象代表性图像的布置位置。

在实现本发明时，根据其第四方面，提供了一种图像处理装置、其处理方法、以及用于使计算机执行该方法的程序，包括：运动图像输入装置，用于输入利用图像拍摄装置拍摄的运动图像作为拍摄运动图像；转换信息计算装置，用于为构成拍摄运动图像的拍摄图像中的每个拍摄图像计算用来以构成拍摄运动图像的拍摄图像中的至少一个拍摄图像为基准转换另一拍摄图像的转换信息；图像保存装置，用于保存日志图像；图像转换装置，用于基于转换信息来转换与转换信息相关联的拍摄图像；图像合成装置，用于将转换后的拍摄图像与日志图像相合成并将得到的新日志图像保存在图像保存装置中；索引图像提取装置，用于基于拍摄运动图像的索引图像在由转换信息限定的图像拍摄空间中的坐标位置和大小，从通过对转换后的拍摄图像中的至少一个进行转换而获得的转换后的拍摄图像之中提取新的索引图像来作为拍摄运动图像的索引图像；显示控制装置，用于将日志图像作为表示拍摄运动图像的代表性图像来进行显示；操作接受装置，用于接受选择所选择的代表性图像上的某个位置的选择操作；以及选择装置，用于基于所选择的代表性图像上的某个位置来选择所提取的索引图像；其中，显示控制装置将所选择的索引图像与代表性图像一起显示。这提供了这样的功能，即，为每个拍摄图像计算转换信息，基于转换信息来转换拍摄图像，将该转换后的拍摄图像与日志图像相合成以保存得到的新的日志图像，将转换后的拍摄图像中的至少一个选择为拍摄运动图像的索引图像，基于索引图像在图像拍摄空间中的坐标位置和大小来提取新的索引图像，基于所选择的代表性图像的位置来选择索引图像，并且将该所选索引图像与代表性图像一起显示。

在实现本发明时，根据其第五方面，提供了一种图像再现装置、其处理方法、以及用于使计算机执行该方法的程序，包括：运动图像存储装置，用于存储利用图像拍摄装置拍摄的拍摄运动图像；转换信息存储装置，用于将用来以构成拍摄运动图像的拍摄图像中的至少一个拍摄图像为基准转换另一拍摄图像的转换信息与每个拍摄图像相关联地存储；图像保存装置，用于保存日志图像；图像转换装置，用于基于转换信息来转换与转换信息相关联的拍摄图像；图像合成装置，用于将转换后的拍摄图像与日志图像相合成以将得到的新日志图像存储在图像保存装置中；索引图像提取装置，用于基于拍摄运动图像的索引图像在由转换信息限定的图像拍摄空间中的坐标位置和大小，从通过对转换后的拍摄图像中的至少一个进行转换而获得的转换后的拍摄图像之中提取新的索引图像来作为拍摄运动图像的索引图像；显示控制装置，用于将日志图像作为表示拍摄运动图像的代表性图像来进行显示；操作接受装置，用于接受选择所选择的代表性图像上的某个位置的选择操作；以及选择装置，用于基于所选择的代表性图像上的某个位置来选择所提取的索引图像；其中，显示控制装置将所选择的索引图像与代表性图像一起显示。这提供了这样的功能，即，为每个拍摄图像计算转换信息，基于该转换信息来转换每个拍摄图像，将该转换后的拍摄图像与日志图像进行合成以保存得到的新的日志图像，将转换后的拍摄图像中的至少一个选择为拍摄运动图像的索引图像，基于索引图像在图像拍摄空间中的坐标位置和大小来提取新的索引图像，基于所选择的代表性图像的位置来选择索引图像，并且将该所选索引图像与代表性图像一起显示。

根据本发明，提供了很容易了解利用图像拍摄装置拍摄的运动图像的内容的极佳效果。

附图说明

[图1]

图1是图示出作为本发明一个实施例实现的图像处理装置100的示例性的功能配置的框图。

[图2]

图2是图示出本发明实施例中的摄影技法(camera work)检测模块120的示例性的功能配置的框图。

[图3]

图3是示意性地示出被记录到运动图像存储模块200和元数据存储模块210的每个文件的示意图。

[图4]

图4是示意性地示出在本发明实施例中存储在索引信息存储模块230中的内容的示意图。

[图5]

图5是示意性地示出在本发明实施例中存储在全景图像(panorama image)存储模块240中的内容的示意图。

[图6]

图6示出了图示与形成运动图像的帧相对应的图像的一个例子的示意图。

[图7]

图7图示出与形成运动图像的帧相对应的、简化了背景等等的图像的示意图。

[图8]

图8是表示本发明实施例中由图像处理装置100进行的仿射变换参数检测处理的处理过程的流程图。

[图9]

图9示出了图示利用相机拍摄的运动图像的转变的一个例子的示意图。

[图10]

图10示出了图示在图9所示的每个图像中与前一帧相对应的图像的图并且示出了利用虚线指示的光学流(optical flow)的一个例子。

[图11]

图11示出了图示出在对包括图9所示的图像401至403的运动图像进行合成时的示例性的图像合成的示意图。

[图12]

图12示出了图示出利用相机拍摄的运动图像的转变的一个例子的示意图。

[图13]

图13示出了利用虚线来图示出在图12所示的每个图像中与前一帧相对应的图像的图并且示出了要检测的光学流的一个例子。

[图14]

图14示出了图示出在对包括图12所示的图像421至423的运动图像进行合成时的示例性合成的示意图。

[图15]

图15示出了图示出利用相机拍摄的运动图像的转变的一个例子的示意图。

[图16]

图16示出了利用虚线来图示出在图15所示的每个图像中与前一帧相对应的图像的图并且示出了要检测的光学流的例子。

[图17]

图17示出了图示出在对包括图15所示的图像441至443的图像进行合成时的示例性合成的示意图。

[图18]

图18示出了图示出利用相机拍摄的运动图像的示例性转变的示意图。

[图19]

图19示出了图示出利用相机拍摄的运动图像的示例性转变的示意图。

[图20]

图20示出了图示出利用相机拍摄的运动图像的示例性转变的示意图。

[图21]

图21示出了图示出利用相机拍摄的运动图像的示例性转变的示意图。

[图22]

图22是示出在改变由图像转换模块150进行了仿射变换(affinetransformation)的图像的透明度时使用的α值(阿尔发值)和图像拍摄时间之间的关系的示意图。

[图23]

图23示出了图示出由图像合成模块170合成的全景图像的一个例子的示意图。

[图24]

图24示出了图示出由图像合成模块170合成的全景图像的一个例子的示意图。

[图25]

图25示出了示意性地图示出在本发明实施例中在提取索引图像的情况下的提取方法的一个例子的示意图。

[图26]

图26示出了示意性地图示出在显示全景图像时的全景图像布置区域和显示模块292上的显示了全景图像的列表的显示画面的图。

[图27]

图27是示意性地图示出在每个全景图像的垂直宽度对齐的情况下的全景图像布置区域550的图。

[图28]

图28示出了示意性地图示出存储在全景图像存储模块240中的全景图像和通过缩小或放大这些全景图像而获得的全景图像的图。

[图29]

图29示出了图示出在全景图像575至579被布置在全景图像布置区域550中的情况下的布置例子的示意图。

[图30]

图30示出了图示出在全景图像575至579被布置在全景图像布置区域550中的情况下的布置例子的示意图。

[图31]

图31示出了图示出在全景图像580至584被布置在全景图像布置区域550中的情况下的布置例子的示意图。

[图32]

图32示出了图示出在全景图像580至584被布置在全景图像布置区域550中的情况下的布置例子的示意图。

[图33]

图33示出了图示出在全景图像580至584被布置在全景图像布置区域550中的情况下的布置例子的示意图。

[图34]

图34示出了图示出在通过在从形成运动图像的最末帧到起始帧的方向上合成图像来创建全景图像的情况下的全景图像和旋转后的全景图像的示意图。

[图35]

图35示出了图示出其中全景图像被布置在通过上述布置位置判决方法来确定的布置位置处的显示例子的示意图。

[图36]

图36示出了图示出在显示模块292上显示的全景图像和索引图像之间的关系的示意图。

[图37]

图37示出了示意性地图示出选择要在显示模块292上显示的全景图像上显示的索引图像的方法以及包括该索引图像的运动图像中的记录位置的示意图。

[图38]

图38示出了图示出在所选择的索引图像被显示在全景图像上的情况下的显示例子的示意图。

[图39]

图39示出了图示出在所选择的索引图像被显示在全景图像上的情况下的显示例子的示意图。

[图40]

图40示出了图示出在所选择的索引图像被显示在全景图像上的情况下的显示例子的示意图。

[图41]

图41示出了图示出在所选择的索引图像被显示在全景图像上的情况下的显示例子的示意图。

[图42]

图42示出了图示出在所选择的索引图像被显示在全景图像上的情况下的显示例子的示意图。

[图43]

图43示出了图示出在利用触摸面板来形成显示模块292的情况下索引图像的显示例子的示意图。

[图44]

图44示出了图示出其中将框附加到全景图像上与索引图像相对应的位置并且根据图像拍摄时间来改变框的粗细的例子的示意图。

[图45]

图45示出了图示出其中在利用两个或更多个运动图像创建的全景图像的附近附加并显示代表这些运动图像的数目的指示符的显示例子的示意图。

[图46]

图46是表示本发明实施例中的图像处理装置100进行的全景图像创建处理的处理过程的流程图。

[图47]

图47是表示本发明实施例中的图像处理装置100进行的全景图像显示处理的处理过程的流程图。

[图48]

图48是表示本发明实施例中的图像处理装置100进行的全景图像显示处理的处理过程中的全景图像布置位置判决处理的处理过程的流程图。

[图49]

图49是表示本发明实施例中的图像处理装置100进行的全景图像显示处理的处理过程中的全景图像布置位置判决处理的处理过程的流程图。

[图50]

图50是表示本发明实施例中的图像处理装置100进行的全景图像显示处理的处理过程中的全景图像布置位置判决处理的处理过程的流程图。

[图51]

图51是图示出本发明实施例中的多核处理器800的示例性配置的示意图。

[图52]

图52是图示出本发明实施例中的控制处理器核心801的示例性配置的示意图。

[图53]

图53是图示出本发明实施例中的算术处理器核心(#1)811的示例性配置的示意图。

[图54]

图54是示意性地图示出本发明实施例中的多核处理器800的操作方法的示意图。

[图55]

图55示出了示意性地图示出在本发明实施例中的多核处理器800执行算术运算的情况下的程序和数据流的示意图。

[图56]

图56是示意性地图示出通过不同指令来处理两个或更多个数据的算术运算方法的概况和通过一个指令来处理两个或更多个数据的SIMD运算的概况的示意图。

[图57]

图57是图示出本发明实施例中的算术处理器核心(#1)811执行的程序的示例性配置的示意图。

[图58]

图58示出了图示出在本发明实施例中主存储器781中存储的图像数据被利用Sobel滤波器830来进行滤波的情况下的数据结构和处理流程的概况的示意图。

[图59]

图59是图示出在本发明实施例中利用Sobel滤波器830对主存储器781中存储的图像数据执行SIMD计算的情况下的数据流程的概况的示意图。

[图60]

图60是图示出在本发明实施例中利用Sobel滤波器830进行的滤波处理中从第一缓冲器831中存储的图像数据创建九个向量的向量创建方法的概况的示意图。

[图61]

图61是图示出在本发明实施例中利用Sobel滤波器830执行滤波处理的情况下利用SIMD指令对向量数据841至849执行向量计算的向量计算方法的概况的示意图。

[图62]

图62是图示出本发明实施例中按时间顺序的摄影技法参数计算处理流程的概况的示意图。

[图63]

图63示出了示意性地图示出作为记录介质的一个例子的蓝光盘880、记录在蓝光盘880上的数据881至884以及能够再现蓝光盘880的蓝光盘再现机890的内部配置的示意图。

具体实施方式

以下参考附图来详细描述本发明的实施例。

图1是图示出本发明实施例中的图像处理装置100的示例性功能配置的框图。图像处理装置100具有运动图像输入模块110、摄影技法检测模块120、记录控制模块130、文件捕捉模块140、图像转换模块150、透明度转换模块160、图像合成模块170、图像存储器180、索引图像提取模块190、运动图像存储模块200、元数据存储模块210、索引信息存储模块230、全景图像存储模块240、给定区间运动图像音频信息提取模块250、全景图像布置位置判决模块260、选择模块270、操作接受模块280、显示控制模块291、显示模块292、音频控制模块293、以及音频输出模块294。图像处理装置100可以利用个人计算机来实现，该个人计算机被配置为例如通过对利用图像拍摄装置(例如数字相机)拍摄的运动图像进行的视频分析来提取特征并且利用所提取的特征量来执行各种图像处理。

运动图像输入模块110是用来输入利用诸如数字摄像机等等(以下简称为“相机”)之类的图像拍摄装置拍摄的运动图像的运动图像输入模块，并且将所输入的运动图像输出到摄影技法检测模块120。

摄影技法检测模块120对从运动图像输入模块110输出的运动图像进行分析以检测在图像拍摄时相机的运动信息(摄影技法)，从而向记录控制模块130输出基于该相机运动信息计算出的仿射变换参数(摄影技法参数)。即，摄影技法检测模块120从构成运动图像的每个图像中提取特征点，为该特征点提取光学流(运动向量)，并且分析所提取的特征点的光学流以选择呈现主要运动的特征点，从而基于呈现主要运动的特征点的光学流来估计摄影技法。这里，主要运动指的是在两个或更多个特征点的光学流之中由相对较多的光学流指示的规则运动。应当注意，将参考图2来详述摄影技法检测模块120。

记录控制模块130把从运动图像输入模块110输出的运动图像作为运动图像文件记录到运动图像存储模块200，并且通过使从摄影技法检测模块120输出的仿射变换参数与相应的运动图像和相应的帧相关联来将该参数作为元数据文件存储到元数据存储模块210。

运动图像存储模块200在记录控制模块130的控制下把从运动图像输入模块110输出的运动图像存储到运动图像文件。另外，运动图像存储模块200根据来自文件捕捉模块140的请求将运动图像文件提供给文件捕捉模块140并且根据来自显示控制模块291的请求将运动图像文件提供给显示控制模块291。应当注意，将参考图3来详细描述将被存储在运动图像存储模块200中的运动图像文件。还应当注意，在本发明的实施例中，以例子方式描述了具有相关联的音频信息的运动图像文件；然而，也可以将本发明的实施例应用到那些不与音频信息相关联的运动图像文件。

元数据存储模块210在记录控制模块130的控制下把从摄影技法检测模块120输出的仿射变换参数存储为元数据文件。另外，根据来自文件捕捉模块140的请求，元数据存储模块210将元数据文件提供给文件捕捉模块140。应当注意，将参考图3来详述将被存储在元数据存储模块210中的元数据文件。

文件捕捉模块140获得存储在运动图像存储模块200中的运动图像文件和与该运动图像文件相关联的并且存储在元数据存储模块210中的元数据文件，并将关于每个获得的文件的信息提供给每个模块。更具体而言，文件捕捉模块140获得存储在运动图像存储模块200中的运动图像文件和与该运动图像文件相关联并且存储在元数据存储模块210中的元数据文件，并将所获得的运动图像文件的运动图像和所获得的元数据文件的仿射变换参数输出到图像转换模块150。这里，对构成要从文件捕捉模块140输出的运动图像的每个帧的输出可以依据来自操作接受模块280的操作输入而被改为从最末帧到起始帧的输出或者从起始帧到最末帧的输出中的任何一种。另外，文件捕捉模块140将所获得的运动图像帧输出到针对每个帧的给定区间运动图像音频信息提取模块250，并且将构成所获得的运动图像帧的帧的数目输出到透明度转换模块160。

图像转换模块150对于构成从文件捕捉模块140输出的运动图像文件的运动图像的图像利用与该图像相对应的仿射变换参数来针对每个帧执行仿射变换，并且将经过仿射变换的图像输出到透明度转换模块160。更具体而言，图像转换模块150利用从元数据存储模块210提供来的仿射变换参数，来对与从文件捕捉模块140输出的当前帧相对应的图像进行仿射变换。即，如果来自文件捕捉模块140的运动图像的输出是从最末帧到起始帧的输出，图像转换模块150则利用仿射变换参数矩阵的逆矩阵来执行仿射变换。另一方面，如果来自文件捕捉模块140的运动图像的输出是从起始帧到最末帧的输出，图像转换模块150则利用仿射变换参数矩阵来执行仿射变换。应当注意，将参考图9至21来详述该图像转换。

透明度转换模块160基于从文件捕捉模块140输出的构成运动图像文件的帧的数目来对被图像转换模块150仿射变换的图像进行按时间顺序的透明度转换，并且将经过透明度转换的图像输出到图像合成模块170。应当注意，将参考图22和图23来详述图像的透明度的转换。

图像合成模块170对从透明度转换模块160输出的图像和保存在图像存储器180中的合成图像进行合成，并且将新合成的图像保存在图像存储器180中。更具体而言，图像合成模块170通过把由图像转换模块150进行了仿射变换并由透明度转换模块160进行了透明度转换的图像写在与直到图像存储器180中保存的最后一个为止的每一帧相对应的合成图像上，来对图像进行合成。另外，如果对构成一个运动图像的每个帧的图像合成已完成，图像合成模块170则将图像存储器180中保存的合成图像输出到全景图像存储模块240作为全景图像以便存储。该全景图像是表示运动图像存储模块200中存储的运动图像文件的运动图像的代表性图像，它是被创建为包括该运动图像中包括的每个图像拍摄空间的大部分的图像。应当注意，将参考图9至图21来详述该图像合成。

图像存储器180是保存由图像合成模块170创建的合成图像的工作缓冲器，并且将所保存的合成图像提供给图像合成模块170。即，图像存储器180是保存日志图像的图像存储器。

索引图像提取模块190基于从图像转换模块150输出的经过转换的图像和存储在索引信息存储模块230中的索引图像，来从构成从文件捕捉模块140输出的运动图像文件的运动图像的图像中提取索引图像，并将所提取的索引图像与相应的帧号和位置信息一起输出到索引信息存储模块230。更具体而言，索引图像提取模块190基于索引信息存储模块230中存储的索引图像和与经过仿射变换的当前帧相对应的图像之间的重叠率来提取索引图像。另外，如果已提取了索引图像，索引图像提取模块190则将表明与当前帧相对应的图像是索引图像的信息输出到给定区间运动图像音频信息提取模块250。应当注意，将参考图25来详述该索引图像的提取方法。

在接收到来自索引图像提取模块190的表明与当前帧相对应的图像是索引图像的信息后，给定区间运动图像音频信息提取模块250从输出自文件捕捉模块140的运动图像中，获得从与索引图像相对应的帧起的给定区间内的运动图像信息和音频信息，并通过使所获得的给定区间内的运动图像信息和音频信息与该索引图像相关联来将这些运动图像信息和音频信息记录到索引信息存储模块230。

索引信息存储模块230以相互关联的方式存储从索引图像提取模块190输出的索引图像、与该索引图像相对应的帧号和位置信息、以及从给定区间运动图像音频信息提取模块250输出的与该索引图像相对应的给定区间内的运动图像信息和音频信息，将所存储的索引图像、帧号、运动图像ID和运动图像信息输出到显示控制模块291，并且将帧号和位置信息输出到选择模块270。另外，索引信息存储模块230将所存储的位置信息输出到索引图像提取模块190。另外，索引信息存储模块230将存储的音频信息输出到音频控制模块293。应当注意，将参考图4来详述索引信息存储模块230中存储的每项信息。

全景图像存储模块240把从图像合成模块170输出的合成图像存储为与运动图像存储模块200中存储的运动图像相关的全景图像(代表性图像)，并将所存储的全景图像提供给全景图像布置位置判决模块260和显示控制模块291。应当注意，将参考图5来详述全景图像存储模块240中存储的每项信息。

全景图像布置位置判决模块260根据由操作接受模块280接受的操作输入的内容来确定全景图像存储模块240中存储的每个全景图像在显示模块292上示出的显示区域中的布置位置，并将所确定的每个全景图像的布置位置输出到选择模块270和显示控制模块291。应当注意，将参考图26至图33来详述布置位置的该确定。

当移动光标的操作输入、左点击操作的操作输入或者双击的操作输入***作接受模块280接受时，选择模块270基于光标位置、索引信息存储模块230中存储的索引图像的位置信息、以及由全景图像布置位置判决模块260确定的全景图像的布置位置，来选择索引信息存储模块230中存储的帧号之一和运动图像ID，并将所选择的运动图像ID的帧号输出到显示控制模块291和音频控制模块293。应当注意，将参考图37来详述该选择。

操作接受模块280具有由各种输入键构成的键盘和鼠标(指取设备)，并且在接受来自这些鼠标等等的操作输入后，将所接受的操作输入的内容输出到文件捕捉模块140、全景图像布置位置判决模块260、选择模块270和显示控制模块291。还可以将操作接受模块280的至少一部分和显示模块292配置为一个单元。另外，根据来自鼠标的操作输入而移动的光标(鼠标指针)被示出在显示模块292上。光标是用于在显示模块292上示出的画面上指定指令或操作的对象的鼠标指针。例如，鼠标操作“左点击”指的是按压鼠标的左侧按钮仅一次，鼠标操作“双击”指的是连续两次按压鼠标的左侧按钮。

显示控制模块291执行控制，以便根据通过操作接受模块280的操作输入，全景图像存储模块240中存储的全景图像和运动图像存储模块200中存储的运动图像被示出在显示模块292上。另外，当帧号和运动图像ID被从选择模块270输入时，显示控制模块291搜索索引信息存储模块230以寻找索引图像或运动图像信息，并将检索到的索引图像或运动图像信息显示在显示模块292上。

在显示控制模块291的控制下，显示模块292显示全景图像存储模块240中存储的全景图像、运动图像存储模块200中存储的运动图像或者索引信息存储模块230中存储的索引图像或运动图像信息。例如，显示模块292可以利用个人计算机显示器或电视显示器来实现。应当注意，将参考图23、图35等等来详述合成图像的显示例子。

音频控制模块293基于来自选择模块270的根据光标移动或左点击操作的指令，执行对将索引信息存储模块230中存储的音频信息输出到音频输出模块294的控制。应当注意，对于运动图像存储模块200中存储的运动图像文件的再现也执行音频输出，这里省略对其的描述。

在音频控制模块293的控制下，音频输出模块294输出索引信息存储模块230中存储的音频信息。例如，音频输出模块294可以利用扬声器来实现。

参考图2，其中示出了本发明实施例中的摄影技法检测模块120的示例性功能配置。摄影技法检测模块120具有特征点提取单元121、光学流计算单元122、以及摄影技法参数计算单元123。

特征点提取单元121提取与构成从运动图像输入模块110输出的运动图像的帧相对应的特征点，并且将所提取的特征点输出到光学流计算单元122。这里，特征点提取单元121对于构成从运动图像输入模块110输出的运动图像的帧中的起始帧，从整个图像中提取特征点，而对于除起始帧之外的其他帧，则从与对应于前一帧的图像相比新拍摄的区域部分中提取特征点。应当注意，至于特征点，可以选择垂直方向或水平方向上边缘梯度较锐利的点(一般称之为“角落点”(cornerpoint)，以下称之为“角落点”)。该角落点是对于光学流的计算而言较困难的特征点，并且可利用边缘检测来获得。应当注意，将参考图6至图8来详述角落点的提取。另外，在此例子中，特征点提取单元121对于起始帧，从整个图像中提取特征点，对于除起始帧之外的其他帧，则从与对应于前一帧的图像相比新拍摄的区域部分中提取特征点；然而，依据处理性能和其他因素，对于除起始帧之外的其他帧也可以从整个图像中提取特征点。

光学流计算单元122为从特征点提取单元121输出的每个特征点计算光学流，并且将通过计算获得的光学流输出到摄影技法参数计算单元123。更具体而言，通过比较与构成从运动图像输入模块110输出的运动图像的连续两帧(当前帧和前一帧)相对应的图像，获得与对应于前一帧的图像中的每个特征点相对应的光学流来作为当前帧的光学流。另外，对于构成运动图像的每个帧获得光学流。应当注意，至于检测光学流的检测方法，可以采用诸如梯度方法或块匹配方法之类的检测方法。还应当注意，将参考图6至图8来详述该光学流计算。

摄影技法参数计算单元123利用从光学流计算单元122输出的与每个特征点相对应的光学流来执行用于提取摄影技法参数的摄影技法参数计算处理。计算出的摄影技法参数被输出到记录控制模块130。这里，在本发明的实施例中，根据摄影技法来转换和合成构成要再现的运动图像的图像。至于该图像的转换，利用由光学流计算单元122计算出的光学流来提取摄影技法并且基于所提取的技法来计算摄影技法参数(转换参数)。应当注意，在本发明的实施例中，采用了这样一个例子，其中，仿射变换被用于对构成要再现的运动图像的图像进行转换的方法。另外，将描述这样一个例子中，其中，至于摄影技法参数，使用了与基于光学流来计算的仿射变换参数的矩阵的逆矩阵相对应的仿射变换参数。应当注意，可以使用另外的图像转换方法，例如射影变换。还应当注意，可以利用三个光学流来获得仿射变换参数。还应当注意，可以利用四个光学流来获得射影变换参数。这里，摄影技法参数是用于以构成所拍摄的运动图像的拍摄图像之中的至少一个拍摄图像为基准来转换其他拍摄图像的转换信息并且包括至少在相机坐标系中描述的位置信息和姿态信息。即，摄影技法参数包括与摄像者拍摄图像时的位置和姿态有关的信息。另外，基于由摄影技法参数计算单元123获得的仿射变换参数，可以推定摄像者的操作的摄影技法，例如拉近、推远、摇动(pan)、俯仰(tilt)、旋转等等。应当注意，将参考图6至图8来详述仿射变换参数的计算。

参考图3，其中示意性地示出了在本发明的实施例中被记录到运动图像存储模块200和元数据存储模块210的每个文件。图3(a)示出了运动图像存储模块200中存储的运动图像文件201至204和元数据存储模块210中存储的与运动图像文件201至204相关联的元数据文件211至213。这里，假定用于标识运动图像存储模块200中存储的每个运动图像文件的运动图像ID被指派给每个运动图像文件。例如，“#1”被指派给运动图像文件201，“#2”被指派给运动图像文件202，并且“#n”被指派给运动图像文件204。

图3(b)示意性地示出了运动图像存储模块200中存储的运动图像文件201和元数据存储模块210中存储的与运动图像文件201相关联的元数据文件211。这里，运动图像文件201是由n个帧构成的运动图像文件，这n个帧被指示为帧“1”205至“n”208。

另外，元数据211被与运动图像ID 214、帧号215和仿射变换参数216相关联地存储。

运动图像ID 214是被指派给相应的运动图像文件的运动图像ID；例如，指派给运动图像文件201的“1”被存储。

帧号215是构成相应运动图像文件的运动图像的每个帧的序列号；例如，与构成运动图像文件201的运动图像文件的帧“1”205至“n”208相对应的“1”至“n”被存储。

仿射变换参数216是与帧号215相对应的为运动图像的每个帧计算的仿射变换参数。应当注意，与帧号215的“1”相对应的仿射参数216“a1，b1，c1，d1，e1，f1”是单位矩阵的仿射变换参数。另外，与帧号215的“m”(m是等于或大于2的整数)相对应的仿射变换参数216的“am，bm，cm，dm，em，fm”是与帧“m”的前一帧“m-1”相对应的仿射变换参数。

图4示出了在本发明实施例中存储在索引信息存储模块230中的内容的概况。

索引信息存储模块230按时间顺序为每个帧存储与索引图像提取模块190所提取的索引图像相关的信息，并且以与索引图像相关联的方式存储由给定区间运动图像音频信息提取模块250提取的给定区间内的音频信息和运动图像信息。更具体而言，索引信息存储模块230以彼此相关联的方式存储运动图像ID 231、帧号232、位置信息233、索引图像234、音频信息235以及运动图像信息236。

运动图像ID 231是与运动图像存储模块200中存储的每个运动图像文件相对应的ID。

帧号232是与索引图像提取模块190提取的索引图像相对应的帧的标识号码。

位置信息233表示由索引图像提取模块190提取的索引图像在图像存储器180的工作缓冲器上的位置。例如，如果图像存储器180的工作缓冲器是按xy坐标来限定的，则与索引图像提取模块190所提取的索引图像的四个顶角相对应的坐标的值被记录。即，作为索引图像提取模块190所提取的索引图像的位置，由拍摄运动图像时的摄影技法信息限定的图像拍摄空间上的坐标位置被记录。该图像拍摄空间例如是与代表性图像相对应的图像空间，该代表性图像是由图像合成模块170利用基于从运动图像输入模块110输入的拍摄运动图像的图像拍摄时的摄影技法的量计算的仿射变换参数来创建的。应当注意，在本发明的实施例中，描述了这样一个例子，其中，与四个顶角相对应的坐标的值被用于由索引图像提取模块190提取的索引图像的位置信息；然而，也可以使用该图像的诸如中心位置、大小等等之类的其他位置信息来作为该索引图像的位置信息。

索引图像234是由索引图像提取模块190提取的索引图像。

音频信息235是由给定区间运动图像音频信息提取模块250提取的给定区间内的音频信息，并且是用于从音频输出模块294输出与索引图像相对应的给定区间内的音频的信息。

运动图像信息236是由给定区间运动图像音频信息提取模块250提取的给定区间内的运动图像信息，并且是用于将与索引图像相对应的给定区间内的运动图像显示到显示模块292上的信息。

参考图5，其中示出了在本发明实施例中存储在全景图像存储模块240中的内容的概况。

全景图像存储模块240存储由图像合成模块170为运动图像存储模块200中存储的每个运动图像文件创建的合成图像来作为全景图像。更具体而言，全景图像存储模块240以彼此相关联的方式存储运动图像ID 241和全景图像242。

运动图像ID 241是与运动图像存储模块200中存储的每个运动图像文件相对应的ID。

全景图像242是由图像合成模块170为运动图像存储模块200中存储的每个运动图像文件合成的合成图像。应当注意，图5以简化方式示出了全景图像存储模块240中存储的每个全景图像。

下面参考附图来详述检测用于图像转换中的仿射变换参数的检测方法。

图6(a)至(c)示出了与构成运动图像的帧相对应的图像的例子。图7(a)示出了利用与对应于图3所示的图像300的前一帧相对应的图像来省略背景等等而简化的图像。图7(b)和(b)示出了通过利用图6所示的图像300省略背景等等而简化的图像。

图6和图7所示的图像300、320和330包括骑马图像301、321和331以及布置在这些骑马图像301、321和331前面的蛇图像302、322和332。另外，如图6所示，在这些图像的背景中，存在旗帜、椅子等等，其中旗帜随风飘扬。

图7(a)所示的图像320是通过对与对应于图6(a)至(c)和图7(b)和(c)所示的图像300和330的前一帧相对应图像进行简化而获得的图像。与两个连续帧相对应的图像320和330是表示在画面中的对象被逐渐放大的情况下的变化的图像。即，在该图像拍摄时，执行了拉近操作，即逐渐放大画面中的对象的操作。

在本发明的实施例中，使用了例如这样一种方法，其中，从构成运动图像的图像中检测特征点，并且利用与该特征点相对应的光学流来计算仿射变换参数。在该例子中，描述了角落点被用于特征点的情况。

这里，参考图7(a)至(c)，描述了这样一种方法来作为例子，其中，与从图像320和330中检测出的三个角落点相对应的光学流被用于计算仿射变换参数。

例如，假定，在图7(a)所示的图像320中，马图像321中的嘴部附近的角落点323、马图像321的骑乘者的臀部附近的角落点324，以及蛇图像322的嘴部附近的角落点325被检测为特征点。在此情况下，在图7(b)所示的图像330中，通过梯度方法或块匹配方法来检测图像320中的角落点323、324和325的光学流337、338和339。然后，基于这些检测到的光学流337、338和339，检测与图像320中的角落点323、324和325相对应的角落点333、334和335。

这里，例如，因为图7(a)和(b)所示的图像320和330中包括的马图像321、331和蛇图像322、332是安装在地上的，所以不论摄影技法如何这些图像都不会动。因此，基于在马图像321、331和蛇图像322、332中检测到的角落点获得的光学流，可以正确地估计摄影技法。例如，如图7(c)所示，基于在图像330中检测到的三个光学流337至339，可以估计图像330是对点336周围的图像搁板320的放大。因此，可以确定在拍摄图像330时的摄影技法是点336周围的拉近操作。从而，可以在不论摄影技法如何都不动的物体中检测角落点，并且基于为这些角落点获得的光学流，可以正确地检测具有一定的规则性的摄影技法。因此，利用为这些角落点获得的光学流，可以获得仿射变换参数。

然而，像随风飘扬的旗帜那样，图像可包括不论摄影技法如何都在动的物体。例如，图6所示的图像300包含随风飘扬的旗帜。如果在不论摄影技法如何都在动的物体中检测角落点，并且利用为检测出的角落点获得的光学流来估计摄影技法，则无法正确地估计摄影技法。

例如，在图6(b)所示的图像300中检测出的光学流由箭头来指示并且通过这些光学流检测出的角落点由末端的白圈来指示。这里，角落点303至305是与图7(b)和(c)所示的角落点333至335相对应的角落点。另外，角落点306至311是为存在于马图像301的背景中的旗帜检测出的角落点。于是，因为这些旗帜随风飘扬，所以受风影响的每个旗帜的运动被检测为光学流。即，对于不论摄影技法如何都在动的旗帜，检测到了与角落点306至311相对应的每个光学流。因此，如果与角落点306至311中的至少一个角落点相对应的光学流被包括在用于仿射变换参数的计算中的三个光学流中，则无法检测到正确的摄影技法。

如上所述，例如，可从拍摄图像中检测无论摄影技法如何都在动的物体的光学流(与图6(b)所示的角落点306至311相对应的光学流)以及相对于摄影技法具有一定规则性的光学流(除了与图6(b)所示的角落点303至305相对应的光学流之外的其他光学流)。

因此，在本发明的实施例中，描述了这样一个例子，其中，两次或更多次地执行用于基于三个光学流来计算仿射变换参数的仿射变换参数计算处理以获得两个或更多个仿射变换参数，并且从所获得的两个或更多个仿射变换参数中选择最优仿射变换参数。应当注意，在此例子中，假定构成运动图像的每个图像中包括的运动物体的大小与图像的面积相比相对较小。

这里，简单地描述仿射变换。在二维空间中，令运动源的位置为(x，y)并且令仿射变换后运动目的地的位置为(x′，y′)，则仿射变换的行列式可由以下的式1来表达。应当注意，在单位矩阵的情况下，满足a＝3＝1，b＝c＝d＝f＝0。

[数学表达式1]

...(式1)

在以上表达式中，a至f表示仿射变换参数。另外，基于这些仿射变换参数的仿射矩阵AM可利用以下的式子来表达。在此情况下，可以分别通过以下式子来获得X方向上的变焦分量XZ、Y方向上的变焦分量YZ、X方向上的平移分量XT、Y方向上的平移分量以及旋转分量R。

[数学表达式2]

$\mathrm{XZ}=\sqrt{a^2+d^2}$ $\mathrm{YZ}=\sqrt{b^2+e^2}$

XT＝c        YT＝f

下面描述仿射变换参数计算方法。

首先，在与作为构成运动图像的帧之一的当前帧相对应的图像中，从从中检测到了光学流的特征点中选择三个特征点。例如，从在图6(b)所示的图像300中检测到的角落点(由白圈指示)中选择三个角落点。应当注意，如果射影变换参数被用于摄影技法参数，则随机选择四个特征点。

接下来，利用与所选择的三个特征点相对应的三个光学流来计算仿射变换参数。例如，利用与图6(b)所示的图像300中的角落点(由白圈指示)当中的三个角落点相对应光学流(由连接到白圈的箭头指示)来计算仿射变换参数。可利用式1来获得仿射变换参数。

接下来，基于所获得的仿射变换参数，获得仿射变换参数的得分。更具体而言，利用所获得的仿射变换参数，获得与当前帧的前一帧相对应的图像中的所有特征点的运动目的地的位置。然后，在利用仿射变换参数获得的特征点的运动目的地的位置和在当前帧中检测到的特征点的位置之间进行比较，以计算出与彼此相对应的两个特征点的位置之间的差异值。至于该差异值，例如计算出两个相应位置之间的绝对距离。然后，对于每个特征点，在计算出的差异值和预设的阈值之间进行比较，以计算出具有小于阈值的差异值的特征点的数目，来作为仿射变换参数的得分。从而，从从中检测到了光学流的光学流之中随机选择了三个特征点，并且基于与这些特征点相对应的光学流将计算仿射变换参数的得分的处理重复预定的次数，从而计算仿射变换参数的两个或更多个得分。该预定次数可根据经历比较的图像的类型或者图像处理装置100的处理性能等等来适当设定或者利用固定值来设定。例如，通过考虑到图像处理装置100的处理性能，该预定次数可以是20次左右。

例如，假定从在图6(b)所示的图像300中检测到的角落点中选择除角落点306至311之外的三个角落点。如果利用与这样选择角落点相对应的三个光学流计算出仿射变换参数，则获得了用于根据一定的规则来转换与前一帧相对应的图像的仿射变换参数，这是因为，如上所述，这三个光学流具有一定的规则性。因此，对于将为除角落点306至311之外的角落点获得的、利用仿射变换参数获得的角落点的位置和在当前帧中检测到的角落点的位置之间的差异值，计算出相对较小的值。因此，仿射变换参数的得分取较大的值。

另一方面，假定从在图6(b)所示的图像300中检测到的角落点中选择包括角落点306至311中的至少一个在内的三个角落点。如果利用与这样选择的三个角落点相对应的三个光学流来计算仿射变换参数，则获得了不转换与前一帧相对应的图像的仿射变换参数，这是因为在这三个光学流中包括了不具有一定的规则性的光学流。因此，对于利用仿射变换参数来获得的角落点的位置和在当前帧中检测到的角落点的位置之间的差异值，在给定角落点处获得相对较大的值。因此，仿射变换参数的得分取较小的值。

接下来，在所获得的仿射变换参数的两个或更多个得分中，具有最大得分值的仿射变换参数被选择为代表性仿射变换参数。然后，与对应于所选择的代表性仿射变换参数的矩阵的逆矩阵相对应的仿射变换参数被以与当前帧相关联的方式记录到运动图像存储模块200。因此，在构成运动图像的图像的仿射变换中，可以利用最优仿射变换参数来执行仿射变换。

如上所述，如果在构成运动图像的每个图像中包括了诸如人类、车辆等等的运动的物体(运动物体)，并且如果这种运动物体的大小相对于图像的面积而言相对较小，则可以在不受运动物体的影响的情况下提取摄影技法。

此外，通过提取摄影技法，可以估计被认为是摄像者故意作出的运动，例如拉近、推远、摇动、俯仰和旋转。应当注意，在式1中，在a＝e、d＝-b的情况下，可以基于两个光学流来计算仿射变换参数。例如，如果利用基于例如三个光学流计算的仿射变换参数来对图像进行仿射变换，则矩形图像被转换成平行四边形。与之不同，如果利用基于例如两个光学流计算的仿射变换参数来对图像进行仿射变换，则可以在图像处于矩形状态中的情况下执行平移、旋转和变焦中的至少一个(其中变焦比在xy方向上相同)。在本发明的实施例中，使用了这样一个例子来进行描述，其中，利用基于三个光学流计算的仿射变换参数来执行图像转换；如果利用利用两个光学流计算的仿射变换参数来执行图像转换，本发明的实施例也是适用的。

下面参考附图描述本发明的实施例中的图像处理装置100的操作。

参考图8，其中示出了表示本发明实施例中由图像处理装置100进行的仿射变换参数检测处理的处理过程的流程图。

首先，在运动图像输入模块110中输入运动图像文件(步骤S900)。接下来，对在运动图像输入模块110中输入的运动图像文件进行解码并按时间顺序方式获得一帧的图像(步骤S901)。接下来，判定所获得的一帧是否是在图像处理装置100中输入的运动图像数据的起始帧(步骤S902)。如果发现所获得的一帧是起始帧(步骤S902)，则从与该起始帧相对应的整个图像中提取特征点(步骤S903)。例如，如图6(b)所示，在该图像中提取两个或更多个角落点。接下来，选择单位矩阵的仿射变换参数作为仿射变换参数(步骤S904)，在此之后过程去往步骤S914。

另一方面，如果发现所获得的一帧不是起始帧(步骤S902)，则从以与前一帧相对应的图像为基准新拍摄的区域中提取特征点(步骤S905)。即，在与前一帧相对应的图像中已经提取的特征点可通过与该特征点相对应的光学流来获得，因此在与当前帧相对应的图像中不提取这些特征点。

接下来，计算从与前一帧相对应的图像中提取的每个特征点的光学流(步骤S906)。即，如图6(b)所示，计算每个角落点的光学流。

接下来，将变量i初始化到“1”(步骤S907)。接下来，从从中计算了光学流的特征点中，选择M个特征点(步骤S908)。例如，如果将仿射变换参数用于摄影技法参数，则随机选择三个特征点。另外，如果将射影变换参数用于摄影技法参数，则随机选择四个特征点。接下来，基于为所选择的M个特征点计算的M个光学流，计算仿射变换参数(步骤S909)。

接下来，基于计算出的仿射变换参数，计算仿射变换参数的得分(步骤S910)。更具体而言，利用通过计算获得的仿射变换参数，获得与前一帧相对应的图像中的所有特征点的运动目的地的位置。然后，对于每个特征点，在通过仿射变换参数获得的特征点的位置和在步骤S906中的光学流计算中获得的与当前帧相对应的图像中的特征点的位置之间进行比较，以计算两个相应特征点的位置之间的差异值。至于该差异值，例如计算两个相应位置之间的绝对距离。接下来，对于每个特征点，在计算出的差异值和预设的阈值之间进行比较，以获得差异值小于阈值的特征点的数目来作为仿射变换参数的得分。

接下来，向变量i加“1”(步骤S911)以判定变量i是否大于常数N(步骤S912)。如果变量i小于常数N(步骤S912)，则过程返回到步骤S908，以重复仿射变换参数得分计算处理(例如步骤S908至S910)。例如，20可用作常数N。

另一方面，如果变量i大于常数N(步骤S912)，则从所获得的仿射变换参数的得分中选择具有最大值的仿射变换参数作为代表性仿射变换参数(步骤S913)。接下来，以与当前帧相关联的方式将与所选择的仿射变换参数的矩阵的逆矩阵相对应的仿射变换参数记录到运动图像存储模块200(步骤S914)。应当注意，如果当前帧是起始帧，则所选择的单位矩阵的仿射变换参数被以与起始帧相关联的方式记录到运动图像存储模块200。接下来，以覆写的方式存储与当前帧相对应的图像和该图像中的特征点(步骤S915)。

接下来，判定当前帧是否是在运动图像输入模块110中输入的运动图像的最末帧(步骤S916)。如果当前帧不是最末帧(步骤S916)，则过程返回到步骤S901，以重复仿射变换参数检测处理(步骤S901至S915)。另一方面，如果当前帧是最末帧(步骤S916)，则仿射变换参数检测处理结束。

在本发明的实施例中，已经利用这样一个例子来进行了描述，其中，为了检测摄影技法参数，基于在构成运动图像的图像中检测到的光学流来检测仿射变换参数；然而，也可以在相机上布置诸如加速度传感器或陀螺传感器之类的传感器或者用于变焦操作的变焦按钮，检测图像拍摄时相机的运动量，并且获得关于检测到的相机运动量的摄影技法参数。应当注意，在图像拍摄时检测到的相机运动量可用于判定由摄影技法参数计算单元123获得的摄影技法参数是否正确。另外，还可以预先利用摄影技法参数计算单元123检测两个或更多个摄影技法参数，并且在图像拍摄时检测到的相机运动量来选择这些摄影技法参数之一。

下面参考附图详细描述利用上述仿射变换参数来合成运动图像的情况。应当注意，为了便于描述，图9至图17所示的图像是以简化方式示出的，并且两个连续帧之间的运动量被显示得较大。另外，参考图9至图17，使用了这样一个例子，其中，在从构成运动图像的起始帧到最末帧的方向上合成图像。

首先，描述这样一种情况，即，在利用相机来进行图像拍摄时，相机的镜头的方向相对于相机的位置被向上移动、向下移动、向左移动或者向右移动，而放大率保持不变。

图9示出了利用相机拍摄的运动图像的转变的一个例子。图9示出了运动图像中包括的与连续帧相对应的图像401至403，其中拍摄了人400，并且背景中有山脉。在此例子中，摄像者通过将相机的镜头向右侧和向上移动来拍摄图像。在此情况下，利用该相机拍摄的运动图像中包括的人400在构成该运动图像的图像中从右向左并且向下移动。

图10利用虚线示出了在图9所示的每个图像中与前一帧相对应的图像并且示出了要检测的光学流的一个例子。图10(a)所示的图像401与图9(a)所示的图像401相同。图10(b)所示的图像402的实线部分与图9(b)所示的图像402的实线部分相同，并且图10(b)所示的图像402的虚线部分与图10(b)所示的图像401的实线部分相同。图10(b)所示的图像402中的箭头404至406表示从图像402检测出的光学流的例子。同样，图10(c)所示的图像403的实线部分与图9(c)所示的图像403的实线部分相同，并且图10(c)所示的图像403的虚线部分与图10(b)所示的图像402的实线部分相同。图10(c)所示的图像403中的箭头407至409表示从图像403检测出的光学流的例子。

如图10(b)和(c)所示，图像中包括的人400和背景山脉随着相机移动而移动。基于利用该移动来检测到的光学流，可以为每个帧获得仿射变换参数。

图11示出了在对包括图9所示的图像401至403的运动图像进行合成时的示例性的图像合成。

如图11(a)所示，不执行第一合成，因为只存在与起始帧相对应的图像401。这里，令与图像401相对应的仿射变换参数的矩阵(3×3的矩阵)为A1，然后获得A1的值并且以起始帧的图像401的位置和大小为基准利用所获得的A1矩阵来对图像401进行仿射变换。应当注意，因为A1是单位矩阵，所以图像401的位置和大小不被转换。接下来，如果合成与下一帧相对应的图像402，则利用与该帧相关联的仿射变换参数来对图像402进行仿射变换。更具体而言，令与图像402相对应的仿射变换参数的矩阵为A2并且与图像401相对应的仿射变换参数的矩阵为A2，然后获得A2×A1的值并且以起始帧的图像401的位置和大小为基准，利用所获得的A2×A1的矩阵，来对图像402进行仿射变换。在图11(b)所示的图像中，只有图像402的位置被转换。然后，利用仿射变换参数来进行了仿射变换的图像402被写在与前一帧相对应的图像401上。即，在图像401的区域之中，图像402的图像被写在与图像402重叠的区域410上。另外，在图像401的区域之中，不与图像402重叠的区域411被与图像401的图像相合成。即，如图11(b)所示，如果与第二帧相对应的图像402被合成，则图像402的全体部分被与图像401的与区域411相对应的部分相合成。另外，用于对图像402进行仿射变换的仿射变换参数被保存在图像转换模块150中。

接下来，如果合成与下一帧相对应的图像403，则利用与该帧相关联的仿射变换参数来对图像403进行仿射变换。即，利用利用与图像403相对应的仿射变换参数的矩阵和用于前一个仿射变换的与图像402相对应的仿射变换参数的矩阵来获得的仿射变换参数，来对图像403进行仿射变换。更具体而言，令用于图像403的仿射变换参数的矩阵为A3，用于图像402的仿射变换参数的矩阵为A2，并且用于图像401的仿射变换参数的矩阵为A1，然后获得A3×A2×A1，并且以起始帧的图像401的位置和大小为基准，利用所获得的矩阵A3×A2×A1来对图像403进行仿射变换。在图11(c)所示的图像中，只有图像403的位置被转换。然后，利用仿射变换参数来进行了仿射变换的图像403被写在与先前帧相对应的图像401和图像402的合成图像上。即，在图像401和图像402的合成图像的区域之中，与图像403重叠的区域413和414被图像403的图像所覆写。另外，在图像401和图像402的合成图像的区域之中，不与图像403相重叠的区域411和412、图像401和图像402的合成图像被合成。即，如果与第三帧相对应的图像403被合成，则图像403的全体部分、图像401的与区域411相对应的部分、以及图像402的与区域412相对应的部分被合成，如图11(c)所示。另外，用于对图像403进行仿射变换的仿射变换参数被保存在图像转换模块150中。即，通过将与图像402和403相对应的仿射变换参数的矩阵相乘来获得的仿射变换参数被保存在图像转换模块150中。从而，在与当前帧相对应的图像的仿射变换中，利用利用与当前帧相对应的仿射变换参数的矩阵和与前一帧之前的每一帧相对应的仿射变换参数的矩阵获得的仿射变换参数来对与当前帧相对应的图像进行仿射变换。在这个仿射变换中获得的仿射变换参数被保存在图像转换模块150中以用于下一个仿射变换。另外，与图像存储器180的工作缓冲器中经过仿射变换的图像的中心位置相对应的坐标的值和表示图像的大小的图像大小被记录到索引信息存储模块230。对于图14和图17所示例子也是如此。

下面描述在利用相机拍摄图像时改变放大率并且镜头方向保持不变的情况。

图12示出了利用相机拍摄的运动图像的转变的一个例子。图12示出了在拍摄了人420并且背景中有山脉的情况下运动图像中包括的与连续帧相对应的图像421至423。在此例子中，摄像者在提高相机镜头的放大率的同时拍摄图像。在此情况下，利用相机拍摄的运动图像中包括的人420在构成运动图像的图像中的大小增大。应当注意，虽然相机位置在提高放大率时略微移动，但这里的描述是在不考虑相机位置的该移动的情况下作出的。

图13利用虚线示出了在图12所示的每个图像中与前一帧相对应的图像并且示出了要检测的光学流。图13(a)所示的图像421与图12(a)所示的图像421相同。图13(b)所示的图像422的实线部分与图12(b)所示的图像422的实线部分相同，图13(b)所示的图像422的虚线部分与图12(b)所示的图像422的虚线部分相同，并且图13(b)所示的图像422的虚线部分与图12(a)所示的图像421的虚线部分相同。图13(b)所示的图像422中的箭头424至426表示从图像422检测出的光学流的例子。同样，图13(c)所示的图像423的实线部分与图12(c)所示的图像423的实线部分相同，并且图13(c)所示的图像423的虚线部分与图12(b)所示的图像422的实线部分相同。图13(c)所示的图像423中的箭头427至429表示从图像423检测出的光学流的例子。

如图13(b)和(c)所示，图像中包括的人420和背景山脉根据放大率的变化而变化。基于利用该变化来检测到的光学流，可以为每个帧获得仿射变换参数。

图14示出了在对包括图12所示的图像421至423的图像进行合成的情况下的合成的例子。

如图14(a)所示，最初不执行合成，因为只存在与起始帧相对应的图像421。接下来，如果合成与下一帧相对应的图像422，则利用与该帧相关联的仿射变换参数来对图像422进行仿射变换。在图14(b)所示的图像中，只有图像422的大小被转换。然后，利用仿射变换参数来进行了仿射变换的图像422被写在与前一帧相对应的图像421上。即，在图像421的区域之中，与图像422重叠的区域被利用图像422的图像来进行覆写。在此情况下，因为图像421与图像422的所有区域重叠，因此图像421被用图像422的所有图像来进行覆写。另外，在图像421的区域之中，不与图像422重叠的区域431被与图像421的图像相合成。即，如图14(b)所示，如果与第二帧相对应的图像422被合成，则图像422的全体部分和图像421的与区域431相对应的部分被合成。另外，用于对图像422进行仿射变换的仿射变换参数被保存在图像转换模块150中。

接下来，如果合成与下一帧相对应的图像423，则利用与该帧相关联的仿射变换参数来对图像423进行仿射变换。即，利用利用与图像423相对应的仿射变换参数的矩阵和用于前一个仿射变换的与图像422相对应的仿射变换参数的矩阵来获得的仿射变换参数，来对图像423进行仿射变换。在图14(c)所示的图像中，只有图像423的大小被转换。然后，经过仿射变换的图像423被写在与先前帧相对应的图像421和图像422的合成图像上。即，在图像421和图像422的合成图像的区域之中，与图像423重叠的区域被利用图像423的图像来进行覆写。在此情况下，图像423与图像421和422的所有区域重叠，因此图像421和422的合成图像被利用图像423的所有图像来覆写。另外，在图像421和图像422的合成图像的区域之中，对于不与图像423重叠的区域432和433，合成图像421和图像422的合成图像。即，如果与第三帧相对应的图像423被合成，则图像423的全体部分、图像421的与区域432相对应的部分、以及图像422的与区域433相对应的部分被合成，如图14(c)所示。另外，用于对图像423进行仿射变换的仿射变换参数被保存在图像转换模块150中。即，利用图像422和423中每一个的仿射变换参数来获得的仿射变换参数被保存在图像转换模块150中。

下面描述在利用相机拍摄图像时绕图像拍摄方向旋转相机并且镜头方向和放大率保持不变的情况。

图15示出了利用相机拍摄的运动图像的转变的一个例子。图15示出了在拍摄了人440并且背景中有山脉的情况下运动图像中包括的与连续帧相对应的图像441至443。在此例子中，摄像者在绕图像拍摄方向旋转相机的同时拍摄图像。在此情况下，利用相机拍摄的运动图像中包括的人440在构成运动图像的图像中旋转。应当注意，虽然相机位置由于相机旋转而略微移动，但这里的描述是在不考虑相机位置的移动的情况下作出的。

图16利用虚线示出了在图15所示的每个图像中与前一帧相对应的图像并且示出了要检测的光学流的一个例子。图16(a)所示的图像441与图15(a)所示的图像441相同。另外，图16(b)所示的图像442的实线部分与图15(b)所示的图像442的实线部分相同，并且图16(b)所示的图像442的虚线部分与图15(a)所示的图像441的实线部分相同。另外，图16(b)所示的箭头444至446表示从图像442检测出的光学流。同样，图16(c)所示的图像443的实线部分与图15(c)所示的图像443的实线部分相同，并且图16(c)所示的图像443的虚线部分与图15(b)所示的图像442的实线部分相同。图16(c)所示的图像443中的箭头447至449表示从图像443检测出的光学流的一个例子。

如图16(b)和(c)所示，图像中包括的人440和背景山脉随着相机旋转而旋转性地运动。基于利用该旋转运动来检测到的光学流，可以为每个帧获得仿射变换参数。

图17示出了在对包括图15所示的图像441至443的运动图像进行合成的情况下的合成的例子。

如图17(a)所示，最初不执行合成，因为只存在与起始帧相对应的图像441。接下来，如果合成与下一帧相对应的图像442，则利用与该帧相关联的仿射变换参数来对图像442进行仿射变换。在图17(b)所示的图像中，只有图像442的角度被转换。然后，利用仿射变换参数来进行了仿射变换的图像442被写在与前一帧相对应的图像441上。即，在图像441的区域之中，与图像442重叠的区域被利用图像442的图像来进行覆写。另外，在图像441的区域之中，不与图像442重叠的区域451和452被与图像441的图像相合成。即，如图17(b)所示，如果与第二帧相对应的图像442被显示，则图像442的全体部分和图像441的与区域451和452相对应的部分被合成。另外，用于对图像442进行仿射变换的仿射变换参数被保存在图像转换模块150中。

接下来，如果合成与下一帧相对应的图像443，则利用与该帧相关联的仿射变换参数来对图像443进行仿射变换。即，利用利用与图像443相对应的仿射变换参数的矩阵和用于前一个仿射变换的与图像442相对应的仿射变换参数的矩阵来获得的仿射变换参数，来对图像443进行仿射变换。在图17(c)所示的图像中，只有图像443的角度被转换。然后，经过仿射变换的图像443被写在与先前帧相对应的图像441和图像442的合成图像上。即，在图像441和图像442的合成图像的区域之中，与图像443重叠的区域453至457被利用图像443的图像来进行覆写。另外，在图像441和图像442的合成图像的区域之中，不与图像443重叠的区域458至461被与合成图像441和图像442的合成图像进一步合成。即，如果与第三帧相对应的图像443被合成，则图像443的全体部分、图像441的与区域459相对应的部分、以及图像442的与区域458、460和461相对应的部分被合成，如图17(c)所示。另外，用于对图像443进行仿射变换的仿射变换参数被保存在图像转换模块150中。即，利用用于图像442和443中每一个的仿射变换参数来获得的仿射变换参数被保存在图像转换模块150中。

到目前为止，已经描述了顺序改变构成运动图像的每个图像的位置、放大率和角度的情况；对于组合这些改变的情况，也同样如此。

下面示出对利用相机实际拍摄的运动图像进行合成的合成例子。在以下示出的图像合成例子中，仅在与当前帧和先前帧相对应的图像被合成的区域中显示合成图像，并且用黑色来指示其他区域。与当前帧相对应的图像被加框。另外，在以下示出的图像合成例子中，示出了正在创建的合成图像。参考图18至21，将描述在构成运动图像的起始帧到最末帧的方向上合成图像的例子。

图18至图21示出了利用相机拍摄的运动图像的转变的例子。图18和图19示出了构成运动图像的图像500至505，其中在相机移动的情况下拍摄在公寓的空地中玩耍的家长和孩子。

在图18和图19所示的图像500至505中，与当前帧相对应的图像是图像506至511。另外，作为与每个先前帧相对应地合成的图像的合成图像是图像512至517。如图18和图19所示，拍摄图像中包括的图像拍摄的对象(公寓空地等等)被固定在屏幕上，并且与当前帧相对应的图像506至511与相机的移动相匹配地在屏幕上移动。

图20和图21示出了在一边执行拉近操作一边拍摄在公寓的空地中玩耍的家长和孩子的情况下与构成运动图像的帧相对应的图像520至525。

在图20和图21所示的图像520至525中，与当前帧相对应的图像是图像526至531。另外，作为与每个先前帧相对应地合成的图像的合成图像是图像532至537。如图20和图21所示，拍摄图像中包括的图像拍摄的对象(公寓空地等等)被固定在屏幕上，并且与当前帧相对应的图像526至531与相机的移动相匹配地在屏幕上移动。

从而，在图18至21所示的图像合成例子中，通过在显示器上移动被放大或缩小的与当前帧相对应的图像来创建宽图像。应当注意，在上文中，已经描述了通过在从构成运动图像的起始帧到结束帧的方向上重复图像合成处理来创建合成图像的例子；也可以通过在从构成运动图像的结束帧到起始帧的方向上重复图像合成处理来创建合成图像。从而，当在从构成运动图像的结束帧到起始帧的方向上重复图像合成处理时，不是利用与每个帧相关联的仿射变换参数的矩阵，而是利用与每个帧相关联的仿射变换参数的矩阵的逆矩阵，来执行仿射变换。

下面参考附图详细描述对被图像转换模块150进行了仿射变换的图像的透明度进行转换的图像透明度转换方法。

图22是图示出在改变由图像转换模块150进行了仿射变换的图像的透明度时使用的α值(阿尔发值)和图像拍摄时间之间的关系的图。这里，α值是表示透明度的数值，其在0至255的范围内改变RGB(红、绿、蓝)的透明度。例如，如果设定了最大值255，则对象图像是不透明的；随着数值变小，对象图像的透明度增大。于是，如果对α值设定了0，则对象图像变成完全透明的。即，在改变图像的透明度的情况下，可通过改变α值来将图像的透明度改变到期望的水平。在此例子中，描述了这样的图像合成，其中，当在从构成运动图像的结束帧到起始帧的方向上重复图像合成处理时，较早拍摄的图像的透明度被增大，而较晚拍摄的图像的透明度被减小。应当注意，也可以通过增大较晚拍摄的图像的透明度并且减小较早拍摄的图像的透明度来合成图像。图像拍摄时间是根据构成运动图像的帧来识别的。

在上述图中所示的示图中，x轴是表示图像拍摄时间的轴，y轴是表示α值的数值的轴。这里，假定起始帧的图像拍摄时间是t0(t＝0)，结束帧的图像拍摄时间是tn，并且经历透明度改变的帧的图像拍摄时间是tm，则表示透明度的α值由下式来定义。

α＝(OF-255)/tn×tm+255

其中，OF是用于防止图像变成完全透明度的偏置分量。透明度转换模块160对每个帧顺序地执行该透明度改变。在透明度被这样改变的情况下创建的全景图像的例子在图23和图24中示出。

图23和图24示出了由图像合成模块170合成的全景图像的例子。图23和图24所示的全景图像是通过按以下方式合成图像来获得的全景图像：当在从构成运动图像的结束帧到起始帧的方向上重复图像合成处理时，增大较早拍摄的图像的透明度，并且减小较晚拍摄的图像的透明度。

图23(a)所示的全景图像是从在街道上通过水平摇动相机而拍摄的运动图像创建的全景图像。与该图所示的全景图像相对应的运动图像的左侧透明度较高，向右则透明度降低。因此，可以很容易识别出，图中的左侧在图像拍摄时间上较早，而右侧在图像拍摄时间上较晚。

图23(b)所示的全景图像是从在婚礼大厅中通过水平摇动相机而拍摄的运动图像创建的全景图像。与该图所示的全景图像相对应的运动图像的右侧透明度较高，向左则透明度降低。因此，可以很容易识别出，图中的右侧在图像拍摄时间上较早，而左侧在图像拍摄时间上较晚。

图24所示的全景图像是从在山上通过水平摇动相机而拍摄的运动图像创建的全景图像。对于与该图所示的全景图像相对应的运动图像而言，左侧透明度较低，并且右侧的一部分中的透明度也较低，因为水平摇动被重复了若干次。从而，可以很容易地了解与全景图像相对应的运动图像的内容，并且可以迅速地了解拍摄运动图像的空间。此外，根据图像拍摄时间改变透明度使得可以很容易地在视觉上识别记录在全景图像上显示的图像的图像拍摄时间。在这些例子中，已经描述了根据图像拍摄时间来改变透明度；也可以利用其他方法根据图像拍摄时间来改变图像颜色信息。例如，可以根据图像拍摄时间来改变黑白图像(monochrome)或怀旧图像(sepia)的对比度。例如，也可以采用从起始帧到最末帧减小分辨率或者从彩色改变到黑白的方法或者类似的方法。此外，例如，还可以不仅改变对象图像的颜色信息，而且利用其他方法来根据图像拍摄时间对对象图像进行改变。例如，与预定间隔处的帧相对应的图像可被加框，以根据α值来改变该框的类型(例如，颜色、粗细、透过率)。应当注意，将参考图44来详述索引图像被加框显示的例子。

下面参考附图来详细描述提取索引图像的索引图像提取方法。

图25示出了在本发明实施例中在提取索引图像时使用的提取方法的例子的概况。图25所示的合成图像640是在图像合成模块170所进行的创建的半途中的合成图像的简化呈现。在此例子中，假定在合成图像640中，图像641至643已被提取作为索引图像。

索引图像的提取是基于索引信息存储模块230中存储的索引图像(已经被提取作为索引图像的图像)和与经过仿射变换的当前帧相对应的图像之间的重叠率来确定的。更具体而言，在索引信息存储模块230中存储的索引图像(已经被提取作为索引图像的图像)和与经过仿射变换的当前帧相对应的图像之间计算重叠率。例如，假定图25所示的图像644是与经过仿射变换的当前帧相对应的图像。在此情况下，计算图像644和作为索引图像的图像641至643之间的重叠率。图像644是这样一个区域，其中，仅与图像641的重叠区域645、与图像641和642的重叠区域646以及仅与图像642的重叠区域647与图像641至643重叠。在图25中，重叠区域645至647由阴影来指示。然后，将重叠区域645至647的面积相加，并且在相加的面积(重叠区域645至647的总面积)值和预设的阈值之间进行比较；如果发现作为重叠区域645至647的总面积与整个图像644的面积的比率的重叠率的值低于阈值，则表明这个图像是与其他索引图像重叠较少的图像。从而，与其他索引图像的重叠较少的图像被提取作为索引图像。然后，与所提取的索引图像相对应的帧号、与索引图像的四个顶点相对应的坐标值、以及索引图像与运动图像ID相关联地被存储在索引信息存储模块230中。

从而，当已提取了索引图像时，索引图像提取模块190向给定区间运动图像音频信息提取模块250输出表明与当前帧相对应的图像是索引图像的信息。在本发明的实施例中，描述了这样一个例子，其中，基于已经被提取作为索引图像的所有图像和与经过仿射变换的当前帧相对应的图像之间的重叠率来提取新的索引图像；例如，可以基于刚才提取的一个或预定数目个索引图像和与经过仿射变换的当前帧相对应的图像之间的重叠率来提取新的索引图像。从而，利用刚才提取的一个或预定数目个索引图像来作为比较对象，图像拍摄时间相对较早的图像和图像拍摄时间相对较晚的图像可被从图像拍摄空间上存在于较对靠近的位置处的图像中提取出来作为索引图像。

应当注意，在将要被图像合成模块170合成的合成图像中，可在与当前帧相对应的图像周围附加一个索引图像标记，该标记表示与当前帧相对应的图像是索引图像。例如，如图25所示，合成图像640中的图像644可被加上粗框。应当注意，如果两个或更多个索引图像重叠，则图像拍摄时间上最晚的索引图像标记可被写在另一个索引图像标记上。例如，图像644的索引图像标记被写在索引图像641至643的索引图像标记上。或者，例如，每个索引图像的索引图像标记可被绘在不同的图像层上而不覆写，从而使得每个索引图像标记都被显示在全景图像上。

下面参考附图详细描述在在显示模块292上列表显示全景图像存储模块240中存储的全景图像时使用的全景图像布置位置判决方法。

图26示意性地示出了显示模块292中的显示画面，其上显示了用于显示全景图像的列表的全景图像布置区域和全景图像的列表。如图26(a)所示，如果全景图像的列表被显示在显示模块292上，则其中布置要显示的全景图像的全景图像布置区域550被设定，并且每个全景图像被布置在全景图像布置区域550中。另外，如果布置在全景图像布置区域550中的全景图像被显示在显示模块292上，则全景图像布置区域550上的显示对象区域551中包括的全景图像被显示。

图26(b)示出了在全景图像的列表被显示在显示模块292上的情况下的显示画面。应当注意，在该图中，省略了对全景图像的显示。图中所示的显示画面560包括用于显示全景图像的列表的全景图像列表显示区域561、放大/缩小条562、上/下滚动条563、以及左/右滚动条564。例如，可通过利用操作接受模块280上的鼠标操作光标来操作每个条以便移动它。

全景图像列表显示区域561是其中显示了图26(a)所示的显示对象区域551中包括的全景图像的区域。滑动上/下滚动条563或左/右滚动条564则可移动显示对象区域551，从而根据显示对象区域551的移动而改变将被显示在全景图像列表显示区域561中的全景图像。另外，滑动放大/缩小滚动条562则可以改变全景图像列表显示区域561中显示的全景图像的大小。从而，当通过滑动放大/缩小滚动条562来改变全景图像的大小时，全景图像的布置被改变，并且布置改变之后的每个全景图像被重新显示在全景图像列表显示区域561中。

放大/缩小滚动条562用于改变将被显示在全景图像列表显示区域561中的全景图像的大小。例如，为了缩小将被显示在全景图像列表显示区域561中的全景图像的大小，放大/缩小滚动条562被滑向左侧。为了放大将被显示在全景图像列表显示区域561中的全景图像的大小，放大/缩小滚动条562被滑向右侧。

上/下滚动条563是用于向上/向下移动将被显示在全景图像列表显示区域561中的全景图像的滚动条。即，图26(a)所示的显示对象区域551根据上/下滚动条563的上/下移动而被向上或向下移动。

左/右滚动条564是用于向左/向右移动将被显示在全景图像列表显示区域561中的全景图像的滚动条。即，图26(a)所示的显示对象区域551根据左/右滚动条564的左/右移动而被向左或向右移动。

图27示意性地示出了在全景图像被布置成垂直宽度对齐的情况下的全景图像布置区域550。该全景图像布置区域550与图26(a)所示的全景图像布置区域550相同，用于在垂直宽度对齐的情况下布置全景图像的最大水平宽度阈值w1、水平宽度阈值w2、换行阈值w3以及垂直宽度h1被设定到该全景图像布置区域550。最大水平宽度阈值w1、水平宽度阈值w2和换行阈值w3是用于确定布置每个全景图像的位置的阈值。

最大水平宽度阈值w1的值与全景图像布置区域550的水平宽度的值相同，并且在将全景图像布置在同一行上时，其提供了用于规定能够被布置在同一行上的全景图像的水平宽度的总值的阈值。

水平宽度阈值w2的值与显示对象区域551的水平宽度的值相同，并且在将全景图像布置在同一行上时，其提供了用于判定是否将全景图像布置在同一行上的阈值。

换行阈值w3是小于显示对象区域551的水平宽度的值，并且在将全景图像布置在同一行上时，其提供了用于判定是否改变布置全景图像的行的阈值。应当注意，将参考图29和图30来详述这些阈值。这里，垂直宽度h1是在将被布置在全景图像布置区域550中的每个全景图像被缩小或放大的情况下提供基准的长度；对于每一个设定相同的值。

图28示意性地示出了存储在全景图像存储模块240中的全景图像，并且是在以下情况下显示这些全景图像的：在与图27所示的垂直宽度h1的垂直宽度相匹配且垂直宽度和水平宽度的比率保持恒定的同时缩小或放大每个全景图像。如该图所示，对于由图像合成模块170创建的全景图像570至574而言，垂直宽度(上/下方向上的长度)和水平宽度(左/右方向上的长度)的比率在许多情况下是不恒定的。例如，如果所拍摄的运动图像是在用户移动在水平方向上移动相机的同时被记录的，则水平宽度较长并且垂直宽度较短的全景图像被创建。然而，如果用户通过各种方式来改变相机姿态，则创建了与水平宽度较长且垂直宽度较短的全景图像不同的全景图像。因此，在下文中，将描述这样一个例子，其中，在匹配了具有各种形状的全景图像570至574的垂直宽度之后，将全景图像570至574布置在全景图像布置区域550中。

如图所示，全景图像570至574被与垂直宽度h1的垂直宽度相匹配地缩小或放大，以创建全景图像575至579。然后，基于全景图像575至579在左/右方向上的两端来计算在缩小或放大之后每个全景图像的水平宽度。例如，令全景图像575至579的水平宽度为水平宽度w11至w15。

图29和图30示出了在全景图像575至579被布置在图27所示的全景图像布置区域550中的情况下的布置例子。如果全景图像575至579被布置在全景图像布置区域550中，则全景图像575至579被逐一地顺序选择并且所选择的全景图像被从左端开始顺序地布置在全景图像布置区域550的每一行上。在此情况下，布置是从最高行开始顺序进行的；在哪一行上进行布置取决于每个全景图像的最大水平宽度阈值w1、水平宽度阈值w2和换行阈值w3。

例如，对象全景图像(这是作为布置位置确定的对象的一个全景图像)被布置在下述全景图像的右侧：该全景图像被布置在那些布置于最高行的全景图像的左端，并且判定布置在最高行的包括对象图像在内的那些全景图像的水平宽度的总值是否超过了水平宽度阈值w2。如果发现布置在该同一行上的全景图像的水平宽度的总值没有超过水平宽度阈值w2，则确定该位置是对象全景图像的布置位置。另一方面，如果发现布置在该同一行上的全景图像的水平宽度的总值超过了水平宽度阈值w2，则判定该总值是否超过最大水平宽度阈值w1。如果发现总值超过了最大水平宽度阈值w1，则将对象全景图像的布置位置向下改变到当前布置的行的下一行。另一方面，如果发现总值没有超过最大水平宽度阈值w1，则判定布置在对象全景图像左侧的那些全景图像的水平宽度的总值是否超过了换行阈值w3。如果发现布置在对象全景图像的左侧的那些全景图像的水平宽度的总值没有超过换行阈值w3，则确定该位置是对象全景图像的布置位置。另一方面，如果发现布置在对象全景图像的左侧的那些全景图像的水平宽度的总值超过了换行阈值w3，则将对象全景图像的布置位置向下改变到当前布置的行的下一行。然后，如果对象全景图像的布置位置已被向下改变到当前布置的行的下一行，那么对象全景图像被布置在改变后的行的左端布置的那个全景图像的右侧，并且与上述处理类似的处理被执行，从而顺序地确定对象全景图像的布置位置。

例如，下面描述按全景图像575至579的顺序选择了对象全景图像的情况。在此情况下，如图29(a)所示，全景图像575至577被顺序地布置在最高行。在这里，如果全景图像578在全景图像布置区域550中被布置到全景图像577的右侧，则全景图像578的右端超过了最大水平宽度阈值w1和水平宽度阈值w2。因此，全景图像578的布置位置被向下改变到下一行。如果已经如上所述进行了改变，则对改变后的行执行对布置位置的类似确定。接下来，如果全景图像579在全景图像布置区域550中被布置到全景图像577的右侧，则全景图像579的右端超过了水平宽度阈值w2，而没有超过最大水平宽度阈值w1。另外，布置在全景图像579左侧的全景图像575至577的水平宽度的总值没有超过换行阈值w3。因此，全景图像布置区域550中全景图像577右侧的位置被确定为全景图像579的布置位置。即，如图29(b)所示确定了布置位置。

下面描述例如按全景图像575、578、577、576和579的顺序来顺序地选择对象全景图像的情况。在此情况下，如图30(a)所示，全景图像575和578被顺序地布置在最高行。在这里，如果全景图像577在全景图像布置区域550中被布置到全景图像578的右侧，则全景图像577的右端超过了水平宽度阈值w2，但没有超过最大水平宽度阈值w1。在此情况下，判定布置在全景图像577左侧的全景图像575和578的水平宽度的总值是否超过了换行阈值w3。在此情况下，布置在全景图像577左侧的全景图像575和578的水平宽度的总值没有超过换行阈值w3，因此该位置被确定为全景图像579的布置位置。应当注意，对于全景图像576和579，最高行的右端超过了最大水平宽度阈值w1和水平宽度阈值w2，因此全景图像578的布置位置被向下改变到下一行以便顺序布置。即，如图30(a)所示确定了布置位置。

另外，下面描述按全景图像578、576、579、577和575的顺序来顺序地选择对象全景图像的情况。在此情况下，如图30(b)所示，全景图像578和576被顺序地布置在最高行。在这里，如果全景图像579在全景图像布置区域550中被布置到全景图像576的右侧，则全景图像579的右端没有超过水平宽度阈值w2，因此该位置被确定为全景图像579的布置位置。接下来，如果全景图像577在全景图像布置区域550中被布置到全景图像579的右侧，则全景图像577的右端超过了水平宽度阈值w2，但没有超过最大水平宽度阈值w1。在此情况下，判定布置在全景图像577左侧的全景图像578、576和579的水平宽度的总值是否超过了换行阈值w3。在此情况下，布置在全景图像577左侧的全景图像578、576和579的水平宽度的总值超过了换行阈值w3，因此全景图像577的布置位置被向下改变到下一行以便顺序布置。如果全景图像575在全景图像布置区域550中被布置到全景图像579的右侧，则全景图像575的右端超过了最大水平宽度阈值w1和水平宽度阈值w2，因此全景图像575的布置位置被向下改变到下一行。即，如图30(b)所示确定了布置位置。

因此，利用最大水平宽度阈值w1、水平宽度阈值w2和换行阈值w3来确定了布置每个对象全景图像的行，从而，如果每个全景图像被显示在显示模块292上的全景图像列表显示区域561中，则同一行上的右侧的全景图像的至少一部分被显示。这种配置可以增强列出能力。

下面参考附图详细描述在不改变全景图像大小地布置全景图像的情况下的布置位置确定方法。

图31示意性地示出了全景图像存储模块240中存储的全景图像并且示出了这些全景图像的垂直宽度和水平宽度。如图所示，对于具有各种形状的全景图像580至584，计算水平宽度w21至w25和垂直宽度h11至h15。另外，以下的布置位置是利用由全景图像580至584形成的矩形(由点线来指示)的四个顶点来确定的。

图32和图33是示出其中全景图像580至584被布置在图26(a)所示的全景图像布置区域550中的布置例子的图。这些例子描述了其中所有全景图像都被布置在全景图像布置区域550中的显示对象区域551中的布置。

如果全景图像580至584被布置在全景图像布置区域550中，则全景图像之一被从全景图像580至584中选择出来并且所选择的全景图像被从全景图像布置区域550的左上角开始顺序地布置。从而，如果至少一个全景图像被布置在全景图像布置区域550中，则要顺序布置的每个全景图像的布置位置候选是在由已经布置的全景图像所形成的每个矩形的四个顶点中的左下顶点和右上顶点之一上确定的。并且，从最高候选开始顺序选择布置位置候选以确定用于全景图像的布置位置。即，优先级随着布置位置候选在布置上靠上而增大。

这里，从布置位置候选中确定全景图像布置位置要求满足三个条件。第一个条件是，如果对象全景图像被布置在所选择的布置位置候选处，则由布置位置已确定的全景图像形成的矩形区域和由对象全景图像形成的矩形区域彼此不重叠。第二个条件是，如果对象全景图像被布置在所选择的布置位置候选处，则对象全景图像将不会超出显示对象区域551的右端。另外，第三个条件是，如果对象全景图像被布置在所选择的布置位置候选处并且对象全景图像的左下顶点位于布置位置已确定的全景图像的左下顶点的下方，则对象全景图像的左下顶点达到显示对象区域551的左端。

如果不满足这三个条件，那么在作为布置位置候选存在的顶点之中，次高的布置位置候选被选择来确定每个全景图像的布置位置。然后，如果满足上述的三个条件，则该第二布置位置候选被确定为全景图像布置位置。另一方面，如果不满足上述的三个条件，则第三高以及随后的布置位置候选被顺序地选择以重复相同的判决处理。

例如，下面描述全景图像580至584被按顺序选择以确定布置位置的例子。

如图32(a)所示，全景图像580是这样的布置的：由全景图像580所形成的矩形的左上顶点被布置在全景图像布置区域550的左上角651中。在此情况下，由全景图像580形成的矩形的左下顶点653和右上顶点652之一是布置位置候选。接下来，如果全景图像581被布置，则全景图像581被这样布置：由全景图像581形成的矩形的左上顶点被布置在由全景图像580形成的矩形的左下顶点653和右上顶点652之一处，如图32(b)所示。从而，如果存在两个或更多个布置位置候选，则从这两个或更多个布置位置候选中选择位于最高处的布置候选。即，在图32(b)所示的情况下，全景图像581被这样布置：由全景图像581形成的矩形的左上顶点位于由全景图像580形成的矩形的右上顶点652处。

另外，如果一个全景图像被布置在由全景图像形成的矩形的四个顶点之中的左下顶点和右上顶点中的任何一个处，则布置该全景图像的顶点被从随后的布置位置候选中排除。即，在图32(b)所示的情况下，全景图像581被布置在由全景图像580形成的矩形的右上顶点652处，从而右上顶点652被从随后的布置位置候选中排除。因此，顶点653至655仍作为随后的布置位置候选。然后，如上所述，从位于作为布置位置候选存在的顶点之中的最高顶点处的布置位置候选开始顺序进行选择，从而确定全景图像的布置位置。

例如，图33示出了全景图像580至584被按此顺序选择的情况。如图32(b)所示，对于全景图像580和581，布置位置被确定为位于显示对象区域551的最高处。接下来，对于全景图像582，如果在作为布置位置候选存在的顶点653至655之中位于最高处的顶点654被选择并且该全景图像被布置在全景图像581的右侧，则全景图像582超出了显示对象区域551的右端。因此，该全景图像的布置位置是通过选择在作为布置位置候选存在的顶点653至655之中存在于从最高处起的第二行的顶点653来确定的。

接下来，对于全景图像583，如果在作为布置位置候选存在的顶点654至657之中存在于最高处的顶点654被选择并且全景图像583被布置到全景图像581的右侧，则全景图像583超出了显示对象区域551的右端。如果存在于从最高处起的第二行的顶点655被从作为布置位置候选存在的顶点654至657之中选择出来，则由全景图像582形成的矩形区域和全景图像583形成的矩形区域重叠。另外，如果存在于从最高处起的第三行的顶点656被从作为布置位置候选存在的顶点654至657中选择出来并且全景图像583被布置到全景图像582的右侧，则全景图像583的左下顶点达到布置位置已确定的全景图像580至582的左下顶点的下方，这是因为垂直宽度h14长于垂直宽度h13，并且全景图像583的左下顶点将不会位于显示对象区域551的左端。因此，在作为布置位置候选存在的顶点654至657中，存在于从顶部起的第四行上的顶点657被选择来确定全景图像的布置位置。另外，全景图像584的布置位置被以相同的方式确定。从而，当在由显示对象区域551标识的近似矩形中，全景图像在该近似矩形的最高处作为高优先级布置位置的情况下被顺序地布置并且全景图像被布置在下述位置处的另一全景图像的下方或右侧时，如果已经布置的全景图像的下方顶点中的最低顶点存在于对象全景图像的下方顶点的上方，则对象全景图像的左下顶点与显示对象区域551的左端接处的位置可被确定为对象全景图像的布置位置，其中，对象全景图像位于所述位置的上方。

在上文中，已经描述了每个全景图像在其大小不被改变的情况下被布置的情况；然而，例如，如果上述三个条件没有得到满足，则对象全景图像可被旋转预定的角度(例如，90度)，以判定旋转后的对象全景图像是否满足这三个条件，并且如果发现满足这三个条件，则该位置可被确定为布置位置。在此情况下，显示被旋转90度的全景图像。

另外，可以基于特定帧的位置来旋转对象全景图像，从而确定旋转后的对象全景图像的布置位置。例如，特定帧可以是起始帧，并且对象全景图像可以基于拍摄该起始帧时的上/下方向而被旋转。

图34(a)示出了在通过在从构成运动图像的结束帧到起始帧的方向上合成图像来创建全景图像的情况下的全景图像673和起始帧的位置674。图34(b)示出了在基于拍摄起始帧时的上/下方向来进行旋转之后的全景图像673。从而，如果拍摄起始帧时的上/下方向在全景图像673中已被转换，则全景图像673可基于拍摄起始帧时的上/下方向被旋转，以将旋转后的全景图像显示在列表中。另外，还可以把由诸如加速度传感器之类的各种传感器检测到的图像拍摄时的相机方位信息与运动图像相关联地存储，并且在创建全景图像时将该相机方位信息与全景图像相关联地存储，从而基于该相机方位信息在确定全景图像显示位置时转换全景图像。

图35示出了其中全景图像被布置在通过上述布置位置判决方法来确定的布置位置处的显示例子。图35(a)所示的显示画面是在放大/缩小条676被滑动以显示相对较大的全景图像的情况下的显示画面。在该显示画面中包括的全景图像列表显示区域675中，显示了全景图像。图35(b)所示的显示画面是在放大/缩小条678被滑动以显示相对较小的全景图像的情况下的显示画面。在该显示画面中包括的全景图像列表显示区域677，显示了全景图像。

下面参考附图来详细描述索引图像被显示在全景图像上的例子。

图36示出了在显示模块292上显示的全景图像和索引图像之间的关系。在本发明的实施例中，索引信息存储模块230中存储的索引图像根据预定的操作被显示在显示模块292上显示的全景图像上。图36(a)示出了索引图像681被显示在全景图像680上的显示例子。图36(b)示出了全景图像层682和索引图像层683，其中全景图像层682是其上绘出图36(a)所示的全景图像680的层，索引图像层683是其上绘出图36(a)所示的索引图像681的层。这里，在本发明的实施例中，描述了索引图像层683和全景图像层682上绘出的图像被显示为彼此重叠的情况。应当注意，索引图像层683是其上绘出索引信息存储模块230中存储的索引图像的层，并且全景图像层682是其上绘出布置位置由全景图像布置位置判决模块260确定的全景图像的层。这里，在索引信息存储模块230中存储的索引图像之中，由选择模块270根据通过操作接受模块280的操作输出而选择的索引图像被绘在索引图像层683上。将参考图37来详细描述该选择方法。

图37(a)示出了选择将被显示在显示模块292上显示的全景图像上的索引图像的方法的概况。图37(b)示出了包括索引图像的运动图像中的记录位置的概况。图37(a)所示的全景图像690是在显示模块292上显示的全景图像，并且，例如，显示模块292上的上/下方向是x轴，而水平方向是y轴。

在显示模块292上显示的全景图像690中，用户利用通过操作接受模块280进行的操作输入来移动光标691。基于在通过该移动操作进行移动之后光标691的位置，选择索引图像。

更具体而言，在由记录到索引信息存储模块230中的位置信息的坐标所标识的中心坐标之中，检测存在于与全景图像690上移动后光标691的位置的距离最短之处的坐标点，并且选择与该坐标点相对应的帧号232和运动图像ID 231。例如，如果光标691在全景图像690中被移动到与索引图像692和693相对应的位置，则光标691的位置与索引图像692的中心坐标的位置694之间的距离D1以及光标691的位置与索引图像693的中心坐标的位置1695之间的距离D2被计算。然而，当在计算出的距离D1和距离D2之间进行比较时，距离D2短于距离D1，因此索引图像693被选择为要显示的索引图像。接下来，当所选择的帧号232和运动图像ID 231被输出到显示控制模块291时，显示控制模块291搜索索引信息存储模块230中存储的与所选择的帧号232和运动图像ID 231相关联的索引图像，并且将检索出的索引图像绘在索引图像层上。在此情况下，基于索引信息存储模块230中存储的与所检索出的索引图像相关联的位置信息233，确定绘制索引图像的位置。另外，如果在索引信息存储模块230中的位置信息233中存储的坐标所标识的中心坐标之中，检测到两个或更多个存在于与通过在全景图像690上的选择操作而选择的位置的距离最短之处的坐标点，则例如可以选择根据记录到位置信息233的坐标计算出的面积较大的索引图像。或者，可以选择具有较高的帧号的索引图像。应当注意，可以基于其他评估函数来选择适当的帧号和运动图像ID。

另外，如上所述，如果在索引图像693被选择的情况下，例如，用户通过从操作接受模块280的操作输入来操作光标691，从而利用鼠标对索引图像693执行了左点击操作，则音频控制模块293获得索引信息存储模块230中存储的与所选择的帧号232和运动图像ID 231相关联的音频信息235，并且将所获得的该音频信息从音频输出模块294输出。另外，显示控制模块291获得索引信息存储模块230中存储的与这些选择的帧号232和运动图像ID 231相关联的运动图像信息236，以使显示模块292再现所获得的该运动图像信息。可将该再现例如显示在全景图像附近，或者通过将运动图像再现区域布置在全景图像列表显示区域外部来将该再现显示在运动图像再现区域中。

此外，如上所述，如果在索引图像693被选择的情况下，例如，用户通过从操作接受模块280的操作输入来操作光标691，从而利用鼠标对索引图像693执行了双击操作，则可以开始从与索引图像693相对应的运动图像695的记录位置起的再现。在该再现中，显示控制模块291基于所选择的帧号232和运动图像ID 231从运动图像存储模块200中存储的运动图像文件中搜索与索引图像693相对应的运动图像695的位置，并且从检索出的运动图像位置起再现运动图像。例如，令与索引图像693相对应的运动图像695的记录位置为697，并且与索引图像692相对应的运动图像695的记录位置为696，则运动图像再现从运动图像695的记录位置697开始。

图38至图42示出了其中所选择的索引图像被显示在全景图像上的显示例子。图38和图39所示的全景图像是从拍摄在滑雪场滑行的滑雪者的运动图像创建的全景图像，这些全景图像是通过在从图像拍摄时间较晚的图像到图像拍摄时间较早的图像的方向上增大透明度来创建的。通过将光标706移动到每个部分，可将索引图像701至705显示在这些全景图像上。

图40至图42示出了图38和图39所示的全景图像被显示在全景图像列表显示区域中的例子。从而，通过将光标716移动到全景图像列表显示区域中显示的全景图像710上的每个部分，可以显示索引图像711至715。

图43示出了在显示模块292由触摸面板构成的情况下的索引图像的显示例子。如图所示，如果显示模块292由触摸面板构成，则每个操作输入可通过用户用手指按压期望部分来执行。例如，如果索引图像736被显示在显示模块292上，则用户用手指737按压期望部分。在此情况下，如上所述，可根据被按压的位置来显示索引图像。然而，在上述显示方法中，所显示的索引图像被用户手指737所覆盖，从而可能遮蔽索引图像。因此，在此例子中，所选择的索引图像738根据索引图像的位置被显示在全景图像736上方。这种显示方式使得即使在显示模块292由触摸面板构成的情况下也可对索引图像进行易于查看的显示。应当注意，显示索引图像的位置可以在另一个区域中，例如索引图像下方的部分或者预定的显示区域中。

下面参考附图来详细描述基于索引信息存储模块230中存储的与索引图像相关联的帧号和位置信息来在全景图像中表达图像拍摄时间的例子。

图44示出了其中与索引图像相对应的位置被加框并且每个框的粗细根据图像拍摄时间被改变的例子。该图所示的全景图像与图38至图42所示的全景图像相同。如图44所示，基于索引信息存储模块230中存储的与索引图像相关联的位置信息，显示控制模块291能够在将要显示在图38至图42所示的全景图像上的索引图像的位置处提供框。另外，基于索引信息存储模块230中存储的与索引图像相关联的帧号，显示控制模块291能够改变将要赋予全景图像的框的粗细。例如，如图44所示，与较早拍摄的索引图像相对应的框731可以被加粗，而与较晚拍摄的索引图像相对应的框735则可被细化。应当注意，除了改变框粗细之外，也可以执行其他改变，例如根据图像拍摄时间来改变框颜色、框透过率等等。或者，通过顺序地记录构成与全景图像相对应的运动图像的帧的位置信息和帧号，与每个帧相对应的框显示可基于这些信息项来执行。或者，可以在创建全景图像时为每个帧或索引图像提供框。

此外，可以利用两个或更多个运动图像来创建全景图像。在显示这样创建的全景图像时，可以向全景图像附加表示创建于两个或更多个运动图像的指示符。

图45示出了其中在从两个或更多个运动图像创建的全景图像的附近附加表示创建所用的运动图像的数目的指示符并且显示全景图像的显示例子。例如，表示这些全景图像是从两个运动图像创建而来的指示符764至766被显示在全景图像761至763附近。这里，指示符764至766是按相机数来表示运动图像数目的指示符。在此例子中，指示符表明全景图像是从利用两个相机拍摄的两个运动图像创建而来的。

下面参考附图来描述本发明实施例中图像处理装置100的操作。

图46是表示本发明实施例中图像处理装置100进行的全景图像创建处理的处理过程的流程图。在此例子中，通过在从构成运动图像的起始帧到结束帧的方向上合成每个图像来创建全景图像。

首先，在图像存储器180中分配大于构成运动图像的图像的大小的工作缓冲器(步骤S921)。接下来，获得运动图像存储模块200中存储的运动图像文件并且获得元数据存储模块210中存储的与该运动图像文件相关联的元数据文件(步骤S922)。接下来，对所获得的运动图像文件进行解码以获得作为一帧的当前帧，并且获得与所获得的当前帧相对应的仿射变换参数(步骤S923)。

接下来，判定所获得的当前帧是否是构成运动图像的帧之中的起始帧(步骤S924)。如果发现当前帧是起始帧(步骤S924)，则获得图像存储器180的工作缓冲器中与当前帧相对应的图像的位置信息，并且将该图像(利用单位矩阵来转换的图像)以及该图像的位置信息、帧号“1”和运动图像ID记录到索引信息存储模块230(步骤S925)。在此情况下，存在于从起始帧起的一定区间内的运动图像信息和音频信息被提取并与对应于起始帧的图像相关联地存储在索引信息存储模块230中。接下来，对与起始帧相对应的图像执行透明度转换，并将与起始帧相对应的图像存储在图像存储器180中(步骤S926)。另一方面，如果当前帧不是起始帧(步骤S924)，则过程转到步骤S927。

接下来，利用所获得的仿射变换参数，对与当前帧相对应的图像进行仿射变换(步骤S927)。接下来，对经过仿射变换的当前帧执行透明度转换(步骤S928)。接下来，计算与经过仿射变换的当前帧相对应的图像和索引信息存储模块230中存储的索引图像之间的重叠率(步骤S928)。接下来，判定通过计算获得的重叠率的值是否低于阈值(步骤S930)，如果发现通过计算获得的重叠率的值低于阈值(步骤S930)，则提取存在于从当前帧起的一定区间内的运动图像信息和音频信息(步骤S931)。接下来，获得图像存储器180的工作缓冲器中与当前帧相对应的图像的位置信息，并且将该图像、该图像的位置信息、帧号和运动图像ID以及所提取的运动图像信息和音频信息记录到索引信息存储模块230(步骤S932)。当该记录已结束时(步骤S932)，或者如果通过计算获得的重叠率不低于阈值(步骤S930)，则经过仿射变换和透明度转换的与当前帧相对应的图像被写在与该当前帧之前的帧相对应的每个图像的合成图像上以便合成，并且与对应于该当前帧的图像相合成的图像被存储在图像存储器180中(步骤S933)。

接下来，在构成所输入的运动图像文件的帧之中，判定当前帧是否是结束帧(步骤S934)。如果发现当前帧不是结束帧(步骤S934)，则过程返回到步骤S923以重复合成图像创建处理(步骤S923至S933)。

另一方面，如果发现当前帧是结束帧(步骤S934)，则存储在图像存储器180中的合成图像被输出到全景图像存储模块240以便记录(步骤S935)。接下来，所分配的工作缓冲器被清空(步骤S936)，之后全景图像创建处理结束。

图47是表示本发明实施例中的图像处理装置100进行的全景图像显示处理的处理过程的流程图。在该处理过程中，利用下述例子来进行描述：即，显示全景图像存储模块240中存储的全景图像，通过在该全景图像上移动光标来显示索引图像，并且通过点击操作来再现运动图像和音频。

首先，判定操作接受模块280是否接受到了用于显示全景图像列表显示画面的操作输入(步骤S941)。如果发现接受到了用于显示全景图像列表显示画面的操作输入(步骤S941)，则执行全景图像布置位置判决处理(步骤S950)。应当注意，将参考图48至图50来详细描述该全景图像布置位置判决处理。

接下来，包括布置在所确定的布置位置处的每个全景图像的每个全景图像列表显示画面被显示在显示模块292上(步骤S942)。另一方面，如果发现没有接受到用于显示全景图像列表显示画面的操作输入(步骤S941)，则判定在显示模块292上是否显示了全景图像列表显示画面(步骤S943)。如果发现显示了全景图像列表显示画面(步骤S943)，则过程转到步骤S944；如果发现没有显示全景图像列表显示画面(步骤S943)，则过程返回到步骤S941。

接下来，判定是否执行了指定对显示模块292上示出的全景图像列表显示画面中包括的全景图像的放大/缩小的操作输入(步骤S944)。如果发现执行了指定全景图像列表显示画面中包括的全景图像的放大/缩小的操作输入(步骤S944)，则过程返回到步骤S950，以执行全景图像布置位置判决处理。另一方面，如果发现没有执行指定全景图像列表显示画面中包括的全景图像的放大/缩小的操作输入(步骤S944)，则判定光标是否存在于显示模块292上显示的全景图像上(步骤S945)。如果发现光标没有存在于显示模块292上显示的全景图像上(步骤S945)，则全景图像显示处理的操作结束。

另一方面，如果发现光标存在于显示模块292上显示的全景图像上(步骤S945)，则基于光标的位置选择索引图像(步骤S946)。接下来，将所选择的索引图像显示在全景图像上(步骤S947)。接下来，判定是否在显示索引图像的情况下进行了左点击操作(步骤S948)。如果发现没有进行左点击操作(步骤S948)，则全景图像显示操作的操作结束。这里，如果光标已被移开与所显示的索引图像相对应的位置，则所显示的索引图像被删除。

如果在显示索引图像的情况下进行了左点击操作(步骤S948)，则再现与所显示的索引图像相对应的运动图像信息和音频信息(步骤S949)。应当注意，如果在显示索引图像的情况下进行了双击操作，则从与所显示的索引图像相对应的记录位置起再现运动图像。

图48是表示本发明实施例中的图像处理装置100进行的全景图像显示处理的处理过程之中的全景图像布置位置判决处理(图47所示的步骤S95)的处理过程的流程图。在该处理过程中，利用下述例子来进行描述：即，在放大或缩小每个全景图像以使每个全景图像的垂直宽度恒定之后确定布置位置。

首先，获得全景图像布置区域和显示对象区域的垂直宽度和水平宽度(步骤S951)。接下来，基于所获得的垂直宽度，计算每个全景图像的垂直宽度(步骤S952)。接下来，基于所获得的水平宽度，计算最大水平宽度阈值、水平宽度阈值和换行阈值(步骤S953)。接下来，从全景图像存储模块240中获得一个全景图像(步骤S954)。接下来，所获得的全景图像被放大或缩小以便具有计算出的垂直宽度(步骤S955)。

然后，判定如果作为被放大或缩小的全景图像的对象全景图像被布置到位于在最高行上布置的那些全景图像右端的全景图像的右侧，布置在同一行上的全景图像的水平宽度的总值是否超过水平宽度阈值(步骤S956)。如果发现布置在同一行上的全景图像的水平宽度的总值没有超过水平宽度阈值(步骤S956)，则将当前位置确定为对象全景图像的布置位置(步骤S960)。

另一方面，如果发现布置在同一行上的全景图像的水平宽度的总值超过了水平宽度阈值(步骤S956)，则判定布置在同一行上的全景图像的水平宽度的总值是否超过最大水平宽度阈值(步骤S957)。如果发现布置在同一行上的全景图像的水平宽度的总值超过了最大水平宽度阈值(步骤S957)，则将布置位置改变到当前位置下面一行(步骤S959)，在此之后过程转到步骤S956。另一方面，如果发现布置在同一行上的全景图像的水平宽度的总值没有超过最大水平宽度阈值(步骤S957)，则判定到对象全景图像的左侧为止的全景图像的水平宽度的总值是否超过了换行阈值(步骤S958)。

如果发现到对象全景图像左侧为止的全景图像的水平宽度的总值超过了换行阈值(步骤S958)，则将布置位置改变到当前位置的下一行(步骤S959)，在此之后过程转到步骤S956。如果发现到对象全景图像左侧为止的全景图像的水平宽度的总值没有超过换行阈值(步骤S958)，则确定当前位置为对象全景图像的布置位置(步骤S960)。接下来，判定是否已获得了全景图像存储模块240中存储的所有全景图像(步骤S961)。如果尚未获得全景图像存储模块240中存储的所有全景图像(步骤S961)，则过程返回到步骤S954以重复全景图像布置位置判决处理(步骤S954至S960)。如果已经获得了全景图像存储模块240中存储的所有全景图像(步骤S961)，则全景图像布置位置判决处理的操作结束。

图49是表示本发明实施例中的图像处理装置100进行的全景图像显示处理的处理过程中的全景图像布置位置判决处理(图47所示的步骤S950)的处理过程的流程图。在该处理过程中，是利用下述例子来进行描述的：即，在不改变每个全景图像的大小的情况下确定每个全景图像的布置位置。

首先，获得显示对象区域的大小(步骤S971)。接下来，从全景图像存储模块240中获得一个全景图像(步骤S972)。接下来，计算由作为所获得的全景图像的对象全景图像形成的矩形的大小(步骤S973)。接下来，对象全景图像被布置到具有高优先级的布置位置候选(步骤S974)。

接下来，判定在由布置在布置位置候选处的对象全景图像形成的矩形区域和由布置位置已确定的全景图像形成的矩形区域之间是否存在任何重叠(步骤S975)。如果发现在由布置在布置位置候选处的对象全景图像形成的矩形区域和由布置位置已确定的全景图像形成的矩形区域之间是否存在任何重叠(步骤S975)，则选择具有次高优先级的布置位置(步骤S979)，在此之后过程返回到步骤S975。

如果发现在由布置在布置位置候选处的对象全景图像形成的矩形区域和由布置位置已确定的全景图像形成的矩形区域之间不存在重叠(步骤S975)，则判定布置在布置位置候选处的对象全景图像是否超出了显示对象区域的右端(步骤S976)。如果发现布置在布置位置候选处的对象全景图像超出了显示对象区域的右端(步骤S976)，则过程转到步骤S979。

如果发现布置在布置位置候选处的对象全景图像没有超出显示对象区域的右端(步骤S976)，则判定布置在布置位置候选处的对象全景图像的左下顶点是否存在于布置位置已确定的全景图像的左下顶点的下方并且对象全景图像的左下顶点与显示对象区域的左端接触(步骤S977)。如果布置在布置位置候选处的对象全景图像的左下顶点存在于布置位置已确定的全景图像的左下顶点的下方，并且发现对象全景图像的左下顶点没有与显示对象区域的左端接触(步骤S977)，则过程转到步骤S979。

如果发现布置在布置位置候选处的对象全景图像的左下顶点不存在于布置位置已确定的全景图像的左下顶点的下方，或者对象全景图像的左下顶点没有与显示对象区域的左端接触(步骤S977)，则当前布置位置候选被确定为对象全景图像的布置位置(步骤S978)。接下来，判定是否已经获得了全景图像存储模块240中存储的所有全景图像(步骤S980)。如果尚未获得全景图像存储模块240中存储的所有全景图像(步骤S980)，则过程返回到步骤S972以重复全景图像布置位置判决处理(步骤S972至S979)。如果已经获得了全景图像存储模块240中存储的所有全景图像(步骤S980)，则全景图像布置位置判决处理的操作结束。

图50是表示本发明实施例中的图像处理装置100进行的全景图像显示处理的处理过程中的全景图像布置位置判决处理(图47所示的步骤S950)的处理过程的流程图。除了图49所示的处理过程中的步骤S991和S992之外，此处理过程与图49所示的处理过程相同。因此，以下描述省略除步骤S991和S992之外的处理过程。

如果在由布置在布置位置候选处的对象全景图像形成的矩形区域和由布置位置已确定的全景图像形成的矩形区域之间发现重叠(步骤S975)，或者如果布置在布置位置候选处的对象全景图像超出了显示对象区域的右端(步骤S976)，或者布置在布置位置候选处的对象全景图像的左下顶点存在于布置位置已确定的全景图像的左下顶点的下方并且发现对象全景图像的左下顶点没有与显示对象区域的左端接触(步骤S977)，则判定是否在对象全景图像的旋转处理之后在当前布置位置候选处执行了全景图像布置位置判决处理(步骤S975至S977)；如果发现未在旋转处理后在当前布置位置候选处执行全景图像布置位置判决处理，则对对象全景图像执行旋转处理(步骤S992)，在此之后过程返回到步骤S975。例如，对象全景图像被旋转90度。

下面参考附图详细描述本发明实施例中的多核处理器进行的特征点提取处理和光学流计算处理。

图51是本发明实施例中的多核处理器800的示例性配置。多核处理器800其中不同类型的两个或更多个处理器核心被安装在一个CPU(中央处理单元)上的处理器。即，为了维持每个分立的处理器核心的处理性能并且实现简单的配置，多核处理器800具有两类处理器核心，一种类型用于应对所有用途(应用)，另一种类型在某种程度上针对预定用途被优化。

多核处理器800具有控制处理器核心801、算术处理器核心(#1)811至(#8)818、以及总线802，并且连接到主存储器781。另外，多核处理器800连接到其他设备，例如图形设备782和/或I/O设备783。对于多核处理器800，可以使用“Cell(Cell Broadband Engine，单元宽带引擎)”等等，其中“Cell”是由本申请人开发的微处理器。

控制处理器核心801例如是主要执行诸如操作***之类的频繁线程切换的控制处理器核心。应当注意，参考图52来详细描述控制处理器核心801。

算术处理器核心(#1)811至(#8)818是擅长多媒体处理的简单小型算术处理器核心。应当注意，参考图53来详细描述算术处理器核心(#1)811至(#8)818。

总线802是被称为EIB(元件互连总线)的快速总线，控制处理器核心801和算术处理器核心(#1)811至(#8)818中的每一个被连接到该快速总线，处理器核心进行的数据访问是经由总线802执行的。

连接到总线802的主存储器781存储将被加载到每个处理器核心中的各种程序以及每个处理器核心的处理所必需的数据和每个处理器核心所处理的数据。

图形设备782是连接到总线802的图形设备，并且I/O设备783是连接到总线802的输入/输出设备。

图52示出了本发明实施例中的控制处理器核心801的示例性配置。控制处理器核心801具有控制处理器单元803和控制处理器存储***806。

控制处理器单元803是提供用于执行控制处理器核心801的算术运算处理的核心的单元，具有基于微处理器的体系结构的指令集，并且具有作为主缓存的指令缓存804和数据缓存805。例如，指令缓存804是32KB指令缓存，数据缓存805是32KB数据缓存。

控制处理器存储***806是用于控制从控制处理器单元803到主存储器781的数据访问的单元，并且具有用于加速从控制处理器单元803对存储器的访问的次级缓存807。

图53示出了本发明实施例中的算术处理器核心(#1)811的示例性配置。算术处理器核心(#1)811具有算术处理器单元820和存储器流控制器822。应当注意，算术处理器核心(#2)812至算术处理器核心(#8)818在配置上与算术处理器核心(#1)811相同，因此省略对这些算术处理器核心的描述。

算术处理器单元820是提供用于算术处理器核心(#1)811的算术处理的核心的单元，并且具有不同于控制处理器核心801的控制处理器单元803的指令集的独立指令集。另外，算术处理器单元820具有局部存储部分(LS：局部存储部分)821。

局部存储部分821是专用于算术处理器单元820存储器，并且是唯一一个可从算术处理器单元820直接访问的存储器。至于局部存储部分821，例如可以使用存储大小为256K字节的存储器。应当注意，为了使算术处理器单元820能够访问主存储器781或其他算术处理器核心(算术处理器核心(#2)812至(#8)818)上的局部存储部分，算术处理器单元820必须使用存储器流控制器822。

存储器流控制器822是用于与主存储器781和其他算术处理器核心传送数据的单元，并且被称为MFC(存储器流控制器)。这里，算术处理器单元820经由被称为通道的接口来请求存储器流控制器822进行数据传送等等。

至于上述的多核处理器800的编程模型，提出了各种模型。至于这些编程模型中的最基本模型，已知这样一种模型，其中，主程序在控制处理器核心801上执行，子程序在算术处理器核心(#1)811至(#8)818上执行。在本发明的实施例中，参考附图详细描述使用该模型的多核处理器800的算术运算方法。

图54示意性地示出本发明实施例中的多核处理器800的算术运动方法。在该例子中，在控制处理器核心801利用数据785来执行任务784时，每个算术处理器核心利用作为任务784的一部分的任务786的处理所必需的数据787(数据785的一部分)来执行任务786。

如图所示，如果控制处理器核心801利用数据785来执行任务784，则每个算术处理器核心利用作为任务784的一部分的任务786的处理所必需的数据787(数据785的一部分)来执行任务786。在本发明的实施例中，算术运算处理是由每个算术处理器核心针对构成运动图像的每个帧执行的。

如图所示，多核处理器800进行的算术运算使得对算术处理器核心(#1)811至(#8)818的并行使用可以在相对较短的时间中执行相对大量的算术运算，并且在算术处理器核心(#1)811至(#8)818上使用SIMD(单指令/多数据)运算使得可以利用少量指令来执行相对大量的算术运算。应当注意，参考图58至图61来详细描述SIMD运算。

图55示意性地示出了在本发明实施例中的多核处理器800进行的算术运算中的程序和数据流。这里，在算术处理器核心(#1)811至(#8)818之中，算术处理器核心(#1)811被用作描述例子；同样的情况对算术处理器核心(#2)812至(#8)818也成立。

首先，控制处理器核心801向算术处理器核心(#1)811发送指令，以将主存储器781中存储的算术处理器核心程序823加载到算术处理器核心(#1)811的局部存储部分821中。结果，算术处理器核心(#1)811将主存储器781中存储的算术处理器核心程序823加载到局部存储部分821中。

接下来，控制处理器核心801指示算术处理器核心(#1)811执行局部存储部分821中存储的算术处理器核心程序825。

接下来，算术处理器核心(#1)811将局部存储部分821中存储的算术处理器核心程序825的执行所必需的数据824从主存储器781传送到局部存储部分821。

接下来，基于局部存储部分821中存储的算术处理器核心程序825，算术处理器核心(#1)811操纵从主存储器781传送来的数据826，并且根据条件执行处理，从而将处理结果存储到局部存储部分821中。

接下来，算术处理器核心(#1)811将基于局部存储部分821中存储的算术处理器核心程序825执行处理的结果从局部存储部分821传送到主存储器781。

接下来，算术处理器核心(#1)811通知控制处理器核心801：算术运算处理结束。

下面参考附图来详细描述利用多核处理器800执行的SIMD算术运算。这里，SIMD算术运算指的是用于利用一个指令来执行两条或更多条数据的处理的算术运算方法。

图56(a)示意性地示出了用于利用各个指令来执行两条或更多条数据的处理的算术运算方法的概况。图56(a)所示的算术运算方法是普通算术运算方法，其例如被称为标量算术运算。例如，用于将数据“A1”与数据“B1”相加的指令提供处理结果数据“C1”。另外，以相同的方式执行其他三个算术运算；即，通过加法指令将同一列中的数据“A2”、“A3”和“A4”分别与同一列中的数据“B2”、“B3”和“B4”相加，从而提供数据“C2”、“C3”和“C4”作为处理结果。从而，在标量运算中，对两条或更多条数据的处理要求发出各自的指令。

图56(b)示意性地示出了用于利用单个指令来执行两条或更多条数据的处理的SIMD算术运算的概况。这里，用于SIMD算术运算的数据的集合(由点线827和828包围的那些数据)有时被称为向量数据。并且利用这种向量数据来执行的SIMD算术运算可被称为向量运算。

例如，用于将由点线827包围的向量数据(“A1”、“A2”、“A3”和“A4”)与由点线828包围的向量数据(“B1”、“B2”、“B3”和“B4”)相加的单个指令提供了处理结果“C1”、“C2”、“C3”和“C4”(由点线829包围的数据)。从而，在SIMD运算中，对两条或更多条数据的处理可利用单个指令来执行，从而高速地执行了算术运算处理。另外，与这些SIMD运算相关联的指令是由多核处理器800的控制处理器核心801执行的，并且该指令的两条或更多条数据的算术运算处理是由算术处理器核心(#1)811至(#8)818并行执行的。

另一方面，例如，SIMD运算无法执行诸如以下处理：数据“A”和“B1”的加法，数据“A2”和“B2”的减法，数据“A3”和“B3”的乘法，以及数据“A4”和“B4”的除法。即，无法执行这样的由SIMD运算进行的处理，其中，对两条或更多条数据执行不同类型的处理。

下面参考附图详细描述在执行特征点提取处理和光学流计算处理时的SIMD运算的具体算术运算方法。

图57示出了本发明实施例中的控制处理器核心801或算术处理器核心(#1)811执行的程序的示例性配置。这里，只图示出算术处理器核心(#1)811；在算术处理器核心(#2)812至(#8)818中也执行相同的处理。

控制处理器核心801将解码852执行为解码851、交织853和调整大小854。解码852是对运动图像文件解码的处理。交织853是为每个经解码的帧去除交织的处理。调整大小854是缩小每个被去除了交织的帧的处理。

另外，作为算术处理器核心管理856，控制处理器核心801执行发送指令857和859以及接收结束通知858和860。发送指令857和859是为算术处理器核心(#1)811至(#8)818发送SIMD运算执行指令的处理，并且接收结束通知858和860是针对上述指令从算术处理器核心(#1)811至(#8)818接收SIMD运算的结束通知的处理。此外，作为摄影技法检测861，控制处理器核心801执行摄影技法参数计算处理862。摄影技法参数计算处理862是基于通过算术处理器核心(#1)811至(#8)818进行的SIMD运算所计算出的光学流来为每个帧计算仿射变换参数的处理。

作为特征点提取处理863，算术处理器核心(#1)811执行Sobel滤波处理864、第二矩量矩阵计算处理865、可分离滤波处理866、CalcHarris处理867、膨胀处理868、以及排序处理869。

Sobel滤波处理864是计算利用P2滤波器(x方向)获得的x方向值dx和利用Y方向滤波器获得的y方向值的处理。应当注意，参考图58至图61来详细描述x方向值dx的计算。

第二矩量矩阵计算处理是利用由Sobel滤波处理864计算出的dx和dy来计算dx²、dy²和dx·dy的处理。

可分离滤波处理866是向由第二矩量矩阵计算处理865计算出的dx²、dy²和dx·dy的图像应用高斯滤波(模糊处理)的处理。

Calc Harris处理867是利用被可分离滤波处理866应用了模糊处理的值dx²、dy²和dx·dy的来计算Calc Harris得分的处理。该CalcHarris得分S例如是按下式来计算的。

S＝(dx²×dy²-dx·dy×dx·dy)/dx²+dy²+ε)

膨胀处理器868是向由Calc Harris处理867计算出的CalcHarris得分构成的图像执行模糊处理的处理。

排序处理869是按由Calc Harris处理867计算出的Calc Harris得分的降序对像素排序、从较高得分起选出预定数目的像素，并且提取所选出的点作为特征点的处理。

作为光学流计算处理，算术处理器核心(#1)811执行金字塔图像(pyramid image)制作处理871和calc光学流处理872。

多重分辨率图像制作处理871是从利用相机拍摄图像时的图像大小顺序创建被减小预定数目的梯级的图像的处理，所创建的图像被称为多重分辨率图像。

calc光学流处理872是这样的处理：为由金字塔图像制作处理871创建的多重分辨率图像之中的最小图像计算光学流，利用该计算的结果为在分辨率上高一个梯级的图像再次计算光学流，并且重复此操作直到最后的图像。

从而，例如，对于由图2所示的特征点提取单元121等等执行的特征点提取处理以及由光学流计算单元122执行的光学流计算处理，可以利用多核处理器800利用SIMD运算执行并行处理来获得处理结果。应当注意，图57等等示出的特征点提取处理和光学流计算处理只是说明性的，因此多核处理器800进行的SIMD运算可以利用对构成运动图像的图像进行的各类滤波处理和阈值处理所构成的其他处理来执行。

图58示出了在本发明实施例中利用Sobel滤波器830对主存储器781中存储的图像数据(对应于构成利用相机拍摄的运动图像的一帧的图像数据)进行滤波处理的情况下的数据结构和处理流程的概况。应当注意，图中所示的主存储器781中存储的图像数据是以简化的形式示出的，其中水平像素的数目为32。另外，Sobel滤波器830是3×3边缘提取滤波器。如图所示，主存储器781中存储的图像数据被Sobel滤波器830滤波并且滤波处理结果被输出。该例子是利用其中利用SIMD运算一次获得四个滤波结果的例子来描述的。

图59示出了在本发明实施例中利用Sobel滤波器830对主存储器781中存储的图像数据执行SIMD运算的情况下的数据流程的概况。首先，包括主存储器781中存储的图像数据的第一行在内的预定数目的行(例如，3行)被DMA(直接存储器访问)传送到算术处理器核心的局部存储部分821的第一缓冲器831，并且通过对被DMA传送到第一缓冲器831的每一行进行移位来获得的预定数目的行被DMA传送到第二缓冲器832。从而，使用双缓冲器可以掩饰由DMA传送引起的延迟。

图60示出了向量创建方法的概况，其中在本发明实施例中利用Sobel滤波器830执行滤波处理时，从第一缓冲器831中存储的图像数据创建九个向量。如图59所示，在DMA传送后，从第一缓冲器831中存储的图像数据创建九个向量。更具体而言，在第一缓冲器中存储的图像数据的第1行中，从左侧起的四条数据创建向量数据841，从通过使前四条数据向右移一位而获得的四条数据创建向量数据842，并且从通过使前四条数据向右移一位而获得的四条数据创建向量数据843。另外，对于第2行和第3行，同样地，从四条数据创建向量数据844至849。

图61示出在本发明实施例中利用Sobel滤波器830进行滤波处理时利用SIMD指令对向量数据841至849执行向量计算的向量计算方法的概况。更具体而言，对向量数据841至843顺序地执行SIMD运算以获得向量A。在该SIMD运算中，首先执行SIMD运算“‘-1’ב向量数据841’”。接下来，执行SIMD运算“‘0’ב向量数据842’”，并且执行SIMD运算“‘1’ב向量数据843’”。这里，至于“‘0’ב向量数据842’”，运算结果已经被确定为“0”，因此该运算可被省略。至于“‘1’ב向量数据843’”，运算结果已被确定为与“向量数据843”相同，因此该运算可被省略。

接下来，通过SIMD运算来执行运算结果“‘-1’ב向量数据841’”和运算结果“‘0’ב向量数据842’”之间的加法处理。接下来，通过SIMD运算来执行该加法处理的结果和运算结果“‘1’ב向量数据843’”之间的加法处理。这里，例如，可以通过SIMD运算来执行数据结构为“向量数据1”ד向量数据2”+“向量数据3”的计算。因此，对于向量A的计算，可以省略例如用于“‘0’ב向量数据842’”和“‘1’ב向量数据843’”的SIMD运算，并且可以利用一次SIMD运算来执行“‘-1’ב向量数据841’+‘向量数据843’”。

另外，同样地，对向量数据844至846执行SIMD运算以获得向量B，并且对向量数据847至849执行SIMD运算以获得向量C。

接下来，对通过SIMD运算获得的向量A至C执行SIMD运算以获得向量D。从而，执行SIMD运算可以提供对相当于向量元素数目(在此例子中是四条数据)的结果的集中获取。

在计算向量D之后，通过将要取出的数据的位置向右移动一位，来对图59所示的第一缓冲器831中存储的图像的数据重复同样的处理，从而顺序地执行对每个数据的向量D的计算。另外，当已完成直到图59所示的第一缓冲器831中存储的图像数据的右端为止的处理时，将处理结果DMA传送到主存储器781。

接下来，在主存储器781中存储的图像数据之中，通过将传送到第二缓冲器832的行向下移动一行而获得的预定数目的行被DMA传送到第一缓冲器831，并且上述处理对第二缓冲器832中存储的图像数据重复。然后，重复同样的处理，直到达到主存储器781中存储的图像数据的行之中的最下端行为止。

同样地，通过利用SIMD运算来执行特征点提取和光学流计算中的大部分处理，可以实现高速图像处理。

图62按时间顺序示出了本发明实施例中的摄影技法参数计算处理的概况。如上所述，例如，利用多核处理器800来执行SIMD运算允许了对运动图像的解码和分析处理的并行执行。因此，可以使对构成运动图像的一帧的分析时间短于解码时间。

例如，在该图中，t1表示控制处理器核心801执行构成运动图像的一帧的解码处理所需的时间，t2表示算术处理器核心(#1)811至(#8)818执行构成运动图像的一帧的特征点提取处理的时间，t3表示算术处理器核心(#1)811至(#8)818执行构成运动图像的一帧的光学流计算处理所需的时间，并且t4表示控制处理器核心801执行构成运动图像的一帧的摄影技法参数检测处理的时间。应当注意，t5表示算术处理器核心(#1)811至(#8)818执行构成运动图像的一帧的摄影技法检测处理所需的时间。另外，t6表示控制处理器核心801执行算术处理器核心(#1)811至(#8)818的管理所需的时间。例如，t1可被设为“25.0ms”，t2可被设为“7.9ms”，t3可被设为“6.7ms”，t4可被设定为“1.2ms”，并且t5可被设定为“15.8ms”。

下面参考附图详细描述在本发明的实施例中利用元数据文件对运动图像内容的再现。

图63(a)是示意性地示出作为记录介质的一个例子的蓝光盘(注册商标)880的顶视图，图63(b)示意性地示出了记录到蓝光盘880的数据881至884。记录到蓝光盘880的有作为利用相机等等拍摄的运动图像的运动图像内容882、运动图像内容882的字幕883，以及通过分析运动图像内容882而获得的元数据(例如，图3至图5中所示的每项信息)，以及与本发明实施例中的运动图像再现相关联的Java(注册商标)程序881。

图63(c)示意性地示出了能够再现蓝光盘880的蓝光盘再现机(蓝光盘播放器)890的内部配置。这里，能够再现蓝光盘的蓝光盘再现机890能够执行Java(注册商标)程序，因为Java(注册商标)VM(Java(注册商标)虚拟机)和库893作为标准与CPU 891和OS892一起被安装。因此，将蓝光盘880加载在蓝光盘再现机890上允许了蓝光盘再现机890加载Java(注册商标)程序881以便执行。因此，在本发明的实施例中，当再现运动内容882时，蓝光盘再现机890可以显示与运动图像相对应的全景图像并且从两个或更多个运动图像中搜索运动图像。即，本发明实施例中的运动图像再现可以全都实现在蓝光再现机上，而无需使用专用的PC软件等等。

如上所述，根据本发明的实施例，在查看利用图像拍摄装置拍摄的运动图像时，可以显示与运动图像相对应的全景图像，从而使得能够很容易了解每个运动图像的内容。另外，在从两个或更多个运动图像中搜索期望的运动图像时，可以参考全景图像的列表来进行搜索，从而使得可以迅速搜索期望的运动图像。另外，将光标移动到全景图像上的给定位置就可以显示与光标位置相对应的索引图像，从而使得能够很容易了解运动图像的内容。另外，将从运动图像中提取的索引图像在空间上布置到用于显示的全景图像上使得可以很容易地再现运动图像再现位置。从而，可以利用索引图像来进行搜索，因此可以指定一个运动图像中的期望帧在图像拍摄空间中的位置，以便搜索该期望帧。此外，在创建全景图像时，为了合成全景图像，根据图像拍摄时间来转换图像的颜色信息，从而可以通过全景图像来很容易地了解整个运动图像的时间轴。

另外，根据本发明的实施例，基于多核处理器利用SIMD运算来计算仿射变换参数，从而可以在对一帧解码的处理时间内计算一帧的仿射变换参数。因此，可以高速地执行全景图像的创建和索引图像的提取。

应当注意，合成图像可被记录到记录介质等等以便用于其他再现显示操作中。另外，在本发明的实施例中，已经描述了利用预先计算的仿射变换参数来执行图像合成的例子；也可以在图像合成时计算仿射变换参数并且利用这些计算出的仿射变换参数来执行图像合成。

另外，在本发明的实施例中，已经描述了通过对构成所输入的运动图像文件的所有帧重复合成图像创建处理来创建合成图像的例子；也可以通过对构成所输入的运动图像文件的帧之中的至少一定数目的帧重复合成图像创建处理来创建合成图像并将所创建的合成图像记录到全景图像存储模块240中。

另外，在本发明的实施例中，作为例子已经描述了用于将合成图像或索引图像显示在显示模块上的图像处理装置；也可以将本发明的实施例应用到这样的图像处理装置：该图像处理装置具有图像输出装置，用于将用来显示合成图像或索引图像的图像信息输出到其他图像处理装置。另外，本发明的实施例也适用于能够再现运动图像的运动图像再现装置和诸如数字摄像机之类的能够再现所拍摄的运动图像的图像拍摄装置。

另外，在本发明的实施例中，作为例子已经描述了图像处理装置；也可以将本发明的实施例应用到能够再现运动图像的运动图像再现装置等等。另外，在本发明的实施例中，已经描述了利用相机拍摄的运动图像；也可以将本发明的实施例应用到经过编辑的运动图像(在利用相机拍摄的运动图像已被编辑的情况下)以及部分合成了动画等等的运动图像。

另外，在本发明的实施例中，已经描述了由索引图像提取模块190进行了仿射变换的图像被提取作为索引图像并且该索引图像被显示的例子；也可以将被仿射变换前的图像提取作为索引图像并且显示该索引图像。

应当注意，虽然已经利用具体术语描述了在权利要求的范围内的与发明特定事项有关的本发明的优选实施例，但这种描述仅仅出于说明目的，应当了解，在不脱离以下权利要求的精神或范围的情况下可以进行改变和变化。

即，在权利要求1中，运动图像存储装置例如对应于运动图像存储模块200。转换信息存储装置例如对应于元数据存储模块210。另外，图像保存装置例如对应于图像存储器180。另外，图像转换装置例如对应于图像转换模块150。另外，图像合成装置例如对应于图像合成模块170。另外，索引图像提取装置例如对应于索引图像提取模块190。另外，显示控制装置例如对应于显示控制模块291。另外，操作接受装置例如对应于操作接受模块280。另外，选择装置例如对应于选择模块270。

另外，在权利要求2中，索引信息存储装置例如对应于索引信息存储模块230。

另外，在权利要求7中，给定区间信息提取装置例如对应于给定区间运动图像音频信息提取模块250。另外，索引图像存储装置例如对应于索引信息存储模块230。

另外，在权利要求8中，给定区间信息提取装置例如对应于给定区间运动图像音频信息提取模块250。另外，索引图像存储装置例如对应于索引信息存储模块230。另外，音频控制装置例如对应于音频控制模块293。

另外，在权利要求9中，运动图像存储装置例如对应于运动图像存储模块200。另外，转换信息存储装置例如对应于元数据存储模块210。另外，图像保存装置例如对应于图像存储器180。另外，图像转换装置例如对应于图像转换模块150。另外，颜色信息转换装置例如对应于透明度转换模块160。图像合成装置例如对应于图像合成模块170。另外，显示控制装置例如对应于显示控制模块291。

另外，在权利要求11中，运动图像存储装置例如对应于运动图像存储模块200。另外，转换信息存储装置例如对应于元数据存储模块210。另外，图像保存装置例如对应于图像存储器180。另外，图像转换装置例如对应于图像转换模块150。另外，图像合成装置例如对应于图像合成模块170。另外，代表性图像存储装置例如对应于全景图像存储模块240。另外，位置判决装置例如对应于全景图像布置位置判决模块260。另外，显示控制装置例如对应于显示控制模块291。

另外，在权利要求12中，运动图像输入装置例如对应于运动图像输入模块110。另外，转换信息计算装置例如对应于摄影技法检测模块120。另外，图像保存装置例如对应于图像存储器180。另外，图像转换装置例如对应于图像转换模块150。另外，图像合成装置例如对应于图像合成模块170。另外，索引图像提取装置例如对应于索引图像提取模块190。另外，显示控制装置例如对应于显示控制模块291。另外，操作接受装置例如对应于操作接受模块280。另外，选择装置例如对应于选择模块270。

另外，在权利要求13中，运动图像存储装置例如对应于运动图像存储模块200。另外，转换信息存储装置例如对应于元数据存储模块210。另外，图像保存装置例如对应于图像存储器180。另外，图像转换装置例如对应于图像转换模块150。另外，图像合成装置例如对应于图像合成模块170。另外，索引图像提取装置例如对应于索引图像提取模块190。另外，显示控制装置例如对应于显示控制模块291。另外，操作接受装置例如对应于操作接受模块280。另外，选择装置例如对应于选择模块270。

另外，在权利要求14或15中，图像转换过程例如对应于步骤S927。另外，图像合成过程例如对应于步骤S933。另外，索引图像提取过程例如对应于步骤S929、S930和S932。另外，操作接受过程例如对应于步骤S945。另外，选择过程例如对应于步骤S946。另外，用于将索引图像与代表性图像一起显示的过程例如对应于步骤S947。

应当注意，在本发明的实施例中描述的处理过程可被理解为具有这些过程的序列的方法或者用于使计算机执行这些过程的序列的程序或者记录该程序的记录介质。

Claims (15)

1.一种图像处理装置，包括：

运动图像存储装置，用于存储利用图像拍摄装置拍摄的拍摄运动图像；

转换信息存储装置，用于将用来以构成所述拍摄运动图像的拍摄图像中的至少一个拍摄图像为基准转换另一拍摄图像的转换信息与每个拍摄图像相关联地存储；

图像保存装置，用于保存日志图像；

图像转换装置，用于基于所述转换信息来转换与所述转换信息相关联的拍摄图像；

图像合成装置，用于将转换后的拍摄图像与所述日志图像进行合成以将得到的新日志图像存储在所述图像保存装置中；

索引图像提取装置，用于基于所述拍摄运动图像的索引图像在由所述转换信息限定的图像拍摄空间中的坐标位置和大小，从通过对所述转换后的拍摄图像中的至少一个进行转换而获得的所述转换后的拍摄图像之中提取新的索引图像作为所述拍摄运动图像的索引图像；

显示控制装置，用于将所述日志图像作为指示所述拍摄运动图像的代表性图像来进行显示；

操作接受装置，用于接受选择所述所选择的代表性图像上的某个位置的选择操作；以及

选择装置，用于基于所述所选择的代表性图像上的某个位置来选择所述所提取的索引图像；

其中，所述显示控制装置将所述所选择的索引图像与所述代表性图像一起显示。

2.根据权利要求1所述的图像处理装置，还包括：

索引信息存储装置，用于将所述所提取的索引图像和所述索引图像的坐标位置和大小彼此相关联地存储。

3.根据权利要求2所述的图像处理装置，其中，基于所述索引信息存储装置中存储的索引图像的坐标位置和大小，所述显示控制装置将所述所选择的索引图像重叠显示在所述代表性图像上与所述所选择的索引图像相对应的位置处。

4.根据权利要求2所述的图像处理装置，其中，所述索引图像提取装置计算所述转换后的拍摄图像和所述索引信息存储装置中存储的索引图像之间的重叠率，并且基于所述计算出的重叠率来提取所述索引图像。

5.根据权利要求2所述的图像处理装置，其中，所述显示控制装置基于所述索引信息存储装置中存储的索引图像的坐标位置和大小，在所述代表性图像上与所述所提取的索引图像相对应的位置处显示表示所述索引图像的位置的标记。

6.根据权利要求5所述的图像处理装置，其中，所述显示控制装置根据所述所提取的索引图像在所述拍摄运动图像中的记录位置来改变所述标记的类型以便显示。

7.根据权利要求1所述的图像处理装置，还包括：

给定区间信息提取装置，用于提取存在于包括所述所提取的索引图像的所述拍摄运动图像的给定区间内的运动图像信息；以及

索引信息存储装置，用于将所述所提取的索引图像和与所述索引图像相对应地提取的存在于给定区间内的所述运动图像信息彼此相关联地存储；

其中，如果显示所述运动图像信息的指令操作被所述操作接受装置所接受，则所述显示控制装置显示所述索引信息存储装置中与所述所选择的索引图像相关联地存储的运动图像信息。

8.根据权利要求1所述的图像处理装置，所述运动图像存储装置将拍摄运动图像与音频信息相关联地存储，所述图像处理装置还包括：

给定区间信息提取装置，用于提取存在于包括所述所提取的索引图像的所述拍摄运动图像的给定区间内的音频信息；

索引信息存储装置，用于将所述所提取的索引图像和与所述索引图像相对应地提取的存在于给定区间内的所述音频信息彼此相关联地存储；以及

音频控制装置，用于在输出所述索引信息存储装置中与所述所选择的索引图像相关联地存储的音频信息的指令操作被所述操作接受装置所接受的情况下输出所述音频信息。

9.一种图像处理装置，包括：

运动图像存储装置，用于存储利用图像拍摄装置拍摄的拍摄运动图像；

转换信息存储装置，用于将用来以构成所述拍摄运动图像的拍摄图像中的至少一个拍摄图像为基准转换另一拍摄图像的转换信息与每个拍摄图像相关联地存储；

图像保存装置，用于保存日志图像；

图像转换装置，用于基于所述转换信息来转换与所述转换信息相关联的拍摄图像；

颜色信息转换装置，用于根据所述拍摄图像在所述拍摄运动图像中的记录位置来转换所述转换后的拍摄图像中的颜色信息；

图像合成装置，用于合成经过颜色转换的所述拍摄图像并且将得到的新日志图像保存在所述图像保存装置中；以及

显示控制装置，用于将所述日志图像作为表示所述拍摄运动图像的代表性图像进行显示。

10.根据权利要求9所述的图像处理装置，其中，所述颜色信息转换装置根据所述拍摄图像在所述拍摄运动图像中的记录位置来转换所述转换后的拍摄图像中的透明度。

11.一种图像处理装置，包括：

运动图像存储装置，用于存储利用图像拍摄装置拍摄的多个拍摄运动图像；

转换信息存储装置，用于将用来以构成所述拍摄运动图像的拍摄图像中的至少一个拍摄图像为基准转换另一拍摄运动图像的转换信息与每个拍摄图像相关联地存储；

图像保存装置，用于保存日志图像；

图像转换装置，用于基于所述转换信息来转换与所述转换信息相关联的拍摄图像；

图像合成装置，用于将转换后的拍摄图像与所述日志图像相合成并且将得到的新日志图像保存在所述图像保存装置中；

代表性图像存储装置，用于将所述日志图像存储为表示所述运动图像的代表性图像；

显示位置判决装置，在由用于显示所述代表性图像存储装置中存储的代表性图像的列表的显示区域所标识的近似矩形中，令所述近似矩形的一端为第一端并且与所述第一端相接触的另一端为第二端，于是，当所述代表性图像在以所述第一端为具有高优先级的布置位置的情况下被顺序地布置并且作为要被进行布置确定的代表性图像的对象代表性图像被布置在另一已布置的代表性图像旁边时，如果每个已布置的代表性图像的与所述第一端相反的那端与所述第一端的最大距离短于所述对象代表性图像的与所述第一端相反的那端与所述第一端的最大距离，则所述显示位置判决装置将所述对象代表性图像的一端与所述第二端相接触的位置确定为所述对象代表性图像的布置位置；以及

显示控制装置，用于将所述每个代表性图像显示在所述所确定的显示位置处。

12.一种图像处理装置，包括：

运动图像输入装置，用于输入利用图像拍摄装置拍摄的运动图像作为拍摄运动图像；

转换信息计算装置，用于为构成所述拍摄运动图像的拍摄图像中的每个拍摄图像计算用来以构成所述拍摄运动图像的拍摄图像中的至少一个拍摄图像为基准转换另一拍摄图像的转换信息；

图像保存装置，用于保存日志图像；

图像转换装置，用于基于所述转换信息来转换与所述转换信息相关联的拍摄图像；

图像合成装置，用于将转换后的拍摄图像与所述日志图像相合成并将得到的新日志图像保存在所述图像保存装置中；

索引图像提取装置，用于基于所述拍摄运动图像的索引图像在由所述转换信息限定的图像拍摄空间中的坐标位置和大小，从通过对所述转换后的拍摄图像中的至少一个进行转换而获得的所述转换后的拍摄图像之中提取新的索引图像作为所述拍摄运动图像的索引图像；

显示控制装置，用于将所述日志图像作为表示所述拍摄运动图像的代表性图像进行显示；

操作接受装置，用于接受选择所述所选择的代表性图像上的某个位置的选择操作；以及

选择装置，用于基于所述所选择的代表性图像上的某个位置来选择所述所提取的索引图像；

其中，所述显示控制装置将所述所选择的索引图像与所述代表性图像一起显示。

13.一种图像再现装置，包括：

运动图像存储装置，用于存储利用图像拍摄装置拍摄的拍摄运动图像；

转换信息存储装置，用于将用来以构成所述拍摄运动图像的拍摄图像中的至少一个拍摄图像为基准转换另一拍摄图像的转换信息与每个拍摄图像相关联地存储；

图像保存装置，用于保存日志图像；

图像转换装置，用于基于所述转换信息来转换与所述转换信息相关联的拍摄图像；

图像合成装置，用于将转换后的拍摄图像与所述日志图像相合成以将得到的新日志图像存储在所述图像保存装置中；

索引图像提取装置，用于基于所述拍摄运动图像的索引图像在由所述转换信息限定的图像拍摄空间中的坐标位置和大小，从通过对所述转换后的拍摄图像中的至少一个进行转换而获得的所述转换后的拍摄图像之中提取新的索引图像来作为所述拍摄运动图像的索引图像；

显示控制装置，用于将所述日志图像作为表示所述拍摄运动图像的代表性图像来进行显示；

操作接受装置，用于接受选择所述所选择的代表性图像上的某个位置的选择操作；以及

选择装置，用于基于所述所选择的代表性图像上的某个位置来选择所述所提取的索引图像；

其中，所述显示控制装置将所述所选择的索引图像与所述代表性图像一起显示。

14.一种图像处理装置中的图像处理方法，该图像处理装置具有用于存储利用图像拍摄装置拍摄的拍摄运动图像的运动图像存储装置，用于将用来以构成所述拍摄运动图像的拍摄图像中的至少一个拍摄图像为基准转换另一拍摄图像的转换信息与每个拍摄图像相关联地存储的转换信息存储装置，以及用于保存日志图像的图像保存装置，所述图像处理方法包括：

图像转换过程，用于基于所述转换信息来转换与所述转换信息相关联的拍摄图像；

图像合成过程，用于将转换后的拍摄图像与所述日志图像相合成以将得到的新日志图像存储在所述图像保存装置中；

索引图像提取过程，用于基于所述拍摄运动图像的索引图像在由所述转换信息限定的图像拍摄空间中的坐标位置和大小，从通过对所述转换后的拍摄图像中的至少一个进行转换而获得的所述转换后的拍摄图像之中提取新的索引图像作为所述拍摄运动图像的索引图像；

用于将所述日志图像作为表示所述拍摄运动图像的代表性图像来进行显示的过程；

操作接受过程，用于接受选择所述所选择的代表性图像上的某个位置的选择操作；

选择过程，用于基于所述所选择的代表性图像上的某个位置来选择所述所提取的索引图像；以及

用于将所述所选择的索引图像与所述代表性图像一起显示的过程。

15.一种用于使计算机在图像处理装置中执行以下过程的程序，其中该图像处理装置具有用于存储利用图像拍摄装置拍摄的拍摄运动图像的运动图像存储装置，用于将用来以构成所述拍摄运动图像的拍摄图像中的至少一个拍摄图像为基准转换另一拍摄图像的转换信息与每个拍摄图像相关联地存储的转换信息存储装置，以及用于保存日志图像的图像保存装置：

图像转换过程，用于基于所述转换信息来转换与所述转换信息相关联的拍摄图像；

图像合成过程，用于将转换后的拍摄图像与所述日志图像相合成以将得到的新日志图像存储在所述图像保存装置中；

索引图像提取过程，用于基于所述拍摄运动图像的索引图像在由所述转换信息限定的图像拍摄空间中的坐标位置和大小，从通过对所述转换后的拍摄图像中的至少一个进行转换而获得的所述转换后的拍摄图像之中提取新的索引图像作为所述拍摄运动图像的索引图像；

用于将所述日志图像作为表示所述拍摄运动图像的代表性图像来进行显示的过程；

操作接受过程，用于接受选择所述所选择的代表性图像上的某个位置的选择操作；

选择过程，用于基于所述所选择的代表性图像上的某个位置来选择所述所提取的索引图像；以及

用于将所述所选择的索引图像与所述代表性图像一起显示的过程。

Images