CN1863295A - 图像数据处理装置、图像数据处理方法、程序、和记录介质 - Google Patents

Abstract

本发明披露了一种用于对构成视频素材的图像数据进行处理的图像数据处理方法，该方法包括：获取步骤，用于从视频素材中获取构成该视频素材的多个时间点处的图像数据；生成步骤，生成用于显示的图像数据，用来在与排列了多个素材的情节板显示区内的视频素材相对应的显示区中，以分组状态显示在获取步骤中获取的多个时间点处的图像数据。

Description

像数据处理装置、图像数据处理方法、 程序、和记录介质

技术领域

本发明涉及一种作为在编辑装置中使用的用户界面的情节板窗口的显示方法(图像显示方法)，以及一种用于实施该显示方法的图像处理装置。

此外，本发明还涉及一种用于实施该显示方法的程序，以及用于存储该程序的记录介质。

背景技术

图1示出了用于视频编辑的图形用户界面(以下称为“GUI”)的屏幕的实施例。在该编辑屏幕上设置了一些窗口屏幕。例如，在该编辑屏幕上设置了监视窗口1、情节板窗口3、以及时间线窗口5。

监视窗口1是用于抓取视频素材(片段)、预览、编辑操作、检查编辑结果等的显示区。监视窗口1包括源屏幕1A和节目屏幕1B。

源屏幕1A用于抓取片段、预览等。另外，节目屏幕1B用于编辑片段或节目(例如，按再生顺序排列的多个片段)、检查编辑结果等的操作。

另外，根据用户的选择，可以仅仅显示源屏幕和节目屏幕中的一个。

情节板窗口3是用于建立节目的情节的显示区。这个显示区用于显示各个片段的典型帧3A(通常为片段的起点帧)。

用户可以通过选择对应于各个片段的帧和确定排列顺序来创建节目的情节。需要注意，每一个典型帧都对应于一个片段。

时间线窗口5是用于节目编辑操作的显示区。同样，时间线窗口5还可用于检查各个片段的转换效果和整个节目中的轨道合成。

时间线窗口5包括时间线5A、视频轨道5B、以及音频轨道5C。

时间线窗口5从屏幕左至右表示时间的推移。因此，排列在各个轨道中的片段从左边开始依次再生。

另外，在时间线窗口5中排列片段的方法包括通过拖放式操作在监视窗口1中独立布置片段的方法、和在情节板窗口3中排列全部片段的方法。

时间线5A显示在时间线窗口5中选定的比例尺上。因此，各个片段在各个轨道上显示的时间与比例尺的长度成比例。即，大尺寸的片段显示相对较长的时间，而小尺寸的片段显示相对较短的时间。

图2A、2B、和2C示出了在时间线窗口5中制定的各个轨道的显示形式的实施例。

例如，当选择图2A的显示形式时，各个片段只显示文件名。

例如，当选择图2B的显示形式时，各个片段显示典型帧(通常为起始帧)和文件名。

例如，当选择图2C的显示形式时，各个片段显示起点帧、终点帧、以及文件名。

【专利文献1】

日本公开专利第Hei 11-146338号

【专利文献2】

日本公开专利第Hei 11-284957号

发明内容

如上所述，在情节板窗口3中只按照播放顺序排列了典型帧。因此，情节板窗口3是可用来掌握情节概要的用户界面。但是，在情节板窗口3中，每一个片段仅显示了一个典型帧。因此，当一个片段中包含多个场景时，通过典型帧所掌握的情节和实际再生内容之间会产生差异。如上所述，视频轨道5B提供了可以在一个片段中显示多个典型帧显示形式。然而，典型帧的显示大小依赖于时间线5A的比例尺和片段的长度。因此，在小比例尺或短片段长度的情况下，显示区域变得非常小，且很难对内容进行检查。

本发明致力于上述的技术问题，提出了下面的技术方法。

根据本发明的实施方式，提供了一种用于对构成视频素材的图像数据进行处理的图像数据处理方法，该图像数据处理方法包括：从视频素材中获取构成视频素材的多个时间点处的图像数据的获取步骤；以及生成用于显示的图像数据的生成步骤，用来在与排列了多个素材的情节板显示区中的视频素材相对应的显示区域中，以分组状态显示在获取步骤中所获取的多个时间点处的图像数据。

另外，不论片段的长度如何，每个缩略图都以相同的尺寸显示。

通过使用根据本发明的技术，可以同时检查整个节目的情节以及每个片段内的情节。从而可以更准确地掌握整个节目的情节。

附图说明

图1示出了用于视频编辑的GUI屏幕的实施例；

图2A、2B、2C示出了时间线窗口中显示片段的方法；

图3示出了情节板窗口的显示实施例；

图4A和4B示出了当显示随意指定的两个时间点处的缩略图时的显示实施例；

图5A、5B示出了起点帧的缩略图和任意指定的时间点的缩略图彼此结合的显示实施例；

图6A和6B示出了起点帧和终点帧的缩略图以及任意指定时间点的缩略图彼此结合的显示实施例；

图7A和7B示出了起点帧的缩略图和场景改变部分的缩略图彼此结合的显示实施例；

图8A和8B示出了从片段开始起以等间隔抽取出的缩略图彼此结合的显示实施例；

图9A、9B、9C、和9D为辅助说明在情节板窗口中对时间线窗口进行编辑的操作效果示意图；

图10A和10B示出了起点帧的缩略图和终点帧的缩略图彼此结合的显示实施例；

图11A和11B示出了当缩略图之间的时差显示为分界线的线宽时的显示实施例；

图12A和12B示出了当缩略图之间的时差显示为空白区的宽度时的显示实施例；

图13A和13B示出了当缩略图之间的时差显示为分界线的颜色时的显示实施例；

图14A和14B为辅助说明显示形式改变的显示的示意图；

图15A和15B示出了当选择了片段内容的详细显示时示出即将被显示的缩略图的个数的索引显示实施例；

图16A和16B示出了当仅有一个缩略图显示时用来改变显示形式的操作按钮的显示实施例；

图17A和17B示出了索引显示和与改变显示形式的指令相关的操作按钮彼此结合的显示实施例；

图18A和18B示出了当显示多个缩略图时用来改变显示形式的操作按钮的显示实施例；

图19A、19B、19C、19D、19E、和19F示出了通过两个片段彼此结合来创建新片段的显示实施例；

图20示出了附加显示指示再生方向的箭头的显示实施例；

图21示出了当以缩小的尺寸显示片段时的显示实施例；

图22示出了当以多行显示片段时的显示实施例；

图23示出了使用滚动条的显示实施例；

图24示出了显示在屏幕上的片段和没有显示在该屏幕上的片段之间的关系的示意图；

图25A和25B示出了当重新排列片段时的显示实施例；

图26A和26B示出了当***片段时的显示实施例；

图27示出了编辑操作中的初始屏幕的实施例；

图28示出了选定目标片段时的屏幕的实施例；

图29示出了转换进入修整模式之后的屏幕的实施例；

图30示出了选择目标片段时的屏幕的实施例；

图31示出了转换进入修整模式之后的屏幕的实施例；

图32示出了修整模式中的初始屏幕的实施例；

图33示出了改变修整目标之后的屏幕的实施例；

图34示出了改变修整目标之后的屏幕的实施例；

图35示出了当设置转换效果时的屏幕的实施例；

图36示出了当设置渐显时的屏幕的实施例；

图37A和37B示出了当编辑确认之前和之后的显示形式彼此不同时的显示实施例；

图38示出了编辑装置的实施方式；

图39示出了包含显示控制电路的编辑装置的实施方式；

图40示出了编辑装置的功能结构的实施例；

图41示出了功能结构中的处理过程的实施例；

图42示出了编辑装置的功能结构的实施例；以及

图43示出了功能结构中的处理过程的实施例；

具体实施方式

下面将描述使用根据本发明的技术方法的图像处理装置的优选实施方式。

另外，对于在本说明书中没有明确示出或描述的部分，使用的是相关技术领域中众所周知的或公知的技术。

下面将要描述的实施方式为本发明的各个实施方式，而本发明并不限于这些实施方式。

(A)GUI屏幕的第一实施例

(1)便于检查情节的情节板屏幕的实施例

下面将描述使整个节目的情节和片段内部的情节都很容易进行检查的情节板窗口的屏幕的实施例。

以下的实施方式都具有可以显示一个片段的多个缩略图的能力。

(1-1)第一实施方式

图3示出了情节板窗口11的显示实施例。图3示出的显示实施例中对应于各个片段的多个显示区13按照再生顺序排列在情节板窗口11中。另外，再生方向为从左至右。

图3中示出的三个显示区13分别对应于片段A、片段B、和片段C。每一个显示区13都包括标题部分(例如文件名)13A和略图部分13B。

略图部分13B是用于显示相应于各个片段的多个时间点处的缩略图。另外，再生的方向是从上到下。例如，在相应于片段A的略图部分13B的情况中，缩略图A1、A2...AN以这种顺序再生。

对于每一个片段，可以给定略图部分13B中显示的图像的个数。在图3的情况下，令相应于片段A的缩略图个数为N(N为大于等于2的自然数)、相应于片段B的缩略图个数为M(M为大于等于2的自然数)、相应于片段C的缩略图个数为L(L为大于等于2的自然数)。当然，所有片段的缩略图个数可以相同。即，可以使N＝M＝L。例如，缩略图的个数可以统一设置为2或3。

不管相应的片段的大小如何，每个缩略图都以相同的尺寸显示。因此，可以在相同的条件下检查所有片段的缩略图。即，小尺寸片段和大尺寸片段的缩略图具有相同的尺寸。

这就是情节板窗口11可以很好地掌握片段内容的一个原因。这个情节板窗口11使得不仅很容易掌握各个片段的内容，还能很容易地掌握整个节目的情节。

另外，当在视频轨道5B上显示缩略图时，小尺寸片段的缩略图可能缩小很多，因此，缩略图的可视性将显著降低。

当通过指针等指定一个缩略图时，期望结合在该缩略图前或后预览该缩略图再生一定时间的功能。所再生的图像在节目屏幕1B上显示。结合了这个功能可使用户能够立即跳到希望检查的区域，来对内容进行检查。

(1-2)第二实施方式

如上所述，构成各个片段的多个时间点的缩略图被显示为相应于各个片段的略图部分13B中的一组。在该实施方式中，假定显示的是由用户任意指定的多个时间点的缩略图。

图4A和4B示出了在这种情况下的显示实施例。图4A和4B示出的情况中所记录的缩略图个数为2。

图4A示出了相应于片段A的略图部分13B的显示实施例。另外，图4B示出了缩略图A1和A2所对应的片段内的位置(时间点信息)t1和t2。

例如，图4B中的位置可表示在进行编辑时记录的索引标记所设置的帧位置。或者，例如，图4B中的位置可表示在进行记录时所记录的索引标记被设置的帧位置。

这样的缩略图可适当地代表片段的内容和主题。因此，对由用户指定的任意点处的多个缩略图进行显示可使片段的内容能够被更准确地了解。此外，可以更准确地预测整个节目的情节的发展。

另外，通过使用指示设备或其他用户界面可以对缩略图A1和A2进行指定。例如，可以使用操作按钮、键盘、鼠标、或滑动笔来指定缩略图A1和A2。

两个缩略图中的一个可以是固定时间点处的缩略图。例如，如图5A和5B中所示，两个缩略图中的一个可以是对应于起点帧的缩略图。此外，例如，两个缩略图中的一个也可以是终点帧。

图5A示出了对应片段A的略图部分13B的显示实施例。另外，图5B示出了缩略图A1和A2所对应的片段内的位置(时间点信息)。

此外，起点帧和终点帧可以相结合。图6A和6B示出了显示三个缩略图情况下的显示实施例。图6A示出了相应于片段A的略图部分13B的显示实施例。另一方面，图6B示出了缩略图A1、A2、和A3所对应的片段内的位置(时间点信息)。

如这个实施例所示，当除了由用户任意选择的缩略图外，还显示起点帧和终点帧时，可以很容易地掌握与其他片段的联系。

(1-3)第三实施方式

在该实施方式中，将描述自动抽取出场景改变点作为用于显示的缩略图的情况。

图7A和7B示出了这种情况下的显示实施例。图7A和7B示出的一个片段由三个彼此之间不具有场景连续性的子片段构成。在图像编辑操作中，短片段通常彼此连接，作为一个片段处理。在这种情况下，很难通过单个缩略图准确掌握片段的内容。

图7A示出了对应于片段A的略图部分13B的显示实施例。

另一方面，图7B示出了缩略图A1、A2、和A3所对应的片段内的位置(时间点信息)。如图7B中所示，缩略图A1、A2、和A3对应于各个子片段的起始点。

当选择这样的显示方式时，可以抽取出片段内的所有场景改变。另外，第一子片段的起始点与整个片段的起始点一致。因此，在图7A中，在起始点示出第一缩略图，在场景改变点示出第二缩略图和后面的缩略图。

另外，应用现有技术来自动检测场景改变。例如，在压缩编码数据情况下，可使用这样的技术，其中，当帧的数据量大于指定值时，即确定该帧中发生了场景改变。另外，也可以应用这样的技术，当所有像素的亮度改变超过指定值时，即可确定该帧中发生了场景改变。

当所有检测到的场景改变都显示时，检测到的场景改变的数目可能非常大。在这种情况下，期望仅仅显示检测到的场景改变的一部分。例如，可以不连续地缩小检测到的场景改变，从而以一个场景改变与多个场景改变的比率来进行显示。

(1-4)第四实施方式

在该实施方式中，将描述从片段的起始位置开始起等间隔地抽取出用于显示的缩略图的情况。

图8A和8B示出了这种情况下的显示实施例。图8A和8B示出了从一个片段中抽取出四个用于显示的缩略图的情况。

图8A示出对应于片段A的略图部分13B的显示实施例。另外，图8B示出了缩略图A1、A2、A3、和A4所对应的片段内部的位置(时间点信息)。

同样，当选择这样的显示方式时，可以全面地抽取出片段内的内容。结果，可以更准确地掌握片段的内容。

另外，自动抽取缩略图时所用的时间间隔t是预先设置的。当然，用户也可以随意设置时间间隔t。

当选择这个显示方式时，缩略图可以以与在时间线窗口5中的编辑操作互相关联的方式自动更新。

图9A、9B、9C、和9D示出了当缩略图以与在时间线窗口5中的编辑操作互锁的方式自动更新时的显示实施例。另外，片段再生的方向为从左至右。图9A示出了在时间线窗口5中编辑操作之前的状态。

图9B示出了结束点的位置前移，因而整个片段长度减小的状态。图9C示出了起始点位置后移，因而整个片段长度减小的状态。图9D示出起始点和结束点位置都前移，使得整个片段长度减小的状态。

可以理解，通过改变片段的起点帧，从片段起始处开始以等间隔抽取出的帧的位置也发生改变。也能明白，通过改变片段的长度，也改变了抽取出的缩略图的数目。

因此，时间线窗口5中的编辑结果在略图部分13B的显示内容中得以反映，使得可以准确地掌握各个片段的显示内容。

当然，这种自动更新功能可以由用户选择开关执行或停止。

(1-5)第五实施方式

在该实施方式中，将描述显示固定时间点处的缩略图的情况。

图10A和10B示出了在这种情况下的显示实施例。图10A和10B示出了显示起点帧和终点帧这两个时间点的情况。

图10A示出了相应于片段A的略图部分13B的显示实施例。另外，图10B示出了缩略图A1和A2所对应的片段内的位置(时间点信息)。

当选择这种显示方式时，不仅可以检查整个节目的情节，还可以同时检查出片段之间的联系。

例如，当在相应于片段A的结束点的缩略图和相应于片段B的起始点的缩略图之间目光移动时，可以看出片段A和片段B间的联系。另外，这种显示方式可以与上面所述的其他显示形式结合。

(1-6)第六实施方式

在该实施方式中，将描述分界线利用与在略图部分13B中显示的两个缩略图之间的时差相对应的线宽来显示的情况。

图11A和11B示出了在这种情况下的显示实施例。在该实施方式中，将描述显示三个由用户任意指定的缩略图的情况。

图11A示出了相应于片段A的略图部分13B的显示实施例。另一方面，图11B示出了缩略图A1、A2、和A3所对应的片段内的位置(时间点信息)。

在图11A中，具有线宽W1的分界线15A显示在缩略图A1和A2之间。具有线宽W2的分界线15B显示在缩略图A2和A3之间。

线宽W1对应于缩略图A1和A2之间的时差T1。另外，线宽W2对应于缩略图A2和A3之间的时差T2。

在这种情况下，线宽W和时差T之间的对应关系基本上成正比关系。即，基本上，时差T越大，线宽W越宽。在通过略图部分13B的显示来估计缩略图之间的时差过程中也期望具有这种正比关系。

但是，当应用简单的正比关系时，线宽会变得非常宽。这就意味着需要一个非常宽的区域来显示线宽。

因此，可以以对数函数变量给定时差T，并且线宽W可定义为对数变换值。在这种情况下，可以提高较短时差T的区域分辨率，并且降低较大时差T的区域分辨率。

反过来，当需要增加大时差T的区域分辨率时，可以给出时差T以指数函数变化，并且以指数转换值定义线宽W。

当然，用于将时差T和线宽W相互联系的函数不限于这些函数。

通过采用这样的显示形式，不仅能够检查片段内的故事情节，还能同时检查缩略图之间的时差。该显示形式可以与上面描述的其他显示形式结合。

通过像在该实施方式中一样调整与时差T对应的线宽，可以同时检查缩略图之间的时差。

(1-7)第七实施方式

在该实施方式中，将描述略图部分13B中显示的两个缩略图之间以与两个缩略图之间的时差相对应的长度相互隔开的情况。即，将描述在两个缩略图之间提供相应于略图部分13B中显示的缩略图之间的时差的空白区的情况。

该第七实施方式与去除了分界线的第六实施方式相同。图12A和12B示出了在这种情况下的显示实施例。在该实施方式中，同样假设显示三幅由用户任意指定的缩略图。

图12A示出了相应于片段A的略图部分13B的显示实施例。另一方面，图12B示出了缩略图A1、A2、和A3所对应的片段内的位置(时间点信息)。

在图12A中，宽度为W1的空白区17A设置在缩略图A1和A2之间。宽度为W2的空白区17B设置在缩略图A2和A3之间。

宽度W1对应于缩略图A1和A2之间的时差T1。另外，宽度W2对应于缩略图A2和A3之间的时差T2。

同样，在这种情况下，宽度W和时差T之间的对应关系基本上是正比关系。即，基本上，时差T越大，宽度W越宽。在估计略图部分13B中显示的缩略图之间的时差过程中也可采用这种正比关系。

但是，当采用简单的正比关系时，空白区会变得非常宽。在这种情况下，空白区变得非常宽。

因此，时差T可以作为对数函数的变量给出，并且可以定义空白区宽度W为对数转换值。在这种情况下，可以增加小时差T的区域分辨率，并且可以减小大时差T的区域分辨率。

反过来，当需要增加大时差T的区域分辨率时，可以使时差T为指数函数变量，并且可以定义空白区宽度W为指数转换值。

当然，用于彼此联系时差T和空白区宽度W的函数并不限于这些函数。

通过应用这样的显示形式，不仅能够检查片段内的情节，还能够同时检查缩略图之间的时差。该显示形式可以与上面描述的其他显示形式结合。

通过像在该实施方式中一样调整根据时差T的空白区宽度，可以同时检查缩略图之间的时差。

(1-8)第八实施方式

在该实施方式中，将描述略图部分13B中显示的两个缩略图之间的分界线利用对应于两个缩略图之间的时差的颜色进行显示的情况。

图13A和13B示出了在这种情况下的显示实施例。该实施方式中假设显示由用户任意指定的四幅缩略图。

图13A示出相应于片段A的略图部分13B的显示实施例。另一方面，图13B示出缩略图A1、A2、A3、和A4所对应的片段内的位置(时间点信息)。

在图13A中，在缩略图A1和A2之间提供了红色分界线19A。在缩略图A2和A3之间提供了绿色分界线19B。在缩略图A3和A4之间提供了蓝色分界线19C。

红色分界线19A对应于缩略图A1和A2之间的时差T1。另一方面，绿色分界线19B对应于缩略图A2和A3之间的时差T2。蓝色分界线19C对应于缩略图A3和A4之间的时差T3。

在该实施方式的情况下，时差之间的关系是T1＞T2＞T3。在这种情况下，分界线的颜色和时差T之间的对应关系依赖于预先的设置。

在该实施方式中，时差被划分为多个等级，具体的颜色与各个级别对应。另外，通过将时差T的实际测量值与对应的各个级别的阈值进行比较，就足以确定时差T的实际测量值所属的级别。

另外，级别的数目和与各个级别对应的颜色数目最好能够由用户独立地设定。这是因为，符合用户的使用方式能有效地提高工作效率。

当像在该实施方式中一样，由分界线的显示颜色来代表缩略图之间的时差T时，在第六实施方式和第七实施方式中预备的空间可以分配给缩略图进行显示。即，可以实现空间的有效使用。

另外，缩略图的显示位置可以在片段之间对齐，因而增加了可视性。

(1-9)第九实施方式

在本实施方式中，将描述可以选择性改变略图部分13B的显示形式的情况。即，将描述在前述的每一个实施方式的显示形式和一个片段只显示一幅缩略图的显示形式之间可以进行有选择的切换的情况。

图14A和14B示出了在这种情况下的显示实施例。图14A对应于现有的显示形式。即，图14A对应于一个片段仅显示一幅缩略图的显示实施例。在这个实施例中，显示了分别表示三个片段A、B、和C的缩略图。通常，对应于各个片段的起始点的缩略图被用作这种类型的缩略图。

另一方面，图14B示出了一个片段显示多个时间点的缩略图的显示实施例。

另外，假设可以通过使用屏幕上的图标和指示设备来输入改变显示形式的指令。

当像在该实施方式中一样结合了在两种显示形式之间进行切换的功能时，用户可以根据需要改变显示形式。

例如，当用户希望检查某一片段的内容时，用户可以选择前述实施方式中的显示形式，以能够对各个片段的详细信息进行检查。

例如，当用户希望了解整个节目的情节梗概时，用户可以选择现有的显示形式。

因此，能够提高用户的使用性，并增加工作效率。

(1-10)第十实施方式

在上述第九实施方式中，可在显示形式之间执行简单的切换。在第十实施方式中，将描述现有显示形式的变体。

图15A和15B示出了这种情况下的显示实施例。图15A对应于仅有一个缩略图在略图部分13B中显示的现有显示形式。在这个实施例中，仅仅显示了表示片段A的一幅缩略图A1。

但是，在图15A中，提供了用于显示在现有的显示形式中不存在的信息的显示区。该显示区为索引显示区21，当选择用于示出片段详细内容的显示形式时(即，当显示多个缩略图时)，该索引显示区用于显示将要在略图部分13B中显示的缩略图的数目N。

在图15A的情况下，索引显示21显示“3”作为缩略图的数目。另外，图15B示出了改变显示形式之后的显示实施例。索引显示21的值和缩略图的数目一致。

因此，当采用图15A中表示的显示方法时，用户可以知道，情节板窗口11准备了两种显示形式。即，用户可以知道，能够在显示形式之间切换。

另外，用户可预先知道在改变显示形式之后进行检查的缩略图的数目。这种可预知性有效地提高了用户的工作效率。

另外，在该实施方式中，在显示形式改变之后将要显示的缩略图的总数被显示为索引显示21中显示的数目N。即，显示了包括在图15A显示的缩略图A1的缩略图的数目。

然而，对于在索引显示21中显示的数目N，可以只显示在显示形式改变之后将被从新显示的缩略图的个数。即，可以显示表示缩略图A2和A3的“2”。

当使用这种显示形式时，可以预知通过显示形式的改变而获得的缩略图的数目。参照这个数目，用户可以确定是否改变显示形式。

另外，通过使用将在随后描述的另一个图标可以切换到示出片段详细内容的显示形式。通过在索引显示21中放置一个指针可以执行屏幕切换。

(1-11)第十一实施方式

在该实施方式中，同样将描述现有显示形式的变体。图16A和16B示出了这种情况下的显示实施例。图16A对应于仅仅在略图部分3A中显示一个缩略图的现有显示形式。在该实施例中，仅仅显示表示片段A的缩略图A1。

然而，在图16A中，提供了现有显示形式中没有的操作按钮23。该操作按钮23是用于给出改变到显示片段详细内容的显示形式的指令的图标。

在图16A的情况下，在操作按钮23上显示有下拉标志。在该实施方式中，用户可以通过指针等指定操作按钮23，来改变到图16B的显示形式。另外，在图16B中，显示了三个缩略图A1、A2、和A3。

因此，当采用图16A表示的显示方法时，用户可以知道，情节板窗口11准备了两种显示形式。即，用户可以知道，能够在显示形式之间进行切换。

另外，这样设置操作按钮23，使其接近将被展开的略图部分3A。因此，用户可以有效地持续操作，而不需要大幅度移动目光。即，用户可以有效地持续操作。

另外，操作按钮23的显示位置和图16A中所示的按钮的显示形式只是一个实施例，本发明不限制于此。

(1-12)第十二实施方式

在该实施方式中，将描述第十实施方式和第十一实施方式结合的显示实施例。

图17A和17B示出了这种情况下的显示实施例。图17A对应于在略图部分3A中仅仅显示一个缩略图的现有显示形式。

在这个实施例中，在略图部分3A中显示了索引显示21和操作按钮23。

索引显示21为在上述的第十实施方式中描述的区域，当选择用于显示片段的详细内容的显示形式时，该区域用于显示在略图部分13B中即将显示的缩略图的数目N。

另一方面，操作按钮23为在上述第十一实施方式中描述的图标，用于给出指令，改变到用于显示片段的详细内容的显示形式。

该实施方式能够检查在显示形式改变之后将要显示的缩略图的数目，并且不用移动目光即而改变显示形式。

(1-13)第十三实施方式

在上述第十至第十二实施方式中，已经描述了对现有显示形式的修改，在第十三实施方式中，将描述对显示片段详细内容的显示形式的修改。

图18A和18B示出了这种情况下的显示实施例。图18A示出了在用于显示片段详细内容的显示形式中的显示实施例。在该实施例中，显示了构成片段A的三个缩略图A1、A2、和A3。

但是，在图18A中，提供了在早先描述的其他显示形式中不存在的操作按钮25。该操作按钮25是用于给出改变显示形式的指令的图标，从显示相应于一个片段的三个缩略图的状态到仅仅显示一个缩略图的状态。

在图18A的情况下，在操作按钮25上显示有上拉标记。在该实施方式中，用户可以通过指针等指定操作按钮25改变到图18B的显示形式。另外，在图18B中，仅仅显示了缩略图A1。

因此，当采用图18A中表示的显示方法时，用户可以知道，情节板窗口11准备了两种显示形式。即，用户可以知道，能够在显示形式之间进行切换。

另外，将操作按钮25设置得接近于将要折叠起来的略图部分13B。因此，用户可以有效地持续操作，而不需要大幅度移动目光。即，用户可以有效地持续操作。

另外，操作按钮25的显示位置和图18A中示出的按钮的显示形式只是一个实施例，本发明并不被限于此。

(1-14)第十四实施方式

在本实施方式中，将描述通过结合片段A和片段B而创建新的片段A′的情况下的显示实施例。

图19A、19B、19C、19D、19E、和19F示出了这种情况下的显示实施例。另外，在图19A、19B、19C、19D、19E、和19F中，采用的是显示具有对应于缩略图之间的时差的线宽的分界线的方法。

图19A示出了片段A的显示实施例。假设在该实施例中，显示三个缩略图A1、A2、和A3。另一方面，图19B示出了片段B的显示实施例。假设在该实施例中，显示两个缩略图B1和B2。

在这种情况下，在图19C中示出当片段B结合在片段A的后部时的显示实施例。

图19C对应于在新片段A′中保持在结合之前的显示形式的显示方法。由于在结合之前和之后的显示形式一致，所以这种显示形式适合于片段结合的图像。另外，当将片段A′再次分割成片段A和片段B时，由于分割之前和之后的显示形式一致，所以这种显示形式适合片段分割的图像。

但是，对于图19C的显示方法，结合后显示的缩略图的数目可能非常大。

在这种情况下，可以采用第十二实施方式的显示方法，因此，采用图19D中表示的显示方法。在该显示实施例中，显示了缩略图数目和下拉标记。

其他用于显示片段A′的方法包括在图19E和图19F中表示的显示方法。

图19E对应于显示构成片段A′的五个缩略图中的第一个缩略图和最后一个缩略图的显示实施例。另外，在缩略图A1和缩略图B2之间显示有具有相应于缩略图A1和缩略图B2之间的时差的线宽的分界线。

图19F对应于显示构成片段A′的各个子片段A和B的第一个缩略图和最后一个缩略图的显示实施例。在该显示实施例中，显示了缩略图A1、A3、B1、和B2。在缩略图之间显示了具有相应于缩略图之间的时差的线宽的分界线。

通过应用这些显示方法，实现了使用情节板窗口11的有效编辑操作。

需要注意，片段A′的显示实施例不限定在图19C至图19F所示的那些实施例中。当片段A′在任意分界位置划分为两块时，片段A′的显示形式可以存储在划分之后的子片段中。

(1-15)第十五实施方式

以下将描述情节板窗口11的另一个显示方法。

图20示出了这种情况下的显示实施例。图20示出的实施例中箭头27指示片段之间的再生方向实施例。箭头27设置在对应于各个片段的显示之间。通过应用这种显示方法，能够提供一种任何用户都容易理解的显示形式。即，任何用户都可以容易地知道片段排列之间的关系和再生方向。

(1-16)第十六实施方式

以下将描述情节板窗口11的其他显示方法。

图21示出了这种情况下的显示实施例。当构成节目的片段数量较大时，图21适用。

在图21代表的显示方法中，略图部分13B中显示的缩略图的显示尺寸减小。

图21中的显示尺寸小于图3中的显示尺寸。当存在有大量构成节目的片段时，以缩小的显示尺寸显示的帧使得能够一次性检查所有片段的起点帧和终点帧。

另外，最好不仅能从两种显示尺寸中进行选择，还能从三种或多种显示尺寸中选择显示尺寸。随着选择的增加，可以根据片段的数目选出更加合适的显示尺寸。

(1-17)第十七实施方式

以下将描述情节板窗口11的另外的显示方法。

图22示出了这种情况下的显示实施例。图22所示的显示实施例同样适合于构成节目的片段数目较大的情况实施例。

在图22中示出的显示实施例中，片段被划分为固定数目的片段，并且无法设置在同一行中的片段在下一行中显示。

另外，图22示出了在两行中显示片段的情况。当然，片段也可以划分显示在三行或更多行中。

在图22的情况中，行之间的再生方向是从上行至下行。在这个实施例中，从第一行的左端至右端进行再生，在完成第一行的再生后，从第二行的左端至右端进行再生。

图22的显示实施例对应于这种再生顺序。通过采种该显示实施例，能够一次性检查所有片段的起点帧和终点帧。

(1-18)第十八实施方式

以下将描述情节板窗口11的其他显示方法。

图23示出了这种情况下的显示实施例。图23所示的显示例同样适用于构成节目的片段的数目较大时的情况。

在图23中示出的显示实施例中，采用了使用滚动条29的显示方式。即，一个屏幕上仅显示了能够在情节板窗口11中显示的片段，通过操作滚动条29可以在屏幕上显示其他片段。另外，在该显示实施例中，滚动区31设置在屏幕底部。

图24为该显示实施例的概念图。图24示出了六个片段构成一个节目的情况，其中在情节板窗口11中可以显示三个片段。

图24示出了情节板窗口11中显示的是从开始起第三个至第五个片段的状态，其他三个片段没有显示出来。

另外，当期望在情节板窗口11中显示从开始起的第一个至第二个片段时，用户只需要向左拖动滚动条29。另一方面，当期望在情节板窗口11中显示从开始起的第六个片段时，用户只需向右拖动滚动条29。

另外，用户可以从在滚动区31中的滚动条29的相对位置，来确定情节板窗口11中显示的片段在节目中的位置。

当采用这种显示方法时，可以避免缩略图减小率的增加和缩略图分辨率的减小。另外，由于还显示了滚动条29，所以可以容易地确定从整个故事情节来看的位置关系。

(1-19)第十九实施方式

作为另一个实施方式，在前述的各个显示例中，被选择或被再生的片段可以区别于其他片段的形式进行显示。

例如，被选择或再生的片段可以利用粗边框围绕、可以突出外边框或背景、或可以改变外边框或背景的显示颜色。当然，本领域技术人员在前述的实施方式的基础上，也能够构思出其他的显示实施例。

(B)GUI屏幕的第二实施例

(1)能够进行情节编辑的情节板屏幕实施例

下面将描述当在能够显示一个片段的多个缩略图的情节板窗口中执行编辑操作时显示的编辑屏幕的实施例。

目前，情节板窗口3基本上限于进行情节的架构。因此，在情节架构之后，情节板窗口3用的不多。这是因为，在情节结构之后，用户的操作将进入到使用时间线窗口5进行的编辑操作。

但是，情节板窗口3对于掌握情节发展来说是一个很好的用户界面。因此可以认为，同样能用于片段编辑操作的情节板窗口3的使用将进一步提高用户的可用性。

因此，发明人提出了一个在能够显示一个片段的多个缩略图的情节板窗口3上实现编辑操作的屏幕的实施例。

例如，提出了具有以下过程的技术。

(a)在相应于每个片段的显示区中成对显示起始点缩略图和结束点缩略图的过程

(b)以区别于其他显示区的形式显示与编辑位置对应的缩略图的显示区的过程

同样，例如，还提出了具有下面过程的技术。

(a)在相应于每个片段的显示区中成对显示起始点缩略图和结束点缩略图的过程

(b)以对应于编辑性质的显示形式显示与编辑位置对应的缩略图的显示区的过程。

另外，“编辑”包括编辑一个或多个片段的处理过程。此外，“编辑”不需要在整个片段上执行，可以在片段的一部分上执行。例如，可以仅对围绕起始点的部分或仅对围绕结束点的部分进行编辑。

通过采用这些处理技术，能够同时检查整个节目的情节和各个片段中的编辑位置(例如起始点或结束点)的内容。

此外，可以很容易地在整个情节中检查编辑位置和被编辑的内容。

结果，能够提高编辑操作的效率。

(1-1)编辑屏幕的第一例

下面将以编辑操作屏幕的实施例来说明进行片段重新排列的编辑时的屏幕的实施例。另外，可以在现有情节板窗口中排列片段。

图25A和25B示出了当重新排列情节板窗口11中显示的片段时的显示实施例。图25A和25B对应于片段B移动到片段C后面的情况。在这种情况下，如图25A所示，用户通过使用指示器将所选择的片段B拖放至片段C的后面。

图25B示出了移动片段B后的显示实施例。即，节目的播出顺序由“片段A→片段B→片段C”改变为“片段A→片段C→片段B”。当然，移动每个片段的同时，起点帧13B和终点帧13C保持成对显示。

图26A和26B示出了往情节板窗口11中***新片段时的显示实施例。该显示实施例对应于在片段A和片段B之间***片段C的情况。在这种情况下，如图26A中所示，用户通过使用指示器将选定的片段C拖放至片段A和片段B之间的位置。

图26B示出了***片段C之后的显示实施例。即，节目的播出顺序由“片段A→片段B”改变成了“片段A→片段C→片段B”。当然，***每个片段的同时，起点帧13B和终点帧13C保持成对显示。

另外，可以在情节板窗口11中执行删除编辑和复制编辑。

(1-2)编辑屏幕的第二实施例

下面将作为编辑操作的实施例描述修整编辑。

下面将描述四个在修整编辑中使用的典型操作的实施例。其中两个操作实施例是从非修整模式转换至修整模式时的操作实施例。另外两个操作实施例是在修整模式中改变修整目标时的操作实施例。

另外，在所有的操作实施例中，所进行的描述假设，起始点缩略图13B1和结束点缩略图13B2与情节板窗口11中的各个片段一致来显示。因此，修整目标可以是起始点和结束点中的一个或全部。

(a)第一操作实施例

将首先描述从非修整模式转换至修整模式时的操作实施例。在这种情况下，将描述指定片段C的起始点为修整目标的情况。另外，假设在初始屏幕上选择片段A。

(a1)初始屏幕

图27示出选择片段C之前的初始屏幕的实施例。图27示出了情节板窗口11和时间线窗口41的显示实施例。但是，时间线窗口41以简化方式示出。即，仅仅示出了时间线41A和视频轨道41B。

此时，情节板窗口11示出了片段A通过改变显示区13的外边框51的显示形式而被选择的状态。在该实施方式中，通过在外边框51的外部边缘显示选择边框51A来示出选择片段A的状态。另外，使用黄色作为选择边框51A的显示色。

另外，通过在视频轨道41B上的播放线43的显示位置示出被选择的片段和编辑位置的状态。在图27中，播放线43显示在靠近片段A的起始点的地方。另外，红色用作播放线43的显示色。

这些显示使得用户很容易地确定片段A处于被选择状态。

(a2)片段选择屏幕

图28示出了选择片段C之后的屏幕的实施例。有多种方法可用于选择片段C。

例如，有将在监视屏幕上的指针53移动至对应于片段C的显示区13上、并确认移动操作的方法。

在这种情况下，可使用操作按钮、键盘、鼠标、或其他点击设备来移动指针53。例如，可通过按动操作按钮的操作或鼠标的点击操作来确认移动操作。

此时，指针53可以位于对应于片段C的显示区13上的任意位置。即，指针53不需要位于相应于片段C的起始点的缩略图13B1上，也可以位于相应于片段C的结束点的缩略图13B2上。

当然，播放线43在视频轨道41B上的显示位置与通过指针53指定的位置相互关联。

例如，当通过指针53指定相应于片段C的起始点的缩略图13B1时，播放线43移动至片段C的起始点。另一方面，当通过指针53指定对应于片段C的结束点的缩略图13B2时，播放线43移动至片段C的结束点。

因此，播放线43以与在情节板窗口11的片段的选择相互关联的方式自动移动。

例如，有另一种通过操作情节板窗口11的跳转按钮(在监视屏幕上的按钮或在操作面板上的按钮)改变选择位置的方法。

该跳转按钮被称作“FS/BS按钮”。“FS按钮”对应于时间轴上的向后跳转。“BS按钮”对应于时间轴上的向前跳转。在该实施例中，通过操作“FS按钮”，选择位置可顺次从片段A改变至片段B然后到片段C。

有三种跳转形式：起始点之间的跳转、结束点之间的跳转、和从结束点到起始点或从起始点到结束点的交替跳转。

对于“FS/BS按钮”的操作使用何种跳转依赖于预先的设置。

另外，以与选择边框51A的移动互锁的方式，视频轨道41B上的播放线43将移动至相应的位置。

另外，通过操作时间线窗口41的跳转按钮(在监视屏幕上的按钮或在操作面板上的按钮)，可以改变所选择位置。

该跳转按钮称作“前进/后退按钮”。“前进按钮”相应于在时间轴上向后跳转。“后退按钮”对应于在时间轴上向前跳转。

在该实施例中，通过操作“前进按钮”，选择位置将顺次从片段A改变至片段B然后到片段C。

有六种跳转形式：起始点之间的跳转、结束点之间的跳转、从结束点至起始点或从起始点至结束点的交替跳转、在效果起始位置之间的跳转、在效果结束位置之间的跳转、从效果起始位置至结束位置或从效果结束位置至起始位置的交替跳转。

另外，情节板窗口11中的选择边框51A以与时间线窗口41中的播放线43的移动互锁的方式移动。

选择边框51A可通过图像处理装置的信号处理而自动移动。

另外，例如，通过操作时间线窗口中的播放线43可以改变选择位置。

在这种情况下，可使用鼠标、按钮(在监视屏幕上的按钮或在操作面板上的按钮)、或其他指示设备移动播放线43。通过点击鼠标操作的操作来确认选择。

在该实施例中，情节板窗口11中的选择边框51A以与时间线窗口41中的播放线43的移动相互关联的方式移动。

(a3)修整位置指定屏幕

图29示出了转换到修整模式之后的屏幕的实施例。通过操作修整按钮来转换到修整模式。

在这种情况下，在操作修整按钮之前，根据指针53的位置或播放线43的位置来确认修整目标。

另外，如图29所示，当播放线43位于片段C的前半区45A的某处时(例如，当播放线43位于通过虚线表示的位置时)，片段C的起始点被确定为修整目标。

此时，在情节板窗口11中突出相应于修整目标的缩略图13B1的外边框55。

在该实施方式中，在外边框55的外边缘上显示选择边框55A。另外，使用红色作为选择边框55A的显示色。

其间，在时间线窗口41中显示表示修整目标的修整标记47。另外，由于片段C的起始点为修整目标，所以图29中的修整标记47显示在片段C的起始点位置上。

(b)第二操作实施例

下面将描述从非修整模式到修整模式转换时的另一个操作实施例。下面将描述片段C的结束点被指定为修整目标的情况。

(b1)初始屏幕

初始屏幕与第一操作例中的相同。即，初始屏幕与图27的屏幕实施例相同。

(b2)片段选择屏幕

图30示出了选择片段C后的屏幕实施例。选择片段C的方法与在第一操作例中的基本相同。具体来说，主要有两种方法：在情节板窗口11上选择片段C的方法、和在时间线窗口41上选择片段C的方法。

以下将描述图30的屏幕实施例的特征部分。图30示出情节板窗口11上的指针53指定了对应于片段C的结束点的缩略图13B2。因此，时间线窗口41上的播放线43显示在片段C的结束点上。

当然，当通过操作情节板窗口11的跳转按钮跳转到片段C的结束点时，出现相似的显示。当通过操作时间线窗口41跳转按钮跳转到片段C的结束点时，也出现相似的显示。当然，当播放线43通过直接操作时间线窗口41上的播放线43定位在片段C的结束点时，出现相似的显示。

(b3)修整位置指定屏幕

图31示出了转换到修整模式之后的屏幕的实施例。在这种情况下，通过操作修整按钮实现修整模式的转换。

在操作修整按钮之前，根据指针53的位置或播放线43的位置确定修整目标。

例如，如图31中所示，当播放线43位于片段C的后半区45B的某处时(例如，当播放线43位于虚线表示的位置时)，片段C的结束点被确定为修整目标。

此时，在情节板窗口11中突出相应于修整目标的缩略图的外边框55。在该实施方式中，在外边框55的***显示红色的选择边框55A。

与此同时，时间线窗口41中显示了表示修整目标的修整标记47。另外，由于片段C的结束点为修整目标，所以图31中的修整标记47显示在片段C的结束点位置。

(c)第三操作实施例

接下来将描述在修整模式中改变修整目标的情况。下面将描述修整目标从片段A的起始点转变成片段D的起始点的情况。

(c1)初始屏幕

图32示出了指定片段A的起始点为修整目标时的屏幕实施例。图32示出了情节板窗口11和时间线窗口41的显示实施例。

此时，在情节板窗口11中，通过选择边框51A来表示片段A被选择的的状态，同时通过选择边框55A来表示片段A的起始点被选择的的状态。

在这种情况下，选择边框51A是显示在对应于片段A的显示区13的外边框51的外边缘上的黄色边框。另一方面，选择边框55A是显示在相应于片段A的起始点的缩略图13B1的外边框55的外边缘上的红色边框。

另一方面，播放线43和修整标记47显示在时间线窗口41的片段A的起始点上。

(c2)修整位置改变屏幕

图33示出了在修整位置改变之后的屏幕实施例。有多种方法可用来改变修整目标。

例如，有一种通过直接移动监视屏幕上的指针53来选择边框55A的方法。在这种情况下，通过将指针53移动到相应于片段D的起始点的缩略图上并确认选择来移动选择边框55A。

可使用操作按钮、键盘、鼠标、或其他指示设备移动指针53。例如，通过点击鼠标的操作确认选择。

另外，播放线43和修整标记47也以与情节板窗口11上的选择边框55A的移动互锁的方式移动。

另外，有一种通过操作情节板窗口11上的跳转按钮来移动选择边框55A的方法。即，通过“FS按钮”或“BS按钮”移动选择边框55A。在该实施方式中，由于初始位置为片段A，所以可通过操作“FS按钮”改变选择位置。

当然，播放线43和修整标记47也以与情节板窗口11上的选择边框55A的移动互锁的方式移动。

另外，有一种通过在时间线窗口41中操作跳转按钮直接移动选择边框55A的方法。即，通过“前进按钮”或“后退按钮”移动选择边框55A。在该实施方式中，由于片段A为初始位置，所以可通过操作“前进按钮”改变选择位置。

在这种情况下，情节板窗口11上的选择边框55A以与播放线43和修整标记47的移动互锁的方式移动。

(d)第四操作实施例

接下来将描述在修整模式中改变修整目标的情况的另一个操作实施例。下面将描述修整目标从片段A的起始点改变至片段D的结束点的情况。

(d1)初始屏幕

初始屏幕与在第三操作例中的相同。即，初始屏幕与图32中的屏幕实施例相同。

(d2)修整位置改变屏幕

图34示出了改变修整位置后的屏幕实施例。改变修整目标的方法与在第三操作例中的基本一致。具体来说，有三种方法：通过指针53在情节板窗口11上直接指定的方法、在情节板窗口11中使用跳转按钮的方法、以及在时间线窗口41中使用跳转按钮的方法。

另外，由于选择边框55A从起始点移动至结束点，所以跳转按钮的设置变成从起始点跳转到结束点或者从结束点跳转到起始点。

(e)修整目标选择后的操作

在通过上面描述的四个操作实施例确定修整目标之后，使用鼠标、转点通(jog dial)、光标键等来执行修整操作。即，改变起始点或结束点。

另外，再次操作修整按钮后，确定起始点或结束点的改变，随后退出修整模式。另外，当改变起始点和结束点中的一个或全部时，情节板窗口11上显示的缩略图的内容也改变到更新后的内容。

(f)效果

通过这样使用显示了分别相应于起始点和结束点的缩略图的情节板窗口11来选择并检查修整目标，能够提高用户的可操作性。

例如，可以直接通过选择缩略图指定修整目标。因此，可以容易地指定修整目标。

甚至当在时间线窗口41上指定修整目标时，不论片段尺寸如何，都可以很容易地检查修整目标的位置和内容。

另外，可以在情节板窗口11中同时检查修整目标和整个节目的情节。因而能够在脑海中利用特定片段和整个故事情节的关系来有效地进行修整操作。

因此，当也可以使用情节板窗口11用于编辑操作时，能够实现比当仅使用时间线窗口41进行编辑操作时更直观的指定操作和目标位置检查。

(3)另一个编辑屏幕实施例

上述屏幕实施例可以用于其他具有作为编辑目标的起始点或结束点或包括编辑目标的起始点或结束点的编辑操作。例如，上述屏幕实施例可以用来在设定效果或或转换效果过程中指定编辑位置。

图35示出了当在片段B和片段C之间设置转换效果时的屏幕实施例。在这种情况下，有一种指定情节板窗口11上的编辑位置的方法和一种指定时间线窗口41上的编辑位置的方法。

图35示出了当指定片段B的结束点和片段C的起始点作为转换效果的目标的屏幕实施例。当然，也可以只指定片段B的结束点或片段C的起始点。这种情况下的屏幕实施例与在上面描述的修整编辑时的屏幕实施例相同。

另外，转换效果包括擦除、减弱、混合、翻页、滑动、拆分、分解等。另外，毋庸多言，除了转换效果，上述屏幕实施例也可以应用于玛赛克处理、颜色修正、画中画等。

使用转换效果的编辑不仅包括单轨道编辑，而且包括A/B轨道编辑。

此外，上述屏幕实施例可以用于检查编辑位置和检查编辑内容(包括检查编辑状态)。这种情况下的“检查”不仅包括检查编辑模式，而且包括任何编辑模式情况下检查编辑内容。

图36和图37A和B示出了用于检查的屏幕的实施例。

图36为当在片段B的起始点设置渐显时的屏幕实施例。在图36中，在对应于片段B的起始点的缩略图13B1的外边框55的外边缘显示编辑框55B。例如，使用绿色作为编辑框55B的显示色。

另外，当在结束点设置渐隐时示出相似的屏幕实施例。在这种情况下，编辑框55B显示在相应于结束点的缩略图13B2的外边框55的外边缘上。

另外，可使用不同颜色作为渐显和渐隐的编辑框的显示色。根据不同的显示色，可以检查编辑内容的差异和类型。

图37A和37B为当编辑过程中的显示形式和编辑确定后的显示形式彼此不同的显示实施例。在图37A和37B中，片段C的结束点为编辑位置。图37A对应于编辑操作过程中的显示。例如，编辑框55B的显示采用的是蓝色闪光显示。图37B对应于编辑位置确定后或编辑处理确定后的显示。例如，编辑框55B的显示采用蓝色照明显示。

通过这种根据编辑位置或类型来将相应于起始点和结束点的缩略图的显示与编辑框55B的显示相结合，可以使用情节板窗口11来检查编辑目标和编辑类型。

另外，在情节板窗口上可以实现下面的编辑操作。

例如，当起始点缩略图、结束点缩略图、和一个或多个典型的缩略图在对应于各个片段的显示区13中显示时，也可以使用情节板窗口。例如，在这种情况下，场景改变点等可以应用于典型图像。

例如，当期望切除掉从起始点到典型图像的的场景时，只用将光标定位到典型图像上，然后操作“切除前面按钮”。在这种情况下，将获得具有该典型图像作为新的起始点的片段。

例如，当期望切除掉从典型图像到结束点的场景时，只用将光标定位到典型图像上，然后操作“切除后面按钮”。在这种情况下，将获得以紧贴该典型图像之前的点作为新的结束点的片段。

当然，在这种情况下，时间线窗口上的播放线以与情节板窗口上的片段的选择互锁的方式移动。情节板窗口上的选择框(被突出的)也以与时间线窗口上的时间线的移动互锁的方式移动。

(C)编辑装置的结构的实施例

(C-1)硬件结构

图38示出了当通过程序实现上述显示功能时的编辑装置的结构实施例。图39示出了当通过特殊的处理板(显示控制电路)实现上述显示功能时的编辑装置的结构实施例。

另外，该编辑装置不仅包括程序生成***、电影生成***和其他商业***，而且还包括家庭用户***。

图38中示出的编辑装置61用于通过应用软件实施视频编辑功能。因此，可使用计算机作为编辑装置61的基本结构。因此，编辑装置61的硬件结构为众所周知的计算机结构。

具体来说，编辑装置61包括中央处理单元63、ROM(只读存储器)65、RAM(随机存取存储器)67、硬盘驱动器69、以及外部接口71。

编辑装置61通过与监视器73、操作面板75、录像带驱动器77、视频服务器79、和其他外部设备相结合构成编辑***。

中央处理单元63是关键设备，它使用RAM 67作为工作区执行各种程序，从而实施各种功能。

ROM 65为存储设备，用于存储来自或输出给外部设备的控制输入和输出的基本程序。

RAM 67为用作执行操作***和应用程序(例如像上面描述的具有显示情节板窗口的功能的编辑程序)的工作区的存储设备。

硬盘驱动器69为存储设备，用于存储操作***和应用程序。与ROM 65和RAM 67被称作主存储设备相对应，硬盘驱动器69被称为辅助存储设备。通常，根据本发明的实施方式的程序存储在硬盘驱动器69上。硬盘驱动器69也用于存储在视频编辑中使用的素材数据。

外部接口71为用于将编辑装置61与外部设备连接的设备。作为外部接口71，使用的是与将要被连接到编辑装置61上的外部设备相对应的设备。

例如，使用串行数据接口或并行数据接口。另外，使用了LAN(局域网)接口。此外，还可使用无线电通信接口。

接下来将描述作为构成编辑***的外部设备的实施例的监视器73、操作面板75、录像带驱动器77、以及视频服务器79实施例。

监视器73为用于显示设计有诸如按钮、菜单等图像的用户界面画面的输出设备。另外，监视器73可以与编辑装置61的外壳结合为一整体，或者可以在编辑装置61的外壳的外部。

操作面板75是用户用来向计算机输入指令和信息的输入设备指令。除了操作面板75，诸如操作按钮、键盘、鼠标、滑动笔的输入设备也可以作为输入设备使用。

录像带驱动器77是用于再生并记录作为编辑素材的视频图像的设备。假设在这个实施例中，编辑素材记录在录像带上。但是，当编辑素材记录在光盘或半导体存储器上时，应使用对应于记录介质的驱动器。

视频服务器79是用于存储已编辑节目的高容量存储设备。通常，硬盘驱动器作为视频服务器79使用。另外，当视频服务器79的主要目的是存储节目时，高容量的磁带驱动器或光盘驱动器也可以作为视频服务器79使用。在任何情况下，使用存储设备即可满足目的或需要。

另一方面，当通过特别的处理板(显示控制电路)83实现视频编辑功能时，使用的是图39中所示的编辑装置81。显示控制电路83包括用于视频编辑的硬件。

例如，显示控制电路83包括专门用于视频编辑的集成电路或半导体存储器。当需要在短时间内大量处理高质量(即，高数据量)视频图像时，这种设备结构非常适合。

省去对与图38中相同的附图标号表示的部件一样的其他设备的描述。

另外，尽管没有在图38和图39中特别示出，但是可以根据需要来结合视频数据的编码设备(编码器)和解码设备(解码器)。

(C-2)功能结构

接下来将描述编辑装置的功能结构的实施例。

(a)GUI屏幕的第一实施例

图40示出了当显示能够显示一个片段的多个缩略图的情节板窗口时的编辑装置的功能结构。通过CPU 63的程序处理或显示控制电路83的信号处理实现该功能结构(图39)。

编辑装置91的主要部分包括时间点信息获取单元91A、缩略图生成单元91B、缩略图存储单元91C、布局确定单元91D、和布局改变单元91E。

时间点信息获取单元91A对应于获取每个片段的缩略图生成位置(时间点信息)的处理功能。缩略图生成位置根据各个片段在情节板窗口11内的显示形式(图4A至13B)而改变。当可以选择情节板窗口11中的显示形式时，时间点信息获取单元91A可获得各个片段与编辑操作器所选择的显示形式相对应的时间点信息。

缩略图生成单元91B具有以获取的时间点信息为基础，生成各个片段的缩略图的处理功能。缩略图生成单元91B从RAM 67或硬盘驱动器69读取相应的时间点处的图像数据，然后根据生成根据显示尺寸生成缩略图(低分辨率图像)。

缩略图存储单元91C是用于保存构成情节板窗口中的各个片段的多个时间点的缩略图的存储设备。例如，RAM 67和硬盘驱动器69对应于缩略图存储单元91C。缩略图存储单元91C保存由缩略图生成单元91B生成的缩略图，以用于显示。当然，当预先准备好与各个片段关联的作为数据(元数据)的缩略图时，缩略图存储单元91C可从存储了对应于各个片段的素材数据的区域中读出构成情节板窗口中的各个片段的多个时间点处的缩略图，并保存这些缩略图。

布局确定单元91D具有确定情节板窗口11的显示布局的处理功能。例如，布局确定单元91D可确定这样的显示布局，其中，构成各个片段的多个时间点处的缩略图排列成一组。监视器73根据显示布局来显示情节板窗口11。

布局改变单元91E具有进行显示布局的改变处理的处理功能。例如，布局转换单元91E可在每个片段由多个时间点的缩略图构成的第一界面屏幕和每个片段由一个典型缩略图构成的第二界面屏幕之间进行切换。另外，例如，布局转换单元91E可根据构成每个片段的缩略图数目的改变、时间点信息的改变、单行显示与双行显示之间的切换、缩略图尺寸的改变、显示位置的滚动等来来改变布局。

图41代表通过具有该功能结构的编辑装置来显示情节板窗口11的过程的实施例。另外，图41表示每一次进行显示时采用的用来生成构成各个片段的缩略图的处理过程的实施例生成。因此，当使用预先准备的缩略图时，缩略图生成过程可由缩略图读取处理代替生成。

首先，时间点信息获取单元91A获取用来显示将在情节板窗口11中显示的各个片段的缩略图的时间点信息(P1)。该时间点信息被提供给缩略图生成单元91B。

缩略图生成单元91B以所给的时间点信息为基础，生成构成每个片段的缩略图(P2)。所生成的缩略图被保存在缩略图存储单元91C中生成。

在获取将要显示在情节板窗口11中的缩略图之后，布局确定单元91D确定显示布局(P3)。在RAM(视频RAM)67中展开对应于确定的显示布局的情节板窗口11的图像。情节板窗口11的图像与其他编辑窗口一起在监视器73的屏幕上显示(P4)。例如，该图像以图1中所示的编辑屏幕的形式进行显示。

其后，布局改变单元91E确定编辑操作器是否给出了改变显示布局的指令(P5)。

当编辑操作器给出改变显示布局的指令时(当得到肯定结果时)，布局改变单元91E确定该指令是否涉及构成各个片段的缩略图的时间点信息的改变(P6)。

另外，通过经由操作面板75的操作输入或屏幕上的操作输入来检测改变显示布局的指令。

当指令不涉及时间点信息的改变时(当得到否定结果时)，布局改变单元91E指示指令布局确定单元91D改变显示布局。另一方面，当指令包含时间点信息的改变时(当得到肯定结果时)，布局改变单元91E指令指示时间点信息获取单元91A改变时间点信息。

如果编辑操作器没有给出改变显示布局的指令(当得到否定结果时)，布局改变单元91E确定是否给出了结束显示情节板窗口11的指令(P7)。除非给出结束显示情节板窗口11的指令，否则布局改变单元91E将重复确定编辑操作器是否给出了改变显示布局的指令。

通过重复上面的处理过程，情节板窗口11中显示的内容可持续地更新。

(b)GUI屏幕的第二实施例

图42示出了当在能够显示一个片段的多个缩略图的情节板窗口上执行编辑操作时的编辑装置的功能结构。通过CPU 63的程序处理或通过显示控制电路83的信号处理也可以实现该功能结构(图39)。

编辑装置101的主要部件包括时间点信息获取单元101A、缩略图生成单元101B、缩略图存储单元101C、布局确定单元101D、以及编辑位置指示单元101E。另外，当涉及缩略图显示布局的改变时，需要使用图40中所示的功能结构的处理过程。图42主要示出与编辑位置的指示相关的功能。

另外，时间点信息获取单元101A、缩略图生成单元101B、缩略图存储单元101C、和布局确定单元101D与图40中示出的时间点信息获取单元91A、缩略图生成单元91B、缩略图存储单元91C、和布局确定单元91D相同。因此，将省去时间点信息获取单元101A、缩略图生成单元101B、缩略图存储单元101C、和布局确定单元101D的描述。

编辑位置指示单元101E对应于改变片段和对应于编辑位置的缩略图的显示形式的处理功能，使得片段和缩略图可以区别于其他区域。例如，编辑位置指示单元101E可改变外边框的宽度或片段和缩略图的显示色。

图43代表通过具有该功能结构的编辑装置显示情节板窗口11的处理过程的实施例。在这种情况下，采用了利用每一次进行显示时生成构成各个片段的缩略图的处理过程的技术。因此，当使用预先准备的缩略图时，缩略图生成过程由缩略图读取过程代替。图43表示的实施例中，假设在编辑操作过程中构成各个片段的缩略图的显示布局不发生改变。当构成各个片段的缩略图的显示布局不发生改变时，执行图41中表示的处理过程。

首先，时间点信息获取单元101A获取用于显示将在情节板窗口11中显示的各个片段的缩略图的时间点信息(P11)。将该时间点信息提供给缩略图生成单元101B。

缩略图生成单元101B以所给的时间点信息为基础生成构成各个片段的缩略图(P12)。所生成的缩略图保存在缩略图存储单元101C。

在获取将在情节板窗口11中显示的缩略图之后，布局确定单元101D确定显示布局(P13)。在RAM(视频RAM)67中展开对应于所确定的显示格局的情节板窗口11的图像。情节板窗口11的图像在监视器73的屏幕上与其他编辑窗口一起显示(P14)。例如，这些图像以图1中所示的编辑屏幕形式进行显示。

其后，编辑位置指示单元101E确定是否选择了情节板窗口11上的编辑操作(P15)。

当编辑操作器没有选择编辑操作时(当得到否定结果时)，编辑位置指示单元101E重复该确定处理过程。

当编辑操作器选择了编辑操作时(当得到肯定结果时)，编辑位置指示单元101E获取编辑位置信息，并将待编辑片段或缩略图的外边框变成使得该待编辑片段或缩略图可区别于其他区域的显示形式(P16)。例如，如图27至37B所示，在情节板窗口11上指示编辑位置。

此时，编辑位置显示单元101E在情节板窗口11上以与时间线窗口41互锁的方式显示编辑位置。

(D)其他实施方式

(a)在上述实施方式中，已经描述了在情节板窗口11上显示构成各个片段的多个时间点处的缩略图的情况。

另外，当通过所指定的特殊缩略图执行预览等特殊操作时，在缩略图显示区域中(在情节板窗口11上指定的特殊缩略图的显示区)可以再生并显示缩略图之前一段时间、缩略图之后一段时间、或缩略图之前和之后一段时间的运动图像。

该显示方法可以不用移动目光，仅仅在情节板窗口11上执行内容检查和编辑操作。

(b)虽然上述实施方式中已经描述了编辑装置的结构的实施例，但只要该编辑装置是一个能够提供编辑装置的功能的图像处理装置，编辑装置就可以采用任何产品形式。

这样的图像处理装置包括例如计算机、摄像机、数码相机、游戏机、便携信息终端(便携式电脑、便携电话、或便携式游戏机)、存储设备(诸如光盘设备或家庭服务器)、以及处理板或结合了根据本发明的功能的处理卡。

另外，通过结合常见结构的机箱、信号处理单元、以及具有根据产品形式的外部设备的外部接口，可构成任何图像处理装置。

除了上面描述的结构，摄像机或数码相机还可以具有照相单元和用于在存储介质上存储所拍摄图像数据的写入电路。

便携电话或其他具有通信功能的电子设备除了上面描述的结构以外，还可以具有发送接收电路和天线。

(c)在不背离本发明精神的基础上，可以对上述实施方式进行各种修改。另外，可以进行在本说明书描述的基础上进行各种修改和应用。

对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (18)

1.一种用于对构成视频素材的图像数据进行处理的图像数据处理方法，所述图像数据处理方法包括：

获取步骤，从所述视频素材中获取构成所述视频素材的多个时间点处的图像数据；以及

生成步骤，生成用于显示的图像数据，用来在与排列了多个所述素材的情节板显示区内的所述视频素材相对应的显示区中，以分组状态显示在所述获取步骤中获取的所述多个时间点处的图像数据。

2.根据权利要求1所述的图像数据处理方法，进一步包括输出在所述生成步骤中生成的所述用于显示的图像数据的输出步骤。

3.根据权利要求1所述的图像数据处理方法，

其中，在所述生成步骤中，所述多个时间点处的图像数据中的至少一个是由用户在任意时间点处选择的图像数据。

4.根据权利要求1所述的图像数据处理方法，

其中，在所述生成步骤中，所述多个时间点处的图像数据中的至少一个为场景改变点。

5.根据权利要求1所述的图像数据处理方法，

其中，在所述生成步骤中，所述多个时间点处的图像数据以所述视频素材的时间码中的等间隔生成。

6.根据权利要求1所述的图像数据处理万法，

其中，在所述生成步骤中，所述用于显示的数据这样生成：使得在显示时，时间上彼此相邻的多个图像数据以与所述多个图像数据之间的时差相对应的距离彼此分开。

7.根据权利要求1所述的图像数据处理方法，

其中，在所述生成步骤中，所述用于显示的数据这样生成：使得在时间上彼此相邻的多个图像数据之间的显示间隔以与所述多个图像数据之间的时差相对应的颜色进行显示。

8.根据权利要求1所述的图像数据处理方法，

其中，在所述生成步骤中，所述用于显示的数据这样生成：使得与编辑位置对应的图像数据的显示区被突出。

9.根据权利要求1所述的图像数据处理方法，

其中，在所述生成步骤中，所述用于显示的数据这样生成：使得与编辑位置对应的图像数据的显示区利用与所述编辑位置对应的颜色进行显示。

10.根据权利要求1所述的图像数据处理方法，

其中，在所述生成步骤中，所述用于显示的数据以与时间线窗口中的所述视频素材编辑操作互锁的方式生成。

11.根据权利要求1所述的图像数据处理方法，

其中，在所述生成步骤中，用于显示的第一数据和用于显示的第二数据是有选择地生成的，所述第一数据用来在与所述情节板显示区中的所述视频素材相对应的显示区中以分组状态显示在所述获取步骤中获取的所述多个时间点处的图像数据，以及，所述第二数据用来显示一个所述图像数据。

12.根据权利要求1所述的图像数据处理方法，

其中，在所述生成步骤中，所述用于显示的数据这样生成：使得显示出用于给出从所述用于显示的第一数据改变到所述用于显示的第二数据的指令的操作按钮区。

13.根据权利要求1所述的图像数据处理方法，

其中，在所述生成步骤中，所述用于显示的数据这样生成：使得显示出用于给出从所述用于显示的第二数据改变至所述用于显示的第一数据的指令的操作按钮区。

14.一种用于对构成视频素材的图像数据进行处理的图像数据处理装置，所述图像数据处理装置包括：

获取装置，用于从所述视频素材中获取构成所述视频素材的多个时间点处的图像数据；以及

生成装置，用于生成用于显示的图像数据，用来在情节板窗口上与所述视频素材相对应的显示区中，以分组状态显示由所述获取装置获取的所述多个时间点处的图像数据。

15.一种用于使计算机对构成视频素材的图像数据进行处理的程序，所述程序包括：

获取步骤，从所述视频素材中获取构成所述视频素材的多个时间点处的图像数据；以及

生成步骤，生成用于显示的图像数据，用来在情节板窗口上与所述视频素材相对应的显示区中，以分组状态显示在所述获取步骤中获取的所述多个时间点处的图像数据。

16.一种记录了用于使计算机对构成视频素材的图像数据进行处理的程序的记录介质，所述程序包括：

获取步骤，从所述视频素材中获取构成所述视频素材的多个时间点处的图像数据；以及

生成步骤，生成用于显示的图像数据，用来在情节板窗口上与所述视频素材相对应的显示区中，以分组状态显示在所述获取步骤中获取的所述多个时间点处的图像数据。

17.一种用于对构成视频素材的图像数据进行处理的图像数据处理方法，所述图像数据处理方法包括：

获取步骤，从所述视频素材中获取构成所述视频素材的多个时间点处的缩略图图像数据；以及

显示控制步骤，在与排列了多个所述素材的情节板显示区内的所述视频素材相对应的显示区中，以分组状态显示在所述获取步骤中获取的所述多个时间点处的缩略图图像数据。

18.一种用于对构成视频素材的图像数据进行处理的图像数据处理装置，所述图像数据处理装置包括：

获取部，从所述视频素材中获取构成所述视频素材的多个时间点处的图像数据；以及

生成器，生成用于显示的图像数据，用来在情节板窗口上与所述视频素材相对应的显示区中，以分组状态显示由所述获取部获取的所述多个时间点处的图像数据。

Images