CN103081460A - 运动图像处理装置以及运动图像处理方法和程序 - Google Patents

运动图像处理装置以及运动图像处理方法和程序 Download PDF

Info

Publication number
CN103081460A
CN103081460A CN2011800415625A CN201180041562A CN103081460A CN 103081460 A CN103081460 A CN 103081460A CN 2011800415625 A CN2011800415625 A CN 2011800415625A CN 201180041562 A CN201180041562 A CN 201180041562A CN 103081460 A CN103081460 A CN 103081460A
Authority
CN
China
Prior art keywords
montage
montages
editing
pair
groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800415625A
Other languages
English (en)
Inventor
高木芳德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103081460A publication Critical patent/CN103081460A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)

Abstract

提供一种运动图像处理装置以及运动图像处理方法和程序，其能够生成能够容易把握运动图像的合成的合成图像。从包括多个剪辑的运动图像（MP）检测剪辑之间的转场，将该多个剪辑分类为具有不同特征量（S）的多个剪辑组，指定运动图像中重复的多个剪辑对，该剪辑对包括属于不同剪辑组的两个或更多个连续的剪辑，组合多个剪辑的至少一部分以从多个剪辑对生成小于多个剪辑对的预定数目个剪辑对（Nopt），从而使得组成每个剪辑对的两个或更多个剪辑属于不同的剪辑组，且保持运动图像中的剪辑转场的前后关系，并且生成包括生成的剪辑对的剪辑合成图像（CI）。

Description

运动图像处理装置以及运动图像处理方法和程序
技术领域
本公开涉及运动图像处理装置、运动图像处理方法和程序。
背景技术
视频（运动图像）通常包括很多剪辑。在图像表达中，剪辑合成可被设想为诸如根据创建者的意图重复一系列彼此不同的剪辑（也被称作为回切（cutback））。顺便地，对于那些欣赏视频或使用视频作为其它视频的素材的人，有关视频对象如何被抓住，换言之，视频如何在视频的时间（temporal）前后关系中表达的信息可能是重要的。
发明内容
技术问题
因此提出了：从运动图像标识作为一系列彼此不同的剪辑重复的剪辑对，并生成剪辑合成图像，其中在指定剪辑对的边界同时根据剪辑转场的次序布置每个剪辑的代表性图像。
然而，如果回切变得更加频繁且剪辑对的数目增加，则剪辑合成图像可变得比在其中显示剪辑合成图像的显示区域更大。如果尝试一次地显示合成图像从而保持一览（at-a-glace）可见性（visibility），则代表性图像会以较高比率减少并显示，从而导致剪辑合成图像的较低可见性。如果尝试部分地显示剪辑合成图像从而保持该剪辑合成图像的可见性，则剪辑合成图像会被分割和显示，从而导致较低的一览可见性。因此，在任何情况下，用户都将不能通过剪辑合成图像容易地把握运动图像的剪辑合成。
因此，本公开提供了一种运动图像处理装置，其能够生成使得人们能容易地把握运动图像剪辑合成的剪辑合成图像，以及运动图像处理方法和程序。
问题的解决方案
根据本发明的实施例，提供了一种运动图像处理装置，包括：剪辑转场检测单元，其从包含多个剪辑的运动图像检测剪辑之间的转场；剪辑对标识单元，其将该多个剪辑分类为具有不同特征量的多个剪辑组，并标识出包括属于彼此不同剪辑组的两个或更多个连续的剪辑、且在运动图像中被重复的多个剪辑对；剪辑对生成单元，其以使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组且保持运动图像中剪辑转场的前后关系的方式，通过组合该多个剪辑的至少一部分，来从多个剪辑对生成在数目上少于该多个剪辑对的预定数目个剪辑对；以及剪辑合成图像生成单元，其生成包括所生成的剪辑对的剪辑合成图像。
剪辑对生成单元可将多个剪辑对分类为预定数目个对组，并且然后对于每个对组，以使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组且保持运动图像中剪辑转场的前后关系的方式，通过组合每个对组中包含的剪辑的至少一部分，来从每个对组中包含的剪辑对生成一个剪辑对。
剪辑对生成单元可基于剪辑的特征量将多个剪辑对分类为预定数目个对组。
剪辑对生成单元可基于剪辑对的特征量将多个剪辑对分类为预定数目个对组。
剪辑对生成单元可通过基于剪辑的特征量组合多个剪辑来生成一个剪辑对。
剪辑对生成单元可通过基于剪辑对的特征量组合多个剪辑来生成一个剪辑对。
剪辑对生成单元可基于每个剪辑组的剪辑的特征量拣选出剪辑，并通过组合多个拣选的剪辑来生成一个剪辑对。
剪辑对生成单元可基于第一剪辑组的剪辑的特征量拣选出剪辑，并通过组合与拣选的剪辑属于相同的剪辑对的多个剪辑来生成一个剪辑对。
可基于指示剪辑对之间相似度的相似度矩阵的内积生成剪辑对。
相似度矩阵的内积总和最大的剪辑对可被生成为代表多个剪辑对的代表性剪辑对。
与代表性剪辑对的相似度低的剪辑对可与该代表性剪辑对一起生成。
可基于指示剪辑对之间相似度的相似度矩阵的标量值生成剪辑对。
具有相似度矩阵的最大标量值的剪辑对可被生成为代表多个剪辑对的代表性剪辑对。
与代表性剪辑对的相似度低的剪辑对可与该代表性剪辑对一起生成。
可根据剪辑合成图像的显示条件设置预定的数目。
根据本公开的实施例，提供了一种运动图像处理方法，包括：从包含多个剪辑的运动图像检测剪辑之间的转场，将该多个剪辑分类为具有不同特征量的多个剪辑组，并标识出包括属于彼此不同剪辑组的两个或更多个连续的剪辑、且在运动图像中被重复的多个剪辑对，以使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组且保持运动图像中剪辑转场的前后关系的方式，通过组合该多个剪辑的至少一部分，来从多个剪辑对生成在数目上少于该多个剪辑对的预定数目个剪辑对，以及生成包括所生成的剪辑对的剪辑合成图像。
根据本公开的另一方面，提供了一种使得计算机执行运动图像处理方法的程序。可通过使用计算机可读记录介质或经由通信方法提供该程序。
本发明的有益效果
根据以上描述的本公开，提供了一种运动图像处理装置，其能够生成使得人们能容易地把握运动图像剪辑合成的剪辑合成图像，以及提供了运动图像处理方法和程序。
附图说明
图1是示出用于根据本公开实施例的运动图像处理方法的过程的流程图。
图2是示出运动图像处理装置的配置的框图。
图3是示出用于运动图像处理装置的全部操作过程的流程图。
图4是例示剪辑合成的图。
图5是示出用于标识剪辑对的过程的流程图。
图6是例示剪辑对标识结果的图。
图7是例示剪辑合成阵列的图。
图8是示出剪辑合成的显示优化过程的流程图。
图9A是示出剪辑合成的显示优化过程的图（1/3）。
图9B是示出剪辑合成的显示优化过程的图（2/3）。
图9C是示出剪辑合成的显示优化过程的图（3/3）。
图10是示出生成剪辑对的过程的流程图。
图11是示出生成两个剪辑对的过程的图。
图12是例示生成剪辑对的条件的图。
图13是例示在第一生成过程中基于剪辑对的帧数生成剪辑对的过程的图。
图14是例示在第一生成过程中基于剪辑的帧数生成剪辑对的过程的图。
图15是例示在第一生成过程中基于剪辑之间的音量波动生成剪辑对的过程的图。
图16是例示在第二生成过程中基于剪辑对的帧数生成剪辑对的过程的图。
图17是例示在第二生成过程中基于剪辑的帧数生成剪辑对的过程的图。
图18是例示在第二生成过程中基于剪辑之间的音量波动生成剪辑对的过程的图。
图19是例示在第二生成过程中基于剪辑之间的图像亮度直方图生成剪辑对的过程的图。
图20是例示剪辑之间特征量相似度的计算结果的图。
图21是例示基于相似度矩阵的内积生成剪辑的过程的图（1/2）。
图22是例示基于相似度矩阵的内积生成剪辑的过程的图（2/2）。
图23是例示基于相似度矩阵的标量值生成剪辑对的过程的图。
图24是例示剪辑合成图像的图。
图25是示出基于对比率的剪辑合成图像的校正的图。
具体实施方式
以下，将参照附图描述本发明的优选实施例。需注意，在本说明书和附图中，具有实质上相同功能和结构的元件用相同的参考标记表示，并且省略了重复的解释。
[运动图像处理方法的概述]
首先，将参照图1描述根据本公开实施例的运动图像处理方法的概述。图1示出用于根据本公开实施例的运动图像处理方法的过程。
如图1所示，在根据本公开实施例的运动图像处理方法中，首先从包含多个剪辑的运动图像MP检测剪辑之间的转场（步骤S1）。然后，将该多个剪辑分类为具有不同特征量S（对剪辑组的特征量的通称）的多个剪辑组，从而标识多个剪辑对，剪辑对由属于不同剪辑组的两个或更多个连续剪辑组成且在运动图像MP中重复（步骤S3）。
然后，组合多个剪辑的至少一部分，以从多个剪辑对生成预定数目N的剪辑对，从而使得剪辑对包括属于彼此不同的剪辑组的两个或更多个连续剪辑，且保持运动图像MP中的剪辑转场的内容（步骤S5）。根据剪辑合成图像CI（对剪辑合成图像的通称）的显示条件（诸如显示范围和显示大小）预设剪辑对的数目N。此外，生成由生成的剪辑对构成的剪辑合成图像CI（步骤S7）。
因此，可以通过由组合多个剪辑的至少一部分从而满足预定的条件而生成预定数目N的剪辑对以及生成由生成的剪辑对构成的剪辑合成图像CI来生成能够保持剪辑合成的一览可见性和剪辑合成图像的可见性的剪辑合成图像CI。然后，用户可以通过如上述生成的剪辑合成图像CI容易地把握运动图像MP的剪辑合成。
[2.运动图像处理装置1]
下面，将参照图2描述根据本公开实施例的运动图像处理装置1。图2示出运动图像处理装置1的主要功能配置。如图2所示，运动图像处理装置1包括数据获取单元11、剪辑转场检测单元13、剪辑对标识单元15、显示优化单元17、剪辑对生成单元19、元信息生成单元21、剪辑合成图像生成单元23、剪辑合成图像输出单元25、剪辑合成信息输出单元27以及数据存储单元29。
数据获取单元11获取包含多个剪辑的运动图像数据MP从而将运动图像数据MP提供给剪辑转场检测单元13、剪辑对标识单元15、剪辑对生成单元19、元信息生成单元21以及剪辑合成图像生成单元23。运动图像数据MP通常是帧格式的数据并且可仅是图像数据或可与音频数据组合。可从数据存储单元29或外部的装置（未示出）获取运动图像数据MP。
剪辑转场检测单元13基于运动图像数据MP检测运动图像MP中的剪辑转场并将检测结果提供给剪辑对标识单元15和剪辑合成信息输出单元27。剪辑转场意味着运动图像MP中剪辑的变化（change）。基于对后续帧中图像和/或音频确定的特征量的相似度检测剪辑转场。可以使用颜色直方图、脸部图像检测、图像之间的相关性（correlation）和/或声音音量、音调/节奏等作为图像和/或音频的特征量。可将为检测剪辑转场而确定的特征量存储在数据存储单元29中以供在其它处理中使用。
尽管稍后将描述细节，剪辑对标识单元15基于每个剪辑的特征量S’将多个剪辑分类为剪辑组。剪辑对的标识结果被和剪辑转场的检测结果一起提供给显示优化单元17、剪辑对生成单元19和剪辑合成信息输出单元27。可以使用剪辑中包含的图像的颜色直方图、脸部图像检测、图像之间的关联和/或声音音量、音调/节奏等或这些的组合作为剪辑的特征量S’。可将为标识剪辑对而确定的特征量S’存储在数据存储单元29中以供在其它处理中使用。
剪辑组意味着具有彼此相似特征量S’的剪辑的组合。剪辑对意味着在剪辑组合中重复的一系列彼此不同的剪辑的组合，并且由两个或更多个时间连续的剪辑构成。剪辑对标识单元15基于剪辑对的标识结果向每个剪辑附加代表剪辑组或剪辑对的属性信息（稍后描述的组ID、对ID等）。属性信息除了被提供给显示优化单元17和剪辑对生成单元19之外，还可被提供给剪辑合成信息输出单元27、数据存储单元29和外部装置。
尽管将稍后描述细节，显示优化单元17根据剪辑合成图像CI的显示条件（诸如显示范围和显示大小）优化剪辑合成图像CI的显示。更具体地，作为剪辑合成图像CI显示的剪辑对的数目N被优化为最佳显示数目Nopt从而保持剪辑合成图像CI的可见性以及剪辑合成的一览可见性。将优化结果提供给剪辑对生成单元19。
尽管将稍后描述细节，剪辑对生成单元19根据剪辑对标识结果和显示优化结果生成作为剪辑合成图像CI显示的剪辑对。更具体地，根据剪辑对生成条件，基于特征量S’，生成剪辑对从而满足最佳剪辑对数目Nopt。剪辑对生成结果被提供给剪辑合成图像生成单元23，但是还可被提供给剪辑合成信息输出单元27、数据存储单元29和外部装置。
元信息生成单元21生成示出每个剪辑中包含的音频和图像的特征的元信息MI（对元信息的通称）。元信息生成单元21基于运动图像数据MP和剪辑转场的检测结果从运动图像MP提取音频或图像特征。然后，示出每个剪辑的音频或图像特征的元信息MI被生成和提供给剪辑合成图像生成单元23。
剪辑合成图像生成单元23基于运动图像数据MP和剪辑对生成结果生成剪辑合成图像CI。剪辑合成图像CI是如下图像，其中在剪辑对的边界被指定的同时以剪辑转场次序布置生成的剪辑对中包含的剪辑的代表性图像I。在剪辑合成图像CI的生成中，根据预定标准从生成的剪辑对的剪辑中包含的图像提取代表性图像I。剪辑合成图像CI可包含由元信息生成单元21提供的元信息MI。代表性图像I是代表每个剪辑的图像，并且被提取为例如与剪辑的中心帧相对应的图像。剪辑合成图像CI被提供给剪辑合成图像输出单元25。
剪辑合成图像输出单元25输出由剪辑合成图像生成单元23提供的剪辑合成图像CI，从而使得用户可以把握运动图像MP的剪辑合成。剪辑合成图像CI可被输出到连接到运动图像处理装置1的显示装置、打印装置、存储装置或外部装置（这些装置均未示出）。
剪辑合成信息输出单元27将剪辑转场检测结果、剪辑分类结果或剪辑对标识结果作为剪辑合成信息输出，从而使得用户可以使用该信息来把握剪辑合成。该剪辑合成信息可被输出到连接到运动图像处理装置1的显示装置、打印装置、存储装置或外部装置（这些装置均未示出）。
剪辑合成信息可以被作为用于例如考虑剪辑合成实现运动图像搜索的数据来使用。例如，一些剪辑可被设置为参考剪辑以搜索与参考剪辑配对的剪辑，或一些剪辑对可被设置为参考剪辑对以搜索以和参考剪辑对同样的方式构成的剪辑对。此外，可以搜索包含许多剪辑对的运动图像MP或包含很多回切的运动图像MP。
数据存储单元29存储运动图像数据MP和附加到运动图像数据MP的数据。数据存储单元29具有通过与运动图像数据MP相关联而存储的剪辑合成信息。附带说一下，剪辑合成图像CI可存储在数据存储单元29中。在图2中，部分省略数据存储单元29与其它部件连接的标记。
在以上的功能配置中，数据获取单元11、剪辑转场检测单元13、剪辑对标识单元15、显示优化单元17、剪辑对生成单元19、元信息生成单元21、剪辑合成图像生成单元23、剪辑合成图像输出单元25和剪辑合成信息输出单元27被配置为诸如CPU DSP（数字信号处理器）等的处理单元。由内部存储装置（诸如闪速存储器）或外部存储装置（诸如硬盘驱动或蓝光盘驱动）配置数据存储单元29。CPU通过在RAM上扩展从ROM等读取的程序并执行该程序实现运动图像处理方法。上述功能配置可至少部分地配置为诸如专用逻辑电路的硬件。
[3.用于生成剪辑合成阵列M0的过程]
下面，将参照图3至图7描述生成剪辑合成阵列M0的过程。图3示出运动图像处理装置1的整体操作步骤。
如图3所示，数据获取单元11首先获取运动图像数据MP（步骤S11）并将该运动图像数据MP提供给剪辑转场检测单元13。剪辑转场检测单元13基于运动图像数据MP检测运动图像数据MP中的剪辑转场（步骤S13）并将检测结果提供给剪辑对标识单元15。基于后续帧中的图像和/或音频的特征量的相似度检测剪辑转场。将示出剪辑转场的次序的序列号作为剪辑ID附加到每个剪辑。
图4例示出由剪辑转场检测结果确定的剪辑合成。通过使用剪辑1至15的代表性图像I1至I15示出剪辑合成以便于理解。如图4所示，剪辑1、3、6、8、11和13彼此相似，剪辑2、4、7、9、12和14彼此相似，并且剪辑5、10和15彼此相似。
下面，剪辑对标识单元15进行剪辑对标识处理以通过将每个剪辑分类到剪辑组来标识剪辑对。图5示出剪辑对标识处理的过程。如图5所示，在剪辑对标识处理中，首先进行初始化处理（步骤S31）。在初始化处理中，初始化组数目m和对ID（m=2，对ID=1）。组ID=1和组ID=2分别附加到剪辑1和2，且对ID=1附加到剪辑1和2。
组数目m示出从运动图像数据MP标识的剪辑组（在初始化处理中标识出剪辑组1和2）的数目。组ID和对ID被附加到每个剪辑从而指示每个剪辑所属的组ID和对ID。
下面，计算剪辑1的特征量S’并将其作为剪辑组1的特征量S1存储在数据存储单元29等中（步骤S33）。相似地，计算剪辑2的特征量S’并将其作为组2的特征量S2存储在数据存储单元29等中（步骤S35）。剪辑组的特征量S（对剪辑组特征量的通称）被计算为颜色直方图、脸部图像检测、图像之间的关联和/或声音音量、音调/节奏等或这些的组合。
下面，检查是否存在要被处理的后续的剪辑（步骤S37）。如果存在后续的剪辑（步骤S37中“是”），则计算后续剪辑的特征量S’（步骤S39）并且确定后续剪辑的特征量S’和剪辑组1至m的特征量S1至Sm之间的相似度（步骤S41）。当确定相似度时，可对具有比之前的紧接的（immediately before）剪辑更大的组ID的剪辑组优先确定特征量S之间的相似度。这是由于当属于相同的剪辑对时，后续的剪辑所属于的剪辑组的组ID变得大于之前的紧接的剪辑所属于的剪辑组的ID。
如果后续的剪辑的特征量S’和剪辑组1至m的特征量S1至Sm中一个之间的相似度被确定为等于预定阈值或更高（步骤S41中的“是”），则将最高相似度的剪辑组x（1≤x≤m）的组ID附加到后续的剪辑（步骤S43）。
比较后续的剪辑的组ID和之前紧接的剪辑的组ID（步骤S45），并且如果前者较小，则对ID增加1（步骤S47）。在这种情况下，之前紧接的剪辑和后续的剪辑属于不同的剪辑对，并且在两个剪辑之间存在剪辑对之间的边界（回切点(cutback point)）。之前的对ID或增加的对ID附加到后续的剪辑（步骤S49）。后续的剪辑的特征量S’可被存储并用作剪辑组x的特征量Sx的一部分，或可被丢弃（步骤S51）。
另一方面，如果后续的剪辑的特征量S’和剪辑组I至m的所有特征量S1至Sm之间的相似度被确定为小于预定的阈值（步骤S41中的“否”），则组数目m增加1从而生成新的剪辑组（步骤S53）。作为新的剪辑组对应于组数目m的组ID附加到后续的剪辑（步骤S55）。之前的对ID附加到后续的组（步骤S55）。后续的剪辑的特征量S’被存储并用作新的剪辑组m的特征量Sm（步骤S59）。
重复步骤S37至S59中的处理直到不再存在后续的剪辑（步骤S37中的“否”）。然后，如果不存在后续的剪辑，则剪辑对标识处理终止，并且如图3所示，步骤S17中的处理继续进行。
图6示出图4中所示的剪辑配置的剪辑对标识结果。如图6所示，基于每个剪辑的特征量S’的相似度,将组ID=1附加到剪辑1、3、6、8、11和13，组ID=2附加到剪辑2、4、7、9、12和14，以及组ID=3附加到剪辑5、10和15。还基于剪辑转场的次序，将对ID=1至6附加到剪辑1至15并且剪辑1、2，剪辑3至5，剪辑6、7，剪辑8至10，剪辑11、12和剪辑13至15每个被标识为剪辑对1至6，作为一系列彼此不同的剪辑重复。
当剪辑对的标识终止时，显示优化单元17基于剪辑对标识结果优化剪辑合成阵列M0（步骤S17）。显示优化单元17首先生成剪辑合成阵列M0。剪辑合成阵列M0是基于运动图像MP中剪辑对的出现次序以及每个剪辑对中剪辑的出现次序以矩阵形式布置每个剪辑的信息。
图7示出从图6中所示的剪辑对标识结果生成的剪辑合成阵列M0。在图7中，在剪辑合成阵列M0中示出剪辑ID。在图7中所示的剪辑合成阵列M0中，水平地布置剪辑1、2，在剪辑1、2下面水平地布置剪辑3至5，并且类似地布置剪辑6、7，剪辑8至10，剪辑11、12和剪辑13至15。
即，以矩阵形式布置剪辑1至15，其中在第一方向（竖直方向）上设置运动图像MP中剪辑对的出现次序（对ID），并且在第二方向（水平方向）上设置每个剪辑对中剪辑的出现次序（组ID）。代替竖直方向和水平方向的组合，第一方向和第二方向的组合可以是水平方向和竖直方向的组合。
[4.优化剪辑合成阵列M0的过程]
下面，将参照图8和图9A至9C描述优化剪辑合成阵列M0的过程。图8示出优化剪辑合成阵列M0的过程。
以下将描述对预定的显示区域Ad优化图7所示的剪辑合成阵列时的情况。假设显示区域Ad在第一方向上具有显示高度（像素数）Y，在第二方向上具有显示宽度（像素数）X，以及显示范围大小A（=X×Y）。假设每个剪辑的代表性图像I在第一方向上具有原（full-size）高度（像素数）y0，在第二方向上具有原宽度（像素数）x0，代表性图像大小a0（=x0×y0），以及高宽比Ra=x0/y0。
如图8所示，首先初始化处理计数器i（i=1）（步骤S61）。下面，从显示区域Ad的显示宽度X计算代表性图像I的最大显示宽度xmax（步骤S63）。通过将显示区域Ad的显示宽度X除以组数目m计算最大显示宽度xmax（xmax=X/m）。如果代表性图像I的最大显示宽度xmax大于全长的宽度x0，则可以最大显示宽度xmax被设置为原宽度x0。
下面，计算当以最大显示宽度xmax显示代表性图像I的剪辑对的显示数目N1（步骤S65）。通过将显示区域Ad的显示高度Y除以代表性图像I的最大显示高度ymax计算显示数目N1（N1=Y/ymax）。通过将最大显示宽度xmax除以高宽比Ra计算最大显示高度ymax（ymax=xmax/Ra）。将显示数目N1计算为通过丢弃小数点右侧所有位获得的值。
下面，基于剪辑对的显示数目N1从剪辑合成阵列M0生成第一部分阵列M1（步骤S67）。部分阵列是通过从剪辑合成阵列M0部分提取获得的阵列。将第一部分阵列M1生成为包含剪辑对1至N1中所有剪辑的阵列，并且该阵列中包含的剪辑总数变为第一部分阵列M1中的总剪辑数n1。
下面，计算第一剪辑合成图像CI对显示区域A的的显示占有率Ro1（步骤（S69）。通过将用第一部分阵列M1中的总剪辑数目n1乘以代表性图像大小（a1=xmax×ymax）获得的值除以显示范围大小A来计算第一剪辑合成图像CI的显示占有率Ro1（Ro1=a1×n1/A）。
下面，处理计数器i加1（步骤S71）且显示数目Ni加1（步骤S73）。下面，基于剪辑对的显示数目Ni从剪辑合成阵列M0生成第i个部分阵列Mi（步骤S75）。将第i个部分阵列Mi生成为包含剪辑对1至Ni中所有剪辑的阵列。
下面，计算以显示数目Ni显示代表性图像I时的代表性图像大小ai（步骤S77）。当以显示数目Ni显示代表性图像I时通过将显示高度yi乘以显示宽度xi计算代表性图像大小ai（ai=xi×yi）。通过将显示区域Ad的显示高度Y除以显示数目Ni计算显示高度yi（yi=Y/Ni），通过用显示高度yi乘以高宽比Ra计算显示宽度xi（xi＝yi×Ra）。
下面，计算第i个剪辑合成图像CI对显示区域A的显示占有率Roi（步骤S79）。通过将用第i部分阵列Mi中的总剪辑数目ni乘以代表性图像大小ai获得的值除以显示范围大小A计算第i剪辑合成图像CI的显示占有率Roi（Roi=ai×ni/A）。
下面，确定计算的显示占有率Roi是否小于之前紧接的处理（由处理计数器i-1进行的处理）中计算的显示占有率Roi-1（步骤S81）。然后，如果判定结果是肯定的（步骤S81中“是”），则显示数目Ni-1变为优化显示数目Nopt（步骤S83）。结果，第（i-1）个部分阵列Mi-1被确定为优化的剪辑合成阵列。
另一方面，如果判定结果是否定的（步骤S81中的“否”），则处理返回至步骤S71。然后设置与下一个处理计数器i+1对应的显示数目Ni+1，以重复步骤S71至S81中的处理，直到步骤S81中的判定结果变为肯定的。
根据上述步骤，代表性图像I的显示大小ai随着显示数目Ni的增加而减小。因此，可预设代表性图像I的最小显示高度ymin从而确定由显示数目Ni计算的代表性图像I的显示高度yi是否小于最小显示高度ymin。然后，如果判定结果是肯定的，则可中断优化处理从而设置显示占有率Roi取最大值的第一部分阵列M1的显示数目N1作为最大显示数目Nopt。
图9A至9C示出图4中示出的剪辑配置的优化处理结果。如图9A所示，第一部分阵列M1具有显示数目N1=4，且包括剪辑对1至4中包含的剪辑1至10。在这种情况下，剪辑合成的组数是m=3，且因此如图9A所示，剪辑组1至3的代表性图像I1至I10在显示区域A的显示宽度X上完全地显示为剪辑合成图像CI。然后，第一部分阵列M1的显示占有率被计算为Ro1＝0.74。
如图9B所示，第二部分阵列M2具有显示数目N2=5，且包括剪辑对1至5中包含的剪辑1至12。在这种情况下，如图9B所示，剪辑对1至5中的代表性图像I1至I12在显示区域Ad的显示高度Y上完全地显示为剪辑合成图像CI。然后，第二部分阵列M2的显示占有率被计算为Ro2=0.76。由于Ro1（=0.74）<Ro2(=0.76)成立，则优化处理会继续。
如图9C所示，第三部分阵列M3具有显示数目N3=6，且包括剪辑对1至6中包含的剪辑1至15。在这种情况下，如图9C所示，剪辑对1至6中的代表性图像I1至I15在显示区域Ad的显示高度Y上完全地显示为剪辑合成图像CI。然后，第三部分阵列M3的显示占有率被计算为Ro3=0.67。由于Ro3（=0.67）<Ro2(=0.76)成立，则第二部分阵列M2成为最优剪辑合成阵列。因此，最优显示数目Nopt变为显示数目N2=5。
在图9A和9B中，没有显示剪辑合成阵列M0中所有的剪辑对1至6，在显示区域Ad下面显示用以指示存在没有显示的剪辑对的标记M。
根据由本实施例的运动图像处理方法，如上所述，通过调整剪辑对的数目N从而最大化对显示区域Ad的显示占有率Ro并且生成满足调整后的剪辑对数目N剪辑合成图像CI，剪辑合成图像CI能够保持剪辑合成的一览可见性和剪辑合成图像CI的可见性。
如已经参照图9A至9C所描述的，由于显示条件的限制，因此最优阵列不一定包含运动图像MP中的所有剪辑合成。因此，如果根据最优阵列生成剪辑合成图像，则运动图像MP中的剪辑合成可能没有被适当地表达。因此，如以下将要描述的，在通过从剪辑合成阵列M0拣选（sort）剪辑从而满足最优阵列（最优显示数目Nopt）而生成剪辑对之后生成剪辑合成图像CI。
如图3所示，当完成了显示最优处理时，剪辑对生成单元19从多个剪辑对生成最优显示数目Nopt个剪辑对（步骤S19）。通过组合多个剪辑的至少一部分而生成剪辑对，从而使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组，并且保持运动图像MP中剪辑转场的前后关系。
[5.生成剪辑对的过程]
下面，将参照图10至25描述生成剪辑对的过程。图10示出生成剪辑对的过程。
为了生成剪辑对，事先检测到剪辑转场且标识出剪辑对。如上所述，在剪辑转场的检测中，从包括多个剪辑的运动图像中检测出剪辑之间的转场（步骤S91）。在剪辑对的标识中，将多个剪辑分类为具有不同特征量S的多个剪辑组，从而识别由属于不同剪辑组的两个或更多个连续剪辑组成且在运动图像MP中被重复的多个剪辑对（步骤S93）。
在剪辑对的识别中，剪辑合成阵列M0中的剪辑对可被分类为对组以从每个对组生成剪辑对（第一生成过程），或可不将剪辑对分类成剪辑组而直接从剪辑合成阵列M0生成剪辑对（第二生成过程）。因此，在剪辑对的生成中，首先确定是否选择第一生成过程（步骤S95）。
然后，如果判定结果是肯定的（步骤S95中的“是”），则基于剪辑或剪辑对的特征量将剪辑合成阵列M0中的剪辑对分类为最优显示数目Nopt个对组（步骤S97）。下面，组合每个对组中包含的剪辑的至少一部分从而从每个对组中包含的剪辑对生成一个剪辑对（步骤S98）。组合剪辑从而使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组并且保持运动图像中剪辑转场的前后关系。
另一方面，如果判定结果是否定的（步骤S95中的“否”），则在不考虑对组的情况下组合多个剪辑的至少一部分，从而多个剪辑对中生成最优显示数目Nopt个剪辑对（步骤S99）。这里也组合剪辑从而使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组并且保持运动图像中剪辑转场的前后关系。
下面将参照图11至25描述当从剪辑对1至7生成剪辑对从而使得满足最优显示数目Nopt=3的情况。以下将使用与图4至9中的运动图像数据MP不同的运动图像数据MP来描述。
图11示出根据两个生成过程的剪辑合成图像CI的生成示例。在第一生成过程中，剪辑合成阵列M0中的剪辑对1至7被分类为对组1（剪辑对1至3），对组2（剪辑对4、5）和对组3（剪辑对6、7）。下面，从对组1拣选出剪辑3、4，从对组2拣选出剪辑8、9，并从对组3拣选出剪辑11、14。在图11中，拣选的剪辑为画阴影的。在第二生成过程中，另一方面，直接从剪辑合成阵列M0中拣选出剪辑3、4、8、9、11和14而没有将剪辑对1至7分类为对组。
图12示例生成剪辑对的条件。根据图12中所示生成剪辑对的条件从剪辑合成阵列M0生成剪辑对。剪辑的特征包括剪辑图像的帧数、剪辑声音的音量、剪辑图像的亮度/颜色和剪辑图像的运动量。特征量包括总值、平均值、最大/最小值、中值、模式、方差、波动的系数、改变值（差）、直方图和矩阵值。特征量的处理单位包括剪辑单位、剪辑对单位、剪辑对中和相应的剪辑之间的差异。特征量的评估标准包括特征量的降序/升序、从参考值的波动、连续特征量之间的差以及矩阵值的内积和外积。
通过例如适当地组合剪辑特征、特征量、处理单位以及评估标准（象“帧数”作为剪辑特征，“总值”作为特征量，“剪辑对单位”作为处理单位，和“特征量的升序”作为评估标准）形成生成剪辑对的条件。以上的剪辑特征、特征量、处理单元和评估标准仅为示例并且不意味着所有的组合总是可能的。以下通过以一些生成条件作为示例来描述剪辑对的生成处理。
首先，将描述根据第一生成过程当从剪辑对1至7生成剪辑对从而满足最优显示数目Nopt=3的情况。以下示出的处理条件和剪辑配置仅为描述剪辑对的生成处理的示例。
图13示出在其中基于剪辑对的帧数生成剪辑对的示例。首先，基于剪辑对1至7的帧数将剪辑对1至7分类为对组1至3（参见对组的项）。将剪辑对1至7分类从而使得每个对组中包含的剪辑对的总帧数变为大致相等。在以上的示例中，将剪辑对1至7分类从而使得对组1、2、3中包含的帧的总数分别为120、80和100（参见累计的项）。下面，从每个对组1至3中包含的剪辑对拣选出具有最大帧数的剪辑对。在上述示例中，分别对于对组1、2和3拣选出剪辑对3、4、7（参见对帧数的项）。因此，生成由剪辑对3、4、7组成的三个剪辑对以生成剪辑合成图像CI。
可基于剪辑对的数目而非帧数将剪辑对1至7分类。在这种情况下，可将剪辑对1至7分类为例如剪辑对1、2，剪辑对3、4和剪辑对5至7从而使得每个对组中包括的剪辑对的数目变为大致相等。还有取代具有最大帧数的剪辑对，可拣选具有最小帧数的剪辑对或中值剪辑对。
图14示出在其中基于剪辑的帧数生成剪辑对的示例。首先，基于属于剪辑组1的主剪辑（剪辑1、3、5、7、9、11和13）的帧数将剪辑对1至7分类为对组1至3。
更具体地，对于对组的分类，从所有主剪辑选择具有最大的两个帧数的两个主剪辑。在上面的例子中，选择具有帧数20、25的主剪辑5、9（参见组1中的帧数的项）。然后，通过使用所选主剪辑的位置作为分隔符（delimiter）将剪辑对1至7分类为对组1至3。在这种情况下，主剪辑5、9的位置被用作上述示例中的分隔符从而将剪辑对1至3、剪辑对4、5和剪辑对6、7分别分类为剪辑组1、2和3（参见对组的项）。
下面，对剪辑组1至3的每个，从属于剪辑组1的主剪辑拣选具有最大帧数的主剪辑。在上述示例中，分别对于对组1、2、3拣选出主剪辑5、9和11（参见组1中帧数的项）。
下面，对每个剪辑组1至3，从属于剪辑组2的从-剪辑（剪辑2、4、6、8、10、12和14）拣选出具有最大帧数的从-剪辑。在上述的示例中，对于对组1、2和3分别拣选出从-剪辑2、10和14（参见组2中帧数的项）。因此，生成由剪辑2、5构成的剪辑对、由剪辑9、10构成的剪辑对以及由剪辑11、14构成的剪辑对以生成剪辑合成图像CI。
在这种情况下，由于在主剪辑5和从-剪辑2之间的剪辑转场次序是反的（主剪辑的剪辑ID>从-剪辑的剪辑ID），因此可拣选出从-剪辑6而非从-剪辑2，从而使得主剪辑和从-剪辑之间剪辑转场的次序变为正常。
取代基于各自的帧数分别拣选主剪辑和从剪辑，可基于帧数选择主剪辑从而随后选择与所选的主剪辑属于相同剪辑对的从-剪辑。在这种情况下，如果例如拣选出主剪辑5、9和11，则自动选择从-剪辑6、10和12。
还有取代主剪辑的帧数，可基于从-剪辑的帧数或剪辑对的帧数将剪辑对1至7分类。还有取代其帧数为最大和次大的两个主剪辑，可以使用具有最小的两个帧数的主剪辑的位置作为分隔符。还有取代对每个对组拣选出具有最大帧数的主剪辑和从-剪辑，可选择属于具有最大帧数的剪辑对的主剪辑和从-剪辑。
图15示出在其中基于剪辑之间的音量波动生成剪辑对的示例。首先，类似图13中所示的示例，基于剪辑对的数目将剪辑对1至7分类为对组1至3。
下面，对于剪辑组1至3的每个从属于剪辑组1的主剪辑（剪辑1、3、5、7、9、11和13）拣选具有最大音量波动的主剪辑。音量波动被计算为每个主剪辑的音量对每个对组中包含的主剪辑的平均音量的比率。在上述的示例中，拣选出具有分别对对组1、2和3中包含的主剪辑的平均音量18.3、15.0和20.0的音量波动的最大绝对值的主剪辑3（音量波动：-6.7），主剪辑7（音量波动：5.0）和主剪辑11（音量波动：5.0）（参见组1音量波动的项）。当同一对组中存在两个或更多个绝对最大值时，为方便起见拣选出具有最小剪辑ID的主剪辑。
类似地，对于每个剪辑组1至3的每个从属于剪辑组2的从-剪辑（剪辑2、4、6、8、10、12和14）拣选出具有最大音量波动的从-剪辑。音量波动被计算为每个从剪辑的音量对每个对组中包含的从剪辑的平均音量的比率。在上述的示例中，拣选出具有分别对对组1、2和3中包含的从-剪辑的平均音量18.3、15.0和12.5的音量波动的最大绝对值的从-剪辑6（音量波动：-6.7），从-剪辑8（音量波动：-5.0）和从-剪辑12（音量波动：2.5）（参见组2音量波动的项）。当同一对组中存在两个或更多个绝对最大值时，为方便起见拣选出具有最小剪辑ID的主剪辑。因此，生成由剪辑3、6组成的剪辑对，由剪辑7、8组成的剪辑对和由剪辑11、12组成的剪辑对以生成剪辑合成图像CI。
取代基于剪辑对的帧数将剪辑对分类为对组，类似于图14中所示的示例，可从所有剪辑具有最大的两个音量波动的两个剪辑从而通过使用所选剪辑的位置作为分隔符将剪辑对1至7分类为对组。音量波动被计算为每个剪辑的音量对剪辑对1至7中包含的所有剪辑的平均音量的比率。
对于剪辑组1至3的每个，可从每个对组中包含的所有剪辑拣选具有最大音量波动的剪辑而不区分主剪辑和从-剪辑。例如，可对于对组1从剪辑1至6拣选具有最大音量波动的剪辑3（从平均音量18.3音量波动-6.7），从而拣选出与所选的剪辑3属于相同的剪辑对2的剪辑4。
还有，取代对每个对组分别拣选出具有最大音量波动的主剪辑和从-剪辑，可拣选出属于具有最大音量波动的剪辑对的主剪辑和从-剪辑。音量波动被计算为每个剪辑对的音量对每个对组中包含的所有剪辑对的平均音量的比率。
下面，将要描述根据第二生成过程当从剪辑对1至7生成剪辑对从而使得满足最优显示数目Nopt=3时的情况。以下示出的处理条件和剪辑配置仅为描述剪辑对的生成处理的示例。
图16示出在其中基于剪辑对的帧数生成剪辑对的示例。从剪辑对1至7选择具有最大的三个帧数的三个剪辑对。然后，拣选出所选的剪辑对中包含的剪辑。在上述示例中，拣选出与分别具有帧数60、60和60的剪辑对3、4和7对应的剪辑5至8，13和14（参见对帧数的项）。因此，生成由剪辑对3、4和7组成的三个剪辑对以生成剪辑合成图像CI。
取代具有三个最大的帧数的三个剪辑对，可以选择具有平均帧数的三个剪辑对，或选择一个剪辑对具有平均帧数并且两个剪辑对具有两个最大的准数。
图17示出在其中基于剪辑的帧数生成剪辑对的示例。首先，从剪辑对1至7中包含的所有剪辑选择具有三个最大帧数的三个剪辑。下面，选择与所选的剪辑属于相同剪辑对的剪辑。在上述示例中，在拣选出具有帧数25、20和25的剪辑2、5和9之后，分别拣选出对应的剪辑1、6和10。因此，生成由剪辑对1、3和5组成的三个剪辑对以生成剪辑合成图像CI。
可从主剪辑和从-剪辑中的一个而非所有的剪辑拣选出具有三个最大的帧数的三个剪辑。此外，可从主剪辑和从-剪辑中的一个选择具有平均帧数的一个剪辑，并且可从主剪辑和从-剪辑中的另一个选择具有最大的两个帧数的两个剪辑。
图18示出在其中基于剪辑之间的音量波动生成剪辑对的示例。首先，从剪辑对1至7中包含的所有剪辑选择具有三个最大音量波动的三个剪辑。音量波动被计算为每个剪辑的音量对剪辑对1至7中包含的剪辑的平均音量的比率。下面，选择与所选的剪辑属于同一剪辑对的剪辑。在上述示例中，在拣选出都具有音量波动-8.2的三个剪辑3、6和11之后，拣选出对应的剪辑4、5和12（参见组1、2音量波动的项）。因此，生成由剪辑对2、3和6组成的三个剪辑对以生成剪辑合成图像CI。
可以从主剪辑和从-剪辑中的一个而非所有剪辑拣选出具有三个最大的音量波动的三个剪辑。音量波动被计算为每个剪辑的音量对剪辑对1至7中包含的主剪辑或从-剪辑的平均音量的比率。
图19示出在其中基于剪辑之间的屏幕亮度波动生成剪辑对的示例。首先，对剪辑1至14的代表性图像，基于图像处理计算代表标准化屏幕亮度的直方图。下面，对每个剪辑组计算7个剪辑的平均直方图。直方图代表当代表性图像中包含的像素的亮度被以预定的亮度间隔分段（sectioned）时每个分段中的频率。图19连同剪辑1至14的代表性图像I1至I14一起示出代表性图像I1至I14的标准化直方图和剪辑组的平均直方图。
下面，拣选出具有相对于平均直方图的三个最大波动的三个剪辑。直方图的波动被计算为每个剪辑的标准直方图和每个剪辑所属的剪辑组的平均直方图之间的差。然后，选择与所选剪辑属于同一剪辑对的剪辑。在上述示例中，剪辑1、11和14的波动是三个最大的，并且生成由剪辑对1、6和7组成的三个剪辑对以生成剪辑合成图像CI。
下面，将描述当基于剪辑之间的特征量的相似度生成剪辑对的情况。描述当从构成剪辑对1至7的剪辑1至14生成剪辑对从而满足最优显示数目Nopt=3时的情况。
图20示出计算剪辑1至14中特征量相似度的结果。在图20所示的计算结果中，将剪辑1至14分类为剪辑组1（剪辑1、3、5、7、9、11和13）以及剪辑组2（剪辑2、4、6、8、10、12和14）并且还分类为剪辑对1至7。
在图20中，剪辑1至14中的特征量的相似度被示为相对于与剪辑1、2的特征量对应的剪辑组1、2的特征量S1、S2的0和1之间的值。接近1的特征量相似度意味着剪辑之间的特征量更相似。例如，属于同一剪辑组的剪辑1和3具有0.9的特征量的高相似度，，而属于不同剪辑组的剪辑1和4具有0.1的特征量的低相似度。
图21示出第一相似度矩阵Ms1（其示出剪辑1和2之间的相似度）以及第二相似度矩阵Ms2（其示出剪辑3、4之间的相似度）。第一和第二相似度矩阵Ms1和Ms2是从图20所示的计算结果提取的矩阵。然后，可通过第一和第二相似度矩阵Ms1和Ms2的内积计算剪辑对1（剪辑1、2）和剪辑对2（剪辑3、4）之间的相似度。第一和第二相似度矩阵Ms1和Ms2的增加的内积意味着剪辑对更相似。
如图21所示，第一相似度矩阵Ms1被向量化为（1.0，0.2，0.3，1.0）且第二相似度矩阵Ms2被向量化为（0.9，0.1，0.2，0.8）。因此，第一和第二相似度矩阵Ms1、Ms2的内积被计算为
Figure BDA00002863679700181
Figure BDA00002863679700182
可由同样的方法计算出除了剪辑对1、2之间的剪辑对1至7间的相似度。
相应地，如图22所示，计算剪辑对1至7中的相似度。图22连同剪辑对1至7中的相似度一起示出剪辑对1至7的每个的相似度的总和。增加的相似度的总和意味着剪辑对具有增加的亲和度（affinity），即该剪辑对代表剪辑对1至7的可能性增加。
当基于相似度矩阵Ms（相似度矩阵的通称）的内积生成剪辑对时，首先选择具有最大的相似度总和9.1的剪辑对3。其次，选择对于剪辑对3具有最低的相似度（1.1）的剪辑对7。再次，选择对于剪辑对7具有最低的相似度（0.9）的剪辑对1。因此，生成由剪辑对1、3和7组成的三个剪辑对以生成剪辑合成图像CI。
取代对剪辑对7的最低相似度的标准，可以根据对剪辑对3的次低相似度的标准选择剪辑对。此外，还可根据最大相似度总和的剪辑对的标准、最小总和的剪辑对的标准和最接***均值的剪辑对的标准来选择三个剪辑对。
相应地，可以生成代表所有剪辑对的代表性剪辑对和与代表性剪辑对不同的其它剪辑对。
图23示出第一相似度矩阵Ms1（其示出剪辑1和2之间的相似度）以及第二相似度矩阵Ms2（其示出剪辑3、4之间的相似度）。第一和第二相似度矩阵Ms1和Ms2是从图20所示的计算结果提取的矩阵。然后，可基于示出剪辑1至14间相似度的相似度矩阵Ms的标量（scalar）值选择剪辑对。相似度矩阵Ms的增加的标量值意味着剪辑对代表剪辑对1至7的可能性增加。
例如，第一相似度矩阵Ms1的标量值被计算为1.0+0.2+0.3+1.0=2.5且第二相似度矩阵Ms2的标量值被计算为0.9+0.1+0.2+0.8=2.0。因此，在剪辑对1（剪辑1，2）和剪辑对2（剪辑3、4）之中，剪辑对1具有作为代表所有剪辑对的代表性剪辑对的更大可能性。
当基于相似度矩阵Ms的标量值生成剪辑对时，在剪辑对1至7间计算相似度矩阵Ms的标量值。下面，通过用标量值替代相似度的总和并进行图22中所示情况中的处理来选择三个剪辑对。然后，拣选出所选剪辑对中包含的剪辑。
相应地，可以生成代表所有剪辑对的代表性剪辑对和与代表性剪辑对不相似的其它剪辑对。
如图3所示当完成剪辑对生成处理时，由元信息生成单元21生成每个剪辑的元信息MI（步骤S21）。元信息生成单元21基于运动图像数据MP和剪辑转场的检测结果从运动图像数据MP提取每个剪辑中包含的图像或音频特征。
如果例如，剪辑包含声音（话语（word）、音效等），则提取该剪辑中包含的声音以通过语音识别处理生成与提取的声音对应的文字/图像信息。如果剪辑中不包含声音，则可生成指示无声剪辑的文字/图像信息。可在不包含话语的无声剪辑和既不包含话语也不包含音效的无声剪辑之间区分无声剪辑。还可生成指示剪辑中包含的声音音量的平均值/变化、无声间隔和非无声间隔的比率以及声音的音调、节奏或波动。
可计算剪辑中包含的帧数或再现剪辑所需的时间从而生成指示所计算值的文字/图像信息。此外，可产生指示剪辑中包含的图像亮度的平均值/变化和图像的内容或改变的文字/信息。
剪辑合成图像生成单元23基于剪辑对生成处理的结果生成剪辑合成图像CI（步骤S23）。剪辑合成图像生成单元23首先基于运动图像数据MP和剪辑对生成处理的结果，根据预定的标准，从属于选择的剪辑的系列图像提取代表性的图像I。也可当检测剪辑转场时事先提取每个剪辑的代表性图像I。下面，生成剪辑合成图像CI，其中在指定剪辑对的同时以剪辑转场的次序布置剪辑的代表性图像I。如果已经生成每个剪辑的元信息MI，则元信息MI与每个剪辑的代表性图像一起显示。
图24示例了从图13所示的剪辑对生成处理的结果生成的剪辑合成图像CI。在图24中所示的剪辑合成图像CI中，剪辑5、6的代表性图像I5、I6水平布置，剪辑7、8的代表性图像I7、I8水平布置在剪辑5、6的代表性图像I5、I6之下，并且剪辑3、4的代表性图像I3、I4水平布置在剪辑7、8的代表性I7、I8之下。以上描述的剪辑合成图像CI便于对剪辑合成的理解。然而，剪辑合成图像CI的合成不限于图24所示的合成。
图25示出剪辑合成图像CI的修改。在图25所示的剪辑合成图像CI中，通过将其叠加在该剪辑的代表性图像I上显示剪辑的元信息。剪辑的元信息是指示剪辑中包含的图像或音频的特征的信息。
指示声音特征的元信息MI是例如指示每个剪辑中包含的声音内容（话语、音效等）的信息、指示每个剪辑中不包含声音（指示无声剪辑）的信息等。指示图像特征的元信息MI是例如，指示每个剪辑中包含的帧数的信息，指示重现每个剪辑所需时间的信息等。
在图25的状态A中所示的剪辑合成图像CI中，例如剪辑1、3的元信息MI1、MI3，剪辑5、7、9的元信息MI5、MI7和MI9，以及剪辑11的元信息MI11被通过分别叠加在剪辑1的代表性图像I1、剪辑7的代表性图像I7和剪辑11的代表性图像I11上显示。相应地，通过在其上叠加三个剪辑的元信息MI5、MI7和MI9而在其中显示的剪辑11的代表性图像I7的可见性降低。
因此，对剪辑1、7和11的代表性图像I1、I7和I11计算由元信息MI的对比率，即元信息MI在代表性图像I上的显示占有率。在这种情况下，剪辑7的代表性图像I7的对比率相对高，而剪辑1的代表性图像I11的对比率相对低。
因此，在图25的状态B中所示的剪辑合成图像CI’中，基于由元信息MI的对比率将剪辑7的代表性图像I7上的剪辑9的元信息MI9移动到剪辑11的代表性图像I11上。对应地，当与状态A相比时，剪辑7的代表性图像I7中的对比率变低，从而使得可以保持代表性图像I7的可见性。
如上所述，根据基于本实施例的运动图像处理方法，可以通过藉由组合多个剪辑的至少一部分从而使得满足预定的条件而生成预定数目个剪辑对和生成由生成的剪辑对构成的剪辑合成图像CI来生成能够保持剪辑合成的一览可见性和剪辑合成图像CI的可见性的剪辑合成图像CI。
尽管目前为止已经参照附图详细描述了本公开的优选实施例，但是本公开并不限于这样的示例。清楚的是，本公开所述技术领域的普通技术人员可在不偏离权利要求所述的技术理念的情况下想到各种改变和修改，并且可以理解其自然地属于本公开的技术范围。
在上述实施例中，例如，合成图像CI被描述为在其中以三行布置最优显示数目Nopt=3的剪辑对的图像。然而，可以根据其显示条件以不同的最优显示数目Nopt生成图像CI，或即使最优显示数目Nopt是相同的，但是合成图像CI可被生成为在其中以不同的行数/列数布置代表性图像I的图像。
参考标记列表
1运动图像处理装置
11数据获取单元
13剪辑转场检测单元
15剪辑对标识单元
17显示优化单元
19剪辑对生成单元
21元信息生成单元
23剪辑合成图像生成单元
25剪辑合成图像输出单元
27剪辑合成信息输出单元
29数据存储单元
MP运动图像（数据）
I代表性的图像
Nopt最优显示数目
CI剪辑合成图像
Ad显示区域
Ro显示占有率

Claims (17)

1.一种运动图像处理装置，包括：
剪辑转场检测单元，其从包含多个剪辑的运动图像检测剪辑之间的转场；
剪辑对标识单元，其将该多个剪辑分类为具有相互不同特征量的多个剪辑组，并标识出包括属于彼此不同剪辑组的两个或更多个连续的剪辑、且在运动图像中被重复的多个剪辑对；
剪辑对生成单元，其以使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组且保持运动图像中剪辑转场的前后关系的方式，通过组合该多个剪辑的至少一部分，来从该多个剪辑对生成在数目上少于该多个剪辑对的预定数目个剪辑对，以及
剪辑合成图像生成单元，其生成包括所生成的剪辑对的剪辑合成图像。
2.根据权利要求1所述的运动图像处理装置，其中剪辑对生成单元将该多个剪辑对分类为该预定数目个对组，并且然后对于每个对组，以使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组且保持运动图像中剪辑转场的前后关系的方式，通过组合每个对组中包含的剪辑的至少一部分，来从每个对组中包含的剪辑对生成一个剪辑对。
3.根据权利要求2所述的运动图像处理装置，其中剪辑对生成单元基于剪辑的特征量将该多个剪辑对分类为该预定数目个对组。
4.根据权利要求2所述的运动图像处理装置，其中剪辑对生成单元基于剪辑对的特征量将该多个剪辑对分类为该预定数目个对组。
5.根据权利要求1所述的运动图像处理装置，其中剪辑对生成单元通过基于剪辑的特征量组合该多个剪辑来生成一个剪辑对。
6.根据权利要求1所述的运动图像处理装置，其中剪辑对生成单元通过基于剪辑对的特征量组合该多个剪辑来生成一个剪辑对。
7.根据权利要求1所述的运动图像处理装置，其中剪辑对生成单元基于每个剪辑组的剪辑的特征量拣选出剪辑，并通过组合多个拣选的剪辑来生成一个剪辑对。
8.根据权利要求1所述的运动图像处理装置，其中剪辑对生成单元基于第一剪辑组的剪辑的特征量拣选出剪辑，并通过组合与拣选的剪辑属于相同的剪辑对的多个剪辑来生成一个剪辑对。
9.根据权利要求1所述的运动图像处理装置，其中基于指示剪辑对之间相似度的相似度矩阵的内积生成剪辑对。
10.根据权利要求9所述的运动图像处理装置，其中相似度矩阵的内积总和最大的剪辑对被生成为代表多个剪辑对的代表性剪辑对。
11.根据权利要求10所述的运动图像处理装置，其中与代表性剪辑对的相似度低的剪辑对与该代表性剪辑对一起生成。
12.根据权利要求1所述的运动图像处理装置，其中基于指示剪辑对之间相似度的相似度矩阵的标量值生成剪辑对。
13.根据权利要求12所述的运动图像处理装置，其中相似度矩阵的标量值最大的剪辑对被生成为代表多个剪辑对的代表性剪辑对。
14.根据权利要求13所述的运动图像处理装置，其中与代表性剪辑对的相似度低的剪辑对与该代表性剪辑对一起生成。
15.根据权利要求1所述的运动图像处理装置，其中根据剪辑合成图像的显示条件设置该预定的数目。
16.一种运动图像处理方法，包括：
从包含多个剪辑的运动图像检测剪辑之间的转场；
将该多个剪辑分类为具有相互不同特征量的多个剪辑组，并标识出包括属于彼此不同剪辑组的两个或更多个连续的剪辑、且在运动图像中被重复的多个剪辑对；
以使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组且保持运动图像中剪辑转场的前后关系的方式，通过组合该多个剪辑的至少一部分，来从该多个剪辑对生成在数目上少于该多个剪辑对的预定数目个剪辑对，以及
生成包括所生成的剪辑对的剪辑合成图像。
17.一种使得计算机执行运动图像处理方法的程序，包括：
从包含多个剪辑的运动图像检测剪辑之间的转场；
将该多个剪辑分类为具有不同特征量的多个剪辑组，并标识出包括属于彼此不同剪辑组的两个或更多个连续的剪辑、且在运动图像中被重复的多个剪辑对；
以使得构成每个剪辑对的两个或更多个剪辑属于彼此不同的剪辑组且保持运动图像中剪辑转场的前后关系的方式，通过组合该多个剪辑的至少一部分，来从该多个剪辑对生成在数目上少于该多个剪辑对的预定数目个剪辑对，以及
生成包括所生成的剪辑对的剪辑合成图像。
CN2011800415625A 2010-09-06 2011-08-29 运动图像处理装置以及运动图像处理方法和程序 Pending CN103081460A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010198984A JP2012060238A (ja) 2010-09-06 2010-09-06 動画像処理装置、動画像処理方法およびプログラム
JP2010-198984 2010-09-06
PCT/JP2011/069395 WO2012032953A1 (ja) 2010-09-06 2011-08-29 動画像処理装置、動画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN103081460A true CN103081460A (zh) 2013-05-01

Family

ID=45810555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800415625A Pending CN103081460A (zh) 2010-09-06 2011-08-29 运动图像处理装置以及运动图像处理方法和程序

Country Status (7)

Country Link
US (1) US20130156406A1 (zh)
EP (1) EP2615829A1 (zh)
JP (1) JP2012060238A (zh)
CN (1) CN103081460A (zh)
BR (1) BR112013004781A2 (zh)
RU (1) RU2013109056A (zh)
WO (1) WO2012032953A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566756A (zh) * 2017-08-03 2018-01-09 广东小天才科技有限公司 一种视频转场的处理方法及终端设备
CN111918146A (zh) * 2020-07-28 2020-11-10 广州筷子信息科技有限公司 一种视频合成方法和***

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014136564A1 (ja) * 2013-03-06 2017-02-09 日本電気株式会社 電子機器、画像データ出力処理方法およびプログラム
JP6063971B2 (ja) * 2015-01-29 2017-01-18 京セラドキュメントソリューションズ株式会社 画像処理装置
TWI622291B (zh) * 2017-08-03 2018-04-21 鴻海精密工業股份有限公司 電子設備及視訊框排列方法
US20230205815A1 (en) * 2020-05-26 2023-06-29 Nec Corporation Information processing device, control method and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1989767A (zh) * 2004-08-17 2007-06-27 松下电器产业株式会社 图像编码装置、图像解码装置
US20080175486A1 (en) * 2007-01-18 2008-07-24 Kabushiki Kaisha Toshiba Video-attribute-information output apparatus, video digest forming apparatus, computer program product, and video-attribute-information output method
WO2008143345A1 (ja) * 2007-05-23 2008-11-27 Nec Corporation コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム
CN101554057A (zh) * 2006-12-14 2009-10-07 松下电器产业株式会社 动态图像编码方法、动态图像编码装置、动态图像记录方法、记录介质、动态图像再现方法、动态图像再现装置及动态图像再现***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1081960B1 (en) * 1999-01-29 2007-12-19 Sony Corporation Signal processing method and video/voice processing device
WO2000048397A1 (fr) * 1999-02-15 2000-08-17 Sony Corporation Procede de traitement de signal et dispositif de traitement video/audio
JP2004336507A (ja) * 2003-05-09 2004-11-25 Sony Corp 映像処理装置および方法、記録媒体、並びにプログラム
JP4172031B2 (ja) * 2004-10-15 2008-10-29 日本ビクター株式会社 記録再生装置
US7783106B2 (en) * 2004-11-12 2010-08-24 Fuji Xerox Co., Ltd. Video segmentation combining similarity analysis and classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1989767A (zh) * 2004-08-17 2007-06-27 松下电器产业株式会社 图像编码装置、图像解码装置
CN101554057A (zh) * 2006-12-14 2009-10-07 松下电器产业株式会社 动态图像编码方法、动态图像编码装置、动态图像记录方法、记录介质、动态图像再现方法、动态图像再现装置及动态图像再现***
US20080175486A1 (en) * 2007-01-18 2008-07-24 Kabushiki Kaisha Toshiba Video-attribute-information output apparatus, video digest forming apparatus, computer program product, and video-attribute-information output method
WO2008143345A1 (ja) * 2007-05-23 2008-11-27 Nec Corporation コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566756A (zh) * 2017-08-03 2018-01-09 广东小天才科技有限公司 一种视频转场的处理方法及终端设备
CN111918146A (zh) * 2020-07-28 2020-11-10 广州筷子信息科技有限公司 一种视频合成方法和***
CN111918146B (zh) * 2020-07-28 2021-06-01 广州筷子信息科技有限公司 一种视频合成方法和***

Also Published As

Publication number Publication date
BR112013004781A2 (pt) 2017-07-11
EP2615829A1 (en) 2013-07-17
RU2013109056A (ru) 2014-09-10
US20130156406A1 (en) 2013-06-20
WO2012032953A1 (ja) 2012-03-15
JP2012060238A (ja) 2012-03-22

Similar Documents

Publication Publication Date Title
CN109618222B (zh) 一种拼接视频生成方法、装置、终端设备及存储介质
US9990377B1 (en) Content based systems and methods for conducting spectrum color based image search
US8548249B2 (en) Information processing apparatus, information processing method, and program
US8558952B2 (en) Image-sound segment corresponding apparatus, method and program
US11570312B2 (en) Image processing apparatus, image processing method, and storage medium to select an image to be arranged in an added page in an album
US8315507B2 (en) Video generation device, video generation method, and video generation program
KR101289085B1 (ko) 객체 기반 영상 검색시스템 및 검색방법
CN103081460A (zh) 运动图像处理装置以及运动图像处理方法和程序
US20170017844A1 (en) Image content providing apparatus and image content providing method
KR101508977B1 (ko) 이미지 분석에 의한 이미지 자동 편집 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JP5739428B2 (ja) 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
US11627227B2 (en) Image processing apparatus, image processing method, and storage medium
JP2011215963A (ja) 電子機器、画像処理方法及びプログラム
US9189545B2 (en) Content summarizing apparatus and content summarizing displaying apparatus
CN101331522A (zh) 图册创建设备、图册创建方法和图册创建程序
CN106034206A (zh) 电子设备及图像显示方法
CN113301409B (zh) 视频合成方法、装置、电子设备和可读存储介质
US20140086556A1 (en) Image processing apparatus, image processing method, and program
CN105894362A (zh) 一种推荐视频中的相关物品的方法及装置
JP2007317077A (ja) 画像分類装置および方法ならびにプログラム
CN103093780A (zh) 控制移动终端中动画消息的回放速度的方法和装置
KR102102164B1 (ko) 영상 전처리 방법, 장치 및 컴퓨터 프로그램
KR102225356B1 (ko) Gui 디자인에 대한 피드백을 제공하는 방법 및 장치
CN113255423A (zh) 从视频提取配色方案的方法及装置
JP2020080115A (ja) サムネイル出力装置、サムネイル出力方法およびサムネイル出力プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130501