CN101051389A - 动画编辑装置 - Google Patents

Abstract

本发明提供一种动画编辑装置。其课题在于，提供能够以简单的操作从动画中提取出拍摄有所期望人物的场景的技术。作为解决手段，动画编辑装置根据用户的指示，决定作为提取对象的人物，跟踪作为所述提取对象的人物的脸，从而在提取源动画中确定拍摄有所述人物的场景，从所述提取源动画中提取出包含所确定场景的部分动画。

Description

动画编辑装置

技术领域

本发明涉及用于从动画中提取出所期望场景的技术。

背景技术

由于HDD和DVD等大容量存储介质的出现，方便地拍摄储存各种场面的动画数据成为可能。但是，从多个或长时间的动画数据中找出所期望的场景、或编辑/整理动画数据并非易事。例如，提取(剪切编辑)拍摄有特定人物的场景时，用户必须操作游标等找出场景，指定用户想要切取出的最开始的帧和最后的帧。这样的作业对非专业人员而言较困难，并且花费时间。因此，期望使动画的检索和编辑容易化的技术。

另外，作为执行人脸跟踪的方法，提出了以下的方法。每隔规定帧间隔执行人脸检测，当检测出人脸时，在回溯时间轴方向和沿时间轴方向的两个方向上对该脸执行人脸跟踪(参照专利文献1)。此外，还有以下的方法：即，装置将场景特征信息与动画数据关联，所述场景特征信息包含场景的区间、关键帧、重要度、以及关键帧的图像特征量等(参照专利文献2)。

[专利文献1]日本特开2005-99953号公报

[专利文献2]日本特开2000-299829号公报

发明内容

本发明是鉴于上述问题而提出的。本发明的目的在于，以简单的操作从动画中提取出拍摄有所期望人物的场景。

为了达成上述目的，本发明的一个实施方式采用以下的结构。

动画编辑装置具有：显示单元，其可显示动画；提取对象决定单元，其根据用户的指示决定作为提取对象的人物；场景确定单元，其跟踪作为所述提取对象的人物的脸，从而在提取源动画中确定拍摄有所述人物的场景；以及部分动画提取单元，其从所述提取源动画中提取出包含所述场景确定单元所确定的场景的部分动画。

有多种根据对用户要求的指示的种类以及实际输入的用户的指示，来决定作为提取对象的人物的方法。

例如，所述提取对象决定单元可以使用户指定在所述显示单元上显示的图像上的任意位置，根据该指定位置从所述图像中选择作为提取对象的人物。如果在所述指定位置存在有人物，则所述提取对象决定单元可以将存在于所述指定位置处的人物选择为所述提取对象人物。如果在所述指定位置处不存在人物，则所述提取对象决定单元可以按照距所述指定位置由近到远的顺序将规定数量的人物选择为所述提取对象人物。规定数量也可以由用户来进行变更。

根据该结构，仅通过指出显示图像中人物的周边，装置即能够自动地将该人物作为提取对象进行选择。

此外，所述提取对象决定单元可以使用户指定显示在所述显示单元上的动画的任意的帧，从该指定帧的图像中选择作为提取对象的人物。如果在所述指定帧的图像中包含多个人物时，可以根据规定的特征量从这些人物中选择作为提取对象的人物。

根据该结构，在阅览动画中，仅通过指出拍摄有所期望人物的帧，装置即能够自动地设定应作为提取对象的人物。

此外，预先关联了多个人物，所述提取对象决定单元除了从所述图像中选择出的人物之外，还可以将与该人物相关联的人物决定为提取对象人物。人物之间的关联可以由用户设定。

根据该结构，仅通过在显示画面上指定相关联的多个人物中的一个人，装置即能够自动地将多个人物全部决定为提取对象。从而，能够非常简单地实现提取拍摄了全家的动画、或提取朋友群体或同事群体的动画的编辑。

还优选所述提取对象决定单元列表显示多个人脸，使用户从这多个人脸中指定作为提取对象的人物。此处，提取对象决定单元可以在动画的重放中自动检测在该动画中包含的人脸，从而取得应列表显示的脸，也可以使用户指定在所述显示单元上显示的图像内的人脸，从而取得应列表显示的人脸。

根据该结构，也可以把在当前显示的图像中没有拍摄到的人物(例如，在之前的场景中出现的人物或在其他的动画中拍摄的人物等)指定为提取对象。

所述提取源动画可以是在所述显示单元上显示的动画，也可以是存储在存储单元中的一个或多个动画。

优选当所述场景确定单元所确定的2个场景之间的时间间隔比阈值短时，所述部分动画提取单元将这些2个场景包含到1个部分动画中。此外，当所述场景确定单元所确定的2个场景的图像之间存在相关性时，所述部分动画提取单元可以将这2个场景包含到1个部分动画中。

根据该结构，在提取对象仅短时间退出画面的情况下、拍摄了提取对象的场景中途***了其他场景(包含广告(CM))的情况下、或在人脸跟踪中人脸暂时消失的情况下等，可以防止部分动画被细分，从而提高了便利性。

本发明可以视为具有上述单元的至少一部分的动画编辑装置，此外，本发明也可以视为包含上述处理的至少一部分的动画编辑方法、或用于实现所述方法的程序或记录了该程序的存储介质。另外，可以尽可能地相互组合各上述单元以及处理来构成本发明。

动画编辑方法是具有可显示动画的显示单元的动画编辑装置中的动画编辑方法，该方法包括以下步骤：根据用户的指示决定提取对象人物；跟踪作为所述提取对象人物的脸，从而在提取源动画中确定拍摄有所述人物的场景；以及从所述提取源动画中提取出包含所述确定场景的部分动画。

动画编辑程序使具备可显示动画的显示单元的动画编辑装置执行以下处理：根据用户的指示决定提取对象人物的处理；跟踪所述提取对象人物的脸，从而在提取源动画中确定拍摄有所述人物的场景的处理；以及从所述提取源动画中提取出包含所述确定场景的部分动画的处理。

附图说明

图1是示出本发明实施方式的动画编辑装置的功能结构的方框图。

图2是示出第1动作例的图。

图3是示出第3动作例的图。

图4是示出人脸图像列表的显示例的图。

图5是示出第5动作例的图。

具体实施方式

以下的说明为优选实施方式的示例。

<装置结构>

图1是示出本发明一个实施方式的动画编辑装置的功能结构的方框图。

如图1所示，动画编辑装置具有显示部10、输入部11、提取对象决定部12、场景确定部13、动画编辑部14、提取源动画存储部15、设定存储部16以及部分动画存储部17。该动画编辑装置由具备运算处理装置(CPU)、主存储装置(内存)、辅助存储装置(硬盘等)、显示器以及输入装置(鼠标等)的通用的计算机和在该计算机中工作的软件(程序)构成。通过运算处理装置执行软件(程序)，并且根据需要对主存储装置、辅助存储装置、显示器以及输入装置等硬件资源进行控制，从而实现图1示出的功能要素。但是，这些功能要素也可以由专用的芯片来构成。

该动画编辑装置是用于进行动画的剪切编辑的装置。作为编辑对象的动画(提取源动画)为可复制的数据即可，例如可以是由摄像机等拍摄的数据，也可以是对广播节目等进行录像而得到的数据。

提取源动画存储在提取源动画存储部15中。而且，从该动画中提取出的部分动画存储在部分动画存储部17中。提取源动画存储部15和部分动画存储部17分别可为非易失性存储装置。例如，可以利用硬盘(HDD)或DVD等。设定存储部16为存储有动画编辑处理中利用的各种设定数据的部分。该设定存储部16也可以由非易失性存储装置构成。各存储部15、16以及17可以由一个硬件构成，也可以由独立的硬件构成。

显示部10进行从存储部读入动画、动画的重放、用户界面的生成、以及向显示器的显示输出等。并且，输入部11是用于输入用户对动画编辑装置的指示的功能。输入部11例如由键盘和指示设备(鼠标、触摸板、触摸屏、以及视线输入装置等)构成。

根据以下的动作例说明提取对象决定部12、场景确定部13、动画编辑部14各自的功能及处理。

<第1动作例>

当用户使用输入部11指定提取源动画时，显示部10从提取源动画存储部15中依次读入该动画，实施动画重放所需的处理，显示在显示器上(参照图2(a))。然后，提取对象决定部12等待来自用户的输入。

此处，如图2(b)所示，当用户使用输入部11指定了显示图像上的一点(或区域)时，开始如下叙述的自动提取处理。另外，也可以在自动提取处理开始之后停止动画的重放。

首先，提取对象决定部12根据由用户指定的点或区域(以下，称为“指定位置”)，来决定提取对象人物。提取对象决定部12利用人脸检测处理来进行提取对象的决定。具体而言，提取对象决定部12在将指定位置作为中心的规定的人脸检测范围中执行人脸检测，当在指定位置处检测出人脸时，将该人物选择为提取对象。当在指定位置处不存在人脸时，将在距指定位置最近处检测出的人脸的持有者选择为提取对象(参照图2(c))。当在人脸检测范围内没有检测出人脸时，返回错误或扩大范围再次执行人脸检测。另外，人脸检测范围可以是整个图像。

人脸检测处理可以应用现有的任何技术。例如有以下方法：(1)通过基于人脸的特征(眼、鼻、耳、轮廓等)的模板匹配来检测人脸的方法；(2)通过色度键(chroma key)处理检测出头部的顶点，从而检测出人脸的方法；(3)检测与肤色相近的区域，将该区域作为人脸进行检测的方法；以及(4)使用神经网络来检测人脸的方法等。

当提取对象决定部12决定了提取对象时，场景确定部13跟踪该人物的脸(人脸跟踪处理)。在本实施方式中，将用于人脸检测中的图像作为开始帧，分别在时间轴的正向和反向上执行人脸跟踪处理。通过跟踪处理，能够在其它时间拍摄的图像中估计出相同的人脸。

人脸跟踪处理的相同人脸的估计可以应用现有的任何技术。例如有以下方法：(1)利用帧之间的相关性，以前一帧中的人脸的位置作为基准，估计当前帧中的相同人脸的方法；(2)根据多个帧的处理结果求出人脸的运动向量，根据该运动向量来估计当前帧中的相同的人脸；以及(3)利用人脸识别技术，根据从人脸图像中提取出的特征量的类似度，来估计相同的人脸的方法等。人脸跟踪处理优选组合这些方法。关于组合，可以根据多个方法综合地推导出一个解(并行组合)，也可以切换方法(串行组合)。作为并行组合，例如有从多个方法各自的解(估计结果)中选择可靠性最高的解的方法。作为串行组合，例如有：当使用某一方法而人脸跟踪失败时，以其他方法再次尝试的方法；以及在精度高但处理负荷大的方法和精度不高但处理负荷小的方法之间进行切换的方法。另外，无需对所有的帧执行人脸跟踪处理。例如，当提取对象的运动较小时，可以每隔几帧执行一次人脸跟踪处理。

场景确定部13将在时间轴反向的人脸跟踪处理中提取对象消失的时刻设定为“场景开始点”，将在时间轴正向的人脸跟踪处理中提取对象消失的时刻设定为“场景结束点”(参照图2(d))。由此，场景确定部13确定了拍摄有提取对象人物的场景。

动画编辑部14从提取源动画中提取出由场景确定部13确定的场景(即，场景开始点和场景结束点之间的场景)。该提取出的部分动画存储在部分动画存储部17中。另外，生成部分动画时，可以分别在场景开始点之前以及场景结束点之后附加规定帧数的余白(margin)。

根据上述的处理，将指定画面上的一点(或一个区域)的用户指示作为契机(触发)，装置自动地进行提取对象人物的决定、拍摄有该人物的场景的开始点以及结束点的决定(场景检索)、和包含该场景的部分动画的提取(剪切编辑)。从而，可以通过极其简单且直观的操作提取出拍摄有所期望人物的场景。

装置也可以如下这样构成。即，场景确定部13可以在提取对象消失之后持续进行人脸检测处理，直到动画的最开始的帧或最后的帧为止，从整个动画中确定提取对象出现的所有场景。当场景确定部13确定了多个场景时，动画编辑部14可以对每个场景生成部分动画，也可以汇集多个场景作为一个部分动画(在第5动作例中详细叙述该处理)。

<第2动作例>

相比于在第1动作例中根据用户的指定位置来决定提取对象，在第2动作例中，采用了从用户指定的帧中自动选择提取对象的结构。其他点与第1动作例相同。

在动画的重放中，用户能够使用输入部11来指定帧。用户例如通过按下显示图像或用户界面上的规定按钮、按下鼠标按钮或按键等来指定帧。

提取对象决定部12从用户指定帧的图像中检测出人脸。如果仅检测出一个脸，则提取对象决定部12将该脸的人物决定为提取对象。如果检测出多个脸，则提取对象决定部12根据规定的特征量限定提取对象。

作为用于限定提取对象的特征量的例子，可以列举出脸的位置、脸的大小、脸的朝向、脸部分图像的模糊量、眼的睁开程度以及视线方向等。这些是反映“拍摄优良度”的特征量。即，可以说越接近以下状态拍摄得越好。即，脸位于图像的中心、脸接近规定的大小、脸朝向正面、模糊量小、眼睁开、以及视线朝向正面等。在用户指定的帧中，越是用户希望提取出的人物，拍摄良好的可能性越高。从而，根据反映“拍摄优良度”的特征量来决定提取对象，从而提取对象决定部12能够准确地限定用户所期望的人物。提取对象决定部12可以根据任意一个特征量来评价拍摄优良度，也可以根据多个特征量的组合来综合评价拍摄优良度。组合多个特征量时，能够提高限定的精度。

根据以上叙述的处理也可得到与第1动作例相同的作用效果。

<第3动作例>

在第3动作例中，根据关联信息，提取对象决定部12将相关联的多个人物选择为提取对象。对设定存储部16设定有关联信息。其他点与第1动作例或第2动作例相同。

关联信息是用于关联2个以上人物的信息，至少包含定义各人物的脸的人脸定义信息。人脸定义信息是人脸核对(人脸识别)中使用的信息，例如由从人脸图像中提取出的特征量构成。关联信息可以由以下的步骤设定。步骤1：使用户选择关联人物各自的人脸图像。步骤2：根据所选择的各个人的人脸图像生成人脸定义信息。步骤3：将这些图像作为组存储到设定存储部16中。在自动提取处理之前，预先进行关联信息的设定。

图3示出第3动作例。当用户使用输入部11来输入指示时(图3(a))，提取对象决定部12根据该指示，从显示中的图像中选择提取对象(图3(b))。该处理与第1动作例或第2动作例的处理相同。在图3(b)的例子中，X被选为提取对象。

接下来，提取对象决定部12从提取对象X的人脸图像中提取特征量，通过与各个人脸定义信息进行比较，确认出包含相同的人脸的关联信息(参照图3(c))。当发现了包含相同的人脸的关联信息时，提取对象决定部12将通过该关联信息相关联的其他人物添加到提取对象中。在图3(d)的示例中，与X相关联的Y被追加到提取对象中。

场景确定部13与第1动作例相同地进行人脸跟踪处理，从动画中确定X、Y出现的场景。此时，可以由用户设定是仅选择X和Y双方出现的场景，还是选择X和Y中的至少一方出现的场景。以下的处理与第1动作例相同。

根据该结构，仅通过在显示画面上指定相关联的多个人物中的一人，即可自动地把多个人物全部决定为提取对象。从而，用户可以简单地切出朋友、家人等群体的动画。

<第4动作例>

在第1、2动作例中，说明了从显示图像中指定提取对象的方法。在第4动作例中是从人脸图像列表中而不是从显示图像中，使用户指定提取对象的方法。

人脸图像列表存储在设定存储部16中。人脸图像列表的人脸图像登记可以由装置自动进行，也可以由用户手动进行。列举装置自动登记的一例时，有如下的方法：如果每隔规定数量的帧执行人脸检测而检测出新的人脸，则将该人脸登记到人脸图像列表中。随着动画重放的进行，把出现人物列入表中，所以此后能够指定在之前的场景中出现的人物。用户手动进行登记时，用户从显示图像中指定人脸，提取对象决定部12登记该人脸即可。

图4示出人脸图像列表的显示例。用户在动画重放中从人脸图像列表中指定人物时，提取对象决定部12将该人物决定为提取对象。此时，像第3动作例那样，提取对象决定部12可以将与人脸图像列表中指定的人物相关联的人物选为追加的提取对象。以后的处理与上述动作例相同。另外，当在重放中的帧中没有检测出提取对象的人脸时，在时间轴的反向或正向上执行人脸检测，当提取对象出现时，场景确定部13从该帧开始人脸跟踪处理即可。

<第5动作例>

第5动作例为在由场景确定部13确定出2个以上提取对象的出现场景时执行的处理。

动画编辑部14汇集2个以上的场景生成部分动画。具体而言，如图5所示，当时间上相邻的两个场景A、B之间的时间间隔Tab(之前的场景结束点和之后的场景开始点之间的时间或帧数)比阈值Tth短时，将这2个场景A、B包含在同一部分动画中。阈值Tth预先设定在设定存储部16中。

此时，动画编辑部14也可以在部分动画中包含或不包含两个场景A、B之间的部分(即、提取对象没有出现的部分)。可以通过设定来改变上述包含情况。此外，优选根据时间间隔Tab的长度，来切换在部分动画中是否包含两个场景A、B之间的部分。

根据该结构，例如，在提取对象仅短时间退出画面中的情况下、拍摄提取对象的场景中途***其他场景(包含广告(CM))的情况下、或在人脸的跟踪中人脸暂时消失的情况下，能够防止部分图像被细分，所以提高了便利性。此外，也可以应用在所谓的广告(CM)剪切编辑中。

<变形例>

上述的实施方式的结构以及动作例只是例示本发明的一个具体示例。本发明的范围不限于此，可以在该技术思想的范围内进行多种变形。以下，例示出优选的变形例。另外，可以尽可能地适合组合上述动作例以及下述变形例。

提取对象决定部12可以选择多个人物作为提取对象。用户可以随时指定提取对象的人数，也可以预先对设定存储部16进行设定。例如，在第1动作例以及第2动作例中用户选择多个提取对象时，提取对象决定部12可以按照距用户指定位置由近到远的顺序选择多个人物、或按照拍摄优良从优到差的顺序选择多个人物。当提取对象为多个时，提取对象决定部12可以对每个提取对象执行场景的确定和部分动画的生成，可以将包含多个提取对象中的至少一人作为条件，执行场景的确定和部分动画的生成。

提取对象决定部12可以参照预先设定的属性条件(性别、年龄(年龄段)、以及人种等)，进行提取对象的限定。例如，当检测出多个提取对象候补时，提取对象决定部12根据这些候选人脸图像进行属性估计，将符合上述属性条件的候选人脸图像优先选择为提取对象。属性估计可以利用公知的技术。由此，能够准确地反映用户的意图。

提取源动画不限于重放中的动画。例如，提取对象决定部可以将存储在提取源动画存储部15中的1个或多个动画作为提取源动画，从这些动画中一并进行场景的确定以及部分动画的提取。上述动作适用于对多个动画进行批处理。

关于第5动作例，场景确定部13可以采用场景A图像和场景B图像的相关性(连续性)的有无，作为是否应该汇集两个场景A、B的判定条件。例如，场景确定部13在场景A的最后的1个或多个帧的图像、和场景B的最开始的1个或多个帧的图像之间，比较提取对象的位置、大小、以及运动向量等。如果这些值一致或类似，则场景确定部13视为在两个场景A、B的图像中存在相关性，将场景A和B设为一个部分动画。此外，也可以仅当两个场景A、B之间的时间间隔比阈值短、且在两场景A、B的图像中存在相关性的情况下，才汇集两个场景A、B。

根据本发明，能够以简单的操作从动画中提取出用户所期望的场景。

Claims (15)

1.一种动画编辑装置，其具有：

显示单元，其可显示动画；

提取对象决定单元，其根据用户的指示决定作为提取对象的人物；

场景确定单元，其跟踪作为所述提取对象的人物的脸，从而在提取源动画中确定拍摄有所述人物的场景；以及

部分动画提取单元，其从所述提取源动画中提取出包含所述场景确定单元所确定的场景的部分动画。

2.根据权利要求1所述的动画编辑装置，其中，

所述提取对象决定单元使用户指定所述显示单元上显示的图像上的任意位置，根据该指定位置从所述图像中选择作为提取对象的人物。

3.根据权利要求2所述的动画编辑装置，其中，

所述提取对象决定单元选择存在于所述指定位置处的人物作为所述提取对象人物。

4.根据权利要求2所述的动画编辑装置，其中，

所述提取对象决定单元按照距所述指定位置从近到远的顺序，选择预定数量的人物作为所述提取对象人物。

5.根据权利要求1所述的动画编辑装置，其中，

所述提取对象决定单元使用户指定所述显示单元上显示的动画的任意帧，从该指定帧的图像中选择提取对象人物。

6.根据权利要求5所述的动画编辑装置，其中，

当所述指定帧的图像中包含多个人物时，所述提取对象决定单元根据预定的特征量从这些人物中选择提取对象人物。

7.根据权利要求1所述的动画编辑装置，其中，

多个人物被预先关联，

所述提取对象决定单元除了从所述图像中选择出的人物之外，还将与该人物相关联的人物决定为提取对象人物。

8.根据权利要求1所述的动画编辑装置，其中，

所述提取对象决定单元列表显示多个人脸，使用户从这多个人脸中指定提取对象人物。

9.根据权利要求8所述的动画编辑装置，其中，

在动画的重放中自动检测在该动画中包含的人脸，从而取得应列表显示的多个人脸。

10.根据权利要求8所述的动画编辑装置，其中，

该动画编辑装置使用户指定所述显示单元上显示的图像内的人脸，从而取得应列表显示的多个人脸。

11.根据权利要求1所述的动画编辑装置，其中，

当所述场景确定单元所确定的2个场景之间的时间间隔比阈值短时，所述部分动画提取单元将这2个场景包含到1个部分动画中。

12.根据权利要求1所述的动画编辑装置，其中，

当所述场景确定单元所确定的2个场景的图像间存在相关性时，所述部分动画提取单元将这2个场景包含到1个部分动画中。

13.一种动画编辑装置中的动画编辑方法，该动画编辑装置具备可显示动画的显示单元，该方法包括以下步骤：

根据用户的指示决定提取对象人物；

跟踪所述提取对象人物的脸，从而在提取源动画中确定拍摄有所述人物的场景；

从所述提取源动画中提取出包含所述确定场景的部分动画。

14.一种程序，该程序使具备可显示动画的显示单元的动画编辑装置执行以下处理：

根据用户的指示决定提取对象人物；

跟踪所述提取对象人物的脸，从而在提取源动画中确定拍摄有所述人物的场景；以及

从所述提取源动画中提取出包含所述确定场景的部分动画。

15.一种记录介质，该记录介质记录有程序，该程序使具备可显示动画的显示单元的动画编辑装置执行以下处理：

根据用户的指示决定提取对象人物；

跟踪所述提取对象人物的脸，从而在提取源动画中确定拍摄有所述人物的场景；以及

从所述提取源动画中提取出包含所述确定场景的部分动画。

Images