CN101799927A - 基于关键帧的卡通角色轮廓跟踪方法 - Google Patents

Abstract

本发明公开了一种基于关键帧的卡通角色轮廓跟踪方法。首先，人为地从一段卡通角色的运动序列中选出关键帧，在各个关键帧上用曲线画出卡通角色的轮廓；然后，利用关键帧上标注的轮廓信息，构建一个优化模型；最后，将该优化模型转化成非线性最小二乘问题进行求解，跟踪出卡通角色的轮廓在运动序列的其他帧上的位置。本方法有效地利用了时序和空间上的约束信息，可以比较精确地从一段运动序列中跟踪出卡通角色的轮廓；利用轮廓跟踪方法捕获得到的卡通角色在运动序列上各个部位的轮廓，可以用于分析这个角色在该段运动序列上各个部位发生的形变。

Description

基于关键帧的卡通角色轮廓跟踪方法

技术领域

本发明涉及一种基于关键帧的从卡通角色运动序列中跟踪角色轮廓的方法，属于计算机二维动画领域。

背景技术

传统卡通动画的制作通常是比较耗费时间和劳力的。随着传统卡通动画被广泛地应用于各个领域，大量的现成卡通动画素材可以被重用。通过重用已有的卡通素材，可以在一定程度上降低卡通动画制作的复杂程度，进而提高卡通动画制作的效率。

卡通角色运动捕获与重定向是重用已有卡通素材的方式之一。这种重用方式通过从一段已有的卡通动画序列中提取卡通角色的运动风格，然后将这种运动风格赋予一个新的卡通角色，生成一段新的运动序列。比如2002年在SIGGRAPH会议上发表的文章《Turning to the Masters：Motion CapturingCartoons》就是采用这种方式重用已有的卡通素材。在该文章中，给定一段卡通角色的运动序列，从中人为地指定卡通角色的关键帧，角色的运动风格被抽象成各部位的仿射形变系数和关键帧的插值系数；然后，用户提供一组与指定的关键帧在姿态上相似的新角色的关键帧，将相应的系数应用到新角色的关键帧得到一段新的运动序列。采用这种方式重用卡通素材的一个主要困难是从卡通角色的运动序列中捕获角色的运动。该文采用的卡通角色运动捕获方法，首先将角色分解为多个部位，然后通过一种基于区域的跟踪方法确定各个部位的仿射形变系数，最后利用仿射形变系数确定关键帧的插值系数。该捕获方法对角色的各个部位分别进行跟踪，而没有利用角色的整体结构以及各个部位在运动序列上的约束信息，跟踪得到的结果往往不够鲁棒。在2002年的PacificConference on Computer Graphics and Applications上发表的文章《Cartoon MotionCapture by Shape Matching》提出了一种基于形状匹配的卡通角色运动捕获方法。该方法通过分析卡通角色的轮廓在运动序列上发生的形变来获取角色的运动风格。首先，在每一帧中的角色外轮廓上采样一些点，然后利用鲁棒点匹配的方法建立两个不同帧上轮廓采样点之间的对应，进而根据建立的轮廓点对应确定两个不同帧上的角色轮廓之间的形变系数。为了应用该方法，必须事先将卡通角色从该运动序列中分割出来；而且，当某些部位在运动序列的某些帧中被遮挡时，该方法将会出错。

轮廓跟踪可以作为捕获卡通角色运动的一种手段。轮廓跟踪将轮廓用其上的一些轮廓点来表示，通过跟踪确定这些轮廓点在整个运动序列上的位置。由于跟踪得到的不同帧中的轮廓点间的对应已经建立，可以用于分析卡通角色的各个部位在不同帧之间发生的形变。在2004年的SIGGRAPH会议上发表的文章《Keyframe-Based Tracking for Rotoscoping and Animation》提出了一种基于关键帧的从普通视频序列中跟踪曲线的方法。该方法将要跟踪的曲线建模成由其上的离散点作为控制点的三次贝塞尔曲线。首先，在关键帧上标注跟踪曲线的控制点，根据关键帧上的标注，构建一个最优化模型，通过求解该最优化模型确定各个控制点在其他帧中的位置。因为卡通运动序列中，两帧相邻帧之间的变化比较大，加上角色部位的轮廓在运动过程中常会发生较大的形变，而该方法假设跟踪的曲线在相邻两帧之间的变化比较小，并不适合在卡通运动序列上跟踪角色的轮廓曲线。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于关键帧的卡通角色轮廓跟踪方法。

基于关键帧的卡通角色轮廓跟踪方法包括如下步骤：

1)从一段卡通运动序列中选出关键帧，两个相邻关键帧之间的帧序列构成一个运动子序列；

2)对于每个运动子序列，分别在第一帧和最后一帧上的角色各个部位的轮廓上设置关键点，将相邻的两个关键点用直线进行连接，每个部位被表示成一个多边形，第一帧和最后一帧上设置的关键点数目相同并且一一对应，第一帧上标注的轮廓被复制到该子序列上除最后一帧以外的其他帧上；

3)对每个运动子序列，构建一个以该子序列上的所有关键点为优化变量的包含时序约束和空间约束的优化模型；

4)将上述优化模型转化成的非线性最小二乘问题，采用阻尼最小二乘法进行求解，在求解得到子序列的中间帧上各个关键点的位置后，将每帧上的相邻关键点用线段连接，得到角色的轮廓。

所述的对每个运动子序列，构建一个以该子序列上的关键点集合为变量的包含时序约束和空间约束的优化模型：对每两个相邻关键帧之间的运动子序列构造一个目标函数E，该目标函数包括6个约束项，其中前4项是时序约束项，后2项是空间约束项：

    E＝w_LE_L+w_AE_A+w_SE_S+w_VE_V+w_EE_E+w_RE_R            1

其中w_L，w_A，w_S，w_V，w_E和w_R分别为各项的权重系数，下面依次介绍各项的定义及作用；

第1约束项为长度项E_L，该项反映了角色轮廓上的各条线段在运动子序列上的长度变化，

$E_L=\underset{i=1}{\overset{N_f-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_s}{\mathrm{\Σ}}}{\left(\right|\left|s_i\left(j\right)\right||-|\left|s_{i+1}\left(j\right)\right|\left|\right)}^2---2$

其中s_i(j)为第i帧中的角色轮廓上的第j条线段，N_f为运动子序列的帧数，N_s为角色轮廓上线段的数目；

第2约束项为角度项E_A，该项反映了角色轮廓上的各个关键点处的夹角在运动子序列上的变化，

$E_A=\underset{i=1}{\overset{N_f-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_c}{\mathrm{\Σ}}}{\left|\right|(c_i\left(a_j\left(1\right)\right)-2c_i\left(j\right)+c_i\left(a_j\left(2\right)\right))-(c_{i+1}\left(a_j\left(1\right)\right)-2c_{i+1}\left(j\right)+c_{i+1}\left(a_j\left(2\right)\right))\left|\right|}^2---3$

其中c_i(j)为第i帧上中角色轮廓上的第j个关键点，N_c表示角色轮廓上关键点的数目；

第3约束项为面积项E_S，该项反映了角色的各个部位在运动子序列上的面积变化，

$E_S=\underset{i=1}{\overset{N_f-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_p}{\mathrm{\Σ}}}{(f_S\left(p_i\left(j\right)\right)-f_S\left(p_{i+1}\left(j\right)\right))}^2---4$

其中p_i(j)为第i帧中表示角色第j个部位的多边形，f_S是计算多边形面积的函数，N_p为角色部位的数目。

第4约束项为速度项E_V，该项反映了角色轮廓上的各个关键点的在相邻帧间的位置偏移量在运动子序列上的变化，

$E_V=\underset{i=1}{\overset{N_f-2}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_c}{\mathrm{\Σ}}}{((c_{i+1}\left(j\right)-c_i\left(j\right))-((c_{i+2}\left(j\right)-c_{i+1}\left(j\right)))}^2---5$

第5约束项为边界项E_E，该项使得角色的轮廓在运动子序列的每一帧上靠近图像边界，边界项计算方法如下：

首先对运动子序列中的每一帧图像F_i采用坎尼边界检测算法提取图像边界，得到图像边界图E_i；接着，对每一幅图像边界图E_i计算欧式距离变换，得到一个H×W的距离变换矩阵D_i，其中H和W为图像的高度和宽度，D_i(x，y)表示图像坐标为(x，y)的像素点在E_i中离最近边界像素点的欧式距离；然后，利用距离变换定义角色轮廓上的线段到图像边界的距离。在每一条线段s_i(j)上等间隔采样t个像素点，设它们的图像坐标为{(x_k，y_k)|1≤k≤t}，使用下面公式进行计算线段到图像边界的距离：

$f_{\mathrm{seg}}\left(s_i\left(j\right)\right)=\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{D}_i(x_k,y_k)---6$

最后，边界项被定义为：

$E_E=\underset{i=2}{\overset{N_f-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_s}{\mathrm{\Σ}}}{f}_{\mathrm{seg}}{\left(s_i\left(j\right)\right)}^2---7$

第6约束项为区域项E_R，该项使得在运动子序列的每一帧中，角色的各个部位落在正确的图像区域，区域项的计算方法如下：

首先，利用关键帧上的标注，跟踪出角色的每个部位在中间帧上的大致位置：根据两个关键帧上标注的部位p₁(j)和使用线性插值得到卡通角色的第j个部位在第i帧上的大致形状，记为p_i′(j)，采用仿射填充算法利用p₁(j)的纹理为p_i′(j)填充颜色；通过计算p_i′(j)各个顶点坐标的平均值得到p_i′(j)的中心cp_i′(j)，在以cp_i′(j)为中心的搜索窗口里定位cp_i′(j)在第i帧上的最佳位置cp_i ^*(j)，使得将部位p_i′(j)的中心cp_i′(j)平移到cp_i ^*(j)后，部位p_i′(j)与其所在的图像区域的颜色差异最小；

接着，对第i帧上表示角色第j个部位的多边形p_i(j)，通过计算它的各个顶点坐标的平均值得到该部位的中心cp_i(j)；

最后，使用下面的公式定义区域项：

$E_R=\underset{i=2}{\overset{N_f-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_p}{\mathrm{\Σ}}}{\left|\right|{\mathrm{cp}}_i\left(j\right)-{\mathrm{cp}}_i^{*}\left(j\right)\left|\right|}^2---8$

所述的采用仿射填充算法利用p₁(j)的纹理为p_i′(j)填充颜色步骤包括：

1)将多边形p₁(j)和p_i′(j)分别表示成2×M的矩阵A和B，其中A的第k列和B的第k列分别表示p₁(j)和p_i′(j)的第k个顶点的图像坐标；

2)采用线性最小二乘法最小化下面的式子来计算多边形p_i′(j)到多边形p₁(j)的仿射变换AT：

$\mathrm{error}=\left|\right|A-\mathrm{AT}\·\left[\begin{array}{c}B\\ 1\end{array}\right]\left|\right|---9$

3)对多边形p_i′(j)内的每一个像素点px′，px′的坐标表示成

的形式，通过下式计算得到一个像素点px：

$\mathrm{px}=\mathrm{AT}\·\left[\begin{array}{c}{\mathrm{px}}^{\′}\\ 1\end{array}\right]---10$

如果px的坐标位置在多边形p₁(j)内部，则将多边形p₁(j)上位于该坐标位置的像素点的颜色赋值给px′；

4)对于多边形p_i′(j)内每个还未着色的像素点，选择与其距离最近的已着色的像素点的颜色作为它的颜色值。

本发明具有的有益的效果是：利用在一段卡通角色的运动序列的关键帧上标注的轮廓，构建一个包含时序约束和空间约束的优化模型，然后将该优化模型转化成非线性最小二乘问题，采用阻尼最小二乘法进行求解，可以比较准确并快速地确定角色轮廓在运动序列的其他帧上的位置。利用轮廓跟踪捕获卡通角色的运动，由于各个部位的在不同帧上的轮廓之间的对应可以从跟踪结果中直接得到，避免了轮廓匹配。

附图说明

图1是本发明在一段卡通角色运动序列上的标注的角色轮廓示意图；

图2是本发明定义的线段到图像边界的距离计算方式示意图；

图3是本发明在一段卡通角色运动序列上跟踪角色上臂部位的结果示意图；

图4是本发明定义的区域项的工作原理示意图；

图5是本发明在一段卡通角色运动序列上跟踪角色轮廓的结果示意图。

具体实施方式

本发明提出的卡通角色轮廓跟踪方法，首先在卡通角色的运动序列的关键帧上标注角色的轮廓，根据关键帧上的标注构建一个优化模型，通过求解该优化模型自动跟踪出卡通角色的轮廓在运动序列的其他帧上的位置。由于传统卡通动画片都是以较低的帧率制作的，卡通角色的轮廓在相邻两帧之间的变化比较大；而且，卡通角色的部位在运动过程中往往会发生比较夸张的形变。该优化模型有效地利用了时序约束和空间约束，可以较准确地从卡通角色运动序列中跟踪出角色的轮廓。

下面结合从一段孙悟空这个卡通角色的长度为15帧的运动序列中跟踪角色轮廓的实施例子介绍本发明的具体技术方案和实施步骤：

(1)从输入的一段卡通运动序列中选出关键帧，并将两个相邻关键帧之间的帧序列组成一个运动子序列；在图1给出的孙悟空这个角色的一个长度为15帧的运动序列中，第1帧和第15帧被选为关键帧；

(2)对于每个运动子序列，分别在第一帧和最后一帧上的角色各个部位的轮廓上设置关键点，将相邻的两个关键点用直线进行连接，每个部位被表示成一个多边形，第一帧和最后一帧上设置的关键点数目相同并且一一对应，第一帧上标注的轮廓被复制到该子序列上除最后一帧以外的其他帧上；图1给出了一个在运动子序列的标注轮廓的示例，红圈为关键点，蓝线构成角色的轮廓；

(3)对每个运动子序列，构建一个以该子序列上的所有关键点为优化变量的包含时序约束和空间约束的优化模型。也就是，对运动子序列构造一个目标函数E，该目标函数包括6个约束项，其中前4项是时序约束项，后2项是空间约束项：

    E＝w_LE_L+w_AE_A+w_SE_S+w_VE_V+w_EE_E+w_RE_R                1

其中w_L，w_A，w_S，w_V，w_E和w_R分别为各项的权重系数；在这个实施例中，这些参数被依次设置为8，9，3，4，4和32，下面依次介绍各项的定义及作用；

第1约束项为长度项E_L，该项反映了角色轮廓上的各条线段在运动子序列上的长度变化，

$E_L=\underset{i=1}{\overset{N_f-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_s}{\mathrm{\Σ}}}{\left(\right|\left|s_i\left(j\right)\right||-|\left|s_{i+1}\left(j\right)\right|\left|\right)}^2---2$

其中s_i(j)为第i帧中的角色轮廓上的第j条线段，N_f为运动子序列的帧数，N_s为角色轮廓上线段的数目；

第2约束项为角度项E_A，该项反映了角色轮廓上的各个关键点处的夹角在运动子序列上的变化，

$E_A=\underset{i=1}{\overset{N_f-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_c}{\mathrm{\Σ}}}{\left|\right|(c_i\left(a_j\left(1\right)\right)-2c_i\left(j\right)+c_i\left(a_j\left(2\right)\right))-(c_{i+1}\left(a_j\left(1\right)\right)-2c_{i+1}\left(j\right)+c_{i+1}\left(a_j\left(2\right)\right))\left|\right|}^2---3$

其中c_i(j)为第i帧上中角色轮廓上的第j个关键点，N_c表示角色轮廓上关键点的数目；

第3约束项为面积项E_S，该项反映了角色的各个部位在运动子序列上的面积变化，

$E_S=\underset{i=1}{\overset{N_f-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_p}{\mathrm{\Σ}}}{(f_S\left(p_i\left(j\right)\right)-f_S\left(p_{i+1}\left(j\right)\right))}^2---4$

其中p_i(j)为第i帧中表示角色第j个部位的多边形，f_S是计算多边形面积的函数，N_p为角色部位的数目。

第4约束项为速度项E_V，该项反映了角色轮廓上的各个关键点的在相邻帧间的位置偏移量在运动子序列上的变化，

$E_V=\underset{i=1}{\overset{N_f-2}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_c}{\mathrm{\Σ}}}{((c_{i+1}\left(j\right)-c_i\left(j\right))-((c_{i+2}\left(j\right)-c_{i+1}\left(j\right)))}^2---5$

第5约束项为边界项E_E，该项使得角色的轮廓在运动子序列的每一帧上靠近图像边界，边界项计算方法如下：

首先对运动子序列中的每一帧图像F_i采用坎尼边界检测算法提取图像边界，得到图像边界图E_i；接着，对每一幅图像边界图E_i计算欧式距离变换，得到一个H×W的距离变换矩阵D_i，其中H和W为图像的高度和宽度，D_i(x，y)表示图像坐标为(x，y)的像素点在E_i中离最近边界像素点的欧式距离；然后，利用距离变换定义角色轮廓上的线段到图像边界的距离。在每一条线段s_i(j)上等间隔采样t个像素点，设它们的图像坐标为{(x_k，y_k)|1≤k≤t}，使用下面的公式计算线段到图像边界的距离：

$f_{\mathrm{seg}}\left(s_i\left(j\right)\right)=\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{D}_i(x_k,y_k)---6$

通常情况下，t的取值对结果影响不大，考虑到计算效率，可以取一个相对较小一些的值，比如5到10之间，在这个实施例子中t的取值为7。图2给出了线段到图像边界的距离计算方式的示意，其中图2(a)为图像边界图，图2(b)示意的是线段到边界距离，绿线表示线段，红圈为从线段上采样的像素点，黄线段表示的是采样像素点到图像边界的最小距离。最后，边界项被定义为：

$E_E=\underset{i=2}{\overset{N_f-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_s}{\mathrm{\Σ}}}{f}_{\mathrm{seg}}{\left(s_i\left(j\right)\right)}^2---7$

第6约束项为区域项E_R，该项使得在运动子序列的每一帧中，角色的各个部位落在正确的图像区域，区域项的计算方法如下：

首先，利用关键帧上的标注，跟踪出角色的每个部位在中间帧上的大致位置。根据在两个关键帧上标注的部位p₁(j)和

使用线性插值得到卡通角色的第j个部位在第i帧上的大致形状，记为p_i′(j)，采用仿射填充算法根据p₁(j)的纹理为p_i′(j)填充颜色；通过计算p_i′(j)各个顶点坐标的平均值得到p_i′(j)的中心cp_i′(j)，在以cp_i′(j)为中心的一个搜索窗口里定位cp_i′(j)在第i帧上的最佳位置cp_i ^*(j)，使得将部位p_i′(j)的中心cp_i′(j)平移到cp_i ^*(j)后，部位p_i′(j)与其所在的图像区域的颜色差异最小；图3给出了跟踪得到的孙悟空这个角色的右上臂在运动序列的各个帧上的大致位置，绿圈表示部位的中心；

接着，对第i帧上表示角色第j个部位的多边形p_i(j)，通过计算它的各个顶点坐标的平均值得到该部位的中心cp_i(j)，并使用下面的公式定义区域项：

$E_R=\underset{i=2}{\overset{N_f-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_p}{\mathrm{\Σ}}}{\left|\right|{\mathrm{cp}}_i\left(j\right)-{\mathrm{cp}}_i^{*}\left(j\right)\left|\right|}^2---8$

图4示意的是区域项的作用原理。在图4(a)中，黄色圆圈表示角色左手掌中心的最佳位置，蓝色正方形为左手掌当前的中心位置；在图4(b)中，在区域项的作用下，左手掌的中心位置不断靠近其最佳位置，最终重合使得表示左手掌的曲线靠近到它在图像中的正确位置；

所述的利用p₁(j)的纹理为p_i′(j)填充颜色的仿射填充算法步骤包括：

1.将多边形p₁(j)和p_i′(j)分别表示成2×M的矩阵A和B，其中A的第k列和B的第k列分别表示p₁(j)和p_i′(j)的第k个顶点的图像坐标；

2.采用线性最小二乘法最小化下面的式子来计算多边形p_i′(j)到多边形p₁(j)的仿射变换AT：

$\mathrm{error}=\left|\right|A-\mathrm{AT}\·\left[\begin{array}{c}B\\ 1\end{array}\right]\left|\right|---9$

3.对多边形p_i′(j)内的每一个像素点px′，px′的坐标表示成

的形式，通过下式计算得到一个像素点px：

$\mathrm{px}=\mathrm{AT}\·\left[\begin{array}{c}{\mathrm{px}}^{\′}\\ 1\end{array}\right]---10$

如果px的坐标位置在多边形p₁(j)内部，则将多边形p₁(j)上位于该坐标位置的像素点的颜色赋值给px′；

4.对于多边形p_i′(j)内每个还未着色的像素点，选择与其距离最近的已着色的像素点的颜色作为它的颜色值。

(4)将上述优化模型转化成

的非线性最小二乘问题的形式，采用阻尼最小二乘法进行求解，得到首帧标注的角色轮廓上的关键点在子序列的各个中间帧上的位置后，将每帧上的相邻关键点用线段连接，得到角色的轮廓。图5给出了这个实施例的轮廓跟踪的结果。

Claims (3)

1.一种基于关键帧的卡通角色轮廓跟踪方法，其特征在于包括如下步骤：

1)从一段卡通运动序列中选出关键帧，两个相邻关键帧之间的帧序列构成一个运动子序列；

2)对于每个运动子序列，分别在第一帧和最后一帧上的角色各个部位的轮廓上设置关键点，将相邻的两个关键点用直线进行连接，每个部位被表示成一个多边形，第一帧和最后一帧上设置的关键点数目相同并且一一对应，第一帧上标注的轮廓被复制到该子序列上除最后一帧以外的其他帧上；

3)对每个运动子序列，构建一个以子序列上的所有关键点为优化变量的包含时序约束和空间约束的优化模型；

4)将上述优化模型转化成

的非线性最小二乘问题，采用阻尼最小二乘法进行求解，在求解得到子序列的中间帧上各个关键点的位置后，将每帧上的相邻关键点用线段连接，得到角色的轮廓。

2.根据权利要求1所述的一种基于关键帧的卡通角色轮廓跟踪方法，其特征在于，所述的对每个运动子序列，构建一个以该子序列上的关键点集合为变量的包含时序约束和空间约束的优化模型：对每两个相邻关键帧之间的运动子序列构造一个目标函数E，该目标函数包括6个约束项，其中前4项是时序约束项，后2项是空间约束项：

E＝w_LE_L+w_AE_A+w_SE_S+w_VE_V+w_EE_E+w_RE_R    1

其中w_L，w_A，w_S，w_V，w_E和w_R分别为各项的权重系数，下面依次介绍各项的定义及作用；

第1约束项为长度项E_L，该项反映了角色轮廓上的各条线段在运动子序列上的长度变化，

$E_L=\underset{i=1}{\overset{N_f-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_s}{\mathrm{\Σ}}}{\left(\right|\left|s_i\left(j\right)\right||-|\left|s_{i+1}\left(j\right)\right|\left|\right)}^2---2$

其中s_i(j)为第i帧中的角色轮廓上的第j条线段，N_f为运动子序列的帧数，N_s为角色轮廓上线段的数目；

第2约束项为角度项E_A，该项反映了角色轮廓上的各个关键点处的夹角在运动子序列上的变化，

$E_A=\underset{i=1}{\overset{N_f-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_c}{\mathrm{\Σ}}}{\left|\right|(c_i\left(a_j\left(1\right)\right)-2c_i\left(j\right)+c_i\left(a_j\left(2\right)\right))-\left(c_{i+1}\left(a_j\left(1\right)\right)-2c_{i+1}\left(j\right)+c_{i+1}(a_j\left(2\right))\right)\left|\right|}^2---3$

其中c_i(j)为第i帧上中角色轮廓上的第j个关键点，N_c表示角色轮廓上关键点的数目；

第3约束项为面积项E_S，该项反映了角色的各个部位在运动子序列上的面积变化，

$E_S=\underset{i=1}{\overset{N_f-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_p}{\mathrm{\Σ}}}{(f_S\left(p_i\left(j\right)\right)-f_S\left(p_{i+1}\left(j\right)\right))}^2---4$

其中p_i(j)为第i帧中表示角色第j个部位的多边形，f_S是计算多边形面积的函数，N_p为角色部位的数目。

第4约束项为速度项E_V，该项反映了角色轮廓上的各个关键点的在相邻帧间的位置偏移量在运动子序列上的变化，

$E_V=\underset{i=1}{\overset{N_f-2}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_c}{\mathrm{\Σ}}}{((c_{i+1}\left(j\right)-c_i\left(j\right))-\left((c_{i+2}\left(j\right)-c_{i+1}\left(i\right))\right)}^2---5$

第5约束项为边界项E_E，该项使得角色的轮廓在运动子序列的每一帧上靠近图像边界，边界项计算方法如下：

首先对运动子序列中的每一帧图像F_i采用坎尼边界检测算法提取图像边界，得到图像边界图E_i；接着，对每一幅图像边界图E_i计算欧式距离变换，得到一个H×W的距离变换矩阵D_i，其中H和W为图像的高度和宽度，D_i(x，y)表示图像坐标为(x，y)的像素点在E_i中离最近边界像素点的欧式距离；然后，利用距离变换定义角色轮廓上的线段到图像边界的距离。在每一条线段s_i(j)上等间隔采样t个像素点，设它们的图像坐标为{(x_k，y_k)|1≤k≤t}，使用下面公式进行计算线段到图像边界的距离：

$f_{\mathrm{seg}}\left(s_i\left(j\right)\right)=\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{D}_i(x_k,y_k)---6$

最后，边界项被定义为：

$E_E=\underset{i=2}{\overset{N_f-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_s}{\mathrm{\Σ}}}{f}_{\mathrm{seg}}{\left(s_i\left(j\right)\right)}^2---7$

第6约束项为区域项E_R，该项使得在运动子序列的每一帧中，角色的各个部位落在正确的图像区域，区域项的计算方法如下：

首先，利用关键帧上的标注，跟踪出角色的每个部位在中间帧上的大致位置：根据两个关键帧上标注的部位p₁(j)和

使用线性插值得到卡通角色的第j个部位在第i帧上的大致形状，记为p_i′(j)，采用仿射填充算法利用p₁(j)的纹理为p_i′(j)填充颜色；通过计算p_i′(j)各个顶点坐标的平均值得到p_i′(j)的中心cp_i′(j)，在以cp_i′(j)为中心的搜索窗口里定位cp_i′(j)在第i帧上的最佳位置cp_i ^*(j)，使得将部位p_i′(j)的中心cp_i′(j)平移到cp_i ^*(j)后，部位p_i′(j)与其所在的图像区域的颜色差异最小；

接着，对第i帧上表示角色第j个部位的多边形p_i(j)，通过计算它的各个顶点坐标的平均值得到该部位的中心cp_i(j)，并使用下面的公式定义区域项：

$E_R=\underset{i=2}{\overset{N_f-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_p}{\mathrm{\Σ}}}{\left|\right|{\mathrm{cp}}_i\left(j\right)-{\mathrm{cp}}_i^{*}\left(j\right)\left|\right|}^2---8$

3.根据权利要求2所述的一种基于关键帧的卡通角色轮廓跟踪方法，其特征在于，所述的采用仿射填充算法利用p₁(j)的纹理为p_i′(j)填充颜色步骤包括：

1)将多边形p₁(j)和p_i′(j)分别表示成2×M的矩阵A和B，其中A的第k列和B的第k列分别表示p₁(j)和p_i′(j)的第k个顶点的图像坐标；

2)采用线性最小二乘法最小化下面的式子来计算多边形p_i′(j)到多边形p₁(j)的仿射变换AT：

$\mathrm{error}=\left|\right|A-\mathrm{AT}\·\left[\begin{array}{c}B\\ 1\end{array}\right]\left|\right|---9$

3)对多边形p_i′(j)内的每一个像素点px′，px′的坐标表示成

的形式，通过下式计算得到一个像素点px：

$\mathrm{px}=\mathrm{AT}\·\left[\begin{array}{c}{\mathrm{px}}^{\′}\\ 1\end{array}\right]---10$

如果px的坐标位置在多边形p₁(j)内部，则将多边形p₁(j)上位于该坐标位置的像素点的颜色赋值给px′；

4)对于多边形p_i′(j)内每个还未着色的像素点，选择与其距离最近的已着色的像素点的颜色作为它的颜色值。

Images