TWI557685B - 網格動畫製作方法 - Google Patents

Description

網格動畫製作方法

本發明係關於透過諸如影像追蹤等方式的網格動畫製作方法。

現代三維(3-D)電腦動畫製作系統大多以簡化方式表述動畫角色的身體構造，例如利用以點構成的網格表述一個角色的臉部形貌。為便於製作動畫，通常係透過定義若干動畫變數的方式建立一個「骨架(rig)」，藉以控制網格上一個或多個點的位置。在製作該角色的動畫時，動畫變數係逐時調整。

例如，欲將一個角色開口說話的場景製作成動畫，動畫師可調整一個或多個動畫變數，從而將動作賦予該角色，例如其嘴唇。在某些例子中，動畫師須為一個場景中的每一格畫面調整該等動畫變數。在使用每秒24至30格畫面的典型畫面更新率的情況下，製作不到數秒的場景將會是費時且難鉅的工作。

在其他某些例子中，動畫師可利用軟體指定所需動畫變數的目標值，並針對多個畫面進行動畫變數值的插值，直到達到所需動畫變數的目標值為止，如此一來即可減少製作動畫的工作量。

除了製作動畫場景所需的時間外，動畫師的另一項挑戰係製作照像寫實的人物動畫。時至今日， 人類複雜的生物力學仍為照像寫實人物動畫的一大阻礙。因此，一種能將人類的動作準確且快速地製作成動畫的系統，乃為所冀。

在一實施例中，通常使用三維攝影機取得一對象在共同且高密度的一組像素位置上的平行影像與許多深度圖。對獲取到的二維圖像進行動作捕捉操作，生成二維網格動畫。將二維網格動畫與相應的深度圖結合，最終形成適合渲染的三維網格動畫。

在另一實施例中，一種動畫製作方法通常包含接收一對象的一系列畫面，其中各畫面包含分辨率實質相當的一深度圖及一影像，該影像中的每一位置對應到該深度圖中的一位置。選擇該等畫面的影像中的複數特徵加以追蹤。對該複數特徵中每一特徵的追蹤產生該特徵在該系列影像中的一系列位置。該選擇及追蹤需要一系列該等影像經處理過的形狀作為輸入，其中該處理後的形狀界定該等影像中表述之強度曲率。該動畫製作方法更包含將一網格表述對準到該等影像中的第一影像。該網格表述包含複數網格點及該網格表述的對準關係，其中該網格表述的對準關係包含決定該複數網格點在該第一影像中的位置。形成該等特徵在該第一影像中的位置與該等網格點在該第一影像中的位置之間 的關係，並利用所追蹤之該等特徵的位置以及該等特徵的位置與該等網格點的位置之間的關係，決定該網格表述與該系列的影像中各影像的對準關係。

本發明的實施例可包含下列特徵中的一或多者。

針對每一畫面，將該網格表述相對於該影像的該對準關係，與對應該影像的深度圖結合，藉以決定該網格表述的三維對準關係。

該網格表述的該三維對準關係的決定，包含針對該網格表述上的每一網格點，利用該網格點在該網格表述與該影像的該對準關係中的二維座標，選擇該深度圖中的一位置，藉以決定該網格點之位置的深度座標。

就該等網格點的至少某些位置而言，決定該網格點的位置之該深度座標，包含對該深度圖中的深度值進行插值。

動畫的渲染係以該網格表述在連續畫面中所決定的三維對準關係為依據。

每一收到的畫面其深度圖及影像表述在同一組座標位置上。

該組座標位置包含一矩形柵格上的至少250000座標位置。

該選擇及追蹤包含針對每一畫面，從該畫面的影像決定一曲率圖。

該曲率圖的決定包含決定一平滑化的三維影像，然後從該平滑化的三維影像決定該曲率圖。

該平滑化三維影像的決定，包含將表面平滑化方法應用於根據該影像的強度所形成之一表面。

該表面平滑化方法的應用包含應用高斯(Gaussian)加權曲面平滑化方法。

從該三維影像決定該曲率圖，包含決定該影像中複數點的高斯曲率。

以該等影像的一系列經處理過的形狀為依據的該選擇及追蹤，包含將金出-盧卡斯-托瑪斯(Kanade-Lucas-Tomasi；KLT)特徵追蹤器應用於該等影像經處理後的該等形狀。

該等特徵的位置與該等網格點的位置之間的關係的形成，包含決定界定此關係的重心座標(Barycentric coordinates)。

該動畫製作方法更包含決定該對象之一實體部位在該等影像其中之一中的位置，並將所決定的位置關聯到所追蹤的許多特徵在該影像中的位置。

該實體部位在其他影像中的位置，取決於所追蹤的該等特徵的該等位置，以及所決定的位置與所追蹤的該等特徵之間的關係。

該對象的該實體部位包含該對象的一隻眼睛及一個嘴巴的至少其中之一。

根據所決定的該實體部位的該等位置渲染該 對象。

該接收一對象之該系列的畫面，包含利用三維攝影機取得該等畫面。

上述實施例的優點包含下列一或多者。

以相關聯的影像及深度圖為基礎，能以相對較少的人力及機器運算量獲得高度精確的動畫網格。

該深度圖的高密度，使得該網格相對於許多影像的二維對準關係的轉換建立起該網格的三維對準關係。

本發明的其他特徵及優點，可從以下的說明及申請專利範圍清楚瞭解。

1.系統概述

動畫製作系統100用於產生供電腦動畫所用的動畫網格，其許多實施例說明如下。一般而言，這些實施例採用如圖1所展示的總體方法。在某些範例中，該動畫網格能用來將一人類對象經錄影取得的臉部動作及表情賦予一人臉的原型面罩，俾渲染一動畫影像序列。在某些範例中，該動畫網格可直接或經修改(例如根據一關聯骨架)將臉部動作及表情賦予一非人類面罩(例如動物或怪物的面罩)。

系統100的概要說明參照圖1提供如下，該系統的元件的更詳細描述在後續各節提供。一般而言，該系統始於利用三維攝影機104取得一對象102的 一序列影像畫面。此攝影機的輸出包含一系列的畫面(標記為n=1,2,...,N)，例如每秒24或30格畫面，其提供一影像(例如一灰階強度影像)以及對應的三維資訊。在此實施例中，來自每一畫面的資訊輸出包含(q ⁿ (x,y),z ⁿ (x,y))，其中q ⁿ 為一強度圖，z ⁿ 為一對應的深度圖。強度與深度二者皆為高密度，例如每一畫面包含250,000個(x,y)點。系統100之一輸出係一系列的二維網格對準關係M ⁿ 以及相對應的三維網格對準關係R ⁿ 。在此實施例中，各種尺寸及/或拓樸布局(形狀)的網格皆能使用，例如，該網格可包含約2,500個點，此點數較原始取得影像中的點數小兩個數量級。一網格對準關係包含該網格中的各點在該等原始取得畫面的參考畫面(或一動作經穩定後的參考畫面)中的二維(用於M ⁿ )或三維(用於R ⁿ )座標。然後該等網格對準關係可用於例如渲染許多動畫影像序列。

一般而言，該系統將一具有對準關係M ¹的初始網格應用於至少一影像，例如第一影像q ¹，然後根據在該序列的影像q ⁿ 中追蹤到的移動產生以一前後一致的網格定義為基礎的動畫網格，作為該序列的二維網格對準關係M ⁿ 。一般而言，一個特定網格點在該系列的畫面中的移動對應該對象的皮膚上一個相對應點的移動。

決定該序列的網格對準關係M ⁿ 的程序係基於 逐時追蹤一組(x,y)點在各畫面中的位置。普遍來說，這項多點的追蹤係以光流法為基礎。然而，強度圖q ⁿ 並非直接加以利用，而係先經過處理以決定許多曲率圖，該等曲率圖提供較佳的逐時追蹤特性，因而提供較高品質的網格對準關係序列。然後利用插值法將許多受追蹤的點形成的軌跡轉換為許多網格點座標的軌跡。使用各種額外的作業，例如追蹤上眼瞼、嘴唇內側以及其他可能受惠於特殊處理的特徵之處理，以產出高品質的動畫網格。

該等網格座標的該等二維座標與透過攝影機取得的深度圖結合，以形成該序列的三維網格對準關係R ⁿ ，例如根據該深度圖z ⁿ (x,y)的插值結果。因此，此序列的三維網格對準關係表述對於提供同一組點在該序列內每一畫面中的位置的原始資料之壓縮。

在某些範例中，該動畫三維網格與一原型面罩結合，以渲染一合成的影像序列，其中該對象的許多臉部動作係以照像寫實的方式賦予該原型面罩。

其他選擇性的步驟用於特定實施例中。例如，該光學追蹤可能涉及各種形式的限制條件，使得該等網格點維持其與該對象實體部位之間的關聯性。在某些範例中，該輸出經動作穩定化處理，以消除該對象在初始影像取得過程中的移動造成的效應。在某些範例中，對眼睛及嘴巴區域施加各種 技術，以追求與該等區域相關的特定獲益。

以上介紹的許多步驟及程序在以下各節中詳細討論。

2.影像擷取

動畫製作系統100的操作始於取得一對象102的一系列影像。在某些範例中，該等影像係由三維攝影機104取得。

如前所述，三維攝影機104的輸出包含一系列的畫面(標記為n=1,2,...,N)，例如，以每秒24或30格的畫面輸出。所產生的畫面可包含一序列的二維強度影像q ⁿ (x,y)108(例如灰階強度影像)及一序列提供三維資訊的深度圖z ⁿ (x,y)106。藉由在同一座標系統中以相同的分辨率表述的方式，該強度及深度資訊以彼此關聯的方式儲存起來。該強度影像與深度影像兩者均為高密度，例如包含約250,000個(x,y)點(例如約640x480個像素)在每格畫面中。

在某些範例中，可用其他影像擷取裝置或系統取代三維攝影機104。較佳者，該所用的替選影像擷取方案輸出足夠密度的一序列二維強度影像108及一序列三維資訊序列(例如包含數量明顯多於所需動畫三維網格的點數的(x,y)點)。

在某些範例中，對象102的皮膚可用諸如滑石粉的對比強化劑加以處理。此項處理所改善的對比度可提高該動畫製作系統中後續模組的效能，尤其 是該光流追蹤模組150。然而在實務上，這類對比強化劑的使用很明顯對該系統的操作並非是必要的。

該系統所用的三維攝影機104的一範例，係來自美國麻薩諸塞州薩默維爾市的幾何資訊學公司的GeoVideo攝影機。

3.光流追蹤

參照圖2，光流追蹤模組150的兩個面向係有關輸入到該追蹤程序的特徵，以及用來檢測或保證所追蹤的點在該序列的畫面中前後一致的方法。

3.1平均曲率的計算

繼續參照圖1，該序列的二維強度影像108首先經由平均曲率計算模組120處理，以製備供動作追蹤模組150使用的影像。在某些範例中，在平均曲率計算模組120中的處理，係將該序列的二維強度圖q ⁿ (x,y)108轉換為可供該動作追蹤器施加高斯平滑法及計算各點的高斯曲率的格式。

在某些範例中，以單一畫面為基礎對各畫面逐一執行該平滑化作業，俾將該強度圖q ⁿ (x,y)(其係定義於一複數個(x,y)點的格網上)轉換為一平滑的強度圖(x,y)。執行此平滑化作業的方法之一，係將該強度視為高度的表述，因此q ⁿ (x,y)定義出在一個三維空間(兩空間維度及一強度維度)中的一張強度表面。接著將此三維表面平滑化，以便在一平 滑表面上形成相對應的點。例如，在該平滑化作業中，將每一個三維點(x _j ,y _j ,q _j )(其中q _j =q ⁿ (x _j ,y _j ))的座標映射到一個三維點(,,)。這些映射點一起定義出該平滑函數(x,y)。在某些範例中，此平滑化作業使用一高斯核心，使得每一個三維點被映射到在該強度表面上鄰近其他點的一個高斯加權平均值。

隨後，平均曲率計算模組120從平滑函數 x,y)決定一曲率k(x,y)。在某些範例中，此曲率k(,)係在該平滑化步驟中計算作為該表面在點(,,)處的高斯曲率。然後，針對每一畫面n的影像q ⁿ (x,y)所有的原始座標依此方式計算，定義出曲率圖k ⁿ (x,y)。在某些使用者介面中，該強度q(x,y)及其相關曲率k(x,y)可並排顯示。

3.2影像流軌跡

接著，將該序列的曲率圖k ⁿ (x,y)輸入到動作追蹤模組150。在某些實施例中，該動作追蹤器係以金出-盧卡斯-托瑪斯(KLT)特徵追蹤器為基礎。一般而言，該追蹤器係從第一畫面中選出適合追蹤的許多點，例如以每一像素附近輸入的局部變化為基礎。選出該等像素的一個子集合，作為隨後逐畫面追蹤的「特徵」所在的位置。該追蹤器提供一種方法，俾將如此選出的特徵從某一畫面映射到另一畫面。就KLT演算法而言，某一特徵從一畫面到下一畫面的映射，係對該特徵在一畫面中的先前位置附 近區域(亦即容許在相鄰畫面中有限度的平移，甚或整個影像的平移及/或旋轉)，找出在下一畫面中的位置的一個可能轉換(例如經旋轉、縮放、平移後)的版本。在某些情況下，某特徵可能在下一畫面中因為遭到遮蔽或移到運算法所允許的範圍外而消失不見了。

藉由對一序列的畫面逐一重覆此映射程序，某些點在各畫面中將有相對應的位置而成為一連續軌跡的一部分。某些軌跡可能只出現在該序列的畫面的一個子區間內。一般而言，以下描述的方法只使用延伸跨越輸入畫面整個序列的特徵軌跡。

此程序的結果是一組特徵點P={p ₁,p ₂,...,p _K }，其中每一個特徵點在該輸入畫面整個序列中具有一個由座標位置(,),(,),...(,)構成的前後一致的軌跡。此等軌跡形成後述網格動畫的基礎。

KLT法的特性之一，係在一道軌跡上的一個點可能「滑動」，致使該點與該對象身上的一個實體點的關聯性可能隨時間改變，而非保持一致。此「滑動」可能來自在大量畫面中追蹤許多點的結果，導致小追蹤誤差隨時間累積。以下描述用來降低此效應的許多方法，例如有關使用「關鍵幀」以及沿著時間的正、負向進行追蹤。

KLT法的另一特性在於，一個對象的某些部位原本即有可能受到不連續軌跡的影響。例如一個對 象的一隻眼睛(例如眼球)上的許多點，可能只有在眼睛張開時才會出現，因此在追蹤演算法的輸出結果中缺乏連續性。這種缺乏連續性的現象可能引發某些部位中的點遺失，因而導致該些點被排除在追蹤演算法的輸出以外。

關鍵幀

參閱圖2，在某些範例中，點「滑動」的問題可利用關鍵幀選擇模組124來改善，透過關鍵幀選擇模組124，使用者在使用KLT演算法處理該整個序列的畫面之前先選擇一系列的「關鍵幀」。

關鍵幀選擇模組124允許該動畫製作系統的使用者將該序列中的某些影像指定為「關鍵幀」。在某些範例中，藉由找出該對象處於中性姿勢的影像，可以辨識出適當的關鍵幀，例如，在為一個對象的臉部製作動畫的情況下，具有合嘴的表情即屬於上述的中性姿勢。在理想狀況下，該等影像應看起來儘量相似。例如，在一個兩分鐘(3600格畫面)的序列中，關鍵幀可能彼此相距200至400格畫面(例如相隔約十秒)。當更多的關鍵幀加入時，KLT演算結果的品質通常就改善了。在某些範例中，藉由將指定的關鍵幀彼此對準，該KLT演算結果可獲得進一步改善。

將第一動作追蹤器126應用於該子序列的關鍵幀，以辨識同時出現在第一關鍵幀及後續每一格關 鍵幀中的特徵(「關鍵幀特徵」)。例如，第一動作追蹤器126可分別辨識關鍵幀1與200、1與400、1與600等等之間的點軌跡。由於動作追蹤器126一次僅辨識兩格關鍵幀之間的點軌跡，因此「滑動」被消除了。藉動作追蹤器126的辨識進一步改善點的穩定性，可藉由許多因子提供，包含較短長度的畫面子序列，以及所選關鍵幀的相對相似度。

在某些範例中，關鍵幀的選擇係透過與使用者的互動程序來輔助，在此互動程序中，使用者可檢視所選特徵的序列，以確認渠等於畫面之間的「穩定性」，且可選擇性地移除或增加關鍵幀，直到動作追蹤器126選出一組所需特徵為止。在某些範例中，此等畫面的穩定性係在一圖形介面上藉由色斑顯示特徵位置來檢視，因而允許使用者評估該等特徵在該序列的關鍵幀中的穩定性。

該等關鍵幀將該整個序列的輸入畫面有效地分割成多個時間分區。然後這些時間分區使用帶約束的動作追蹤器128處理，該帶約束的動作追蹤器128通常企圖去為該等關鍵幀之間的該等特徵提供軌跡。在某些範例中，該帶約束的動作追蹤器再次以曲率圖作為輸入使用KLT法。倘若找到某一特徵在各關鍵幀之間形成一道完整的軌跡，則該特徵在該整個畫面序列中同時具穩定性及連續性。

在某些範例中，該等關鍵幀特徵的追蹤，係先 從第一關鍵幀到第二關鍵幀正向追蹤，然後再從該第二關鍵幀到該第一關鍵幀逆向追蹤。由於一項特徵的正向及逆向追蹤通常不會產出全部相同的位置，因此在某些範例中把正向與逆向追蹤的結果進行插值而產出更精確的追蹤結果，並消除關鍵幀分區之間可能發生的輕微但引人注意的晃動。

帶約束的動作追蹤器128使用一個以像素的數量來表示其大小的搜尋視窗。在選擇搜尋視窗的大小時有某種妥協。較小的搜尋視窗產出較佳品質的追蹤結果，但是比較不能因應該序列的平均曲率二維影像144中的快速變化。相反的，較大的搜尋視窗產出較差品質的追蹤結果，但是比較能夠因應該序列的平均曲率二維影像144中的快速變化。

在某些範例中，系統100係以不同大小的搜尋視窗執行多次追蹤程序來處理這種妥協。首先，使用一個小搜尋視窗(例如21個像素)執行該追蹤程序，產出高品質的追蹤結果。然而，若有諸如張嘴的突然動作，則此小搜尋視窗可能產出低品質的追蹤結果(亦即遺失相當多的追蹤點)。

然後在後續執行該追蹤程序時使用較大的視窗(例如31、41、51、61個像素)。該追蹤的品質將隨著視窗尺寸的增加而降低，但是能夠偵測到較快的移動而不遺失點。例如，該較大的視窗對追蹤嘴唇的動作特別有用。各輪的追蹤結果可結合起 來，為該整個序列的畫面產出一組完整的追蹤點。

在某些範例中，假如一項關鍵幀特徵的正向與逆向追蹤不連續，則微小的不連續處可予以「橋接」以求得一連續的軌跡。 4.網格的對準

由該動作追蹤器(選擇性地使用前述的關鍵幀法)所決定的該組被追蹤的特徵，形成決定該動畫網格的動作的基礎。

再次參照圖1，一網格定義142，例如指定許多網格點的互連以形成該網格的許多區域的拓樸布局，被傳給初始手動網格對準模組140。使用者選擇一畫面，通常係輸入畫面序列的第一畫面。一般而言，此模組使用一圖形表述給使用者，該使用者將該網格的至少若干點對準到該序列中所選第一畫面的影像(例如對準到強度圖q ¹(x,y))。此對準的結果係M ¹，其包含該等網格點在該第一畫面中的一組位置。

網格插值模組138將該等網格點在該第一畫面中的位置關聯到所追蹤的特徵在該第一畫面中的位置。在某些範例中，建立此關係之方式係根據各網格點子集合(例如各組可形成一三角形以包圍一特徵之最少網格點)形成一對應特徵位置之重心座標，或根據該等特徵之子集合的位置形成網格位置之重心座標。

然後藉該網格插值模組138利用特徵位置與網格點位置之間的關係(例如重心座標)決定後續畫面中的網格對準關係M ⁿ 。

在某些範例中，提供對該等網格對準關係的圖形檢視給該使用者，因而允許該使用者去編輯該網格對準關係序列所依據的對準關係。此圖形檢視可供使用者比較該影像與該序列的網格對準關係136的最終網格對準關係，藉以評估問題區域(例如嘴巴)周圍的點的追蹤成效。

然後該序列的網格對準關係的拓樸布局的二維表述可疊合在該相對應的二維強度影像上檢視。此步驟有助於判別未正確追蹤的點。例如，假使有一個點未受到正確追蹤，則其將使網格變形，變成可立即辨認出。然後該使用者將該等未正確追蹤的點從網格中移除，導致該網格被重新計算。

對該序列中的各畫面以及對該網格中的各點而言，該網格對準的結果通常係該原始畫面中該網格點的子像素的位置(亦即一個像素間距的幾分之一)。

三維插值模組112利用該序列的網格對準關係136及該序列的三維影像106產生一序列的三維網格對準關係。由於在該序列的二維強度圖108與該序列的三維圖106之間存在直接關聯的關係，二維強度圖中的每一像素分別對應到相對應的三維影 像中的三維空間中的一個點。三維網格插值模組112利用此關聯性，將該序列的二維網格對準關係136中每一個網格對準關(逐點)映射到該序列的三維影像106中其對應的三維影像。其結果係一序列的三維網格對準關係。請注意，由於該等網格對準關係通常具有子像素點位置，因此利用插值法來決定在此等子像素網格點位置(x,y)處的深度值z(x,y)。

5.對準穩定點

在某些範例中，冀望該對象的頭部儘可能減少在該序列的三維網格對準關係中的移動。然而，實際上，幾乎不可能令某人長時間避免頭部的移動。因此，動畫製作系統100包括穩定點選擇模組118，其允許使用者選擇許多點作為「穩定點」，以消除頭部的動作。然後穩定點對準模組152將該序列的三維網格對準關係中每一個網格對準關係中的該等穩定點對準第一三維網格對準關係中所辨識出來的穩定點，因而消除所有頭部動作。

6.渲染

在某些實施例中，該等三維網格對準關係Rn傳送到渲染模組132。在某些範例中，該渲染模組利用一個包括色彩質感的原型面罩(例如高品質彩色照片)，該原型面罩透過渲染資訊114供給該系統。利用一個極為類似於將拓樸布局點映射到第一畫 面的程序(亦即重心三角法)，將該色彩映射到該第一畫面的範圍內。

所得的合成影像序列134係一序列的三維影像，包含對象102被錄影取得的臉部表情賦予由渲染資訊114提供的原型面罩。

7.額外步驟

在某些實施例中，可執行額外的步驟以改善合成影像序列134的品質。例如，使用者可指定眼睛、嘴巴及下巴的位置、選擇穩定點、增加新點或應用法線貼圖。

7.1眼睛、嘴巴及下巴的位置

就KLT運算法126與128而言，某些臉部特徵可能很難追蹤，甚至無法追蹤。例如，眼睛及嘴巴的動作快速，且某些點有時候在畫面中消失了(例如眼瞼)。因此，動畫製作系統100利用眼及嘴位置模組130讓使用者能手動辨識此等追蹤點。一般而言，該系統提供一種判斷眼窩輪廓及嘴巴輪廓的管道，因而允許該渲染程序對該這些區域使用特別的渲染技法。

在某些範例中，由於所追蹤的特徵點未必位於眼睛或嘴巴的邊界上，因此，使用者藉透過一圖形介面去定義所需的眼睛及嘴巴輪廓，而辨識出額外的點。然後再根據所追蹤的點的位置去定義這些額外點的位置，例如，從這些受追蹤的特徵點插值及 /或平移。如此一來，可根據該等額外點所依賴的追蹤點的位置在各畫面中追蹤該等額外點。

眼睛的追蹤係利用眼睛導引追蹤點、上眼瞼的位置以及整個眼睛睜開時的形狀。眼睛導引追蹤點為眼睛下方區域的可靠追蹤點，可用以量測下眼瞼在每一畫面中的位置(最左側點、最右側點及底部點)。

然後藉由利用可強調高對比區域的邊緣偵測技術辨識該對象的眼白，以決定該上眼瞼的位置。該眼白的邊線對應於該上眼瞼。

在某些範例中，內含眨眼動作的畫面可視為特例並以特例方式處理。例如，可進一步處理二維強度影像的質感，處理的方式則與前述應用於高度圖的方式大致相同，不同之處在於須加強網格的平滑化。

假如該對象在錄製該序列的二維強度影像的過程中開口說話，將會出現明顯的嘴部動作。就KLT運算法126與128而言，快速而複雜的嘴部動作不易成功追蹤。

眼及嘴位置模組130讓使用者得以辨識嘴巴上原本極有可能在追蹤過程中遺失的重要追蹤點(例如嘴唇內側)。

嘴唇內側的追蹤，係設置一組向內移到嘴部中心的額外追蹤點。可從每一嘴角點畫出一條通過該 組嘴唇內側點的弧線，然後沿此弧線建立額外的追蹤點。沿嘴唇內側弧線設置的追蹤點乃一組極為實用的追蹤點，其可將唇部的動作從嘴唇外側區域轉入嘴唇內側區域。這些追蹤點的運作原理係假設所有唇部動作實質相同。

首先辨識上唇穩定點。使用者找出可適度看見上唇的一個畫面，然後選擇一組上唇外側追蹤點(至少一點)及一組上唇內側追蹤點(至少一點)。

其次，辨識下唇穩定點。使用者找出可適度看見下唇的一個畫面，然後選擇一組下唇外側追蹤點(至少一點)及一組下唇內側追蹤點(至少一點)。

再其次，辨識左、右嘴角點。在此例中，使用者可選擇正好位於嘴角的單一追蹤點。若無正好位於嘴角的單一追蹤點，使用者可選擇嘴角介於其間的兩點。

再其次，使用者選擇可供辨識眼睛或眼瞼底部的眼睛導引點。眼睛導引點為一組環繞於眼睛下部周圍且係由使用者選擇的追蹤點，其可用於追蹤各眼的左側部分、右側部分及中央下部。選擇眼睛導引點使其於該序列的二維強度影像108中保持穩定是很重要的。

臉部另一處可能不易追蹤的部位為下唇下方的區域。位於下唇與下巴間的區域在說話過程中動作頻繁，須由動畫製作系統100額外費心處理。在 某些範例中，動畫製作系統100執行一系列的追蹤，以特別處置出現在下唇下方的點。

例如，一個大搜尋視窗(例如61個像素)可以用來量測嘴角及下唇的大概位置。然後畫出一條穿過這些點的弧線。該弧線可視為一直線，且此一範圍內的可追蹤資料可重新採樣以去除最大量的多餘動作，使得該下唇下方的區域能夠使用一個較小的搜尋視窗(例如21個像素)更精準的追蹤。

在渲染過程中，可分析第一畫面的眼睛追蹤資料，進而將模型眼移到定位。待模型眼到達定位後，便可將眼球向後移動，直到其基本上不再與臉部的幾何形狀相交為止。然後再將眼睛邊線的幾何形狀聚合到眼球。可在眼睛邊線區域周圍執行平滑化作業以改善外觀。

然後觀察嘴角追蹤點的平均三維位置，藉以將嘴袋(mouth bag)模型移到定位。將此模型向後移動，並與嘴唇邊線接合，以形成單一幾何形狀。

7.2法線貼圖

在某些範例中，從該序列的三維影像z ⁿ 106計算法線貼圖，並藉法線貼圖應用模組116將該等法線貼圖應用於該序列的三維網格對準關係。

特別地，該等法線貼圖允許模擬具有豐富細節的幾何形狀，而無需使用該等三維網格對準關係中其他額外的點。例如，渲染模組132可根據法線貼 圖計算模組110的輸出計算三維網格特定區域的陰影。之所以能如此，係因法線貼圖計算模組110接收高分辨率的三維影像序列106。

8.實施與替選方案

上述處理方法的實施可能包括軟體，其包括指令儲存於一有形的機器可讀媒體中，且可令一資料處理系統執行上述程序。在某些實施例中，可同時利用多個不同的處理器，並以平行或分散的方式執行所需工作。在某些實施例中，某些工作係由專用的硬體執行，或由可程式的特定用途處理器執行。

應瞭解，亦可使用其他影像資訊處理方法。例如，可使用其他形式的「曲率」計算。再者，可將影像處理納入動作追蹤的步驟中，如此一來便不須為轉換後的影像進行顯式計算，但又兼具轉換法的優點。最後，KLT動作追蹤法僅為影像基準追蹤程序的範例之一，亦可改用其他追蹤法。

在某些實施例中，三維網格對準的結果並非直接用於動畫製作，而係搭配進一步的處理。例如，在某些範例中，動畫師可將一個「骨架」關聯到網格，再進一步使用該三維對準使動畫師得以操控動畫變數，以便在渲染前修改所獲得的動作。

亦應瞭解，未必需要前述使用對準影像及深度圖的特定輸入法。亦可使用其他可將插值網格的二維座標映射到一個三維空間的方法，但深度資訊須 有足夠的分辨率以供高精準映射到該三維空間。

應瞭解，以上說明係為闡述而非限制本發明的範圍，本發明的範圍係由後附的申請專利範圍加以定義。後附的申請專利範圍亦涵蓋其他實施例。

100‧‧‧動畫製作系統

102‧‧‧對象

104‧‧‧三維攝影機

106‧‧‧深度圖序列

108‧‧‧二維強度影像序列

110‧‧‧法線貼圖計算模組

112‧‧‧三維插值模組

114‧‧‧渲染資訊

116‧‧‧法線貼圖應用模組

118‧‧‧穩定點選擇模組

120‧‧‧平均曲率計算模組

124‧‧‧關鍵幀選擇模組

126‧‧‧第一動作追蹤器

128‧‧‧帶約束的動作追蹤器

130‧‧‧眼及嘴位置模組

132‧‧‧渲染模組

134‧‧‧合成影像序列

136‧‧‧網格對準關係序列

138‧‧‧網格插值模組

140‧‧‧初始網格對準模組

142‧‧‧網格定義

144‧‧‧平均曲率二維影像序列

150‧‧‧動作追蹤模組(光流追蹤模組)

152‧‧‧穩定點對準模組

圖1係用來渲染從取得的二維及三維視訊資料合成的一影像序列的動畫製作系統的方塊圖；以及圖2係圖1的動畫製作系統所使用的動作追蹤器的方塊圖。

100‧‧‧動畫製作系統

102‧‧‧對象

104‧‧‧三維攝影機

106‧‧‧一序列的深度圖

108‧‧‧一序列的二維強度影像

110‧‧‧法線貼圖計算模組

112‧‧‧三維插值模組

114‧‧‧渲染資訊

116‧‧‧法線貼圖應用模組

118‧‧‧穩定點選擇模組

120‧‧‧平均曲率計算模組

130‧‧‧眼及嘴位置模組

132‧‧‧渲染模組

134‧‧‧合成的影像序列

136‧‧‧一序列的網格對準關係

138‧‧‧網格插值模組

140‧‧‧初始手動網格對準模組

142‧‧‧網格定義

150‧‧‧動作追蹤模組

152‧‧‧穩定點對準模組

Claims (18)

1. 一種動畫製作方法，包含：接收一對象的一系列畫面，每一該畫面包含分辨率實質相當的一深度圖及一影像，在一影像中的每一位置對應到該深度圖中的一位置；選擇及追蹤該等畫面的該影像中的複數個特徵，該追蹤為該複數個特徵中的每一特徵產生該特徵在該系列的影像中的一系列的位置，其中該選擇及追蹤需要該等影像的一系列經處理後的形狀作為輸入資料，該等經處理後的形狀界定該等影像中表述的強度曲率；將一網格表述對準該等影像中的第一影像，該網格表述包含複數個網格點，該網格表述的對準包含決定該等網格點在該第一影像中的位置；形成該等特徵在該第一影像中的位置與該等網格點在該第一影像中的位置之間的關係；以及利用所追蹤的該等特徵的位置以及該等特徵的位置與該等網格點的位置之間的關係，決定該網格表述與該系列影像中每一影像的對準關係。
2. 如申請專利範圍第1項的動畫製作方法，更包含下列步驟：針對每一該畫面，藉由結合該網格表述與該影像的該對準關係以及對應於該影像的該深度圖，決定該網格表述的三維對準關係。
3. 如申請專利範圍第2項的動畫製作方法，其中決 定該網格表述的該三維對準關係包括：針對該網格表述上的每一網格點，利用該網格點在該網格表述與該影像的該對準關係中的二維座標選擇該深度圖中的一位置，藉以決定該網格點的位置的深度座標。
4. 如申請專利範圍第3項的動畫製作方法，其中就該等網格點的至少某些位置而言，決定該網格點的位置的該深度座標包括對該深度圖中的深度值進行插值。
5. 如申請專利範圍第2項的動畫製作方法，更包含：根據該網格表述在連續畫面中所決定的該三維對準關係渲染一動畫。
6. 如申請專利範圍第1項的動畫製作方法，其中已接收的每一該畫面的該深度圖及該影像係表述於同一組座標位置。
7. 如申請專利範圍第6項的動畫製作方法，其中該組座標位置包含一矩形柵格上的至少250000個座標位置。
8. 如申請專利範圍第1項的動畫製作方法，其中該選擇及追蹤包括針對每一畫面，從該畫面的該影像決定一曲率圖。
9. 如申請專利範圍第8項的動畫製作方法，其中該決定該曲率圖包含決定一平滑化的三維影像，然後從該平滑化的三維影像決定一曲率圖。
10. 如申請專利範圍第9項的動畫製作方法，其中決定該平滑化的三維影像包含將一表面平滑化方法應用 到一根據該影像的強度所形成的表面。
11. 如申請專利範圍第10項的動畫製作方法，其中應用該表面平滑化方法包含應用一高斯加權曲面平滑化方法。
12. 如申請專利範圍第8項的動畫製作方法，其中從該影像決定一曲率圖包含決定該影像中複數個點的高斯曲率。
13. 如申請專利範圍第1項的動畫製作方法，其中該根據該等影像的一系列經處理後的形狀進行選擇及追蹤包含將一金出-盧卡斯-托瑪斯特徵追蹤器應用於該等影像經處理後的形狀。
14. 如申請專利範圍第1項的動畫製作方法，其中形成該等特徵的位置與該等網格點的該等位置之間的關係包含決定可界定該關係的重心座標。
15. 如申請專利範圍第1項的動畫製作方法，更包含：決定該對象之一實體部位在該等影像其中之一的位置，並將所決定的位置關聯到所追蹤的該等特徵在該影像中的位置；以及根據該等所追蹤的特徵的位置以及所決定的該等位置與該等所追蹤的特徵之間的關係，決定該實體部位在其他影像中的位置。
16. 如申請專利範圍第15項的動畫製作方法，其中該對象之該實體部位包含該對象的一眼睛與一嘴巴的 至少其中之一。
17. 如申請專利範圍第15項的動畫製作方法，更包含根據所決定的該實體部位的位置渲染該對象。
18. 如申請專利範圍第1項的動畫製作方法，其中該接收一對象的該系列畫面包含利用三維攝影機取得該等畫面。