TWI382354B - 臉部辨識方法 - Google Patents

Description

臉部辨識方法

本發明係有關一種臉部辨識方法，特別是一種從單一圖像重建三維可形變人臉模型及使用機率融合的方式，以辨認從影像接收裝置所攝錄之連續人臉訊框。

人臉辨識技術在電腦視覺與生物特徵識別領域是非常重要的研究之一。對於基礎於二維影像的人臉辨識方法，其主要的挑戰在於在不同取像條件下(例如角度、光源...)，對於同樣的人臉所取得的影像會具有不同變化。為了克服這個問題，許多已發展出的演算法均須根據不同的變化，針對每個人採取大量的訓練樣本。然而在實際的應用中要在很精確的條件下採集大量二維的臉部影像是相當困難的。

由影像重建三維人臉模型的技術，近來在許多應用上已經很常見，例如在臉部動畫與人臉辨識應用。對於如何強健的重建人臉模型，基於統計方式的技術已被廣泛的應用。傳統上，多數已知的三維臉部重建技術均需一個以上的二維人臉圖像才能重建回令人滿意的三維人臉模型。而另一種三維臉部重建方式雖然只需使用單張影像，卻必須將問題限制在一頭部模組為已知的條件下。

另外，大部分所習知的人臉辨識方法對於未曾出現的非系統使用者是無法辨識的。對於日漸廣泛的人臉辨識系統而言，如何簡化取樣複雜度、訓練樣本的難度及提高辨識準確率也是亟需解決的議題。

為了解決上述問題，本發明目的之一係提出一種臉部辨識方法，其利用一張二維人臉圖像重建出一三維人臉模型，並據以模擬各種不同條件下之臉部影像變化。根據此人臉模型並合成出一訓練圖組，以供訓練人臉分類器。此外，本發明使用局部線性內嵌法(Locally Linear Embedding,LLE)概念，除辨識合法系統使用者之人臉圖像並能拒絕非法使用者。此外本發明經由機率方式融合連續時間上單一的決定，增加臉部辨識的可靠度。

為了達到上述目的，本發明一實施例為臉部辨識方法，包括：從一資料庫擷取一原始臉部圖像，以一可形變三維人臉模型重建符合原始臉部圖像之一三維人臉模型；以三維人臉模型對原始臉部圖像模擬具有不同變化之人臉視覺影像以供訓練一臉部辨識分類器；接收一人臉的數個影像訊框，臉部辨識分類器對每一影像訊框作辨識得到一相似機率；以及依時序累積融合每一影像訊框之相似機率得到人臉的一臉部辨識信心值，其中若臉部辨識信心值大於一閥值，則辨識所接收人臉與原始臉部圖像身分相同。

本發明之臉部辨識方法使用單一的二維人臉圖像，以一三維可形變人臉模型來重建三維人臉模型，並模擬不同的頭部姿勢變化合成大量的二維人臉圖像供訓練人臉辨識模組之用。再者此法經由機率方式融合連續時間上單一的決定提升辨識準確率，並基於LLE方法可拒絕非系統所允許的入侵者。

本發明一實施例之臉部辨識方法步驟流程如圖1所示，本實施例是以人臉辨識為例，但亦可實現在具有相似之圖像辨識或影像辨識。於此實施例中，步驟S01先從一資料庫擷取一原始臉部圖像，並根據一三維可形變人臉模型重建原始臉部圖像的一三維人臉模型。此三維可形變人臉模型提供了正常人臉的幾何資訊以及材質資訊的先驗知識。對於三維可形變人臉模型，其可以被表示為一組三維幾何資料，，與一組三維紋理資料，，N 是構成三維人臉曲面的取樣點數目。接著以數個特徵頭基礎向量(eigenhead bases vectors)的線性組合來近似此三維人臉的幾何與紋理資料，如式(1)、式(2)所示：

其中，是平均形狀向量，是平均紋理向量，s _i 是第i 個特徵形狀基礎向量，t _i 是第i 個特徵紋理基礎向量，α =[α₁ ,K,α _m ]及β =[β₁ ,K,β _m ]為構成此三維人臉的形狀係數和紋理係數。

實施例使用BU-3DFE(3D facial expression database)的3D掃描與圖像資料庫作為產生特徵頭基礎向量的資料來源。請參閱圖2a到圖2d為本發明一實施例之三維可形變臉部模型概念示意圖，圖2a為在一般人臉模型標定數個特徵點；圖2b為一資料庫中的原始臉部圖像；圖2c為圖2b經過對齊、再取樣與平滑處理後所重建回的三維人臉模型，圖2d為圖2c的三角交叉檢視示意圖。

上述的三維人臉重建始於圖2a的特徵點初始化，再以基於測光誤差最小化方式分別得到對於形狀資料組與紋理資料組的係數α ,β 與數個三維特性參數以求得最符合輸入人臉的三維可形變模型。其中，三維特性參數是由一價值函數(cost function)產生，此價值函數為式(3)：

∥I _input -I _{mod el} (α ,β ,P _ortho ,f ,R ,t _{2 d} )∥　(3)

I _input 是輸入的原始臉部圖像，P _ortho 是正交投影矩陣，f 是圖像縮放比例因子，R 是三維旋轉矩陣，t _{2 d} 是偏移向量。式(3)的最小化解答可由LM最佳化數值演算法(Levenberg-Marquart optimization)求出。

步驟S02中，以重建的三維臉部模型模擬可能的圖像變化，對原始臉部圖像訓練一臉部辨識分類器。其將二維原始臉部圖像以事先定義之三維特性參數與重建之三維人臉模型合成後的圖像如圖3所示，中間的圖為輸入的原始臉部圖像，其它的為合成後具有不同姿勢的臉部圖像。

步驟S03中，接收一人臉的數個影像訊框，臉部辨識分類器對每一影像訊框作辨識得到一相似機率；以及步驟S04依時序融合每一影像訊框之機率得到人臉的一臉部辨識信心值，若此臉部辨識信心值大於一閥值，則辨識所接收人臉訊框與原始臉部圖像身分相同。融合先前的辨識結果方法如式(4)所示：

其中，為一事後機率(posterior probability)，表示使用者在單一影像訊框下時間t 時屬於第i分類之 機率，於一實施例中，我們合併與前面累積之機率值P _i ^{t - 1} ，最後得到累積至時間t 之相似機率。

另外，要成為實用的臉部辨識系統，還必需有能力拒絕未曾見過之系統入侵者，只接受系統的合法使用者。藉由局部線性內嵌法(LLE)的非線性資料在流形(manifold)中具有局部線性的概念，如果經由同一人的訓練圖像無法用來線性重建被辨識圖像，則圖像被推定為非系統使用者。因此，一辨識的人臉在於訊框t 時應能由所預測種類c 中與其K 筆最鄰近的資料重建。定義一輸入人臉的近似誤差為如式(5)所示：

此處示在最近似之種類c 中K 筆最鄰近資料之權重，且是指同一種類中K 筆最鄰近資料之集合。

接著，使用雙彎曲函數(sigmoid function)將轉換成相對應之拒絕機，其遞迴定義為式(6)：

其中是控制拒絕率的參數。其結果使得具有高的拒絕機率之人臉辨識為不屬於系統允許之使用者。

請參考第4圖為本發明之人臉辨識融合時序之架構示意圖。最後將拒絕機率加入相似機率並一同正規化，得到影像訊框所屬種類c 到時間t 之事後機率，如式(7)所示：

其中，i =1,2,...,n 及是時間t 時的接受機率，為事後機率分佈。若在時間t 時超過一閥值(threshold)P _{t h} ，本發明可以確定一人臉的影像訊框所表示之身分。若(類別n +1為給予入侵者之分類)，則拒絕被辨識之人臉，否則認可人臉為合法系統使用者並繼續辨認其身分，

綜合上述，申請案係利用一三維可形變模型來重建人臉模型，並模擬具有不同變化之人臉視覺影像為人臉辨識之訓練資料庫。在建立三維人臉模型以及訓練人臉辨識器的過程中，對每分類僅需對使用者擷取一張二維影像，如此可改善過去以統計方式需大量收集人臉訓練樣本之缺點。

以上所述之實施例僅係為說明本發明之技術思想及特點，其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施，當不能以之限定本發明之專利範圍，即大凡依本發明所揭示之精神所作之均等變化或修飾，仍應涵蓋在本發明之專利範圍內。

S01~S04．．．步驟

圖1所示為本發明一實施例之臉部辨識方法步驟流程圖。

圖2a、圖2b、圖2c及圖2d所示為根據本發明一實施例之重建原始臉部圖像之三維可形變模型示意圖。

圖3所示為根據本發明一實施例之合成圖。

圖4所示為本發明一實施例之人臉辨識融合時序之架構示意圖。

S01~S04．．．步驟

Claims (12)

1. 一種臉部辨識方法，其包含：從一資料庫擷取一原始臉部圖像，以一可形變三維人臉模型重建符合該原始臉部圖像之一三維人臉模型；以該三維人臉模型模擬具有不同變化之人臉視覺影像以供訓練一臉部辨識分類器；接收一人臉的數個影像訊框，該臉部辨識分類器對每一該影像訊框作辨識得到一相似機率；以及依時序累積融合每一該影像訊框之該相似機率得到該人臉的一臉部辨識信心值，其中若該臉部辨識信心值大於一閥值，則辨識該人臉與該原始臉部圖像相同。
2. 如請求項1所述之臉部辨識方法，其中該原始臉部圖像為一二維圖像。
3. 如請求項1所述之臉部辨識方法，其中重建符合該原始臉部圖像之該三維人臉模型之步驟包括：建立該可形變三維人臉模型，其中該可形變三維人臉模型包含一組三維幾何與一組三維紋理資料；以數個特徵頭基礎向量的線性組合表示該可形變三維人臉模型；及以測光誤差最小化處理得到重建符合該原始臉部圖像之該三維人臉模型所需的一幾何資料組，一紋理資料組，與一三維特性參數。
4. 如請求項3所述之臉部辨識方法，其中該組三維幾何資料為：，N 是臉部取樣點數目。
5. 如請求項3所述之臉部辨識方法，其中該組三維紋理資料為：，N 是臉部取樣點數目。
6. 如請求項3所述之臉部辨識方法，其中該幾何資料組為： 該紋理資料組為： 是平均形狀向量，是平均紋理向量，s _i 是第i 個特徵形狀基礎向量，t _i 是第i 個特徵紋理基礎向量，α =[α₁ ,K,α _m ]為對應該些特徵頭基礎向量的形狀係數，β =[β₁ ,K,β _m ]為對應該些特徵頭基礎向量的紋理係數。
7. 如請求項3所述之臉部辨識方法，其中該些三維特性參數是由一價值函數產生，該價值函數為：∥I _input -I _model (α ,β ,P _ortho ,f ,R ,t _{2 d} )∥，其中I _input 是輸入的該原始臉部圖像，P _ortho 是正交投影矩陣，f 是圖像縮放比例因子，R 是三維旋轉矩陣，t _{2 d} 是偏移向量。
8. 如請求項1所述之臉部辨識方法，其中該依時序累積融合每一該影像訊框之該相似機率得到該人臉的該臉部辨識信心值之步驟為： 為一事後機率，表示在時間t 時之單一影像訊框屬於第i 分類之機率，合併與前面累積之機率值P _i ^{t -1} ，最後得到累積至時間t 之相似機率。
9. 如請求項1所述之臉部辨識方法，包括：計算每一該影像訊框之一拒絕機率；以及將該拒絕機率加入該相似機率並進行一正規化步驟，以得到該影像訊框所屬種類c 到時間t 之事後機率。
10. 如請求項9所述之臉部辨識方法，其中計算每一該影像訊框之該拒絕機率之步驟包括： 表示在最近似該影像訊框之c 種類中K 筆最鄰近資料之權重，且是指同一種類中K 筆最鄰近資料之集合，是控制拒絕率的參數。
11. 如請求項9所述之臉部辨識方法，其中將該拒絕機率加入該相似機率進行該正規化步驟為： i =1,2,...,n 及是時間t 的接受機率，是事後機率分佈。
12. 如請求項9所述之臉部辨識方法，其中如果大於該閥值且，則判斷該人臉為非系統允許之使用者，否則認可該人臉為合法系統使用者並繼續辨認其身分，其中