TWM566860U - 臉部辨識系統 - Google Patents

Abstract

臉部辨識系統，包含：儲存單元，用以儲存預設使用者的臉部資料，其中臉部資料包含預設使用者的臉部特徵且臉部資料與綁定功能相關；影像擷取單元，用以擷取臉部動作影像，其中臉部動作影像包含使用者做出的一系列的臉部表情，其中臉部動作影像包含複數個圖像幅；以及處理單元，連結至影像擷取單元以及儲存單元，其中處理單元從複數個圖像幅中抓取使用者的臉部特徵，並計算使用者臉部特徵在時間內的一變量；其中處理單元比較使用者的臉部特徵變量以及預設使用者的臉部資料，如果兩者之間的變化量小於預設值，則處理單元執行綁定功能。

Description

臉部辨識系統

本創作係相關於一種臉部辨識系統及臉部辨識方法，尤指一種根據臉部動態表情進行臉部辨識的臉部辨識系統及臉部辨識方法。

一般而言，習知臉部辨識裝置是預先利用影像擷取裝置擷取使用者臉部的靜態影像並儲存於記憶體，以作為後續開啟預定裝置或軟體的識別資料。當使用者要開啟預定裝置或軟體時，習知臉部辨識裝置會再次利用影像擷取裝置擷取使用者臉部的靜態影像並和記憶體中使用者臉部的靜態影像進行比對，當兩者批配時，習知臉部辨識裝置才會開啟預定裝置或執行軟體。然而，習知臉部辨識裝置容易被使用者的照片或使用者的雙胞胎兄弟(或姊妹)破解。再者，當使用者出現在影像擷取裝置前方時，習知臉部辨識裝置容易在未經使用者確認的情況下開啟預定裝置或執行軟體。因此，習知臉部辨識裝置具有較低的安全性。

本創作提供一種臉部辨識系統及臉部辨識方法，以提高安全性與可靠性。

本創作種臉部辨識系統包含：一儲存單元，用以儲存一預設使用者的一臉部資料，其中該臉部資料包含該預設使用者的臉部特徵且該臉部資料與一綁定功能相關；一影像擷取單元，用以擷取一臉部動作影像，其中該臉部動作影像包含一使用者在一時間內做出的一系列的臉部表情，其中該臉部動作影像包含複數個圖像幅；以及一處理單元，連結至該影像擷取單元以及儲存單元，其中處理單元從該複數個圖像幅中抓取該使用者的至少一個臉部特徵，並計算該臉部特徵在該時間內的一變量；其中該處理單元比較該使用者的該變量以及該預設使用者的該臉部資料，如果兩者之間的一變化量小於一預設值，則該處理單元執行該綁定功能。

本創作的臉部辨識方法，包含：儲存一預設使用者的一臉部資料，其中該臉部資料包含該預設使用者的臉部特徵且與一綁定功能相關；擷取一臉部動作影像，其中該臉部動作影像包含使得一使用者在一時間內做出一系列臉部表情，其中該臉部動作影像包含複數個圖像幅；從該圖像幅中抓取該使用者的至少一個臉部特徵；計算該臉部特徵在該時間內的一變量；比較該使用者臉部特徵的該變量以及該預設使用者的該臉部資料；以及當兩者的變化量小於一預設值時，執行該綁定功能。

一種兩階段臉部辨識方法，包含：比較至少一個臉部特徵驗證一使用者是否為一預設使用者；比較一時間內該使用者的臉部特徵的一變量以及該預設使用者的臉部特徵的預設變量；以及若該變量以及該預設變量的變化量小於一預設值，責執行一綁定功能。

相較於先前技術，本創作臉部辨識系統可讓使用者依據個人喜好組合各種臉部動作以作為臉部的動態識別資訊，進而避免本創作臉部辨識系統被使用者的照片或使用者的雙胞胎兄弟(或姊妹)破解。因此，本創作臉部辨識系統可以增加臉部辨識的安全性。另一方面，本創作臉部辨識系統的臉部動態辨識亦可以避免僅因為使用者出現在影像擷取裝置前方就意外地執行預定操作的問題。

第1圖是本創作臉部辨識系統的示意圖。如第1圖所示，本創作臉部辨識系統100包含一影像擷取裝置110、一儲存裝置120以及一處理單元130。影像擷取裝置110用以擷取一使用者的臉部影像。儲存裝置120用以儲存臉部資料。處理單元130連接於影像擷取裝置110及儲存裝置120，例如若影像擷取裝置110、儲存裝置120與處理單元130設置在同一個電子裝置中，則處理單元130可電連接於影像擷取裝置110及儲存裝置120，而若影像擷取裝置110、儲存裝置120與處理單元130的其中一者不設置在同一個電子裝置或是影像擷取裝置110、儲存裝置120與處理單元130皆分別設置在不同裝置中，例如處理單元130或儲存裝置120位於雲端，則可透過無線傳輸的方式連接。

本創作臉部辨識系統100是動態的因為是利用使用者的動態表情而非靜態圖片做為辨識的基礎。如第一圖所示，儲存單元120儲存預設使用者的臉部資料並與一綁定功能相關。其中，所儲存的臉部資料包含靜態臉部資料以及動態臉部資料。其中，靜態臉部資料為預設使用者在靜態時的臉部特徵資料；而動態臉部資料為預設使用者在動態時的臉部特徵資料。具體來說，動態臉部資料可藉由錄製一段預設臉部動作影像取得；在影片當中預設使用者可在一時間內做出一系列的臉部表情。預設臉部動作影像包含複數個圖像幅。處理單元130從這些圖像幅中取出預設使用者的至少一個臉部特徵，並計算預設使用者的臉部特徵在時間內的變量。而所取得的預設使用者臉部特徵以及其變量即為預設使用者的臉部資料。

此外，當一使用者試圖要解開綁定的功能時，影像擷取裝置110會截取使用者的臉部影像，當中使用者在一時間內做出一系列的臉部動作。同樣地，臉部影片也包含複數個圖像幅。處理單元130從這些圖像幅中取出使用者至少一個臉部特徵，並計算這些臉部特徵在時間內的變量。本創作的臉部辨識系統100比較使用者的臉部特徵變量與預設使用者的臉部資料，如果兩者個差異範圍介於一個預設值內，則處理單元便會去執行綁定的功能。有很多已知的方法可以用來計算使用者的臉部特徵變量與預設使用者的臉部資料差異，例如動態時間規整算法(Dynamic Time Warping, DTW)，本創作不限於使用任何方式。

在一實施例中，本創作的臉部辨識系統100可執行一兩階段的臉部辨識。亦即，臉部辨識系統100會先判斷該使用者是否即為預設使用者，再考慮是否判斷執行綁定功能 (例如：解鎖一電子裝置，或執行一應用程式)。在第一階段的使用者驗證中，臉部辨識系統100仰賴靜態臉部圖片作為判斷基礎；而在第二階段判斷是否執行綁定功能則是根據動態的臉部影像。在本實施例中，僅有當使用者驗證成功，且使用者做出相同或近似的預設臉部表情動作後，系統才會執行綁定的功能。藉由這樣的機制提升整體臉部辨識系統的可靠性以及安全性。

第2圖是本創作根據靜態圖片進行臉部辨識的示意圖。在本創作中，靜態的臉部辨識可能僅會執行一次，或可能定期的執行。如圖所示並參照第1圖，首先處理單元130取得一使用者的靜態臉部圖片200。在一實施例中，圖片200可為臉部影像所包含的複數個圖像幅其中之一。接著，處理單元130從圖片200中取得使用者至少一個臉部特徵 (例如眼、耳、口、鼻、臉部輪廓) 於二維空間的形狀、位置或數個臉部特徵之間的相對位置；而當使用者的臉部靜態影像200是三維影像時，處理單元130可以根據使用者的臉部靜態影像200得到使用者的臉部特徵(例如眼、耳、口、鼻、臉部輪廓)於三維空間的形狀、位置或數個臉部特徵之間的相對位置。之後，處理單元130再將使用者的臉部特徵資料和儲存在儲存裝置120中預設使用者的臉部資料進行比對。當處理單元130判斷使用者的臉部特徵資訊對應於(或大致符合於)預設使用者的臉部資料時，則驗證該使用者即為該預設使用者。

在另一實施例中，不論是使用者或是預設使用者的臉部特徵不一定非要由臉部動作影像的圖像幅中取得。臉部特徵可由其他管道，例如一單獨分別取得的靜態臉部圖片中獲得。另外，臉部特徵不一定是一個單一特徵；它可以是多個或是合併的臉部特徵點或關鍵點。上述的例子的目的僅在說明本創作如何進行辨識，不應視為本創作的限制。

第3圖是本創作根據動態影像進行臉部辨識的示意圖。須注意的是本創作的動態臉部辨識為一獨立的辨識系統；它可以單獨達成本創作的目的而不需要與前述的靜態臉部辨識一起執行。如圖所示，首先預設使用者先預錄一個預設臉部動作影像；在影片當中預設使用者在一時間內做出一系列的臉部表情動作（例如：使用者是依序做出眨眼睛、豬鼻子、張大嘴等）。這一系列的臉部表情動作即為解開綁定功能的特定金鑰。預設臉部動作影像包含有複數個圖像幅。處理單元130從這些圖像幅中取出預設使用者至少一個臉部特徵。另外，如果先前已經進行過靜態臉部辨識的話，本創作可以直接使用先前取得的臉部特徵結果，而不需要在執行此一步驟。接著處理單元130計算預設使用者臉部特徵在時間內的一預設變量。預設變量可能是預設使用者眼睛、嘴唇及鼻子於二維空間或三維空間的形狀或相對位置變化。預設使用者的臉部特徵資料(亦即，靜態臉部資料)以及預設變量(亦即，動態臉部資料)將以預設使用者臉部資料的形式儲存於儲存裝置120中。

當一使用者在一時間內做出相同或是近似的臉部表情動作（例如：使用者是依序做出眨眼睛、豬鼻子、張大嘴等）試圖解開綁定的功能時，影像擷取裝置110將這些臉部表情錄製成一臉部動作影像。其中臉部動作影像包含有複數個圖像幅，合稱為臉部動態影像300 (如第3圖所示)。處理單元130從這些圖像幅中擷取出使用者的至少一個臉部特徵，擷取的方式如上所述。此外，如果先前已經進行過靜態臉部辨識，那也可以直接從靜態臉部辨識的結果直接得到使用者的臉部特徵資料。接著，處理單元130計算使用者臉部特徵在時間內的一變量。如上所述，該變量可能是使用者的眼睛、嘴唇及鼻子的形狀或是位置的變化軌跡；且變量的計算可以是二維或是三維的。舉例來說，處理單元130可從某一張 (或第一張)圖像幅中先確認使用者的眼睛、嘴唇及/或鼻子的形狀和/或位置，接著根據其他複數張圖像幅計算眼睛、嘴唇及鼻子的形狀或是位置的變化軌跡。處理單元130接著比對使用者臉部特徵的變量以及儲存在儲存裝置120中預設使用者的臉部資料。如果兩者的差異介於一預設值內 (表示兩個相似或近似)，則處理單元130開始執行綁定功能，例如：解鎖一電子裝置或是執行一應用程式等。如上所述，本創作可利用一動態時間規整算法(DTW)判斷兩個資料是否相近。

相較於習知的辨識系統，本創作的臉部辨識系統100在可靠性以及安全性上都較為提升。在本創作的配置下，即使是長相很像的雙胞胎也無法通過臉部辨識系統100的辨識進而解開綁定功能；另外即使是預設使用者也不會在意外的情況下解開綁定功能。

如上述，因為使用者的臉部特徵可由臉部動作影像的其中一個圖像幅取得，因此可以用來驗證使用者。雖然本創作的動態臉部辨識系統主要是用來判斷是否可以執行一綁定功能，但因為本創作所依據的動態影像也具有取得臉部特徵的作用，因此也可以僅用作為使用者驗證使用。此外，如上所述，本創作的動態臉部辨識為一單獨操作的系統，因此不一定需要先經過使用者的驗證後才進行判斷是否執行綁定功能。亦即，本創作可以直接進行綁定功能是否執行的判定；只要臉部特徵的變量符合，綁定的功能即可被執行。再者，本創作的整體辨識率可由給予不同權重的靜態跟動態辨識結果定義。

另外，本創作臉部辨識系統100可進行辨識的臉部動作不限於第3圖的實施例。使用者可以自行做出任何形式的臉部動作，以作為解開綁定功能的獨特金鑰。舉例來說，使用者亦可以做出張大眼睛、吐舌頭、嘟嘴等臉部動作，且使用者臉部動作的變化及順序可以依據使用者喜好而有不同組合。在本創作實施例中，為了提高本創作臉部辨識系統100被破解的困難度，使用者的臉部連續動作可包括使用者在不說話時所作的臉部連續動作、使用者說一段暗語的唇形變化或使用者做一誇張表情時所做的臉部連續動作，但動作不以此為限。再者，使用者頭部的轉動及移動可以進一步增加使用者的臉部特徵的絕對位置變化，以進一步提高本創作臉部辨識系統100被破解的困難度。

本創作臉部辨識系統100用來辨識影像中使用者的臉部特徵(例如眼、耳、口、鼻、臉部輪廓)的方法不限於特定影像處理方法或演算法，現有用於辨識影像中使用者的臉部特徵的影像處理方法或演算法皆可應用於本創作臉部辨識系統100。當影像擷取裝置110擷取使用者的臉部動態影像300後，處理單元130可以用機器學習、電腦視覺、影像處理或視頻處理的算法在一時序中從使用者的臉部影像粹取出一至多個特徵(features)，比較該時序中該一至多個特徵與儲存裝置120中的臉部的動態臉部資訊，判斷兩者差異(或相似度)是否小於一預設值。動態臉部資料可為預設使用者臉部影片的一至多個特徵、預設使用者的臉部影像、或任一可推斷預設使用者臉部影像一至多個特徵的值。該一至多個特徵可包括一特徵描述(feature descriptor)、數個臉部特徵點(facial landmarks)、或兩者之結合。特徵描述可為邊緣、方向梯度直方圖、局部二值模式、或關鍵點，但不限於此。

第4圖中標示臉部動態影像300使用者的臉部特徵點P(例如在鼻頭、嘴唇、眼皮、眉毛、下巴、臉頰等)。本創作根據使用者的臉部動態影像300中的一特定參考點得到每個特徵點P的位置向量變化(在二維空間或三維空間中)。相似地，動態臉部資料亦包含預先擷取的預先使用者的臉部動態影像中的臉部特徵上標示複數個特徵點的位置向量變化。處理單元130根據使用者的臉部動態影像300和預設使用者的動態臉部資料中每個特徵點於時間軸上的位置向量變化的相似程度，以判斷兩者在形狀變化及位置變化是否介於一預設值內。在本創作實施例中，特徵點的標示位置及數目可以依據設計需求而改變。越多的特徵點需要的運算時間較長但可以讓比對的結果更精確。

判斷相似度的方式可以是比較一至多個特徵與臉部資訊在一或多維度的軌跡是否相似，例如用動態時間歸整算法(dynamic time warping)比較兩時序中特徵的差異。兩時序中特徵的差異值可根據一成本函數計算而得，成本函數的例子包括一距離函數、位置、或夾角，但不限於此。以微笑表情做為例子，本創作的臉部辨識系統100可先取得預設使用者嘴部周圍20個關鍵點當作參考的臉部特徵並記錄在微笑的過程中這20個關鍵點隨時間的位置變化並定義成預設微笑軌跡函數SFtn。當一使用者試圖也用微笑解開綁定的功能時，本創作的臉部辨識系統100在使用者的嘴巴附近抓取類似的20個關鍵點並記錄微笑過程中這些關鍵點的變化並定義成使用者的微笑軌跡函數Ftn。臉部辨識系統100接著利用動態時間歸整算法(DTW)計算兩個微笑軌跡函數SFtn以及Ftn的差異，如果差異介於一事先定義的預設值內，則表示使用者通過動態臉部辨識，而該綁定功能可以被執行。在本實施例中僅考慮位置的變化，但本創作並不限於此；本創作也可以考慮角度變化或是相對距離等。此外，多個特徵對應的差異值可根據一固定權重加總，或根據自適性的權重加總。例如，當一特徵具有較高的置信度(confidence level)時，增加其權重；反之，降低其權重。

另一實施例中，可用一機器學習算法將該一至多個特徵(features)嵌入(embedding)一多維空間中的一向量，並將該向量與臉部資料比較，比較的方式如前述。機器學習算法如類神經網路、主成分分析、自動編碼器等等，但不限於此。

影像擷取裝置110可用紅外線發射器、測距裝置、光學變焦裝置或影像處理方法等來擷取使用者臉部的三維影像，但本創作不以此為限。任何擷取三維影像的技術及方法皆可應用於本創作臉部辨識系統100。

第5圖是本創作臉部辨識方法的流程圖400。本創作臉部辨識方法的流程如下列步驟： 步驟410：一儲存裝置儲存一臉部資料，該臉部資料包含一預設使用者的臉部特徵資料且與一綁定功能相關； 步驟420：擷取一臉部動作影像，在臉部動作影像中一使用者在一時間內做出一系列臉部表情，且臉部動作影像包含複數個圖像幅； 步驟430：從該些圖像幅中抓取使用者的至少一個臉部特徵，並計算使用者的臉部特徵在時間內的一變量； 步驟440：比較使用者臉部特徵的變量以及預設使用者的臉部資料；以及 步驟450：當兩者的變化量小於一預設值時，執行綁定功能。

除上述步驟外，本創作的臉部辨識方法更包含：i) 預錄一預設臉部動作影片，在預設臉部動作影像當中使得預設使用者在一時間內做出的一系列的臉部表情作為解開綁定功能的獨特金鑰，其中預設臉部動作影像包含複數個原始圖像幅；ii) 從原始圖像幅中抓取預設使用者的至少一個臉部特徵；以及iii) 計算預設使用者臉部特徵在時間內的一預設變量；其中臉部特徵以及原始變量即為預設使用者的臉部資料。

在一實施例中，臉部辨識方法包含藉由比較臉部特徵以及臉部資料先行驗證使用者是否為一預設使用者。此外，臉部特徵的取得除了透過臉部動作影像外，亦可由影像擷取裝置110擷取的一靜態臉部圖片另外取得。

本創作臉部辨識系統是根據動態臉部影像而非僅靠靜態的臉部圖片作為辨識的基礎。本創作的臉部辨識系統是動態的，因為預設使用者可以隨自己的喜好將任何臉部表情動作組合起來成為解開綁定功能的獨特金鑰。因此，本創作的臉部辨識系統不僅可以降低將雙胞胎或照片錯判成使用者的可能性，且可以避免意外的將綁定功能解開的機會，進而增進整體臉部辨識的可靠性以及安全性。

以上所述僅為本創作之較佳實施例，凡依本創作申請專利範圍所做之均等變化與修飾，皆應屬本創作之涵蓋範圍。

100‧‧‧臉部辨識系統
110‧‧‧影像擷取裝置
120‧‧‧儲存裝置
130‧‧‧處理單元
200‧‧‧使用者的臉部靜態影像
300‧‧‧使用者的臉部動態影像
400‧‧‧流程圖
410至450‧‧‧步驟
P‧‧‧特徵點

第1圖是本創作臉部辨識系統的示意圖。 第2圖是本創作根據靜態圖片進行臉部辨識的示意圖。 第3圖是本創作根據動態影像進行臉部辨識的示意圖。 第4圖是本創作臉部辨識系統根據使用者的臉部特徵上複數個特徵點進行動態辨識的示意圖。 第5圖是本創作臉部辨識方法的流程圖。

Claims (6)

1. 一種臉部辨識系統，包含： 一儲存單元，用以儲存一預設使用者的一臉部資料，其中該臉部資料包含該預設使用者的臉部特徵且該臉部資料與一綁定功能相關； 一影像擷取單元，用以擷取一臉部動作影像，其中該臉部動作影像包含一使用者在一時間內做出的一系列的臉部表情，其中該臉部動作影像包含複數個圖像幅；以及 一處理單元，連結至該影像擷取單元以及儲存單元，其中處理單元從該複數個圖像幅中抓取該使用者的至少一個臉部特徵，並計算該臉部特徵在該時間內的一變量； 其中該處理單元比較該使用者的該變量以及該預設使用者的該臉部資料，如果兩者之間的一變化量小於一預設值，則該處理單元執行該綁定功能。
2. 如請求項1項所述的臉部辨識系統，其中該處理單元使用動態時間規整算法 (Dynamic Time Warping)計算該變化量是否小於該預設值。
3. 如請求項1項所述的臉部辨識系統，其中影像擷取單元預錄一預設臉部動作影像，其中該預設臉部動作影像包含該預設使用者在一時間內做出的一系列的臉部表情作為解開綁定功能的獨特金鑰，其中該預設臉部動作影像包含複數個原始圖像幅，且其中處理單元從原始圖像幅中抓取該預設使用者的至少一個臉部特徵，並計算該臉部特徵在該時間內的一預設變量；其中該臉部特徵以及該原始變量即為該預設使用者的該臉部資料。
4. 如請求項3項所述的臉部辨識系統，其中該處理單元可藉由比較該臉部特徵先行驗證該使用者是否即為該預設使用者；僅有當驗證成功後該臉部辨識系統才進一步考慮是否比較該變量以及預設變量以執行該綁定功能。
5. 如請求項1項所述的臉部辨識系統，其中該處理單元可從一單獨擷取的臉部圖片中抓取出該使用者的該臉部特徵。
6. 如請求項1項所述的臉部辨識系統，其中該綁定功能包含解鎖一電子裝置或執行一應用程式等。