TWI466034B - Methods to Improve Face Recognition - Google Patents

Description

提高人臉辨識率的方法

本發明係關於一種提高人臉辨識率的方法，特別是一種提高人臉辨識率的方法，其適用於具有儲存單元的數位相機。

在現今的日常生活中，各種取代傳統類比技術的數位化產品已非常普及，數位相機便是一個很好的例子。數位相機利用光感測器擷取影像並轉換為數位訊號後，以電子圖檔的格式儲存下來。藉由調整各種擷取參數，使用者能夠隨心所欲地拍出自己想要的數位影像。現今多數的數位相機本身亦提供給使用者許多方便的功能，例如自動對焦(Auto Focusing)、各種場景模式或是人臉辨識(Facial Recognition)。藉由數位相機提供的功能，使用者可以更輕鬆地拍出滿意的照片。

其中人臉辨識的技術近年來已相當普遍，但卻仍有許多不足的地方。人臉辨識係指利用分析比較人臉的視覺特徵資訊以進行身份辨別的技術，被認為是生物特徵識別領域甚至人工智慧領域最困難的研究課題之一。實際上人臉的外形很不穩定，因為人可以通過臉部肌肉的變化產生很多表情。而且在不同觀察角度，人臉的看起來的樣子也相差很大。此外，人臉識別還受光照條件(例如白天和夜晚，室內和室外等)、人臉上的遮蓋物(例如口罩、墨鏡、頭髮、鬍鬚等)、年齡等多方面因素的影響。

目前數位相機使用的人臉辨識大多只由人臉的正面擷取影像，對於具有不同表情、造型、光照條件、擷取角度或是擷取距離的同一人臉準確度不足。因此當作為擷取對象的人物改變表情、改變造型、移動或轉頭時，傳統的人臉辨識方法並無法正確地進行辨識。

為了解決上述辨識率不足的問題，本發明提供一種提高人臉辨識率的方法。

本發明提供之提高人臉辨識率的方法可在不麻煩使用者的情況下提高人臉辨識率。

本發明提供之提高人臉辨識率的方法係適用於具有一儲存單元的一數位相機。

此數位相機的儲存單元儲存有至少一人臉資訊，且各個人臉資訊包含至少一人臉特徵。

提高人臉辨識率的方法包括：對一標的人物擷取一第一人臉影像；依據儲存單元執行一人臉辨識程序，以透過人臉辨識程序判斷擷取之第一人臉影像是否對應於人臉資訊之一；以及當第一人臉影像對應於人臉資訊中之一時，對人臉資訊執行一更新程序，以依據標的人物增加儲存於儲存單元中對應於之人臉資訊中標的人物的人臉特徵。

其中，更新程序可包括：當第一人臉影像對應於人臉資訊之一時，以一人臉追蹤手段對標的人物追蹤擷取至少一第二人臉影像；分析第二人臉影像以得到至少一新人臉特徵；以及將新人臉特徵儲存至儲存單元以作為第一人臉影像所對應的人臉資訊的人臉特徵。

根據本發明之一實施範例，提高人臉辨識率的方法可更包括：當第一人臉影像對應於人臉資訊之一時，由儲存單元中擷取於對應之人臉資訊中的一標的物訊息，並對應標的人物的影像顯示標的物訊息。

而當第一人臉影像無對應於人臉資訊之任一時，可執行一新增程序，新增程序包括：依據第一人臉影像得到至少一新增人臉特徵；以及將新增人臉特徵儲存至儲存單元作為一個新的人臉資訊。於此，可持續追蹤標的人物並且重複執行更新程序，以得到更多的人臉特徵，進而更加提高人臉辨識率。

此外，上述之人臉辨識程序係可包括：依據第一人臉影像以及每一個人臉資訊計算一人臉相似度；以及判斷是否有任一人臉相似度大於一第一門檻值相。

根據本發明之實施範例，擷取第一人臉影像與第二人臉影像時係使用不同的一拍攝參數，且拍攝參數係為一曝光值、一擷取焦距、一解析度或一擷取角度和一擷取距離中至少一個擷取影像時的條件。人臉特徵則可為一人臉輪廓、一人臉膚色或一人臉五官位置等可以用於辨識人臉的各種特徵。

綜上所述，根據本發明之提高人臉辨識率的方法藉由人臉追蹤手段對標的人物自動擷取新的人臉特徵，再以得到的人臉特徵更新數位相機的儲存單元中對應的人臉資訊，以作為後續人臉辨識程序使用。由於提高人臉辨識率的方法可得到標的人物於不同擷取環境或是不同擷取角度之下擷取到的人臉特徵，因此能夠有效地提高標的人物之人臉辨識率。且更新程序係可在使用者沒有察覺的情況下執行。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。

根據本發明一實施例之提高人臉辨識率的方法適用於具有一儲存單元的一數位相機。

「第1圖」係為根據本發明所適用之數位相機的架構示意圖。關於本發明所適用之數位相機可以是但不限於「第1圖」所示之架構。

請參考「第1圖」，數位相機100可包括一鏡頭裝置102、一感光元件106、一取樣電路108(Sampling hold circuit)、儲存單元112、一驅動馬達114以及一處理單元116。於數位相機100的鏡頭裝置102前方的景象所反射的光線經由鏡頭裝置102與一光圈裝置(未繪示)進入感光元件106，而感光元件106將進入的光線轉換成影像的訊號並傳給取樣電路108後，影像可被紀錄於儲存單元112。

擷取時，處理單元116致動驅動馬達114以移動鏡頭裝置102至指定焦距位置，然後以一擷取快門值以及一擷取光圈值進行擷取。感光元件106對應於鏡頭裝置102並把具有前方景象的畫面轉換成數位影像的電訊號。經由處理單元116的驅動，取樣電路108將感光元件106所接收的影像傳送至儲存單元112。

接下來，藉由上述構造之數位相機100介紹根據本發明一實施範例之提高人臉辨識率的方法。

請參照「第2A圖」，其係為根據本發明一實施範例之提高人臉辨識率的方法之流程示意圖。

於此，數位相機100的儲存單元112包含至少一人臉資訊120，且各人臉資訊120包含至少一人臉特徵122。更詳細的說，儲存單元112內可包含一特徵資料庫，做為人臉辨識的依據。人臉資訊120係為儲存於儲存單元112的特徵資料庫中，而每一個人臉資訊120對應到一個標的人物。

每一個標的人物都可具有其不同的人臉特徵122。例如人臉特徵122可為一人臉輪廓、一人臉膚色或是一人臉五官位置，人臉特徵122亦可為眼睛形狀、鼻子形狀、雀斑有無或是虹膜顏色等五官的細部特徵，但本發明並不僅限於此。舉例來說，對應於人臉資訊120a的標的人物具有內容為「人臉輪廓：長橢圓型」以及「人臉膚色：褐色」的人臉特徵122，而對應於人臉資訊120b的標的人物則具有內容為「虹膜顏色：藍色」的人臉特徵122。如此一來，數位相機100的人臉辨識程序可透過比對影像中的人臉特徵122和特徵資料庫中的人臉特徵122，以辨別與影像中之標的人物相對應的人臉資訊120。

更佳的是，人臉資訊120中另可包括一標的物訊息(未繪示)，用以描述與對應之標的人物。標的物訊息可以是標的人物的名字、暱稱或是群組類別。舉例而言，標的物訊息的內容可以是「王小明」、「小明」、「同學」或是「部長」。其中標的物訊息可以是由使用者輸入，亦可以是由數位相機100依據人臉特徵122或拍照時間等資訊自動填入，例如「金髮」或是「20091010-1」。

於此實施例中，數位相機100對至少一個標的人物擷取第一人臉影像(步驟S30)。第一人臉影像係為具有人的臉部的影像，而標的人物即為臉部被拍第一人臉影像攝到的被攝人物。換言之，數位相機100透過鏡頭裝置102擷取前方具有標的人物的景象，以得到相應於標的人物的第一人臉影像。

擷取第一人臉影像之後，數位相機100對第一人臉影像執行人臉辨識程序，以透過人臉辨識程序判斷擷取之第一人臉影像是否對應於儲存單元112中的人臉資訊120之一(步驟S40)。依據儲存單元112內的特徵資料庫，數位相機100判斷於第一人臉影像中被擷取到的標的人物是否對應於特徵資料庫內的任何一個人臉資訊120。換言之，透過人臉辨識程序找出特徵資料庫內的屬於標的人物的人臉資訊120。

當第一人臉影像對應於人臉資訊120中之一時，對人臉資訊120執行一更新程序(步驟S50)。其中，當於特徵資料庫內找到屬於標的人物的人臉資訊120時，可對此人臉資訊120進行其中人臉特徵122的更新，以加入更多相應於標的人物的人臉特徵122。

再者，當第一人臉影像無對應於人臉資訊120之任一時，數位相機100可執行一新增程序(步驟S60)，如「第2B圖」所示。換言之，當特徵資料庫內不存在有屬於標的人物的人臉資訊120時，則可執行新增程序，以於特徵資料庫中建立屬於此標的人物的人臉資訊120。

請參照「第3圖」，步驟S40所使用之人臉辨識程序則可包括下列步驟。

首先，數位相機100於人臉辨識程序中依據第一人臉影像以及每一人臉資訊120計算一人臉相似度(步驟S42)。數位相機100係由第一人臉影像抽取出標的人物的臉部的特徵，再依據第一人臉影像的特徵與特徵資料庫中的每一個人臉資料120計算人臉相似度。更詳細的說，於人臉辨識程序中，數位相機100比對第一人臉影像的特徵以及人臉資料120內的人臉特徵122，並例如以比對得到的差異之倒數作為人臉相似度。此外，對於不同種類的人臉特徵122可給予不同的權重，並加權計算人臉相似度。例如頭髮顏色或是虹膜顏色容易用以辨識人臉是否相同，可給予較高的權重值。因此對應每一個人臉資料120，均可計算得到一個人臉相似度。

數位相機100於人臉辨識程序中接著將每一個人臉相似度與第一門檻值相比較(步驟S44)，以判斷是否有任一人臉相似度大於第一門檻值。舉例而言，由第一人臉影像抽出的特徵為「人臉輪廓：長橢圓型」以及「虹膜顏色：黑色」，且人臉資訊120a包括「人臉輪廓：長橢圓型」以及「人臉膚色：褐色」的人臉特徵122，而人臉資訊120b包括「虹膜顏色：藍色」的人臉特徵122。當計算得到對應於人臉資訊120a的人臉相似度高於第一門檻值，且對應於人臉資訊120b的人臉相似度低於第一門檻值時，數位相機100判斷擷取之第一人臉影像對應於人臉資訊120a。

於步驟S40確定第一人臉影像之標的人物係對應於人臉資訊120之一後，提高人臉辨識率的方法於步驟S50執行更新程序。而若於步驟S40確定第一人臉影像之標的人物並無對應於任一人臉資訊120，則於步驟S60執行新增程序，或是結束執行提高人臉辨識率的方法。

請參照「第4圖」，步驟S50所執行之更新程序可包括下述步驟。

數位相機100對標的人物擷取第一人臉影像之後，標的人物或數位相機100可能會移動。但是當標的人物還處於能被數位相機100擷取影像的範圍時，數位相機100可於更新程序中以一人臉追蹤手段對標的人物追蹤擷取至少一第二人臉影像(步驟S52)人臉追蹤手段可採用運動偵測(motion detection)及運動估計(motion estimation)等技術，以鎖定畫面範圍中標的人物的位置。數位相機100對標的人物擷取至少一個第二人臉影像，以得到與目標人物相關的更多資訊。

數位相機100並於更新程序中分析擷取得的第二人臉影像以得到至少一新人臉特徵(步驟S54)。新人臉特徵亦對應於特徵資料庫內對應標的人物之人臉資訊120。

於步驟S52擷取之第二人臉影像可與第一人臉影像具有不同的一拍攝參數，也就是說，擷取第一人臉影像與第二人臉影像時係使用不同的拍攝參數。其中參數係為一曝光值、一擷取焦距、一解析度、一擷取角度和一擷取距離中的至少一個。當在追蹤目標人物的任何期間，均可擷取第二人臉影像。因此數位相機100在擷取第二人臉影像時，可能使用與擷取第一人臉影像之不同的曝光值、擷取焦距、或是解析度。數位相機100亦可以不同的擷取角度對標的人物擷取第二人臉影像，而擷取到標的人物之不同角度的側臉。因此由第二人臉影像可以抽取出與特徵資料庫儲存之不同的新人臉特徵。

標的人物的人臉在不同表情、不同擷取角度或是不同的光照條件(例如晴天、夜晚或陰天)下具有很大的差異，但數位相機100於更新程序中可在上述各種情況下擷取之第二人臉影像，並分析第二人臉影像得到標的人物的各種新人臉特徵，以提高人臉辨識率。接著將分析第二人臉影像所得到的新人臉特徵儲存至儲存單元112以作為第一人臉影像所對應的人臉資訊120的人臉特徵122(步驟S56)，也就是將新人臉特徵新增進對應於標的人物的人臉資訊120。藉由收集標的人物的各種不同的人臉特徵122，可以得到更高的人臉辨識率。如此一來，除了對應之人臉資訊120原有的人臉特徵122之外，另可有新人臉特徵作為的人臉特徵122用以執行人臉辨識程序。

更佳的是，將新人臉特徵更新進人臉資訊120時，亦可同時紀錄第二人臉影像被擷取時的環境條件(例如曝光值或白平衡)。如此一來，需進行人臉辨識時，可根據當時的環境條件挑選合適的人臉特徵122來進行人臉辨識，可進一步地提高人臉辨識率。舉例來說，在夜晚執行人臉辨識程序時，適用的人臉特徵122係為由在夜晚或是曝光度較低的情況下所擷取之第二人臉影像所得到的人臉特徵122。

再者，可重複執行更新程序，以獲得更多的人臉特徵122。請參照「第5圖」，於更新程序中，在執行完步驟56之後，可繼續判斷有無追蹤到標的人物之影像(步驟S58)。當有追蹤到標的人物時，數位相機100會繼續擷取第二人臉影像(步驟S52)，並分析第二人臉影像(步驟S54)，以於對應之人臉資訊120中增加人臉特徵122(步驟S56)。

只要在數位相機100的人臉追蹤手段還有追蹤到標的人物的情況下，提高人臉辨識率的方法均可自動地追蹤標的人物、擷取第二人臉影像以及新增新人臉特徵進對應的人臉資訊120。也就是說，在使用者不知情的情況下，提高人臉辨識率的方法亦可隨時隨地且連續不斷地得到對應的人臉特徵122，並用以提高人臉辨識率。

此外，當確定第一人臉影像對應於人臉資訊120之一時，提高人臉辨識率的方法顯示第一人臉影像所對應的人臉資訊120中的標的物訊息。更詳細的說，上述步驟S30至步驟S56均可是在數位相機100仍處於S₀ 狀態時執行的，而標的物訊息可在S₀ 狀態被提供給使用者。

其中S₀ 係為數位相機100開機後所處於的預覽模式(Preview)。一般的兩段式快門的數位相機100在使用時可以分為S₀ 、S₁ 與S₂ 三種狀態(模式)。S₀ 為預覽模式，通常於數位相機100欲拍攝影像的構圖或是執行調整拍攝參數等功能。S₁ 係為快門鍵被半壓的狀態(Half Shutter)。進入此狀態中的數位相機100進行自動對焦(Auto-Focus，AF)，並隨時準備進入S₂ 狀態。S₂ 係為快門鍵被全壓的狀態(Full Shutter)。當使用者完全按下快門鍵，數位相機100會執行微調焦距等最後的準備工作，並正式的拍攝影像。

而數位相機100可將於步驟S40辨識出之標的人物的對應的標的物訊息顯示於顯示螢幕上，以供使用者參考或是確認人臉辨識的結果。且無論數位相機100是處於S₀ 、S₁ 或S₂ 的狀態，提高人臉辨識率的方法均能被執行。

請參照「第6圖」，新增程序可包括下列步驟。首先，依據第一人臉影像得到至少一新增人臉特徵(步驟S62)，並將依據第一人臉影像得到的新增人臉特徵儲存至儲存單元112作為一個新的人臉資訊120(步驟S64)。也就是說，於新增程序中，將分析第一人臉影像所得到的人臉特徵122作為一個新增人臉資訊新增進儲存單元112。即數位相機100於新增程序中，在特徵資料庫內為標的人物新增一筆人臉資訊120的資料。數位相機100可於新增前於顯示螢幕跳出確認視窗，以供使用者確認是否要新增這個標的人物的資料。若使用者確定要將這個標的人物作為新的人臉資訊120新增進特徵資料庫，亦可由使用者輸入新的人臉資訊120的標的物訊息。新的人臉資訊120的標的物訊息亦可是如上述由數位相機100依據新增人臉特徵或拍照時間等資訊自動填入，且自動填入的標的物訊息後續能讓使用者自行重新更改。

此外，新增程序不一定需在擷取第一人臉影像時被執行。若第一人臉影像有被儲存於儲存單元112，使用者可在後續觀看影像時才選擇是否要將標的人物新增進特徵資料庫。而若是第一人臉影像或是第二人臉影像中具有多個標的人物時，提高人臉辨識率的方法可個別對這些標的人物執行人臉辨識程序、更新程序以及新增程序，以提高這些標的人物之人臉辨識率。

綜上所述，根據本發明之提高人臉辨識率的方法的更新程序係可在使用者沒有察覺的情況下藉由人臉追蹤手段對標的人物自動擷取新的人臉特徵，再以得到的人臉特徵更新數位相機的儲存單元中對應的人臉資訊，以作為後續人臉辨識程序使用。由於提高人臉辨識率的方法可隨時隨地且連續不斷地得到標的人物於各種擷取環境之下的人臉特徵，因此能夠有效地提高標的人物之人臉辨識率。且擷取第二人臉影像並更新對應標的人物之人臉資訊的動作係可在使用者不知情的情況下執行。

雖然本發明以前述之較佳實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

100．．．數位相機

102．．．鏡頭裝置

106．．．感光元件

108．．．取樣電路(sample hold circuit)

112．．．儲存單元

114．．．驅動馬達

116．．．處理單元

120,120a,120b．．．人臉資訊

122．．．人臉特徵

第1圖係為根據本發明所適用之數位相機的架構示意圖；

第2A圖係為根據本發明一實施範例之提高人臉辨識率的方法之流程示意圖；

第2B圖係為根據本發明另一實施範例之提高人臉辨識率的

第2B圖係為根據本發明另一實施範例之提高人臉辨識率的方法之流程示意圖；

第3圖係為根據本發明一實施範例之人臉辨識程序之流程示意圖；

第4圖係為根據本發明一實施範例之更新程序之流程示意圖；

第5圖係為根據本發明另一實施範例之更新程序之流程示意圖；以及

第6圖係為根據本發明一實施範例之新增程序之流程示意圖。

Claims (8)

1. 一種提高人臉辨識率的方法，適用於一數位相機，其中該數位相機具有一儲存單元，該儲存單元儲存有至少一人臉資訊，且該人臉資訊包含至少一人臉特徵，該提高人臉辨識率的方法包括：對一標的人物擷取一第一人臉影像；對該第一人臉影像執行一人臉辨識程序，以透過該人臉辨識程序判斷擷取之該第一人臉影像是否對應於該儲存單元中的該人臉資訊中之一；以及當該第一人臉影像對應於該人臉資訊中之一時，對該人臉資訊執行一更新程序，以依據該標的人物增加儲存於該儲存單元中對應之該人臉資訊中的該人臉特徵，其中該更新程序包括：以一人臉追蹤手段對該標的人物追蹤擷取至少一第二人臉影像；分析該第二人臉影像以獲得至少一新人臉特徵，其中該新人臉特徵於執行該更新程序之前並不存在於該儲存單元中的對應該標的人物的該人臉資訊中；以及將該新人臉特徵儲存至該儲存單元以作為該第一人臉影像所對應的該人臉資訊的該些人臉特徵。
2. 如申請專利範圍第1項所述之提高人臉辨識率的方法，更包括： 當該第一人臉影像對應於該人臉資訊之一時，由該儲存單元中擷取於對應之該人臉資訊中的一標的物訊息，並對應該標的人物的影像顯示該標的物訊息。
3. 如申請專利範圍第1項所述之提高人臉辨識率的方法，其中該人臉辨識程序係包括：依據該第一人臉影像以及每一該人臉資訊計算一人臉相似度；以及判斷是否有任一該人臉相似度大於一第一門檻值相。
4. 如申請專利範圍第1項所述之提高人臉辨識率的方法，更包括：當該第一人臉影像無對應於該人臉資訊中之一時，執行一新增程序，該新增程序包括：依據該第一人臉影像得到至少一個新增人臉特徵；以及將該新增人臉特徵儲存至該儲存單元以作為一個新的該人臉資訊。
5. 如申請專利範圍第1項所述之提高人臉辨識率的方法，更包括：重複執行該更新程序。
6. 如申請專利範圍第1項所述之提高人臉辨識率的方法，其中擷取該第一人臉影像與該第二人臉影像係使用不同的一拍攝參數。
7. 如申請專利範圍第6項所述之提高人臉辨識率的方法，其中該 拍攝參數係為一曝光值、一擷取焦距、一解析度、一擷取角度和一擷取距離中至少一個。
8. 如申請專利範圍第1項所述之提高人臉辨識率的方法，其中該人臉特徵係為一人臉輪廓、一人臉膚色或一人臉五官位置。