TWI459312B

TWI459312B - 人臉追蹤之方法

Info

Publication number: TWI459312B
Application number: TW101143902A
Authority: TW
Inventors: Ying Jieh Huang; Xu-Hua Liu; Qian-Wen Jia
Original assignee: Primax Electronics Ltd
Priority date: 2012-09-24
Filing date: 2012-11-23
Publication date: 2014-11-01
Also published as: TW201413601A; CN103679125A; CN103679125B; US9171197B2; US20140086450A1

Description

人臉追蹤之方法

本發明係關於一種人臉追蹤之方法，尤其係一種追蹤同一區域之複數人臉之方法。

電視廣告或者電視劇的播放效果如何，可以透過收視率來統計，但對於日益廣泛使用的各種數位看板，其廣告播放的效果並沒有統一高效的系統進行統計。但如何根據觀眾的回饋來選擇不同的廣告播放以及評估觀眾對廣告的關注程度，對廣告商而言是非常重要的。因此，許多人開始開發與數位看板前人數計算相關的技術，以下將說明目前已知的人數計算方法。

請參照至圖1，圖1係顯示習知之計算與追蹤人次之方法之流程圖。首先進行步驟110，提供一資料庫，其中該資料庫記錄至少一筆人物資訊，且每筆人物資訊分別為不同之已追蹤人物的追蹤當時位置、外表特徵，以及停留時間。

接著如步驟120所示，取得在一輸入影像中表示待測人物的人物區域。其中，在取得輸入影像之後，可利用任何計算機視覺相關技術(例如OpenCV開放源碼函數庫)來搜尋輸入影像是否具有矩形框所組成的特徵(例如Haar-like特徵)，並利用適當的分類演算法(例如AdaBoost演算法)來偵測所有可能是人物所在之處的人物候選區域，接著刪除不適當的人物候選區域，而後取得各人物候選區域的顏色，並判斷上述顏色是否為膚色以進一步從中篩選出人物區域。

接下來如步驟130所示，擷取人物區域的目前位置與目前外表特徵。

接著在步驟140中，將人物區域所對應的待測人物的目前位置及目前外表特徵與資料庫中的每筆人物資訊進行比對，並以比對產生的相似度判斷待測人物是否為任何已追蹤人物。

以下將說明根據相似度來判斷待測人物是否為任何已追蹤人物的詳細步驟。

首先，取得資料庫中的一筆人物資訊。接著計算所取得之人物資訊與待測人物的目前外表特徵的臉部紋理相似度以及身體紋理相似度。

除此之外，還必須計算所取得之人物資訊相較於待測人物的目前位置的位移量。

最後，利用臉部紋理相似度、身體紋理相似度以及位移量來計算所取得之人物資訊與待測人物的相似度。

重複自資料庫中取得一筆人物資訊並進行上述步驟，便可計算每筆人物資訊分別與待測人物之間的複數相似度。

若複數相似度中之最高相似度之數值大於第一預設值，則判定待測人物相符於具有最高相似度的已追蹤人物。

此時如步驟150所示，依照待測人物的目前位置與目前外表特徵更新資料庫中相符之已追蹤人物的人物資訊。

接著回到步驟140，若所計算出的每個相似度均小於第二預設值，則判定待測人物與所有的已追蹤人物均不相符。

此時如步驟160所示，在資料庫新增一筆對應待測人物的人物資訊，以將待測人物記錄為新的已追蹤人物。

在新增人物資訊時若資料庫的容量已到達臨界容量，則先取得資料庫中每筆人物資訊最後一次的更新時間，接著將最久未被更新的人物資訊刪除。

最後將執行步驟170，依據資料庫中各已追蹤人物的停留時間計算人次。

綜合以上所述可知，習知之計算與追蹤人次之方法係於每一輸入影像中檢測表示待測人物的人物區域，再一一比對每一待測人物與資料庫中的任何已追蹤人物是否為同一人，以達成計算與追蹤人次的目的。

習知之方法將耗費龐大的時間於每一輸入影像的人臉檢測作業，當資料庫人數增多時，取得每一輸入影像之待測人物後，再一一將待測人物與資料庫中所有已追蹤人物進行比對，又將提升整體的處理時間，使得習知之方法所需作業時間過長，且需要較好的設備以完成如此冗長而龐大的計算過程，並不符合多數人的需求。

再者，習知之方法於資料庫容量到達臨界容量時，會將最久未被更新的人物資訊刪除，如此將使得作業結束後有部分人物資訊丟失，因此最終結果並不準確，若欲解決此問題只能分次處理資料，以避免人物資訊過多而丟失，如此亦將造成處理時間的延長並提高作業的複雜度。

因此需要一種改良的計算與追蹤人次之方法以克服習知的計算與追蹤人次之方法問題。

本發明之目的在於提供一種運算快速之人臉追蹤方法。

本發明之目的在於提供一種人臉追蹤之方法，用以檢測並追蹤一時間區間內出現於同一區域之複數人臉，該方法包括：一影像取得步驟，包括：連續以同一視角拍攝同一區域以取得複數影像；一第一人臉檢測步驟，包括：自該複數影像提取一當前影像；檢測整幅該當前影像是否具有人臉影像；以及於偵測到該當前影像中包含一第一人臉之影像時，將對應於該第一人臉之一第一人物資訊存入一資料庫；以及一第一人臉追蹤步驟，用以尋找該第一人臉是否存在於該當前影像之一下一影像中，包括：於該當前影像中，以包含該第一人臉之一第一人臉框為中心設置複數第一追蹤框；提取該下一影像；分別計算該下一影像中對應該複數第一追蹤框之處所包含之影像與該第一人臉框內之影像之複數相似度；以及於該下一影像中，對與該第一人臉框之影像具有最高相似度之該第一追蹤框內的影像進行人臉檢測，並於該具有最高相似度之該第一追蹤框內包含一人臉影像時判斷該人臉影像為該第一人臉影像並以對應於該具有最高相似度之該第一追蹤框之資訊更新該第一人物資訊，而於該具有最高相似度之該第一追蹤框內未包含該人臉影像時，判斷該第一人臉不存在於該下一影像中並更新該第一人物資訊。

於一較佳實施例中，其中該第一人物資訊包括該第一人臉於每一影像之一位置、該第一人臉於每一影像之一追蹤狀態、該第一人臉之一存在幀數、該第一人臉之一臉部紋理特徵以及該第一人臉之臉部下方之一顏色特徵，其中該追蹤狀態包括一持續追蹤狀態、一丟失狀態以及一停止追蹤狀態，當該第一人臉之影像存在於一影像中時，該第一人臉之該追蹤狀態為該持續追蹤狀態，當該第一人臉之影像不存在於該影像中時，該第一人臉之該追蹤狀態為該丟失狀態，而當該第一人臉之影像不存在於連續之複數影像中時，該第一人臉之該追蹤狀態則為該停止追蹤狀態。

於一較佳實施例中，其中，於該第一人臉追蹤步驟後更包括一第二人臉追蹤步驟，用以尋找該第一人臉是否存在於該下一影像之一後續影像中，其中，於具有最高相似度之該第一追蹤框具有人臉影像時，該第二人臉追蹤步驟包括：於該下一影像中分別以每一該第一追蹤框為中心設置複數第二追蹤框，其中以每一該第一追蹤框為中心設置之該第二追蹤框之數目係依據每一該第一追蹤框之影像與該第一人臉影像之該相似度而定；提取該下一影像之一後續影像；分別計算該後續影像中對應該複數第二追蹤框之處所包含之影像與該下一影像中該具有最高相似度之該第一追蹤框內之影像之複數相似度；以及於該後續影像中，對與具有最高相似度之該第一追蹤框之相似度最高之一第二追蹤框內的影像進行人臉檢測，並於該具有最高相似度之該第二追蹤框內包含一人臉影像時，判斷該人臉影像為該第一人臉之影像並以對應於該具有最高相似度之該第二追蹤框之資訊更新該第一人物資訊，而於該具有最高相似度之該第二追蹤框內未包含該人臉影像時，判斷該第一人臉不存在於該後續影像中並更新該第一人物資訊。

於一較佳實施例中，其中，於該第二人臉追蹤步驟之後更包括一第二人臉檢測步驟，用以對該後續影像之全幅影像進行人臉檢測，以檢驗該後續影像是否具有另一人臉影像。

於一較佳實施例中，其中，於該第二人臉檢測步驟於該後續影像中檢測到一第二人臉且該具有最高相似度之該第二追蹤框具該人臉影像時，進行一比對步驟以檢驗該第二人臉與該第一人臉是否為同一人，該比對步驟包括：比較包含該第二人臉之一第二人臉框之位置與該具最大相似度之該第二追蹤框之位置；於該第二人臉框之位置與該具最大相似度之該第二追蹤框之位置高比例重疊時，判斷該第二人臉與該第一人臉為同一人並以對應於該第二人臉之一第二人物資訊更新該第一人物資訊，而於該第二人臉框之位置與該第二追蹤框之位置未高比例重疊時，比對該第二人臉與該第一人臉之臉部紋理相似度以及該第二人臉與該第一人臉之臉部下方之顏色相似度；以及於該第二人臉與該第一人臉之臉部紋理以及臉部下方之顏色相似度未超過一第一閥值時，判斷第二人臉與第一人臉不是同一人並將對應於該第二人臉之該第二人物資訊存入該資料庫，而於該相似度超過該第一閥值時，判斷該第二人臉與該第一人臉為同一人並以該第二人物資訊更新該第一人物資訊。

於一較佳實施例中，其中該第二人物資訊包括該第二人臉於每一影像之一位置、該第二人臉於每一影像之一追蹤狀態、該第二人臉之一存在幀數、該第二人臉之一臉部紋理特徵以及該第二人臉之臉部下方之一顏色特徵，其中該追蹤狀態包括一持續追蹤狀態、一丟失狀態以及一停止追蹤狀態，當該第二人臉之影像存在於一影像中時，該第二人臉之該追蹤狀態為該持續追蹤狀態，當該第二人臉之影像不存在於該影像中時，該第二人臉之該追蹤狀態為該丟失狀態，而當該第二人臉之影像不存在於連續之複數影像中時，該第二人臉之該追蹤狀態則為該停止追蹤狀態。

於一較佳實施例中，其中，於該第二人臉檢測步驟於該後續影像中檢測到一第二人臉且該具有最高相似度之該第二追蹤框不具一人臉影像時，進行一比對步驟，以檢驗該第二人臉與該第一人臉是否為同一人，該比對步驟包括：比對該第二人臉與該第一人臉之臉部紋理相似度以及該第二人臉與該第一人臉之臉部下方之顏色相似度；以及於該第二人臉與該第一人臉之臉部紋理與臉部下方之顏色相似度未超過一第一閥值時，判斷該第二人臉與該第一人臉不是同一人並將對應於該第二人臉之一第二人物資訊存入該資料庫，而於相似度超過該第一閥值時，判斷該第二人臉與該第一人臉為同一人並以該第二人物資訊更新該第一人物資訊。

於一較佳實施例中，其中，於該第一人臉追蹤步驟後更包括一第二人臉追蹤步驟，用以尋找該第一人臉是否存在於該下一影像之一後續影像中，其中，於具有最高相似度之該第一追蹤框不具有人臉影像時，該第二人臉追蹤步驟包括：提取該後續影像，對該後續影像中以對應該當前影像之該第一人臉框之處為中心之局部區域內之一第二追蹤框內的影像進行人臉檢測；於該第二追蹤框內不具有人臉影像時，判斷該第一人臉不存在於該後續影像中並檢驗該第一人臉處於該丟失狀態之幀數是否超過一第二閥值，若該第一人臉處於該丟失狀態之幀數超過該第二閥值則不再於該後續影像之後續影像中尋找該第一人臉；於該第二追蹤框偵測內具有一人臉影像時，比較該第一人臉與該第二追蹤框所包含之該人臉影像之臉部紋理相似度；於該第一人臉與該第二追蹤框所包含之該人臉影像之臉部紋理相似度大於一第三閥值時，判斷該人臉影像與該第一人臉為同一人並以對應於該第二追蹤框內之資訊更新該第一人物資訊；於該臉部紋理相似度小於該第三閥值時，判斷該第一人臉不存在於該後續影像中並檢驗該第一人臉處於該丟失狀態之幀數是否超過該第二閥值，並於該第一人臉處於該丟失狀態之幀數超過該第二閥值時不再於該後續影像之後續影像中尋找該第一人臉；以及於該臉部紋理相似度小於該第三閥值時，判斷該第二追蹤框所包含之該人臉影像為不同於該第一人臉之一第三人臉之影像並將該第三人臉之一第三人物資訊存入該資料庫。

於一較佳實施例中，其中該第三人物資訊包括該第三人臉於每一影像之一位置、該第三人臉於每一影像之一追蹤狀態、該第三人臉之一存在幀數、該第三人臉之一臉部紋理特徵以及該第三人臉之臉部下方之一顏色特徵，其中該追蹤狀態包括一持續追蹤狀態、一丟失狀態以及一停止追蹤狀態，當該第三人臉之影像存在於一影像中時，該第三人臉之該追蹤狀態為該持續追蹤狀態，當該第三人臉之影像不存在於該影像中時，該第三人臉之該追蹤狀態為該丟失狀態，而當該第三人臉之影像不存在於連續之複數影像中時，該第三人臉之該追蹤狀態則為該停止追蹤狀態。

於一較佳實施例中，其中，於該第二人臉追蹤步驟後更包括一第二人臉檢測步驟，用以對該後續影像之全幅影像進行人臉檢測，以檢驗該後續影像是否具有另一人臉影像。

於一較佳實施例中，其中，於該第二人臉檢測步驟於該後續影像中檢測到一第二人臉，且該第二追蹤框所包含之該人臉影像與該第一人臉為同一人時，進行一比對步驟，以檢驗該第二人臉與該第一人臉是否為同一人，該比對步驟包括：比較包含該第二人臉影像之一第二人臉框與該第二追蹤框之位置；若高比例重疊，則判斷該第二人臉與該第一人臉為同一人並以對應於該第二人臉之一第二人物資訊更新該第一人物資訊，若未高比例重疊，則比較該第二人臉與該第二追蹤框所包含之該人臉影像之臉部紋理相似度以及該第二人臉與該第二追蹤框所包含之該人臉影像之臉部下方之顏色相似度；以及於該第二人臉與該第二追蹤框所包含之該人臉影像之臉部紋理以及臉部下方之顏色相似度未超過一第一閥值時，判斷該第二人臉與該第一人臉不是同一人並將對應於該第二人臉之該第二人物資訊存入該資料庫，而於該相似度超過該第一閥值時，判斷該第二人臉與該第一人臉為同一人並以該第二人物資訊更新該第一人物資訊。

於一較佳實施例中，其中該第二人物資訊包括該第二人臉於每一影像之一位置、該第二人臉於每一影像之一追蹤狀態、該第二人臉之一存在幀數、該第二人臉之臉部紋理特徵以及該第二人臉之臉部下方之一顏色特徵，其中該追蹤狀態包括一持續追蹤狀態、一丟失狀態以及一停止追蹤狀態，當該第二人臉之影像存在於一影像中時，該第二人臉之該追蹤狀態為該持續追蹤狀態，當該第二人臉之影像不存在於該影像中時，該第二人臉之該追蹤狀態為該丟失狀態，而當該第二人臉之影像不存在於連續之複數影像中時，該第二人臉之該追蹤狀態則為該停止追蹤狀態。

於一較佳實施例中，其中，於該第二人臉檢測步驟於該後續影像中檢測到一第二人臉，且該第二追蹤框所包含之該人臉影像為該第三人臉之影像時，進行一比對步驟，以檢驗該第二人臉與該第三人臉或該第一人臉是否為同一人，該比對步驟包括：比較包含該第二人臉影像之一第二人臉框與該第二追蹤框之位置；若高比例重疊，則判斷該第二人臉與該第三人臉為同一人，並以對應於該第二人臉之一第二人物資訊更新該第三人物資訊，若未高比例重疊，則分別比較該第二人臉與該第三人臉以及該第一人臉之臉部紋理相似度，並分別比較該第二人臉與該第三人臉以及該第一人臉之臉部下方之顏色相似度；以及於該第二人臉與該第三人臉或該第一人臉之臉部紋理以及臉部下方之顏色相似度皆未超過一第一閥值時，判斷該第二人臉與該第一人臉以及該第三人臉皆不是同一人，並將對應於該第二人臉之該第二人物資訊存入該資料庫，而於該第二人臉與該第三人臉或該第一人臉之臉部紋理以及臉部下方之顏色相似度超過該第一閥值時，判斷該第二人臉與該第一人臉或該第三人臉為同一人，並以該第二人物資訊更新該第一人物資訊或該第三人物資訊。

於一較佳實施例中，其中，於該第二人臉檢測步驟於該後續影像中檢測到一第二人臉，且該第二追蹤框內不具有人臉影像時，進行一比對步驟，以檢驗該第二人臉與該第一人臉是否為同一人，該比對步驟包括：比對該第二人臉與該第一人臉之臉部紋理相似度，並比對該第二人臉與該第一人臉之臉部下方之顏色相似度；以及於該第二人臉與該第一人臉之臉部紋理以及臉部下方之顏色相似度未超過一第一閥值時，判斷該第二人臉與該第一人臉並非同一人並將對應於該第二人臉之一第二人物資訊存入該資料庫，而於該相似度超過該第一閥值時，判斷該第二人臉與該第一人臉為同一人並以該第二人物資訊更新該第一人物資訊。

於一較佳實施例中，更包括一人臉驗證步驟，包括：於滿足一第一條件時，移動該資料庫之所有人物資訊至一臨時儲存區域；於滿足一第二條件時，移動該臨時儲存區域之一人物資訊至一合併結果儲存區域；比對該臨時儲存區域之另一人物資訊與該人物資訊之相似度，於該相似度大於一第四閥值時，將該另一人物資訊併入該人物資訊，而於該相似度小於該第四閥值時，將該另一人物資訊加入該合併結果儲存區域；以及重複自該臨時儲存區域中取得任一人物資訊並與該合併結果儲存區域之所有人物資訊進行比對至該臨時儲存區域之所有人物資訊被併入或加入該合併結果儲存區域為止。

於一較佳實施例中，其中該第一條件係該資料庫之所有人物資訊之數量到達一第五閥值。

於一較佳實施例中，其中該第一條件係已完成複數人臉之檢測並追蹤且該資料庫之人物資訊之數量不為0。

於一較佳實施例中，其中該第二條件係該臨時儲存區域之所有人物資訊之數量到達一第五閥值。

於一較佳實施例中，其中該第二條件係已完成複數人臉之檢測並追蹤，且該資料庫之所有人物資訊皆已被移入該臨時儲存區域。

依據本發明之具體實施例提供一種人臉追蹤之方法，請參照至圖2，圖2係顯示本發明一較佳實施例之人臉追蹤之方法之流程圖。

本發明之人臉追蹤之方法包括以下步驟：步驟S1：影像取得步驟；步驟S2：第一人臉檢測步驟；步驟S3：第一人臉追蹤步驟；步驟S4：第二人臉追蹤步驟；以及步驟S5：第二人臉檢測步驟。

需要強調的是，倘若可與本發明所達到之效果為實質上相同的，這些程序的步驟並不一定嚴格依循所示之步驟，也不需要是連續的，亦可以有其他的步驟***其中。

以下詳細說明每一步驟的操作方法。

請一併參照圖3。圖3係顯示本發明一較佳實施例之人臉追蹤方法之影像擷取裝置1與電子看板2之示意圖。

首先，於影像取得步驟S1中，藉由一影像擷取裝置1，例如攝影機，連續以同一視角拍攝同一區域以取得複數影像。

於一實際應用之實施例中，可將影像擷取裝置1設置於一電子看板2上，以同一視角取得一時間區間內之連續複數影像。

取得複數影像後，我們將檢測並追蹤該時間區間內出現於電子看板2前方之所有人臉。

首先說明步驟S2，請同時參照圖2、圖4以及圖5，圖4係顯示本發明一較佳實施例之第一人臉檢測步驟S2之流程圖，圖5係顯示本發明一較佳實施例之第一人臉檢測步驟S2於當前影像P1檢測到複數人臉影像之示意圖。

如圖4中步驟S21所示，首先自複數影像中提取當前影像P1，當前影像P1可以是複數影像中的第一張影像，而後執行步驟S22，對整幅當前影像P1進行人臉檢測。

於本較佳實施例中可利用任何演算法，利如Adaboost演算法檢測整幅當前影像P1，以得到若干個可能的人臉候選區域，而後刪除或合併相鄰的人臉候選區域，最後剩下的人臉候選區域即為具有人臉影像的區域。

而後執行步驟S23，若判斷於當前影像P1中沒有檢測到人臉影像，則執行步驟S24，提取當前影像P1之下一影像P2，並重複步驟S22。

請注意，圖5所示之當前影像P1僅為例示說明之用，並非用以限制本發明之當前影像P1中之人臉數目以及人物狀態。

如圖5所示，於本較佳實施例中，當前影像P1中包含第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7之影像。

而後執行步驟S25，將對應於第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7之人物資訊存入資料庫中。

人物資訊包括，但不限於，每一人臉於每一影像之位置、每一人臉於每一影像之追蹤狀態、每一人臉之存在幀數、每一人臉之臉部紋理特徵以及每一人臉之臉部下方之顏色特徵。

需要補充說明的是，追蹤狀態包括持續追蹤狀態、丟失狀態以及停止追蹤狀態。當一人臉之影像存在於一影像中時，該人臉的追蹤狀態為持續追蹤狀態，當一人臉之影像不存在於一影像中時，該人臉的追蹤狀態為丟失狀態，而當一人臉之影像不存在於連續之複數影像中時(即連續複數影像中未檢測到該人臉之影像)，該人臉的追蹤狀態則為停止追蹤狀態。

而第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7存在於當前影像P1中，因此第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7於當前影像P1之追蹤狀態為持續追蹤狀態，第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7於當前影像P1之位置則為第一人臉框31、第二人臉框41、第三人臉框51、第四人臉框61以及第五人臉框71的位置。

接著說明步驟S3，請同時參照圖6至圖8，圖6係顯示本發明一較佳實施例之第一人臉追蹤步驟S3之流程圖，圖7係顯示本發明一較佳實施例之當前影像中之複數第一追蹤框32a至32e之示意圖，圖8A係顯示本發明一較佳實施例之下一影像P2之示意圖，圖8B係顯示本發明一較佳實施例之下一影像P2中之複數第一追蹤框32a至32e之示意圖。

於步驟S3中，我們將尋找第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7是否存在於當前影像P1之下一影像P2中。

首先執行步驟S31，於當前影像P1分別以第一人臉框31、第二人臉框41、第三人臉框51、第四人臉框61以及第五人臉框71為中心設置複數第一追蹤框32a、32b、32c、32d以及32e，如圖7所示。

複數第一追蹤框32a、32b、32c、32d以及32e的位置可依據，例如，高斯分布配置，也可平均分布於整幅當前影像P1，亦可隨機分布。

須注意的是，圖7中複數第一追蹤框32a、32b、32c、32d以及32e之位置僅為例示說明之用，並非用以限制本發明之第一追蹤框32a、32b、32c、32d以及32e之排列情形。

而後進行步驟S32，提取下一影像P2，接著執行步驟S33確認是否取得下一影像P2，若未於步驟S32找到下一影像P2，則執行步驟S34，終止所有流程。

於本較佳實施例中，以取得如圖8A所示之下一影像P2的情形進行說明。

請注意，圖8A所示之下一影像P2僅為例示說明之用，並非用以限制本發明之下一影像P2中之人臉數目以及人物狀態。

如圖8B所示，取得下一影像P2後，將進行步驟S35，分別計算下一影像P2中對應複數第一追蹤框32a之處所包含之影像與第一人臉框31內之影像之複數相似度、下一影像P2中對應複數第一追蹤框32b之處所包含之影像與第二人臉框41內之影像之複數相似度、下一影像P2中對應複數第一追蹤框32c之處所包含之影像與第三人臉框51內之影像之複數相似度、下一影像P2中對應複數第一追蹤框32d之處所包含之影像與第四人臉框61內之影像之複數相似度，以及下一影像P2中對應複數第一追蹤框32e之處所包含之影像與第五人臉框71內之影像之複數相似度。

於本較佳實施例中，係分別計算下一影像P2中對應複數第一追蹤框32a、32b、32c、32d以及32e之處(如圖8B所示)所包含之影像與第一人臉框31、第二人臉框41、第三人臉框51、第四人臉框61以及第五人臉框71內(如圖5所示)之影像之紋理特徵以及下方之顏色特徵之相似度。

於本例中，第一追蹤框32aa、32ba、32ca、32da以及32ea(如圖8B所示)分別與第一人臉框31、第二人臉框41、第三人臉框51、第四人臉框61以及第五人臉框71具有最高相似度，表示第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7於下一影像P2中之可能出現位置分別為第一追蹤框32aa、32ba、32ca、32da以及32ea之位置。

接下來執行步驟S36，於下一影像P2中對具有最高相似度之第一追蹤框32aa、32ba、32ca、32da以及32ea內的影像進行人臉檢測。於本較佳實施例中可利用任何演算法，利如Adaboost演算法，檢測具有最高相似度之第一追蹤框32aa、32ba、32ca、32da以及32ea內是否具有人臉影像。

接著執行步驟S37，檢驗具有最高相似度之第一追蹤框32aa、32ba、32ca、32da以及32ea內是否包含人臉影像。

如圖8B所示，具有最高相似度之第一追蹤框32aa以及第一追蹤框32ba內具有人臉影像，因此判斷具有最高相似度之第一追蹤框32aa內之人臉影像為第一人臉3之影像，具有最高相似度之第一追蹤框32ba內之人臉影像為第二人臉4之影像，並進行步驟S38，維持第一人臉3以及第二人臉4之追蹤狀態為持續追蹤狀態並更新資料庫中第一人臉3以及第二人臉4之人物資訊。

於步驟S38中，將以第一追蹤框32aa之位置、第一追蹤框32aa內所包含之人臉影像之臉部紋理特徵以及第一追蹤框32aa內所包含之人臉影像之臉部下方之顏色特徵更新資料庫中第一人臉3之人物資訊。

並以第一追蹤框32ba之位置、第一追蹤框32ba內所包含之人臉影像之臉部紋理特徵以及第一追蹤框32ba內所包含之人臉影像之臉部下方之顏色特徵更新資料庫中第二人臉4之人物資訊。

如圖8B所示，具有最高相似度之第一追蹤框32ca、32da以及32ea內未包含人臉影像，表示第三人臉5、第四人臉6以及第五人臉7可能因為改變姿勢或者被遮擋等原因而暫時未出現於影像中，故進行步驟S39，將第三人臉5、第四人臉6以及第五人臉7之追蹤狀態自持續追蹤狀態更改為丟失狀態，並更新資料庫中第三人臉5、第四人臉6以及第五人臉7之人物資訊。

接下來說明步驟S4，請同時參照圖9A至圖12，圖9A以及圖9B係顯示本發明一較佳實施例之第二人臉追蹤步驟S4之流程圖。圖10係顯示本發明一較佳實施例之分佈於下一影像P2中之複數第二追蹤框33a與33b之示意圖。圖11係顯示本發明一較佳實施例之後續影像P3之示意圖，圖12係顯示本發明一較佳實施例之分佈於後續影像P3中之複數第二追蹤框33a至33e之示意圖。

於步驟S4中，我們將繼續尋找第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7是否存在於下一影像P2之後續影像P3中。

首先執行步驟S40，依據具有最高相似度之第一追蹤框32aa、32ba、 32ca、32da以及32ea內是否具有人臉影像決定後續步驟，亦即依據第一人臉3、第二人臉4、第三人臉5、第四人臉6以及第五人臉7之追蹤狀態為持續追蹤狀態或者丟失狀態決定後續步驟。

於本較佳實施例中，第一人臉3與第二人臉4之追蹤狀態為持續追蹤狀態，即具有最高相似度之第一追蹤框32aa與32ba內具有人臉影像，於是執行步驟S41，於下一影像P2中分別以複數第一追蹤框32a與32b為中心設置複數第二追蹤框33a與33b，如圖10所示。

以每一第一追蹤框32a為中心設置之第二追蹤框33a之數目依據每一第一追蹤框32a之權重值而定，而權重值依據每一第一追蹤框32a內之影像與第一人臉框31(如圖5所示)內之影像之相似度而定。

亦即，與第一人臉框31(如圖5所示)內之影像相似度越高的第一追蹤框32a，以其為中心設置的第二追蹤框33a的數目越多。與第一人臉框31(如圖5所示)內之影像相似度越低的第一追蹤框32a，以其為中心設置的第二追蹤框33a數目則越少。

於本較佳實施例中，由於第一追蹤框32aa內之影像與第一人臉框31(如圖5所示)內之影像相似度最高，因此，以第一追蹤框32aa為中心設置的第二追蹤框33a的數目將比其它第一追蹤框32a多。

相同的，以每一第一追蹤框32b為中心設置之第二追蹤框33b之數目依據每一第一追蹤框32b之權重值而定，於本例中，以第一追蹤框32ba為中心設置的第二追蹤框33b的數目將比其它第一追蹤框32b多。

須注意的是，圖10中複數第二追蹤框33a與33b之位置僅為例示說明之用，並非用以限制本發明之第二追蹤框33a與33b之排列情形。

而後進行步驟S42，提取下一影像P2之後續影像P3，並執行步驟S43，依據是否找到後續影像P3決定後續步驟，如果未找到後續影像P3，則執行步驟S44，終止所有流程。

找到後續影像P3後，將同步進行步驟S45與步驟S441。

於本較佳實施例中，以取得如圖11所示之後續影像P3的情形進行說明。

請注意，圖11所示之後續影像P3僅為例示說明之用，並非用以限制本發明之下一影像P3中之人臉數目以及人物狀態。

首先說明步驟45，分別計算後續影像P3中對應複數第二追蹤框33a之處(如圖12所示)所包含之影像與下一影像P2中具有最高相似度之第一追蹤框32aa(如圖8B所示)之影像之複數相似度。

並計算後續影像P3中對應複數第二追蹤框33b之處(如圖12所示)所包含之影像與下一影像P2中具有最高相似度之第一追蹤框32ba(如圖8B所示)之影像之複數相似度，以尋找第一人臉3與第二人臉4。

於本較佳實施例中，係分別計算後續影像P3中對應複數第二追蹤框33a之處所包含之影像與下一影像P2中具有最高相似度之第一追蹤框32aa之影像之紋理特徵以及下方之顏色特徵之相似度。

同樣的，於本較佳實施例中還分別計算後續影像P3中對應複數第二追蹤框33b之處所包含之影像與下一影像P2中具有最高相似度之第一追蹤框32ba之影像。

而後依據複數相似度重新分配每一第二追蹤框33a與33b的權重值，亦即，與第一追蹤框32aa與32ba(如圖8B所示)具有最高相似度之第二追蹤框33aa與33ba(如圖12所示)，將具有最大權重值。

而具有最大權重值，亦即具有最高相似度之第二追蹤框33aa(如圖12所示)之位置，即為第一人臉3於後續影像P3之可能出現位置，具有最高相似度之第二追蹤框33ba(如圖12所示)之位置，則為第二人臉4於後續影像P3之可能出現位置。

而後執行步驟S46，於後續影像P3中，對具有最高相似度之第二追蹤框33aa與33ba(如圖11所示)內的影像進行人臉檢測，於本較佳實施例中可利用任何演算法，利如Adaboost演算法，檢測具有最高相似度之第二追蹤框33aa與33ba內是否具有人臉影像。

接下來進行步驟S47，檢驗於步驟S46中是否找到人臉影像，如圖12所示，後續影像P3中具有最高相似度之第二追蹤框33aa內包含人臉影像，因此判斷具有最高相似度之第二追蹤框33aa內之人臉影像為第一人臉3之影像，亦即成功於後續影像P3中尋找到第一人臉3，於是執行步驟S48，維持第一人臉3之追蹤狀態為持續追蹤狀態並更新第一人臉3之人物資訊。

於步驟S48中將以具有最高相似度之第二追蹤框33aa之位置、具有最高相似度之第二追蹤框33aa所包含之人臉影像之臉部紋理特徵以及具有最高相似度之第二追蹤框33aa所包含之人臉影像之臉部下方之顏色特徵更新資料庫中第一人臉3之人物資訊。

而後續影像P3中具有最高相似度之第二追蹤框33ba內未包含人臉影像，表示未於後續影像P3中尋找到第二人臉4。

因此進行步驟S49，將第二人臉4之追蹤狀態自持續追蹤狀態更改為丟失狀態後更新第二人臉4之人物資訊。

此時第二人臉4可能因為改變姿勢或者被遮擋等原因而暫時未出現於影像中，故仍需於後續影像中繼續尋找第二人臉4。

需要補充說明的是，若某些追蹤框之權重值太低，則於該些追蹤框處找到第一人臉3或第二人臉4之影像之機率極低，故可將其刪除不再使用。

接下來說明步驟S441。由於第一人臉追蹤步驟S3時未於下一影像P2中找到第三人臉5、第四人臉6以及第五人臉7，因此無法利用下一影像P2之複數第一追蹤框32c、32d以及32e之權重值繼續於後續影像P3中尋找第三人臉5、第四人臉6以及第五人臉7。

故執行步驟S441，於後續影像P3中對應第三人臉5、第四人臉6以及第五人臉7上一次出現的位置，進行人臉檢測。

於本較佳實施例中，第三人臉5、第四人臉6以及第五人臉7上一次出現的位置為當前影像P1中第三人臉框51、第四人臉框61以及第五人臉框71之處(如圖5所示)，因此步驟S441將對後續影像P3中以對應第三人臉框51之處為中心之局部區域內的影像(局部區域之範圍將大於第三人臉框51之範圍)，即第二追蹤框33c(如圖12所示)內的影像進行人臉檢測。

相同的，亦將對後續影像P3中以對應第四人臉框61與第五人臉框71之處為中心之局部區域內的影像(局部區域之範圍將大於第四人臉框61與第五人臉框71之範圍)，即第二追蹤框33d與33e(如圖12所示)內的影像進行人臉檢測。

而後進行步驟S451，檢驗是否於第二追蹤框33c、33d以及33e內找到人臉影像。

首先，於步驟S441中並未於第二追蹤框33e內偵測到人臉影像，如圖12所示，故第五人臉7仍處於丟失狀態，由於第五人臉7若長期處於丟失狀態，第五人臉7可能已經離開電子看板2前方，則不需要再於後續影像中尋找第五人臉7。

因此先執行步驟S461，檢驗第五人臉7處於丟失狀態之幀數是否超過第二閥值，若處於丟失狀態之幀數超過第二閥值則進行步驟S471，更改第五人臉7之追蹤狀態為停止追蹤狀態並更新資料庫中第五人臉7之人物資訊，而後將不再於後續影像中尋找第五人臉7的位置。

若第五人臉7處於丟失狀態之幀數未超過第二閥值，則第五人臉7可能因為改變姿勢或者被遮擋等原因而暫時未出現於影像中，故將於後續影像中繼續尋找第五人臉7。

於是進行步驟S481，維持第五人臉7之追蹤狀態為丟失狀態並更新第五人臉7之人物資訊，亦即僅標示第五人臉7暫時不存在於後續影像P3中而不做其他更動。

再者，於步驟S441中，將於第二追蹤框33c與33d內偵測到人臉影像，由於第三人臉5與第四人臉6於下一影像P2處於丟失狀態，亦即並未於下一影像P2找到第三人臉5與第四人臉6，因此不確定後續影像P3中第二追蹤框33c與33d內之影像是否為第三人臉5與第四人臉6之影像。

故先執行步驟S462，比較第三人臉5與第二追蹤框33c所包含之人臉影像之臉部紋理相似度，以確認第二追蹤框33c所包含之人臉影像是否就是第三人臉5。

而後再比較第四人臉6與第二追蹤框33d所包含之人臉影像之臉部紋理相似度，以確認第二追蹤框33d所包含之人臉影像是否就是第四人臉6。

而後執行步驟S472，檢驗臉部紋理相似度是否超過第三閥值。

於本較佳實施例中，第二追蹤框33c所包含之人臉影像與第三人臉5之臉部紋理相似度大於第三閥值，因此判斷第二追蹤框33c所包含之人臉影像與第三人臉5為同一人，第二追蹤框33c之位置即為第三人臉5於後續影像P3之出現位置。

於是進行步驟S482，將第三人臉5之追蹤狀態更改為持續追蹤狀態並更新資料庫中第三人臉5之人物資訊。

於步驟S482中，將以第二追蹤框33c之位置、第二追蹤框33c內之人臉影像之臉部紋理特徵以及第二追蹤框33c內之人臉影像之臉部下方之顏色特徵更新資料庫中第三人臉5之人物資訊。

於本較佳實施例中，第二追蹤框33d所包含之人臉影像與第四人臉6之臉部紋理相似度小於第三閥值，因此第二追蹤框33d所包含之人臉影像與第四人臉6不是同一人。

亦即第二追蹤框33b所包含之人臉影像是新增之一第六人臉8之影像，因此執行步驟S483，將對應於第二追蹤框33d內之第六人臉8影像之人物資訊存入資料庫中。

第六人臉8之人物資訊包括，但不限於，第六人臉8於每一影像之位置、第六人臉8於每一影像之追蹤狀態、第六人臉8之存在幀數、第六人臉8之臉部紋理特徵以及第六人臉8之臉部下方之顏色特徵。

第六人臉8於後續影像P3之位置為第二追蹤框33d之位置，第六人臉8於後續影像P3之追蹤狀態則為持續追蹤狀態。

於本較佳實施例中，第四人臉6仍處於丟失狀態，由於第四人臉6若長期處於丟失狀態，第四人臉6可能已經離開電子看板2前方，則不需要再於後續影像中尋找第四人臉6。

於是執行步驟S484，檢驗第四人臉6處於丟失狀態之幀數是否超過第二閥值。

若於步驟S484判斷第四人臉6處於丟失狀態之幀數超過第二閥值時，將不再於後續影像中尋找第四人臉6的位置，故進行步驟S485，更改第四人臉6之追蹤狀態為停止追蹤狀態並更新資料庫中第四人臉6之人物資訊。

若於步驟S484判斷第四人臉6處於丟失狀態之幀數未超過第二閥值時，第四人臉6可能因為改變姿勢或者被遮擋等原因而暫時未出現於影像中，故仍須於後續影像中繼續尋找第四人臉6。

因此進行步驟S486，維持第四人臉6之追蹤狀態為丟失狀態並更新資料庫中第四人臉6之人物資訊。

本發明係於對固定幀數之後續影像P3~Pn執行第二人臉追蹤步驟S4後，對後續影像Pn進行第二人臉檢測步驟S5。

亦即於尋找資料庫中處於持續追蹤狀態或者丟失狀態之人臉影像是否出現於後續影像Pn中之後，將再次檢驗後續影像Pn中是否具有與資料庫中已存在之人臉影像不同之新增之人臉影像，若有新增之人臉影像則將於後續影像Pn+a中一起尋找。

以下將以對後續影像P3進行第二人臉檢測步驟S5的情形進行說明。

請同時參照圖13至圖14，圖13係顯示本發明一較佳實施例之第二人臉檢測步驟S5之流程圖，圖14係顯示本發明一較佳實施例之第二人臉檢測步驟S5於後續影像P3檢測到複數人臉之示意圖。

首先執行步驟S50，對整幅後續影像P3進行人臉檢測。

於本較佳實施例中可利用任何演算法，利如Adaboost演算法檢測整幅後續影像P3，以得到若干個可能的人臉候選區域，而後刪除或合併相鄰的人臉候選區域，最後剩下的人臉候選區域即為具有人臉影像的區域。

於本較佳實施例中，將於後續影像P3中檢測到如圖14所示之第七人臉9、第八人臉10、第九人臉11以及第十人臉12。

而後進行比對步驟S51，以檢驗第七人臉9至第十人臉12與資料庫中的所有人臉是否重複，於本較佳實施例中資料庫中的所有人臉即為第一人臉3至第六人臉8。

由於已確認第一人臉3出現於後續影像P3中第二追蹤框33aa之處、第三人臉5出現於後續影像P3中第二追蹤框33c之處以及第六人臉8出現於後續影像P3中第二追蹤框33d之處，故首先進行步驟S52，比較包含第七人臉9至第十人臉12之影像之第七人臉框A至第十人臉框D(如圖14所示)之位置與第二追蹤框33aa、33c以及33d(如圖12所示)之位置。

首先，分別比較第七人臉框A之位置與處於持續追蹤狀態之第一人臉3、第三人臉5與第六人臉8於後續影像P3中之位置，於本較佳實施例中，第七人臉框A之位置與第二追蹤框33aa、33c以及33d之位置皆未高比例重疊。

接著，比對第八人臉框B之位置與處於持續追蹤狀態之第一人臉3、第三人臉5與第六人臉8於後續影像P3中之位置，即後續影像P3中第二追蹤框33aa、33c以及33d之位置。於本較佳實施例中，第八人臉框B之位置與第二追蹤框33aa之位置高比例重疊，如圖12以及圖14所示，因此於步驟S53時，判斷第八人臉10與第一人臉3為同一人，故執行步驟S54，以對應於第八人臉10之人物資訊更新第一人臉3之人物資訊。

於步驟S54中，將以第八人臉框B之位置、第八人臉10之臉部紋理特徵以及第八人臉10之臉部下方之顏色特徵更新第一人臉3於後續影像P3之位置、第一人臉3之臉部紋理特徵以及第一人臉3之臉部下方之顏色特徵。

接下來，比對第九人臉框C之位置與於後續影像P3中處於持續追蹤狀態之第三人臉5與第六人臉8於後續影像P3中之位置，由於第三人臉5於後續影像P3中之位置，即第二追蹤框33c之位置與第九人臉框C之位置高比例重疊，因此判斷第九人臉11與第三人臉5為同一人，故執行步驟S54，以對應於第九人臉11之人物資訊更新第三人臉5之人物資訊。

最後，比對第十人臉框D之位置與處於持續追蹤狀態之第六人臉8於後續影像P3中之位置。於本較佳實施例中，第六人臉8於後續影像P3中之位置，即第二追蹤框33d之位置與第十人臉框D之位置高比例重疊，因此判斷第十人臉12與第六人臉8為同一人，故執行步驟S54，以對應於第十人臉12之人物資訊更新第六人臉8之人物資訊。

接下來請同時參照圖13以及圖14，由於第七人臉框A之位置與第二追蹤框33aa、33c與33d之位置皆未高比例重疊，因此無法確定第七人臉9是否與第一人臉3至第六人臉8之中任一人為同一人，於是於步驟S53判斷未高比例重疊後，將進行步驟S55，分別比較第七人臉9與資料庫中所有人臉之臉部紋理相似度以及臉部下方之顏色相似度，於本較佳實施例中資料庫中所有人臉即為第一人臉3至第六人臉8。

於本發明一較佳實施例中係以臉部紋理相似度以及臉部下方之顏色相似度之加權總和計算最終相似度。

接著進行步驟S56，檢驗相似度是否超過第一閥值，於本較佳實施例中，第七人臉9與第一人臉3至第六人臉8之相似度皆未超過第一閥值，因此第七人臉9與第一人臉3至第六人臉8皆不是同一人。

因此執行步驟S57，由於第七人臉9第一次被找到，故將對應於第七人臉9之人物資訊存入資料庫，此時第七人臉9之追蹤狀態為持續追蹤狀態。

第七人臉9之人物資訊包括，但不限於，第七人臉9於每一影像之位置、第七人臉9於每一影像之追蹤狀態、第七人臉9之存在幀數、第七人臉9之臉部紋理特徵以及第七人臉9之臉部下方之顏色特徵。

需要補充說明的是，若於其他較佳實施例中，當第七人臉9與第一人臉3至第六人臉8之其中一人臉之臉部紋理相似度以及臉部下方之顏色相似度超過第一閥值時，將判斷第七人臉9與該人臉為同一人，而執行步驟S58，以第七人臉9之人物資訊更新資料庫中該人臉之人物資訊。

於步驟S58中，將以第七人臉框A之位置、第七人臉9之臉部紋理特徵以及第七人臉9之臉部下方之顏色特徵更新該人臉於後續影像P3之位置、該人臉之臉部紋理特徵以及該人臉之臉部下方之顏色特徵。

請注意，以上皆以第二人臉檢測步驟S5於後續影像P3中檢測到四人臉影像之情形進行說明，但不論所檢測到的人臉影像的數目為何，針對每一人臉影像執行的步驟皆相同。

以上步驟結束後將持續於固定幀數之後續影像P4~Pm中尋找已存入資料庫中的所有人臉影像是否再次出現，並於固定幀數之後續影像P4~Pm之人臉追蹤作業結束後，對後續影像Pm進行整幅影像之人臉檢測作業。

此外，本發明一較佳實施例還包括人臉驗證步驟S6，用以再次檢驗資料庫中的所有人物資訊是否重複。

請參照至圖15A以及圖15B，圖15A以及圖15B係顯示本發明一較佳實施例之人臉追蹤之方法之人臉驗證步驟S6之流程圖。

首先，進行步驟S60，檢驗是否滿足任一條件：(1)資料庫中所有人物資訊之數量到達第五閥值以及(2)已結束所有人臉檢測及追蹤流程且資料庫中之人物資訊之數量不為0。

如果滿足任一條件，則進行步驟S61，將資料庫中所有人物資訊移動至臨時儲存區域。

接著進行步驟S62，檢驗是否滿足任一條件：(1)臨時儲存區域中所有人物資訊之數量到達第五閥值以及(2)已結束所有人臉檢測及追蹤流程且資料庫中所有人物資訊皆被移入臨時儲存區域。

如果滿足任一條件，則進行步驟S63，將臨時儲存區域中任一人物資訊X移動至合併結果儲存區域，人物資訊X可以是臨時儲存區域中的第一筆人物資訊。

接著進行步驟S64，比對臨時儲存區域之另一人物資訊Y與人物資訊X之相似度，而後進行步驟S65，檢驗相似度是否大於第四閥值，並於相似度大於第四閥值時，執行步驟S66，以人物資訊Y更新人物資訊X，而於相似度小於第四閥值時，執行步驟S67，將人物資訊Y加入合併結果儲存區域。

接下來執行步驟S68，比對臨時儲存區域之人物資訊Z與合併結果儲存區域之所有人物資訊之相似度。

而後進行步驟S69，檢驗人物資訊Z與合併結果儲存區域任一人物資訊之相似度是否大於第四閥值。

如果相似度大於第四閥值，則進行步驟S70，將人物資訊Z併入與其相似度最高之人物資訊，否則，進行步驟S71，將人物資訊Z加入合併結果儲存區域。

重複自臨時儲存區域中取得任一人物資訊並與合併結果儲存區域之所有人物資訊進行比對，即能將臨時儲存區域之所有人物資訊併入或加入合併結果儲存區域，以確認沒有重複的人物資訊。

最後輸出合併結果儲存區域的所有人物資訊，即能得到該時間區間內於電子看板2前方停留的人數，並能依據每一人的存在幀數而得到每一人的停留時間。

此外，若於步驟S60或步驟S62時判斷未滿足任何條件，則進行步驟S72，結束人臉驗證步驟。

再次強調，倘若可與本發明所達到之效果為實質上相同的，這些程序的步驟並不一定嚴格依循所示之步驟，也不需要是連續的，亦可以有其他的步驟***其中。

由以上較佳實施例可知，本發明藉由對一影像進行整幅影像之人臉檢測並找到至少一人臉後，於後續固定幀數之影像利用比較追蹤框相似度的方式尋找該人臉的可能出現位置，並檢測可能出現位置是否具有人臉影像以進行確認。

而後於該些固定幀數之影像之最後一影像進行整幅影像之人臉檢測，而不必於每一影像皆進行整幅影像之人臉檢測，提高了整體的處理速度。

再者，本發明藉由人臉驗證步驟於資料庫達容量臨界值時將人物資訊移入臨時儲存區域，再於臨時儲存區域達容量臨界值時將人物資訊移至合併結果儲存區域進行比對，因此人物資訊不會在人臉追蹤過程中因資料庫已滿而被刪除，增加了最終結果的準確度。

綜合以上所述，本發明提供了改善習知缺點之運算快速之追蹤同一區域之複數人臉之方法。

以上所述之實施例僅係為說明本發明之技術思想與特點，其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施，當不能以之限定本發明之專利範圍，即大凡依本發明所揭示之精神所作之均等變化或修飾，仍應涵蓋在本發明之專利範圍內。

步驟110~步驟160

步驟S1~步驟S6

步驟S21~步驟S25

步驟S31~步驟S39

步驟S40~步驟49

S441‧‧‧步驟

S451‧‧‧步驟

S461‧‧‧步驟

S462‧‧‧步驟

S471‧‧‧步驟

S472‧‧‧步驟

步驟S481~步驟S486

步驟S50~步驟S58

步驟S50a~步驟S58a

步驟S60~步驟S72

1‧‧‧影像擷取裝置

2‧‧‧電子看板

P1‧‧‧當前影像

P2‧‧‧下一影像

P3‧‧‧後續影像

3‧‧‧第一人臉

4‧‧‧第二人臉

5‧‧‧第三人臉

6‧‧‧第四人臉

7‧‧‧第五人臉

8‧‧‧第六人臉

9‧‧‧第七人臉

10‧‧‧第八人臉

11‧‧‧第九人臉

12‧‧‧第十人臉

31‧‧‧第一人臉框

41‧‧‧第二人臉框

51‧‧‧第三人臉框

61‧‧‧第四人臉框

71‧‧‧第五人臉框

81‧‧‧第六人臉框

A‧‧‧第七人臉框

B‧‧‧第八人臉框

C‧‧‧第九人臉框

D‧‧‧第十人臉框

32a~32e‧‧‧第一追蹤框

32aa~32ea‧‧‧第一追蹤框

33a~33e‧‧‧第二追蹤框

33aa、33ba‧‧‧第二追蹤框

X‧‧‧人物資訊

Y‧‧‧人物資訊

Z‧‧‧人物資訊

圖1係顯示習知之計算與追蹤人次之方法之流程圖。

圖2係顯示本發明一較佳實施例之人臉追蹤之方法之流程圖。

圖3係顯示本發明一較佳實施例之人臉追蹤方法之影像擷取裝置與電子看板之示意圖。

圖4係顯示本發明一較佳實施例之第一人臉檢測步驟之流程圖。

圖5係顯示本發明一較佳實施例之第一人臉檢測步驟於當前影像檢測到複數人臉影像之示意圖。

圖6係顯示本發明一較佳實施例之第一人臉追蹤步驟之流程圖。

圖7係顯示本發明一較佳實施例之當前影像中之複數第一追蹤框之示意圖。

圖8A係顯示本發明一較佳實施例之下一影像之示意圖。

圖8B係顯示本發明一較佳實施例之下一影像中之複數第一追蹤框之示意圖。

圖9A以及圖9B係顯示本發明一較佳實施例之第二人臉追蹤步驟之流程圖。

圖10係顯示本發明一較佳實施例之下一影像中之複數第二追蹤框之示意圖。

圖11係顯示本發明一較佳實施例之後續影像之示意圖。

圖12係顯示本發明一較佳實施例之後續影像中之複數第二追蹤框之示意圖。

圖13係顯示本發明一較佳實施例之第二人臉檢測步驟之流程圖。

圖14係顯示本發明一較佳實施例之第二人臉檢測步驟於後續影像檢測到複數人臉影像之示意圖。

圖15A以及圖15B係顯示本發明一較佳實施例之人臉追蹤之方法之人臉驗證步驟之流程圖。

步驟S1~步驟S5

Claims

一種人臉追蹤之方法，用以檢測並追蹤一時間區間內出現於同一區域之複數人臉，該方法包括：一影像取得步驟，包括：連續以同一視角拍攝同一區域以取得複數影像；一第一人臉檢測步驟，包括：自該複數影像提取一當前影像；檢測整幅該當前影像是否具有人臉影像；以及於偵測到該當前影像中包含一第一人臉之影像時，將對應於該第一人臉之一第一人物資訊存入一資料庫；以及一第一人臉追蹤步驟，用以尋找該第一人臉是否存在於該當前影像之一下一影像中，包括：於該當前影像中，以包含該第一人臉之一第一人臉框為中心設置複數第一追蹤框；提取該下一影像；分別計算該下一影像中對應該複數第一追蹤框之處所包含之影像與該第一人臉框內之影像之複數相似度；以及於該下一影像中，對與該第一人臉框之影像具有最高相似度之該第一追蹤框內的影像進行人臉檢測，並於該具有最高相似度之該第一追蹤框內包含一人臉影像時判斷該人臉影像為該第一人臉影像並以對應於該具有最高相似度之該第一追蹤框之資訊更新該第一人物資訊，而於該具有最高相似度之該第一追蹤框內未包含該人臉影像時，判斷該第一人臉不存在於該下一影像中並更新該第一人物資訊。
如申請專利範圍第1項所述之人臉追蹤之方法，其中該第一人物資訊包括該第一人臉於每一影像之一位置、該第一人臉於每一影像之一追蹤狀態、該第一人臉之一存在幀數、該第一人臉之一臉部紋理特徵以及該第一人臉之臉部下方之一顏色特徵，其中該追蹤狀態包括一持續追蹤狀態、一丟失狀態以及一停止追蹤狀態，當該第一人臉之影像存在於一影像中時，該第一人臉之該追蹤狀態為該持續追蹤狀態，當該第一人臉之影像不存在於該影像中時，該第一人臉之該追蹤狀態為該丟失狀態，而當該第一人臉之影像不存在於連續之複數影像中時，該第一人臉之該追蹤狀態則為該停止追蹤狀態。
如申請專利範圍第2項所述之人臉追蹤之方法，其中，於該第一人臉追蹤步驟後更包括一第二人臉追蹤步驟，用以尋找該第一人臉是否存在於該下一影像之一後續影像中，其中，於具有最高相似度之該第一追蹤框具有人臉影像時，該第二人臉追蹤步驟包括：於該下一影像中分別以每一該第一追蹤框為中心設置複數第二追蹤框，其中以每一該第一追蹤框為中心設置之該第二追蹤框之數目係依據每一該第一追蹤框之影像與該第一人臉影像之該相似度而定；提取該下一影像之一後續影像；分別計算該後續影像中對應該複數第二追蹤框之處所包含之影像與該下一影像中該具有最高相似度之該第一追蹤框內之影像之複數相似度；以及於該後續影像中，對與具有最高相似度之該第一追蹤框之相似度最高之一第二追蹤框內的影像進行人臉檢測，並於該具有最高相似度之該第二追蹤框內包含一人臉影像時，判斷該人臉影像為該第一人臉之影像並以對應於該具有最高相似度之該第二追蹤框之資訊更新該第一人物資訊，而於該具有最高相似度之該第二追蹤框內未包含該人臉影像時，判斷該第一人臉不存在於該後續影像中並更新該第一人物資訊。
如申請專利範圍第3項所述之人臉追蹤之方法，其中，於該第二人臉追蹤步驟之後更包括一第二人臉檢測步驟，用以對該後續影像之全幅影像進行人臉檢測，以檢驗該後續影像是否具有另一人臉影像。
如申請專利範圍第4項所述之人臉追蹤之方法，其中，於該第二人臉檢測步驟於該後續影像中檢測到一第二人臉且該具有最高相似度之該第二追蹤框具該人臉影像時，進行一比對步驟以檢驗該第二人臉與該第一人臉是否為同一人，該比對步驟包括：比較包含該第二人臉之一第二人臉框之位置與該具最大相似度之該第二追蹤框之位置；於該第二人臉框之位置與該具最大相似度之該第二追蹤框之位置高比例重疊時，判斷該第二人臉與該第一人臉為同一人並以對應於該第二人臉之一第二人物資訊更新該第一人物資訊，而於該第二人臉框之位置與該第二追蹤框之位置未高比例重疊時，比對該第二人臉與該第一人臉之臉部紋理相似度以及該第二人臉與該第一人臉之臉部下方之顏色相似度；以及於該第二人臉與該第一人臉之臉部紋理以及臉部下方之顏色相似度未超過一第一閥值時，判斷第二人臉與第一人臉不是同一人並將對應於該第二人臉之該第二人物資訊存入該資料庫，而於該相似度超過該第一閥值時，判斷該第二人臉與該第一人臉為同一人並以該第二人物資訊更新該第一人物資訊。
如申請專利範圍第5項所述之人臉追蹤之方法，其中該第二人物資訊包括該第二人臉於每一影像之一位置、該第二人臉於每一影像之一追蹤狀態、該第二人臉之一存在幀數、該第二人臉之一臉部紋理特徵以及該第二人臉之臉部下方之一顏色特徵，其中該追蹤狀態包括一持續追蹤狀態、一丟失狀態以及一停止追蹤狀態，當該第二人臉之影像存在於一影像中時，該第二人臉之該追蹤狀態為該持續追蹤狀態，當該第二人臉之影像不存在於該影像中時，該第二人臉之該追蹤狀態為該丟失狀態，而當該第二人臉之影像不存在於連續之複數影像中時，該第二人臉之該追蹤狀態則為該停止追蹤狀態。
如申請專利範圍第4項所述之人臉追蹤之方法，其中，於該第二人臉檢測步驟於該後續影像中檢測到一第二人臉且該具有最高相似度之該第二追蹤框不具一人臉影像時，進行一比對步驟，以檢驗該第二人臉與該第一人臉是否為同一人，該比對步驟包括：比對該第二人臉與該第一人臉之臉部紋理相似度以及該第二人臉與該第一人臉之臉部下方之顏色相似度；以及於該第二人臉與該第一人臉之臉部紋理與臉部下方之顏色相似度未超過一第一閥值時，判斷該第二人臉與該第一人臉不是同一人並將對應於該第二人臉之一第二人物資訊存入該資料庫，而於相似度超過該第一閥值時，判斷該第二人臉與該第一人臉為同一人並以該第二人物資訊更新該第一人物資訊。
如申請專利範圍第7項所述之人臉追蹤之方法，其中該第二人物資訊包括該第二人臉於每一影像之一位置、該第二人臉於每一影像之一追蹤狀態、該第二人臉之一存在幀數、該第二人臉之一臉部紋理特徵以及該第二人臉之臉部下方之一顏色特徵，其中該追蹤狀態包括一持續追蹤狀態、一丟失狀態以及一停止追蹤狀態，當該第二人臉之影像存在於一影像中時，該第二人臉之該追蹤狀態為該持續追蹤狀態，當該第二人臉之影像不存在於該影像中時，該第二人臉之該追蹤狀態為該丟失狀態，而當該第二人臉之影像不存在於連續之複數影像中時，該第二人臉之該追蹤狀態則為該停止追蹤狀態。
如申請專利範圍第2項所述之人臉追蹤之方法，其中，於該第一人臉追蹤步驟後更包括一第二人臉追蹤步驟，用以尋找該第一人臉是否存在於該下一影像之一後續影像中，其中，於具有最高相似度之該第一追蹤框不具有人臉影像時，該第二人臉追蹤步驟包括：提取該後續影像，對該後續影像中以對應該當前影像之該第一人臉框之處為中心之局部區域內之一第二追蹤框內的影像進行人臉檢測；於該第二追蹤框內不具有人臉影像時，判斷該第一人臉不存在於該後續影像中並檢驗該第一人臉處於該丟失狀態之幀數是否超過一第二閥值，若該第一人臉處於該丟失狀態之幀數超過該第二閥值則不再於該後續影像之後續影像中尋找該第一人臉；於該第二追蹤框偵測內具有一人臉影像時，比較該第一人臉與該第二追蹤框所包含之該人臉影像之臉部紋理相似度；於該第一人臉與該第二追蹤框所包含之該人臉影像之臉部紋理相似度大於一第三閥值時，判斷該人臉影像與該第一人臉為同一人並以對應於該第二追蹤框內之資訊更新該第一人物資訊；於該臉部紋理相似度小於該第三閥值時，判斷該第一人臉不存在於該後續影像中並檢驗該第一人臉處於該丟失狀態之幀數是否超過該第二閥值，並於該第一人臉處於該丟失狀態之幀數超過該第二閥值時不再於該後續影像之後續影像中尋找該第一人臉；以及於該臉部紋理相似度小於該第三閥值時，判斷該第二追蹤框所包含之該人臉影像為不同於該第一人臉之一第三人臉之影像並將該第三人臉之一第三人物資訊存入該資料庫。
如申請專利範圍第9項所述之人臉追蹤之方法，其中該第三人物資訊包括該第三人臉於每一影像之一位置、該第三人臉於每一影像之一追蹤狀態、該第三人臉之一存在幀數、該第三人臉之一臉部紋理特徵以及該第三人臉之臉部下方之一顏色特徵，其中該追蹤狀態包括一持續追蹤狀態、一丟失狀態以及一停止追蹤狀態，當該第三人臉之影像存在於一影像中時，該第三人臉之該追蹤狀態為該持續追蹤狀態，當該第三人臉之影像不存在於該影像中時，該第三人臉之該追蹤狀態為該丟失狀態，而當該第三人臉之影像不存在於連續之複數影像中時，該第三人臉之該追蹤狀態則為該停止追蹤狀態。
如申請專利範圍第10項所述之人臉追蹤之方法，其中，於該第二人臉追蹤步驟後更包括一第二人臉檢測步驟，用以對該後續影像之全幅影像進行人臉檢測，以檢驗該後續影像是否具有另一人臉影像。
如申請專利範圍第11項所述之人臉追蹤之方法，其中，於該第二人臉檢測步驟於該後續影像中檢測到一第二人臉，且該第二追蹤框所包含之該人臉影像與該第一人臉為同一人時，進行一比對步驟，以檢驗該第二人臉與該第一人臉是否為同一人，該比對步驟包括：比較包含該第二人臉影像之一第二人臉框與該第二追蹤框之位置；若高比例重疊，則判斷該第二人臉與該第一人臉為同一人並以對應於該第二人臉之一第二人物資訊更新該第一人物資訊，若未高比例重疊，則比較該第二人臉與該第二追蹤框所包含之該人臉影像之臉部紋理相似度以及該第二人臉與該第二追蹤框所包含之該人臉影像之臉部下方之顏色相似度；以及於該第二人臉與該第二追蹤框所包含之該人臉影像之臉部紋理以及臉部下方之顏色相似度未超過一第一閥值時，判斷該第二人臉與該第一人臉不是同一人並將對應於該第二人臉之該第二人物資訊存入該資料庫，而於該相似度超過該第一閥值時，判斷該第二人臉與該第一人臉為同一人並以該第二人物資訊更新該第一人物資訊。
如申請專利範圍第12項所述之人臉追蹤之方法，其中該第二人物資訊包括該第二人臉於每一影像之一位置、該第二人臉於每一影像之一追蹤狀態、該第二人臉之一存在幀數、該第二人臉之臉部紋理特徵以及該第二人臉之臉部下方之一顏色特徵，其中該追蹤狀態包括一持續追蹤狀態、一丟失狀態以及一停止追蹤狀態，當該第二人臉之影像存在於一影像中時，該第二人臉之該追蹤狀態為該持續追蹤狀態，當該第二人臉之影像不存在於該影像中時，該第二人臉之該追蹤狀態為該丟失狀態，而當該第二人臉之影像不存在於連續之複數影像中時，該第二人臉之該追蹤狀態則為該停止追蹤狀態。
如申請專利範圍第11項所述之人臉追蹤之方法，其中，於該第二人臉檢測步驟於該後續影像中檢測到一第二人臉，且該第二追蹤框所包含之該人臉影像為該第三人臉之影像時，進行一比對步驟，以檢驗該第二人臉與該第三人臉或該第一人臉是否為同一人，該比對步驟包括：比較包含該第二人臉影像之一第二人臉框與該第二追蹤框之位置；若高比例重疊，則判斷該第二人臉與該第三人臉為同一人，並以對應於該第二人臉之一第二人物資訊更新該第三人物資訊，若未高比例重疊，則分別比較該第二人臉與該第三人臉以及該第一人臉之臉部紋理相似度，並分別比較該第二人臉與該第三人臉以及該第一人臉之臉部下方之顏色相似度；以及於該第二人臉與該第三人臉或該第一人臉之臉部紋理以及臉部下方之顏色相似度皆未超過一第一閥值時，判斷該第二人臉與該第一人臉以及該第三人臉皆不是同一人，並將對應於該第二人臉之該第二人物資訊存入該資料庫，而於該第二人臉與該第三人臉或該第一人臉之臉部紋理以及臉部下方之顏色相似度超過該第一閥值時，判斷該第二人臉與該第一人臉或該第三人臉為同一人，並以該第二人物資訊更新該第一人物資訊或該第三人物資訊。
如申請專利範圍第14項所述之人臉追蹤之方法，其中該第二人物資訊包括該第二人臉於每一影像之一位置、該第二人臉於每一影像之一追蹤狀態、該第二人臉之一存在幀數、該第二人臉之臉部紋理特徵以及該第二人臉之臉部下方之一顏色特徵，其中該追蹤狀態包括一持續追蹤狀態、一丟失狀態以及一停止追蹤狀態，當該第二人臉之影像存在於一影像中時，該第二人臉之該追蹤狀態為該持續追蹤狀態，當該第二人臉之影像不存在於該影像中時，該第二人臉之該追蹤狀態為該丟失狀態，而當該第二人臉之影像不存在於連續之複數影像中時，該第二人臉之該追蹤狀態則為該停止追蹤狀態。
如申請專利範圍第11項所述之人臉追蹤之方法，其中，於該第二人臉檢測步驟於該後續影像中檢測到一第二人臉，且該第二追蹤框內不具有人臉影像時，進行一比對步驟，以檢驗該第二人臉與該第一人臉是否為同一人，該比對步驟包括：比對該第二人臉與該第一人臉之臉部紋理相似度，並比對該第二人臉與該第一人臉之臉部下方之顏色相似度；以及於該第二人臉與該第一人臉之臉部紋理以及臉部下方之顏色相似度未超過一第一閥值時，判斷該第二人臉與該第一人臉並非同一人並將對應於該第二人臉之一第二人物資訊存入該資料庫，而於該相似度超過該第一閥值時，判斷該第二人臉與該第一人臉為同一人並以該第二人物資訊更新該第一人物資訊。
如申請專利範圍第16項所述之人臉追蹤之方法，其中該第二人物資訊包括該第二人臉於每一影像之一位置、該第二人臉於每一影像之一追蹤狀態、該第二人臉之一存在幀數、該第二人臉之臉部紋理特徵以及該第二人臉之臉部下方之一顏色特徵，其中該追蹤狀態包括一持續追蹤狀態、一丟失狀態以及一停止追蹤狀態，當該第二人臉之影像存在於一影像中時，該第二人臉之該追蹤狀態為該持續追蹤狀態，當該第二人臉之影像不存在於該影像中時，該第二人臉之該追蹤狀態為該丟失狀態，而當該第二人臉之影像不存在於連續之複數影像中時，該第二人臉之該追蹤狀態則為該停止追蹤狀態。
如申請專利範圍第1項所述之人臉追蹤之方法，更包括一人臉驗證步驟，包括：於滿足一第一條件時，移動該資料庫之所有人物資訊至一臨時儲存區域；於滿足一第二條件時，移動該臨時儲存區域之一人物資訊至一合併結果儲存區域；比對該臨時儲存區域之另一人物資訊與該人物資訊之相似度，於該相似度大於一第四閥值時，將該另一人物資訊併入該人物資訊，而於該相似度小於該第四閥值時，將該另一人物資訊加入該合併結果儲存區域；以及重複自該臨時儲存區域中取得任一人物資訊並與該合併結果儲存區域之所有人物資訊進行比對至該臨時儲存區域之所有人物資訊被併入或加入該合併結果儲存區域為止。
如申請專利範圍第18項所述之人臉追蹤之方法，其中該第一條件係該資料庫之所有人物資訊之數量到達一第五閥值。
如申請專利範圍第19項所述之人臉追蹤之方法，其中該第一條件係已完成該複數人臉之檢測並追蹤且該資料庫之人物資訊之數量不為0。
如申請專利範圍第18項所述之人臉追蹤之方法，其中該第二條件係該臨時儲存區域之所有人物資訊之數量到達一第五閥值。
如申請專利範圍第21項所述之人臉追蹤之方法，其中該第二條件係已完成該複數人臉之檢測並追蹤，且該資料庫之所有人物資訊皆已被移入該臨時儲存區域。