TWI408610B - 姿勢辨識方法與系統，及其電腦程式產品 - Google Patents

Description

姿勢辨識方法與系統，及其電腦程式產品

本發明係有關於一種姿勢辨識方法與系統，且特別有關於一種可以動態產生複合式背景模型，且自動將背景影像由影像中去除以取得物件影像並辨識相應姿勢之方法與系統。

隨著電子裝置，如電腦與影像擷取裝置的普及，越來越多的應用與技術也相競開發來使得操作這些裝置變得更佳便利。

在一些技術中，使用者可以透過手勢來對於電腦進行相關控制。一般來說，手勢辨識技術可分為兩類，第一類為使用者手上需要穿戴標記點或手套等輔助手勢辨識的配件，另一類則為使用者無須穿戴輔助配件的徒手手勢辨識方式。從方便使用者的角度而言，較直覺的方式為徒手手勢辨識。然而，在徒手手勢辨識中，若取得的影像包含了前景與背景，則需要大量的系統資源來進行手勢辨識，且難以達成令人滿意的辨識效果。

因此，為了提昇徒手手勢辨識的效能，習知技術都必須利用事先建立之背景模型，或是利用移動主體偵測的方式，來取出手部影像，以進行後續之手勢辨識。然而，一旦背景變化時，手勢辨識的準確度將會受到影響。另外，在利用移動主體偵測的方式中，若手部靜止不動時，則無法進行手勢辨識。

有鑑於此，本發明提供姿勢辨識方法及系統。

本發明實施例之一種姿勢辨識方法。首先，提供複數姿勢樣板。其中，每一姿勢樣板定義一第一姿勢特徵與第一姿勢特徵相應之一特定姿勢。之後，取得複數影像，且依據影像產生一複合式背景模型。依據複合式背景模型得到具有一物件之至少一物件影像，其中物件具有複數邊緣。將該等邊緣中相鄰之每二邊緣形成之夾角進行統計，從而得到相應物件影像之一第二姿勢特徵。將物件影像之第二姿勢特徵與每一姿勢樣板之第一姿勢特徵進行比對。當第二姿勢特徵近似第一姿勢特徵時，從而得到相應第一姿勢特徵之特定姿勢。

本發明實施例之一種姿勢辨識系統包括一儲存單元與一處理單元。儲存單元包括複數影像與複數姿勢樣板。其中，每一姿勢樣板定義一第一姿勢特徵與第一姿勢特徵相應之一特定姿勢。處理單元依據影像產生一複合式背景模型，且依據複合式背景模型得到具有一物件之至少一物件影像，其中物件具有複數邊緣。處理單元將該等邊緣中相鄰之每二邊緣形成之夾角進行統計，從而得到相應物件影像之一第二姿勢特徵。處理單元將物件影像之第二姿勢特徵與每一姿勢樣板之第一姿勢特徵進行比對。當第二姿勢特徵近似第一姿勢特徵時，從而得到相應第一姿勢特徵之特定姿勢。

本發明上述方法可以透過程式碼方式存在。當程式碼被電腦載入且執行時，電腦變成用以實行本發明之裝置。

為使本發明之上述特徵能更明顯易懂，下文特舉實施例，並配合所附圖示，詳細說明如下。

第1圖顯示依據本發明實施例之姿勢辨識系統。依據本發明實施例之姿勢辨識系統1000可以係以處理器為基礎之電子裝置，如電腦。

依據本發明實施例之姿勢辨識系統1000可以至少包括一儲存單元1100、與一處理單元1200。儲存單元1100可以至少包括複數影像1110與一姿勢樣板資料庫1120。值得注意的是，在一些實施例中，姿勢辨識系統1000可以更包括一影像擷取單元(未顯示)，用以取得影像1110。姿勢樣板資料庫1120可以包括複數姿勢樣板1121。每一姿勢樣板1121係定義一第一姿勢特徵與第一姿勢特徵相應之一特定姿勢。依據複數影像產生一複合式背景模型，依據複合式背景模型得到具有一物件之至少一物件影像。其中該物件具有複數邊緣，將複數邊緣中相鄰之每二邊緣形成之夾角進行統計，得到相應該物件影像之一第二姿勢特徵。在一些實施例中，第二姿勢特徵可以透過一直方圖來進行表示，用以記錄相應不同夾角之情況下的分佈，如第2圖所示。處理單元1200係用以執行本案之姿勢辨識方法，其細節將於後進行說明。

第3圖顯示依據本發明實施例之姿勢辨識方法。依據本發明實施例之姿勢辨識方法可以適用於以處理器為基礎之電子裝置，如電腦。

首先，如步驟S305，提供複數姿勢樣板，其中，每一該等姿勢樣板定義一第一姿勢特徵與該第一姿勢特徵相應之一特定姿勢。如步驟S310，取得複數影像，且如步驟S320，依據影像產生一複合式背景模型。第4圖顯示依據本發明實施例之複合式背景模型產生方法。提醒的是，每一影像具有複數像素，且每一像素具有至少一顏色。首先，如步驟S410，判斷這些影像中於相同位置之像素的一特定顏色在這些影像中是否出現超過一既定頻率。若相應像素之特定顏色在這些影像中並未出現超過此既定頻率(步驟S420的否)，如步驟S440，判斷是否有其他像素尚未進行判斷。若仍有其他像素尚未進行判斷(步驟S440的是)，如步驟S450，選擇另一像素，且流程回到步驟S410。若相應像素之特定顏色在這些影像中出現超過此既定頻率(步驟S420的是)，如步驟S430，判定此像素為背景，且如步驟S440，判斷是否有其他像素尚未進行判斷。若仍有其他像素尚未進行判斷(步驟S440的是)，如步驟S450，選擇另一像素，且流程回到步驟S410。若所有像素都已經進行判斷(步驟S440的否)，如步驟S460，依據判定為背景之像素及其顏色產生複合式背景模型。複合式背景模型產生之後，如步驟S330，依據複合式背景模型與影像中之一者得到至少一物件影像。換言之，由影像中將背景影像去除。提醒的是，物件影像中可以具有包括複數邊緣之至少一物件。另外，在一些實施例中，去除背景影像之影像可能包括多個物件影像。因此，可以由這些物件影像中辨識一特定物件影像，且對於此特定物件進行後續作業。舉例來說，當物件影像包括一頭部影像與一手部影像時，則可以由這些物件影像中辨識出手部影像，以進行後續作業。之後，如步驟S340，將物件影像中相應物件之該等邊緣中相鄰之每二邊緣形成之夾角進行統計，從而得到相應物件影像之第二姿勢特徵。類似地，如前所述，第二姿勢特徵可以係相應一姿勢之影像的邊緣中相鄰之每二邊緣形成之夾角的統計結果。在一些實施例中，第二姿勢特徵可以透過一直方圖來進行表示，用以記錄相應不同夾角之情況下的分佈。相應物件影像之第二姿勢特徵得到之後，如步驟S350，依據物件影像之第二姿勢特徵與每一姿勢樣板之第一姿勢特徵進行比對。當第二姿勢特徵並未近似第一姿勢特徵時(步驟S360的否)，結束流程。當第二姿勢特徵近似第一姿勢特徵時(步驟S360的是)，如步驟S370，從而得到相應第一姿勢特徵之特定姿勢。

值得注意的是，在一些實施例中，可以計算物件影像之第二姿勢特徵與每一姿勢樣板之第一姿勢特徵間之一相似程度值。具有最高之相似程度值之第一姿勢特徵將會被進行選定。另外，在一些實施例中，為了增加辨識的準確率，可以判斷相應第一姿勢特徵之相似程度值是否大於一既定臨限值。若相似程度值大於既定臨限值，才產生相應之辨識結果。

值得注意的是，在一些實施例中，當相應物件影像之特定姿勢辨識出來之後，可以辨識特定姿勢中物件的方向與/或物件之特定部位。舉例來說，當物件影像係一手部影像時，可以辨識特定姿勢中相應手部影像之方向與指尖位置。

因此，透過本案之姿勢辨識方法與系統，可以在無須事先建立背景模型的情況下動態產生複合式背景模型，且自動將背景影像由影像中去除，以取得物件影像並辨識相應物件之姿勢。

本發明之方法，或特定型態或其部份，可以以程式碼的型態存在。程式碼可以包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，亦或不限於外在形式之電腦程式產品，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置。程式碼也可以透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置。當在一般用途處理單元實作時，程式碼結合處理單元提供一操作類似於應用特定邏輯電路之獨特裝置。

雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟悉此項技藝者，在不脫離本發明之精神和範圍內，當可做些許更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

1000．．．姿勢辨識系統

1100．．．儲存單元

1110．．．影像

1120．．．姿勢樣板資料庫

1121．．．姿勢樣板

1200．．．處理單元

S305、S310、...、S370．．．步驟

S410、S420、...、S460．．．步驟

第1圖為一示意圖係顯示依據本發明實施例之姿勢辨識系統。

第2圖為一示意圖係顯示依據本發明實施例之用以記錄物件影像之邊緣中相鄰之每二邊緣形成之夾角的統計結果之直方圖例子。

第3圖為一流程圖係顯示依據本發明實施例之姿勢辨識方法。

第4圖為一流程圖係顯示依據本發明實施例之複合式背景模型產生方法。

S305、S310、...、S370．．．步驟

Claims (14)

1. 一種姿勢辨識方法，包括下列步驟：提供複數姿勢樣板，其中，每一該等姿勢樣板定義一第一姿勢特徵與該第一姿勢特徵相應之一特定姿勢；取得複數影像；依據該等影像產生一複合式背景模型；依據該複合式背景模型得到具有一物件之至少一物件影像，其中該物件具有複數邊緣；將該等邊緣中相鄰之每二邊緣形成之夾角進行統計，從而得到相應該物件影像之一第二姿勢特徵；將該物件影像之該第二姿勢特徵與每一姿勢樣板之該第一姿勢特徵進行比對；以及當該第二姿勢特徵近似該第一姿勢特徵時，從而得到相應該第一姿勢特徵之該特定姿勢，其中該複合式背景模型之產生方法包括下列步驟：判斷相應每一像素之該顏色於該等影像中是否出現超過一既定頻率；若相應一特定像素之該顏色出現超過該既定頻率，判定該特定像素為背景；以及依據判定為背景之該等特定像素與相應之該顏色產生該複合式背景模型。
2. 如申請專利範圍第1項所述之姿勢辨識方法，其中，更包括下列步驟：由該至少一物件影像中辨識一特定物件影像；以及對於該特定物件影像計算相應之該第二姿勢特徵。
3. 如申請專利範圍第2項所述之姿勢辨識方法，其中，該特定物件影像包括一手部影像。
4. 如申請專利範圍第3項所述之姿勢辨識方法，更包括辨識該特定姿勢中相應該手部影像之一方向與指尖位置。
5. 如申請專利範圍第1項所述之姿勢辨識方法，其中，該第二姿勢特徵與該第一姿勢特徵近似程度值最高者，該近似程度值大於一既定臨限值。
6. 如申請專利範圍第1項所述之姿勢辨識方法，其中，該第二姿勢特徵係以一直方圖表示，且該直方圖記錄相應該物件影像之該等邊緣中相鄰之每二邊緣形成之夾角進行統計的結果。
7. 一種姿勢辨識系統，至少包括：一儲存單元，係用以儲存複數影像與複數姿勢樣板，其中，每一該等姿勢樣板定義一第一姿勢特徵與該第一姿勢特徵相應之一特定姿勢；以及一處理單元，用以依據該等影像產生一複合式背景模型，依據該複合式背景模型得到具有一物件之至少一物件影像，其中該物件具有複數邊緣，將該等邊緣中相鄰之每二邊緣形成之夾角進行統計，從而得到相應該物件影像之一第二姿勢特徵，將該物件影像之該第二姿勢特徵與每一姿勢樣板之該第一姿勢特徵進行比對，且當該第二姿勢特徵近似該第一姿勢特徵時，從而得到相應該第一姿勢特徵之該特定姿勢，其中，每一影像具有複數像素，該每一像素具有至少一顏色，且該處理單元更判斷相應每一像素之 該顏色於該等影像中是否出現超過一既定頻率，若相應一特定像素之該顏色出現超過該既定頻率，判定該特定像素為背景，且依據判定為背景之該等特定像素與相應之該顏色產生該複合式背景模型。
8. 如申請專利範圍第7項所述之姿勢辨識系統，其中，該處理單元更由該至少一物件影像中辨識一特定物件影像，且對於該特定物件影像計算相應之該第二姿勢特徵。
9. 如申請專利範圍第8項所述之姿勢辨識系統，其中，該特定物件影像包括一手部影像。
10. 如申請專利範圍第9項所述之姿勢辨識系統，其中，該處理單元更辨識該特定姿勢中相應該手部影像之一方向與指尖位置。
11. 如申請專利範圍第7項所述之姿勢辨識系統，其中，該第二姿勢特徵與該第一姿勢特徵近似程度值最高者，該近似程度值大於一既定臨限值。
12. 如申請專利範圍第7項所述之姿勢辨識系統，其中，該第二姿勢特徵係以一直方圖表示，且該直方圖記錄相應該物件影像之該等邊緣中相鄰之每二邊緣形成之夾角進行統計的結果。
13. 如申請專利範圍第7項所述之姿勢辨識系統，更包括一影像擷取單元，用以擷取該等影像。
14. 一種電腦程式產品，用以被一電腦載入且執行一姿勢辨識方法，其中，該電腦具有複數影像與複數姿勢樣板，每一該等姿勢樣板定義一第一姿勢特徵與該第一姿勢特徵相應之一特定姿勢，該電腦程式產品包括： 一第一程式碼，用以依據該等影像產生一複合式背景模型；一第二程式碼，用以依據該複合式背景模型得到具有一物件之至少一物件影像，其中該物件具有複數邊緣；一第三程式碼，用以將該等邊緣中相鄰之每二邊緣形成之夾角進行統計，從而得到相應該物件影像之一第二姿勢特徵；一第四程式碼，用以將該物件影像之該第二姿勢特徵與每一姿勢樣板之該第一姿勢特徵進行比對；以及一第五程式碼，用以當該第二姿勢特徵近似該第一姿勢特徵時，從而得到相應該第一姿勢特徵之該特定姿勢，其中該複合式背景模型之產生方法包括下列步驟：判斷相應每一像素之該顏色於該等影像中是否出現超過一既定頻率；若相應一特定像素之該顏色出現超過該既定頻率，判定該特定像素為背景；以及依據判定為背景之該等特定像素與相應之該顏色產生該複合式背景模型。