TWI603226B - 體感偵測器之手勢辨識方法 - Google Patents

Description

體感偵測器之手勢辨識方法

本發明係有關於一種手勢辨識方法，特別是一種體感偵測器的手勢辨識方法。

隨著科技的進步，計算機的操作方式也不斷在改變，鍵盤、滑鼠或觸控板等操作裝置陸續被提出，來解決使用者面臨的輸入操作問題。而且由於平板電腦裝置的日益普及，讓觸控操作模式成為現今計算機操作的主流。

然而，觸控操作模式在一般的電腦上需要直接觸碰到螢幕，而電腦的操作通常需要鍵盤配合操作，若是使用觸控操作在一般電腦上，使用者的雙手需要來回在螢幕與鍵盤之間不斷地移動來完成在電腦上的工作，十分不便。

因此，存在一種需求，設計一種操控方式，適用於一般的桌上型電腦或筆記型電腦，讓使用者無需在螢幕與鍵盤之間反覆地移動而能完成計算機操作。

本發明的目的在提供一種用於體感偵測器的手勢辨識方法，透過此辨識方法可以模擬滑鼠或是其他輸入裝置的操作，簡化電子裝置的使用。

根據上述的目的，本發明揭露一種體感偵測器之手勢辨識方法，其包含下列步驟：啟動一電子裝置的該體感偵測器；當該體感偵測器偵測一使用者的至少一手指產生一第一動作時，將該電子裝置從一第一輸入模式切換至一第二輸入模式，該第一輸入模式為鍵盤輸入模式，且該第二輸入模式為模擬周邊裝置輸入模式；以及在該第二輸入模式下，該電子裝置根據該體感偵測器偵測該使用者之該至少一手指產生的一第二動作以執行一操作。

本發明的另一目的在提供一種體感偵測器的手勢辨識方法，讓使用者無需觸碰螢幕而可以操作電子裝置。

根據上述的目的，本發明揭露一種體感偵測器之手勢辨識方法，其包含下列步驟：藉由該體感偵測器獲得一第一手勢影像訊息；辨識該第一手勢影像訊息對應的一第一操作指令；根據該第一操作指令將一電子裝置從一第一輸入模式切換至一第二輸入模式，該第一輸入模式為鍵盤輸入模式，且該第二輸入模式為模擬周邊裝置輸入模式；藉由該體感偵測器獲得一第二手勢影像訊息；辨識該第二手勢影像訊息對應的一第二操作指令；以及在該電子裝置上執行該第二操作指令對應的一操作。

S102~S106‧‧‧步驟

S301~S306‧‧‧步驟

40‧‧‧手勢指令辨識系統

402‧‧‧螢幕

404‧‧‧鍵盤

406‧‧‧體感偵測器

408‧‧‧辨識軟體

4082‧‧‧資料庫

410‧‧‧主機

第1圖係顯示本發明之實施例的手勢辨識方法；第2A圖~第2F圖顯示本發明之手勢辨識方法的手勢動作的示意圖；第3圖係顯示本發明之利用體感偵測器的手勢辨識方法的流程圖；以及第4圖係顯示本發明之手勢指令辨識系統的方塊圖；

以下結合附圖對本發明的技術方案進行詳細說明。在此需要注意的是，不同的圖示中，相同的元件符號表示相同或相似的元件。以下所提及之附加圖式的面方向定義為垂直於該平面的法向量。在此，使用的方向用語是用以說明及理解本發明，而非用以限制本發明。

第1圖係顯示本發明之實施例的手勢辨識方法。在本發明之實施例的手勢辨識方法是藉由在電腦的螢幕周圍設置一體感偵測器。透過此體感偵測器辨識使用者的手指動作來模擬傳統滑鼠或其他周邊裝置的操作。而體感偵測器主要是由深度攝影機與傳統攝影機所構成，深度攝影機藉由計算所傳遞的紅外光打中物體反射後的時間，計算物體與攝影機的距離，在拍攝時傳統攝影機與深度攝影機之間的關係也需校正，以確保傳統攝影機所拍攝到的像素都能有其對應的深度值。透過此體感偵測器可以追蹤到使用者手指的活動，藉由辨識使用者手勢的變化來模擬傳統滑鼠的操作。根據上述，本發明的手勢辨識方法如下。在步驟S102中，將電子裝置的體感偵測器開啟。開啟電子裝置的體感偵測器，讓體感偵測器可以偵測 到使用者的手勢，電子裝置辨識使用者的手勢，來模擬滑鼠的操作。在本發明的手勢辨識方法開始之前，使用者的手指都放置在鍵盤上作一般的文書操作。在步驟S104中，當體感偵測器偵測到使用者的手指產生一第一動作時，將電子裝置從一第一輸入模式切換至一第二輸入模式。當使用者的手指原本放在鍵盤上時，若要開始模擬滑鼠的操作，使用者的手指向上移動一特定角度，在此所謂的使用者的手指可以是一根手指或是兩根手指以上，且該特定角度可以是45度，但是在其他實施例中，特定角度也可以是其它角度，在此並不侷限。當手指向上移動一特定角度時，體感偵測器感應到手指的移動，且辨識到此移動是要將電腦從第一輸入模式切換到第二輸入模式。在此實施例中，第一輸入模式即為鍵盤輸入模式，而第二輸入模式則為模擬滑鼠等周邊裝置的輸入模式。另外，在第二輸入模式時，在電腦螢幕上會出現傳統的鼠標箭頭圖式，隨著使用者的手指移動，體感偵測器偵測使用者的手指移動，而在螢幕上的鼠標箭頭圖式也跟著移動。接著，在步驟S106中，在第二輸入模式下，該體感偵測器偵測使用者之手指產生的一第二動作，根據此第二動作所對應的指令來執行一操作。在第二輸入模式下，也就是在模擬滑鼠等周邊裝置的輸入模式下，使用者的手指產生第二動作，體感偵測器偵測此第二動作，電腦根據此第二動作對應的指令執行操作。舉例來說，第二動作可以是使用者的手指向下單點，藉由使用者的手指向下單點的動作來模擬滑鼠左鍵單擊的動作，而使用者的手指較佳為食指。在不同實施例中，第二動作可以是使用者的手指向下連續多點，藉由使用者的手指向下連續多點的動作來模擬滑鼠左鍵連續多擊的動作。在不同實施例中，第二動作可以是使用者的手指向前或向後移動， 藉由使用者的手指向前或向後移動來模擬滑鼠中間滾輪滾動的動作。在不同實施例中，第二動作可以是使用者的食指與拇指分開與靠近的動作，藉由使用者的食指與拇指分開與靠近的動作模擬放大螢幕顯示或縮小螢幕顯示的動作。在不同實施例中，第二動作可以是使用者的手指左右揮動，藉由使用者的手指左右揮動模擬電腦作業系統的視窗轉換的動作。若使用者要從第二輸入模式切換回到第一輸入模式，也就是從模擬滑鼠輸入模式轉換為鍵盤輸入模式，將使用者的手指向下移動一特定角度，電腦即會知道要做切換。

第2A圖~第2F圖顯示本發明之手勢辨識方法的手勢動作的示意圖。如第2A圖所示，當使用者在使用電腦時，使用者雙手的所有手指都放置於鍵盤上，透過鍵盤作文書的輸入工作。而當使用者要從鍵盤的文書處理工作轉換到其他輸入裝置的電腦工作時，例如轉換到模擬滑鼠操作時，如第2B圖所示，使用者右手的食指向上舉超過45度，這時電腦的體感偵測器會偵測到使用者右手食指的移動動作。根據在電腦內的預先設定，體感偵測器所偵測到的食指移動會辨識為輸入模式的轉換，而在電腦螢幕上出現鼠標箭頭圖式，即可確認電腦已經從鍵盤輸入模式轉換到另一周邊裝置的模擬輸入模式。在此所謂的另一周邊裝置可以是滑鼠或手寫板等任何可以在電腦上使用的周邊裝置，在此並不侷限。接著，當使用的手指向下單次點放，體感偵測器則辨識為模擬滑鼠左鍵單擊的模式，如第2C圖所示。然而，若是使用者的手指向下多次點放，體感偵測器則辨識為模擬滑鼠左鍵多擊的模式。另外，若使用者想要放大或縮小螢幕上顯示文字或圖片的尺寸，將使用者的食指與拇指分開或靠近，體感偵測器偵測到使 用者的食指與拇指分開或靠近的動作，將此動作信號傳遞至電腦，電腦立即將螢幕所顯示的文字或圖片放大或縮小，如第2D圖所示。另外，在此需要說明的是，使用者的食指與拇指分開或靠近可以是右手的食指與拇指，或是左有的食指與拇指，在此並不侷限。另外，當模擬滑鼠中間滾輪操作來上下瀏覽頁面，如第2E圖所示，使用者的左手四指平舉並縱向後移動以模擬滑鼠滾輪向後移動螢幕上的頁面，而當使用者的左手四指縱向向前移動以模擬滑鼠滾輪向前移動螢幕上的頁面。然而，在不同實施例中，使用者也可以使用右手模擬滑鼠滾輪的操作，在此並不侷限。而如第2F圖所示，當使用者的手指左右揮動時，電腦辨識為將作業系統的視窗切換的指令，當使用者的手指左右揮動一次，作業系統的視窗就會切換一次。而使用者的手指左右揮動可以是一指左右揮動或是兩指以上的左右揮動，在此並不侷限。

第3圖係顯示本發明之利用體感偵測器的手勢辨識方法的流程圖。如第3圖所示，在此實施例的體感偵測器之手勢辨識方法，包含下列步驟。在步驟S301中，藉由體感偵測器偵測一第一手勢影像訊息，體感偵測器藉由偵測手勢的移動，並將此手勢與儲存於電子裝置內的手勢指令做比對。在步驟S302中，辨識該第一手勢影像訊息對應的一第一操作指令。根據儲存於電腦內的手勢指令，辨識第一手勢影像訊息對應的第一操作指令。然後在步驟S303中，根據第一操作指令將一電子裝置從第一輸入模式切換至第二輸入模式。當電子裝置辨識出第一手勢影像訊息所代表的指令，將電子裝置目前的第一輸入模式切換至第二輸入模式。舉例來說，第一輸入模式可以是鍵盤輸入模式，當電子裝置辨識使用者的第一手勢影像 訊息時，可以從鍵盤輸入模式切換至第二輸入模式。而第二輸入模式可以是模擬滑鼠的輸入模式或是模擬觸控的輸入模式，在此並不侷限。接著，在步驟S304中，藉由體感偵測器偵測一第二手勢影像訊息。在第二輸入模式時，體感偵測器偵測到使用者的第二手勢影像訊息。然後在步驟S305中，辨識該第二手勢影像訊息對應的一第二操作指令。在體感偵測器辨識到第二手勢影像訊息後，電子裝置將此第二手勢影像訊息與儲存於電子裝置內的手勢指令做比對，以找到對應的第二操作指令。最後，在步驟S306中，在電子裝置上執行第二操作指令對應的操作。在此所述的第二操作指令可以是模擬滑鼠左鍵的操作、模擬滑鼠中間滾輪的操作、模擬切換顯示視窗的操作或模擬顯示頁面放大或縮小的操作，在此並不侷限。另外，在此需要說明的是，於本發明之手勢辨識方法所述的體感偵測器較佳為深度攝影機。而本發明之實施例中的電子裝置較佳為桌上型電腦或筆記型電腦，但也可以用於配用鍵盤的平板電腦上，在此並不侷限。

第4圖係顯示本發明之手勢指令辨識系統的方塊圖。如第4圖所示，手勢指令辨識系統40主要包含螢幕402、鍵盤404、體感偵測器406、辨識軟體408與主機410。螢幕402與鍵盤404分別連接至主機410，體感偵測器406設置於螢幕402的上方，且電性連接主機410。另外，體感偵測器406較佳包含深度攝影機，用於偵測使用者在螢幕前面與鍵盤上方的手勢動作影像，然後將手勢影像訊息傳遞給辨識軟體408。辨識軟體408是預先安裝於主機410內，將體感偵測器406所辨識的手勢影像訊息傳遞給辨識軟體408，辨識軟體408將此手勢影像訊息與預先儲存於辨識軟體408的資料庫4082的手勢影像訊息作比對，若辨識軟體找到對應的手勢影像訊息於資料 庫4082內，則執行對應此手勢影像訊息的指令。

雖然本發明已用較佳實施例揭露如上，然其並非用以限定本發明，本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

S102~S106‧‧‧步驟

Claims (13)

1. 一種體感偵測器之手勢辨識方法，其包含：啟動一電子裝置的該體感偵測器；當該體感偵測器偵測一使用者的至少一手指產生一第一動作時，將該電子裝置從一第一輸入模式切換至一第二輸入模式，該第一輸入模式為鍵盤輸入模式，且該第二輸入模式為模擬周邊裝置輸入模式；以及在該第二輸入模式下，該電子裝置根據該體感偵測器偵測該使用者之該至少一手指產生的一第二動作以執行一操作。
2. 如申請專利範圍第1項所述之方法，其中該第一動作為該使用者的該至少一手指向上舉一角度。
3. 如申請專利範圍第1項所述之方法，其中該第二動作為該至少一手指單次點放以模擬一滑鼠左鍵單擊的操作。
4. 如申請專利範圍第1項所述之方法，其中該第二動作為該至少一手指多次點放以模擬一滑鼠左鍵多擊的操作。
5. 如申請專利範圍第1項所述之方法，其中該第二動作為該至少一手指縱向前後移動以模擬滑鼠中間滾輪的操作。
6. 如申請專利範圍第1項所述之方法，其中該第二動作為該至少一手指中的 食指與拇指分開與靠近以模擬視窗放大與縮小。
7. 一種體感偵測器之手勢辨識方法，其包含：藉由該體感偵測器獲得一第一手勢影像訊息；辨識該第一手勢影像訊息對應的一第一操作指令；根據該第一操作指令將一電子裝置從一第一輸入模式切換至一第二輸入模式，該第一輸入模式為鍵盤輸入模式，且該第二輸入模式為模擬周邊裝置輸入模式；藉由該體感偵測器獲得一第二手勢影像訊息；辨識該第二手勢影像訊息對應的一第二操作指令；以及在該電子裝置上執行該第二操作指令對應的一操作。
8. 如申請專利範圍第7項所述之方法，其中該體感偵測器為一深度攝影機。
9. 如申請專利範圍第7項所述之方法，其中該第一手勢影像訊息中包括一第一動作，該第一動作為該使用者的該至少一手指向上舉一角度。
10. 如申請專利範圍第7項所述之方法，其中該第二手勢影像訊息中包括一第二動作，該第二動作為該至少一手指單次點放以模擬一滑鼠左鍵單擊的操作。
11. 如申請專利範圍第7項所述之方法，其中該第二手勢影像訊息中包括一 第二動作，該第二動作為該至少一手指多次點放以模擬一滑鼠左鍵多擊的操作。
12. 如申請專利範圍第7項所述之方法，其中該第二手勢影像訊息中包括一第二動作，該第二動作為該至少一手指縱向前後移動以模擬滑鼠中間滾輪的操作。
13. 如申請專利範圍第7項所述之方法，其中該第二手勢影像訊息中包括一第二動作，該第二動作為該至少一手指中的食指與拇指分開與靠近以模擬視窗放大與縮小。