TWI522892B

TWI522892B - 具有虛擬輸入功能的電子裝置

Info

Publication number: TWI522892B
Application number: TW103112721A
Authority: TW
Inventors: 林修本
Original assignee: 宏碁股份有限公司
Priority date: 2014-04-07
Filing date: 2014-04-07
Publication date: 2016-02-21
Also published as: TW201539303A

Description

具有虛擬輸入功能的電子裝置

本發明是有關於一種電子裝置，且特別是有關於一種具有虛擬輸入功能的電子裝置。

隨著科技的發展，更複雜且更人性化的電子產品已推陳出新。舉例而言，筆記型電腦(laptop computer)、平板電腦(tablet computer)以及智慧型手機(smart phone)已與一般桌上型電腦(desktop computer)具有相同的功能，再加上體積小以及重量輕等特點，讓使用者可隨身攜帶，已然成為一般人生活及工作當中不可或缺的重要工具。

然而，目前使用者在使用智慧型手機或是平板電腦等無實體鍵盤以及滑鼠的電子裝置時，使用者得以手寫或操作螢幕上所顯示的虛擬鍵盤來進行文書處理，相對地不方便。而若搭配實體鍵盤以及滑鼠，則增加攜帶體積以及重量，則破壞了攜帶性。

有鑑於此，本發明提供一種電子裝置，其可在沒有實體輸入裝置的情況下，提供使用者更方便且直覺性的操作。

本發明提供一種電子裝置，其包括螢幕、影像擷取單元、儲存單元以及處理單元，其中影像擷取單元設置於電子裝置的背面，處理單元耦接螢幕、影像擷取單元以及儲存單元。影像擷取單元用以擷取使用者的連續多個手部影像。儲存單元用以記錄多個模組。處理單元用以存取並執行儲存單元中記錄的所述模組。所述模組包括：顯示模組、整合模組、辨識模組、映射模組以及輸入模組。顯示模組用以在螢幕上顯示使用者介面。整合模組用以整合使用者介面與各所述手部影像，以產生多個整合影像，其中顯示模組又在螢幕上顯示各所述整合影像螢幕。辨識模組用以根據各所述手部影像，辨識使用者的手勢。映射模組用以取得各所述手部影像中上述手勢相對於使用者介面的位置，以產生多個偵測位置。輸入模組用以在使用者介面上的偵測位置產生對應於上述手勢的輸入訊號，據以操作使用者介面。

本發明另提供一種電子裝置，其包括螢幕、影像擷取單元、收發單元、儲存單元以及處理單元，其中影像擷取單元以及收發單元設置於電子裝置的背面，處理單元耦接螢幕、影像擷取單元、收發單元以及儲存單元。影像擷取單元用以擷取使用者的連續多個手部影像。收發單元具有發送器以及接收器。儲存單元用以記錄多個模組。處理單元用以存取並執行儲存單元中記錄的所述模組。所述模組包括：顯示模組、整合模組、偵測模組、映射模組以及輸入模組。顯示模組用以在螢幕上顯示使用者介面。整合模組用以整合使用者介面與各所述手部影像，以產生多個整合影像，其中顯示模組又在螢幕上顯示各所述整合影像螢幕。偵測模組利用收發單元偵測使用者的手勢，其中上述手勢對應於影像擷取單元所擷取的各所述手部影像。映射模組用以取得上述手勢相對於使用者介面上的位置，以產生多個偵測位置。輸入模組用以在使用者介面上的偵測位置產生對應於上述手勢的輸入訊號，據以操作使用者介面。

基於上述，本發明的電子裝置可提供使用者在電子裝置以外的位置來對使用者介面進行虛擬輸入操作，其係藉由辨識使用者的手勢及其位置，將手勢位置映射至使用者介面的相對位置，進而在所述相對位置產生對應的輸入訊號。因此，使用者於電子裝置以外的位置的手勢操作可對應地在使用者介面產生輸入訊號，從而操作使用者介面。此外，本發明的電子裝置更整合使用者介面以及手部影像，從而讓使用者可在螢幕畫面上看到手部以及使用者介面上的物件之相對關係。據此，使用者可在不攜帶實體鍵盤或滑鼠等輸入裝置的情況下，達到接近利用實體輸入裝置來操作電子裝置的效果，並且提供使用者更直覺性的操作。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100、400‧‧‧電子裝置

110、410‧‧‧螢幕

120、420‧‧‧影像擷取單元

425‧‧‧收發單元

130、430‧‧‧儲存單元

131、431‧‧‧顯示模組

132、432‧‧‧整合模組

133‧‧‧辯識模組

433‧‧‧偵測模組

134、434‧‧‧映射模組

135、435‧‧‧切換模組

140、440‧‧‧處理單元

S201~S211、S501~S511‧‧‧虛擬輸入操作的方法

30‧‧‧整合影像

32‧‧‧虛擬鍵盤

34‧‧‧使用者介面

A‧‧‧手部

A’‧‧‧手部影像

圖1是依照本發明一實施例所繪示之電子裝置的方塊圖。

圖2是依照本發明一實施例所繪示之虛擬輸入操作的方法流程圖。

圖3是根據本發明之一實施例所繪示的電子裝置的使用情境示意圖。

圖4是依照本發明另一實施例所繪示之電子裝置的方塊圖。

圖5是依照本發明另一實施例所繪示之虛擬輸入操作的方法流程圖。

目前使用者在使用智慧型手機或是平板電腦等無實體鍵盤以及滑鼠的電子裝置時，使用者得以手寫或操作螢幕上所顯示的虛擬鍵盤來進行文書處理，相對地不方便。本發明所提出的電子裝置除了可提供使用者在電子裝置以外的位置來對使用者介面進行虛擬輸入操作，更利用電子裝置的影像擷取裝置拍攝使用者的手部影像，以將手部影像整合於使用者介面上，使得使用者可在螢幕畫面上看到手部以及使用者介面上的物件之相對位置關係，提供使用者更直覺性的操作。為了使本發明之內容更為明瞭，以下特舉實施例，做為本發明確實能夠據以實施的範例。

圖1是依照本發明一實施例所繪示之電子裝置的方塊圖。請參照圖1，本實施例的電子裝置100例如是平板電腦、個人數位助理、智慧型手機、一體成型電腦、電子書等具有顯示功能的電子裝置，本發明並不針對電子裝置100的種類加以限制。電子裝置100包括螢幕110、影像擷取單元120、儲存單元130以及一或多個處理單元140，其功能分述如下。

螢幕110其係用以顯示電子裝置100輸出的畫面而提供給使用者觀看。在本實施例中，螢幕110例如是液晶顯示器(Liquid Crystal Display，LCD)、發光二極體(Light-Emitting Diode，LED)顯示器、場發射顯示器(Field Emission Display，FED)或其他種類的顯示器。然而，雖然本發明的電子裝置100具有虛擬輸入功能，螢幕110仍可以例如是由電阻式、電容式或其他種類的觸碰感應元件與液晶顯示器整合而成，本發明不在此設限。

影像擷取模組120包括至少一鏡頭，其設置於電子裝置100的背面並且包括感光元件，用以分別感測進入各所述鏡頭的光線強度，進而產生影像。所述的感光元件例如是電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他元件，本發明不在此設限。

儲存單元130例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合，而用以記錄可由處理單元140執行的多個模組，這些模組可載入處理單元140以執行虛擬輸入操作的功能。

處理單元140例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合。處理單元140耦接至螢幕110、影像擷取單元120以及儲存單元130，而可存取並執行記錄在儲存單元130中的模組。

上述模組包括顯示模組131、整合模組132、辯識模組133、映射模組134以及切換模組135，這些模組例如是電腦程式，其可載入處理單元140，從而執行虛擬輸入操作的功能。

圖2是依照本發明一實施例所繪示之虛擬輸入操作的方法流程圖。請參照圖2，本實施例的方法適用於圖1的電子裝置100，以下即搭配電子裝置100中的各項元件說明本發明之虛擬輸入操作的方法之詳細步驟。

請參照圖1以及圖2，首先處理單元140利用顯示模組131將使用者介面顯示於螢幕110(步驟S201)。在此，使用者介面可以例如是視窗作業系統提供的動態磚(tiles)介面、網頁瀏覽介面、電子郵件介面、桌面背景或其他軟體程式所提供的顯示介面等，本發明不在此設限。

接著，處理單元140利用影像擷取單元120擷取使用者的連續多個手部影像(步驟S203)。詳言之，在本實施例中，使用者可在桌面上對使用者介面進行操作。電子裝置100可以是斜立於桌面上，其中影像擷取單元120面向桌面，以不斷擷取使用者的手部影像。然而，本發明不限於此。在其它的實施例中，使用者可在影像擷取單元120可拍攝到的位置，例如是任一平面甚至於懸空的方式，對使用者介面進行操作。

之後，處理單元140利用整合模組132整合使用者介面與各所述手部影像，以產生多個整合影像，再利用顯示模組131將各所述整合影像顯示於螢幕110(步驟S205)。詳言之，整合模組132可將各所述手部影像套疊於使用者介面，以產生所述整合影像。在一實施例中，套疊於使用者介面的各所述手部影像可以是以半透明的視覺效果呈現，來避免使用者介面上的物件被手部影像遮蔽，然而，本發明不在此設限。在其它的實施例中，整合模組132可根據使用者介面上的物件類型，來決定各所述整合影像的視覺效果。

接著，處理單元140將利用辨識模組133，根據各所述手部影像，辨識使用者的手勢(gesture)(步驟S207)。詳言之，辨識模組133可先在各所述手部影像中偵測出手部的位置。在一實施例中，辨識模組133可利用特徵提取演算法(feature extraction algorithm)結合用以偵測移動物體的動態移動演算法(motion detection algorithm)，偵測出各所述手部影像中手部的位置以及移動軌跡，據以辨識使用者於桌面的手勢操作。此外，在一實施例中，儲存單元130可儲存預先經過訓練的多個手勢模板影像 (template image)。辨識模組133則可根據所述手部影像的移動軌跡，與各所述手勢模板影像進行比對，來辨識使用者於桌面的手勢操作。

之後，處理單元140將利用映射模組134取得各所述手部影像中上述手勢相對於使用者介面上的位置，以產生多個偵測位置(步驟S209)。詳言之，各所述手部影像與使用者介面的畫面存在著位置的映射關係(mapping relation)。處理單元140在步驟S207取得上述手勢於各所述手部影像中的位置後，將會利用上述映射關係取得相對於使用者介面上的位置，也就是前述的「偵測位置」。

在一實施例中，各所述手部影像與使用者介面的畫面之映射關係可以預先以一查找表(look-up table)的形式預存在電子裝置100的儲存單元130，以在此將此查找表定義為「第一查找表」。查找表的輸入索引為各所述手部影像的座標，查找表的輸出為使用者介面的座標。在本實施例中，前述的「座標」可以為手部影像以及使用者介面中的畫素座標。據此，映射模組134可將上述手勢於各所述手部影像的座標輸入至第一查找表，以取得使用者介面上的偵測位置。

處理單元140在利用映射模組134取得使用者介面上的偵測位置後，將利用輸入模組135於偵測位置上產生對應於上述手勢的輸入訊號，據以操作使用者介面(步驟S211)。詳言之，由於處理單元140已利用映射模組134取得的偵測位置，也就是使用者欲對使用者介面操作的位置，處理單元140將利用輸入模組135，依照上述手勢的移動軌跡依序地在偵測位置上產生輸入訊號，使得使用者於桌面的手勢操作可對應地在使用者介面產生輸入訊號，從而操作使用者介面。

值得一提的是，前述的電子裝置100提供使用者在例如是桌面等電子裝置100以外的操作介面來對使用者介面上的物件進行操作。在一實施例中，使用者介面上的物件可以是虛擬鍵盤或是虛擬滑鼠。以下將以虛擬鍵盤來說明電子裝置100的應用範例。

圖3是根據本發明之一實施例所繪示的電子裝置100的使用情境示意圖。

在本實施例中，使用者介面為電子郵件介面。此外，使用者介面包括虛擬鍵盤。請同時參照圖1以及圖3，當處理單元140在步驟S205中利用整合模組132整合使用者介面34與手部A的連續影像(亦即，手部影像A’)後，會產生整合影像30，其中使用者介面34更包括虛擬鍵盤32。在本實施例中，手部影像A’為半透明影像，以使虛擬鍵盤32的按鍵不被手部影像A’所遮蔽。在其它實施例中，亦可以選擇性地讓虛擬鍵盤32以半透明的方式呈現。

之後，辨識模組133則會根據手部影像A’，辨識使用者的手勢為鍵盤敲擊手勢(keystroke)。處理單元140可利用映射模組134取得手部影像A’中的鍵盤敲擊手勢相對於虛擬鍵盤32的按鍵位置。輸入模組135可在各所述按鍵位置產生輸入訊號，據以操作虛擬鍵盤。舉例來說，手部影像A’中的鍵盤敲擊手勢相對於虛擬鍵盤32的按鍵位置為按鍵G時，輸入模組135將在虛擬鍵盤32的按鍵G產生輸入訊號，而使用者介面34則會在打字游標處顯示字母「G」。

上述實施例主要是利用圖形辨識(pattern recognition)的技術來辨識使用者的操作手勢。在另一實施例中，更可利用頻率訊號偵測的技術來辨識使用者的操作手勢。

圖4是依照本發明另一實施例所繪示之電子裝置的方塊圖。請參照圖1，本實施例的電子裝置400例如是平板電腦、個人數位助理、智慧型手機、電子書等具有顯示功能的電子裝置，本發明並不針對電子裝置400的種類加以限制。電子裝置400包括螢幕410、影像擷取單元420、收發單元425、儲存單元430以及一或多個處理單元440。影像擷取單元420以及收發單元425設置於電子裝置400的背面，而處理單元440耦接螢幕410、影像擷取單元420、收發單元425以及儲存單元430。

收發單元425包括發送器(transmitter)以及接收器(receiver)。在本實施例中，收發單元為紅外線收發器(infrared transmitter/receiver)。在其它實施例中，收發單元430可以為其它頻率訊號的收發器，本發明不在此設限。

在本實施例中，螢幕410、影像擷取單元420、儲存單元430以及處理單元440的結構以及功能類似於螢幕110、影像擷取單元120、儲存單元130以及處理單元140，相同之處於此不再贅述。不同之處在於，本實施例中的儲存單元440所儲存的模組包括顯示模組431、整合模組432、偵測模組433、映射模組434以及切換模組435。類似地，這些模組例如是電腦程式，其可載入處理單元440，從而執行虛擬輸入操作的功能。

圖5是依照本發明另一實施例所繪示之虛擬輸入操作的方法流程圖。請參照圖5，本實施例的方法適用於圖4的電子裝置400，以下即搭配電子裝置400中的各項元件說明本發明之虛擬輸入操作的方法的詳細步驟。

請參照圖4以及圖5，首先處理單元440利用顯示模組431將使用者介面顯示於螢幕410(步驟S501)。接著，處理單元440利用影像擷取單元420擷取使用者的連續多個手部影像(步驟S503)。之後，處理單元440利用整合模組432整合使用者介面與各所述手部影像，以產生多個整合影像，再利用顯示模組431將各所述整合影像顯示於螢幕410(步驟S505)。步驟S501、步驟S503以及步驟S505類似於步驟S201、步驟S03以及步驟S205，請參照前述段落的相關說明，於此不再贅述。

處理單元440將利用偵測模組433藉由收發單元425偵測使用者的手勢(步驟S507)。在本實施例中，偵測模組443可藉由收發單元425發送以及反射的紅外線來偵測並且定位上述手勢。換言之，偵測模組443可利用收發單元425偵測手勢的移動軌跡以及手勢於真實空間中的位置。

必須說明的是，在其它實施例中，處理單元440亦可先執行步驟S507，以利用偵測模組433偵測出使用者的手勢後，再執行步驟S503以及步驟S505，以將產生的整合影像顯示於螢幕410，本發明不在此設限。

之後，處理單元450將利用映射模組434取得各所述手部影像中上述手勢相對於使用者介面上的位置，以產生多個偵測位置(步驟S509)。詳言之，上述手勢於真實空間中的位置與使用者介面的畫面存在著位置的映射關係。處理單元440在步驟S507取得上述手勢於真實空間中的位置後，將會利用上述映射關係取得相對於使用者介面上的位置，也就是前述的「偵測位置」。

在一實施例中，上述手勢與使用者介面的畫面之映射關係可以預先以一查找表的形式預存在電子裝置400的儲存單元430，以在此將此查找表定義為「第二查找表」。查找表的輸入索引為各所述手勢的真實座標(actual coordinates)，查找表的輸出為使用者介面的座標(例：畫素座標)。據此，映射模組434可將上述手勢的真實座標輸入至第二查找表，以取得使用者介面上的偵測位置。

接著，處理單元450將利用輸入模組435於偵測位置上產生對應於上述手勢的輸入訊號，據以操作使用者介面(步驟S511)。步驟S511類似於步驟S211，請參照前述段落的相關說明，於此不再贅述。

類似於圖3的使用情境，在一實施例中，電子裝置400 的顯示模組410亦顯示包括虛擬鍵盤或是虛擬滑鼠。在此的偵測模組433可偵測使用者的手勢為鍵盤敲擊手勢，並且直接定位鍵盤敲擊手勢的真實座標。處理單元440可利用映射模組434取得鍵盤敲擊手勢的真實位置相對於虛擬鍵盤32的按鍵位置。輸入模組435可在各所述按鍵位置產生輸入訊號，從而操作使用者介面上的虛擬鍵盤。

綜上所述，本發明的電子裝置可提供使用者在電子裝置以外的位置來對使用者介面進行虛擬輸入操作，其係藉由辨識使用者的手勢及其位置，將手勢位置映射至使用者介面的相對位置，進而在所述相對位置產生對應的輸入訊號。因此，使用者於電子裝置以外的位置的手勢操作可對應地在使用者介面產生輸入訊號，從而操作使用者介面。此外，本發明的電子裝置更整合使用者介面以及手部影像，從而讓使用者可在螢幕畫面上看到手部以及使用者介面上的物件之相對關係。據此，使用者可在不攜帶實體鍵盤或滑鼠等輸入裝置的情況下，達到接近利用實體輸入裝置來操作電子裝置的效果，並且提供使用者更直覺性的操作。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S201~S211‧‧‧虛擬輸入操作的方法

Claims

一種電子裝置，包括：一螢幕；一影像擷取單元，設置於該電子裝置的背面，以擷取一使用者的連續多個手部影像；一儲存單元，記錄多個模組；以及一或多個處理單元，耦接該螢幕、該影像擷取單元以及該儲存單元，以存取並執行該儲存單元中記錄的所述模組，所述模組包括：一顯示模組，顯示一使用者介面於該螢幕；一整合模組，整合該使用者介面與各所述手部影像，以產生多個整合影像，其中該顯示模組顯示各所述整合影像於該螢幕；一辨識模組，根據各所述手部影像，辨識該使用者的一手勢；一映射模組，取得各所述手部影像中該手勢相對於該使用者介面的位置，以產生多個偵測位置；以及一輸入模組，產生對應於該手勢的一輸入訊號於該使用者介面上的所述偵測位置，據以操作該使用者介面，其中該儲存單元包括一第一查找表，其中該第一查找表的輸入索引為各所述手部影像的座標，該第一查找表的輸出為該使用者介面的座標，其中該映射模組輸入該手勢於各所述手部影像的座標於該第一查找表，以取得該使用者介面上的所述偵測位置。
如申請專利範圍第1項所述的電子裝置，其中該儲存單元包括多個手勢模板影像，該辨識模組根據所述手部影像中手部的位置以及移動軌跡，比對所述手部影像與所述手勢模板影像，據以辨識該手勢。
如申請專利範圍第1項所述的電子裝置，其中該使用者介面包括一虛擬鍵盤，該辨識模組根據各所述手部影像，辨識該使用者的該手勢為一鍵盤敲擊手勢，該映射模組取得各所述手部影像中該鍵盤敲擊手勢相對於該虛擬鍵盤的一按鍵位置，而該輸入模組產生該輸入訊號於該虛擬鍵盤的該按鍵位置，據以操作該虛擬鍵盤。
一種電子裝置，包括：一螢幕；一影像擷取單元，設置於該電子裝置的背面，以擷取一使用者的連續多個手部影像；一收發單元，設置於該電子裝置的背面，並且具有一發送器以及一接收器；一儲存單元，記錄多個模組；以及一或多個處理單元，耦接該螢幕、該影像擷取單元、該收發單元以及該儲存單元，以存取並執行該儲存單元中記錄的所述模組，所述模組包括：一顯示模組，顯示一使用者介面於該螢幕；一整合模組，整合該使用者介面與各所述手部影像，以產生多個整合影像，其中該顯示模組顯示各所述整合影像於該螢幕；一偵測模組，利用該收發單元，以偵測該使用者的一手勢，其中該手勢對應於該影像擷取單元所擷取的各所述手部影像；一映射模組，取得該手勢相對於該使用者介面上的位置，以產生多個偵測位置；以及一輸入模組，產生對應於該手勢的一輸入訊號於該使用者介面上的所述偵測位置，據以操作該使用者介面，其中該儲存單元包括一第二查找表，其中該第二查找表的輸入索引為該手勢的於該真實空間中的座標，該第二查找表的輸出為該使用者介面的座標，其中該映射模組輸入該手勢於該真實空間中的座標於該第二查找表，以取得該使用者介面的所述偵測位置。
如申請專利範圍第4項所述的電子裝置，其中該偵測模組利用該收發單元，偵測該手勢的移動軌跡以及該手勢於一真實空間中的位置。
如申請專利範圍第4項所述的電子裝置，其中該使用者介面包括一虛擬鍵盤，該偵測模組根據各所述手部影像，辨識該使用者的該手勢為一鍵盤敲擊手勢，該映射模組取得該鍵盤敲擊手勢相對於該虛擬鍵盤的一按鍵位置，而該輸入模組產生該輸入訊號於該虛擬鍵盤的該按鍵位置，據以操作該虛擬鍵盤。