TW201439813A

TW201439813A - 顯示設備及其控制系統和方法

Info

Publication number: TW201439813A
Application number: TW102112267A
Authority: TW
Inventors: Yung-Long Lai
Original assignee: Hon Hai Prec Ind Co Ltd
Priority date: 2013-04-08
Filing date: 2013-04-08
Publication date: 2014-10-16
Also published as: US9525906B2; TWI486815B; US20140304736A1

Abstract

一種顯示設備，與一移動電子裝置通訊連接。該顯示設備偵測控制物在第一二維空間的移動資訊，移動電子裝置偵測控制物在第二二維空間的移動資訊。然後，顯示設備根據控制物在第一、第二二維空間的移動資訊計算得到控制物的三維座標，以控制顯示設備執行相應的操作。

Description

顯示設備及其控制系統和方法

本發明涉及一種顯示設備及其控制系統和方法。

大多數的電視機，如數位電視和網路電視等大多使用遙控器或按鍵進行遙控。用戶在使用日趨複雜的遙控器時，需要熟悉不同遙控器的功能，顯得不太方便。隨著Smart TV（智慧型電視）的問世，容易使用的人機對話模式顯得越來越重要。透過手勢對著電視機進行控制，實現不須透過另一器具傳達意念，將是更直接更人性化的操作方式。目前，實現手勢控制的方法大多利用攝像機做3D手勢的偵測。然而，3D手勢的偵測需要複雜的演算法或其他的光學量測做輔助，困難度高且不容易實現。

鑒於以上內容，有必要提供一種顯示設備的控制系統，該系統包括第一攝像單元、設定單元、第一偵測單元、控制單元、第二攝像單元以及第二偵測單元，第一攝像單元與第二攝像單元放置於不同位置攝取影像。其中：設定單元用於設定一控制物在一三維坐標系中的初始三維座標，該三維坐標系包括一第一二維空間以及一第二二維空間；第一偵測單元用於透過分析第一攝像單元獲取的影像偵測所述控制物在第一二維空間的移動資訊，控制物在第一二維空間的移動資訊包括控制物在第一二維空間的移動方向和移動距離；第二偵測單元用於透過分析第二攝像單元獲取的影像偵測所述控制物在第二二維空間的移動資訊，該控制物在第二二維空間的移動資訊包括控制物在第二二維空間的移動方向和移動距離；及控制單元用於根據所述控制物在第一二維空間和第二二維空間的移動資訊以及所述初始三維座標計算得到所述控制物的當前三維座標，並控制顯示設備執行相應的操作。

還有必要提供一種顯示設備的控制方法，該顯示設備與一移動電子裝置通訊連接。該顯示設備包括第一攝像單元，該移動電子裝置包括第二攝像單元，該方法包括：顯示設備設定一控制物在一三維坐標系中的初始三維座標，在一三維坐標系中的初始三維座標，該三維坐標系包括一第一二維空間以及一第二二維空間；顯示設備透過分析第一攝像單元獲取的影像偵測所述控制物在第一二維空間的移動資訊，控制物在第一二維空間的移動資訊包括控制物在第一二維空間的移動方向和移動距離；移動電子裝置透過分析第二攝像單元獲取的影像偵測所述控制物在第二二維空間的移動資訊，該控制物在第二二維空間的移動資訊包括控制物在第二二維空間的移動方向和移動距離；及顯示設備根據所述控制物在第一二維空間和第二二維空間的移動資訊以及所述初始三維座標計算得到所述控制物的當前三維座標，並控制顯示設備執行相應的操作。

此外，還有必要提供一種顯示設備，與一移動電子裝置通訊連接，該顯示設備包括第一攝像單元、該移動電子裝置包括第二攝像單元，第一攝像單元與第二攝像單元放置於不同位置攝取影像。該顯示設備還包括：設定單元，用於設定一控制物在一三維坐標系中的初始三維座標，該三維坐標系包括一第一二維空間以及一第二二維空間；第一偵測單元，用於透過分析第一攝像單元獲取的影像偵測所述控制物在第一二維空間的移動資訊，控制物在第一二維空間的移動資訊包括控制物在第一二維空間的移動方向和移動距離；控制單元用於根據所述控制物在第一二維空間和第二二維空間的移動資訊以及所述初始三維座標計算得到所述控制物的當前三維座標，並控制顯示設備執行相應的操作，其中：控制物在所述第二二維空間的移動資訊由移動電子裝置透過分析第二攝像單元獲取的影像得到並發送給控制單元。

相較於習知技術，本發明透過顯示設備和移動電子裝置分別對控制在不同二維空間的移動資訊進行偵測，實現對顯示設備的控制，無需顯示設備單獨做複雜的3D運算即可實現運動物體（如手指）對顯示設備的控制，降低了運算的複雜度，可提高對顯示設備的控制速度。

100．．．顯示設備

10．．．第一攝像單元

200．．．移動電子裝置

20．．．第二攝像單元

300．．．支撐物

111．．．設定單元

112．．．第一偵測單元

113．．．控制單元

21．．．觸控屏

201．．．初始化單元

202．．．第二偵測單元

圖1是一顯示設備與一移動電子裝置通訊連接的示意圖。

圖2是所述顯示設備以及移動電子裝置包括各功能單元的示意圖。

圖3是本發明較佳實施例中利用所述移動電子裝置對顯示設備進行控制的方法的流程圖。

圖4是用戶使用手掌觸摸移動電子裝置的觸控屏時獲取到的由多個觸控點構成的類手掌圖形的示意圖。

圖5是用戶使用五個手指觸摸觸控屏時產生的五個觸控點的示意圖。

圖6是本發明交加實施例中建立一三維坐標系的示意圖。

圖7是用戶的手指在三維空間中移動的示意圖。

圖8是用戶的手指在一預定方向上的移動距離的示意圖。

圖9是另一實施例中確定食指初始座標的示意圖。

圖10是另一實施例中確定食指在三維座標系的初始三維座標的示意圖。

下面結合附圖將對本創作實施方式作進一步的詳細說明。

一並參閱圖1和圖2所示，本發明提供的一顯示設備的控制系統，包括相互進行通訊連接的顯示設備100與一移動電子裝置200。該顯示設備100可以是，但不限於，智慧型電視、數位高清電視、網路電視等。該移動電子裝置200可以是，但不限於，平板電腦、智慧型手機等。本實施中，顯示設備100包括第一攝像單元10，移動電子裝置200包括第二攝像單元20。第一攝像單元10以及第二攝像單元20可為，但不限於，高清攝像頭或高清攝影機。該第一攝像單元10以及第二攝像單元20均用於對用戶的手勢進行拍攝，以用於對顯示設備100進行控制。為方便用戶的操作，移動電子裝置200被放置於顯示設備100正前方的一支撐物300上。顯示設備100提供一圖形用戶介面（Graphic User Interface，GUI）供用戶進行操作。顯示設備100可透過藍牙、WIFIR、Zigbee等短距離無線通訊方式進行通訊連接，以實現顯示設備100與移動電子裝置200之間的資料傳輸和交互。

所述顯示設備100進一步包括設定單元111、第一偵測單元112以及控制單元113。移動電子裝置200還包括觸控屏21、初始化單元201以及第二偵測單元202。所述觸控屏21為支援多點觸控操作的電容屏或電阻屏。優選地，該觸控屏21為電容屏。

如圖3所示，是本發明較佳實施例中利用所述移動電子裝置200對顯示設備100進行控制的方法的流程圖。本實施例中，用戶可使用手指在所述第一攝像單元10以及第二攝像單元20的影像攝取範圍內移動的方式對顯示設備100進行控制。為方便說明，本實施例中，假設用戶使用食指對顯示設備100進行控制。在其他實施例中，用戶也可使用其他手指，觸控筆或遙控設備等控制物對顯示設備100進行控制。此外，所述的方法並不受限於下述步驟的順序，且該方法也可以只包括以下所述步驟的其中一部分，也即其中的部分步驟可以被省略。

下面結合圖3中的各流程步驟，對顯示設備100以及移動電子裝置200中的各元件進行詳細介紹。

步驟S1，所述初始化單元201偵測用戶對觸控屏21的一初始化操作，並獲取用戶的食指在該觸控屏21上的觸控點的座標作為初始座標。本實施例中，所述初始化觸摸操作為一預設的多點觸控操作。例如，一實施例中，該預設的多點觸控操作可為用戶使用手掌對觸控屏21執行的多點觸控操作。該初始座標為觸控點在觸控屏21上的二維座標。

例如圖4所示，該初始化單元201可利用觸控屏21的多點觸控功能，獲取用戶的手掌觸摸觸控屏21時的多個觸控點的位置座標（Xn，Yn），n=1,2,3,4,…。然後，使用類手掌圖形辨識方法辨識為用戶使用手掌進行的一觸控操作，那麼該觸控操作則被識別為所述初始化操作。當偵測到該初始化操作時，可將獲取到的類手掌圖形中食指的指尖點（如f1）在觸控屏21上的座標，如（X0，Y0），作為所述初始座標。

如圖5所示，所述初始化操作也可以是用戶五個手指對觸控屏21執行的五點觸控操作，初始化單元201在偵測到五點觸控操作時，可將其中左邊的第二點作為所述食指的觸控點，並將該觸控點的座標作為所述初始座標。在其他實施例中，所述初始化操作也可以是其他任何控制物對觸控屏21執行的觸摸操作，例如一超過預定時間的長按操作。

步驟S2，所述初始化單元201將所述初始座標發送至顯示設備100的設定單元，對顯示設備100顯示的游標的位置進行初始化。

步驟S3，所述設定單元111根據初始化單元201發送的初始座標，定位游標的初始位置，並設定用戶食指的初始三維座標。

具體地，該初始三維座標為該食指在一特定的三維坐標系中的座標值。且食指的初始三維座標為食指一特定點（如指尖點）在該特定的三維坐標系中的三維座標。所述特定的三維坐標系定義一三維空間，該三維空間包括一第一二維空間以及一第二二維空間。

例如圖6所示，可以移動電子裝置200所在的平面或與該移動電子裝置200平行的面作為第一二維空間（如，P1），以顯示設備100所在的平面或與該顯示設備100平行的平面作為第二二維空間（如，P2），然後以該第一二維空間和第二二維空間建立所述特定的三維坐標系，例如圖5所示的三維坐標系XYZ。此外，該第一二維空間和第二二維空間組成一三維空間（如，S1），用戶的食指F可在該三維空間中移動，使得顯示設備100的第一攝像單元10可以攝取到食指F在第二二維空間上的移動，移動電子裝置200的第二攝像單元20可以攝取到食指F在第一二維空間上的移動。

所應說明的是，在一較佳的實施例中，顯示設備100所在的平面與移動電子裝置200所在的平面垂直，也即所述第一二維空間垂直於第二二維空間。由於所述初始座標（X0，Y0）為用戶在觸摸觸控屏21時取得，因此，可以認為該初始座標（X0，Y0）對應的觸控點在Z軸方向上的座標為0，所述初始三維座標可以設定為：（X0，Y0，0）。

步驟S4，所述第一偵測單元112透過第一攝像單元10偵測食指在第一二維空間的移動資訊，該食指在第一二維空間的移動資訊包括食指在第一二維空間的移動方向和移動距離，例如在所述X軸方向和Z軸方向上的移動距離。

具體地，第一偵測單元112控制第一攝像單元10獲取用戶食指的即時影像，並對攝取的即時影像進行影像分析，從而偵測食指在第一二維空間的移動資訊。例如，第一偵測單元112先從連續的若干圖像中獲取食指的當前幀影像和前一幀影像，然後使用動態物體偵測技術針對該當前幀影像和前一幀影像中的移動物體（食指）進行偵測，然後根據偵測到的食指在兩幀影像中的位置資訊（如指尖點的位置座標）得到食指在第一二維空間的移動資訊。

步驟S5，所述第二偵測單元202透過第二攝像單元20偵測食指在第二二維空間的移動資訊並發送給顯示設備100的控制單元113。該食指在第二二維空間的移動資訊包括食指在第二二維空間的移動方向和移動距離，例如在所述X軸方向和Y軸方向上的移動距離。第二偵測單元202偵測食指在第二二維空間的移動資訊的方法跟第一偵測單元112偵測食指在第一二維空間的移動資訊的方法類似，此處不再贅述。

步驟S6，所述控制單元113根據食指在第一二維空間和第二二維空間的移動資訊以及所述初始三維座標計算得到食指的當前三維座標，以控制顯示設備100執行相應的操作。當得到該當前三維座標後，所述設定單元111將所述初始三維座標更新為該當前三維座標，以便於食指在下一次移動後，用於計算食指的下一個三維座標。

例如圖7所示，顯示設備100的第一偵測單元112偵測食指在第一二維空間朝X、Z方向上的移動距離a、b，移動電子裝置200的第二偵測單元202偵測食指在第二二維空間朝X、Y方向的移動距離c、d，然後控制單元113可根據該移動距離a、b、c、d得到食指在三維空間的移動資訊，並進一步根據食指在三維空間的該移動資訊以及所述初始三維座標獲取食指的當前三維座標。其中，距離a等於距離d。

在一實施例中，控制單元113可根據食指的當前三維座標控制顯示設備100的游標移動對顯示設備100顯示的功能表進行操作。或者，當用戶使用顯示設備100玩3D遊戲是，可根據食指的三維座標的變化控制3D遊戲中虛擬人物或游標在3D畫面中的移動。此外，可根據食指在任意方向上的移動量控制顯示設備100執行相應的操作。例如，當食指在一預定方向上的移動距離超過一預設值（如10cm）時，控制顯示設備100執行一預定操作，如選擇游標當前指向的一個操作項，從而使得顯示設備100可根據食指的移動對顯示設備100進行完整的控制。其中，所述預定方向可為所述X軸方向、Y軸方向、Z軸方向的其中之一。

例如圖8所示，當食指在Y方向上的移動距離大於S（10cm）時，可控制顯示設備100執行一次點擊（click）動作，以選中或打開游標當前指向的操作項。

又如，當食指在X方向上的移動距離大於S（10cm）時，可控制顯示設備100進入文字輸入介面，此時用戶可使用移動電子裝置200進行文字輸入，然後移動電子裝置200將用戶輸入的文字傳輸至顯示設備100的文字輸入介面進行顯示。依據食指的三維座標控制顯示設備100的方式可根據需求任意設定，如還可根據食指的三維座標的變化確定食指的運動軌跡，然後由該運動軌跡控制顯示設備執行相應的操作。

在另一實施例中，可以按照以下方法確定所述初始座標（X0，Y0）。具體地，如圖9所示，所述移動電子裝置200進一步包括一靠近第二攝像單元20的LED 22，由LED 22發出光線訊號，當顯示設備100在攝像單元10所拍攝的連續影像（如第N幀、第N+1幀、第N+2幀…）中拍攝到該光線訊號時，根據食指觸碰移動電子裝置200的觸摸屏21的觸摸點座標，如（X1，Y1），移動電子裝置200根據該觸摸點的座標計算出觸摸點相對於LED 22的距離（∆a0，∆b0），然後由該觸摸點座標（X1，Y1）以及（∆a0，∆b0）得到食指的初始位置（X0，Y0）。其中，X0=X1+∆a0，Y0=Y1+∆b0。其中，∆a0代表觸摸點（X1，Y1）在X方向與LED 22的距離，∆b0代表觸摸點（X1，Y1）在Y方向與LED 22的距離。

此外，也可以由以下方法確定所述初始三維座標。例如圖10所示，因移動電子裝置200的第二攝像單元20的拍攝角度有所限制，食指與第二攝像單元20的距離太近或角度過大則會導致無法偵測到食指的移動，從而存在如圖10所示第一攝像單元10拍攝範圍內第二攝像單元20無法拍攝到的盲區。基於該問題可通過以下方法確定所述初始三維座標以減少盲區對追蹤食指帶來的影響。

首先，通過食指接觸觸摸屏21通知顯示設備100使用第一攝像單元10拍攝食指的初始點A1，得到在第一二維空間的初始座標，如（a0，b0），此時食指即處於圖10所示的盲區，第二攝像單元20無法拍攝到食指。然後，當食指移至第二攝像單元20的可視區（如由圖10中的A1移至A2時），移動電子裝置200使用第二攝像單元20拍攝食指，取得食指在第二二維空間的初始座標，如（c0，d0）。最後，由（a0，b0）和（c0，d0）確定所述初始三維座標（X0，Y0，Z0）。

本發明的顯示設備100和移動電子裝置200對用戶的手指的移動分別做平面追蹤，從而來達到3D的追蹤效果，無需顯示設備100做複雜的3D運算即可實現手勢對顯示設備100的控制，降低了運算的複雜度，可提高對顯示設備100的控制速度。

綜上所述，本創作符合發明專利要件，爰依法提出專利申請。惟，以上所述者僅為本創作之較佳實施例，本創作之範圍並不以上述實施例為限，舉凡熟習本案技藝之人士爰依本創作之精神所作之等效修飾或變化，皆應涵蓋於以下申請專利範圍內。

100．．．顯示設備

10．．．第一攝像單元

200．．．移動電子裝置

20．．．第二攝像單元

300．．．支撐物

Claims

一種顯示設備的控制系統，該系統包括第一攝像單元、設定單元、第一偵測單元、控制單元、第二攝像單元以及第二偵測單元，第一攝像單元與第二攝像單元放置於不同位置攝取影像，其中：
設定單元用於設定一控制物在一三維坐標系中的初始三維座標，該三維坐標系包括一第一二維空間以及一第二二維空間；
第一偵測單元用於通過分析第一攝像單元獲取的影像偵測所述控制物在第一二維空間的移動資訊，控制物在第一二維空間的移動資訊包括控制物在第一二維空間的移動方向和移動距離；
第二偵測單元用於通過分析第二攝像單元獲取的影像偵測所述控制物在第二二維空間的移動資訊，該控制物在第二二維空間的移動資訊包括控制物在第二二維空間的移動方向和移動距離；及
控制單元用於根據所述控制物在第一二維空間和第二二維空間的移動資訊以及所述初始三維座標計算得到所述控制物的當前三維座標，並控制顯示設備執行相應的操作。
如請求項1所述顯示設備的控制系統，該系統還包括觸控屏以及初始單元，該初始化單元，偵測用戶對觸控屏的一初始化操作，並獲取所述控制物在該觸控屏上的觸控點的座標作為初始座標發送給所述設定單元。
如請求項2所述顯示設備的控制系統，所述顯示設備上顯示一游標，所述設定單元根據初始化單元發送的初始座標設定所述控制物的初始三維座標，並根據該初始三維座標定位該游標的初始位置。
如請求項3所述顯示設備的控制系統，所述控制單元根據所述控制物的當前三維座標控制顯示設備的游標進行移動。
如請求項1所述顯示設備的控制系統，所述控制單元還用於當所述控制物在一預定方向上的移動距離超過一預設值時，控制顯示設備執行一預定操作。
如請求項1所述顯示設備的控制系統，所述設定單元還用於將所述初始三維座標更新為所述控制物的當前三維座標。
一種顯示設備的控制方法，該顯示設備與一移動電子裝置通訊連接，該顯示設備包括第一攝像單元，該移動電子裝置包括第二攝像單元，該方法包括：
顯示設備設定一控制物在一三維坐標系中的初始三維座標，在一三維坐標系中的初始三維座標，該三維坐標系包括一第一二維空間以及一第二二維空間；
顯示設備通過分析第一攝像單元獲取的影像偵測所述控制物在第一二維空間的移動資訊，控制物在第一二維空間的移動資訊包括控制物在第一二維空間的移動方向和移動距離；
移動電子裝置通過分析第二攝像單元獲取的影像偵測所述控制物在第二二維空間的移動資訊，該控制物在第二二維空間的移動資訊包括控制物在第二二維空間的移動方向和移動距離；及
顯示設備根據所述控制物在第一二維空間和第二二維空間的移動資訊以及所述初始三維座標計算得到所述控制物的當前三維座標，並控制顯示設備執行相應的操作。
如請求項7所述顯示設備的控制方法，所述移動電子裝置還包括觸控屏，該方法還包括：
移動電子裝置偵測控制物對觸控屏的一初始化操作，並獲取所述控制物在該觸控屏上的觸控點的座標作為初始座標發送給顯示設備。
如請求項8所述顯示設備的控制方法，該方法還包括：
顯示設備顯示一游標，然後根據移動電子裝置發送的初始座標設定所述控制物的初始三維座標，並根據該初始三維座標定位該游標的初始位置。
如請求項9所述顯示設備的控制方法，該方法還包括：
顯示設備根據所述控制物的當前三維座標控制游標進行移動。
如請求項7所述顯示設備的控制方法，該方法還包括：
當所述控制物在一預定方向上的移動距離超過一預設值時，顯示設備執行一預定操作。
如請求項7所述顯示設備的控制方法，該方法還包括：
顯示設備將所述初始三維座標更新為所述控制物的當前三維座標。
一種顯示設備，與一移動電子裝置通訊連接，該顯示設備包括第一攝像單元、該移動電子裝置包括第二攝像單元，第一攝像單元與第二攝像單元放置於不同位置攝取影像，該顯示設備還包括：
設定單元，用於設定一控制物在一三維坐標系中的初始三維座標，該三維坐標系包括一第一二維空間以及一第二二維空間；
第一偵測單元，用於通過分析第一攝像單元獲取的影像偵測所述控制物在第一二維空間的移動資訊，控制物在第一二維空間的移動資訊包括控制物在第一二維空間的移動方向和移動距離；
控制單元用於根據所述控制物在第一二維空間和第二二維空間的移動資訊以及所述初始三維座標計算得到所述控制物的當前三維座標，並控制顯示設備執行相應的操作，其中：控制物在所述第二二維空間的移動資訊由移動電子裝置通過分析第二攝像單元獲取的影像得到並發送給控制單元。