TW201403386A - 眼動操控方法及系統 - Google Patents

Abstract

本案提供一種眼動操控方法，應用於電子顯示裝置，且電子顯示裝置包括顯示螢幕且執行至少一應用程式。本案的眼動操控方法至少包括下列步驟：首先，啟動眼動操控模式。接著，藉由眼動偵測單元擷取眼部影像，並產生眼部位置資訊。再藉由分析單元接收眼部位置資訊，並將眼部位置資訊映射到顯示螢幕以產生分析資訊。最後，藉由處理單元接收分析資訊，並依據分析資訊產生眼動指標。其中處理單元依據眼動指標對應該應用程式的位置，於顯示螢幕對產生一預覽視窗。

Description

眼動操控方法及系統

本案關於一種眼動操控方法及系統。

隨著現在電子顯示裝置的微小化及其便攜性的提升，利用智慧型手機、桌上型計算機、平板電腦或是筆記型電腦瀏覽網頁、閱讀電子文件、觀看影片、或個人數位助理的應用亦已趨成熟。

一般而言，電子顯示裝置多是透過鍵盤、滑鼠或是觸控元件給予電子顯示裝置控制指令，特別是在瀏覽電子文件時，透過游標位置推測使用者閱讀位置或是欲操控的控制項目。換言之，使用者眼睛焦點聚焦於該控制項目後，尚須透過鍵盤、滑鼠或是觸控元件方可操控該控制項目，實為不直覺、不夠快速的操控方法。

有鑑於上述課題，本案提供一種眼動操控方法及系統，以符合使用者的需求。

本案解決電子顯示裝置不直覺、不夠快速的操控方式。

本案提供一種眼動操控方法，應用於電子顯示裝置，且電子顯示裝置包括顯示螢幕且執行至少一應用程式。本案的眼動操控方法至少包括下列步驟：首先，啟動眼動操控模式。接著，藉由眼動偵測單元擷取眼部影像，並產生眼部位置資訊。再藉由分析單元接收眼部位置資訊，並將眼部位置資訊映射到顯示螢幕以產生分析資訊。最後，藉由處理單元接收分析資訊，並依據分析資訊產生一眼動指標。其中處理單元依據眼動指標對應應用程式的位置，於顯示螢幕產生一預覽視窗。

本案更提供一種眼動操控系統，應用於電子顯示裝置，電子顯示裝置包括顯示螢幕且執行至少一應用程式。本案的眼動操控系統至少包括：眼動偵測單元、分析單元以及處理單元。眼動偵測單元設置於顯 示螢幕的一側，而分析單元與眼動偵測單元電性連接，處理單元則與分析單元電性連接。其中，眼動偵測單元提供一眼部位置資訊給分析單元，分析單元依據眼部位置資訊映射到顯示螢幕而提供分析資訊給處理單元，處理單元再依據分析資訊於顯示螢幕產生一眼動指標，處理單元依據眼動指標對應應用程式的位置，於顯示螢幕產生一預覽視窗。

承上所述，本案所提供眼動操控方法及系統，能夠解決習知的眼動操控時的缺點。

1‧‧‧眼動操控系統

11‧‧‧眼動偵測單元

12‧‧‧分析單元

13‧‧‧處理單元

14‧‧‧執行單元

2‧‧‧電子顯示裝置

22‧‧‧顯示螢幕

221‧‧‧眼動指標

222‧‧‧預覽視窗

2221‧‧‧控制項目

2221a‧‧‧控制功能

S01~S07‧‧‧方法步驟

圖1為本案眼動操控方法的步驟流程圖。

圖2為本案眼動操控方法於電子顯示裝置產生一眼動指標的示意圖。

圖3為本案眼動操控方法應用於電子顯示裝置，且電子顯示裝置的顯示畫面為電子文件的操作示意圖。

圖4為執行圖3的控制項目的控制功能後的電子顯示裝置的顯示畫面的示意圖。

圖5為本案眼動操控方法應用於電子顯示裝置，且顯示螢幕產生預覽視窗的示意圖。

圖6為本案眼動操控系統的架構圖。

以下將參照相關圖式，說明依本案較佳實施例的眼動操控方法的步驟、眼動操控系統的架構以及應用示意情況。其中相同的架構、步驟及單元將以相同的參照符號加以說明。且為了便於理解，與本案非直接相關的架構、步驟及單元將省略不繪出。此外，以下所稱的電子顯示裝置可為筆記型電腦、平板電腦、桌上型電腦、或智慧型手機，且不以上述為限。

請先參考圖1、圖2及圖6，圖1為本案眼動操控方法的步驟流程圖，圖2為本案眼動操控方法於電子顯示裝置產生一眼動指標的示意圖。

本案為一種眼動操控方法應用於電子顯示裝置2，電子顯示 裝置2包括顯示螢幕22，且電子顯示裝置2可執行至少一應用程式。眼動操控系統1包括眼動偵測單元11。

本案的眼動操控方法至少包括下列步驟：首先，啟動眼動操控模式(步驟S01)。接著，藉由眼動偵測單元11擷取眼部影像，並產生眼部位置資訊(步驟S02)。此可透過眼動偵測單元11(例如為眼球追蹤單元)，透過啟動眼動偵測單元11以啟動眼動操控模式並產生眼部位置資訊。

眼動偵測單元11可擷取使用者的眼部影像、眼部座標、或其組合，並傳送給分析單元12。此處所稱的眼部影像，為使用者眼部的輪廓連線，而眼部座標則可為透過定位虹膜與結膜的交界處，定義出虹膜的輪廓連線。但無論是眼部影像、眼部座標、或其組合在擷取後將其轉換成絕對座標，並傳送給分析單元12。

接著，再藉由分析單元12接收眼部位置資訊，並將眼部位置資訊映射到顯示螢幕22以產生分析資訊(步驟S03)。

分析單元12接收眼部位置資訊，可依據眼部位置資訊產生分析資訊。此處的「眼部位置資訊」可為使用者的眼部座標，由眼動偵測單元11所擷取的座標將可映射到顯示螢幕22，故分析單元12可得知使用者於顯示螢幕22的視線焦點的位置(以圖2的虛線表示)。

實際操作時，眼動偵測單元11將不停的偵測使用者眼部的動作情況。換言之，顯示螢幕22上的眼動指標221會依據使用者視線移動的軌跡於顯示螢幕22產生相對作動。

接著，藉由處理單元13接收分析資訊，並依據分析資訊產生一眼動指標221(步驟S04，可參考圖2)。且處理單元13依據眼動指標221的位置，操控顯示螢幕22對應位置的應用程式。詳細而言，處理單元13於顯示螢幕22產生眼動指標221後，當眼動指標221的位置移動至顯示螢幕22對應的應用程式時，將於顯示螢幕22產生一預覽視窗(步驟S05)。其中預覽視窗可包括至少一控制項目，且控制項目更包括多數個控制功能。各控制功能可對應不同的執行功能。或者亦可有一實施例的預覽視窗可為選自於該應用程式中的一影像資訊(例如圖片或是影像截圖)。

此處所稱的「應用程式」可為顯示螢幕22對應不同的內容 (例如電子文件、網頁或是應用軟體)的概括稱呼，且應用程式可於顯示螢幕22設置多數個控制啟動區(例如文字區塊、圖案、或程式啟動快捷虛擬按鍵)。因此，當眼動指標221移動到任一應用程式時，處理單元13可依據眼動指標221的位置，於顯示螢幕22對應產生一預覽視窗。

補充說明的是，此處所稱「移動」為眼動指標221實際移動到例如應用程式的圖像上或者移動到應用程式圖像的周圍觸發區，以使處理單元13能夠辨識需操控的控制對象。且圖2雖繪示箭頭形狀的眼動指標221，但形狀不以此為限，亦可有實施態樣的眼動指標221為亮點，或是可不顯示實體眼動指標221的形狀於顯示螢幕22。

此外，本案眼動操控方法更包括一步驟：輸入一確認指令，以確認選擇至少其一該些控制功能(步驟S06。此處所稱的確認指令，可為例如眼動指標221停留於應用程式的時間超過一預設時間、眨眼多次、或者眼動指標221移動到控制項目的其一控制功能時搭配使用者不同手勢觸碰等方式，使處理單元13傳送一確認信號給執行單元14，以確認啟動控制項目的至少其一該些控制功能。

除了上述步驟以外，本案更可包括藉由執行單元14執行控制項目(步驟S07)。

以下將說明，本案眼動操控方法應用於電子顯示裝置的實施方式。

請接續參考圖3及圖4，圖3為本案眼動操控方法應用於電子顯示裝置，且電子顯示裝置的顯示畫面為電子文件的操作示意圖，圖4則為執行圖3的控制項目的控制功能後的電子顯示裝置的顯示畫面的示意圖。

若使用者透過電子顯示裝置閱讀網頁或是電子文件，則顯示螢幕22可顯示電子文件或網頁，且電子文件或網頁包括至少一文字區，且各文字區對應一應用程式。此處所稱的「文字區」可為段落、句子或單詞，換言之，段落、句子或單詞都可設定為應用程式的啟動區。故，當眼動指標221移動到對應的應用程式的位置時，處理單元13可依據眼動指標221的位置，產生預覽視窗222，且預覽視窗222包括至少一控制項目2221。 各控制項目2221又更可包括多數個控制功能2221a，以操控對應位置的應用程式。

需補充說明的是，本實施例僅例示於一預覽視窗222包括一控制項目2221、且控制項目2221包括五控制功能2221a的實施態樣，但不應此為限。

詳言之，控制功能2221a可為「複製應用程式(文字區)中的文字」、「縮放應用程式(文字區)中的文字」、「翻譯應用程式(文字區)中的文字」、「亮標應用程式(文字區)中的文字」、「開啟或關閉應用程式中的電子文件」、或其組合，但不以此為限。亦可有實施態樣的控制項目2221的控制功能2221a更包括「朗讀文字區」或「透過電子郵件郵寄」等控制功能。

當本實施例的眼動指標221移動到對應的應用程式的位置或附近時，跳出對應應用程式的簡單操控指令的預覽視窗222，例如但不限於「複製」、「放大」、「翻譯」、「標註」、或「關閉」，以使使用者可以直覺地將眼動指標221移動到欲選擇的控制功能2221a，以執行應用程式。例如，若將眼動指標221移動到「放大」的控制功能2221a上，則處理單元13及執行單元14可啟動並執行放大應用程式(文字區)中的文字(圖4)。

此處的控制功能2221a「『亮標』或『標註』應用程式(文字區)中的文字」為將應用程式(文字區)中的段落、句子或單詞加註底色，讓使用者將電子文件或是網頁內重要的段落、句子或單詞加以註記，以方便下次閱讀時可快速地找到特定段落、句子或單詞。

此外，雖然本實施例顯示為多數個操控指令，但亦可有實施態樣，使用者可預先調整成於閱讀模式，眼動指標221的控制項目2221僅具控制功能2221a(例如翻譯)，故使用者於閱讀過程中眼動指標221所選取的文字，將會將直接進行文字翻譯，將不需再額外選擇所欲執行的動作，以符合使用者的閱讀習慣。

再者，為了提供更佳的閱讀體驗，亦可設定當眼動指標221移動到預覽視窗222的控制項目2221的控制功能2221a時需停留至少一預設時間或例如連續眨眼兩下，始啟動控制功能2221a，避免不必要的執行應 用程式影響閱讀。在其他實施例中，眼動指標221的操控方法亦可搭配使用者的手勢觸碰做為確認指令以啟動應用程式，本案不以此為限。或者更有一實施例中，使用者利用輸入時，可透過眼動指標221選取正確的單字。

請參考圖5，為本案眼動操控方法應用於電子顯示裝置，且顯示螢幕產生預覽視窗的示意圖。

在本實施例中，電子顯示裝置2的顯示螢幕22至少包括多數個應用程式，且具有圖像各自對應該些應用程式。與前述實施例不同的是，眼動操控方法更包括以下步驟：當眼動指標(圖未繪出)移動至應用程式時，顯示螢幕22於眼動指標的位置產生預覽視窗222。

舉例而言，若應用程式為相簿資料夾時，當眼動指標移動至應用程式時，將會產生包括相簿資料夾內的照片縮圖，以形成預覽視窗222。換言之，本實施例的控制項目為圖像(照片縮圖)，與前述實施例的控制項目為選單的態樣有所不同。使用者可將眼動指標移動至任一圖像，其可啟動例如開啟圖片或撥放資料夾圖片等控制功能。或者，若應用程式為影片，則當眼動指標移動至應用程式時，將會產生影片的內容截圖，以形成預覽視窗222。

最後，請一併參考圖2及圖6，圖6為本案眼動操控系統的架構圖。

眼動操控系統1應用於電子顯示裝置2，電子顯示裝置2包括顯示螢幕22。且眼動操控系統1至少包括眼動偵測單元11、分析單元12以及處理單元13。眼動偵測單元11設置於顯示螢幕22的一側，而分析單元12與眼動偵測單元11電性連接，處理單元13則與分析單元12電性連接。

眼動偵測單元11提供眼部位置資訊給分析單元12，分析單元12依據眼部位置資訊映射到顯示螢幕22而提供分析資訊給處理單元13，處理單元13再依據分析資訊於顯示螢幕22產生一眼動指標221。

分析單元12接收眼部位置資訊，並依據眼部位置資訊產生分析資訊。此處的眼部位置資訊可為使用者的眼部座標，由眼動偵測單元11所擷取的座標將可映射到顯示螢幕，故分析單元12可得知使用者於顯示 螢幕22的視線焦點的位置。

此外，眼動操控系統1更可包括執行單元14，且執行單元14與處理單元13電性連接。且執行單元14用以執行應用程式。

需特別說明的是，雖然本實施例的處理單元13與執行單元14為獨立的單元及架構，但亦可將處理單元13與執行單元14結合於單一晶片上，達到與本實施例相同的效果。

其餘的單元及元件間的連結關與前述實施例相同，故不再贅述。

綜上所述，本案提供一種眼動操控方法及系統，為透過眼動偵測單元擷取眼部影像，再依序藉由分析單元及處理單元的處理，於顯示螢幕產生一眼動指標。並透過眼動指標眼動指標於對應應用程式的位置，產生一預覽視窗，並於預覽視窗內選取欲執行的控制項目的控制功能，以達成利用眼動指標直接控制電子顯示裝置的目的。

以上所述僅為舉例性，而非為限制性者。任何未脫離本案之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

S01~S07‧‧‧方法步驟

Claims (14)

1. 一種眼動操控方法，應用於一電子顯示裝置，該電子顯示裝置包括一顯示螢幕且執行至少一應用程式，該眼動操控方法包括下列步驟：啟動眼動操控模式；藉由一眼動偵測單元擷取一眼部影像，並產生一眼部位置資訊；藉由一分析單元接收該眼部位置資訊，並將該眼部位置資訊映射到該顯示螢幕以產生一分析資訊；以及藉由一處理單元接收該分析資訊，並依據該分析資訊產生一眼動指標；其中該處理單元依據該眼動指標對應該應用程式的位置，於該顯示螢幕產生一預覽視窗。
2. 如申請專利範圍第1項所述的眼動操控方法，其中該預覽視窗選自於該應用程式中的一影像資訊。
3. 如申請專利範圍第1項所述的眼動操控方法，其中該預覽視窗包括至少一控制項目。
4. 如申請專利範圍第3項所述的眼動操控方法，更包括：藉由一執行單元，執行該控制項目。
5. 如申請專利範圍第3項所述的眼動操控方法，其中該控制項目包括多數個控制功能，該些控制功能為：複製、縮放、翻譯、亮標該應用程式中的文字、開啟或關閉該應用程式中的電子文件、或其組合。
6. 如申請專利範圍第3項所述的眼動操控方法，其中該控制項目為圖像或選單。
7. 如申請專利範圍第5項所述的眼動操控方法，更包括：輸入一確認指令，以確認選擇至少其一該些控制功能。
8. 一種眼動操控系統，應用於一電子顯示裝置，該電子顯示裝置包括一顯示螢幕且執行至少一應用程式，該眼動操控系統包括：一眼動偵測單元，設置於該顯示螢幕的一側；一分析單元，與該眼動偵測單元電性連接；以及一處理單元，與該分析單元電性連接； 其中，該眼動偵測單元提供一眼部位置資訊給該分析單元，該分析單元依據該眼部位置資訊映射到該顯示螢幕而提供一分析資訊給該處理單元，處理單元再依據該分析資訊於該顯示螢幕產生一眼動指標，該處理單元依據眼動指標對應該應用程式的位置，於該顯示螢幕產生一預覽視窗。
9. 如申請專利範圍第8項所述的眼動操控系統，其中該預覽視窗選自於該應用程式中的一影像資訊。
10. 如申請專利範圍第8項所述的眼動操控系統，其中該預覽視窗包括至少一控制項目。
11. 如申請專利範圍第10項所述的眼動操控系統，更包括：一執行單元，與該處理單元電性連接，並執行該控制項目。
12. 如申請專利範圍第10項所述的眼動操控系統，其中該控制項目包括多數個控制功能，該些控制功能為：複製、縮放、翻譯、亮標該應用程式中的文字、開啟或關閉該應用程式中的電子文件、或其組合。
13. 如申請專利範圍第10項所述的眼動操控系統，其中該控制項目為圖像或選單。
14. 如申請專利範圍第8項所述的眼動操控系統，其中該電子顯示裝置為智慧型手機、桌上型計算機、平板電腦、或是筆記型電腦。