TWI533234B - 基於眼部動作的控制方法及其應用之裝置 - Google Patents

Description

基於眼部動作的控制方法及其應用之裝置

本發明是有關於一種控制方法及其應用之裝置，且特別是有關於一種基於眼部動作的控制方法及其應用之裝置。

以目前技術而言，人眼追蹤技術主要可區分為與侵入性(invasive)與非侵入性(non-invasive)兩種。侵入性的人眼追蹤技術主要是在眼睛中設置搜尋線圈(search coil)或使用眼動電波圖(electrooculogram)來感測人眼所注視的地點。非侵入性的人眼追蹤技術則主要以視覺辨識(vision based)為基礎，並可區分為免頭戴式(free-head)或頭戴式(head-mount)等多種實現方式。

隨著科技的發展，人眼追蹤技術大幅應用於神經科學、電腦科學等各種領域，並常見於保全系統(例如眼動鎖)或是眼控電腦中。人眼追蹤技術可追蹤眼球的移動以得到眼球所凝視的視線坐落點，並可據以對保全系統或電腦裝置進行控制而實現眼控功能，或是以凝視的方式來觸發對於保全系統或是眼控電腦等 裝置的控制。

本發明提供一種基於眼部動作的控制方法及其應用之裝置，可讓使用者在預設的視圖圖樣(view pattern)上進行注視以及移動注視點，並藉由偵測使用者的視線移動軌跡來判斷是否讓裝置執行相對應的操作。藉此，便可藉由使用者的視線移動軌跡來操作裝置。

本發明提出一種基於眼部動作的控制方法。此控制方法包括下列步驟。透過取像單元擷取影像序列。分析影像序列，藉以在影像序列的每一張影像中，獲得使用者的眼部區域之眼部影像資訊。基於眼部影像資訊，以偵測使用者在注視視圖圖樣的視線移動軌跡。判斷視線移動軌跡是否符合相對於視圖圖樣的預設軌跡，以產生判斷結果。以及，依據判斷結果，於一裝置上執行對應操作。

在本發明的一實施例中，上述視圖圖樣包括複數個辨識圖案。預設軌跡為對應於至少一個所述辨識圖案所依序組成的幾何連線。

在本發明的一實施例中，上述基於眼部影像資訊，以偵測使用者在注視視圖圖樣的視線移動軌跡的步驟包括：分析眼部影像資訊以判斷使用者是否注視於視圖圖樣中的預設位置、或注視預設位置超過預設時間，以及當使用者注視於視圖圖樣中的預 設位置、或是注視預設位置超過預設時間時，偵測使用者在注視視圖圖樣的視線移動軌跡。

在本發明的一實施例中，上述基於該眼部影像資訊，以偵測使用者在注視該視圖圖樣的視線移動軌跡的步驟包括：基於眼部影像資訊以偵測眼部區域內的眼部物件，依據眼部物件執行眼部追蹤動作，以依序獲得眼部物件位在影像序列中的複數個第一位置，以及依據視圖圖樣對應的座標系統，映射轉換第一位置為複數個第二位置，以獲得使用者在注視視圖圖樣的視線移動軌跡。

在本發明的一實施例中，上述的眼部物件包括瞳孔與第一反光點，且依據眼部物件執行眼部追蹤動作，以依序獲得眼部物件相應於影像序列的所述第一位置的步驟包括：對影像序列的瞳孔與第一反光點進行定位以執行眼部追蹤動作，以及依序獲得眼部物件相應於影像序列的所述第一位置。

在本發明的一實施例中，上述依據視圖圖樣對應的座標系統，映射轉換第一位置為所述複數個第二位置，以獲得使用者在注視視圖圖樣的視線移動軌跡的步驟包括：依據瞳孔與第一反光點，計算距離參數，依據第一反光點相對於瞳孔的向量，計算角度參數，並分析距離參數及角度參數的分佈關係，以轉換第一位置為視圖圖樣對應的座標系統中的所述第二位置，以及將所述第二位置作為使用者在注視視圖圖樣的視線移動軌跡。

在本發明的一實施例中，上述眼部物件更包括第二反光 點，且依據視圖圖樣對應的座標系統，映射轉換第一位置為所述複數個第二位置，以獲得使用者在注視該視圖圖樣的該視線移動軌跡的步驟包括：依據瞳孔、第一反光點與第二反光點，計算面積參數，依據第一反光點與瞳孔的第一連線以及第二反光點與瞳孔的第二連線的至少其一，計算角度參數，分析面積參數及角度參數的分佈關係，以轉換第一位置為視圖圖樣對應的座標系統中的所述複數個第二位置，以及將所述第二位置作為使用者在注視視圖圖樣的視線移動軌跡。

在本發明的一實施例中，上述依據眼部物件執行眼部追蹤動作，以依序獲得眼部物件相應於影像序列的所述第一位置的步驟更包括：在獲得所述第一位置的其中之一之後，調整眼部區域以再次偵測眼部物件，並據以執行眼部追蹤動作。

在本發明的一實施例中，上述依據判斷結果以於裝置上執行對應操作的步驟包括：當視線移動軌跡符合預設軌跡時，裝置解除鎖具的鎖定狀態，以及當視線移動軌跡不符合預設軌跡時，裝置維持鎖具的鎖定狀態。

本發明提出一種基於眼部動作進行控制的裝置，此裝置包括取像單元、儲存單元以及處理單元。取像單元用以擷取影像序列。儲存單元用以記錄多個程序模組，並且儲存單元更包括資料庫。處理單元耦接取像單元及儲存單元，以存取並執行儲存單元中記錄的所述模組。所述程序模組包括影像分析模組、視線偵測模組、判斷模組以及控制模組。影像分析模組分析影像序列， 藉以在影像序列的每一張影像中，獲得使用者的眼部區域之眼部影像資訊。視線偵測模組基於眼部影像資訊，以偵測使用者在注視視圖圖樣的視線移動軌跡。判斷模組判斷視線移動軌跡是否符合相對於視圖圖樣的預設軌跡，以產生判斷結果。控制模組依據判斷結果以藉由裝置執行對應操作。

在本發明的一實施例中，上述視圖圖樣包括複數個辨識圖案，且預設軌跡為對應於至少一個所述辨識圖案所依序組成的幾何連線。

在本發明的一實施例中，上述視線偵測模組分析眼部影像資訊以判斷使用者是否注視於視圖圖樣中的預設位置、或注視預設位置超過預設時間。以及，當使用者注視於視圖圖樣中的預設位置、或注視預設位置超過預設時間時，視線偵測模組偵測使用者在注視視圖圖樣的視線移動軌跡。

在本發明的一實施例中，上述視線偵測模組包括眼部偵測模組、眼部追蹤模組、以及映射轉換模組。其中，眼部偵測模組基於眼部影像資訊以偵測眼部區域內的眼部物件。眼部追蹤模組依據眼部物件執行眼部追蹤動作，以依序獲得眼部物件位在影像序列中的複數個第一位置。映射轉換模組依據視圖圖樣對應的座標系統，映射轉換所述第一位置為複數個第二位置，以獲得使用者在注視視圖圖樣的視線移動軌跡。

在本發明的一實施例中，上述眼部物件包括瞳孔與第一反光點，且眼部追蹤模組對影像序列的瞳孔與第一反光點進行定 位以執行眼部追蹤動作，以及依序獲得眼部物件相應於影像序列的所述第一位置。

在本發明的一實施例中，上述映射轉換模組依據瞳孔與第一反光點，計算距離參數，且依據第一反光點相對於瞳孔的向量，計算角度參數，並分析距離參數及角度參數的分佈關係，以轉換第一位置為視圖圖樣對應的座標系統中的所述複數個第二位置，以及將所述第二位置作為使用者在注視視圖圖樣的視線移動軌跡。

在本發明的一實施例中，上述眼部物件更包括第二反光點，且映射轉換模組依據瞳孔、第一反光點與第二反光點，計算面積參數，且依據第一反光點與瞳孔的第一連線以及第二反光點與瞳孔的第二連線的至少其一，計算角度參數，並分析面積參數及角度參數的分佈關係，以轉換第一位置為視圖圖樣對應的座標系統中的所述複數個第二位置，以及將所述第二位置作為使用者在注視視圖圖樣的視線移動軌跡。

在本發明的一實施例中，上述眼部追蹤模組更在獲得第一位置的其中之一之後調整眼部區域，以由眼部偵測模組再次偵測眼部物件，且眼部追蹤模組據以執行該眼部追蹤動作。

在本發明的一實施例中，當視線移動軌跡符合預設軌跡時，上述控制模組控制裝置解除鎖具的鎖定狀態，且當視線移動軌跡不符合預設軌跡時，控制模組控制裝置維持鎖具的鎖定狀態。

基於上述，本發明實施例所提出的基於眼部動作的控制 方法及其應用之裝置，可偵測使用者在注視視圖圖樣的視線移動軌跡，並在判定視線移動軌跡符合相對於視圖圖樣的預設軌跡時，由裝置執行相對應的操作。藉此，本發明實施例可藉由視線移動軌跡作為訊號的觸發，並能夠廣泛應用於保全系統、眼控電腦等多個領域。

為讓本案的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧裝置

110、710、810、910‧‧‧取像單元

120、720、920‧‧‧處理單元

130‧‧‧儲存單元

131‧‧‧影像分析模組

132‧‧‧視線偵測模組

1321‧‧‧眼部偵測模組

1322‧‧‧眼部追蹤模組

1323‧‧‧映射轉換模組

133‧‧‧判斷模組

134‧‧‧控制模組

135‧‧‧資料庫

200‧‧‧視圖圖樣

210‧‧‧辨識圖案

220‧‧‧幾何連線

230‧‧‧預設軌跡

510‧‧‧眼部物件

512‧‧‧瞳孔中心點

514、614、616‧‧‧反光點

602‧‧‧向量

612‧‧‧瞳孔

630‧‧‧座標點

640‧‧‧扇形

650‧‧‧矩形

660‧‧‧座標系統

700‧‧‧門禁系統

730‧‧‧鎖具

740‧‧‧提示單元

750‧‧‧門體

760‧‧‧罩體

800‧‧‧手持式眼控接目裝置

820‧‧‧顯示單元

830‧‧‧殼體

840‧‧‧反射鏡

850‧‧‧光源

860‧‧‧保險箱

900‧‧‧眼控裝置

H‧‧‧橫線

IS‧‧‧影像序列

L‧‧‧距離

θ‧‧‧角度

1~18‧‧‧區域

S310~S350、S410~S480、S510~S540‧‧‧步驟

圖1是依照本發明一實施例的基於眼部動作的控制裝置的功能方塊示意圖。

圖2A、圖2B是依照本發明一實施例的基於眼部動作的控制方法的示意圖。

圖3是依照本發明一實施例的基於眼部動作的控制方法的步驟流程圖。

圖4A是依照本發明一實施例的基於眼部動作的控制方法的步驟流程圖。

圖4B是依照本發明一實施例的視線偵測模組的功能方塊示意圖。

圖4C是依照本發明一實施例的基於眼部動作的控制方法的示意圖。

圖5A是依照本發明一實施例的眼部追蹤的步驟流程圖。

圖5B是依照本發明一實施例的眼部追蹤的示意圖。

圖6A至圖6G是依照本發明一實施例的座標系統映射轉換的示意圖。

圖7是依照本發明一實施例的基於眼部動作進行控制的門禁系統示意圖。

圖8A、圖8B是依照本發明一實施例的基於眼部動作進行控制的手持式眼控接目裝置示意圖。

圖9是依照本發明一實施例的基於眼部動作的控制方法的示意圖。

目前眼控技術多是偵測使用者的視線坐落點，而僅能夠依據其在螢幕中所凝視的位置來對保全系統或是眼控電腦進行控制。本發明實施例的基於眼部動作的控制方法及其應用之裝置則可藉由視線移動軌跡作為訊號的觸發，從而以軌跡的方式來實現眼控技術。藉此，本發明實施例可提供更安全的密碼輸入方式，且亦能夠實現更便利且更為直覺的眼動控制。以下即詳加說明本發明實施例所提出的基於眼部動作的控制方法及應用其之裝置。

圖1是依照本發明一實施例之基於眼部動作進行控制的裝置的功能方塊示意圖。所述基於眼部動作進行控制的裝置100包括取像單元110、處理單元120以及儲存單元130。於此，所述 裝置100可例如為保險箱、門禁系統或其他類型需驗證使用者的資格(qualification)以決定是否提供使用者一特定權限之保全系統/裝置等，或可以是具備眼控功能的電腦等電子裝置，本發明不限定所述裝置100的具體類型。

在本實施例中，取像單元110可用以沿特定方向(視取像單元110的配置位置/角度而定)擷取一影像序列IS，亦即取像單元110連續擷取多張影像，並提供給處理單元120。

處理單元120耦接取像單元110，並例如為中央處理單元(central processing unit，CPU)、圖形處理單元(graphics processing unit，GPU)，或是其他可程式化之微處理器(microprocessor)等裝置。

儲存單元130例如是任何型態的固定或可移動隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)或類似元件或上述元件的組合。儲存單元130中包括資料庫135，並記錄多個程序模組。處理單元120耦接儲存單元130，以存取並執行上述程序模組。這些程序模組包括影像分析模組131、視線偵測模組132、判斷模組133、控制模組134。其中，影像分析模組131對取像單元110所擷取的影像序列IS進行影像處理與分析，藉以在影像序列IS的每一張影像中，獲得使用者的眼部區域的眼部影像資訊。藉此，視線偵測模組132即可根據所獲得之眼部影像資訊來偵測使用者的眼部動作，再由判斷模組133判斷使用者在注視視圖圖樣 的視線移動軌跡是否符合一預設軌跡。在此以圖2A與圖2B的範例對『視圖圖樣』、『預設軌跡』以及上述兩者之間的對應關係進行說明。如圖2A所示，視圖圖樣200包括多個辨識圖案210。辨識圖案210可為M×N的矩陣形式排列，在此實施例中，M、N皆為4，然不以此為限。需說明的是，上述預設軌跡可以是對應於所述辨識圖案210的至少其一所依序組成的幾何連線。舉例而言，圖2A所繪示的幾何連線220可由多個辨識圖案210組成，而圖2B則繪示了儲存於資料庫135中的預設軌跡230。可以看出，上述的幾何連線220可與預設軌跡230相對應。

藉此，控制模組134依據上述視線移動軌跡是否符合預設軌跡的判斷結果決定是否於裝置100上執行對應操作。例如，當裝置100為保全裝置，且預設軌跡被設定為用以將保全裝置中的鎖具解碼時，控制模組134即可依據視線移動軌跡是否符合預設軌跡而切換鎖具為鎖定狀態或解鎖狀態。

以下對本發明實施例所提出的基於眼部動作的控制方法進行說明。圖3是依照本發明一實施例所繪示的基於眼部動作的控制方法的步驟流程圖。本實施例的方法適用於上述的電子裝置100，在此搭配圖1中裝置100的各項元件，並以圖3的步驟流程圖來說明本發明實施例的基於眼部動作以進行控制的概念。

在步驟S310中，裝置100透過取像單元110擷取影像序列IS。在步驟S320中，影像分析模組131分析影像序列IS，藉以在影像序列IS的每一張影像中，獲得使用者的眼部區域之眼部 影像資訊。並在步驟S330中，視線偵測模組132基於眼部影像資訊以偵測使用者在注視視圖圖樣的視線移動軌跡。

需說明的是，在部分實施例中，視線偵測模組132可先透過分析眼部影像資訊，藉以判斷使用者是否注視於視圖圖樣中的預設位置，或是判斷使用者是否注視於上述預設位置超過預設時間。當使用者注視於視圖圖樣中的預設位置、或是使用者注視特定預設位置已超過預設時間時，視線偵測模組132會對應開始偵測使用者在注視視圖圖樣的視線移動軌跡。上述視線偵測模組132判斷何時開始偵測使用者的視線移動軌跡的方式僅為示範性說明，應用本實施例者亦可提供使用者藉由外部觸發的方式，例如按壓實體按鈕、或透過從操作頁面點擊以選取進入偵測視線移動軌跡模式等形式，以觸發視線偵測模組132對於視線移動軌跡的偵測動作，本發明不以此為限。

請繼續圖3的步驟流程，在步驟S340中，判斷模組133判斷視線移動軌跡是否符合相對於視圖圖樣的預設軌跡以產生判斷結果，並在步驟S350中，控制模組134可依據判斷結果以於裝置100上執行對應操作。詳言之，請再次參考圖2A及圖2B的範例。當視線偵測模組132偵測到使用者在注視視圖圖樣的視線移動軌跡，且所述視線移動軌跡如圖2A中所繪示的幾何連線220時，判斷模組133可依據資料庫135中所記錄的預設軌跡進行比對，以判斷上述的視線移動軌跡是否符合資料庫135中所記錄的預設軌跡。藉此，控制模組134即可依據視線移動軌跡是否符合 圖2B中的預設軌跡230的判斷結果，而於裝置100上對應執行不同操作。

另外，在本實施例的裝置100中，其可選擇性地設置一提示單元。所述提示單元可用以提示目前裝置100是否依據使用者的視線移動軌跡符合預設軌跡，從而執行相對應的操作。於此，提示單元可利用文字顯示、燈號顯示、語音提示或任何其他可行的提示方式，以令使用者可分辨出裝置100當下的狀態，本發明對此不限制。

接著，以圖4A至圖4C的實施例進一步說明上述基於眼部動作進行控制的細部流程。其中，圖4A為依照本發明一實施例之基於眼部動作的控制方法的步驟流程圖，圖4B為依照本發明一實施例之基於眼部動作進行控制的視線偵測模組的細部方塊示意圖，圖4C則是依照本發明一實施例的眼部區域的示意圖。以下請參照圖4A的步驟流程，並搭配圖1的裝置100及圖4B的視線偵測模組132中的各個元件以進行說明。在此實施例中，裝置100為一保全裝置，且所述基於眼部動作的控制方法可用以控制裝置100中的鎖具。需說明的是，所述基於眼部動作的控制方法亦可應用在任何類型之裝置上，本發明不以此為限。

在步驟S410中，裝置100透過取像單元110擷取影像序列IS，並在步驟S420中，影像分析模組131分析影像序列IS，藉以在影像序列IS的每一張影像中，獲得使用者的眼部區域之眼部影像資訊。此處之細部描述與圖3實施例相似，故請參閱前述。

如圖4B所示，此實施例的視線偵測模組132包括眼部偵測模組1321、眼部追蹤模組1322以及映射轉換模組1323。藉此，在步驟S430中，眼部偵測模組1321基於眼部影像資訊以偵測眼部區域內的眼部物件。在步驟S440中，眼部追蹤模組1322依據眼部物件執行眼部追蹤動作，以依序獲得眼部物件位在影像序列中的複數個第一位置。並在步驟S450中，映射轉換模組1323依據視圖圖樣對應的座標系統，映射轉換所述複數個第一位置為複數個第二位置，以獲得使用者在注視視圖圖樣的視線移動軌跡。換句話說，本實施例可透過上述的眼部偵測模組1321、眼部追蹤模組1322以及映射轉換模組1323，以分析影像序列中對應於使用者眼部物件的連續動作，並利用影像序列與視圖圖樣分別對應的座標系統之間的轉換，據以獲得使用者注視視圖圖樣的視線移動軌跡。

在取得使用者的視線移動軌跡之後，判斷模組133可將視線移動軌跡與視圖圖樣的預設軌跡比較，並由控制模組134依據判斷結果以藉由裝置100執行對應操作，其中，上述的預設軌跡可被設定為裝置100的鎖具的預設解鎖密碼。因此，在步驟S460中，判斷模組133判斷視線移動軌跡是否符合相對於視圖圖樣的預設軌跡。在裝置100的鎖具處於鎖定的狀態下，若步驟S460判斷為是，則控制模組134會解除鎖具的鎖定狀態(即，鎖具被切換至解鎖狀態)；反之，若判斷為否，則控制模組134會維持鎖具的鎖定狀態，並可更透過提示單元發出警示音或文字以提醒使用 者。此外，從另一觀點而言，若鎖具已處於解鎖的狀態，則無論步驟S460的判斷結果是否為是，鎖具皆會維持在解鎖狀態。

值得一提的是，在一實施例中，使用者還可在鎖具處於解鎖的狀態下，藉由做出一組連續的眼部動作，以利用對應所述連續的眼部動作的視線移動軌跡，從而自行定義出預設解鎖密碼。當然，所述預設解鎖密碼亦可為設計者預先定義並儲存於資料庫135中，對此本發明不限制。

另值得一提的是，在一實施例中，裝置100還可更包括一辨識模組，用以在偵測到眼部物件(步驟S430)後，先行辨識使用者的眼部物件的生物特徵資訊，藉以確認使用者的身分。上述的生物特徵資訊例如是虹膜或視網膜資訊。若使用者的身分正確，辨識模組才允許裝置100進一步地執行後續的步驟S440~S480。若不正確，則辨識模組停止或拒絕裝置100進行後續的眼部動作辨識步驟。

底下以圖4C的示意圖對上述實施例進行具體說明。在此實施例中，當眼部偵測模組1321搜尋到眼部區域ER內的眼部物件410後，眼部偵測模組1321還可針對眼部影像資訊進行影像處理，以獲得可明確指示出眼部物件410邊界的影像資訊。藉此，眼部追蹤模組1322可依據所述影像資訊以對眼部物件410進行追蹤，從而獲得使用者的視線移動軌跡。舉例來說，藉由調整增益值(gain)與偏移值(offset)的方式，眼部偵測模組1321可調整眼部影像資訊的對比度並獲得一加強影像。接著，眼部偵測模組 1321可再對此加強影像依序進行去雜點、邊緣銳利化、二值化及再次邊緣銳利化等處理，以獲得如圖4C所示的眼部物件410的影像。

在取得上述的眼部物件410之後，眼部追蹤模組1322會依據眼部物件410而執行眼部追蹤動作，藉以獲得使用者其眼部物件410在各影像序列中的精確位置。在一實施例中，眼部追蹤模組1322可透過眼部物件410中的瞳孔及反光點之間的相對位置關係，從而獲得眼部物件410的精確定位。上述的反光點例如是光斑(purkinje image)，其可透過固定光源以光束的形式，並在照射人眼後經反射而形成。依據固定光源的位置，反光點亦會相應地存在於影像中人眼的特定位置，故可作為定位眼部物件410的參考特徵。並且，利用反光點作為定位參考特徵的方式，還可避免眼部追蹤模組1322對眼部物件進行追蹤時，因參考點的光源不足而遭受多餘雜訊干擾的情形。需說明的是，在以下的實施例中，瞳孔位置是由瞳孔的中心點的位置來表示，且依據作為定位參考特徵的反光點的數量不同(例如，在圖5B的範例中，眼部物件510包括一個反光點514，而在圖6E的範例中，眼部物件610則包括兩個反光點614、616)，眼部追蹤將可以不同形式來實現。

在此先以圖5圖5A繪示的眼部追蹤的步驟流程。在步驟S510中，眼部追蹤模組1322計算眼部區域中的黑白對比變化，以獲得位在影像序列中的瞳孔位置。在步驟S520中，眼部追蹤模組1322獲得反光點的參考位置。並且，在步驟S530中，眼部追蹤模 組1322依據瞳孔位置與反光點的參考位置的相對關係，調整並獲得眼部物件位在影像序列中的的第一位置。

詳細而言，圖5B繪示的是眼部物件510中包括瞳孔(對應瞳孔中心點512)及一個反光點514的範例，且眼部物件510對應於影像序列的其中一張影像。眼部偵測模組1321可利用瞳孔的統計資訊以獲得眼部物件510，上述的統計資訊例如是相關於眼球和/或瞳孔的面積、長度、寬度、長寬比、形狀、黑白對比的統計數據種類至少其一或其組合。在眼部偵測模組1321獲得眼部物件510之後，眼部追蹤模組1322可計算眼部區域中的黑白對比變化。利用人眼中瞳孔和眼球(在此指人眼構造中的虹膜，為眼睛的黑色、藍色或褐色等非白色區域)邊緣對應於黑白對比變化的極值發生處(一般而言，相對於鄰近的眼球，瞳孔為較黑(或較暗)影像)的特性，眼部追蹤模組1322可取得瞳孔中心點512的大約位置。而對於反光點514而言，眼部追蹤模組1322亦可以類似上述的方式而取得反光點514的參考位置，並還可考量將位於瞳孔中心最近處的白色對比區域的條件作為判斷是否為反光點514的依據。之後，眼部追蹤模組1322對瞳孔進行邊緣檢測，並依據反光點514的參考位置作為邊緣檢測的基準點，以取得精確的瞳孔邊緣來推算瞳孔中心點512的位置，從而修正瞳孔中心點512位置以實現精確的瞳孔定位。上述邊緣檢測的方式可利用像素由白(對應於眼球)至黑(對應於瞳孔)或是由黑至白的劇烈變化處以偵測邊緣。另外，眼部追蹤模組1322還可對反光點512的 參考位置進行細部調整，藉以提供更精準的參考位置以作為瞳孔定位的基準點。其中，眼部追蹤模組1322可將反光點的中心作為其邊緣檢測的基準點，並依據類似對瞳孔進行邊緣檢測的流程，從而調整反光點的參考位置。藉此，經由重複且連續地執行上述流程，眼部追蹤模組1322可依序取得影像序列中的眼部物件的各個位置。這些位置即對應了使用者在注視視圖圖樣的視線移動軌跡。

值得一提的是，圖5A的流程圖還包括步驟S540。在步驟S540中，在眼部追蹤模組1322取得眼部物件510的所述第一位置之後，會進一步地調整眼部區域的範圍，以便眼部追蹤模組1322可精確且有效率地執行下一次的眼部追蹤動作。例如，在一實施例中，眼部追蹤模組1322可依據人眼可移動的最大範圍而調整眼部區域的範圍。另外，在部分實施例中，眼部追蹤模組1322也可在進行眼部追蹤動作之前，適應性地濾除眼部物件中的雜訊，以提升定位並追蹤眼部物件510的精確度。上述對於調整眼部區域以及濾除雜訊的方式可依需求而適當設計，本發明對此不限制。

以下再以圖5B、圖6A至圖6D的示意圖，對步驟S450中獲得使用者在注視視圖圖樣的視線移動軌跡的具體實施態樣進行說明。在此實施例中，眼部追蹤模組1322可利用前述實施例中步驟S510、S520的實施方式，從而取得瞳孔中心點512與反光點514的位置。接著，映射轉換模組1323可利用瞳孔中心點512至 反光點514之間的距離L，以及通過瞳孔中心點512的一基準線(即圖6A中之水平軸)，並配合反光點514相對於瞳孔中心點512的向量602所界定出的角度θ，從而經由上述距離L以及角度θ之間的關係，以將使用者在影像序列中的瞳孔位移位置(即對應於上述的第一位置)轉移至視圖圖樣的座標系統，而得到相對應的視線移動軌跡。應用上述距離L及角度θ之參數以進行座標轉換的實施態樣，底下提供分組對應法及內插對應法作為說明。

首先以圖6B與圖6C實施例來說明分組對應法。在此實施例中，分組對應法可以包括訓練階段及應用階段，其中，映射轉換模組1323透過訓練階段以取得座標轉換所需的係數，並可據以在應用階段時將目前的眼部物件轉換至視圖圖樣的座標系統中。詳細而言，在訓練階段時，映射轉換模組1323可從圖6B的區域1~16中，每次顯示其中一組區域供使用者觀看(在圖6B中繪示的是將區域1顯示給使用者觀看的情況)，以令映射轉換模組1323可定位並取得使用者對應於各組區域的瞳孔中心及反光點的距離及角度，以將圖6B的各組區域的距離-角度分佈繪示於圖6C的距離-角度圖。藉此，在分組對應法的應用階段時，映射轉換模組1323可透過取像單元110目前所取得之眼部物件，據以分析此眼部物件中的瞳孔及反光點所對應的距離L與角度θ，並獲得距離-角度圖中的座標點，例如圖6C的座標點630。接著，映射轉換模組1323可利用最小目標函式找出距離座標點630最接近的區域，以將目前的眼部物件定位至視圖圖樣的座標系統，從而完成座標 轉換。上述最小目標函式的公式(1)如下所述：Min Obj.=W₁|Dis_t-Dis_i|+W₂|Angle_t-Angle_i|,(i=1~16)……(1)

其中，Dis_i及Angle_i是目標距離值與角度值，而Dis_t及Angle_t是目前眼部物件所對應的距離值與角度值。上述距離值與角度值可透過座標點的x軸與y軸座標計算而得到，而W₁、W₂則為分配權重。可以看出，圖6B中區域的數量將決定映射轉換模組1323以分組對應法轉換座標時的精確程度。因此，當此實施例的分組對應法包括的區域數量越多，映射轉換模組1323可相應獲得較精確的轉換座標。

另一方面，圖6D的實施例則用以說明內插對應法。在此實施例中，映射轉換模組1323可透過扭正(un-warping)運算，從而將距離-角度圖中的座標點所畫出的扇形640轉換為較為規則的矩形650，並將矩形650的位置對應到視圖圖樣所在的座標系統660中。此實施例同樣可包括訓練階段及應用階段，且訓練階段的實施方式亦可與前述實施例類似。不同之處在於，本實施例的映射轉換模組1323更利用上述扭正運算以得到正規化分佈圖，並可以仿射轉換技術(affine transform)對所述正規化分佈圖進行移動校正(moving calibration)。經扭正運算以獲得正規化的距離-角度分佈圖的公式(2)、(3)如下所述：

扭正運算將未扭正前的取樣點(X,Y)={(x₁,y₁)...(x_n,y_n)}轉正為目標點(X_T,Y_T)={(x_T1,y_T1)...(x_Tn,y_Tn)}，其中，X、Y表示上述的距離L及角度θ，n為取樣數目，且a₀~a₅、b₀~b₅為扭正轉換係數。藉此，映射轉換模組1323可藉由反矩陣運算而求得係數a₀~a₅與b₀~b₅的最佳解。如此一來，映射轉換模組1323即可利用上述係數將目前未知的座標點進行扭正轉換。

另一方面，映射轉換模組1323利用仿射技術進行移動校正的公式(4)則如下述：

其中，x'、y'為經移動校正後的新座標，a~f則為仿射轉換係數。藉此，映射轉換模組1323亦可經由反矩陣計算，或是透過輸入未校正前顯示單元的任三個角落的三對座標點及校正後的任三個角落的三對座標點，而求得上述仿射轉換係數a~f。藉此，映射轉換模組1323即可將目前未知的座標點進行移動校正，以排除影像縮放、平移、旋轉等因素在座標轉換時所造成的影響。相對於圖6B、6C所提出的分組對應法的實施例而言，映射轉換模組1323使用內插對應法可以較少的取樣數量來完成座標轉換。

需說明的是，在一實施例中，當眼部追蹤模組1322依序 獲得眼部物件位在影像序列中的複數個第一位置之後，映射轉換模組1323才將這些第一位置以連續動作的形式轉換為使用者在注視視圖圖樣的視線移動軌跡。而在另一實施例中，映射轉換模組1323則可與眼部追蹤模組1322取得眼部物件的各第一位置的動作同步，以將上述第一位置依序地進行座標轉換，藉此獲得使用者的視線移動軌跡。應用本實施例者可依其設計需求決定獲得視線移動軌跡的方式，本發明對此不限制。

另一方面，圖6E的範例則說明當眼部物件610包括瞳孔612與2個反光點614、616的情況。與前述實施例類似，眼部追蹤模組1322可利用影像的黑白對比變化(例如對眼部物件610的影像進行二值化處理)，以找出眼部物件610中的瞳孔612與反光點614、616，並取得其個別的中心點以表示瞳孔612與反光點614、616各自的位置。映射轉換模組1323可計算瞳孔612與反光點614、616在不共線時所形成的三角形面積，並可適應性地校正因使用者頭部移動而可能造成的誤差。詳言之，對於考慮上述誤差的面積算法，其可藉由在計算出瞳孔612與反光點614、616形成的三角形面積後，進一步地以一正規化因子對上述計算所得之面積進行正規化處理。舉例而言，上述的正規化因子可為反光點614、616之間的距離的平方除以2，且映射轉換模組1323會將前述計算所得的三角形面積除以此正規化因子，從而進行誤差校正以獲得面積參數。

另一方面，映射轉換模組1323並藉由瞳孔612與反光點 614、616以計算角度參數。在一實施例中，映射轉換模組1323可透過橫向穿過瞳孔612中心點的橫線H，以及瞳孔612與反光點614的連線，以獲得上述兩線間的第一夾角α 1。另外，映射轉換模組1323也可藉由橫線H以及瞳孔612與反光點616的連線，以獲得上述兩線間的第二夾角α 2。換言之，所述的角度參數可以是第一夾角α 1、第二夾角α 2，也可以是第二夾角α 2與第一夾角α 1之間的差值(即α 2-α 1，以瞳孔612為中心，瞳孔612與反光點614的連線，以及瞳孔612與反光點616的連線之間的夾角)。

因此，映射轉換模組1323可在首次使用時，透過如圖6F所示的校正區域1~18或是校正點進行校正，以得到角度-面積平面圖上的校正座標。類似於前述實施例的訓練階段，使用者對應於各組區域的瞳孔612及反光點614、616所形成的面積及角度的分佈被繪示於圖6G中，並由映射轉換模組1323將上述的原始座標映射到對應於校正區域1~18的座標，以取得座標轉換(例如仿射轉換方法)所需的係數。如此一來，在進入應用階段之後，映射轉換模組1323即可藉由用以座標轉換的係數，從而完成對於瞳孔612及反光點614、616的的座標轉換。

圖7至圖9的實施例為上述基於眼部動作的控制方法的實際應用範例。首先以圖7為例進行說明，其中，圖7為本發明一實施例之基於眼部動作進行控制的門禁系統示意圖。

門禁系統700包括取像單元710、處理單元720、鎖具730、提示單元740以及門體750。鎖具730設置於門體750上， 並用以控制門體750的開啟或關閉。在本實施例中，提示單元740例如是燈號顯示裝置，並透過燈號來提示鎖具730的目前配置狀態為鎖定狀態或解鎖狀態，但本發明實施例並不限制提示單元的形式。

在本實施例中，取像單元710例如設置於門體750上，並由一罩體760將取像單元710遮覆，而僅於取像單元710的取像方向上露出一影像擷取區，以令使用者可將眼部區域對準該影像擷取區，使得取像單元710可針對使用者的眼部區域擷取影像序列，以避免他人窺視，從而提高門禁系統700的使用安全性。於此，罩體760的設置同樣是設計者可依其設計需求而自行選擇是否加入，本發明不以此為限。

基於門禁系統700的架構，處理單元720可依據取像單元710所擷取的影像序列，並可讀取如之前實施例所述的儲存單元中所記錄的程序模組，而依照圖2至圖6D實施例的步驟流程來偵測出使用者所做出的眼部動作，並據以判斷使用者的視線移動軌跡是否符合預設軌跡。藉此，處理單元720可依據判斷結果決定是否發出對應的控制訊號來控制鎖具730解除鎖定狀態，從而令使用者在其視線移動軌跡符合預設軌跡時，可開啟門體750以進入門體750後的區域。

圖8A與圖8B是本發明的另一範例，並繪示出依照本發明一實施例之基於眼部動作進行控制的手持式眼控接目裝置800的示意圖。手持式眼控接目裝置800包括處理單元、取像單元 810、顯示單元820、殼體830、反射鏡840以及光源850，並連接一保全設備(例如保險箱860)以對使用者進行驗證。在本實施例中，手持式眼控接目裝置800可透過無線傳輸介面(例如：短距離無線通訊(Short Distance Wireless Communication)、無線射頻辨識(Radio Frequency Identification,RFID)、藍芽(Bluetooth)或Wi-Fi等)的方式而與保險箱860相連。取像單元810與光源850皆配置於殼體830內，並鄰近於手持式眼控接目裝置800的窗口的位置。光源850可在取像單元810擷取使用者的眼部影像時開啟，或者在使用者靠近時開啟，藉以提供足夠的亮度，本發明不以此為限。顯示單元820配置於殼體830內，其可用以顯示有關於密碼輸入資訊的畫面。而反射鏡840則可將顯示單元820所顯示的畫面反射至手持式眼控接目裝置800的窗口，以令使用者可透過窗口而觀看到顯示單元820所顯示的畫面內容。所述之密碼輸入資訊例如為『請輸入密碼』等提示使用者可開始進行眼動輸入的文字，或者指示使用者密碼是否輸出正確的文字，本發明不以此為限。

因此，在使用者欲使用保險箱860時，使用者可以利用手持的方式將手持式眼控接目裝置800承靠於眼睛上，並作出眼部動作。類似地，基於手持式眼控接目裝置800的架構，取像單元810拍攝使用者眼部並擷取影像序列，且處理單元可讀取如之前實施例所描述的儲存單元中所記錄的程序模組，而依照圖2至圖6D的實施例的步驟流程來偵測出使用者所做出的眼部動作，藉 以取得使用者注視顯示單元820顯示的視圖圖樣的視線移動軌跡，並將所述視線移動軌跡作為保險箱860的輸入密碼，而與一軌跡形式的預設之安全密碼進行比對。當上述安全密碼與輸入密碼相符時，處理單元可產生驗證成功信息並傳送至保險箱860，從而控制將其鎖具開啟。本實施例的其他細部作動方式可類似於上述實施例，故請參照前述。

圖9是依照本發明又一實施例之基於眼部動作進行控制的眼控裝置900的示意圖眼控裝置900包括取像單元910以及處理單元。在此實施例中，眼部追蹤模組提供另一種追蹤眼部物件的實施態樣。詳言之，取像單元910可具備可轉動地調整方向及角度的鏡頭，以便將鏡頭調整成仰望使用者臉部的狀態。例如，取像單元910的鏡頭可以仰角45度的角度朝向該使用者的臉部，以加強使用者鼻孔影像的辨識度，而有助於取得鼻孔影像，從而作為界定眼部物件的位置的參考特徵。

詳細而言，處理單元可透過鼻孔區域相對於其他區域明顯較黑的特性，並利用鼻孔區域的最長橫軸及最長縱軸的交叉點作為鼻孔的中心點。接著，眼部追蹤模組計算兩鼻孔中心點之間的間距以決定一起算點座標(s₁，t₁)，再根據上述間距以及起算點座標而計算出基準點座標(s₂，t₂)，其中，s₂=s₁+k₁×D，t₂=t₁+k₂×D，k₁=1.6~1.8，k₂=1.6~1.8，且較佳是k₁=k₂。上述k₁、k₂之數值可依據統計結果所得到，且經由上述關係式所獲得的基準點座標(s₂，t₂)，可剛好落在接近於臉部影像中的一個眼部物件的中心 點。如此一來，透過鼻孔特徵以及眼睛統計特徵，眼部追蹤模組可對使用者的眼部物件取得精確定位。

藉此，基於上述眼控裝置900的硬體架構，處理單元可以類似的方式讀取如之前實施例所描述的儲存單元中所記錄的程序模組，而依照圖2至圖6D的實施例的步驟流程來偵測出使用者所做出的眼部動作，並對應取得使用者在注視視圖圖樣的視線移動軌跡，以判斷是否符合預設軌跡，從而藉由眼控裝置900以依據使用者的視線移動軌跡而執行對應操作，例如偵測使用者的視線移動軌跡來將電腦螢幕解鎖，或是操作電腦視窗的游標等功能。

綜上所述，本發明實施例所提出的基於眼部動作的控制方法及應用其之裝置，可偵測使用者在注視視圖圖樣的視線移動軌跡，並在判定視線移動軌跡符合相對於視圖圖樣的預設軌跡時，由裝置執行相對應的操作。藉此，本發明實施例可藉由視線移動軌跡作為訊號的觸發，並能夠廣泛應用於保全系統、眼控電腦等多個領域。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S310~S350‧‧‧步驟

Claims (12)

1. 一種基於眼部動作的控制方法，包含：透過一取像單元擷取一影像序列；分析該影像序列，藉以在該影像序列的每一張影像中，獲得一使用者的一眼部區域之一眼部影像資訊；基於該眼部影像資訊，以偵測該使用者在注視一視圖圖樣的一視線移動軌跡；判斷該視線移動軌跡是否符合相對於該視圖圖樣的一預設軌跡，以產生一判斷結果；以及依據該判斷結果，於一裝置上執行一對應操作，其中基於該眼部影像資訊，以偵測該使用者在注視該視圖圖樣的該視線移動軌跡的步驟包括：基於該眼部影像資訊以偵測該眼部區域內的一眼部物件；依據該眼部物件執行一眼部追蹤動作，以依序獲得該眼部物件位在該影像序列中的複數個第一位置；以及依據該視圖圖樣對應的一座標系統，映射轉換該些第一位置為複數個第二位置，以獲得該使用者在注視該視圖圖樣的該視線移動軌跡，其中該眼部物件包括一瞳孔與一第一反光點，且依據該眼部物件執行該眼部追蹤動作，以依序獲得該眼部物件相應於該影像序列的該些第一位置的步驟包括： 對該影像序列的該瞳孔與該第一反光點進行定位以執行該眼部追蹤動作；以及依序獲得該眼部物件相應於該影像序列的該些第一位置，其中依據該視圖圖樣對應的該座標系統，映射轉換該些第一位置為該些第二位置，以獲得該使用者在注視該視圖圖樣的該視線移動軌跡的步驟包括：依據該瞳孔與該第一反光點，計算一距離參數；依據該第一反光點相對於該瞳孔的一向量，計算一角度參數；分析該距離參數及該角度參數的一分佈關係，以轉換該些第一位置為該視圖圖樣對應的該座標系統中的該些第二位置；以及將該些第二位置作為該使用者在注視該視圖圖樣的該視線移動軌跡。
2. 如申請專利範圍第1項所述的控制方法，其中該視圖圖樣包括複數個辨識圖案，且該預設軌跡為對應於至少一個該些辨識圖案所依序組成的幾何連線。
3. 如申請專利範圍第1項所述的控制方法，其中基於該眼部影像資訊，以偵測該使用者在注視該視圖圖樣的該視線移動軌跡的步驟包括：分析該眼部影像資訊以判斷該使用者是否注視於該視圖圖樣 中的一預設位置、或注視該預設位置超過一預設時間；以及當該使用者注視於該視圖圖樣中的該預設位置、或注視該預設位置超過該預設時間時，偵測該使用者在注視該視圖圖樣的該視線移動軌跡。
4. 如申請專利範圍第1項所述的控制方法，其中該眼部物件更包括一第二反光點，且依據該視圖圖樣對應的該座標系統，映射轉換該些第一位置為該些第二位置，以獲得該使用者在注視該視圖圖樣的該視線移動軌跡的步驟包括：依據該瞳孔、該第一反光點與該第二反光點，計算一面積參數；依據該第一反光點與該瞳孔的一第一連線以及該第二反光點與該瞳孔的一第二連線的至少其一，計算一角度參數；分析該面積參數及該角度參數的一分佈關係，以轉換該些第一位置為該視圖圖樣對應的該座標系統中的該些第二位置；以及將該些第二位置作為該使用者在注視該視圖圖樣的該視線移動軌跡。
5. 如申請專利範圍第1項所述的控制方法，其中依據該眼部物件執行該眼部追蹤動作，以依序獲得該眼部物件相應於該影像序列的該些第一位置的步驟更包括：在獲得該些第一位置的其中之一之後，調整該眼部區域以再次偵測該眼部物件，並據以執行該眼部追蹤動作。
6. 如申請專利範圍第1項所述的控制方法，其中依據該判斷 結果以於該裝置上執行該對應操作的步驟包括：當該視線移動軌跡符合該預設軌跡時，該裝置解除一鎖具的一鎖定狀態；以及當該視線移動軌跡不符合該預設軌跡時，該裝置維持該鎖具的該鎖定狀態。
7. 一種基於眼部動作進行控制的裝置，包含：一取像單元，擷取一影像序列；一儲存單元，記錄多個程序模組，並包括一資料庫；以及一處理單元，耦接該取像單元及該儲存單元，以存取並執行該儲存單元中記錄的所述程序模組，所述程序模組包括：一影像分析模組，分析該影像序列，藉以在該影像序列的每一張影像中，獲得一使用者的一眼部區域之一眼部影像資訊；一視線偵測模組，基於該眼部影像資訊，以偵測該使用者在注視一視圖圖樣的一視線移動軌跡；一判斷模組，判斷該視線移動軌跡是否符合相對於該視圖圖樣的一預設軌跡，以產生一判斷結果；以及一控制模組，依據該判斷結果以藉由該裝置執行一對應操作，其中該視線偵測模組包括：一眼部偵測模組，基於該眼部影像資訊以偵測該眼部區域內的一眼部物件； 一眼部追蹤模組，依據該眼部物件執行一眼部追蹤動作，以依序獲得該眼部物件位在該影像序列中的複數個第一位置；以及一映射轉換模組，依據該視圖圖樣對應的一座標系統，映射轉換該些第一位置為複數個第二位置，以獲得該使用者在注視該視圖圖樣的該視線移動軌跡，其中該眼部物件包括一瞳孔與一第一反光點，且該眼部追蹤模組對該影像序列的該瞳孔與該第一反光點進行定位以執行該眼部追蹤動作，以及依序獲得該眼部物件相應於該影像序列的該些第一位置，其中該映射轉換模組依據該瞳孔與該第一反光點，計算一距離參數，且依據該第一反光點相對於該瞳孔的一向量，計算一角度參數，並分析該距離參數及該角度參數的一分佈關係，以轉換該些第一位置為該視圖圖樣對應的該座標系統中的該些第二位置，以及將該些第二位置作為該使用者在注視該視圖圖樣的該視線移動軌跡。
8. 如申請專利範圍第7項所述的裝置，其中該視圖圖樣包括複數個辨識圖案，且該預設軌跡為對應於至少一個該些辨識圖案所依序組成的幾何連線。
9. 如申請專利範圍第7項所述的裝置，其中該視線偵測模組分析該眼部影像資訊以判斷該使用者是否注視於該視圖圖樣中的一預設位置、或注視該預設位置超過一預設時間，以及當該使用 者注視於該視圖圖樣中的該預設位置、或注視該預設位置超過該預設時間時，該視線偵測模組偵測該使用者在注視該視圖圖樣的該視線移動軌跡。
10. 如申請專利範圍第7項所述的裝置，其中該眼部物件更包括一第二反光點，且該映射轉換模組依據該瞳孔、該第一反光點與該第二反光點，計算一面積參數，且依據該第一反光點與該瞳孔的一第一連線以及該第二反光點與該瞳孔的一第二連線的至少其一，計算一角度參數，並分析該面積參數及該角度參數的一分佈關係，以轉換該些第一位置為該視圖圖樣對應的該座標系統中的該些第二位置，以及將該些第二位置作為該使用者在注視該視圖圖樣的該視線移動軌跡。
11. 如申請專利範圍第7項所述的裝置，其中該眼部追蹤模組更在獲得該些第一位置的其中之一之後調整該眼部區域，以由該眼部偵測模組再次偵測該眼部物件，且該眼部追蹤模組據以執行該眼部追蹤動作。
12. 如申請專利範圍第7項所述的裝置，其中當該視線移動軌跡符合該預設軌跡時，該控制模組控制該裝置解除一鎖具的一鎖定狀態，且當該視線移動軌跡不符合該預設軌跡時，該控制模組控制該裝置維持該鎖具的該鎖定狀態。