TWI432172B

TWI432172B - Pupil location method, pupil positioning system and storage media

Info

Publication number: TWI432172B
Application number: TW097141172A
Authority: TW
Original assignee: Utechzone Co Ltd
Priority date: 2008-10-27
Filing date: 2008-10-27
Publication date: 2014-04-01
Also published as: US7832866B2; US20100103375A1; JP5189057B2; JP2010099470A; TW201016185A

Description

瞳孔定位方法、瞳孔定位系統及儲存媒體

本發明是有關於一種瞳孔定位方法、瞳孔定位系統及儲存媒體，特別是指一種可用眼睛控制電腦之瞳孔定位方法、瞳孔定位系統及儲存媒體。

目前人眼追蹤(Eye tracking)技術以是否與人眼接觸區分為接觸式及非接觸式，接觸式人眼追蹤技術可區分為搜尋線圈法及眼電圖法，非接觸式人眼追蹤技術主要是以視覺辨識為基礎(Vision based)，可區分為頭戴式(Head－mount)或免頭戴式(Free－head)。

在接觸式人眼追蹤技術方面，搜尋線圈法(Search coil)是讓使用者配戴具有感應線圈的軟式鏡片，當使用者轉動眼球進而帶動鏡片時，感應線圈會因為磁通量變化產生感應電動勢，此電動勢大小即代表眼球偏轉的角度，但是此方法的缺點在於容易受到使用者眼球狀況的影響，如眼部的分泌物等，且軟式鏡片是雙層結構，會影響使用者的視力；至於眼電圖(EOG)法，則是在眼部周圍貼附複數電極，並利用該等電極偵測眼球轉動所產生的電壓差來判斷其上下左右的角度，缺點是臉部貼附電極的皮膚電阻容易因為角質分泌使得取得的電訊號不穩定，且僅能記錄眼球的巨轉向而無法記錄較微小的角度變化。

在頭戴式人眼追蹤技術方面，使用者必須配戴一附有小型攝影機之眼鏡，由於眼部及攝影機的相對距離固定，如此就不會因為臉部偏移或眼部的相對距離變化導致判斷不準確，因而在使用者使用時就必須將眼鏡固定於頭部藉此固定小型攝影機與眼睛的相對位置，對使用者而言不但不方便也不舒適。

免頭戴式人眼追蹤技術方面，國外有配合螢幕及雙CCD攝影機的眼部追蹤器(Eye trackers)，國內較有名的則有林宸生等人的相關研究。然而，目前所知的免頭戴式人眼追蹤技術係採用較複雜的運算，另外，雙CCD攝影機的眼部追蹤器雖然可以對指標精確定位，但是造價十分昂貴，且需採用兩個CCD攝影機。

由前述可知，無論接觸式或非接觸式的眼控技術在實施時，都需要精準的定位才具有實用性；然而，精準的定位還需搭配昂貴的軟硬體設備，如此一來，使眼控技術無法普及化讓一般大眾也能使用。

因此，本發明之一目的，即在提供一種能無須搭配昂貴硬體的瞳孔定位方法、瞳孔定位系統及儲存媒體。

因此，本發明之另一目的，即在提供一種準確定位的瞳孔定位方法、瞳孔定位系統及儲存媒體。

於是，本發明瞳孔定位方法用以在一使用者注視一螢幕時定位出該使用者觀看該螢幕的位置，該方法包含下述步驟：擷取該使用者之眼部影像，並利用該眼部影像定位出一瞳孔中心及一反光點；以該瞳孔中心至該反光點之距離界定出一距離值，並以該瞳孔中心位置界定一基準線配合該反光點相對於該瞳孔中心的一向量界定出一角度值；及利用觀看不同位置的該距離值及角度值得到的一角度－距離分佈圖後，以觀看任一位置的距離值及角度值依據一預定方式在角度－距離分佈圖對應得到一座標點，藉此換算觀看螢幕任一點時對應於該螢幕的位置。

本發明儲存媒體用以記錄一電腦程式，該電腦程式令一電腦執行瞳孔定位方法。

本發明瞳孔定位系統包括一發射一光束照射一使用者眼部的光源、一擷取該使用者之眼部影像的攝影機及一運算模組；該運算模組具有一特徵定位單元、一距離－角度處理單元及一座標換算單元。

該特徵定位單元取得該眼部影像並定位出一瞳孔中心及一反光點；該距離－角度處理單元以該瞳孔中心至該反光點之距離界定出一距離值，並以該瞳孔中心位置界定一基準線配合該反光點相對於該瞳孔中心的一向量界定出一角度值；該座標換算單元利用觀看不同位置的該距離值及角度值得到的一角度－距離分佈圖後，以觀看任一位置的距離值及角度值依據一預定方式在角度－距離分佈圖對應得到一座標點，藉此換算觀看螢幕任一點時對應於該螢幕的位置。

本發明瞳孔定位方法、瞳孔定位系統及儲存媒體採用非接觸式技術，無須在人體佩帶額外裝備，並利用觀看不同位置的該距離值及角度值得到的一角度－距離分佈圖來換算觀看螢幕任一點時對應於該螢幕的位置，因此無須複雜計算而能對定位功能更為準確且有效的控制。

有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之較佳實施例的詳細說明中，將可清楚的呈現。在本發明被詳細描述之前，要注意的是，在以下的說明內容中，類似的元件是以相同的編號來表示。

一、系統架構及方法概念

參閱圖1，本發明瞳孔定位系統1之較佳實施例包括一光源11、一攝影機12、一運算模組13及一螢幕14；該運算模組13包括一訓練單元130、一特徵定位單元131、一距離－角度處理單元132及一座標換算單元133。

本較佳實施例中，運算模組13係一儲存媒體記錄之電腦程式，用以令電腦執行本發明之瞳孔定位方法，該方法依照下列步驟實施：參閱圖1至圖3，訓練單元130是每次在螢幕14顯示一目標區域供該使用者觀看，接續執行步驟301及步驟302後再顯示另一目標區域供該使用者觀看，直到一預定數量的目標區域都顯示完畢；特徵定位單元131取得一使用者4之眼部影像401，並定位出一瞳孔中心41及一反光點42(步驟301)，且該眼部影像401由攝影機12拍攝，反光點42是利用光源11發射一光束照射人眼反射而得。

接著，距離－角度處理單元132以瞳孔中心41至反光點42之距離界定出一距離值L，並以瞳孔中心41位置界定一基準線(即水平軸)配合反光點42相對於瞳孔中心41的一向量43界定出一角度值θ(步驟302)。

然後，座標換算單元133利用觀看不同位置的距離值L及角度值θ得到的一角度－距離分佈圖(步驟303)，前述訓練階段的步驟301至步驟303完畢後，即進入應用階段，讓使用者觀看螢幕14的任一位置時，令該位置的距離值及角度值依據一預定方式在角度－距離分佈圖對應得到一座標點(步驟304)，如此就可以得到觀看螢幕14任一點時對應於螢幕14的位置。

需說明的是，本發明定義角度值θ為負數時，依據下述公式將其轉換為0度至180度之間的角度：if Angle<0 then Angle＝180＋Angle；以下介紹距離值L及角度值θ如何換算對應於該螢幕14的指標101位置的二個較佳實施例，其中一種預定方式是分組對應法，另一種則是內插對應法。

二、分組對應法的實施例

本發明之瞳孔定位方法可區分為一訓練階段(如圖4)及一應用階段(如圖9)，各階段之流程詳述如下：參閱圖4，訓練階段之流程包括下述步驟：配合圖1，訓練單元130將螢幕14預先劃分多組區域，每次只顯示其中一組區域，每次顯示一組區域供使用者觀看時，控制特徵定位單元131執行定位及控制距離－角度處理單元132取得各組區域的距離－角度；及若判斷所有區域已顯示完畢時，取得各組區域的距離－角度分佈圖。

如圖5所示，螢幕14劃分為4x4＝16組區域，但每次只顯示其中一組區域；然後，訓練階段之流程開始時，先設定計數值I＝1(步驟201)，每次顯示一區域I供使用者觀看(步驟202)。

接著，擷取一使用者之眼部影像401(步驟203)，並利用眼部影像401定位出一瞳孔中心41及一反光點42(步驟204)；如圖6所示，瞳孔中心41的定位方法是將眼部影像401經由動態二值化(Adaptive threshold)及型態學(Morphology)之封閉(Close)運算處理後，即可計算出瞳孔中心41的位置。

然後，利用瞳孔中心及反光點界定出一距離值L及一角度值θ(步驟205)；將計數值I＋1(步驟206)；再判斷I＝16(步驟207)？若否，則繼續重複步驟202至207，直到判斷I＝16時，表示已經取得各組區域的距離－角度分佈圖(步驟208)。

關於距離值L及角度值θ如何界定可參考前述圖2的說明文字，至於距離值L及角度值θ與螢幕14各組區域的距離－角度差異說明如下：參閱圖7(a)，螢幕14先顯示”1”區域，此時得到距離值L₁ 及角度值θ₁ ；參閱圖7(b)，螢幕14顯示”2”區域，此時得到距離值L₂ 及角度值θ₂ ；參閱圖7(c)，螢幕14顯示”3”區域，此時得到距離值L₃ 及角度值θ₃ ；參閱圖7(d)，螢幕14顯示”4”區域，此時得到距離值L₄ 及角度值θ₄ ；值得注意的是，由於眼睛視線是水平移動，因此距離值L₁ 、L₂ 、 L₃ 及L₄ 不會差距太大，但是角度值θ₁ 、θ₂ 、θ₃ 及θ₄ 則會有較大變化。

但是當眼睛視線下移至”1”、”2”、”3”及”4”的下一排數字”5”、”6”、”7”及”8”時，因為瞳孔下移一小段距離，使得注視”5”、”6”、”7”及”8”時得到的距離值將會變小，角度值則各自對應與θ₁ 、θ₂ 、θ₃ 及θ₄ 不會有太大差距。

參閱圖8，依據前述的原理，再加上由於眼球為球面而非平面之故，可得到各組區域”1”至”16”的距離－角度分佈圖。

參閱圖9，並配合圖6，分組對應法於實際應用階段之流程包括下述步驟：擷取一使用者之眼部影像401(步驟211)，並利用眼部影像401定位出一瞳孔中心41及一反光點42(步驟212)；利用瞳孔中心及反光點界定出一距離值Li及一角度值θ i(步驟213)；以上步驟請參考圖2的說明，不再贅述。

再參閱圖8，以距離值Li及角度值θ i可對應在角度－距離分佈圖中得到一座標點5，利用最小目標函式找出距離該座標點5最近的區域(步驟214)，如此即完成螢幕指標的定位功能(步驟215)。

最小目標函式的公式如下：Min Obj.＝W₁ |Dist_t－Dis_i|＋W₂ |Angle_t－Angle_i|(i＝1~16) /Dist_i及Angle_i是目標距離值及角度值，Dis_t及Angle_t是目前距離值及角度值；W₁ 及W₂ 為分配權重，此是為了使二者貢獻均衡/

由本較佳實施例可知，本方法是利用多組區域得到的瞳孔中心及反光點的距離及角度，來與與螢幕的多組區域的空間，彼此建立起一對應的關係，進而得到定位功能效果；然而，分組對應法需要看越多組區域，其定位效果才會越好，因而有下面介紹的內插對應法來改善此缺點。

三、內插對應法的實施例

參閱圖10，若將螢幕劃分為8x8＝64組區域，則對應各區域得到的距離－角度之點集合會得到一不規則的扇形分佈；如此一來，想利用內插法得到螢幕對應的座標就遇到了困難。

參閱圖11，以少數距離－角度點所畫出的一扇形51，利用一扭正(Un－warping)運算可轉換成一較為規則的矩形52，然後再將該矩形52之位置對應至螢幕14之座標，如此可得到相當近似且良好的對應效果。

本實施例之瞳孔定位方法也是區分為一訓練階段及一應用階段，各階段之流程詳述如下：參閱圖12，訓練階段之流程類似圖2，也包括下述步驟：首先，設定計數值I＝1(步驟601)，然後，每次顯示區域I供使用者觀看(步驟602)；接著，擷取一使用者之眼部影像401(步驟603)，並利用眼部影像401定位出一瞳孔中心41及一反光點42(步驟204)；然後，利用瞳孔中心及反光點界定出一距離值L及一角度值θ(步驟605)；將計數值I＋1(步驟606)；再判斷I＝16(步驟607)？若否，則繼續重複步驟602至607，直到判斷I＝16時，表示已經取得各組區域的距離－角度分佈圖(步驟608)。

不同的是，本方法還要將前述的距離－角度分佈圖經過一扭正運算以得到一正規化分佈圖(步驟609)，利用仿射轉換技術校正該正規化分佈圖(步驟610)。

步驟609求得的正規化之距離－角度分佈圖，其公式如下：扭正運算是將未扭正前的取樣點(X,Y)＝{(x ₁ ,y ₁ ),..(x _n ,y _n )}轉正為目標點(X_T ,Y_T )＝{(x _T
1 ,y_T
1 ),...(x _Tn ,y _Tn )}，如：輸入至少6組未扭正前的樣本點(x ₁ ,y ₁ ),(x ₂ ,y ₂ ),(x ₃ ,y ₃ ),(x ₄ ,y ₄ ),(x ₅ ,y ₅ )(x ₆ ,y ₆ )轉正為相對應的6組目標點(u ₁ ,v ₁ ),(u ₂ ,v ₂ ),(u ₃ ,v ₃ ),(u ₄ ,v ₄ ),(u ₅ ,v ₅ )(u ₆ ,v ₆ )；其中X,Y表示距離值Li，角度值θ i，n＝取樣數目。

為了得到二階導函數的最佳參數，步驟609的扭正運算可藉由反矩陣之運算求得a ₀ ~a ₅ ,b ₀ ~b ₅ 共12組係數之最佳解；求得a₀ ~a₅ ,b₀ ~b₅ 共12組係數的解之後，將目前的未知點(X,Y)帶入公式4，就可以求得新座標點(u,v)的值。

步驟610是利用仿射轉換(Affine transform)技術對該瞳孔位置進行移動校正(Moving calibration)，移動校正主要係將座標排除其影像縮放、影像平移及影像旋轉影響，進而得到一正規化之座標。

其中(x’,y’)是新座標，a,b,c,d,e,f是仿射轉換的係數。仿射轉換的計算方式，是輸入未校正前的螢幕的任三個角落的三對座標點如：(x ₁ ,y ₁ ),(x ₂ ,y ₂ ),(x ₃ ,y ₃ )及校正後的螢幕的任三個角落的三對座標點(x '₁ ,y '₁ ),(x '₂ ,y '₂ )(x '₃ ,y '₃ )，如此即可解出a~f共6個仿射轉換係數，再將目前的未知點(X,Y)帶入公式5，就可以求得新座標點(x’,y’)的值。

參閱圖13，內插對應法於實際應用階段之流程包括下述步驟：擷取一使用者之眼部影像401(步驟611)，並利用眼部影像401定位出一瞳孔中心41及一反光點42(步驟612)；利用瞳孔中心及反光點界定出一距離值Li及一角度值θ i(步驟613)；以上步驟請參考圖2的說明，不再贅述。

接著，將距離值Li及角度值θ i(即X與Y)對應在校正後的該正規化分佈圖中得到一座標點，再將該座標點以內插法換算對應於該螢幕的位置(步驟614)，如此即完成螢幕定位功能(步驟615)。

四、結論

歸納上述，本發明瞳孔定位方法、瞳孔定位系統及儲存媒體採用非接觸式技術，具有以下的優點：1.無須在人體佩帶額外裝備，使用者無須花費昂貴的費用。

2.分組對應法是利用多組區域得到的瞳孔中心及反光點的距離及角度來與與螢幕的多組區域的空間彼此建立起一對應的關係，因此無須複雜計算而能對定位功能準確且有效的控制。

3.內插對應法以少數距離－角度點所畫出的一扇形利用一扭正運算轉換成一較為規則的矩形，然後再將矩形對應至螢幕，如此可得到相當近似且良好的對應效果，且讓使用者在訓練階段只要觀看少數位置就能達到良好的定位效果，不但精確也能更為省力。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

1‧‧‧瞳孔定位系統

101‧‧‧指標

11‧‧‧光源

12‧‧‧攝影機

13‧‧‧運算模組

130‧‧‧訓練單元

131‧‧‧特徵定位單元

132‧‧‧距離－角度處理單元

133‧‧‧座標換算單元

14‧‧‧螢幕

201~208‧‧‧步驟

211~215‧‧‧步驟

301~304‧‧‧步驟

4‧‧‧使用者

401‧‧‧眼部影像

41‧‧‧瞳孔中心

42‧‧‧反光點

43‧‧‧向量

5‧‧‧座標點

601~610‧‧‧步驟

611~615‧‧‧步驟

圖1是一示意圖，說明本發明瞳孔定位系統之較佳實施例；圖2是一示意圖，說明以瞳孔中心配合反光點界定出一距離值及一角度值；圖3是一流程圖，說明本發明之瞳孔定位方法之較佳實施例；圖4是一流程圖，說明本發明之瞳孔定位系統使用的分組對應法之實施例中訓練階段之流程；圖5是一示意圖，說明螢幕劃分為多組區域，但每次只顯示其中一組區域；圖6是一示意圖，說明瞳孔中心及反光點的定位方法；圖7是一示意圖，說明距離值及角度值與螢幕各組區域的距離－角度差異；圖8是一示意圖，說明區域”1”至”16”的距離－角度分佈圖，且以距離值Li及角度值θ i可對應在角度－距離分佈圖中得到一座標點；圖9是一流程圖，說明本發明之瞳孔定位系統使用的分組對應法之實施例中應用階段之流程；圖10是一示意圖，說明對應各區域得到的距離－角度之點集合會得到一不規則的扇形分佈；圖11是一示意圖，說明以少數距離－角度點所畫出的一扇形，利用一扭正運算可轉換成一較為規則的矩形，然後再將該矩形之位置對應至螢幕之座標；圖12是一流程圖，說明本發明之瞳孔定位系統使用的內插對應法之實施例中應用階段之流程；及圖13是一流程圖，說明本發明之瞳孔定位系統使用的內插對應法之實施例中應用階段之流程。