TWI509463B - 一種使螢幕中的游標移至可按物件的方法及用於實現該方法的電腦系統與電腦程式產品 - Google Patents
一種使螢幕中的游標移至可按物件的方法及用於實現該方法的電腦系統與電腦程式產品 Download PDFInfo
- Publication number
- TWI509463B TWI509463B TW102119654A TW102119654A TWI509463B TW I509463 B TWI509463 B TW I509463B TW 102119654 A TW102119654 A TW 102119654A TW 102119654 A TW102119654 A TW 102119654A TW I509463 B TWI509463 B TW I509463B
- Authority
- TW
- Taiwan
- Prior art keywords
- coordinates
- coordinate
- cursor
- gaze point
- objects
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
本發明涉及運用眼瞳追踪技術且運作在圖形化使用者操作介面(GUI)之電腦系統,尤其涉及一種可協助使用者藉由眼睛來控制游標的技術。
為了方便使用者操作電腦,現有電腦中的作業系統,例如Windows®或是Linux®,均已提供圖形化使用者操作介面(GUI),以便使用者與電腦進行互動。這種圖形化使用者操作介面中通常提供視窗及諸如捲軸、圖示(Icon)、按鈕...等各種可按物件供使用點按或點選。舉例來說,當使用者藉由滑鼠在桌面(desktop)上點按一個代表某一應用程式的圖示(Icon),就可以啟動該某一應用程式,此應用程式會在一操作視窗內執行。若使用者再點按另一個圖示就會出現另一個操作視窗來顯示另一應用程式的執行。這種常見的電腦操作介面對於一般人而言已相當方便,然而,對於漸凍人及罹患肌肉萎縮症、腦性麻痺、脊髓損傷、多發性硬化症、或中風而導致四肢無法動作甚至無法說話的特殊人士,仍然難以使用。
諸如前段所述的特殊人士,尚能靈活使用的器官主要是眼睛,目前已有多種技術被開發出來協助這類特殊人士藉由眼睛對外進行溝通,甚至藉由眼睛來使用電腦,例如,當使用者觀看一電腦螢幕時,取得該使用者目光聚集在該螢幕上的位置點(座標),進而控制視窗上的游標移動。
然而,於現有技術中,目前尚未見有讓這類特人士較方便且快速地以眼睛來點按圖形化使用者操作介面中的各種可按物件,以致於這類人士使用電腦仍有其不便。
本發明提供一種使螢幕中的游標移至可按物件的方法,其包括接收一注視點座標,該注視點座標代表該螢幕所顯示之畫面上的一個位置點,一使用者眼睛係注視著該位置點;獲得該畫面中的可按物件;從上述顯示的可按物件中找出包含上述注視點座標的可按物件;及將該游標移至所找到的該可按物件上,較佳是移到該可按物件的中心處。
針對上述獲得該畫面中之可按物件,可依以下步驟予以達成:取得畫面中的最底層母視窗;搜尋畫面中包含注視點座標的最頂層子視窗;及找出該最頂層子視窗中的可按物件。
此外,在找不到包含該注視點座標之可按物件的情況下,可執行以下步驟:以該注視點座標為中心,建立複數個圍繞該注視點座標的鄰近座標區域;比對上述可按物件之座標與鄰近座標區域,是否有任一可按物件之坐標位於上述複數個鄰近座標區域上;若有複數個可按物件之坐標位於上述鄰近區域上,則比對上述位於該鄰近座標區域上的複數個可按物件中有哪一個可按物件之中心點座標距離注視點座標最近;將該游標移至距離注視點座標最近的可按物件之中心點座標處。具體而言,該些鄰近座標區域共有八個點且其中四個點分別位在該正方形的四個頂角,另外四個點分別位在該正方形的各個邊長的中間。此外,於進行前述比對時,係僅比對鄰近座標區域上的八個點座標,以判斷是否有可按物件之座標坐落於此八點座標上,若僅有一個可按物件位於上述八點座標上,則直接將游標移動至該可按物件上之中心處;若有複數個可按物件位於上述八點座標上,則比對上述複數個可按物件中有哪一個可按物件之中心座標距離該注視點座標最近,並將游標移動至距離該注視點座標最近之可按物件上的中心處。
本發明還提供一種電腦系統,其包括上述的螢幕及一影像擷取裝置,並能執行一影像處理程序及一游標定位處理程序。藉由該影像
處理程序的執行,該電腦系統能根該影像擷取裝置所攝取的影像運算出上述的注視點座標,接著再執行該游標定位處理程序。該游標定位處理程序包括上述本發明方法所述及的各個步驟。
本發明還提供一種電腦程式產品,其包括一電腦可讀取媒體,該電腦可讀取媒體上具有電腦可讀取的程式碼,該些程式碼係能使一電腦執行上述本發明方法。
無論如何,在本發明係能在一使用者注視一螢幕上的一個位置點時,控制該螢幕中的游標快速移動到佔據該位置點的一個可按物件的中央,或是快速移動到距離該位置點最近的一個可按物件的中央,藉以達到促進該使用者以眼睛使用電腦的便利性。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
1‧‧‧電腦系統
10‧‧‧螢幕
100‧‧‧處理單元
101‧‧‧儲存單元
102‧‧‧週邊連接介面
11‧‧‧影像擷取裝置
110‧‧‧紅外線LED光源
111‧‧‧攝影單元
200、200a‧‧‧可按物件
20‧‧‧最底層母視窗
21、22‧‧‧子視窗
210‧‧‧畫面
3‧‧‧游標
第一圖,為本發明之電腦系統的一個較佳實施例的操作示意圖。
第二圖,為本發明之電腦系統的系統方塊圖。
第三圖,為本發明之電腦系統於其螢幕中所顯示的一個示範性畫面。
第四~七圖之流程圖係用於說明本發明方法中的各個步驟。
請先參照第一圖,顯示本發明之電腦系統1的操作的示意圖。該電腦系統1具有一螢幕10、一影像擷取裝置11及位在上述螢幕10背後的一電腦運作機制。第二圖係顯示該電腦系統1的系統方塊圖,該電腦運作機制包括但不限於:以一中央處理器(CPU)及一動態記憶器(RAM)為處理核心的處理單元100、一儲存單元101(例如一硬碟)、及一週邊連接介面102(例如一網路卡介面)。該儲存單元101中儲存有可提供圖形化使用者操作介面(GUI)的作業系統,例如Windows®作業系統,以及能使該處理單元執行一影像處理程序及一游標定位處理程序的程式碼。這些程式碼也可以預先錄製在一電腦可讀取媒體(例如一光碟片)中,以供該電腦系統1
載入並執行。
影像擷取裝置11係經由該網路卡介面連接該處理單元。影像擷取裝置11主要包括一CCD或COM攝影單元111及兩組紅外線LED光源110。由上述兩組紅外線LED光源110先對一使用者的臉部照射,再由該攝影單元111拍攝該使用者,藉以連續取得包含眼睛的影像。
該儲存單元中儲存有可提供圖形化使用者操作介面(GUI)的作業系統,例如Windows®作業系統,以及能使該處理單元執行一影像處理程序及一游標定位處理程序的程式碼。這些程式碼也可以預先錄製在一電腦可讀取媒體(例如一光碟片)中,以供電腦系統1載入並執行。電腦系統1係***作於該作業系統之下,並透過該螢幕10顯示一游標3(或稱滑鼠指標)與多個可按物件200。
第三圖係顯示第一圖之螢幕10中的畫面210,畫面210是由多個物件所構成的,例如一最底層母視窗20、多個子視窗21、22及多個可按物件200。在此實施例中,最底層母視窗20實質上係一Windows桌面(desktop),子視窗22係為一最頂層子視窗,而上述可按物件200係為位在最底層母視窗20中的多個圖示(Icon),亦可為分別隸屬於各個視窗20、21及22的按鈕、捲軸及各種可供點按的控制項。在上述畫面210中所有的物件,無論可點按的或不可點按的,甚至是隱藏的,都可以透過一應用程式介面(Application Programming Interface,API)從作業系統所提供的資源中取得這些物件的屬性、事件等資訊。關於前述的可按物件200,以圖示(Icon)為例,其可取得的屬性包括但不限於其左上角的座標、長寬尺寸,只要取得這些資訊,就可以得知一個圖示(Icon)在畫面210所佔據位置與範圍。同理,諸如按鈕等其它可按物件200在畫面210所佔據位置與範圍的也能得到。
一個漸凍人或罹患肌肉萎縮症、腦性麻痺、脊髓損傷、多發性硬化症、或中風而導致四肢無法動作甚至無法說話的特殊人士,只剩眼可以動作,無法像一般人那樣利用滑鼠來移動游標及點按畫面210上的任何可按物件200。透過本發明方法的實現,可以讓這類特殊人士以眼睛控制游標3快速移至他想要點按的可按物件200上,使得該特人士能接著以凝視方式觸發該可按物件200(這相當於以眼睛點按該可按物件),藉以啟動對應該可按物件200的應用程式或功能。
如第一、三圖所示,當一使用者(以上述的特殊人士為例)觀看該螢幕10,並想要點按一個可按物件200a時,例如一個圖示(Icon),他的眼睛會注視畫面210中的可按物件200a,實質上是在注視螢幕10中的一個位置點。上述電腦系統1會透過影像擷取裝置11,從該使用者的臉部攝取得到包含眼睛的影像。接著,電腦系統1係藉由執行上面提及的影像處理程序,對上述影像進行分析與處理,從而運算得到畫面210上的一注視點座標。此一獲得畫面210上的注視點座標之程序係可運用先前技術所揭露的部份技術內容來完成,如中華民國專利公告號I362005、I356328;以及中華民國專利公開號201124917、201035813、201016185…等等內容。上述注視點座標係代表螢幕10之畫面210上的一個位置點。在此需注意的是,雖然使用者自己覺得是在注視著可按物件200a,但電腦系統1根據上述影像所運算出來的該注視點座標所代表的位置點未必會剛好落在可按物件2()0a的座標或所佔據的範圍內。儘管如此,於本發明中,電腦系統1所算出的該注視點座標仍然代表使用者所注視的一個位置點。
電腦系統1於運算得到注視點座標之後,係接著執行上面提及的游標定位處理程序,此一程序具體上是本發明方法中的一系列步驟。第四圖係顯示本發明方法之一較佳實施例的流程示意圖,其中揭露本發明之一種使螢幕中的游標移至可按物件的方法。方法包括以下步驟:a)接收上述注視點座標;b)獲得螢幕10中所顯示之畫面210的可按物件200的資訊;c)從上述顯示的可按物件200中找出包含上述注視點座標的可按物件200;及d)將該游標3移至所找到的可按物件200上。
在b步驟中,主要是獲得螢幕10之畫面210的所有物件,這些物件係組構形成使用者眼睛所看到的畫面。透過這些物件的屬性讀取,就可辨識出哪些是不符需求的物件,例如不可見的物件、尺寸為0的物件,將這些不符需求的物件排除掉之後,就剩下那些諸如圖示(Icon)、按鈕等可按物件200。如果螢幕10目前所顯示的畫面210係如第三圖所示地含有多個子視窗21、22,則透過第五圖所示的以下步驟獲得畫面210中所顯示的可按物件200的資訊:
b1)取得畫面210中的最底層母視窗20;b2)搜尋畫面210中包含注視點座標的最頂層子視窗22;及b3)找出最頂層子視窗22中的可按物件200,這些就是b步驟中所說的可按物件200。
在c步驟中,只要比對該注視點座標與每一可按物件200的座標及所佔據的範圍,就可以知道該注視座標是落在哪一個可按物件200上,這樣就可以找出包含該注視點座標的可按物件200。
d步驟中,較佳實施例,是將游標3自動移至所找到的可按物件200上的中心處。這樣該使用者會比較清楚地知道游標3已被移至他所注視的可按物件200上。
依照上述,雖然可以在c步驟中找出包含該注視點座標的可按物件200。然而,也有可能發生沒有找不到的情形,該注視點座標並不位於任何可按物件200的範圍上。在此情況下,可進一步執行第六圖所示的以下步驟:c1)以該注視點座標為中心,建立複數個圍繞該注視點座標的鄰近座標區域;c2)比對上述可按物件200之座標與鄰近座標區域,是否有任一可按物件200之坐標位於上述複數個鄰近座標區域上;若有複數個可按物件200之坐標位於上述鄰近區域上,則比對上述位於該鄰近座標區域上的複數個可按物件200,哪一個可按物件200之中心點座標距離注視點座標最近;及c3)將該游標移至距離注視點座標最近的可按物件200之中心點座標處。
較佳地,在c1步驟中,該些鄰近座標區域在畫面210係構成一個以注視點座標為中心的正方形,具體如第七圖所示。於較佳實施例,上述鄰近座標區域所形成的正方形面積可為20pixel。該些鄰近座標區域共有八個點且其中四個點A~D分別位在該正方形的四個頂角,另外四個點E~H,分別位在該正方形的各個邊長的中間。於較佳實施例,c2步驟,可僅比對鄰近座標區域上的A-H八個點座標,是否有可按物件200之座標坐落於此A-H八點座標上。若僅有一個可按物件200位於上述八點座標上,則
直接將游標移動至該可按物件200上之中心處;若有複數個可按物件200位於上述A-H八點座標上,則比對上述複數個可按物件200中有哪一個可按物件200之中心座標距離該注視點座標最近,並將游標移動至距離該注視點座標最近之可按物件200上的中心處。
在經過c1~c2步驟之後,若沒有找到任何距離該注視點座標最近的可按物件200,就不執行移動游標3的動作。此時,電腦系統1可再透過影像擷取裝置11重新拍攝該使用者的影像,接著再次執行上述的影像處理程序及游標定位處理程序。一旦將游標3移至該注視點座標所座落的可按物件200上,或移至距離該注視點座標最近的可按物件200上之後,使用者就可以通過凝視的方式來觸發該可按物件200。在本發明之一較佳實施例中,電腦系統1在畫面210的側邊顯示一個功能視窗,該功能視窗中有多個圖案分別代表一種特定操作功能,例如模擬滑鼠左鍵單擊之功能、模擬滑鼠右鍵單擊之功能、模擬滑鼠拖曳動作之功能、模擬放大鏡之功能...等等。這些功能是以凝視之方式來觸發的。
從上述說明可知,本發明可有效輔助使用者瞄準物件位置。先前技術在視窗畫面上具有較多的物件排列其上的場合時,電腦系統很容易造成游標定位錯誤,定位在不是使用者想要點選的物件位置;使用者也會因為物件過多,造成需要花費較多的注意力以及時間在瞄準或定位物件位置。藉由本發明的游標定位方式,可有效提高游標瞄準的精確度,以及減少使用者瞄準物件的時間。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
1‧‧‧電腦系統
10‧‧‧螢幕
11‧‧‧影像擷取裝置
110‧‧‧紅外線LED光源
111‧‧‧攝影單元
200、200a‧‧‧可按物件
3‧‧‧游標
Claims (9)
- 一種使螢幕中的游標移至可按物件的方法,係在一注視點座標被運算出之後才執行,該注視點座標代表該螢幕所顯示之畫面上的一個位置點,使用者眼睛係注視著該位置點,該方法包括以下步驟:a)接收該注視點座標;b)獲得該畫面中的可按物件及該些可按物件在該畫面中的座標及所佔據的範圍;c)比對該注視點座標與該些可按物件的座標及所佔據的範圍,藉以找出該注視點座標是落在哪一個可按物件上;及d)將該游標移至根據上述比對所找到的該可按物件上。
- 如申請專利範圍第1項所述的方法,其中係將該游標移至所找到的該可按物件的中心處。
- 如申請專利範圍第1項所述的方法,係藉由以下步驟獲得畫面中的可按物件之資訊:取得畫面中的最底層母視窗;搜尋畫面中包含注視點座標的最頂層子視窗;及找出該最頂層子視窗中的可按物件。
- 如申請專利範圍第1項所述的方法,在找不到包含注視點座標之可按物件的情況下執行以下步驟:以該注視點座標為中心,建立複數個圍繞該注視點座標的鄰近座標區域; 比對上述可按物件之座標與鄰近座標區域,是否有任一可按物件之坐標位於上述複數個鄰近座標區域上;若有複數個可按物件之坐標位於上述鄰近區域上,則比對上述位於該鄰近座標區域上的複數個可按物件中有哪一個可按物件之中心點座標距離注視點座標最近;及將該游標移至距離注視點座標最近的可按物件之中心點座標處。
- 如申請專利範圍第4項所述的方法,其中該些鄰近座標區域共有八個點且其中四個點分別位在該正方形的四個頂角,另外四個點分別位在該正方形的各個邊長的中間。
- 如申請專利範圍第5項所述的方法,其中於進行比對時係僅比對鄰近座標區域上的八個點座標,以判斷是否有可按物件之座標坐落於此八點座標上,若僅有一個可按物件位於上述八點座標上,則直接將游標移動至該可按物件上之中心處;若有複數個可按物件位於上述八點座標上,則比對上述複數個可按物件中有哪一個可按物件之中心座標距離該注視點座標最近,並將游標移動至距離該注視點座標最近之可按物件上的中心處。
- 如申請專利範圍第4項所述的方法,其中係將該游標移至所找到的該可按物件的中心處。
- 一種電腦系統,係透過螢幕顯示一畫面中的游標與多個可按物件,及透過一影像擷取裝置從使用者的臉部攝取得到包含眼睛的影像;其中,該電腦系統還執行一影像處理程序及一游標定位處理程序,該影像處理程序係對該些影像 進行分析與處理,藉以運算得到一注視點座標,該注視點座標係代表該螢幕上的一個位置點,該使用者眼睛係注視著該位置點;該游標定位處理程序包括如申請專利範圍第1項所述方法中的步驟a~d。
- 一種電腦程式產品,包括一電腦可讀取媒體,該電腦可讀取媒體上具有電腦可讀取的程式碼,該些程式碼係能使一電腦執行如申請專利範圍第1項所述的方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102119654A TWI509463B (zh) | 2013-06-03 | 2013-06-03 | 一種使螢幕中的游標移至可按物件的方法及用於實現該方法的電腦系統與電腦程式產品 |
CN201310317796.9A CN104216510B (zh) | 2013-06-03 | 2013-07-25 | 使荧幕中的游标移至可按物件的方法及其电脑*** |
JP2013216902A JP5766763B2 (ja) | 2013-06-03 | 2013-10-18 | スクリーン内のカーソルをクリック可能なオブジェクトに移動させる方法及び該方法を実現するために用いるコンピュータシステムとコンピュータプログラム |
EP13189488.3A EP2811369A1 (en) | 2013-06-03 | 2013-10-21 | Method of moving a cursor on a screen to a clickable object and a computer system and a computer program thereof |
US14/063,623 US20140359521A1 (en) | 2013-06-03 | 2013-10-25 | Method of moving a cursor on a screen to a clickable object and a computer system and a computer program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102119654A TWI509463B (zh) | 2013-06-03 | 2013-06-03 | 一種使螢幕中的游標移至可按物件的方法及用於實現該方法的電腦系統與電腦程式產品 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201447641A TW201447641A (zh) | 2014-12-16 |
TWI509463B true TWI509463B (zh) | 2015-11-21 |
Family
ID=49447997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102119654A TWI509463B (zh) | 2013-06-03 | 2013-06-03 | 一種使螢幕中的游標移至可按物件的方法及用於實現該方法的電腦系統與電腦程式產品 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140359521A1 (zh) |
EP (1) | EP2811369A1 (zh) |
JP (1) | JP5766763B2 (zh) |
CN (1) | CN104216510B (zh) |
TW (1) | TWI509463B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10372289B2 (en) * | 2015-12-31 | 2019-08-06 | Beijing Pico Technology Co., Ltd. | Wraparound interface layout method, content switching method under three-dimensional immersive environment, and list switching method |
CN107833263A (zh) * | 2017-11-01 | 2018-03-23 | 宁波视睿迪光电有限公司 | 面部跟踪方法及装置 |
CN113544626A (zh) | 2019-03-15 | 2021-10-22 | 索尼集团公司 | 信息处理装置、信息处理方法和计算机可读记录介质 |
US12032736B2 (en) * | 2022-02-23 | 2024-07-09 | International Business Machines Corporation | Gaze based text manipulation |
US20240111361A1 (en) * | 2022-09-27 | 2024-04-04 | Tobii Dynavox Ab | Method, System, and Computer Program Product for Drawing and Fine-Tuned Motor Controls |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6637883B1 (en) * | 2003-01-23 | 2003-10-28 | Vishwas V. Tengshe | Gaze tracking system and method |
TW201016185A (en) * | 2008-10-27 | 2010-05-01 | Utechzone Co Ltd | Method and system for positioning pupil, and storage media thereof |
TWI343015B (en) * | 2004-04-29 | 2011-06-01 | Ibm | Pointing method, apparatus and computer program product for selecting a target object from a plurality of objects |
TW201224856A (en) * | 2010-12-10 | 2012-06-16 | Acer Inc | Method for preventing erroneous touch |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0916370A (ja) * | 1995-06-29 | 1997-01-17 | Victor Co Of Japan Ltd | 表示オブジェクト選択方式 |
JP2000047823A (ja) * | 1998-07-31 | 2000-02-18 | Shimadzu Corp | 情報処理装置 |
US6664990B1 (en) * | 1999-12-07 | 2003-12-16 | International Business Machines Corporation | Computer display pointer with alternate hot spots |
US6717600B2 (en) * | 2000-12-15 | 2004-04-06 | International Business Machines Corporation | Proximity selection of selectable item in a graphical user interface |
JP3810012B2 (ja) * | 2003-08-11 | 2006-08-16 | 株式会社日立ケーイーシステムズ | 障害者用パソコン入力装置 |
JP2006285715A (ja) * | 2005-04-01 | 2006-10-19 | Konica Minolta Holdings Inc | 視線検出システム |
US8793620B2 (en) * | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
GB0618978D0 (en) * | 2006-09-27 | 2006-11-08 | Malvern Scient Solutions Ltd | Method of employing gaze direction tracking for cursor control in a computer |
TW201001236A (en) | 2008-06-17 | 2010-01-01 | Utechzone Co Ltd | Method of determining direction of eye movement, control device and man-machine interaction system |
TW201005651A (en) | 2008-07-24 | 2010-02-01 | Utechzone Co Ltd | Page-turning method for electronic document through eyeball control and system thereof, pupil position determination method and pupil analysis module |
TWI398796B (zh) | 2009-03-27 | 2013-06-11 | Utechzone Co Ltd | Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking |
WO2010118292A1 (en) * | 2009-04-09 | 2010-10-14 | Dynavox Systems, Llc | Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods |
TWI447659B (zh) | 2010-01-15 | 2014-08-01 | Utechzone Co Ltd | 瞳孔或臉部特徵對位方法與裝置 |
US8209630B2 (en) * | 2010-01-26 | 2012-06-26 | Apple Inc. | Device, method, and graphical user interface for resizing user interface content |
-
2013
- 2013-06-03 TW TW102119654A patent/TWI509463B/zh active
- 2013-07-25 CN CN201310317796.9A patent/CN104216510B/zh active Active
- 2013-10-18 JP JP2013216902A patent/JP5766763B2/ja active Active
- 2013-10-21 EP EP13189488.3A patent/EP2811369A1/en not_active Withdrawn
- 2013-10-25 US US14/063,623 patent/US20140359521A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6637883B1 (en) * | 2003-01-23 | 2003-10-28 | Vishwas V. Tengshe | Gaze tracking system and method |
TWI343015B (en) * | 2004-04-29 | 2011-06-01 | Ibm | Pointing method, apparatus and computer program product for selecting a target object from a plurality of objects |
TW201016185A (en) * | 2008-10-27 | 2010-05-01 | Utechzone Co Ltd | Method and system for positioning pupil, and storage media thereof |
TW201224856A (en) * | 2010-12-10 | 2012-06-16 | Acer Inc | Method for preventing erroneous touch |
Also Published As
Publication number | Publication date |
---|---|
CN104216510B (zh) | 2018-01-09 |
TW201447641A (zh) | 2014-12-16 |
JP2014235729A (ja) | 2014-12-15 |
EP2811369A1 (en) | 2014-12-10 |
CN104216510A (zh) | 2014-12-17 |
JP5766763B2 (ja) | 2015-08-19 |
US20140359521A1 (en) | 2014-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11567578B2 (en) | Systems and methods of free-space gestural interaction | |
CN109635621B (zh) | 用于第一人称视角中基于深度学习识别手势的***和方法 | |
Bork et al. | Towards efficient visual guidance in limited field-of-view head-mounted displays | |
Pfeuffer et al. | Pursuit calibration: Making gaze calibration less tedious and more flexible | |
Normand et al. | Enlarging a smartphone with ar to create a handheld vesad (virtually extended screen-aligned display) | |
TWI509463B (zh) | 一種使螢幕中的游標移至可按物件的方法及用於實現該方法的電腦系統與電腦程式產品 | |
EP2814000A1 (en) | Image processing apparatus, image processing method, and program | |
WO2021097600A1 (zh) | 一种隔空交互方法、装置和设备 | |
KR20140104661A (ko) | 시선 인식을 이용한 사용자 인터페이스 방법 및 장치 | |
CN106774862B (zh) | 基于视线的vr显示方法及vr设备 | |
Fiorentino et al. | Design review of CAD assemblies using bimanual natural interface | |
US10228762B2 (en) | Analysis of user interface interactions within a virtual reality environment | |
Gruenefeld et al. | Locating nearby physical objects in augmented reality | |
Caggianese et al. | Situated visualization in augmented reality: Exploring information seeking strategies | |
CN114747200A (zh) | 点击锁定变焦相机用户界面 | |
WO2022179344A1 (en) | Methods and systems for rendering virtual objects in user-defined spatial boundary in extended reality environment | |
JP6834197B2 (ja) | 情報処理装置、表示システム、プログラム | |
KR20220125715A (ko) | 데이터 생성 방법, 장치, 기기, 저장 매체 및 프로그램 | |
US9898183B1 (en) | Motions for object rendering and selection | |
KR20180058097A (ko) | 이미지를 표시하는 전자 장치 및 그 제어 방법 | |
JP6699406B2 (ja) | 情報処理装置、プログラム、位置情報作成方法、情報処理システム | |
Laco et al. | Depth in the visual attention modelling from the egocentric perspective of view | |
Huber | Foot position as indicator of spatial interest at public displays | |
CN114327063A (zh) | 目标虚拟对象的交互方法、装置、电子设备及存储介质 | |
Tönnis et al. | Boundary conditions for information visualization with respect to the user's gaze |