TW201947361A - 終端的控制方法、裝置及終端 - Google Patents
終端的控制方法、裝置及終端 Download PDFInfo
- Publication number
- TW201947361A TW201947361A TW108109581A TW108109581A TW201947361A TW 201947361 A TW201947361 A TW 201947361A TW 108109581 A TW108109581 A TW 108109581A TW 108109581 A TW108109581 A TW 108109581A TW 201947361 A TW201947361 A TW 201947361A
- Authority
- TW
- Taiwan
- Prior art keywords
- terminal
- touch
- instruction
- point information
- gaze point
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本發明公開了一種終端的控制方法、裝置及終端。其中,該方法包括:獲取針對終端的注視點信息;獲取對觸摸設備進行觸摸操作所產生的第一觸摸指令;依據注視點信息與第一觸摸指令確定對終端的控制指令;控制終端執行與控制指令對應的操作。本發明解決了無法準確根據注視點信息生成確定性指令的技術問題。
Description
本發明涉及計算機領域,具體而言,涉及一種終端的控制方法、裝置及終端。
近年來人機交互的方式逐漸多樣化,多通道交互綜合採用視線、語音、手勢等新的交互通道、設備和交互技術,使用戶利用多個通道以自然、並行、協作的方式進行人機對話,通過整合來自多個通道的、精確的和不精確的輸入來捕捉用戶的交互意圖,提高人機交互的自然性和高效性。多通道人機交互中,交互自然性、交互高效性及與傳統界面的兼容性尤其重要。
眼動跟蹤技術利用眼動測量設備以毫秒級捕捉使用者眼睛圖像,通過分析瞳孔輪廓、虹膜輪廓、瞳孔中心、虹膜中心及外界光源在角膜上的反射點等特徵的相對位置,估計視線方向或者視線落點。目前,眼動分析技術被廣泛應用於新型人機交互(用眼睛打字、玩遊戲)、醫學診斷、用戶體驗研究、心理與認知研究、教育輔助等領域。
現有的蘋果手機、華為手機、三星的一些機型具有眼動跟蹤功能,可以實現眼動解鎖、無眼動時休眠、眼動翻頁等應用。也有溝通輔助產品,採用視線輸入幫助殘疾人與外界溝通。
但是,在實際應用過程中,由於注視不是一種確定性指令,計算機容易分不清用戶的視線停留是要進行操作還是僅僅觀察目標,這就是邁達斯接觸問題。
此外,眼動儀具有固有的不精確性,並不能保證計算所得注視點與實際注視點100%重合,尤其在手機、PAD等使用環境複雜的場景,眼動設備對注視點的估計容易不準備,導致用戶體驗差。在以往的方法中,採用注視時長閾值的方法,效率比較低而且容易誤操作。
針對上述無法準確根據注視點信息生成確定性指令的問題,目前尚未提出有效的解決方案。
有鑑於此,吾等發明人乃潛心進一步研究,並著手進行研發及改良,期以一較佳設作以解決上述問題,且在經過不斷試驗及修改後而有本發明之問世。
本發明實施例提供了一種終端的控制方法、裝置及終端,以至少解決無法準確根據注視點信息生成確定性指令的技術問題。
根據本發明實施例的一個方面,提供了一種終端的控制方法,包括:獲取針對終端的注視點信息;獲取對觸摸設備進行觸摸操作所產生的第一觸摸指令;依據所述注視點信息與所述第一觸摸指令確定對所述終端的控制指令;控制所述終端執行與所述控制指令對應的操作。
進一步地,在依據所述注視點信息與所述觸摸操作指令確定對所述終端的控制指令之前,所述方法還包括:校準所述注視點信息。
進一步地,校準所述注視點信息包括:確定與目標物對應的注視點所在的初始位置;調整指示物的位置,使所述指示物與所述目標物重合,並將調整後的所述指示物的位置作為校準後的注視點信息,其中,所述指示物用於指示所述注視點所在位置。
進一步地,調整所述指示物的位置包括:獲取對觸摸設備進行觸摸操作所產生的第二觸摸指令;根據所述第二觸摸指令調整所述指示物的位置。
根據本發明實施例的另一方面,還提供了一種存儲介質,所述存儲介質包括存儲的程序,其中,在所述程序運行時控制所述存儲介質所在設備執行上述所述的終端的控制方法。
根據本發明實施例的另一方面,還提供了一種處理器,所述處理器用於運行程序,其中,所述程序運行時執行上述所述的終端的控制方法。
根據本發明實施例的另一方面,還提供了一種終端的控制裝置,包括:第一獲取單元,用於獲取針對終端的注視點信息;第二獲取單元,用於獲取對觸摸設備進行觸摸操作所產生的第一觸摸指令;確定單元,用於依據所述注視點信息與所述第一觸摸指令確定對所述終端的控制指令;控制單元,用於控制所述終端執行與所述控制指令對應的操作。
進一步地,所述裝置還包括:校準單元,用於在依據所述注視點信息與所述觸摸操作指令確定對所述終端的控制指令之前,校準所述注視點信息。
進一步地,所述校準單元包括:確定模塊,用於確定與目標物對應的注視點所在的初始位置;調整模塊,用於調整指示物的位置,使所述指示物與所述目標物重合,並將調整後的所述指示物的位置作為校準後的注視點信息,其中,所述指示物用於指示所述注視點所在位置。
進一步地,所述調整模塊包括:獲取模塊,用於獲取對觸摸設備進行觸摸操作所產生的第二觸摸指令;調整子模塊,用於根據所述第二觸摸指令調整所述指示物的位置。
根據本發明實施例的另一方面,還提供了一種終端,包括:眼動跟隨設備,用於獲取針對終端的注視點信息;觸摸設備,用於獲取對觸摸設備進行觸摸操作所產生的第一觸摸指令;處理器,用於依據所述注視點信息與所述第一觸摸指令確定對所述終端的控制指令,並控制所述終端執行與所述控制指令對應的操作。
進一步地,所述眼動跟隨設備可拆卸式設置於所述終端上;或所述眼動跟隨設備固定安裝於所述終端上。
進一步地,所述觸摸設備固定安裝於所述終端上。
進一步地,所述觸摸設備包括所述終端的觸摸屏幕;和/或所述觸摸設備包括在所述終端背面設置的觸摸板。
在本發明實施例中獲取用戶針對終端的注視點信息,以及用戶對觸摸設備進行觸摸操作所產生的第一觸摸指令,再根據注視點信息和第一觸摸指令確定用戶對終端所發出的控制指令,使終端能夠執行與控制指令對應的操作,完成用戶所發出的指令,實現了準確根據用戶的注視點信息生成確定性指令的技術效果,進而解決了無法準確根據注視點信息生成確定性指令的技術問題。
關於吾等發明人之技術手段,茲舉數種較佳實施例配合圖式於下文進行詳細說明,俾供 鈞上深入瞭解並認同本發明。
為了使本發明所屬技術領域中具有通常知識者更好地理解本發明方案,下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分的實施例,而不是全部的實施例。基於本發明中的實施例,本發明所屬技術領域中具有通常知識者在沒有做出進步性勞動前提下所獲得的所有其他實施例,都應當屬於本發明保護的範圍。
需要說明的是,本發明的說明書和申請專利範圍及上述附圖中的術語“第一”、“第二”等是用於區別類似的對象,而不必用於描述特定的順序或先後次序。應該理解這樣使用的數據在適當情況下可以互換,以便這裏描述的本發明的實施例能夠以除了在這裏圖示或描述的那些以外的順序實施。此外,術語“包括”和“具有”以及他們的任何變形,意圖在於覆蓋不排他的包含,例如,包含了一系列步驟或單元的過程、方法、系統、產品或設備不必限於清楚地列出的那些步驟或單元,而是可包括沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其它步驟或單元。
根據本發明實施例,提供了一種終端的控制方法實施例,需要說明的是,在附圖的流程圖示出的步驟可以在諸如一組計算機可執行指令的計算機系統中執行,並且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同於此處的順序執行所示出或描述的步驟。
圖1是根據本發明實施例的一種終端的控制方法的流程圖,如圖1所示,該方法包括如下步驟:
步驟S102,獲取針對終端的注視點信息;
步驟S104,獲取對觸摸設備進行觸摸操作所產生的第一觸摸指令;
步驟S106,依據注視點信息與第一觸摸指令確定對終端的控制指令;
步驟S108,控制終端執行與控制指令對應的操作。
通過上述步驟,獲取用戶針對終端的注視點信息,以及用戶對觸摸設備進行觸摸操作所產生的第一觸摸指令,再根據注視點信息和第一觸摸指令確定用戶對終端所發出的控制指令,使終端能夠執行與控制指令對應的操作,完成用戶所發出的指令,實現了準確根據用戶的注視點信息生成確定性指令的技術效果,進而解決了無法準確根據注視點信息生成確定性指令的技術問題。
在上述步驟S102提供的方案中,注視點信息可以用戶在注視終端的情況下,通過眼動跟隨設備採集的用戶所注視的位置信息。
需要說明的是,眼動跟隨設備包括紅外裝置、攝像頭,以及處理器。
需要說明的是,終端包括:手機、平板電腦(PAD)、筆記本電腦。
可選地,眼動跟隨設備通過採集用戶眼球的圖像來確定用戶針對終端的注視點。
在上述步驟S104提供的方案中,觸摸設備可以設置在終端上,如固定在終端上的觸摸屏幕或觸摸板,用戶通過觸碰該觸摸設備生產觸摸指令。
可選地,在獲取第一觸摸指令的情況下,確定當前時刻的注視點信息為指令信息,並依據第一觸摸指令和該指令信息確定控制指令。
在上述步驟S106提供的方案中,控制指令用於控制終端的指令,該控制指令由注視點信息和第一觸摸指令共同確定。
可選地,可以預先在存儲設備(如緩存區或數據庫)中存儲注視點信息、第一觸摸指令與控制指令的映射關係。
可選地,第一觸摸指令可以通過輕觸觸摸設備、在觸摸設備上按下、以及在觸摸設備上滑動等方式生成。
在上述步驟S108提供的方案中,終端在獲取控制指令後,可以響應該控制指令,執行與該控制指令所對應的操作。
根據本發明上述實施例,通過注視點信息與第一觸摸指令的方式,可以將第一觸摸指令作為注視點信息的確認信號,從而可以準確根據注視點生成確定性的指令,準確確認用戶的操作移動。
另外,由於觸摸設備產生指令的方式,在將觸摸設備所產生的第一觸摸指令作為注視點信息確認信號的情況下,可以避免確認信號的產生而造成終端的晃動,進而避免了注視點的晃動,從而獲得準確的注視點信息。
作為一種可選的實施例,在依據注視點信息與觸摸操作指令確定對終端的控制指令之前,該實施例還可以包括:校準注視點信息。
為了獲取準確的注視點信息,可以先對注視點信息進行校準,從而獲得準確的注視點信息。
可選地,校準注視點信息可以通過校準注視點所在的位置來實現。
作為一個可選的示例,可以通過眼動跟隨設備採集終端的注視點,然後通過對注視點位置進行校準來實現對注視信息的校準。
在一個可選的實施例中,校準注視點信息包括:確定與目標物對應的注視點所在的初始位置;調整指示物的位置,使指示物與目標物重合,並將調整後的指示物的位置作為校準後的注視點信息,其中,指示物用於指示注視點所在位置。
採用本發明上述實施例,在校準注視點信息的過程中,終端顯示目標物,並確定在用戶注視該目標物的情況下,終端通過計算所得出的注視點,並將該注視點所在的位置作為初始位置,並通過指示物來指示該注視點所在位置,然後通過調整該指示物的位置,使指示物與目標物重合,從而可以將當前指示所在位置作為注視點位置,得到校準後的注視點信息,實現了對注視點信息的校準。
可選地,是指示物可以是用於校準的校準點,如黑點。
需要說明的是,注視點可以在校準的過程中,通過指示物的形式展示在終端上,進而在校準以外的情況下,可以隱藏注視點。
可選地,指示物可以是光標,用於指示點所在的位置。
一個可選的實施例,調整指示物的位置包括:獲取對觸摸設備進行觸摸操作所產生的第二觸摸指令;根據第二觸摸指令調整指示物的位置。
採用本發明上述實施例,在調整指示物的過程中,可以獲取觸摸設備所產生的第二觸摸指令,並根據該第二觸摸指令控制指示物移動,調整指示物的位置。
需要說明的是,第二觸摸指令可以通過輕觸觸摸設備、在觸摸設備上按下、以及在觸摸設備上滑動等方式生成。
可選地,第二觸摸指令為校準注視點信息過程中,觸摸裝置所生成的觸摸指令。
可選地,在校準注視點信息過程中,觸摸裝置所生成的觸摸指令即為第二觸摸指令。
根據本發明的又一個實施例,還提供了一種存儲介質,存儲介質包括存儲的程序,其中,程序運行時執行上述任一項的方法。
根據本發明的又一個實施例,還提供了一種處理器,處理器用於運行程序,其中,程序運行時執行上述任一項的方法。
根據本發明實施例,還提供了一種終端的控制裝置實施例,需要說明的是,該終端的控制裝置可以用於執行本發明實施例中的終端的控制方法,本發明實施例中的終端的控制方法可以在該終端的控制裝置中執行。
圖2是根據本發明實施例的一種終端的控制裝置的示意圖,如圖2所示,該裝置包括:第一獲取單元21,用於獲取針對終端的注視點信息;第二獲取單元23,用於獲取對觸摸設備進行觸摸操作所產生的第一觸摸指令;確定單元25,用於依據注視點信息與第一觸摸指令確定對終端的控制指令;控制單元27,用於控制終端執行與控制指令對應的操作。
需要說明的是,該實施例中的第一獲取單元21可以用於執行本發明實施例中的步驟S102,該實施例中的第二獲取單元23可以用於執行本發明實施例中的步驟S104,該實施例中的確定單元25發送模塊76可以用於執行本發明實施例中的步驟S106,該實施例中的控制單元27可以用於執行本發明實施例中的步驟S108。上述模塊與對應的步驟所實現的示例和應用場景相同,但不限於上述實施例所公開的內容。
根據本發明上述實施例,獲取用戶針對終端的注視點信息,以及用戶對觸摸設備進行觸摸操作所產生的第一觸摸指令,再根據注視點信息和第一觸摸指令確定用戶對終端所發出的控制指令,使終端能夠執行與控制指令對應的操作,完成用戶所發出的指令,實現了準確根據用戶的注視點信息生成確定性指令的技術效果,進而解決了無法準確根據注視點信息生成確定性指令的技術問題。
作為一種可選的實施例,該實施例還可以包括:校準單元,用於在依據注視點信息與觸摸操作指令確定對終端的控制指令之前,校準注視點信息。
作為一種可選的實施例,校準單元包括:確定模塊,用於確定與目標物對應的注視點所在的初始位置;調整模塊,用於調整指示物的位置,使指示物與目標物重合,並將調整後的指示物的位置作為校準後的注視點信息,其中,指示物用於指示注視點所在位置。
作為一種可選的實施例,調整模塊包括:獲取模塊,用於獲取對觸摸設備進行觸摸操作所產生的第二觸摸指令;調整子模塊,用於根據第二觸摸指令調整指示物的位置。
圖3是根據本發明實施例的一種終端的示意圖,如圖3所示,該終端包括:眼動跟隨設備31,用於獲取針對終端的注視點信息;觸摸設備33,用於獲取對觸摸設備進行觸摸操作所產生的第一觸摸指令;處理器35,用於依據注視點信息與第一觸摸指令確定對終端的控制指令,並控制終端執行與控制指令對應的操作。
根據本發明上述實施例,通過眼動跟隨設備獲取用戶針對終端的注視點信息,以及用戶對觸摸設備進行觸摸操作所產生的第一觸摸指令,再根據注視點信息和第一觸摸指令確定用戶對終端所發出的控制指令,使終端能夠執行與控制指令對應的操作,完成用戶所發出的指令,實現了準確根據用戶的注視點信息生成確定性指令的技術效果,進而解決了無法準確根據注視點信息生成確定性指令的技術問題。
需要說的是,該終端為上述終端的控制方法中所控制的終端。
可選地,眼動跟隨設備與屏幕位於終端同側。
可選地,眼動跟隨設備可以位與終端正面。
作為一種可選的實施例,眼動跟隨設備可拆卸式設置於終端上;或眼動跟隨設備固定安裝於終端上。
作為一種可選的實施例,觸摸設備固定安裝於終端上。
作為一種可選的實施例,觸摸設備包括終端的觸摸屏幕;和/或觸摸設備包括在終端背面設置的觸摸板。
需要說明的是,終端被背面為終端上與觸模屏幕不同的面,例如,與觸模屏幕相反的面。
可選地,在觸摸設備為終端的觸摸屏幕的情況下,可以將觸摸屏幕所產生的觸摸指令作為第一觸摸指令。
本發明還提供了一種優選實施例,該優選實施例提供了一種採用觸摸設備對注視點進行修正的系統與方法。
本發明採用觸摸設備的輕觸作為操作注視目標的確認信號,採用觸摸設備上的位移作為計算所得注視點的修正信號,以確保視線數據搜集與視線輸入達到良好的使用效果。
需要說的是,修正信號為校準過程中,操作觸摸設備所產生的第二觸摸信號。
在本發明中,觸摸設備可以整合到目標設備(終端)中,例如,整合到手機、PAD、筆記本中,從而無需單獨設置觸摸板,簡化設計複雜度,也降低了觸摸板丟失的可能性。
本發明採用觸摸設備輕觸的方式不會造成設備(終端)的位移與震動,不影響眼動跟蹤設備使用。
本發明採用觸摸位移方式調整修正計算注視點,方式直觀,可進一步保證視線跟蹤的準確性。
在以下實施例中,以手機作為終端,進行舉例說明。
例如,可以在手機上添加眼動跟蹤與觸摸設備。
可選地,可以在手機背面添加觸摸板。
可選地,可以在手機正面添加眼動跟蹤裝置。
圖4(a)是根據本發明實施例的一種終端設置固定式眼動跟隨設備的示意圖一,如圖4(a)所示,採用內置方法增加眼動檢測設備,將眼動跟隨設備固定與手機屏幕下方。
可選地,眼動跟隨設備包括紅外燈,主板和攝像頭。
可選地,眼動跟隨設備的攝像頭可以是手機的前攝像頭。
圖4(b)是根據本發明實施例的一種終端設置固定式眼動跟隨設備的示意圖二,如圖4(b)所示,採用內置方法增加觸摸板,並將觸摸板設置與手機背面。
圖5(a)是根據本發明實施例的一種終端設置可拆卸式眼動跟隨設備的示意圖一,如圖5(a)所示,採用外置方法增加眼動檢測設備,將眼動跟隨設備與手機屏幕下方。
可選地,眼動檢測設備可以通過手機的充電接口與手機相連。
圖5(b)是根據本發明實施例的一種終端設置可拆卸式眼動跟隨設備的示意圖二,如圖5(b)所示,採用內置方法增加觸摸板,並將觸摸板設置與手機背面。
可選地,可以通過快捷鍵或手機設置界面中開啟眼動跟蹤模式。
可選地,為確保手機所採集的注視點的準確性,在啟動眼動跟蹤模式之前,還需要對注視點進行校準。
需要說明的是,在使用眼動跟蹤模式之前,需採集若干的眼睛特徵圖像,然後根據眼睛特徵圖像計算注視點。
例如,可以採集用戶的若干的眼睛特徵圖像,然後根據該眼睛特徵圖形計算用戶的注視點。
可選地,在使用眼動跟蹤模式之前,需要用戶配合觀看一些手機屏幕或手機上的目標注視點,此過程又稱為校準。
可選地,校準過程可以通過如下步驟進行:
1) 用戶注視目標物的同時手機屏幕出現注視點指示物,該指示物可以為光標。
2) 用戶檢查注視點指示物與注視目標物的偏差。
3) 如果沒有偏差則直接繼續使用注視點作為指示器操作手機。
4) 如果有偏差,則切換到修正模式。
可選地,在修改模式下,可以通過手機後的觸摸板將光標挪到目標物處使二者重疊。
5) 在將挪動光標,使光標與目標物重疊後,注視點識別算法根據用戶的修正結果調整計算係數。
6) 用戶可重複2過程,直到計算得出的注視點與用戶實際的注視點達到滿意的使用精度。
以下為本發明所提供方案的實際應用的示例。
需要說明的是,本發明所提供的技術方案可以包括但不限於以下示例。
可選地,用戶可以通過注視的方式生成“打開指令”。
例如,用於可以注視手機交互界面中的目標應用的圖標,指示光標(可隱藏)出現在目標圖標上後,輕點觸摸設備,控制目標應用打開。
可選地,用戶可以通過注視的方式生成“翻頁指令”。
例如,在手機上閱讀電子書籍時,注視“書”的右下角,手指在觸摸設備上輕輕地從右劃到左,向後翻頁;注視“書”的左下角,手指在觸摸設備上輕輕地從左劃到右,向前翻頁。
又例如,在手機上閱讀電子書籍或網頁時,手指在觸摸設備按下,用戶目光從“書”的右下角,並向左移動,完成向後翻頁動作;用戶目光從“書”的左下角,並向右移動,完成向前翻頁動作。
可選地,用戶可以通過注視的方式生成“拖拽指令”。
例如,用戶注視手機交互界面某圖標,同時手指在觸摸設備按下並往目標方向移動,相應的圖標跟著手指移動到目標位置。
由例如,用戶注視手機交互界面某圖標,同時手指在觸摸設備按下,然後用戶的目光(注視點)往目標方向移動,相應的圖標跟著用戶的目光(注視點)移動到目標位置。
本發明所提供的技術放哪,通過觸摸設備與眼動追蹤技術結合,對計算注視點進行修正或操作,達到精准使用視線進行人機交互的效果,實現了電子設備的精准操作。
上述本發明實施例序號僅僅為了描述,不代表實施例的優劣。
在本發明的上述實施例中,對各個實施例的描述都各有側重,某個實施例中沒有詳述的部分,可以參見其他實施例的相關描述。
在本發明所提供的幾個實施例中,應該理解到,所揭露的技術內容,可通過其它的方式實現。其中,以上所描述的裝置實施例僅僅是示意性的,例如所述單元的劃分,可以為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或組件可以結合或者可以集成到另一個系統,或一些特徵可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,單元或模塊的間接耦合或通信連接,可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位於一個地方,或者也可以分布到多個單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外,在本發明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬件的形式實現,也可以採用軟件功能單元的形式實現。
所述集成的單元如果以軟件功能單元的形式實現並作為獨立的產品銷售或使用時,可以存儲在一個計算機可讀取存儲介質中。基於這樣的理解,本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟件產品的形式體現出來,該計算機軟件產品存儲在一個存儲介質中,包括若干指令用以使得一台計算機設備(可為個人計算機、服務器或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括:U盤、只讀存儲器(ROM,Read-Only Memory)、隨機存取存儲器(RAM,Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質。
以上所述僅是本發明的優選實施方式,應當指出,對於本發明所屬技術領域中具有通常知識者來說,在不脫離本發明原理的前提下,還可以做出若干改進和潤飾,這些改進和潤飾也應視為本發明的保護範圍。
綜上所述,本發明所揭露之技術手段確能有效解決習知等問題,並達致預期之目的與功效,且申請前未見諸於刊物、未曾公開使用且具長遠進步性,誠屬專利法所稱之發明無誤,爰依法提出申請,懇祈 鈞上惠予詳審並賜准發明專利,至感德馨。
惟以上所述者,僅為本發明之數種較佳實施例,當不能以此限定本發明實施之範圍,即大凡依本發明申請專利範圍及發明說明書內容所作之等效變化與修飾,皆應仍屬本發明專利涵蓋之範圍內。
〔本發明〕
21‧‧‧第一獲取單元
23‧‧‧第二獲取單元
25‧‧‧確定單元
27‧‧‧控制單元
31‧‧‧眼動跟隨設備
33‧‧‧觸摸設備
35‧‧‧處理器
S102-S108‧‧‧步驟
圖1是根據本發明實施例的一種終端的控制方法的流程圖。
圖2是根據本發明實施例的一種終端的控制裝置的示意圖。
圖3是根據本發明實施例的一種終端的示意圖。
圖4(a)是根據本發明實施例的一種終端設置固定式眼動跟隨設備的示意圖一。
圖4(b)是根據本發明實施例的一種終端設置固定式眼動跟隨設備的示意圖二。
圖5(a)是根據本發明實施例的一種終端設置可拆卸式眼動跟隨設備的示意圖一。
圖5(b)是根據本發明實施例的一種終端設置可拆卸式眼動跟隨設備的示意圖二。
Claims (14)
- 一種終端的控制方法,其特徵在於,包括: 獲取針對終端的注視點信息; 獲取對觸摸設備進行觸摸操作所產生的第一觸摸指令; 依據所述注視點信息與所述第一觸摸指令確定對所述終端的控制指令; 控制所述終端執行與所述控制指令對應的操作。
- 如申請專利範圍第1項所述之方法,其中,在依據所述注視點信息與所述觸摸操作指令確定對所述終端的控制指令之前,所述方法還包括: 校準所述注視點信息。
- 如申請專利範圍第2項所述之方法,其中,校準所述注視點信息包括: 確定與目標物對應的注視點所在的初始位置; 調整指示物的位置,使所述指示物與所述目標物重合,並將調整後的所述指示物的位置作為校準後的注視點信息,其中,所述指示物用於指示所述注視點所在位置。
- 如申請專利範圍第3項所述之方法,其中,調整所述指示物的位置包括: 獲取對觸摸設備進行觸摸操作所產生的第二觸摸指令; 根據所述第二觸摸指令調整所述指示物的位置。
- 一種終端的控制裝置,其特徵在於,包括: 第一獲取單元,用於獲取針對終端的注視點信息; 第二獲取單元,用於獲取對觸摸設備進行觸摸操作所產生的第一觸摸指令; 確定單元,用於依據所述注視點信息與所述第一觸摸指令確定對所述終端的控制指令; 控制單元,用於控制所述終端執行與所述控制指令對應的操作。
- 如申請專利範圍第5項所述之裝置,其中,所述裝置還包括: 校準單元,用於在依據所述注視點信息與所述觸摸操作指令確定對所述終端的控制指令之前,校準所述注視點信息。
- 如申請專利範圍第6項所述之裝置,其中,所述校準單元包括: 確定模塊,用於確定與目標物對應的注視點所在的初始位置; 調整模塊,用於調整指示物的位置,使所述指示物與所述目標物重合,並將調整後的所述指示物的位置作為校準後的注視點信息,其中,所述指示物用於指示所述注視點所在位置。
- 如申請專利範圍第7項所述之裝置,其中,所述調整模塊包括: 獲取模塊,用於獲取對觸摸設備進行觸摸操作所產生的第二觸摸指令; 調整子模塊,用於根據所述第二觸摸指令調整所述指示物的位置。
- 一種終端,其特徵在於,包括: 眼動跟隨設備,用於獲取針對終端的注視點信息; 觸摸設備,用於獲取對觸摸設備進行觸摸操作所產生的第一觸摸指令; 處理器,用於依據所述注視點信息與所述第一觸摸指令確定對所述終端的控制指令,並控制所述終端執行與所述控制指令對應的操作。
- 如申請專利範圍第9項所述之終端,其中, 所述眼動跟隨設備可拆卸式設置於所述終端上;或 所述眼動跟隨設備固定安裝於所述終端上。
- 如申請專利範圍第9項所述之終端,其中,所述觸摸設備固定安裝於所述終端上。
- 如申請專利範圍第11項所述之終端,其中, 所述觸摸設備包括所述終端的觸摸屏幕;和/或 所述觸摸設備包括在所述終端背面設置的觸摸板。
- 一種存儲介質,其特徵在於,所述存儲介質包括存儲的程序,其中,所述程序執行如申請專利範圍第1至4項中任一項所述之終端的控制方法。
- 一種處理器,其特徵在於,所述處理器用於運行程序,其中,所述程序運行時執行如申請專利範圍第1至4項中任一項所述之終端的控制方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810428124.8 | 2018-05-07 | ||
CN201810428124.8A CN108829239A (zh) | 2018-05-07 | 2018-05-07 | 终端的控制方法、装置及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201947361A true TW201947361A (zh) | 2019-12-16 |
Family
ID=64148334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108109581A TW201947361A (zh) | 2018-05-07 | 2019-03-20 | 終端的控制方法、裝置及終端 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN108829239A (zh) |
TW (1) | TW201947361A (zh) |
WO (1) | WO2019214329A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108829239A (zh) * | 2018-05-07 | 2018-11-16 | 北京七鑫易维信息技术有限公司 | 终端的控制方法、装置及终端 |
CN109960412B (zh) * | 2019-03-22 | 2022-06-07 | 北京七鑫易维信息技术有限公司 | 一种基于触控调整注视区域的方法以及终端设备 |
CN110174937A (zh) * | 2019-04-09 | 2019-08-27 | 北京七鑫易维信息技术有限公司 | 注视信息控制操作的实现方法及装置 |
CN114115532B (zh) * | 2021-11-11 | 2023-09-29 | 珊瑚石(上海)视讯科技有限公司 | 一种基于显示内容的ar标注方法及*** |
CN116737051B (zh) * | 2023-08-16 | 2023-11-24 | 北京航空航天大学 | 基于触控屏的视触结合交互方法、装置、设备和可读介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104238726B (zh) * | 2013-06-17 | 2017-07-18 | 腾讯科技(深圳)有限公司 | 智能眼镜控制方法、装置及一种智能眼镜 |
CN105260008B (zh) * | 2014-07-15 | 2018-10-12 | 华为技术有限公司 | 一种定位位置的方法及装置 |
US10016131B2 (en) * | 2014-11-14 | 2018-07-10 | Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh | Eye tracking system and method to detect the dominant eye |
CN105320261A (zh) * | 2015-01-07 | 2016-02-10 | 维沃移动通信有限公司 | 移动终端的控制方法及移动终端 |
CN108829239A (zh) * | 2018-05-07 | 2018-11-16 | 北京七鑫易维信息技术有限公司 | 终端的控制方法、装置及终端 |
-
2018
- 2018-05-07 CN CN201810428124.8A patent/CN108829239A/zh active Pending
-
2019
- 2019-03-06 WO PCT/CN2019/077165 patent/WO2019214329A1/zh active Application Filing
- 2019-03-20 TW TW108109581A patent/TW201947361A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
CN108829239A (zh) | 2018-11-16 |
WO2019214329A1 (zh) | 2019-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW201947361A (zh) | 終端的控制方法、裝置及終端 | |
CN114341779B (zh) | 用于基于神经肌肉控制执行输入的***、方法和界面 | |
US11614793B2 (en) | Precision tracking of user interaction with a virtual input device | |
US11119573B2 (en) | Pupil modulation as a cognitive control signal | |
CN102662462B (zh) | 电子装置、手势识别方法及手势应用方法 | |
US20130152002A1 (en) | Data collection and analysis for adaptive user interfaces | |
US11360605B2 (en) | Method and device for providing a touch-based user interface | |
US20210349536A1 (en) | Biofeedback method of modulating digital content to invoke greater pupil radius response | |
CN107066085B (zh) | 一种基于眼球追踪控制终端的方法及装置 | |
KR102326489B1 (ko) | 디스플레이를 제어하는 전자 장치 및 방법 | |
KR20190030140A (ko) | 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 | |
US20210117078A1 (en) | Gesture Input Method for Wearable Device and Wearable Device | |
Majaranta et al. | Eye movements and human-computer interaction | |
CN110287925A (zh) | 阅读翻页控制方法及相关产品 | |
CN111045519A (zh) | 一种基于眼动追踪的人机交互方法、装置和设备 | |
Hansen et al. | Wrist-worn pervasive gaze interaction | |
JP2015052819A (ja) | 電子機器 | |
Chhimpa et al. | Development of a real-time eye movement-based computer interface for communication with improved accuracy for disabled people under natural head movements | |
WO2021115097A1 (zh) | 瞳孔检测方法及相关产品 | |
CN109960412B (zh) | 一种基于触控调整注视区域的方法以及终端设备 | |
Park et al. | Gazel: Runtime gaze tracking for smartphones | |
Deng | Multimodal interactions in virtual environments using eye tracking and gesture control. | |
Skovsgaard | Noise challenges in monomodal gaze interaction | |
CN112445328A (zh) | 映射控制方法及装置 | |
CN112269469B (zh) | 一种人机交互*** |