TWI537772B - 用於多回合觸控接觸追蹤之方法及計算裝置 - Google Patents

用於多回合觸控接觸追蹤之方法及計算裝置 Download PDF

Info

Publication number
TWI537772B
TWI537772B TW101107036A TW101107036A TWI537772B TW I537772 B TWI537772 B TW I537772B TW 101107036 A TW101107036 A TW 101107036A TW 101107036 A TW101107036 A TW 101107036A TW I537772 B TWI537772 B TW I537772B
Authority
TW
Taiwan
Prior art keywords
contact
composition
nearest neighbor
components
mapping
Prior art date
Application number
TW101107036A
Other languages
English (en)
Other versions
TW201239683A (en
Inventor
趙偉東
史帝芬斯大衞Ａ
尤札萊克艾勒森達
Original Assignee
微軟技術授權有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微軟技術授權有限責任公司 filed Critical 微軟技術授權有限責任公司
Publication of TW201239683A publication Critical patent/TW201239683A/zh
Application granted granted Critical
Publication of TWI537772B publication Critical patent/TWI537772B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Electronic Switches (AREA)

Description

用於多回合觸控接觸追蹤之方法及計算裝置 【相關申請案之交叉引用】
本發明主張美國臨時申請案第61/449,538號之優先權，該臨時申請案的標題為「多回合觸控接觸追蹤(Multi-Pass Touch Contact Tracking)」，由Zhao等人申請於2011年3月04日，該臨時申請案的揭示內容藉由引用之方式而整體併入本文。
本發明係關於多回合觸控接觸追蹤。
諸如行動電話、可攜式及平板電腦、娛樂裝置、手持導航裝置等等可攜式計算裝置，該等可攜式計算裝置所提供的功能及特性越來越多，讓使用者難以在裝置上瀏覽並選擇相關命令以開啟所欲功能。除了例如滑鼠、鍵盤及其他輸入裝置等用以與計算裝置的傳統互動技術之外，觸控感測器及觸控螢幕顯示器普遍整合入行動電話及平板電腦中，且同時被運用於顯示器及使用者可選之觸控及手勢輸入端。該等具備觸控感測器及/或觸控螢幕顯示器之類型的可攜式裝置，一直有設計上的難題在於處理觸控訊號，以追蹤從先前畫面框之感測器影像資料中所識別之觸控及手勢輸入。觸控螢幕顯示器上的觸控 接觸表示手勢的動作軌跡，例如當使用者以手指接觸觸控螢幕顯示器，做手勢同時與該顯示器保持接觸。如果無法正確追蹤並解讀手勢輸入的觸控接觸動作軌跡，可能導致手勢辨識操作及手勢追蹤處理的失敗。
對於較小或短之手勢的手勢動作，常見之追蹤處理可以靜態比對先前畫面框中同一位置的觸控接觸。然而，此種做法不適用於較大或長的手勢，例如一般用於平板電腦或其他類型板狀外型上，涉及撥動(flicker)或平移(panning)等快速手勢。追蹤處理可能未能感測完整的手勢動作，而產生手勢「斷裂」(break)，之後可能被辨識或處理成較實際手勢動作更短的動作範圍。或者，若追蹤處理過度感測手勢動作，可能導致錯誤追蹤觸控接觸，例如當使用者以顯示於觸控螢幕顯示器之軟體鍵盤(soft keyboard)或虛擬鍵盤輸入文字時。
本發明內容介紹多回合觸控接觸追蹤的簡要概念，而將在以下實施方式及/或圖示中進一步闡述。本發明內容不應被認為介紹本發明之必要特徵，也不應用於確定或限制本發明的範疇。
在此說明多回合觸控接觸追蹤。在實施例中，將觸控輸入感測器資料辨識為觸控螢幕顯示器上之接觸的一系列組成。根據多回合最近鄰域接觸對映，該等組成能被 確定相關於該接觸，其中該多回合最近鄰域接觸對映包含該等組成之正向最近鄰域接觸對映以及該等組成之反向最近鄰域接觸對映。當進行該正向最近鄰域接觸對映之後餘有未對映之組成時，起始該反向最近鄰域接觸對映。該等組成能隨後組合以表示該接觸的軌跡。該接觸的後續組成也能被確定，並與該接觸的該等先前組成組合，而進一步表示該接觸的該軌跡。
在此描述多回合觸控接觸追蹤的實施例。如上所述，在諸如行動電話或可攜式電腦之計算裝置的觸控螢幕顯示器，觸控螢幕顯示器上的觸控及手勢輸入可能並未正確追蹤及/或處理。多回合觸控接觸追蹤利用預測先前畫面框中位於觸碰位置的組成，而在高速動作情況下達到可靠的追蹤，同時避免在軟體鍵盤情況下的錯誤追蹤。觸控接觸追蹤能根據接觸之先前已識別組成的預測位置而行，且具有一組規則來定義該預測所得之該軌跡的有效範圍。在實施例中實現多回合接觸追蹤以作接觸追蹤，該預測係根據最近鄰域距離比對(例如演算法或程序)，並實現同時具有正向及反向之最近鄰域距離比對的技術。
觸控訊號處理涉及追蹤從先前畫面框之觸控輸入感測資料中所識別的觸控接觸。當觸控接觸的動作較大，可 透過最小最大距離測定進行預測，對多手指手勢輸入的不同手指接觸中可能組成對映的不同排列組合中的最大距離進行排序。計算成本與N！成比例，其中N是該手勢輸入所使用的手指數。當N大於十個手指時將為例外，例如兩個以上使用者同時與一觸控螢幕互動及/或玩遊戲時。另一解決方法為進行正向及反向回合(多回合)最近鄰域距離比對。
在動作速度較小時，追蹤準確度及結果可比擬最小最大距離測定技術，而計算成本是與N 2 而非N！成比例，此為較不處理密集。實施例中提出根據正向及反向之最近鄰域距離比對而形成之多回合解決方案，用以計算接觸軌跡，例如當先前畫面框中該等接觸之預測值已定義完成。若未存在有預測值，仍可套用原先透過最小最大距離測定來起始預測的解決方式。或者可實行某些限制技巧，而整個免除最小最大值機制。
多回合觸控接觸追蹤之實施例可包含根據預測值之兩階組成識別及接觸追蹤程序。第一階程序用於根據預測，建立接觸之組成的初始組合，以作手勢輸入追蹤，而第二階程序用於根據最近鄰域接觸對映條件以驗證，而產生接觸之組成的最終組合。另外相關的是一組規則，定義多手指接觸及手勢辨識的操作方式。此可實作於任意具備觸控螢幕顯示器之板狀裝置、平板裝置、行動電話或電腦，也可實作於其他類似技術如面板(surface)、間接觸控等。
多回合觸控接觸追蹤的特性與概念可實現於各種不同裝置、系統、環境、網路及/或配置，然而多回合觸控接觸追蹤的實施例在此將以下列範例裝置、系統及方法予以闡述。
第1圖圖示範例系統100，在範例系統100中可實現各種多回合觸控接觸追蹤之實施例。該範例系統包含計算裝置102，計算裝置102可為以下任一或多者之組合：行動電話104、娛樂裝置、導航裝置、使用者裝置、無線裝置、可攜式裝置、平板電腦106、雙螢幕摺疊裝置108及類似裝置。該計算裝置包含整合式觸控螢幕顯示器110，用以感測手勢輸入112，例如在顯示於該觸控螢幕顯示器上之使用者介面中使用者起始之手勢。在本範例中，該手勢輸入是兩指的手勢，以如箭頭所示之約略方向越過該觸控螢幕顯示器，但也可能是單指手勢輸入，或多指手勢輸入(三指以上的手勢輸入)。該等計算裝置可以各種部件實現，例如一或多個處理器及記憶裝置，也可參考第13圖中所進一步介紹之範例裝置，組合各種部件而實現多回合觸控接觸追蹤之實施例。
在範例系統100中，計算裝置102包含觸控輸入模組114(較低層部件)，觸控輸入模組114被實作將觸控輸入感測器資料116辨識為觸控螢幕顯示器110上的手勢輸入112。該計算裝置也包含手勢辨識應用程式118(較高層部件)，手勢辨識應用程式118從該觸控輸入模組接收該觸控輸入感測資料成為HID報告120(即人性化介 面裝置報告，human interface device report)。該等HID報告包含時間及位置資料，以及已確定之觸控接觸軌跡，該觸控接觸軌跡關聯於該計算裝置之觸控螢幕顯示器上的手勢輸入。手勢辨識應用程式118被用以從關聯於輸入或輸入之組合(例如，手勢輸入112)的觸控輸入資料(例如，HID報告120)中，辨識並產生所確定的各種手勢。該手勢辨識應用程式可自不同使用者可選之輸入端產生各種手勢，例如選取手勢、暫停手勢、動作手勢、點選手勢及其他類型之手勢。
計算裝置102的輸入辨識系統可包含各種輸入偵測功能及/或裝置，以分辨各種輸入，例如感測器(電容式或電阻式)、感光像素、觸控感測器、相機及/或可解讀使用者互動、手勢、輸入及動作的自然使用者介面(natural user interface)。在實作上，輸入辨識系統可從明顯的變數偵測出動作輸入，例如從方向變數、從起始區域位置變數及終止區域位置變數及/或從移動速率變數(例如，每秒特定數目個像素)。
如本文所述，手勢輸入可被辨識為裝置之觸控螢幕顯示器上使用者的一或多指輸入，而該手勢輸入包含一或多個接觸，該等接觸各別相關於該觸控螢幕顯示器上手指的該輸入。在第1圖的範例中，兩指手勢輸入112包含兩個接觸，該兩個接觸被識別為相關於該手勢輸入之第一指的第一接觸122，及相關聯於該手勢輸入之第二指的第二接觸124。
手勢輸入資料以一系列畫面框的方式被接收，畫面框包含代表接觸之一觸碰位置的組成(沿著單指手勢輸入)。對於兩指手勢輸入，畫面框可包含第一接觸的組成及第二接觸的組成，該第一接觸相關於第一指的輸入，該第二接觸相關於第二指的輸入(以此類推兩指以上的手勢輸入)。
在第1圖的範例中，手勢輸入112的第一接觸122包含有連續之組成，例如位於沿著該第一接觸上的不同觸控位置的組成126、組成128及組成130。同樣地，手勢輸入112的第二接觸124包含有連續之組成，例如位於沿著該第二接觸上的不同觸控位置之組成132、組成134及組成136。據此，該兩指手勢輸入的第一畫面框，包含組成126及組成132，組成126及組成132分屬第一及第二接觸在一系列組成中的位置N-2。同樣地，該手勢輸入位在N-1的下一畫面框，包含組成128及組成134，分屬第一及第二接觸，而該手勢輸入位在N的目前畫面框包含組成130及組成136，分屬第一及第二接觸。
因此，手勢輸入的接觸跨過多個畫面框，且包含來自各連續畫面框的組成，該等組成已被識別為相關於該接觸或是相關於該接觸的一段。組成代表畫面框中接觸的觸控位置(在該組成被識別為相關於該接觸之後)。如實施例中所述，根據最近鄰域接觸對映條件來評估組成位置間的距離，可識別組成是否相關於特定接觸。然而， 若最近鄰域接觸對映未能識別組成至現存接觸中之一者，則能產生該手勢輸入之新接觸，用以表示觸控螢幕顯示器上另一作手勢之手指的軌跡。
觸控輸入模組114在計算裝置102上，以觸控螢幕顯示器110上手勢輸入112的兩個接觸122及124的一系列組成，辨識觸控輸入感測器資料116。在實施例中，觸控輸入模組114用以對每一接觸之每一組成的觸控輸入感測器資料116，產生感測器地圖138。感測器地圖表示接觸的個別組成，例如當使用者在觸控螢幕顯示器110上起始手勢輸入112。在此例中，該感測器地圖包含元素140，該等元素以8位元十六進位數值顯示，以表示該感測器地圖中元素位置的訊號強度。觸控輸入感測器資料中越強的感測器訊號，顯示與感測器地圖上元素有越多觸控接觸。該感測器地圖可以二維陣列產生，而元素在該二維網格中的陣列索引，係相關於該觸控螢幕顯示器上已自該手勢輸入所感測之觸控接觸。對於該感測器地圖區域中未能偵測為屬於該觸控接觸的元素，能減去固定基準(stationary baseline level)，使該等元素標準化為零位準。
計算裝置102也包含接觸追蹤服務142，用以確定預測觸控接觸軌跡144，該預測觸控接觸軌跡144係對應於觸控螢幕顯示器110上手勢輸入的一或多個接觸，例如手勢輸入112。接觸追蹤服務能以電腦可執行指令來實現，例如軟體應用程式，並由一或多個處理器來執行， 以實現所述之各實施例。接觸追蹤服務也能實作成計算裝置中特定感測器裝置硬體上的韌體。在本例中，顯示該接觸追蹤服務被實作為觸控輸入模組114的一部件。另一做法，接觸追蹤服務可實作為獨立的軟體應用程式或服務，用以預測觸控接觸軌跡。
在實施例中，接觸追蹤服務142被用以進行多回合觸控接觸追蹤的各種程序及/或演算法。接觸追蹤服務可識別及預測對映(例如，相關或組合)於該兩接觸的該手勢輸入之組成。組成126至130表示第一接觸122的軌跡，而組成132至136表示第二接觸124的軌跡。被識別為相關於特定接觸的組成，全都被指定相同的識別碼。例如，第一接觸122的組成126至130全被指定相同的第一識別碼，而第二接觸124的組成132至136全被指定相同的第二識別碼，其中該第一識別碼及該第二識別碼相異，以區分不同之接觸。以下將進一步說明，該接觸追蹤服務可根據最近鄰域條件，評估從接觸之預測組成位置至該接觸額外組成的距離，以驗證該預測組成位置是否相關於該接觸的後續組成。另外，該接觸追蹤服務可根據於特定接觸之組成間所行之最小最大距離測定，確定該等組成相關於該接觸。
根據多回合觸控接觸追蹤之一或多個實施例，在第2圖及第12圖中分別說明範例方法200及1200。一般而言，在此述及之任何服務、功能、方法、程序、部件及模組，都可實作為軟體、韌體、硬體(例如，固定式邏 輯電路系統)、人工處理或以上之任意組合。軟體實作代表程式碼，該程式碼在被電腦處理器執行時可進行經指定之工作。該等範例方法可以一般電腦可執行指令的情況說明，電腦可執行指令可能包含軟體、應用程式、常式(routine)、程式、物件、部件、資料結構、程序、模組、函式及類似物。程式碼可儲存於一或多個電腦可讀取儲存媒體裝置，可同時位於電腦處理器的本機及/或遠端。該等方法也可在分散式計算環境由多個計算裝置施行。此外，以下所述之特徵係平***立(platform-independent)，且可在具有各種不同處理器之各種計算平台上實現。
第2圖說明多回合觸控接觸追蹤的範例方法200。圖中介紹的步驟方塊順序非為刻意規定，可選擇所述之步驟方塊其中任意個隨意排列，而成不同之方法。
在方塊202，在觸控螢幕顯示器上辨識出手勢輸入。例如，計算裝置102上之觸控輸入模組114(第1圖)可辨識不同輸入或不同輸入之組合，例如範例裝置104的觸控螢幕顯示器110上之手勢輸入112。在本範例中，手勢輸入112為二指手勢輸入，包含兩個接觸，被辨識為相關於該手勢輸入之第一指的第一接觸122，及相關於該手勢輸入之第二指的第二接觸124。
在方塊204，確定對映於該手勢輸入之多回合觸控接觸軌跡。在步驟206，根據該等接觸中一或多個先前組成，預測手勢輸入接觸的下個組成位置。在方塊208， 根據該等接觸之該等組成的正向最近鄰域接觸對映，預測該等接觸的後續組成。在方塊212，對映該手勢輸入之每個接觸的該等組成，以表示該等接觸每一者的軌跡。在方塊214，根據正向及反向最近鄰域接觸對映，驗證該等接觸之該等組成的最終組合。
例如，計算裝置102的接觸追蹤服務142(第1圖)確定對應於範例裝置104之觸控螢幕顯示器110上手勢輸入112之多回合觸控接觸軌跡。接觸追蹤服務也根據手勢輸入接觸之該等組成的正向最近鄰域接觸對映，預測該等接觸的後續組成位置；根據該等接觸之該等組成的反向最近鄰域接觸對映，預測該等接觸的後續組成位置；對映(例如，相關聯或組合)該手勢輸入之每一接觸的組成，用以表示該等接觸中每一者的軌跡；及/或根據該正向及反向最近鄰域接觸對映，驗證該等接觸之該等組成的最終組合。
第3圖說明如第1圖所示，作為處理觸控訊號之用的接觸追蹤服務142的一實施例及各部件。第4圖參考第1圖所示之觸控輸入模組114及第1圖與第3圖所示之接觸追蹤服務142，圖示用以處理多回合觸控接觸追蹤的範例架構400。第5圖圖示多回合觸控接觸追蹤之高階流程圖500，多回合觸控接觸追蹤係藉由第3圖中接觸追蹤服務142的一個部件：觸控接觸追蹤器模組300(也可稱為「接觸追蹤器」)所實作。
在402(第4圖)輸入觸控輸入感測器資料116(例如， 接收於觸控輸入模組114)，而該觸控輸入模組的感測器單元從該觸控輸入感測器資料，產生手勢輸入之接觸之每個組成的感測器地圖302(第3圖)。在404對於該感測器地圖中標準化為零位準的元素，可減去固定基準或予以移除。例如，可以二維網格產生感測器地圖138，二維網格之格距為5毫米，元素位元長度為八至十六位元。已連接組成分析器304被用以在406進行已連接組成分析。該已連接組成分析器接收經標準化之感測器地圖302作為輸入，產生表示該等觸控接觸之該等已連接接觸組成的陣列306，該等組成由手勢輸入的組成所取代。觸控接觸追蹤器模組300在408被用以作組成識別及接觸追蹤，以組合(例如，或相關聯或對映)先前畫面框中的組成及目前畫面框中觸控位置的組成，該等組成代表連續手勢動作的軌跡，例如第一接觸122的軌跡及第二接觸124的軌跡。
第5圖中，當方塊502中接收到輸入的每個新畫面框，則檢查來自先前畫面框之一組觸控接觸的可預測性。對於仍在初始追蹤階段(即從方塊502選擇「是」)，以及未建立充分的觸控接觸組合紀錄前的觸控接觸，予以輸入至觸控接觸對映模組308(也稱為「接觸對映器」)以在方塊504進行最小最大接觸對映。最小最大接觸對映產生已對映接觸組成310的初始組合，該已對映接觸組成310接著連同供未來畫面框使用之組合紀錄，被輸出並暫存為已確定組成312。
非為初始觸控接觸(即從方塊502選擇「否」)的觸控接觸，例如至少有兩個先前畫面框已被接收時，觸控接觸則被輸入至動作預測模組314，以在方塊506進行動作預測，而產生觸控接觸預測位置316。該等觸控接觸預測位置，連同該目前畫面框的已連接組成508，被輸入至觸控接觸對映模組308，以在方塊510根據正向最近鄰域距離比對演算法(例如，或程序或測定)進行最近鄰域接觸對映。該最近鄰域距離比對的結果在512以判別條件檢驗，以確定該目前畫面框的該等組成是否成功對映至接觸的先前組成。
如果該等組成的對映成功(即從方塊512選擇「是」)，則該已對映組合在方塊514被輸入至觸控接觸合併模組318。如果該等組成的對映不成功(即從方塊512選擇「否」)，則該等組成被輸入至接觸觸控對映模組308，以在方塊516進行最小最大接觸對映，且起始兩階組合式對映。藉由來自動作預測模組314的輸入(即方塊506的輸出)以及已連接組成508，最小最大接觸對映根據最小最大距離測定法，連同一組關於手及/或手指運動力學的規則，試圖在此兩組組成位置間建立第一階最近鄰域組合。
最小最大機制能被實作以計算可能比對中所有成對組成之間的距離。在N個觸控位置對映至N個組成的配置下，可能比對的個數等於N！，且對於每個比對，要計算每個比對之距離並確定最大距離值之排序。若當正向最 近鄰域距離測定比對組成失敗而起始最小最大距離測定法，則處理上的延誤可對使用者有如故障般明顯。
至於在該第一階(例如，方塊518)未能建立對映的該等接觸，該等接觸之全部組成被轉送以在方塊520進行接觸混淆(contact aliasing)檢查以決定可能的混淆，該等接觸可能為已合併接觸，在方塊514由觸控接觸合併器模組318確定。單一組成可關聯至多個觸控接觸位置，此狀況能發生於手勢輸入動作的多個手指較靠近時，因而根據該觸控接觸感測器資料顯示為單一組成。為了偵測觸控接觸合併，對於第一階接觸組合後未對映的組成，可對於所有組成與接觸之關聯起始最近鄰域驗證，如有任何比對則顯示有單一組成混淆關聯至多個觸控位置。
觸控接觸合併器模組318處理並解析已合併組成，例如自行檢查是否兩接觸位置有相同的[x,y]格點座標。一個接觸合併可包含多個觸控位置混淆至一個組成，也有可能是著地時合併(merge-on-landing)的情況，也就是當第一觸控位置已經被感應或偵測為觸控螢幕顯示器上的第一手指觸控，而使用者在緊鄰第一手指旁放下第二手指。兩觸控位置可接著被偵測為一起合併為一較大組成。
第6圖圖示由觸控接觸追蹤器模組300(也稱為「接觸追蹤器」)所實現之多回合觸控接觸追蹤的另一高階流程圖600，觸控接觸追蹤器模組300在第3圖中顯示為 接觸追蹤服務142的部件。範例圖表600相似於第5圖中所示的圖表500，除了最小最大對映516、最近鄰域組合決策518以及接觸混淆檢查520等三種運算被取代為反向最近鄰域接觸對映616。此外，最近鄰域接觸對映510被取代為正向最近鄰域接觸對映610。多回合最近鄰域距離測定包含組成之正向最近鄰域接觸對映，以及組成之反向最近鄰域接觸對映。
第7圖圖示多回合最近鄰域接觸對映之範例700，例如應用於兩指手勢輸入，兩指手勢輸入包含兩接觸，兩接觸之一者為相關於手勢輸入之第一手指的第一接觸702，以及相關於手勢輸入之第二手指的第二接觸704。第一接觸702包含連續組成，例如位於第一接觸的不同觸控位置之組成A與組成C。同樣地，第二接觸704包含連續組成，例如位於第二接觸的不同觸控位置之組成B與組成D。正向最近鄰域接觸對映610的運算，會搜尋最接近接觸之預測位置的組成。當找到此種組成，且此組成至該接觸之預測點的距離小於既定臨界值，則能建立組合以將該組成關聯於該接觸。須注意該既定距離並非一致度量(uniform metrics)，卻是沿速度方向(direction of velocity)延伸，藉以補償由於高速下預測所致之可能不正確性。
正向最近鄰域接觸對映的失誤可能歸因於用於最近鄰域距離測定法之距離具有非一致性。如第7圖所示，組成A所位於的預測位置應比對到第一接觸702之組成 C，同樣地，組成B所位於的預測位置應比對到第二接觸704之組成D。該等接觸的虛線代表因速度而歪斜(velocity-skewed)的度量，因速度而歪斜的度量用於距離比較。然而，正向最近鄰域接觸對映610會因接近性而將組成B的預測位置比對至組成C，如圖中706所示。此正向最近鄰域接觸對映的結果是，組成A及組成B都被比對到組成C，形成二對一接觸合併，而未被對映的組成D可能接著被確定為新接觸的起點，造成接觸704有接觸比對斷裂(contact matching break)。
在實施例中，反向最近鄰域接觸對映616被實現，以正向最近鄰域比對回合之後加一反向回合，以解決組成未能被對映的情況。反向回合自未對映組成D開始，且從該接觸中所有其他組成中確定最佳比對。一旦確定了最佳化組成比對，比如此例中的組成B，則先前在正向最近鄰域對映期間對組成B所建立的所有組合得以解除。此舉造成如組成C之新的未對映組成，而就對該等新的未對映組成反向應用反向最近鄰域對映，直到沒有未對映組成為止。
正向最近鄰域對映在610起始，對每個未對映組成確定比對接觸。在612檢查正向最近鄰域對映的結果，以確定是否目前畫面框的全部未對映組成已經成功對映至接觸的先前組成。如果組成對映未成功(即從方塊612選擇「否」)，則接觸對映的所有組成被切斷(例如，或解除)，而在616起始反向最近鄰域接觸對映。
由於未比對之組成的數量比例，反向最近鄰域接觸對映的處理資源使用量極小。反向的遞延(propagation)也極小，因為此過程關聯於使用者的手上緊靠並沿著手勢輸入橫越的方向快速移動的三或四個手指。至於若有新的手指接觸觸控螢幕顯示器，而造成任何組成被確定為未對映，多回合觸控接觸追蹤並不會折損(compromise)該新接觸做為新輸入的有效性，因為新確定的觸控接觸一般距離預測觸控位置夠遠，使得反向最近鄰域接觸對映在第一輪後停止。
以範例裝置104(第1圖)的觸控螢幕顯示器110上之手勢輸入112的接觸為例，在已知接觸之軌跡的情況下，第8圖圖示動作預測的範例800，動作預測之決策區域802代表該接觸的預測組成位置804。在實施例中，接觸追蹤服務142的動作預測模組314(第3圖)被實施以做動作預測，當時手勢輸入在觸控螢幕顯示器的位置N-2開始，接觸軌跡持續至位置N-1，接著到位置N。位於位置N的組成基於與預測組成位置804的接近性，而被關聯於位置N-2及N-1的組成。當在先前N個畫面框中識別為i的組成有組合時，則可透過該接觸先前組成位置的線性組合式來預測該組成在目前畫面框X i 的位置，如以下等式：
若以N=3為例，透過簡單的恆定加速度條件式(constant acceleration condition)確定一組答案為常數a1=2.5，a2=-2，而a3=0.5。若以N=2為例，則一組答案為a1=2及a2=-1。一般而言，該等係數可為因時間而異的變數，而能運用更進階的技術如卡爾曼濾波器(Kalman filter)，來透過循環的程序以確定該等參數。
對於在上述預測階段中所產生之第i個觸控位置的每個組成(t)，最近鄰域接觸對映試圖與目前畫面框之組成X(t)組合。最近鄰域接觸對映可如下述方式及/或其他技術或演算法解決。當目前畫面框中所有組成都經考量，而確定了位在以預測位置(t)為中心之二維決策區域802內的組成X(t)，就能建立已對映組合。決策區域可先建立為以r為半徑的圓形，該圓形相對應於一個比對畫面框t-1中第i個接觸之實際觸控形狀的區域。圓形區域接著被修飾以沿著速度方向的速度相關擴增，而擴增因數λ與速度的範數(norm)成比例。此擴增是速度預測之不正確性所引入的錯誤的起因。一般而言，λ能有上限λmax，以避免手勢輸入動作中起沿著速度方向的相近手指間產生錯誤組合。在一實施例中，λ=(1+λmax|v|)/(1+|v|)，然而其他的λ選擇亦可行。
在實作上，驗證最近鄰域接觸對映條件的程序可以反向程序施行。首先計算差值向量(difference vector)：d=X(t)-(t)|，接著以因數1/λ沿速度向量v=X(t-1)-X(t-2)的方向對d施以反向放大。所產生之向 量的範數接著與決策區域的半徑r做核對，如果小於r代表已經確定組合。最近鄰域接觸對映的另一延伸係為實現機率性方式，其中定義向量d的機率分布函數，接著並非傳遞「組成X(t)屬於哪個觸控」的困難決策結果，而是傳遞所有組成中的機率分布。此項資訊可透過HID報告來傳遞，使得手勢辨識應用程式118(第1圖)(例如，或更高層級)可運用此資訊。
在實施例中，能建立最近鄰域接觸對映是否成功的判別條件，例如在方塊512(第5圖)確定成功的對映。一般而言，最近鄰域接觸對映產生可靠的觸控組成組合。然而在某些觸控接觸速度的分布狀態下可能確定不可靠的組合，例如當相關的觸控位置速度快，且特定方向有可觀的加速。此舉導致預測組成位置變得更接近相鄰的組成，而非接近應當關聯於該預測組成的觸控接觸組成。
欲偵測此種不可靠組合的存在，簡單的條件是確定最近鄰域對映後未組合組成的總數是否大於組成數及觸控數兩者的差值。注意此為充分條件，因理論上可能有好的對映被歸類為壞的對映。由於大多數畫面框有可靠的組合預測，不可靠組合的存在(例如失敗案例)可能佔非常小的百分比(例如小於5%)，計算成本可忽略。如果偵測到失敗案例，可能啟動組合式接觸對映的演算法或程序，用以確定正確的組合，如接觸追蹤服務的觸控接觸對映模組308所實現。
組合式接觸對映能在先前畫面框所建立的一組已知接觸與目前畫面框中一組已知接觸之間，建立可靠的對映。當確定預測結果，而最近鄰域接觸對映失敗，則能利用組合式接觸對映，藉由比對預測位置及組成位置之間的預測殘差(residual)，以建立兩組(觸控位置及組成)之間的第一階組合。當接觸在生命週期的初始階段未能確定預測位置時，也可使用組合式接觸對映來建立初始組合。如果接觸的初始組合不存在，比如在新接觸的首兩個畫面框中可能發生，則觸控接觸對映模組308能將原始位置設定為預測位置，且沒有出現預測殘差。觸控接觸對映模組能包括組合式接觸對映演算法、用以做距離對映的最小最大距離測定演算法，以及交叉軌跡抑制器用以處置(penalize)互相交叉之手勢輸入動作的軌跡。組合式接觸對映演算法能如在此所述透過最小最大演算法及/或如匈牙利演算法(Hungarian Algorithm)之其他技術及演算法得以實施。
在實施例中，可以實現最近鄰域接觸及組成之組合的驗證。以最小最大距離測定建立的第一階組合(如上所述)能利用類似最近鄰域接觸對映的第二階驗證過程來評估。尤其是目前畫面框的組成X(t)，在最小最大對映階段時與(t)建立初始組合之後，如果X(t)落在以第i個接觸之預設位置(t)為中心之二維預測區域內，則確認該組成X(t)屬於第i個接觸。一般而言，第二階驗證過程與最近鄰域接觸對映的不同點在於，最近鄰域接觸 對映對於已知(t)會評估所有的可能組成，第二階驗證過程則選取第一階組合的組成而進行驗證過程。
第9圖說明用於多階最大距離測定之最小最大距離測定的範例900。在實施例中，接觸追蹤服務142中之觸控接觸對映模組308(第3圖)被實現以確定最佳化對映，來組合(例如，確定或相關聯)先前畫面框中之該等組成與目前畫面框之該等組成，使得對映中所有對映組對間的最大距離得以最小化。依最小最大距離測定的應用方式而異，所對映的該先前畫面框之組成之位置，可為在後續畫面框中之組成的預測位置。
最小最大距離測定企求在目前畫面框之組成與先前畫面框之組成間，確定具有最小最大距離的對映。在本範例中，已經識別自組成904至後續組成之觸控位置906的最大距離902。接著確定自目前畫面框中之組成908至先前畫面框中之組成910的對映。例如，第一接觸的測定係為選擇在912處藉由虛線亦或實線代表之組成組合，而第二接觸的測定係為選擇在914處藉由虛線亦或實線代表之組成組合。
在等式中，P(i)定義自N至M的對映，其中N代表來自先前畫面框的該等接觸上的該組數字標號，而M代表在目前畫面框中之該等組成的標號。更特定言之，P(i)係為i N(範圍為0...N-1)而帶入數值至M(範圍為0...M-1)的函數，使得對於i≠j時P(i)≠P(j)。此外，P表示所有可能之P(i)的全部集合，而確定P中最佳的 P(i)，使得該對映定義目前組成與先前觸控位置的最合理之組合。
對於P中之任意P(i)，陣列D(i,P)：i N表示對於對映中每個組對i的距離。更特定言之，對於對映中每個組對i，該距離D(i,P)係定義為該目前畫面框之該組成的該位置與該先前畫面框之該組成的該預測位置(若預測存在)或該位置之間的L2距離。接著起始陣列D(i,P)的遞減排序，此結果表示成Sorted D(k,P)，其中0≦k<N，且：SortedD(0,P)≧SortedD(1,P)...≧SortedD(N-1,P)
當解出以下最小化問題時，則能獲得最佳的P：BestP=arg (ED(P)+λ 0 * EC(P))，其中：
數值ED係為來自最大距離比對的貢獻，而數值MAXD係為在顯示螢幕上之最大距離(通常為對角距離)。本範例中之分層式最大距離比對，在一旦具有較大距離的該等組成已經比對時，造成配置的退化(degeneracy)。
第10圖圖示交叉軌跡之範例1000，交叉軌跡可顯示在目前畫面框之組成1002及先前畫面框之組成1004之間的非欲組合。最小最大距離測定可不正確地組合目前組成至先前組成。數值EC(P)可定義為成比例於在對映P中所有標號組對軌跡中交叉的數目，而以大約100Hz之取樣率，交叉能被認為偽對映。在此範例中，組成A 至組成C以及組成B至組成D的比對，較佳於組成A至D以及組成B至C的該等交叉軌跡。然而若沒有EC(P)，單純ED(P)將可能不正確地組合組成A至D以及組成B至C的該等交叉軌跡，而此明顯並非所期望。
第11圖圖示如何計算及列入如第10圖所示之交叉軌跡之一範例1100。EC的計算會對於軌跡組對及予以考量，該等軌跡互相交叉的情況係為當以下不等式同時成立之時：0<(b 1 * c 0-b 0 * c 1)/det<1
0<(a 0 * c 1-a 1 * c 0)/det<1
(det=b 1 * a 0-b 0 * a 1)，而a=(a0,a1)=x1-x0
b=(b0,b1)=x2-x3
c=(c0,c1)=x2-x0
第12圖圖示多回合觸控接觸追蹤的範例方法1200。其中該等方法步驟方塊之說明順序並非意圖設限，而為實現方法或替代方法，能將任意數目之所說明步驟方塊以任意順序加以組合。
在方塊1202，觸控輸入感測器資料被辨識成在觸控螢幕顯示器上之接觸之一系列組成。例如，位於計算裝置102的觸控輸入模組114(第1圖)，以例如在範例裝置104上，觸控螢幕顯示器110上手勢輸入112的接觸(該二接觸122及124之一者)的一系列組成，來辨識觸控輸入感測器資料116。
在方塊1204，根據多回合最近鄰域接觸對映，該等組成被確定相關於該接觸。例如，位於計算裝置102的接觸追蹤服務142(第1圖)，根據包含該等組成之正向最近鄰域對映及該等組成之反向最近鄰域對映的多回合最近鄰域接觸對映，以確定接觸112的該等組成相關於該接觸。
在方塊1206，起始正向最近鄰域接觸對映。例如，接觸追蹤服務142起始正向最近鄰域接觸對映，以評估該接觸之一或更多額外組成至該等組成之預測組成位置的距離。在方塊1208，對於在該正向最近鄰域接觸對映之後是否餘有任何未對映組成做出確定。若餘有未對映組成(即從方塊1208選擇「是」)，則在方塊1210解除由該正向最近鄰域接觸對映所對映之已對映組成組合，並在方塊1212起始該反向最近鄰域接觸對映。例如，接觸追蹤服務142確定在該正向最近鄰域接觸對映之後是否餘有未對映組成，如果是，則解除任何已對映組成組合，並起始該反向最近鄰域接觸對映，以評估自該等預測組成位置至該接觸之該一或更多額外組成的距離。
在方塊1214，該接觸之該等組成被組合以表示該接觸的軌跡，而在方塊1216，相同識別碼接著被指定給所有相關於該接觸之該等組成。例如，接觸追蹤服務142組合該接觸之全部組成，以表示該接觸的軌跡，並指定該相同識別碼給全部組成。
第13圖圖示範例裝置1300的各個部件，該範例裝置能被實現為參照以上第1-12圖所說明之任何裝置，或藉由裝置所實現之任何服務。在實施例中，該裝置可被實現為固定或移動裝置之任一者或組合，形式可為消費性、電腦、可攜性、使用者、通訊、電話、導航、電視、電器、遊戲、媒體播放及/或電子裝置之任一者。該裝置亦可與操作裝置的使用者(亦即，人)或實體相結合，使得裝置描述之邏輯裝置包含使用者、軟體、韌體、硬體及/或裝置之組合。
裝置1300包含通訊裝置1302，通訊裝置1302致使裝置資料1304之有線及/或無線通訊，裝置資料乃諸如已接收資料、正在接收之資料、已排定廣播時程之資料及資料之資料封包等等。裝置資料及其他裝置內容能包括裝置的組態設定、裝置上儲存之媒體內容及/或關聯於裝置使用者的資訊。裝置上儲存之媒體內容能包括任何類型之音訊、視訊及/或影像資料。該裝置包含一或更多資料輸入端1306，透過資料輸入端可接收任何類型之資料、媒體內容及/或輸入端，例如使用者可選輸入端及自任何內容及/或資料來源所接收之音訊、視訊及/或影像資料。
裝置1300也包含通訊介面1308，例如序列、串列、網路或無線介面之任一或多者。通訊介面提供裝置和通訊網路之間的連接及/或通訊連結，藉此其他電子、計算及通訊裝置與該裝置傳通資料。
裝置1300包含一或更多處理器1310(例如，任何微處理器、控制器及類似裝置)，處理器1310處理各種電腦可執行指令以控制該裝置的操作。另外或其他，該裝置可以軟體、硬體、韌體或固定邏輯電路系統之任一者或組合所實現，該固定邏輯電路系統之實現關於1312所概略識別之處理及控制電路。在實施例中，裝置1300也能包含觸控輸入模組1314，觸控輸入模組1314被實現以辨識觸控輸入感測器資料。儘管未圖示出來，該裝置能包含與裝置內各種部件耦合的系統匯流排或資料傳送系統。系統匯流排能包含不同匯流排結構之任一者或組合，例如記憶體匯流排或記憶體控制器、周邊匯流排、通用序列匯流排及/或任何運用各種匯流排架構之任一者的處理器或區域匯流排。
裝置1300也包含一或多個致使資料儲存之記憶體裝置1316(例如，電腦可讀取儲存媒體)，例如隨機存取記憶體(RAM)、非揮發性記憶體(例如唯讀記憶體(ROM)、快閃記憶體等等)，以及磁碟儲存裝置。磁碟儲存裝置可被實現為任何類型之磁性或光學儲存裝置，例如硬碟機、可錄製及/或可覆寫光碟及類似物。該裝置也可包含大型儲存媒體裝置。
電腦可讀取媒體能為由計算裝置所存取之任何媒介或媒體。例如，電腦可讀取媒體能包含儲存媒體及通訊媒體，但不限於此。儲存媒體包含以資訊儲存之任意方法或技術所實現之揮發性及非揮發性、可移除及非可移除 媒體，該資訊例如電腦可讀取指令、資料結構、程式模組或其他資料。儲存媒體包括RAM、ROM、EEPROM、快閃記憶體或其他記憶體技術，以及CD-ROM、數位光碟(DVD)或其他光學儲存器，以及磁匣、磁帶、磁碟儲存器或其他磁性儲存裝置，或能被用於儲存資訊並能藉由電腦存取之任何媒介，但不限於此。
通訊媒體一般以例如載波或其他傳輸機制等模組化資料訊號，來實施電腦可讀取指令、資料結構、程式模組或其他資料。通訊媒體也可包含任何資訊傳輸媒體。模組化資料訊號之一或多個特性的固定或更改的方式使得資訊得以編入訊號中。舉例而言，通訊媒體包含固接式網路或直接連接之連線等有線媒體，以及例如聲波、射頻、紅外線及其他等無線媒體，但非設限於此。
記憶體裝置1316提供資料儲存機制以儲存裝置資料1304、其他類型之資訊及/或資料，以及各種裝置應用程式1318。例如，作業系統1320能以軟體應用程式之形式保留於記憶體裝置，並在處理器上執行。裝置應用程式也可包含裝置管理器，例如任意形式之控制應用程式、軟體應用程式、訊號處理及控制模組、特定裝置中原生(native)指令碼、用於特定裝置之硬體抽象層(hardware abstract layer)等等。在此範例中，裝置應用程式1318包含手勢辨識應用程式1322以及接觸追蹤服務1324，該等裝置應用程式實現如上所述之角度接觸幾何之實施例。
裝置1300也包含音訊及/或視訊處理系統1326，音訊及/或視訊處理系統1326產生用於音訊系統1328之音訊資料及/或產生用於顯示系統1330之顯示器資料。音訊系統及/或顯示系統可包含處理、顯示及/或呈現音訊、視訊、顯示器及/或影像資料之任何裝置。顯示器資料及音訊訊號能透過RF(射頻)連結、S-video連結、複合視訊連結、組件視訊連結、DVI(數位視訊介面)、類比音訊連接或其他類似通訊連結傳輸給音訊裝置及/或顯示器裝置。在實施例中，音訊系統及/或顯示器系統為裝置之外部部件。或者，音訊系統及/或顯示器系統為範例裝置之整合式部件，例如整合式觸控螢幕顯示器。
儘管多回合觸控接觸追蹤之實施例已以特定於特徵及/或方法之語言來敘述，隨附之專利申請範圍之標的並不一定設限於所描述之特定特徵或方法。相反的，特定特徵及方法在此作為多回合觸控接觸追蹤之示範實施例而予以揭示。
100‧‧‧系統
102‧‧‧計算裝置
104‧‧‧行動電話
106‧‧‧平板電腦
108‧‧‧雙螢幕摺疊裝置
110‧‧‧觸控螢幕顯示器
112‧‧‧手勢輸入
114‧‧‧觸控輸入模組
116‧‧‧觸控輸入感測器資料
118‧‧‧手勢辨識應用程式
120‧‧‧HID報告
122‧‧‧第一接觸
124‧‧‧第二接觸
126‧‧‧組成
128‧‧‧組成
130‧‧‧組成
132‧‧‧組成
134‧‧‧組成
136‧‧‧組成
138‧‧‧感測器地圖
140‧‧‧元素
142‧‧‧接觸追蹤服務
144‧‧‧預測觸控接觸軌跡
200‧‧‧範例方法
202‧‧‧方塊
204‧‧‧方塊
206‧‧‧方塊
208‧‧‧方塊
210‧‧‧方塊
212‧‧‧方塊
214‧‧‧方塊
300‧‧‧觸控接觸追蹤模組
302‧‧‧輸入資料感測器地圖
304‧‧‧已連接組成分析器
306‧‧‧一系列接觸組成
308‧‧‧觸控接觸對映模組
310‧‧‧已對映接觸組成
312‧‧‧已確定組成
314‧‧‧動作預測模組
316‧‧‧觸控接觸已預測位置
318‧‧‧觸控接觸合併器模組
320‧‧‧觸控接觸輸出畫面框
400‧‧‧範例架構
402‧‧‧觸控輸入感測器資料
404‧‧‧像素遮蔽產生/基線移除
406‧‧‧已連接組成分析
408‧‧‧接觸識別及追蹤
500‧‧‧流程圖
502‧‧‧方塊
504‧‧‧方塊
506‧‧‧方塊
508‧‧‧方塊
510‧‧‧方塊
512‧‧‧方塊
514‧‧‧方塊
516‧‧‧方塊
518‧‧‧方塊
520‧‧‧方塊
522‧‧‧方塊
600‧‧‧流程圖
602‧‧‧方塊
604‧‧‧方塊
606‧‧‧方塊
608‧‧‧方塊
610‧‧‧方塊
612‧‧‧方塊
614‧‧‧方塊
616‧‧‧方塊
618‧‧‧方塊
700‧‧‧範例
702‧‧‧第一接觸
704‧‧‧第二接觸
706‧‧‧比對關係
800‧‧‧範例
802‧‧‧決策區域
804‧‧‧預測接觸位置
900‧‧‧範例
902‧‧‧最大距離
904‧‧‧組成
906‧‧‧後續組成之觸控位置
908‧‧‧目前畫面框中之組成
910‧‧‧先前畫面框中之組成
912‧‧‧組成組合
914‧‧‧組成組合
1000‧‧‧範例
1002‧‧‧觸控位置
1004‧‧‧組成
1100‧‧‧範例
1200‧‧‧範例方法
1202‧‧‧方塊
1204‧‧‧方塊
1206‧‧‧方塊
1208‧‧‧方塊
1210‧‧‧方塊
1212‧‧‧方塊
1214‧‧‧方塊
1216‧‧‧方塊
1300‧‧‧裝置
1302‧‧‧通訊裝置
1304‧‧‧裝置資料
1306‧‧‧資料輸入
1308‧‧‧通訊介面
1310‧‧‧處理器
1312‧‧‧處理及控制
1314‧‧‧觸控輸入模組
1316‧‧‧記憶體裝置
1318‧‧‧裝置應用程式
1320‧‧‧作業系統
1322‧‧‧手勢辨識應用程式
1324‧‧‧接觸追蹤服務
1326‧‧‧影音處理
1328‧‧‧音訊系統
1330‧‧‧顯示器系統
以下圖示說明多回合觸控接觸追蹤之實施例。所有圖示中會以相同元件符號來代表相同特性與元件：第1圖圖示一範例系統，其中能實現多回合觸控接觸追蹤之實施例。
第2圖圖示按照一或多個實施例，施作多回合觸控接觸追蹤的範例方法。
第3圖圖示按照一或多個實施例，接觸追蹤服務之範例架構。
第4圖圖示按照一或多個實施例，處理多回合觸控接觸追蹤的範例架構。
第5圖圖示按照一或多個實施例，多回合觸控接觸追蹤的高階流程圖。
第6圖圖示按照一或多個實施例，多回合觸控接觸追蹤的另一流程圖。
第7圖圖示按照一或多個實施例，多回合最近鄰域接觸對映的範例。
第8圖圖示按照一或多個實施例，決策區域內之動作預測的範例。
第9圖圖示按照一或多個實施例，用最小最大距離測定以行多階最大距離測定的範例。
第10圖圖示按照一或多個實施例，可顯示非欲組成組合之交叉軌跡之範例。
第11圖圖示按照一或多個實施例，如何計算及列入如第10圖所示之交叉軌跡之範例。
第12圖圖示按照一或多個實施例，多回合觸控接觸追蹤的範例方法。
第13圖圖示可實現多回合觸控接觸追蹤之實施例的一範例裝置的各個部件。
100‧‧‧系統
102‧‧‧計算裝置
104‧‧‧行動電話
106‧‧‧平板電腦
108‧‧‧雙螢幕摺疊裝置
110‧‧‧觸控螢幕顯示器
112‧‧‧手勢輸入
114‧‧‧觸控輸入模組
116‧‧‧觸控輸入感測器資料
118‧‧‧手勢辨識應用程式
120‧‧‧HID報告
122‧‧‧第一接觸
124‧‧‧第二接觸
126‧‧‧組成
128‧‧‧組成
130‧‧‧組成
132‧‧‧組成
134‧‧‧組成
136‧‧‧組成
138‧‧‧感測器地圖
140‧‧‧元素
142‧‧‧接觸追蹤服務
144‧‧‧預測觸控接觸軌跡

Claims (20)

  1. 一種用於多回合觸控接觸追蹤之方法，該方法包含以下步驟：將觸控輸入感測器資料辨識為一觸控螢幕顯示器上之一接觸的一系列組成；根據多回合最近鄰域接觸對映，確定該等組成相關於該接觸，該多回合最近鄰域接觸對映包含該等組成之正向最近鄰域接觸對映及該等組成之反向最近鄰域接觸對映；組合該等組成，以表示該接觸的一軌跡。
  2. 如請求項1所述之方法，其中該正向最近鄰域接觸對映評估從該接觸之一或多個額外組成至該等組成之預測組成位置的距離。
  3. 如請求項2所述之方法，其中該反向最近鄰域接觸對映評估從該等預測組成位置至該接觸之該一或多個額外組成的距離。
  4. 如請求項1所述之方法，其中當進行該正向最近鄰域接觸對映之後餘有未對映之組成時，起始該反向最近鄰域接觸對映。
  5. 如請求項4所述之方法，其中當起始該反向最近鄰域接觸對映時，解除由該正向最近鄰域接觸對映所對映的已對映組成組合。
  6. 如請求項1所述之方法，該方法進一步包含以下步驟：指定一相同識別碼給相關於該接觸的該等組成；根據該多回合最近鄰域接觸對映，確定後續組成相關於該接觸；及指定該相同識別碼給該等後續組成，該等後續組成結合該等組成而表示該接觸的該軌跡。
  7. 如請求項1所述之方法，該方法進一步包含以下步驟：從該接觸的該軌跡，預測該接觸的一組成位置；及將該預測組成位置相關於該接觸的一後續組成。
  8. 如請求項7所述之方法，其中根據表示該接觸之該軌跡的該等組成預測該預測組成位置。
  9. 如請求項1所述之方法，其中該組合該等組成係根據一兩階程序，該兩階程序包含以下步驟：根據預測而建立用於手勢輸入追蹤之該接觸之該等組成之一初始組合；及根據最近鄰域接觸對映條件以驗證該接觸之該等組成之該起始組合，而產生該接觸之該等組成之一最終組 合。
  10. 一種用於多回合觸控接觸追蹤之計算裝置，包含：一觸控螢幕顯示器；一觸控輸入模組，該觸控輸入模組經配置而將觸控輸入感測器資料辨識為該觸控螢幕顯示器上之一接觸的一系列組成；至少一記憶體及一處理器，用以實現一接觸追蹤服務，該接觸追蹤服務經配置而進行以下步驟：根據多回合最近鄰域接觸對映，確定該等組成相關於該接觸，該多回合最近鄰域接觸對映包含該等組成之正向最近鄰域接觸對映及該等組成之反向最近鄰域接觸對映；及組合該等組成，以表示該接觸的一軌跡。
  11. 如請求項10所述之計算裝置，其中該正向最近鄰域接觸對映評估從該接觸之一或多個額外組成至該等組成之預測組成位置的距離。
  12. 如請求項11所述之計算裝置，其中該反向最近鄰域接觸對映評估從該等預測組成位置至該接觸之該一或多個額外組成的距離。
  13. 如請求項10所述之計算裝置，其中當進行該正向最近 鄰域接觸對映之後餘有未對映之組成時，起始該反向最近鄰域接觸對映。
  14. 如請求項13所述之計算裝置，其中當起始該反向最近鄰域接觸對映時，解除由該正向最近鄰域接觸對映所對映之已對映組成組合。
  15. 如請求項10所述之計算裝置，其中該接觸追蹤服務經進一步配置而進行以下步驟：指定一相同識別碼給相關於該接觸的該等組成；根據該多回合最近鄰域接觸對映，確定後續組成相關於該接觸；及指定該相同識別碼給該等後續組成，該等後續組成表示該接觸的該軌跡。
  16. 如請求項10所述之計算裝置，其中該接觸追蹤服務經進一步配置而進行以下步驟：從該接觸的該軌跡，預測該接觸的一組成位置；及將該預測組成位置相關於該接觸之一後續組成。
  17. 如請求項16所述之計算裝置，其中該接觸追蹤服務經進一步配置，以根據表示該接觸之該軌跡的該等組成來預測該組成位置。
  18. 如請求項10所述之計算裝置，其中組合該等組成係根據一兩階程序，該兩階程序經配置以進行以下步驟：根據預測而建立用於手勢輸入追蹤之該接觸之該等組成之一起始組合；及根據最近鄰域接觸對映條件以驗證該接觸之該等組成之該起始組合，而產生該接觸之該等組成之一最終組合。
  19. 一種用於多回合觸控接觸追蹤之方法，該方法包含以下步驟：將觸控輸入感測器資料辨識為一觸控螢幕顯示器上之一或多個接觸的一系列組成；起始一正向最近鄰域接觸對映，以確定相關於該一或多個接觸之各者的該等組成；該正向最近鄰域接觸對映之後，確定餘有未對映之組成，該等未對映之組成係根據兩個具有相同的[x,y]格點座標之觸控位置；及起始一反向最近鄰域接觸對映，以確定相關於該一或多個接觸之各者的該等組成。
  20. 如請求項19所述之方法，該方法進一步包含以下步驟：當起始該反向最近鄰域接觸對映時，解除由該正向最近鄰域接觸對映所對映之已對映組成組合，該反向最近鄰域接觸對映將該等經解除之未對映之組成相關於該一 或多個接觸之各者。
TW101107036A 2011-03-04 2012-03-02 用於多回合觸控接觸追蹤之方法及計算裝置 TWI537772B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161449538P 2011-03-04 2011-03-04
US13/156,243 US8773377B2 (en) 2011-03-04 2011-06-08 Multi-pass touch contact tracking

Publications (2)

Publication Number Publication Date
TW201239683A TW201239683A (en) 2012-10-01
TWI537772B true TWI537772B (zh) 2016-06-11

Family

ID=46752996

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101107036A TWI537772B (zh) 2011-03-04 2012-03-02 用於多回合觸控接觸追蹤之方法及計算裝置

Country Status (5)

Country Link
US (1) US8773377B2 (zh)
EP (1) EP2681642B1 (zh)
CN (1) CN102707829B (zh)
TW (1) TWI537772B (zh)
WO (1) WO2012122068A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11586350B2 (en) 2020-11-24 2023-02-21 Benq Corporation Touch-sensing display apparatus and cursor controlling method thereof

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9239673B2 (en) * 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US8988087B2 (en) 2011-01-24 2015-03-24 Microsoft Technology Licensing, Llc Touchscreen testing
US8725443B2 (en) 2011-01-24 2014-05-13 Microsoft Corporation Latency measurement
US9542092B2 (en) 2011-02-12 2017-01-10 Microsoft Technology Licensing, Llc Prediction-based touch contact tracking
US8982061B2 (en) 2011-02-12 2015-03-17 Microsoft Technology Licensing, Llc Angular contact geometry
US9230563B2 (en) * 2011-06-15 2016-01-05 Bone Tone Communications (Israel) Ltd. System, device and method for detecting speech
US8913019B2 (en) 2011-07-14 2014-12-16 Microsoft Corporation Multi-finger detection and component resolution
CN102890576B (zh) * 2011-07-22 2016-03-02 宸鸿科技(厦门)有限公司 触控屏触摸轨迹检测方法及检测装置
US9378389B2 (en) 2011-09-09 2016-06-28 Microsoft Technology Licensing, Llc Shared item account selection
US9507454B1 (en) * 2011-09-19 2016-11-29 Parade Technologies, Ltd. Enhanced linearity of gestures on a touch-sensitive surface
US9785281B2 (en) 2011-11-09 2017-10-10 Microsoft Technology Licensing, Llc. Acoustic touch sensitive testing
US8914254B2 (en) 2012-01-31 2014-12-16 Microsoft Corporation Latency measurement
US9481084B2 (en) * 2012-06-22 2016-11-01 Microsoft Technology Licensing, Llc Touch quality test robot
US9317147B2 (en) 2012-10-24 2016-04-19 Microsoft Technology Licensing, Llc. Input testing tool
JP6024466B2 (ja) * 2013-01-16 2016-11-16 富士通株式会社 情報処理装置、情報処理方法及び情報処理プログラム
KR101994108B1 (ko) * 2013-01-30 2019-07-01 엘지디스플레이 주식회사 터치 인식 장치 및 터치 인식 방법
CN103092427B (zh) * 2013-02-08 2015-11-04 王正道 一种触摸屏的操作感测方法
KR102043148B1 (ko) * 2013-02-19 2019-11-11 엘지전자 주식회사 이동 단말기 및 그의 터치 좌표 예측 방법
US10275049B2 (en) 2013-04-10 2019-04-30 Nvidia Corporation Stylus signaling for capacitive touch screen panels
US9529525B2 (en) * 2013-08-30 2016-12-27 Nvidia Corporation Methods and apparatus for reducing perceived pen-to-ink latency on touchpad devices
US9823728B2 (en) 2013-09-04 2017-11-21 Nvidia Corporation Method and system for reduced rate touch scanning on an electronic device
US9881592B2 (en) 2013-10-08 2018-01-30 Nvidia Corporation Hardware overlay assignment
CN104615262A (zh) 2013-11-01 2015-05-13 辉达公司 一种用于虚拟键盘的输入方法和输入***
US9507470B2 (en) 2013-12-16 2016-11-29 Nvidia Corporation Method and system for reduced power touch input detection on an electronic device using reduced scanning
US9671877B2 (en) 2014-01-27 2017-06-06 Nvidia Corporation Stylus tool with deformable tip
US9323449B2 (en) * 2014-05-09 2016-04-26 Htc Corporation Electronic apparatus and drawing method using the same
CN104503693B (zh) 2014-11-28 2017-12-22 英业达科技有限公司 多段文件内容的选取方法
US9721365B2 (en) 2014-12-09 2017-08-01 Synaptics Incorporated Low latency modification of display frames
CN104461321B (zh) * 2014-12-10 2017-10-13 上海卓易科技股份有限公司 一种手势输入指令的方法和装置
WO2018186889A1 (en) * 2017-04-07 2018-10-11 Hewlett-Packard Development Company, L.P. Cursor adjustments
CN107661630A (zh) * 2017-08-28 2018-02-06 网易（杭州）网络有限公司 一种射击游戏的控制方法及装置、存储介质、处理器、终端
CN107648848B (zh) * 2017-09-01 2018-11-16 网易（杭州）网络有限公司 信息处理方法及装置、存储介质、电子设备
CN107741819B (zh) * 2017-09-01 2018-11-23 网易（杭州）网络有限公司 信息处理方法、装置、电子设备及存储介质
US10534464B2 (en) 2017-10-03 2020-01-14 Microsoft Technology Licensing, Llc Selective scanning for touch-sensitive display device
CN107890664A (zh) * 2017-10-23 2018-04-10 网易（杭州）网络有限公司 信息处理方法及装置、存储介质、电子设备
TWI714928B (zh) * 2018-12-20 2021-01-01 遠東科技大學 電競軌跡紀錄分析裝置及分析方法
US11386408B2 (en) * 2019-11-01 2022-07-12 Intuit Inc. System and method for nearest neighbor-based bank account number validation

Family Cites Families (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4421997A (en) 1978-09-18 1983-12-20 Mcdonnell Douglas Corporation Multiple axis actuator
US5591945A (en) 1995-04-19 1997-01-07 Elo Touchsystems, Inc. Acoustic touch position sensor using higher order horizontally polarized shear wave propagation
US5856822A (en) 1995-10-27 1999-01-05 02 Micro, Inc. Touch-pad digital computer pointing-device
JPH09146708A (ja) 1995-11-09 1997-06-06 Internatl Business Mach Corp <Ibm> タッチパネルの駆動方法及びタッチ入力方法
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US6091406A (en) 1996-12-25 2000-07-18 Elo Touchsystems, Inc. Grating transducer for acoustic touchscreens
US6008636A (en) 1997-09-30 1999-12-28 Motorola, Inc. Test system with robot arm for delivering a device under test
IL137478A (en) 1998-01-26 2005-11-20 Westerman Wayne Method and apparatus for integrating manual input
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
DE19939159A1 (de) 1999-08-20 2000-03-02 Axel Schnell Berührungsempfindliches kapazitives Sensormatrixfeld
US20040207606A1 (en) 1999-11-08 2004-10-21 Atwood Stephen P. Sensing the size of a touch point in a touch-sensitive panel employing resistive membranes
US6671406B1 (en) 1999-12-29 2003-12-30 Honeywell International Inc. System, method and apparatus for pattern recognition with application to symbol recognition and regeneration for a caligraphic display
US6741237B1 (en) 2001-08-23 2004-05-25 Rockwell Automation Technologies, Inc. Touch screen
US7254775B2 (en) 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
CA2359269A1 (en) 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
US6977646B1 (en) 2001-11-30 2005-12-20 3M Innovative Properties Co. Touch screen calibration system and method
JP3871951B2 (ja) 2002-04-08 2007-01-24 Ｎｅｃインフロンティア株式会社 タッチパネル検査装置
US7746325B2 (en) 2002-05-06 2010-06-29 3M Innovative Properties Company Method for improving positioned accuracy for a determined touch input
US7023427B2 (en) 2002-06-28 2006-04-04 Microsoft Corporation Method and system for detecting multiple touches on a touch-sensitive screen
US7362313B2 (en) 2003-01-17 2008-04-22 3M Innovative Properties Company Touch simulation system and method
US7236161B2 (en) 2003-03-21 2007-06-26 3M Innovative Properties Company Remote touch simulation systems and methods
DE20309857U1 (de) 2003-06-25 2004-11-04 Doppstadt Calbe Gmbh Trommelsiebmaschine
KR20050003155A (ko) * 2003-06-30 2005-01-10 (주)코리아비주얼스 사용자와 디스플레이 시스템의 인터페이스 장치 및 그 방법
US7580556B2 (en) 2004-01-26 2009-08-25 Drvision Technologies Llc Image region partitioning using pre-labeled regions
US6856259B1 (en) 2004-02-06 2005-02-15 Elo Touchsystems, Inc. Touch sensor system to detect multiple touch events
DE102004037296A1 (de) 2004-07-27 2006-03-23 Arnold & Richter Cine Technik Gmbh & Co Betriebs Kg Verfahren zum Fokussieren des Aufnahmeobjektivs einer Laufbild- oder Videokamera
US7728821B2 (en) 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US8264465B2 (en) 2004-10-08 2012-09-11 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
DE112005002562B4 (de) 2004-10-19 2010-10-28 National University Corporation Saitama University Vorrichtung zur Erregung einer akustischen Oberflächenwelle
KR100578523B1 (ko) 2005-08-19 2006-05-12 (주)엠아이케이 이십일 터치판넬의 검사방법
KR100738888B1 (ko) 2005-10-27 2007-07-12 엘지전자 주식회사 로봇 청소기에 장착된 카메라의 제어 장치 및 방법
US7174649B1 (en) 2005-11-08 2007-02-13 Danny Harris Precision shaft alignment system
US7938009B2 (en) 2006-02-03 2011-05-10 Immersion Corporation Haptic device testing
KR100763057B1 (ko) 2006-03-10 2007-10-02 한승국 터치판넬의 터치기능 검사방법 및 검사장치
KR101239019B1 (ko) 2006-06-09 2013-03-04 애플 인크. 터치 스크린 액정 디스플레이
US7907750B2 (en) 2006-06-12 2011-03-15 Honeywell International Inc. System and method for autonomous object tracking
CN200947594Y (zh) 2006-06-23 2007-09-12 丁文龙 一种电容感应式触摸电路
CN101145122B (zh) 2006-09-15 2010-11-10 鸿富锦精密工业（深圳）有限公司 触摸板测试机台
TWI450137B (zh) 2006-12-11 2014-08-21 Elo Touch Solutions Inc 用於校準觸控螢幕上之目標之方法及設備
US8130203B2 (en) 2007-01-03 2012-03-06 Apple Inc. Multi-touch input discrimination
US7978182B2 (en) 2007-01-07 2011-07-12 Apple Inc. Screen rotation gestures on a portable multifunction device
KR20080066416A (ko) * 2007-01-12 2008-07-16 삼성전자주식회사 터치 스크린을 갖는 이동 단말기의 사용자 인터페이스 방법
US20090225036A1 (en) 2007-01-17 2009-09-10 Wright David G Method and apparatus for discriminating between user interactions
US20080180399A1 (en) 2007-01-31 2008-07-31 Tung Wan Cheng Flexible Multi-touch Screen
EP2118724A1 (en) 2007-02-02 2009-11-18 Ampnt Inc. Touch panel having closed loop electrode for equipotential build-up and manufacturing method thereof
US8253425B2 (en) 2007-05-08 2012-08-28 Synaptics Incorporated Production testing of a capacitive touch sensing device
US7916126B2 (en) 2007-06-13 2011-03-29 Apple Inc. Bottom-up watershed dataflow method and region-specific segmentation based on historic data to identify patches on a touch sensor panel
US20090009483A1 (en) 2007-06-13 2009-01-08 Apple Inc. Single-chip touch controller with integrated drive system
US9052817B2 (en) 2007-06-13 2015-06-09 Apple Inc. Mode sensitive processing of touch data
US8842091B2 (en) 2007-07-12 2014-09-23 Atmel Corporation Two-dimensional touch panel
US7797115B2 (en) 2007-08-13 2010-09-14 Nuvoton Technology Corporation Time interval measurement for capacitive detection
US8199118B2 (en) 2007-08-14 2012-06-12 Tyco Electronics Corporation Touchscreen using both carbon nanoparticles and metal nanoparticles
US7725014B2 (en) 2007-08-29 2010-05-25 Hong Kong Applied Science and Technology Research Institute Company Limited Actuator for linear motion and tilting motion
KR20090038540A (ko) 2007-10-16 2009-04-21 주식회사 현대오토넷 화면 상의 영상위치 변경 장치 및 방법, 그리고 그를이용한 네비게이션 시스템
US20100073318A1 (en) 2008-09-24 2010-03-25 Matsushita Electric Industrial Co., Ltd. Multi-touch surface providing detection and tracking of multiple touch points
US8416198B2 (en) 2007-12-03 2013-04-09 Apple Inc. Multi-dimensional scroll wheel
US8175728B2 (en) 2007-12-13 2012-05-08 Georgia Tech Research Corporation Detecting user gestures with a personal mobile communication device
US8395587B2 (en) 2007-12-21 2013-03-12 Motorola Mobility Llc Haptic response apparatus for an electronic device
US20090174679A1 (en) 2008-01-04 2009-07-09 Wayne Carl Westerman Selective Rejection of Touch Contacts in an Edge Region of a Touch Surface
US8692777B2 (en) 2008-02-08 2014-04-08 Apple Inc. Method for rapidly testing capacitance sensing array fault conditions using a floating conductor
CN101545938B (zh) 2008-03-28 2012-01-25 深圳富泰宏精密工业有限公司 触控式面板的检测装置
US8259081B2 (en) 2008-04-04 2012-09-04 Qualcomm Incorporated Low-power touch screen controller
US8519965B2 (en) 2008-04-23 2013-08-27 Motorola Mobility Llc Multi-touch detection panel with disambiguation of touch coordinates
US8514203B2 (en) 2008-04-30 2013-08-20 Apple Inc. Flexible calibration device for touch sensor panel calibration
EP2300899A4 (en) 2008-05-14 2012-11-07 3M Innovative Properties Co SYSTEM AND METHOD FOR EVALUATING POSITIONS OF MULTIPLE TOUCH INPUTS
TWM349000U (en) 2008-06-04 2009-01-11 Tpk Touch Solutions Inc Capacitive touch display panel
US8774793B2 (en) 2008-06-13 2014-07-08 Jot Automation, Ltd. Systems and methods of providing intelligent handset testing
US8368667B2 (en) 2008-06-26 2013-02-05 Cirque Corporation Method for reducing latency when using multi-touch gesture on touchpad
US8866790B2 (en) * 2008-10-21 2014-10-21 Atmel Corporation Multi-touch tracking
US8477103B2 (en) 2008-10-26 2013-07-02 Microsoft Corporation Multi-touch object inertia simulation
KR101564332B1 (ko) 2008-10-28 2015-10-30 삼성전자주식회사 액정 표시 장치에 일체화된 터치 스크린 패널과 그 제조 방법 및 터치 센싱 방법
KR101513440B1 (ko) 2008-12-01 2015-04-22 삼성디스플레이 주식회사 터치 스크린 표시 장치 및 그 제조 방법
KR100989786B1 (ko) 2008-12-11 2010-10-29 (주)코아리버 터치 스크린의 멀티 터치 검출 장치 및 방법
KR101007049B1 (ko) 2008-12-15 2011-01-12 주식회사 애트랩 저항막 방식의 터치 패널을 구비하는 입력 장치 및 이 장치의 접촉 위치 계산 방법
US8217909B2 (en) 2008-12-19 2012-07-10 Cypress Semiconductor Corporation Multi-finger sub-gesture reporting for a user interface device
WO2010073329A1 (ja) 2008-12-25 2010-07-01 富士通株式会社 コンピュータプログラム、入力装置及び入力方法
KR20100077298A (ko) 2008-12-29 2010-07-08 (주)엑스포전자엔지니어링 터치패널 자동검사장치
DE102009009896B4 (de) 2009-02-20 2011-02-10 Eads Deutschland Gmbh Verfahren und Vorrichtung zur Erfassung von Zielobjekten
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
WO2010127167A2 (en) 2009-04-30 2010-11-04 Synaptics Incorporated Operating a touch screen control system according to a plurality of rule sets
CN101644978A (zh) 2009-05-27 2010-02-10 北京中星微电子有限公司 一种触摸屏检测方法及装置
KR20100129015A (ko) 2009-05-29 2010-12-08 (주)캠톤 터치검출장치, 이를 포함하는 표시장치 및 좌표인식방법
US9134848B2 (en) 2009-06-03 2015-09-15 Stmicroelectronics Asia Pacific Pte Ltd Touch tracking on a touch sensitive interface
US20100315372A1 (en) 2009-06-12 2010-12-16 Stmicroelectronics Asia Pacific Pte Ltd. Touch coordinate calculation for a touch-sensitive interface
KR20100134153A (ko) 2009-06-15 2010-12-23 삼성전자주식회사 터치스크린을 구비한 장치의 터치 인식 방법
US20100315266A1 (en) 2009-06-15 2010-12-16 Microsoft Corporation Predictive interfaces with usability constraints
US20100328249A1 (en) 2009-06-25 2010-12-30 Stmicroelecronics Asia Pacific Pte Ltd. Capacitive-inductive touch screen
TWI501121B (zh) 2009-07-21 2015-09-21 Pixart Imaging Inc 手勢辨識方法及使用該方法之觸控系統
KR101630179B1 (ko) * 2009-07-28 2016-06-14 삼성전자주식회사 투영정전용량 터치스크린에서의 멀티터치 감지 장치 및 방법
US9069405B2 (en) 2009-07-28 2015-06-30 Cypress Semiconductor Corporation Dynamic mode switching for fast touch response
TWI407339B (zh) * 2009-08-06 2013-09-01 Htc Corp 追蹤觸控面板上碰觸輸入之移動軌跡的方法與電腦程式產品及其相關電子裝置
EP2284654A1 (en) 2009-08-14 2011-02-16 Research In Motion Limited Electronic device including tactile touch-sensitive input device and method of controlling same
WO2011025782A1 (en) 2009-08-24 2011-03-03 Cambrios Technologies Corporation Contact resistance measurement for resistance linearity in nanostructure thin films
US8576182B2 (en) 2009-09-01 2013-11-05 Atmel Corporation Methods and apparatuses to test the functionality of capacitive sensors
KR100941441B1 (ko) 2009-09-15 2010-02-11 주식회사 엘디케이 터치스크린패널 테스트장치
CN101661373B (zh) 2009-09-29 2013-02-27 中兴通讯股份有限公司 一种通过接触面型进行识别解锁的方法及装置
US20110080348A1 (en) 2009-10-01 2011-04-07 Apple Inc. Electronic devices with a primary display and a selectively illuminated secondary display
CN102043512B (zh) 2009-10-09 2013-04-10 禾瑞亚科技股份有限公司 位置侦测的方法与装置
US8645093B2 (en) 2009-11-04 2014-02-04 Qualcomm Incorporated Calibrating multi-dimensional sensor for offset, sensitivity, and non-orthogonality
WO2011062895A2 (en) 2009-11-17 2011-05-26 Immersion Corporation Systems and methods for increasing haptic bandwidth in an electronic device
TWM379794U (en) 2009-11-26 2010-05-01 Sentelic Corp Touch screen device
US8194051B2 (en) 2009-12-15 2012-06-05 Silicon Integrated Systems Corp. Multiple fingers touch sensing method using matching algorithm
KR101144724B1 (ko) 2009-12-17 2012-05-24 이성호 터치패널의 터치셀 구조
US8599167B2 (en) 2010-04-22 2013-12-03 Maxim Integrated Products, Inc. Method and apparatus for improving dynamic range of a touchscreen controller
JP5566176B2 (ja) 2010-04-30 2014-08-06 キヤノン株式会社 雲台システム、及び撮影システム
CN101825970B (zh) * 2010-05-13 2011-12-07 友达光电股份有限公司 触控点的追踪方法及追踪***
US8830212B2 (en) 2010-06-01 2014-09-09 Vladimir Vaganov System and method for digital recording of handpainted, handdrawn and handwritten information
US8766930B2 (en) 2010-06-02 2014-07-01 Pixart Imaging Inc. Capacitive touchscreen system with drive-sense circuits
US20110304577A1 (en) 2010-06-11 2011-12-15 Sp Controls, Inc. Capacitive touch screen stylus
TWI408587B (zh) 2010-06-14 2013-09-11 Pixart Imaging Inc 觸控系統及其定位方法
US20120030624A1 (en) 2010-07-30 2012-02-02 Migos Charles J Device, Method, and Graphical User Interface for Displaying Menus
US20120032891A1 (en) 2010-08-03 2012-02-09 Nima Parivar Device, Method, and Graphical User Interface with Enhanced Touch Targeting
JP5895337B2 (ja) 2010-09-15 2016-03-30 セイコーエプソン株式会社 ロボット
US10013058B2 (en) 2010-09-21 2018-07-03 Apple Inc. Touch-based user interface with haptic feedback
US8884980B2 (en) 2010-09-24 2014-11-11 Taaz, Inc. System and method for changing hair color in digital images
CN101982783B (zh) 2010-10-20 2012-07-04 天津市中环高科技有限公司 电容式触摸屏测试的工艺
CN201828476U (zh) 2010-10-29 2011-05-11 艾利和电子科技(中国)有限公司 触摸屏划线试验机
US20120105334A1 (en) 2010-11-03 2012-05-03 Microsoft Corporation Computing device with flat touch surface
US20120131490A1 (en) 2010-11-22 2012-05-24 Shao-Chieh Lin Touch-controlled device and method for displaying a virtual keyboard on the touch-controlled device thereof
US8996166B2 (en) 2010-12-09 2015-03-31 T-Mobile Usa, Inc. Touch screen testing platform
US8725443B2 (en) 2011-01-24 2014-05-13 Microsoft Corporation Latency measurement
US8988087B2 (en) 2011-01-24 2015-03-24 Microsoft Technology Licensing, Llc Touchscreen testing
US8982061B2 (en) 2011-02-12 2015-03-17 Microsoft Technology Licensing, Llc Angular contact geometry
US9542092B2 (en) 2011-02-12 2017-01-10 Microsoft Technology Licensing, Llc Prediction-based touch contact tracking
US8681122B2 (en) 2011-04-19 2014-03-25 Cypress Semiconductor Corporation Capacitive sensing with programmable logic for touch sense arrays
US20120280934A1 (en) 2011-05-04 2012-11-08 Apple Inc. Simulating Single and Multi-Touch Events for Testing A Touch Panel
CN202196126U (zh) 2011-05-05 2012-04-18 深圳市科利德光电材料股份有限公司 电阻式触摸屏打点测试装置
CN202093112U (zh) 2011-06-21 2011-12-28 上海晨兴希姆通电子科技有限公司 电容式触摸屏测试装置
US8913019B2 (en) 2011-07-14 2014-12-16 Microsoft Corporation Multi-finger detection and component resolution
KR101065014B1 (ko) 2011-07-28 2011-09-15 에스맥 (주) 터치 스크린 패널의 검사장치 및 검사방법
CN202171626U (zh) 2011-08-05 2012-03-21 深圳市精智达技术有限公司 多点点触触摸屏测试机
US8847612B2 (en) 2011-09-08 2014-09-30 Atmel Corporation Integrated test system for a touch sensor
CA2853349A1 (en) 2011-10-25 2013-05-02 ecoATM, Inc. Method and apparatus for recycling electronic devices
CN102436334A (zh) 2011-10-27 2012-05-02 苏州瀚瑞微电子有限公司 电容触摸屏***测试机
US9785281B2 (en) 2011-11-09 2017-10-10 Microsoft Technology Licensing, Llc. Acoustic touch sensitive testing
US8914254B2 (en) 2012-01-31 2014-12-16 Microsoft Corporation Latency measurement
CN107009374A (zh) 2012-03-08 2017-08-04 品质制造有限公司 触敏机器人抓手
US9481084B2 (en) 2012-06-22 2016-11-01 Microsoft Technology Licensing, Llc Touch quality test robot

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11586350B2 (en) 2020-11-24 2023-02-21 Benq Corporation Touch-sensing display apparatus and cursor controlling method thereof

Also Published As

Publication number Publication date
EP2681642A4 (en) 2014-09-03
TW201239683A (en) 2012-10-01
WO2012122068A3 (en) 2012-11-15
EP2681642B1 (en) 2020-07-15
US8773377B2 (en) 2014-07-08
CN102707829B (zh) 2017-04-12
EP2681642A2 (en) 2014-01-08
WO2012122068A2 (en) 2012-09-13
US20120223894A1 (en) 2012-09-06
CN102707829A (zh) 2012-10-03

Similar Documents

Publication Publication Date Title
TWI537772B (zh) 用於多回合觸控接觸追蹤之方法及計算裝置
TWI489398B (zh) 基於預測之碰觸追跡
CN108596092B (zh) 手势识别方法、装置、设备和存储介质
US8913019B2 (en) Multi-finger detection and component resolution
US8619036B2 (en) Virtual keyboard based activation and dismissal
CN106227520B (zh) 一种应用界面切换方法及装置
US8164575B2 (en) Method for identifying a single tap, double taps and a drag and a controller for a touch device employing the method
TW201224850A (en) Gesture recognition
WO2015131675A1 (zh) 滑动断线补偿方法、电子设备和计算机存储介质
US20100088595A1 (en) Method of Tracking Touch Inputs
CN104765524A (zh) 切换应用程序的方法及装置
GB2527918A (en) Glove touch detection
US20130321303A1 (en) Touch detection
CN110471610A (zh) 终端控制方法、装置、终端及存储介质
US9389702B2 (en) Input association
US10423515B2 (en) Recording touch information
CN106406684A (zh) 投影处理方法、装置及投影仪
US20180088767A1 (en) View Activation via Hit Testing in an Asynchronous Windowing System
TW201941028A (zh) 可攜式電子裝置及解鎖方法
TW201626168A (zh) 手勢辨識裝置及手勢辨識方法
US20220137700A1 (en) System and method for selection of displayed objects by path tracing
TW201740271A (zh) 應用程式資料處理的方法及裝置
CN102479002B (zh) 光学触控***及其感测方法
US11822743B2 (en) Touch panel information terminal apparatus and information input processing method implemented with dual input devices arranged on two surfaces
CN116434319A (zh) 一种虚拟按键识别方法、装置、存储介质和拍摄设备

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees