TWI303377B - Method for determining,and system for implementing,ink gestures - Google Patents

Description

1^03377 。年月日修(界/王替換頁 一 _

九、發明說明： 【&明所屬之技術領域】 本發明之特點概為 裝置及方去、 "制圖形使用者介面（GUI)之 辨識使用1。尤其是，本發明係關於利用-筆式輸入系統來 能。 所不之手勢’並為執行關於該等手勢之各項功 【先前技術】 統的電二的電^糸統’尤其是利用圖形使甩者介面(GUI)系 來自於二糸統，像是微軟的WIND〇Ws，係經最佳化以接收 以於或更多像疋鍵盤之個別輸入裝置的使用者輸入，並 執沐任 ，和像是具一或更多按鍵之滑鼠的指向裝置以驅 勤該使用去人

上的 一 7丨面。幾乎所有經設計以執行於微軟WINDOWS 、軟體應用皆經最佳化，以按相同方式接收使用者輸入。 例如，許夕 一 °夕應用程式廣泛地利用滑鼠右鍵（即「右擊」）以顯 不文忍辨切〆 ^ Uontext sensitive)的指令選單。使用者可利用滑 鼠來產全且 日 一他的手勢，像是敲擊滑鼠左鍵（即「左擊」），或 拳h鼠左或右鍵，並移動滑鼠而同時該按住該按鍵 f左鍵擊插+ _^Γ ± 灵」或右鍵擊拖曳」）。可參閱例如Opera Software 的 Opera 6 η 如，， μ b ·0内的右鍵擊拖曳滑鼠指令。 在某些環境下，會不能或是不想運用滑鼠。例如，在一 數位化表板環境裡，主要的輸入裝置可為一尖筆（stylus)。尖 筆雖试圖對計算環境提供板面或紙狀物的感受，不過仍受目 刖系統之限制。例如，在一圖形使用者介面下利用尖筆會受 1303377 - ·*. · κ i：：% 1 —」 限於點觸各種供以選取的物項。可例如參見採用p 系統3.x及4.X作業系統之Palm系列產品。同時在這業 裡’該互動方法頗為繁瑣，因為是在該數位裝置之專二， 上輸入各項文字輸入及指令’離該***點或選定―。邹 詞尚有一段距離。此外，在筆式輪人環境下，將會連^= 迫使用者須從一通常位在螢幕頂端或底部之遠端工 (一〇上選定工具或運作方式。當使用者可鍵 2 位裝置可辨識字跡時，這些運作會分別地要求選定〜S 7模式’以及須於該數位裝置之預^部分撰寫。簡盤2 按逐一新輸入，要求使用者告知該電腦使用者所欲者為’需 從而使得筆式計算作業對於-般使用者並不易運用。 有些運作可產生新的文字(例如撰寫、鍵入 等）。其他運作可佟输分士〜/ 工又予 移動現有文字）勃//子如強调、墨點、抹除、剪17與 使用者而：二=修飾作業的問題在於，對大部分的 換 k㈣者的作業通常並非是主要料作模式。 生二字::::::修飾文字，'“運作仍會是次㈣產 字(或其他内容)作章孩彳而’使用者會最終需要從修飾文 包括切換工I丨、轉到產生文字環境。傳統的移轉作業 切換按鍵雖^上的按鍵。按鍵可包含抹除鍵、強調鍵等。 狀態(藉由^使用者顯知如何選定作業模式及罐 換時，仍會否壓下切換按鍵P但當於各種模式之間進行替 概為其螢幕繁瑣而不易使用，這是因為使用者須連續地從 按鍵），平彳―的中央部分，移動到遠處的工具列（承載有該切換 订置放於該螢幕之一端然後再得回返。這項重覆性 ：96= 1303377 動作，从及從一或多個辅助模式切換返回到該作業之主要模 式所需的注黃六，合# p ^ ㈢ ^使用者的注意焦點從主動地閱讀或 撰寫而刀政到各模式間進行切換的瑣碎工作。 冷^則的筆式計算系統既已藉由將筆式動作解譯成指令 ^ 解决上述問題。可參閱例如Penpoint by the Go公司 #> 過Penp〇lnt主要是提供一種對於文字的筆式指令。 對於手寫輪入，Penpoint僅提供藉一特定筆式移動之立即刪

除先前輸入（在此，筆尖處的右、左、右共線性移冑4㈣Y ,)^ Penpolnt並未提供於頁面各處的隨機編輯手寫 墨跡的功能。有鑑於筆式輸人系統即可成為主流計算環境的 部分，從而需要對於在頁面各處上編輯手寫文字之自由的支 援性。 ，後」手寫墨跡概與非墨跡應用並未相《。例如，利 用-須文字輸入之應用程式會強迫使用者將墨跡轉換為文 字。在Pahn作業系統中’將會需要置放一***點、移動到 榮幕底部之一專屬女玄. _ 輸入°卩分、於該專屬文字輪入部分處 輸入文字，然後再回返到該***點。但這些動作會很快地變 成繁瑣不易，並且強迫使用者無法使用具筆式輸入系統的傳 統系統應用程式。 發明内容】 本發明之 特點在於係一種筆式計算系統，此者可讓使 用者直接地在顯不幕表面叔 上撰寫，以解決一或更多的前述問 題。本發明各項特點可嬗^^ ” 使用者能夠使用手勢來編輯所顯示 1303377 3.^08" 曰修(更)正替換買 的資訊，包含，作π κρ # 仁不限於，手寫墨跡及文字。此外， 的特點裡，亦W料勢基礎式巡覽㈣。 本4'明之優點及特徵藉由考慮後載較佳具體實 詳細說明而得以彰顯。 在部分 施例之 【實施方式】 後載說明分為如-Ρs ^ 马女下夕項區段以利於讀者瞭解：名 般計算平臺、手勢、辨1 另辨减手勢、執行手勢與資料結構 詞、 名詞 後述各項名詞係經定義俾利瞭解本揭示之各種特 代性疋義確屬業界眾知，亦可代換該等定義。 墨跡--或更多字跡的一序列或集組。一字跡序列包 序形式之字跡。此序列可為按捕捉時間，或是按字跡 面上之出現處所排序。亦可採行其他的排序方式。一 、、且可包a字跡序列或無序字跡或任何彼等組合。此外 可包含所有組成該字跡的點，或是僅限於顯示該字跡 變化的各點，以及彼等組合。 點。替 含以有 於該頁 字跡集 ，字跡 之方向 字跡-捕捉點的一序列或集㉟。而於顯析(render)時 線段來連接此序列各點。可按數種方式來表示字跡。 可按一點及一或更多按鄰次一或多個點之方向的向 不—字跡。此外，可將字跡稱為各點及/或向量之簡易 ’可依 例如， 量來表 表（或 1303377 二月.日修(更)正有 陣列或表單）。簡言之，〜 關之各區段的表現方弋字跡係為涵蓋任何點及/或與墨跡相 表現方式無關。 工 與底層的點及/或如何連接各點之 點-定義空間中一位置二 p, f ^ 貝訊。各點可為按照即如一捕捉空 間（例如數位裝置上的某 ^ 、 ”，、、），及/或一顯示空間（一顯示器裝 置之各點或像素）所定義。 我在此，可利用各種已知技術來表示 各點’包括笛卡爾座声π (Χ，Υ)、極座標（r，Θ )、三維座標 ((Χ，Υ，Ζ)、（Γ，㊀，P )、（X，Y，t (t 為時間）ΗΓ，θ，t))，按四維座 標队口，0及^，^))，以及其他業界眾知技術。 顯析--種決定如何顯示圖形(及/或墨跡)的程序，無論是在 螢幕上、列印或以另一槽案格式加以輸出。 字詞-又稱為墨跡字詞。一字詞係一或更多字跡。一字詞内 的每一字跡具有一相關於該字跡的位置。或可替代地將各字 詞定義成能夠構成可於字典内加以定義之名詞的文字字5 或字母群組。字詞又可包含標點、字母及數宝 歎予與其他符號的 組合，且可包括複合字詞。 跡流（flow)- —或更多依序相關於另一者之车 "，、予阔。例如，各 個撰寫於一頁面上的手寫註記可代表一跡流。而增附各個士主 記會將一或更多字詞增加到含有該等字詞的跡流内。一跡流 内的各個字詞在該跡流内會具有一與其相關的位置。 9 1303377

修(吏)正替換頁 一、 ^ I例Τ，當參昭 流内各字詞之間的間阻n± + es a … 間^時，空間可破視為是一不具 隔字詞。而當參照百I ,; 、、面上的空白區域，空間可被視為是 上未經一跡流所宣佔炙區域。 可被解譯兔&人 ^ ^ 子马^曰令之圖示或其他墨跡 一般計算平臺

第1圖說明一值祕a、= m A 傳統式通用性數位計算環境略圖，此 被用來實作本發明各式特.點。在第1圖裡，一電腦100 -處理單元uo、—系統記憶體12Q，以及—將包含兮 記憶體在内之各式系統元件輕接到該處理單元110㈣ 流排，3 0。該系統匯流排i 3 〇可為多種匯流排結構任者 中含有一記憶體匯流排或記憶體控制器、一週編匯流排 利用任何匯流排架構之局部匯流排。該系統記憶體η。 唯讀記憶體（ROM) 140與隨機存取記憶體（ram) 15〇。 在此，會將一含有基本副程式而有助於像是在開機； 中，往返於該電腦100各元件間傳送資訊的基本輸入/輸； 統（BIOS) 160存放在該R〇M 14〇内。該電腦1〇〇也包令^ 取及寫入至硬碟片（未以圖示）之硬碟機17〇、—讀取及] 至一可移除式磁碟片190之磁碟機18〇，以及_讀取及） 至—像是CD-ROM或其他光學媒體之可移除式光碟片B 光碟機191。該硬碟機170、磁碟機18〇以及光碟機19 跡 間 面 手勢 可 含 統 匯 其 含 程 系 讀 入 入 的 會 10 1303377 年月白修(吏)正替换頁 由-硬碟機介面192、磁碟機介面193以及光碟機 /連接到該系統匯流排13Q。這些驅動器及其相關 :細：：取媒體可提供作為該個人電腦⑽的電腦可讀取指 7貝料尨構、程式模組及其他資料的非揮發性儲存裝置。 對於熟諳^項技藝之人士而言，即得顯知在本範例作業系統 中亦可鉍用其他型態而也能儲存可被該電腦接取之資料的 電腦可讀取媒體，像是磁匡、快閃記憶卡、數位視訊、 λ 卡匣^機存取記憶體（RAM)、唯讀記憶體（ROM) 等等，可用於實例操作環境中。 可將多個程式模組存放在該硬碟片17〇、磁碟片BO、光 碟192、ROM 140或RAM 15〇内，包含一作業系統W、一 或更多應用程式196、其他程式模組197及程式資料Μ。 一使用者可透過像是鍵盤1〇1及指向裝置1〇2的输入裝置， 將指令及資訊輸入該電腦_内。其他輸入裝置（未以圖示） 可包含麥克風、搖桿、遊戲板、衛星碟、掃描器等等。彼等 及其他輸入裝置通常是會透過一耦接於該系統匯流排之序 列埠介面106而連接到該處理單元11〇，但亦可藉其他介面 而連接，像是平行埠、遊戲埠或通用序列匯流排（usb卜此 外，該等裝置可直接經由一適當介面（未以圖示）而耦接於該 系統匯流排130。一監視器107或其他型態的顯示裝置也會 透過像是視訊卡1〇8之介面連接到該系統匯流排13〇。除該 監視器107以外，個人電腦通常會包含其他的周邊輸出裝置 (未以圖示），像是喇σ八及印表機。在一較佳具體實施例中， 可供置有一筆式數位器165及隨附尖筆或觸筆166，藉以數 11 1303377 ，方式捕捉手寫輸人。圖中所緣該筆式數位器165及該處理 I兀U0雖係直接相連，但實作上該筆式數位器165可透過 序列埠、平行埠或其他介面與該系統匯流與"3〇，即如業 斤眾兵者而耦接於該處理單元11 0。此外，該數位器1 65 雖誇示為分離於該監視器1〇7，但該數位$ 165之可用輸入 二域與該監視器107的顯示區域共存一處確可為較佳。又進 田步，可將該數位器165整合於該監視器1〇7内，或可按〆 宜置或另接附於該監視器1〇7之個別裝置存在。 一 亥電腦1〇〇可利用邏輯連接至一或更多遠端電腦，像是 ，延端電細109 ’而運作於一網接環境内。該遠端電腦1〇9 可為-伺服器、一路由器、'網路pc、一端接裝置或其他常 見’路節’且if本疋包含多個或所有上述與該電腦！ 〇〇相 關之7G件’然第1圖中僅繪出一記憶體儲存裝置111。如第 1圖所不之邏輯連接包含—區域網路（lan) 及一廣域網 路（WAN) 11 3。攻種網接環境常見於辦公室、企業用電腦網 路、企業内網路及網際網路。 當用於一 LAN網接環境内時，該電腦1〇〇會透過一網路 "面或介接卡114而連接到該區域網路ιΐ2。而當用於一 WAN，’.罔接％境内日寸，該個人電腦丄⑽通常會包含一數據機 115或其他裝置，以在該廣域㈣ιΐ3上建立通訊，像是網 際網路。該數據機115可為内含或外接式，且可透過序列埠 介面106❼連接至該系統匯流排13〇。在一網接環境裡，可 將與該個人電腦100'或其局部，相關而述之各程式模組， 存放在該遠端記憶體儲存裝置内 12 1303377 正替換頁 應暸解所繪之各網路連線僅屬示範性，且可採取其他用 以於各電腦間建立通訊鏈路之技術。玆將TCP/IP、乙太網 路、F T P、Η T T P專眾知協定设屬既存者，且該系統可於一客 戶端-伺服器組態内運作，讓使用者能夠從網頁式伺服器處 擷取網頁。可利用各種傳統網頁瀏覽器任者來顯示並操控網 頁上的資料。 第2圖說明一種可根據本發明各項特點而加以運用之筆 式電腦處理系統（又稱平板PC) 201。可將在如第丨圖之系統 内的任一者或全部特性、子系統及功能含納於第2圖之電腦 内。平板PC 201包括一大型顯示表面2〇2，即如一數位平板 顯示器，最好為一液晶顯示器（LCD)螢幕為宜，其上可顯示 出複數個視窗203。利用觸筆2〇4，使用者可於數位顯示區 域内進行k疋強5周及撰寫。適當的數位顯示板範例包含電 兹筆數位器’像是Mut〇h或公司之尖筆數位器。亦

可採用其他型態的尖筆數位器，如光學式數位器。平板PC 〜可利用該觸筆204來解譯各標記，以供操控資料、輸入 文字及執行俸統式電腦應用程式工作，像是試算表、文堂處 理程式等等。 曰 一且_筆可配備有按鍵或其他特性以擴增其選定功能性。在 在其體實％例中，可將—觸筆實作為〆厂鉛筆」或「鋼筆」， 迪 #組成一寫記部分，而在另-端則是組成-「橡擦」 ^，且其中杏狡氣 、田移動越於顯示器上時，會記註該顯示器上須予 抹除的各部分。右t & 在此亦可採用其他形式的輸入裝置，像是滑 ^月既、軌跡球箄 、寻。此外，可利用使用者自己的手指來選擇 13

1303377 或指定在觸敏或臨 _ gp κ , 玉”、、員示為上所示影像的各部分。從而， 1如本文所用者，兮么1「处 定義，B " 口口 1 使用者輪入裝置」係為具有廣这 V且涵蓋許多眾知輸入裳置的變里性入 範圍20S _ - 、 該觸箓日—·，、、不—回饋範圍或接觸範圍，可讓使用者決萍 當觸抵本發明之^ .Γ 在另一具體實施例裡， " 至、狀悲時，該範圍205可提供視覺回饋。 手勢 手勢可概定義A —私t仓密

在 ·、、、較手寫墨跡為廣泛之觸筆動作。當名 -.^ 京的0不方式，且該第二種方式比第一 檀為複雜時，則最好是 一 將以弟一種方式考慮為，或假定為： 一同勢、。例如，可將觸筆實體地移動約36〇度繞於一點的^ ^ ^ ώ 于甘 〇」或是數字零，然一追® 於本身的雙圓圈可被視為一丰執 散优马手勢。亦可利用其他的手勢。 "第3圖顯示一用以實作手勢之程序方法，在此係顯示為 可從-般作業環境3〇1接取到該等手勢。㈣者可於训^ 增附墨跡’或是對部分的顯示器特性（如檢視、捲轉等等）办

乂控制。一旦於302内產生（及/或辨識）一手勢後即可於30 内執行在執行後，系統即備妥以藉經路徑3 0 4而回返至3 0 俾接受更多的輸入。 或者，手勢之執行可保捧一較晚的時間。在此替代性具 體實施例裡，可將手勢顯析為稍後執行的墨跡及手勢。可在 本發明内執行之，或是傳通到另一應用程式以供執行。 可在各種位置處利用手勢。可於顯示器表面上顯作出各 14 1303377 ¥3/Wqb正替換頁! 種手勢。此外，可在空中顯作出各項手勢（某些筆式計 利用一電導（inductive)技術以偵測尖筆並可知悉該尖 度）。可將手勢顯作於按鍵及類似控制物上（即如檢查 記）。可利用各種手勢來編輯文字及/或墨跡。可在一 之專屬輪入部分（固定式或臨時性）來顯作手勢。 手勢可具一或更多的下列特徵：内定動作或控制 性質、動作區域、位置、大小/範圍，以及形狀。亦可 特徵納入此列表内。 各種手勢可具一或更多與其相關的内定動作。 點選（tap)可具一與之相關的一般性選取動作。如号 式是在之前並無其他點選，則此點選可係為選定一 該點選的方式是在之前確有一先前 U月J點埯，則此稍德 為選定一字句。如該點選的方式是在 、疋隹之刖有兩個另 則此最後點選可係為選定整個段落。 冷 Η樣地，如 選’則此最後點選可為全選。 在一些具體實施例中，内定動作可稱為—手勢 法或控制性質。—手勢的控制方法或性質係當執布 所獲作或是所影響者。例如，為以 一 A Α π 守一子詞或選工! 化之手勢方法或性質，會將該字 ,Α 及逛項的顯析% 粗體字型或表現。此外，一選定 一 另之方法或性屬 所顯示頁面上的某些標的。該頁面 、 /、有墨跡、圖 圖片及/或其他該等項目。 算系統 筆的高 求助標 顯示器 方法或 將其他 如 ，一 選的方 詞。如 選可係 點選， 四個點 控制方 手勢時 以粗體 改變為 為選定 文字、 15 1303377

動作區域 —手勢的動作區域係一該手勢會影響到的區域。例如， 在檢查標記係對某項目或按鍵或部分的使用者介面進行求 助之手勢的情況下’該檢查標記的動作區域可為一環繞於該 檢查標記内弯線的小型區域。從而’―使用者會將使用者意 户长助之項目置放在檢查標記的動作區域上。 在一些具體實施例裡，可將該檢查標記從一區域壓縮成

-點或點集。在如上的檢查標記範例，產生該檢查標記之兩 條直線交叉處的點可為該動作區域。這種具體實施例可對使 用者提供-種能夠精確地置放各個手勢的功能性。因此，例 如手勢會與一單點有關。另一方面，在動作區域係一較大範 圍的情況下，即使是該觸筆輕微地錯過一該手勢會產生影響 之所欲點’此所欲手勢可仍影響所欲區域確為較佳。例如， 右使用者嘗試將一檢查標記置放於一按鍵上，而又輕微地 k該按鍵，但大多數的標記係在該按鍵上，則這種較大範 圍方式仍可對該按鍵尋求協助。 巳

在進步具體實施例裡，該動作區域可為一限界各戋 限界益的起點。例如，藉一左括弧選取手勢，頂部及底= 角可為含有一選項之限界盒的起點。 手勢的動作區域可為可變者，且可基於該手勢的一或 更多屬性。例如，一放在於一單一字詞上的χ，可具有一 ^ j待予刪除該字詞之手勢相關的動作（在此，該手勢的動作區 /了為較小範圍或是位於該X中心處的單點）。或者，在 16 1303377 )6 咋 3·η〇8 」 年月日修(|b正碰頁 一段洛上之較大x可擴展該動作區域的範圍 落可藉其他屬性來調整此動作區域的放大 括彳=不限於，撰寫手勢的速度、觸筆在該| 上的壓力、該觸筆的角度（如能夠藉硬體進行 示器螢幕上的手勢位置、相對於顯示在螢幕上 各種其他墨跡、手勢角度等等）之手勢的位置 疋手勢的另一種特性。可按相對於 及/或相對於像是墨跡之另—顯示於該榮幕 來測量位置。在一些情況下，手勢的位置可 重要而在其他的情況下，一手勢的位置可 要或定義性特徵的其中一者。例如，若某人 然㈣除該字句以外的某字㈣，—放置在該 之字詞間的散漫性刪除手勢，x，會按照該 其相關連的解譯方式而有不同的影響。其1 該字句，因動作區域或會涵蓋該選項，I表 刪除者。或另者，事實上該x並非實際在該 的位置表示該手勢之目的係為删除該字詞而. 大小/範圍 一手勢可根據該手勢的大小具有另一特 讓手勢對彼等所修飾者具有變動性的影響連 括弧可為-直線之高度，或可為多條直：違 ，以涵蓋整個段 作業，這些包 :位裝置之表面 角度感測）、顯 之其他元件（如 顯示器螢幕， 的物體之方式 像其他特性般 一手勢之最重 欲選定一字勺 句及待予刪除 的位置如何與 式疋會被刪除 該選項係須予 項上，從而x 是該選項。 。這項資訊可 圍。例如，左 。按一具三條 17

1303377 直線之1¾度的左括弧，係為選定比起兩條直線高度的左括弧 更多區域。 在一替代性具體實施例裡，經組對之手勢（例如左及右選 定括弧）或不會按照大小而是按位置而定，因為左及右選定括 弧可標定一限界盒或待予選定之文字流的起點及終點。 形狀 手勢形狀可與彼等覆蓋之區域相關。例如，三個文字線 段高度之左括弧或具有一與具僅單一文字線高度之左括孤 不同的高度/寬度比。此外，有些手勢的真正形狀内容或會因 大小而改變。例如’晝於文字下以將其粗體化或大寫之波形 綠手勢’或會在線内愈長而具有更多的波頂。從而，辨識一 手勢可包含將手勢大小標準化至一單位面積。此辨識作業可 S比配各形狀，以決定是否重覆一單一手勢（一波形線）以 覆蓋一更大區域。 辨識手勢

。而且墨跡也最好是不 步驟404的最近字跡， 。第4圖顯示一為以將字跡辨識為 之示範性處理方法。

口P勿的字跡或可當單獨 統或亦可觀察來自 晏單獨採列，以及 1303377

pe J又於一段落卜γ 作為選取該點觸處·Ρ的字 上點觸可 7予d。兩個點觸（這音 4014的目前點觸以外，該李 心耆产乂驟 糸統尚需要憶及步驟404的第 觸K選定-包含在原先點觸下之字詞的字句或段落 點 如未收到手勢，則會在步一 々价+ 顯析於401處所接收到 的字跡。或另者，會從顯 田’岡予跡，一直刭傭笪 在步驟403被決定為一組非 』仮寺 非為手勢者，然後在步驟4〇2予以 共集地顯析。 如在步驟彻收到-手勢，則會為出現—手勢而警示該 系統。這項警示可包含設定一手勢旗標。或者，這可包含送 出該手勢以及額外資訊(包含一或更多的下列項目：該手勢大 小、手勢形狀、手勢作用區域以及控制方法或性質）。此外， 亦可警示在步驟401 &到的字跡之應用程式出現該手勢（包 含或不包含額外的手勢資訊）。 在替代性具體實施例裡，一當收到時即可顯析所有的字 跡，俾以對一使用者提供立即回饋。在這些具體實施例裡， 步驟405可抹除樣成該手勢的字跡或各字跡。 在又另一具體實施例裡.，即如步驟406所示，可決定與 該手勢相關的標的，並提供給系統或應用程式（步驟4〇7)， 藉此讓系統或應用程式執行或決定何時執行該手勢。該標的 可為，如顯示在螢幕上的目標（像是按鍵、文字、圖形或任何 其他類似顯示標的），而其上或鄰近於此繪示有該手勢。例 如，若該手勢係一檢查標記，該標地可為一按鍵，且該檢查 標記手勢可引起一連同於該按鍵而產生的特定動作。而如另 19 13 03377 ο ^ 一範例，該標的係一文字字詞，且該手勢係一繪於該字詞之 上的大寫Β，則會握持相關於该大寫Β手勢的標的。 第4圖可提供在決定之後的立即手勢執行作業。第5圖 顯示一替代性具體實施例，其中不是由系統而是由一應用程 式來決定各字跡係手勢。第5圖提供先須捕捉字跡，然後再 另執行該等係為手勢之字跡的遽項。例如’如第5圖之處理 方法可適用於在實際執行各項變動前要先觀看對一文件之 所有修飾結果的使用者。 在步驟5 01裡，會收到一字跡。在 字跡且將字跡組合傳送給一應用程式5〇3。在步驟5〇4，該 應用程式讀出一或多個字跡。在步驟5〇5，該應用程式決定 該所收字跡是否係一手勢。這種方式可供辨識應用程式特定 手勢，而非僅系統範圍性的手勢。 如位於步驟505，其決定氣并土 w ?，丨 主拥 ，、厌疋為亚未收到一手勢，該應用程式 處理該等字跡506。如名半^ 在Y驟505，其決定為收到一手勢， 該應用程式會在步驟5〇7處理該手勢。 第8圖顯示另一用以辨认 ?每手勢的具體實施例。在步驟80 1 會收到一字跡。在步驟8〇2合 曰將字跡標準化。此外，可於步 驟802執行其他步驟，台括 包括任何一或更多的下列項目： 1 . 將所收一或冬他1生：TMr、 _ 予跡勺解為一單點串流，而該尖筆 與該顯示表面之接觸處為觸者及非觸者(例如0為 向下而1為向上 利用來自該數位裝置的實體維度資料，將該X及1 座標縮放為預定大小(即如-平方英对)。在-具靡 20 2. 1303377

0 8

Bl·修值)正替换頁丨 實施例裡，可拋除此縮放資訊。或另者，可保留此 縮放資訊以供後續使用。 3. 調整各點的進入時間，並重新取樣該墨跡以產生— 預定適量數量的點（即如200個）。在一具體會 汽万也例 裡，可拋除此時間比例資訊。或者，可保留此時門 比例資訊以供後續使用。 4. 可計算包含字跡繞數、字跡維持聘段、字跡縱俨 比、任意點到一連接各端點之區段的最大距離、 射點等額外項目。 反 5· 6.

針對X、y及z座標各者計算Chebychev多項式。 合併部份或全部的Chebychev多項式、繞數、縮放 率持時奴與比例並輸入到一或更多Βπα網路。。 對於母手勢利用個別的Bayes網路。 跡到各個B a y e s網路並择 過的一門檻值的網路。如 ’則將該手勢傳到該應用 示並未辨識出任何手勢。 傳通所處理之一或多個字 一分數。會辨識出任何超 僅單一網路被辨識為手勢 私式戈w亥糸統。如否，貝彳表

--'叫 丁労。這可包 述的比對步驟7。如是，系統 六疋在δ亥動作區域805 各字詞或子跡，並於步驟826 初1下^域内的手勢 標的送出給糸統或應用程式。 若否，則在步驟8〇4，孚 糸、、死曰决疋是否既已達到一 量的字跡（即如四個字跡）。如否 、』糸、洗會在步驟808 21 1303377 96. 3. 0 8 一子跡而備克 -X- 、… 。否則，系統會在步驟807拋除最先所收 然後系統會名牛_ y驟8 0 8為次一字跡而備妥。 :的歹j表列出各種示範性手勢及相關方法或性質 子型性曹鐵貝 ，、…-於該字詞上或文字的其他部分上'‘ 1 从令一字詞（或一字詞的其他部分 該字詞上繪出一IA 祖體子 DU為雔广 大寫卜々一字詞為斜體字，ϋ為加;i 又&線，ον為刪除線，而N為正常字 他的性質轡仆 J属1 。有些手勢辨識的具體實施例可包 跡平置於另一者μ 士 L a ^ ^ 有上。在此，將一字跡覆寫於一字 系統或應用程式出現一手勢。 斷句〜右下角可被解譯為一斷句、句段折返、新名 等的手勢。右上角可執行相反項。 、剪下/複製/貼上'可利用X來剪下，利用C或圈走 來複製1用―脫字符號來貼上。利用雙脫字符號表j 性貼上。 選疋―可利用左及右方括弧來定義一選定。或者， 括孤内定為溪定_ ^ 、疋一予詞。在一進一步替代例中，重覆 右方括弧可視需要調整選定。箭頭手勢可令定義（一次一 細微調整作業。彎括弧可供不連續性選定。 文字/列表/繪式群組—製於一選定上之段落手勢i 跡集組於文字内且辨識該墨跡串流（又稱為再串流）。 者 區段手勢可將其轉為一繪式或列表。這也可運戶 列表的情況下（即如L手勢）。 可將手勢施用於其他應用程式，包含網際網路網] 字跡， ^出一 >可於 £線， E出其 :將字 '助於 :落等 i的X :選擇 左方 性左/ •字元） g將墨 或另 丨在一 :與試 22 1303377

算表。可利用各方向的輕按來向上及下捲動在一劉覽器内檢 視的文件。多重輕按可調整能夠向上及向下捲動一頁面或檔 案多遠。在一試算表裡，垂直大括弧可定義一組縱行。脫字 符號（向上或旋轉）可為一手勢以插置橫列及/或縱行。 第6圖顯示各種不同的手勢。後列表格描述各種手勢以 及相關於各者之不同變數。自亦可採用其他標記、變異與語 意。 標記 名 稱 變異（重複或旋轉） 一般語意 601 點選 4 選定 602 輕按 16 捲動 603 山形紋 16 *** 604 圓圈 1 選定 605 圓圈-十字形 1 復原 606 圓圈-輕敲 1 607 雙圓圈 1 608 大寫拉丁字 26 609 角 8 610 輕按-角 24 611 檢查標記 1 求助 612 辮子 4 删除 613 方括弧 4 選定 614 著重號 2 615 三角形 4 616 無限大 1 清除選定 617 彎曲的線 1 粗筆晝 618 問號 1 求助 619 驚嘆號 1 工具提示 620 交換 2 交換串 621 箭頭 4 延伸選定 622 雙箭頭 4 623 大括號 4 不連續選定 624 圓括號 4 625 合而為一 4 626 段落 1 填滿/排整齊 23 1303377 正替換頁 627 j£z· ΛΛ· 早即 1 底下列表列出可能的手勢控制 標記 名 稱 操 作 628 點選 選擇/放置IP 629 雙重點選 選擇字詞 630 三重點選 選擇段落 631 四重點選 全選 632 向右輕按 向左捲動直到動作區域在視窗的右邊界 633 雙重向右輕按 向左捲動至文件底端 634 向左輕按 向右捲動直到動作區域在視窗的左邊界 635 雙重向左輕按 向右捲動至文件底端 636 向上輕按 向下捲動直到動作區域在螢幕的頂端 637 雙重向上輕按 向下捲動至頁面底端 638 三重向上輕按 向下捲動至文件底端 639 向下輕按 向上捲動直到動作區域在螢幕的底端 640 雙重向下輕按 向上捲動至頁面底端 641 三重向下輕按 向上捲動至文件底端 642 拉丁字母-B 使標的物粗體化 643 拉丁字母-I 使標的物斜體化 644 拉丁字母-N 使標的物正常化 645 拉丁字母-U 使標的物加底線 646 拉丁字母-X 刪除標的物 647 圓圈-十字形 複製標的物 648 向上山形紋 貼上 649 雙重向上山形紋 選擇性貼上 650 左方括弧 設定選定的左邊界 651 右方括弧 設定選定的右邊界 652 上方括弧 選擇欄 653 左大括號 設定不連續選定的左邊界 654 右大括3虎 設定不連續選定的右邊界 執行手勢 手勢執行方式係根據一應用程式被視為應如何處置一手 24 1303377 縣】Γ 猶―一———Ί 1年月日修(表)正勢&頁 勢（給定該手勢的大小、形狀與位置），以及一作業系統如何 將與該相關於該手勢之資訊遞交給該應用程式而定。一些手 勢可被作業系統所解譯，且可被傳到一應用程式作為一或更 多的滑鼠及/或鍵盤動作。其他手勢可不被作業系統所解譯， 而是會由一應用程式加以辨識。在此，應用程式會需要根據 該手勢的各種特點或特徵，來诀定須如何處置該手勢。此 外’手勢解譯應用程式可用來將完全不暸解一或各給定手勢 之無手勢功能的應用程式介接於談作業系統。 資料結構 弟7圖顯示一可用以代表一手勢之資料結構7 〇 1的具體 實施例範例。亦可採用其他的資料結構，包含陣列' 連接串 鍵等。區段702係與一手勢的泛性規格有關。區段7〇3與刪 除手勢有關。區段704則是與開始選定手勢有關。 區段705包含手勢識別。此手勢識別可為一 Unicode字元 或一 GUID，即如業界所眾知者。區段7〇6顯示一手勢的經 標準化形狀。對於手勢7〇3 ,經標準化形狀係一 “χ” 。對於

手勢704，該經標準化形狀係一“[”。區段7〇7包含該手勢 的動作區域。對於手勢703，該動作區域係例如一位於兩條 產生該手勢之線的交又下方之點。對於手勢7〇4，該動作區 域‘至該方括弧右方的字跡、字詞或各字詞。 W 區段7 0 8描述相關於該手勢之控制方法或性質。對於手 勢7〇3，該相關控制方法或性質係「刪除」。對於手勢π? 該相關控制方法或性質係「開始選定。 25 l3〇3377

『、一月日修(良替換頁I .'·ι·ιιι_·ιι ιιιι_ι .......ιι,ι I ! 本發明所具體實作之示範性系統Α y、 /、方法雖係按範例 所描述，然自應暸解本發明並不限於 4 Θ寻具體實施例。可由 热諳本項技藝之人士依照前接教示 ^ _ οσ τ邊痒進行修飾。例 如’可早獨或併合於其他具體實施例 j之兀件來利用前述各具 體貝施例之各項元件。在此，雖既已葬 —M丄 猎後载申請專利範圍來 疋義本發明，但彼等申請項目僅屬示範性，’ 為、、，内入在此揭示而按各種組合或次 ’、 丰疏 0方式的各種元件及 從而’可有任意數量之替代組合以定義本發 ^ 并入—或更多該規格之元件，包含按各種組合及次組合5 式之說明、申請專利範圍及圖式。 丄 對於热諳相關技藝之人 士，，照本發明規格後應即瞭解確可利用本 點’要不單獨或要不併合於在此所 χ 、特 驟，之替代組合，來作為本發明輪替代:。：：或步 -部份。其目的係本文所含之本發=== 有該等修飾與替代項目。 风所 【圖式簡單說明】 在此’連同於隨附各 、㈡式將可為更佳瞭解前鹿 明概論以及後载之較佳| ，、 揭本辱 /、體貝鈀例砰細說明，古耸 申核之發明，僅屬所含^ γ 、於戶; ★ m屬所3靶例，而非其限制者。 弟1圖為示蘇柯 以杂作太菸日日 用目的之數位計算環境略圖，這可用 以實作本發明之各式特點。 ’用 第2圖係根據本發明夂馆姑_ 万各項特點之示範性 供運用之尖筆的平面視圖。 ’生+板電細以及可 26 1303377 9%3 修(寥)正替換頁 第3圖顯示根據本發明具體實施例之各種作業模式的範 第4及5圖顯示根據本發明具體實施例之手勢辨識處理 範例。 第6圖顯示可用於本發明具體實施例之手勢範例。 第7圖顯示根據太 相關方法或性質。a明具體實施例之手勢資料結構範例 第8圖顯示根據本 方法範例。 發明具體實施例用以識別一手勢之

例0 方法 及其 程序 [主 100 102 108 110 112 114 120 140 160 180 191 192 194 要元件符號說明】 電腦 指向裝置 101 鍵 視訊卡 107 監 處理單元 109 遠 區域網路 111 記 網路介面 113 廣 系統記憶體 115 數 唯讀記憶體（rom) 130 系 基本輪入/輪出*** 150 隨 磁碟機 170 硬 光碟機 190 可 硬碟機介面 192 可 光碟機介面 193 磁 195 作 盤 視器 端電腦 憶體 域網路 據機 統匯流排 機存取記憶體（RAM) 碟機 移除式磁碟片 移除式光碟片 碟機介面 業系統 27

1303377 196應用程式 198程式資料 202大型顯示表面 204觸筆 701資料結構 703區段 705區段 707區段 1 9 7程式模組 201筆式電腦 203視窗 205範圍 702區段 704區段 706區段 708區段 理系統 28

Claims (1)

1303377 十、申睛專利範圍·· 1’種用以决疋是否—手勢已由檢視一頁面之使用者所接 收的方法，該方法至少包含下列步驟： 接收一置放於該頁面上之字跡； 、疋k子跡疋否包含一手勢，該決定步驟包括以下步驟： (0標準化用於該字跡的資料； ()對w亥予跡之座標來計算C h e b y c h e v多項式； (ui)針對已知手勢傳通該等多項式至一或更多先 前已計算的Bayes網跃 _ _ . ' ，該等手勢各者係與一預定命令關聯 以由該計算裝置所執行；以及 (iv)決定該等吝 ： 寻夕項式疋否與一或更多之Bayes網路 共相關；以及 示 如果該等多項式與—或更多之Bayes 一系統或應用程式既已收到該手勢。 網路共相關，則警 進一步包含以下步 2·如申請專利範圍第1項所述之方法， 驟： 在決定該字跡為一手勢之前右_ 在—顯示器上顯析（rendering) 如墨水般的該字跡，並於決定該聿输先 ^ μ /Μ _ _ 次予跡為一手勢之後，從該顯 示器處抹除該已顯析手勢。 3 ·如申請專利fc圍第1項所述之方法，進一步包含以下步 驟： 決定一相關於該手勢的標的（object);以及 29 1303377

將該標的，連同該手勢，傳通至該系統或該應用程式。 4 ·如申請專利範圍第1項所述之方法，進一步包含如下步 驟： 顯析該接收字跡。 5. 如申請專利範圍第1項所述之方法，進一步包含以下步 驟： 如果該等多項式並未與任何Bayes網路共相關，則造成 該計算裝置以抑制（withhold)顯析如墨水般的至少一字跡， 直到已累積到一預定複數個非相關字跡，並在已累積到該複 數個非相關字跡之後，顯現複數個如墨水般的字跡。 6. —種用以決定是否一手勢已由檢視一頁面之使用者所接 收的方法，該方法至少包含下列步驟： 接收一置放於該頁面上之字跡； 顯析該頁面上之該字跡； 將該字跡送出至一應用程式； 藉由將該字跡之資料與複數個對應至預定命令之Bayers 網路相比較的方式，在該應用程式内決定該字跡是否包含一 手勢；以及 處理該手勢。 7. —種用以決定所收字跡是否為手勢之方法，其至少包含： 30

1303377 標準化至少一字跡以產生經標準化之至少一字跡； 對該至少一字跡之座標來計算Chebychev多項式； 將該經標準化之至少一字跡與該 Chebychev多項式予以 合併俾產生一 Bayes網路； 將該Bayes網路與已知手勢之先前已計算Bayes網路相互 比較； 決定該Bayes網路是否與該等已計算Bayes網路其中一者 共相關；以及 如該Bayes網路與該等已計算Bayes網路其中一者共相 關，則按對應於該已計算Bayes網路其中一者之手勢來處理 該至少一字跡。 8. 如申請專利範圍第7項所述之方法，進一步包含： 將該至少一字跡壓縮為單點串流；以及 利用該單點串流以產生該Bayes網路。 9. 如申請專利範圍第7項所述之方法，進一步包含： 縮放該至少一字跡之各點的時間輸入項，以產生一經比 例調整之時間；以及 ’利用該經比例調整之時間以產生該Bayes網路。 1 〇.如申請專利範圍第9項所述之方法，進一步包含： 計算該至少一字跡之字跡繞數及維持時段；以及 利用該Bayes網路中該經比例調整之時間。 31 1303377 11. 一種電腦可讀取媒體，其中含有一用以決定一手勢是否 已由檢視一頁面之使用者所接收的程式，該程式至少包含各 項指令以執行如下步驟： 接收一置放於該頁面上之字跡； 決定該字跡是否包含一手勢，該決定步驟包括以下步驟： (i) 標準化用於該字跡的資料； (ii) 對該字跡之座標來計算Chebychev多項式； (iii) 針對已知手勢傳通該等多項式至一或更多先 前已計算的Bayes網路，該等手勢各者係與一預定命令關聯 以由該計算裝置所執行；以及 (iv) 決定該等多項式是否與一或更多之Bayes網路 共相關；以及 如果該等多項式與一或更多之Bayes網路共相關，則警 示一系統或應用程式已收到該手勢。 1 2.如申請專利範圍第11項所述之電腦可讀取媒體，其中該 程式進一步包含指令以執行如下步驟： 在決定該字跡為一手勢之前在一顯示器上顯析如墨水般 的該字跡，並於決定該字跡為一手勢之後，從該顯示器處抹 除該已顯析手勢。 1 3.如申請專利範圍第1 1項所述之電腦可讀取媒體，其中該 程式進一步包含指令以執行如下步驟： 32

1303377 決定一相關於該手勢的標的；以及 將該標的，連同該手勢，傳通至該ί 1 4.如申請專利範圍第1 1項所述之電腦 程式進一步包含指令以執行顯析該接收 1 5 .如申請專利範圍第11項所述之電腦 包含以下之指令： 如果該等多項式並未與任何Bayes 該計算裝置以抑制（withhold)顯析如墨 直到已累積到一預定複數個非相關字跡 數個非相關字跡之後，顯現複數個如墨 ^統或該應用程式。 可讀取媒體，其中該 字跡之步驟。 可讀取媒體，進一步 網路共相關，則造成 私般的至少一字跡， ’並在已累積到該複 水般的字跡。 33

1303377 七、指定代表圖·· (一） 、本案指定代表圖為：第（4)圖。 (二） 、本代表圖之元件代表符號簡單說明： 無 八、本案若有化學式時，請揭示最能顯示 發明特徵的化學式： 無

4