TWI575385B - 多裝置協作技術 - Google Patents

多裝置協作技術 Download PDF

Info

Publication number
TWI575385B
TWI575385B TW104127143A TW104127143A TWI575385B TW I575385 B TWI575385 B TW I575385B TW 104127143 A TW104127143 A TW 104127143A TW 104127143 A TW104127143 A TW 104127143A TW I575385 B TWI575385 B TW I575385B
Authority
TW
Taiwan
Prior art keywords
computing device
character
tablet computing
content
user
Prior art date
Application number
TW104127143A
Other languages
English (en)
Other versions
TW201621690A (zh
Inventor
艾立克Ｍ 倫斯福特
唐納德 剛薩爾茲
勞倫斯Ｓ 威廉斯
黃遠揚
黃廷彥
Original Assignee
惠普發展公司有限責任合夥企業
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠普發展公司有限責任合夥企業 filed Critical 惠普發展公司有限責任合夥企業
Publication of TW201621690A publication Critical patent/TW201621690A/zh
Application granted granted Critical
Publication of TWI575385B publication Critical patent/TWI575385B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/04—Display device controller operating with a plurality of display units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/14—Electronic books and readers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Description

多裝置協作技術
本發明係有關於多裝置協作。
發明背景
近來，可攜式計算裝置諸如平板電腦和智慧型手機已經變得越來越流行。技術的進步已增加了如此裝置的可攜性，使它們更小、更薄、更輕、比起傳統的筆記型電腦提供了很大的優勢。然而，如此的可攜式裝置讓步了硬體能力和顯示尺寸以換取可攜性的增加。
依據本發明之一實施例，係特地提出一種由一計算裝置執行用於多裝置協作的方法，該方法包含有：由具有一第一處理器之一第一計算裝置識別將由該第一計算裝置扮演的一第一角色當其與具有一第二處理器之一第二計算裝置連接時，其中當該第二計算裝置與該第一計算裝置連接時該第二計算裝置扮演一第二角色；以及由該第一計算裝置判定何時至少一個預定的觸發事件發生，其致使該第一角色和第二角色將被交換，使得該第一角色由該第二計算裝置來扮演而該第二角色由該第一計算裝置來扮演。
100‧‧‧系統
121‧‧‧連接判定引擎
122‧‧‧角色交換引擎
123‧‧‧觸覺式鍵盤引擎
124‧‧‧虛擬鋼琴引擎
125‧‧‧電子閱讀器引擎
126‧‧‧內容合併引擎
129‧‧‧資料儲存
140A、140B、140N‧‧‧客戶端計算裝置
210‧‧‧機器可讀取儲存媒體
211‧‧‧處理器
221‧‧‧連接判定引擎
222‧‧‧角色交換引擎
223‧‧‧觸覺式鍵盤引擎
224‧‧‧虛擬鋼琴引擎
225‧‧‧電子閱讀器引擎
226‧‧‧內容合併引擎
300‧‧‧方法
310~330‧‧‧方塊
400‧‧‧方法
410~430‧‧‧方塊
510‧‧‧第一計算裝置
520‧‧‧第二計算裝置
600‧‧‧多裝置協作環境
610‧‧‧第一計算裝置
620‧‧‧第二計算裝置
700‧‧‧多裝置協作環境
710‧‧‧第一計算裝置
711‧‧‧虛擬鋼琴鍵盤的一第一部分
712‧‧‧樂譜的一第一部分
720‧‧‧第二計算裝置
721‧‧‧虛擬鋼琴鍵盤的一第二部分
722‧‧‧樂譜的一第二部分
730‧‧‧第三計算裝置
731‧‧‧虛擬鋼琴鍵盤的一第三部分
732‧‧‧樂譜的一第三部分
800‧‧‧多裝置協作環境
810‧‧‧第一計算裝置
820‧‧‧第二計算裝置
900‧‧‧多裝置協作環境
910‧‧‧第一計算裝置
920‧‧‧第二計算裝置
930‧‧‧第三計算裝置
940‧‧‧第四計算裝置
以下的詳細描述引用了所附圖示，其中：圖1係一方塊圖，其描繪了一示例性系統，該系統包含有被連接在一種多裝置協作環境中的多個客戶端計算裝置。
圖2係一方塊圖，其描繪了一示例性機器可讀取儲存媒體，該媒體包含有可由一處理器執行之用於促進多裝置協作的指令。
圖3係一流程圖，其描繪了一種示例方法用於識別被連接在一種多裝置協作環境中之多個客戶端計算裝置的角色並判定何時至少一預定的觸發事件發生其導致該等角色將被交換。
圖4係一流程圖，其描繪了一種示例方法用於識別被連接在一種多裝置協作環境中之多個客戶端計算裝置的角色並判定何時至少一預定的觸發事件發生其導致該等角色將被交換。
圖5係一示意圖，其描繪了一示例多裝置協作環境，其包括一與一鍵盤角色相關聯的客戶端計算裝置。
圖6係一示意圖，其描繪了一示例多裝置協作環境，其包括一與一虛擬鋼琴鍵盤角色相關聯的客戶端計算裝置。
圖7係一示意圖，其描繪了一示例多裝置協作環境，其包括顯示出一虛擬鋼琴鍵盤之不同部分的客戶端計算裝置。
圖8係一示意圖，其描繪了一示例多裝置協作環 境，其包括充當一種電子閱讀器的客戶端計算裝置。
圖9係一示意圖，其描繪了一示例多裝置協作環境，其包含被連接以提供一種擴展觸控螢幕空間的客戶端計算裝置。
較佳實施例之詳細說明
以下的詳細描述參考了該等附圖。在每一個可能的地方，相同的參考號碼被使用來在該等附圖和以下的描述中指出相同的或類似的部分。然而，應被明確理解的是，該等附圖僅是用於說明和描述的目的。雖然幾個實例被描述在本文中，但修改、改編、和其他的實現方式也是有可能的。因此，以下的詳細描述並不限制所揭露的實例。相反的是，該等揭露實例的該適當範疇可由所附權利請求項來限定。
近來，可攜式計算裝置諸如平板電腦和智慧型手機已經變得越來越流行。技術的進步已增加了如此裝置的可攜性，使它們更小、更薄、更輕，比起傳統的筆記型電腦提供了很大的優勢。然而，如此的可攜式裝置讓步了硬體能力和顯示尺寸以換取可攜性的增加。雖然內容可以在多個可攜式裝置間共享來建立一種更具協作性的環境，但這仍然未能最大地利用在協作中該等多個可攜式裝置之該等結合的硬體資源和顯示器。
在此所公開的實例係涉及促進多裝置協作的技術。具體地說，所揭露的實例係涉及透過經由一連接介面 連接至少兩個裝置來建立多裝置協作環境。在該多裝置協作環境中的一單一裝置可以與將由該裝置所扮演的一特定角色相關聯。舉例來說，與個人計算裝置相關聯的該角色可能包括一鍵盤、一觸覺式鍵盤、一虛擬鋼琴鍵盤、一遊戲控制器、一繪圖板、和/或內容的一顯示器。該等揭露的實例進一步涉及判定何時至少一預定觸發事件會發生，其導致在該多裝置協作中與不同計算裝置相關聯的該等角色將進行交換。舉例來說，該至少一個預定的觸發事件可以包括一使用者輸入、在該多裝置協作環境中該等計算裝置中的至少一個的一種方向變化(例如，位置變化)、和/或其他的觸發事件。
圖1係一方塊圖，其描繪了一示例性系統100，該系統包含有被連接在一種多裝置協作環境中的多個客戶端計算裝置。
系統100可以包括各種組件，包括客戶端計算裝置140(圖示為140A、140B、...、140N)。客戶端計算裝置140可包括任何類型之提供有一使用者介面的計算裝置，透過其一使用者可以與一軟體應用程式互動。舉例來說，客戶端計算裝置140可包括一膝上型計算裝置、桌上型計算裝置、一集所有功能於一機的計算裝置、一平板計算裝置，一行動電話(例如，智慧型手機)、一電子書閱讀器、一網路致能家電諸如「智慧型」電視、和/或適於顯示一使用者介面並以該顯示的使用者介面處理使用者互動的其他電子裝置。
根據各種實現方式，系統100和在本文中所描述的該等各種組件可以用硬體和/或配置硬體的編程來實現。此外，在圖1和本文所描述的其他附圖中，不同於所描繪之組件或實體的數量可被使用。
如以下所詳述的，客戶端計算裝置140可以包括一連接判定引擎121、一角色交換引擎122、一觸覺式鍵盤引擎123、一虛擬鋼琴引擎124、一電子閱讀器引擎125、一內容結合引擎126、和/或其他的引擎。術語「引擎」，如本文所使用的，係指執行一指定功能之硬體和編程的組合。如針對圖2所示，每個引擎的該硬體，舉例來說，可以包括一處理器和一機器可讀取儲存媒體的一者或兩者，而該編程係儲存在該電腦可讀取儲存媒體上的指令或代碼且可由該處理器執行來執行該指定的功能。
連接判定引擎121可判定何時一第一計算裝置(例如，一第一平板計算裝置)被連接和/或附接到一第二計算裝置(例如，一第二平板計算裝置)。該連接和/或附接可以透過至少一個可便利於在兩個或多個計算裝置之間進行通信的連接介面來達成。該等兩個或多個計算裝置可以使用一已定義的協定進行通信。在一實例中，該連接介面可以包括可被放置在該等兩個或多個計算裝置之間的一外部連接適配器。在另一實例中，該等兩個或多個計算裝置中的至少一個可包括該連接介面，該介面包括一輸入用於接收其他計算裝置的輸出和/或一輸出用於將資料發送給其他的計算裝置。該連接介面可以包括有線和/或無線介面。 經由該連接介面被附接和/或連接的該等兩個或多個計算裝置可以在此被稱為一種多裝置協作環境。一計算裝置可以基於該連接狀態(例如，該連接被遺失、實體上斷線、等等)和/或一使用者輸入(例如，該計算裝置的一使用者把該裝置配置成被斷開)從該多裝置協作環境被移除附接和/或移除連接。
在一些實現方式中，當該第一計算裝置判定它被附接和/或連接到該第二計算裝置時，連接判定引擎121可以識別和/或判定將由該第一計算裝置所扮演的一角色。該角色可由連接判定引擎121和/或基於一使用者輸入被自動地識別和/或判定。
在一實例中，連接判定引擎121可產生一提示符用以請求一使用者為該第一計算裝置選擇一角色(例如，一第一角色)。該提示符可以經由在該第一計算裝置上的一顯示器被顯示出來。從一組該第一計算裝置可在一種多裝置協作環境中能夠扮演的不同角色中，可以選出該角色。例如，該角色可以包括至少一鍵盤、一觸覺式鍵盤、一虛擬鋼琴鍵盤、一遊戲控制器、一繪圖板、一內容的顯示器、和/或其他角色。一旦選擇了，該選擇的角色可與該第一計算裝置相關聯。在該第一角色和該第一計算裝置之間的該關聯性可被儲存在一資料儲存129中，該資料儲存被耦合到該第一計算裝置和/或被耦合到在該多裝置協作環境中的至少一個計算裝置、和/或其他的資料庫。在一些情況下，該使用者可以為使用該第一計算裝置的該第二計算裝置指 定一角色(例如，一第二角色)。在其他的情況下，該提示符可以經由該第二計算裝置被產生並提供給一使用者。該第二計算裝置之該選擇角色可與該第二計算裝置相關聯。在該第二角色和該第二計算裝置之間的該關聯性可被儲存在一資料儲存129中，該資料儲存被耦合到該第二計算裝置和/或被耦合到在該多裝置協作環境中的至少一個計算裝置、和/或其他的資料庫。
該儲存的關聯性可以被使用來識別和/或判定一特定計算裝置的該角色，即使在該特定計算裝置已從該多裝置協作環境被斷開並重新連接到該多裝置協作環境之後。注意，當連接到一第一多裝置協作環境中時(例如，包括計算裝置A、B、和C)一特定計算裝置可以具有一第一角色，而當連接到一第二多裝置協作環境中時(例如，包括計算裝置，A、C、和D)可以具有一異於該第一角色的一第二角色。
一旦該角色與一特定的計算裝置相關聯，當連接到該多裝置協作環境時，該計算裝置可以根據該相關聯的角色來操作。舉例來說，當該等第一和第二計算裝置連接到彼此時，該第一計算裝置可以執行與該第一角色(例如，虛擬鋼琴鍵盤)相關聯的一第一組任務而該第二計算裝置可以執行與該第二角色(例如，一樂譜顯示器)相關聯的一第二組任務。該等兩個裝置可以同步地工作在該多裝置協作環境中，使得一使用者能夠演奏鋼琴，透過經由該第一計算裝置使用該虛擬鋼琴鍵盤而該第二計算裝置顯示該樂 譜，突顯出該使用者剛彈奏過的音符，和/或當該使用者彈奏一不正確的音符時產生一警報，舉例來說。
角色交換引擎122可判定何時至少一個預定觸發事件發生其導致與在該多裝置協作環境中不同的計算裝置相關聯的該等角色將進行交換。舉例來說，與該第一計算裝置相關聯的該第一角色和與該第二計算裝置相關聯的該第二角色可以被交換，基於該至少一個預定觸發事件的發生，使得該第一角色由該第二計算裝置扮演而該第二角色由該第一計算裝置扮演。該至少一個預定的觸發事件可以包括一使用者輸入、在該多裝置協作環境中該等計算裝置中的至少一個的一種方向變化(例如，位置變化)、和/或其他的觸發事件。角色交換引擎122可以檢測在該多裝置協作環境中該等計算裝置中至少一個的一種方向變化。
繼續上述的例子，該使用者可能使用第一計算裝置跟著樂譜正在彈奏該虛擬鋼琴，該第一計算裝置可被水平地放置在一桌面上，該樂譜經由該第二計算裝置顯示，該第二計算裝置基本上站立垂直於該第一計算裝置。然後，使用者可以翻轉該等兩個裝置，使得該第二計算裝置可被水平地放置在桌子上，而該第一計算裝置基本上站立垂直於該第二計算裝置。在這種情況下，角色交換引擎112可以檢測出該方向改變已經發生。回應於該檢測到的方向改變，角色交換引擎122可以交換與該等第一和第二計算裝置相關聯的該等角色。舉例來說，基於該檢測到的方向變化，該第一計算裝置可根據該第二角色(例如，樂譜的顯示 器)進行操作，而該第二計算裝置可根據該第一角色(例如，虛擬鋼琴鍵盤)進行操作。儲存在資料庫129的該等關聯性可以基於該等角色的該交換進行更新。
在一些實現方式中，該方向變化的檢測可以基於把目前的方向或位置與該先前的方向或位置進行比較。如果該變化等於或大於一預定臨界值，角色交換引擎122可判定該方向變化已被檢測到和/或交換在該多裝置協作環境中至少兩個計算裝置之間的該等角色。
當一觸覺式鍵盤的該角色與一特定的計算裝置相關聯時，當連接在該多裝置協作環境內時，觸覺式鍵盤引擎123會從該觸覺式鍵盤把鍵盤按鍵中的至少一個突出向上。在該多裝置協作環境中當該計算裝置與其他裝置斷開時，鍵盤按鍵的該至少一個可被凹回向下。
當一虛擬鋼琴鍵盤的該角色與一特定的計算裝置相關聯時，虛擬鋼琴引擎124可經由耦合到該計算裝置的一觸控螢幕顯示器顯示一虛擬鋼琴鍵盤。該使用者可以藉由觸碰在該觸控螢幕顯示器上的音符來演奏該虛擬鋼琴。在一些實現方式中，該虛擬鋼琴計算裝置可以在該多裝置協作環境中與至少一個其他的計算裝置同步地工作。舉例來說，一使用者可以經由該第一計算裝置使用該虛擬鋼琴鍵盤來演奏鋼琴，而該第二計算裝置顯示該樂譜。
當該使用者使用該第一計算裝置彈奏該鋼琴時，虛擬鋼琴引擎124可以「執行」在該第二計算裝置上所顯示的該樂譜。正在被彈奏的音符會被突顯出。當該使用 者接近正由該第二計算裝置所顯示的該樂譜的該等音符的末端時，該樂譜的下一頁面可被自動地出現在該顯示器上。虛擬鋼琴引擎124可基於該樂譜判定何時使用者在該虛擬鋼琴鍵盤上彈奏一不正確的音符。回應於判定該使用者彈奏該不正確的音符，虛擬鋼琴引擎124可以提供圖形、音訊、和/或觸覺式反饋給該使用者，使得該使用者可以知道該使用者已彈奏不正確的音符。相關於該等不正確音符的資訊可被儲存在資料庫129中。
在一些實現中，兩個或多個計算裝置可以顯示該虛擬鋼琴鍵盤的不同部分。舉例來說，該第一計算裝置可以顯示該虛擬鋼琴鍵盤的一第一部分、該第二計算裝置可顯示該虛擬鋼琴鍵盤的一第二部分、該第三計算裝置可以顯示該虛擬鋼琴鍵盤的一第三部分、等等。以這種方式，經由在多於一個的計算裝置上的顯示，該使用者可以在一更大尺寸的鋼琴鍵盤上彈奏。類似地，該樂譜可以在多個裝置上被顯示。舉例來說，該第一計算裝置可顯示該樂譜的一第一部分、該第二計算裝置可顯示該樂譜的一第二部分、該第三計算裝置可以顯示該樂譜的一第三部分、等等。描述虛擬鋼琴引擎124該等功能的示例插圖被圖示於圖6-7中。
電子閱讀器引擎125會使第一內容的顯示在該第一計算裝置上和/或會使相關於該第一內容的至少一部分之第二內容的該顯示在該第二計算裝置上。該第一和第二內容可以包括文本、影像、視訊，音訊、和/或其他內容。 這可以，舉例來說，使得使用者在一螢幕上閱讀文本的同時，他們可以在另一螢幕上檢視相關的影像和/或視訊。電子閱讀器引擎125可以判定何時該使用者到達具有相關內容(例如，第二內容)之該第一內容的至少一部分。該判定的達成可基於使用者輸入(例如，該使用者翻頁到下一頁面、該使用者突顯出特定的字詞、等等)、能夠判定該使用者正在看該第一內容的那一部分的眼睛追踪軟體、和/或其他方式。當判定該使用者可能已經到達該第一內容的至少一個部分時，電子閱讀器引擎125可以在該第二計算裝置上顯示該相關內容(例如，第二內容)。舉例來說，當使該用者突顯出該第一內容的一特定字詞時，該字詞的該字典含義可以經由該第二計算裝置被顯示出。
該第二內容可以維持是可見的，直到電子閱讀器引擎125判定該第二內容不再是相關的和/或第三內容需要更換該第二內容為止。該判定的達成可基於使用者輸入(例如，該使用者翻頁到該第一內容的下一頁面)、能夠判定該使用者正在看該第一內容的那一部分的眼睛追踪軟體、和/或其他方式。
在一些實現方式中，該第一計算裝置和該第二計算裝置(和/或在多裝置協作環境中其他的計算裝置)當其彼此附接和/或連接時，可以用作為一電子書閱讀器。描述電子閱讀器引擎125該等功能的一示例插圖被圖示於圖8中。
內容合併引擎126可以結合在該多裝置協作環境中經由不同的計算裝置所輸入的各種內容。舉例來說，該 第一計算裝置可包括一第一觸控螢幕而該第二計算裝置包括一第二觸控螢幕。內容合併引擎126可以經由該第一觸控螢幕獲得輸入的第一內容和經由該第二觸控螢幕獲得輸入的第二內容。內容合併引擎125然後可產生結合該第一內容和該第二內容的第三內容。以這種方式，一使用者可在多個觸控螢幕顯示器上繪製一大圖像，而內容合併引擎126可以把跨越該等多個顯示器所繪製的該整個畫面進行擷取和/或儲存該圖片。描述內容合併引擎126該等功能的一示例插圖被圖示於圖9中。
在執行它們各自的功能時，引擎121-126可以存取資料儲存129。資料儲存129可以表示任何可由引擎121-126來存取的記憶體，其可以被使用來儲存和檢索資料。資料儲存129可以包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可擦除式可編程唯讀記憶體(EEPROM)、快取記憶體、軟碟、硬碟、光碟、磁帶、固態硬碟、快閃碟、可攜式光碟、和/或其他的儲存媒體用於儲存電腦可執行指令和/或資料。
資料儲存129可以包括一資料庫來組織和儲存資料。資料庫可以是，包括，或者介接到，舉例來說，由Oracle公司所出售的一OracleTM關聯式資料庫。其他資料庫，諸如InformixTM、DB2(Database 2)或其他的資料儲存，包括基於文件的(例如，逗號或製表符分隔的文件)、或查詢格式、平台、或資源諸如OLAP(線上分析處理)、SQL(結構化查詢語言)、SAN(儲存區域網路)、微軟AccessTM、MySQL、 PostgreSQL、HSpace、Apache Cassandra、MongoDB、Apache CouchDBTM，或其他也可被使用、合併、或存取。該資料庫可以駐留在一個或多個實體裝置中和在一個或多個實體位置上。該資料庫可以儲存數種類型的資料和/或檔案和相關聯的資料或檔案說明、管理資訊、或任何其他資料。
圖2係一方塊圖，其描繪了一示例性機器可讀取儲存媒體210，該媒體包含有可由一處理器執行之用於促進多裝置協作的指令。
在前面的討論中，引擎121-126被描述為硬體和編程的組合。引擎121-126可以以多種方式來實現。參考圖2，該編程可以是儲存在一機器可讀取儲存媒體210上之處理器可執行指令221-226，而該硬體可以包括一處理器211用於執行這些指令。因此，機器可讀取儲存媒體210可以說是儲存程式指令或指令碼，當由處理器211執行時，實現圖1的引擎121-126。
機器可讀取儲存媒體210可以是包含或儲存可執行指令的任何電子、磁性、光學，或其他實體的儲存裝置。在一些實現方式中，機器可讀取儲存媒體210可以是一種非暫時性儲存媒體，其中術語「非暫時性」不包括暫時的傳播信號。機器可讀取儲存媒體210可被實現在一單一裝置中或被分佈在裝置之間。同樣地，處理器211可表示任何數目能夠執行由機器可讀取儲存媒體210所儲存的指令。處理器211可以被整合在一單一裝置中或被分佈在裝置之間。此外，機器可讀取儲存媒體210可以被完全地或部分地與處理 器211整合在同一裝置中，或者它可以是獨立的但可由裝置和處理器211來存取。
在一實例中，該等程式指令可以是一安裝套件的一部分，當安裝時，可以由處理器211執行來實現引擎121-126。在這種情況下，機器可讀取儲存媒體210可以是一可攜式媒體諸如一軟碟、CD、DVD、或快閃碟或由一伺服器所維護的一記憶體，從其該安裝套件可被下載並安裝。在另一實例中，該等程式指令可以是一應用程式或已安裝應用程式的一部分。這裡，機器可讀取儲存媒體210可包括一硬碟、光碟、磁帶、固態硬碟、RAM、ROM、EEPROM、或類似物。
處理器211可以是至少一個中央處理單元(CPU)、微處理器、和/或其他的硬體裝置其適於檢索和執行儲存在機器可讀取儲存媒體210中的指令。處理器211可以提取、解碼、和執行程式指令221-226，和/或其他的指令。作為一種替代或除了檢索和執行指令之外，處理器211可以包括至少一電子電路，其包括多個電子組件用於執行指令221-226和/或其他的指令之至少一個的該功能。
在圖2中，在機器可讀取儲存媒體210中的該可執行程式指令被描述為一連接判定指令221、一角色交換指令222、一觸覺式鍵盤指令223、一虛擬鋼琴指令224、一電子閱讀器指令225、一內容合併指令226、和/或其他的指令。指令221-226代表程式指令，當被執行時，可致使處理器211來分別實現引擎121-126。
圖3係一流程圖，其描繪了一種示例方法300用於識別被連接在一種多裝置協作環境中之多個客戶端計算裝置的角色，並判定何時至少一個預定觸發事件發生，其導致該等角色將被交換。
在圖3(和在其他附圖中諸如圖4)中所描繪之該等各種處理方塊和/或資料流程會在此處進行更詳細的描述。該等描述的處理方塊可以使用已在上面詳細描述之該等系統組件的一些或所有來實現，並且在一些實現方式中，各種處理方塊可以以不同的順序來執行，且各種處理方塊可以被省略。額外的處理方塊可以與一些在該描繪流程圖中所示處理方塊的一些或全部一起被執行。一些處理方塊可以同時地進行。相應地，所示的方法300(會在以下做更詳細地描述)係指一示例，正因為如此，不應被看作是限制性的。方法300可被實現成被儲存在機器可讀取儲存媒體上可執行指令的形式，諸如儲存媒體210，和/或被實現成電子電路的形式。
方法300可始於方塊310，並繼續到方塊321，其中方法300可由一第一計算裝置判定，當該第一計算裝置與一第二計算裝置進行連接時，將由該第一計算裝置所扮演的一第一角色。當該第二計算裝置與該第一計算裝置進行連接時，該第二計算裝置可以扮演一第二角色。舉例來說，該第一計算裝置的一使用者可以選擇將由該第一計算裝置所扮演的一角色。
在方塊322，方法300可包括判定何時至少一個預 定的觸發事件發生，其導致該第一角色和該第二角色被會被交換，使得該第一角色由該第二計算裝置扮演而該第二角色由該第一計算裝置來扮演。舉例來說，與該第一計算裝置相關聯的該第一角色和與該第二計算裝置相關聯的該第二角色可以被交換，基於該至少一個預定觸發事件的發生，使得該第一角色由該第二計算裝置扮演而該第二角色由該第一計算裝置來扮演。該至少一個預定的觸發事件可以包括一使用者輸入、在該多裝置協作環境中該等計算裝置之至少一個的一種方向變化(例如，位置變化)、和/或其他的觸發事件。然後方法300可以停止在方塊330中。
參考回圖1，連接判定引擎121可以負責實現方塊321。角色交換引擎122可以負責實現方塊322。
圖4係一流程圖，其描繪了一種示例方法400用於識別被連接在一種多裝置協作環境中之多個客戶端計算裝置的角色，並判定何時至少一個預定的觸發事件發生，其導致該等角色將被交換。所示的方法400(會在以下做更詳細地描述)係指一示例，正因為如此，不應被看作是限制性的。方法400可被實現成被儲存在機器可讀取儲存媒體上可執行指令的形式，諸如儲存媒體210，和/或被實現成電子電路的形式。
方法400可始於方塊410，並繼續到方塊421，其中方法400可由一第一計算裝置判定，何時該第一計算裝置被連接到一第二計算裝置。當它們不連接時，方法400會返回到方塊421。在另一方面，當判定它們已連接時，方法300 可繼續到方塊422。
在方塊422，該方法400可產生一提示符用以請求一使用者為該第一計算裝置選擇一角色(例如，一第一角色)。該提示符可以經由在該第一計算裝置上的一顯示器被顯示出來。從一組該第一計算裝置可在一種多裝置協作環境中能夠扮演的不同角色中，可以選出該角色。舉例來說，該角色可以包括一鍵盤、一觸覺式鍵盤、一虛擬鋼琴鍵盤、一遊戲控制器、一繪圖板、一內容顯示器、和/或其他角色的至少一個。
在方塊423，該方法400可接收該選擇的角色。該選擇的角色可與該第一計算裝置相關聯(方塊424)。在該第一角色和該第一計算裝置之間的該關聯性可被儲存在一資料儲存129中，該資料儲存被耦合到該第一計算裝置和/或被耦合到在該多裝置協作環境中的至少一個計算裝置、和/或其他的資料庫。在一些情況下，該使用者可以為使用該第一計算裝置的該第二計算裝置指定一角色(例如，一第二角色)。在其他的情況下，該提示符可以經由該第二計算裝置被產生並提供給一使用者。該第二計算裝置之該選擇角色可與該第二計算裝置相關聯。在該第二角色和該第二計算裝置之間的該關聯性可被儲存在一資料儲存129中，該資料儲存被耦合到該第二計算裝置和/或被耦合到在該多裝置協作環境中的至少一個計算裝置、和/或其他的資料庫。
在方塊425，方法400可包括判定何時至少一個預定的觸發事件發生，其導致該第一角色和該第二角色被會 被交換，使得該第一角色由該第二計算裝置扮演而該第二角色由該第一計算裝置來扮演。舉例來說，基於該至少一個預定觸發事件的發生，與該第一計算裝置相關聯的該第一角色和與該第二計算裝置相關聯的該第二角色可以被交換，使得該第一角色由該第二計算裝置扮演而該第二角色由該第一計算裝置來扮演。該至少一個預定的觸發事件可以包括一使用者輸入、在該多裝置協作環境中該等計算裝置之至少一個的一種方向變化(例如，位置變化)、和/或其他的觸發事件。
如果方法400判定沒有發生預定的觸發事件，方法400可返回到方塊425。在另一方面，如果至少有一個預定的觸發事件發生時，方法400可繼續到方塊426，其中方法400可以使該第一角色與該第二角色進行交換。舉例來說，該使用者可能使用第一計算裝置跟著樂譜正在彈奏該虛擬鋼琴，該第一計算裝置可被水平地放置在一桌面上，該樂譜經由該第二計算裝置顯示，該第二計算裝置基本上站立垂直於該第一計算裝置。然後，使用者可以翻轉該等兩個裝置，使得該第二計算裝置可被水平地放置在桌子上，而該第一計算裝置基本上站立垂直於該第二計算裝置。在這種情況下，可以檢測出該方向改變已經發生。回應於該檢測到的方向改變，方法400可致使該等角色將被交換。舉例來說，基於該檢測到的方向變化，該第一計算裝置可根據該第二個角色(例如，樂譜的顯示器)進行操作，而該第二計算裝置可根據該第一角色(例如，虛擬鋼琴鍵盤) 進行操作。然後，方法400會停止在方塊430。
參考回圖1，連接判定引擎121可以負責實現方塊421、422、423、和424。角色交換引擎122可以負責實現方塊425和426。
圖5係一示意圖，其描繪了一示例多裝置協作環境500，其包括一與一鍵盤角色相關聯的客戶端計算裝置。
多裝置協作環境500可包括一第一計算裝置510，和經由一連接介面被連接的一第二計算裝置520。與該第一計算裝置510相關聯的一第一角色可以包括一鍵盤(例如，包括一如本文所討論的觸覺式鍵盤)。一使用者可以使用該第一計算裝置510的觸控螢幕能力來操作該鍵盤。該第二計算裝置520可以與一種包含內容顯示的第二角色相關聯。舉例來說，該第二計算裝置520可以用作為一顯示監視器。當該使用者使用該第一計算裝置510的該鍵盤鍵入一字，該字將會出現在該第二計算裝置520的該顯示監視器上。在一些實現方式中，如果檢測到一方向變化(例如，該使用者翻轉該等兩個裝置)，角色會被交換，使得該第一計算裝置510可根據該第二個角色進行操作，而該第二計算裝置520可根據該第一角色進行操作。
圖6係一示意圖，其描繪了一示例多裝置協作環境600，其包括一與一虛擬鋼琴鍵盤角色相關聯的客戶端計算裝置。
多裝置協作環境600可包括一第一計算裝置610，和經由一連接介面被連接的一第二計算裝置620。與 該第一計算裝置510相關聯的一第一角色可以包括一虛擬鋼琴鍵盤。一使用者可以使用該第一計算裝置610的一觸控螢幕能力來操作該虛擬鋼琴鍵盤。該第二計算裝置620可以與包含有一樂譜顯示器的一第二角色相關聯。舉例來說，當該使用者使用該第一計算裝置610彈奏該鋼琴時，正在被彈奏的該等音符會被突顯在該第二計算裝置620的一顯示器上。當該使用者接近正由該第二計算裝置620所顯示的該樂譜的該等音符的末端時，該樂譜的下一頁面可被自動地出現在(該第二計算裝置620的)該顯示器上。當使用者在該虛擬鋼琴鍵盤上彈奏一不正確的音符時，該使用者可經由該第一計算裝置610接收圖形、音訊、和/或觸覺式反饋，使得該使用者可以知道該使用者已彈奏該不正確的音符。在一些實現方式中，如果檢測到一方向變化(例如，該使用者翻轉該等兩個裝置)，該等角色會被交換，使得該第一計算裝置610可根據該第二角色進行操作，而該第二計算裝置620可根據該第一角色進行操作。
圖7係一示意圖，其描繪了一示例多裝置協作環境700，其包括顯示出一虛擬鋼琴鍵盤之不同部分的客戶端計算裝置。
兩個或多個計算裝置可以顯示該虛擬鋼琴鍵盤的不同部分。在圖7所示的示例中，該多裝置協作環境700可包括一第一計算裝置710、一第二計算裝置720、以及一第三計算裝置730它們經由至少一個連接介面被連接。該第一計算裝置710可以顯示該虛擬鋼琴鍵盤的一第一部分 711、該第二計算裝置720可顯示該虛擬鋼琴鍵盤的一第二部分721、以及該第三計算裝置730可以顯示該虛擬鋼琴鍵盤的一第三部分731。以這種方式，該使用者可以經由多於一個計算裝置的顯示在一更大尺寸的鋼琴鍵盤上彈奏。類似地，該樂譜可以透過多個裝置來被顯示。舉例來說，該第一計算裝置710可以顯示該樂譜的一第一部分712、該第二計算裝置720可顯示該樂譜的一第二部分722、以及該第三計算裝置730可以顯示該樂譜的一第三部分732。
圖8係一示意圖，其描繪了一示例多裝置協作環境800，其包括充當一種電子閱讀器的客戶端計算裝置。
多裝置協作環境800可包括一第一計算裝置810，和經由一連接介面被連接的一第二計算裝置820。第一內容會被顯示在該第一計算裝置810上而有關於該第一內容至少一部分之第二內容會被顯示在該第二計算裝置820上。該等第一和第二內容可以包括文本、影像、視訊，音訊、和/或其他內容。這可以，舉例來說，使得使用者在一螢幕上閱讀文本的同時，他們可以在另一螢幕上檢視相關的影像和/或視訊。在一些實現方式中，該第一計算裝置和該第二計算裝置當其彼此附接和/或連接時，可以用作為一電子書閱讀器。
圖9係一示意圖，其描繪了一示例多裝置協作環境900，其包含被連接以提供一種擴展觸控螢幕空間的客戶端計算裝置。
多裝置協作環境900可包括一第一計算裝置 910、一第二計算裝置920、一第三計算裝置930、以及一第四計算裝置940，它們經由至少一個連接介面被連接。在該多裝置協作環境900中該等計算裝置的至少一個可以合併經由在該多裝置協作環境900中不同計算裝置所輸入的各種內容。舉例來說，該第一計算裝置910可獲取經由該第一計算裝置910之一觸控螢幕所輸入的第一內容、經由該第二計算裝置920之一觸控螢幕所輸入的第二內容、經由該第三計算裝置930之一觸控螢幕所輸入的第三內容、以及經由該第四計算裝置940之一觸控螢幕所輸入的第四內容。該第一計算裝置910可接著產生合併的內容，其合併了該等第一、第二、第三、和第四內容。以這種方式，一使用者可在多個觸控螢幕顯示器上繪製一張大圖像，而該第一計算裝置910可以把跨越該等多個顯示器所繪製的該整個畫面進行擷取和/或儲存該圖片。
前述的揭露描述了多裝置協作的一些示例性實現方式。該等揭露的實例可以包括系統、裝置、電腦可讀取儲存媒體、和方法用於多裝置協作。為了解釋的目的，某些實例係參照在圖1-2中所示出的組件來說明。然而，該等圖示組件的功能可能重疊，並且可呈現為更少或更多數量的元件和組件。
此外，圖示出元件該功能的全部或部分可以共存或被分散在一些不同地理位置上。而且，該等揭露的實例可以在各種環境中被實現，並不侷限於該等圖示的實例。再者，該配合圖3-4所說明的該操作順序係示例，並不旨在 限制。額外或較少操作或操作的組合可以被使用，或者可被變化，且不脫離該等揭露實例的該範疇。此外，與該等揭露實例一致的實現方式不需要以任何特定順序的該操作順序來執行。因此，本發明僅是闡述實現的可能示例，並且可對該等描述實例做許多的變化和修改。所有的這些修改和變化旨在被包含在本發明的範疇內，並且由以下的權利請求項所保護。
100‧‧‧系統
121‧‧‧連接判定引擎
122‧‧‧角色交換引擎
123‧‧‧觸覺式鍵盤引擎
124‧‧‧虛擬鋼琴引擎
125‧‧‧電子閱讀器引擎
126‧‧‧內容合併引擎
129‧‧‧資料儲存
140A、140B、140N ‧‧‧客戶端計算裝置

Claims (15)

  1. 一種由一計算裝置執行用於多裝置協作的方法，該方法包含有：當具有一第一處理器之一第一計算裝置與具有一第二處理器之一第二計算裝置連接時，由該第一計算裝置識別將由該第一計算裝置所扮演的一第一角色，其中當該第二計算裝置與該第一計算裝置連接時，該第二計算裝置扮演一第二角色；以及由該第一計算裝置判定至少一個預定的觸發事件何時發生，其致使該第一角色和第二角色被交換，使得該第一角色由該第二計算裝置來扮演而該第二角色由該第一計算裝置來扮演。
  2. 如請求項1之方法，其中該第一角色與該第二角色包含有一鍵盤、一觸覺式鍵盤、一鋼琴鍵盤、一遊戲控制器、一繪圖板、以及一內容顯示器中的至少一個。
  3. 如請求項1之方法，其包含有：由該第一計算裝置判定該第一計算裝置何時被連接到該第二運算裝置；以及回應於判定該第一計算裝置被連接到該第二計算裝置，產生一提示符用於請求一使用者為該第一計算裝置選擇一角色。
  4. 如請求項3之方法，其包含有：由該第一計算裝置接收該選擇的角色；以及 由該第一計算裝置把該選擇的角色相關聯到該第一計算裝置作為該第一角色。
  5. 如請求項1之方法，其中該至少一個預定觸發事件包含有該第一或第二計算裝置的一方向變化和一使用者輸入中的至少一個。
  6. 一種包含有指令的非暫時性機器可讀儲存媒體，該等指令可由一第一平板計算裝置的一處理器執行用於多裝置協作，該非暫時性機器可讀儲存媒體包含有：把一第一角色相關聯到該第一平板計算裝置的指令，其中當該第一平板計算裝置與一第二平板計算裝置相連接時，該第一平板計算裝置根據該第一角色來操作；判定至少一個預定觸發事件何時發生的指令，該事件發生將致使該第一角色和與該第二平板計算裝置相關聯的一第二角色進行交換；以及回應於判定該至少一個預定觸發事件的發生，把該第二角色相關聯到該第一平板計算裝置的指令，其中當該第一平板計算裝置與該第二平板計算裝置相連接時，該第一平板計算裝置根據該第二角色來操作。
  7. 如請求項6之非暫時性機器可讀儲存媒體，其中該第一角色與該第二角色包含有一虛擬鋼琴鍵盤和一樂譜顯示器中的至少一個。
  8. 如請求項7之非暫時性機器可讀儲存媒體，其包含有：判定一使用者基於該樂譜在該虛擬鋼琴鍵盤上何時彈奏一不正確的音符；以及 回應於判定該使用者彈奏該不正確的音符，提供圖形、音訊、或觸覺反饋給該使用者的指令，使得該使用者意識到該使用者已經彈奏該不正確的音符。
  9. 如請求項6之非暫時性機器可讀儲存媒體，其中該第一角色或該第二角色包括一觸覺式鍵盤，該非暫時性機器可讀儲存媒體包含有：當該第一平板計算裝置與該第二平板計算裝置相連接時，使鍵盤按鍵中的至少一個從該觸覺式鍵盤中向上突出的指令；以及當該第一平板計算裝置從該第二平板計算裝置被斷開時，使鍵盤按鍵中的該至少一個向下凹入的指令。
  10. 如請求項6之非暫時性機器可讀儲存媒體，其包含有：致使第一內容顯示在該第一平板計算裝置上的指令；判定與該第一內容的至少一部分有關之第二內容的指令；以及致使該第二內容顯示在該第二平板計算裝置上的指令。
  11. 一種用於多裝置協作的系統，其包含有：包含有一第一處理器的一第一平板計算裝置，用以進行下列動作：當該第一平板計算裝置被連接到一第二平板計算裝置時，執行與一第一角色相關聯的一第一組任務；以及包含有一第二處理器的一第二平板計算裝置，用以進行下列動作： 當該第二平板計算裝置被連接到該第一平板計算裝置時，執行與一第二角色相關聯的一第二組任務；檢測該第一平板計算裝置和該第二平板計算裝置的至少一個中的一方向變化，以及基於該檢測到的方向變化，執行該第一組任務而不是該第二組任務。
  12. 如請求項11之系統，其包含有：包含有一第三處理器的一第三平板計算裝置，用以進行下列動作：當該第三平板計算裝置被連接到該第一平板計算裝置和該第二平板計算裝置中的至少一個時，執行與一第三角色相關聯的一第三組任務。
  13. 如請求項12之系統，其中該第一平板計算裝置顯示一虛擬鋼琴鍵盤的一第一部分、該第二平板計算裝置顯示該虛擬鋼琴鍵盤的一第二部分、以及該第三平板計算裝置顯示該虛擬鋼琴鍵盤的一第三部分。
  14. 如請求項11之系統，其中該第一平板計算裝置和該第二平板計算裝置當彼此連接時會運作為一電子圖書閱讀器。
  15. 如請求項11之系統，其中該第一平板計算裝置包含有一第一觸控螢幕而該第二平板計算裝置包含有一第二觸控螢幕，該第一處理器用以進行下列動作：經由該第一觸控螢幕獲得輸入的第一內容；經由該第二觸控螢幕獲得輸入的第二內容；以及產生合併該第一內容和該第二內容的第三內容。
TW104127143A 2014-08-29 2015-08-20 多裝置協作技術 TWI575385B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/053319 WO2016032501A1 (en) 2014-08-29 2014-08-29 Multi-device collaboration

Publications (2)

Publication Number Publication Date
TW201621690A TW201621690A (zh) 2016-06-16
TWI575385B true TWI575385B (zh) 2017-03-21

Family

ID=55400210

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104127143A TWI575385B (zh) 2014-08-29 2015-08-20 多裝置協作技術

Country Status (5)

Country Link
US (1) US10761906B2 (zh)
EP (1) EP3186717A4 (zh)
CN (1) CN107077450B (zh)
TW (1) TWI575385B (zh)
WO (1) WO2016032501A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095861B (zh) * 2016-06-02 2019-07-26 联想(北京)有限公司 一种信息处理方法及电子设备
KR102527824B1 (ko) 2018-07-31 2023-05-02 삼성전자주식회사 복수의 출력 화면 환경에서 가상 입력 인터페이스의 표시를 제어하기 위한 전자 장치 및 그의 동작 방법
JP7447520B2 (ja) * 2020-02-06 2024-03-12 ヤマハ株式会社 楽器用表示装置および楽器用表示装置の表示切替方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080141259A1 (en) * 2004-05-21 2008-06-12 Koninklijke Philips Electronics, N.V. Method and System for Processing Jobs with Two Dual-Role Devices
US20110100198A1 (en) * 2008-06-13 2011-05-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for generating a note signal upon a manual input
US20130327200A1 (en) * 2012-06-07 2013-12-12 Gary S. Pogoda Piano Keyboard with Key Touch Point Detection
US20140137020A1 (en) * 2012-11-09 2014-05-15 Sameer Sharma Graphical user interface for navigating applications

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010054986A1 (en) 1999-05-18 2001-12-27 Michael V. Leman Pen-based split computer display
US6710770B2 (en) 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
CN2662407Y (zh) 2003-08-20 2004-12-08 李玉光 无线网络钢琴
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US20050114825A1 (en) 2003-11-24 2005-05-26 International Business Machines Corporation Laptop computer including a touch-sensitive display and method of driving the laptop computer
US7453418B2 (en) 2003-12-19 2008-11-18 Speechgear, Inc. Display of visual data as a function of position of display device
WO2005119404A1 (en) * 2004-06-01 2005-12-15 Beech Technology Incorporated Portable, folding and separable multi-display computing system
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US7881295B2 (en) * 2006-03-24 2011-02-01 Scenera Technologies, Llc Establishing directed communication based upon physical interaction between two devices
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US8116223B2 (en) * 2006-11-09 2012-02-14 Ivt Technology Inc. System and method for supporting automatic establishing and disconnecting several wireless connections
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US20110090155A1 (en) 2009-10-15 2011-04-21 Qualcomm Incorporated Method, system, and computer program product combining gestural input from multiple touch screens into one gestural input
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
WO2012171583A1 (en) * 2011-06-17 2012-12-20 Nokia Corporation Audio tracker apparatus
WO2013034070A1 (zh) * 2011-09-05 2013-03-14 联想(北京)有限公司 显示方法、终端设备以及多终端设备***
US20130076654A1 (en) 2011-09-27 2013-03-28 Imerj LLC Handset states and state diagrams: open, closed transitional and easel
US9082380B1 (en) * 2011-10-31 2015-07-14 Smule, Inc. Synthetic musical instrument with performance-and/or skill-adaptive score tempo
WO2013091136A1 (en) * 2011-12-21 2013-06-27 Intel Corporation Mechanism for facilitating a tablet block of a number of tablet computing devices
US8963857B2 (en) * 2012-02-21 2015-02-24 Lg Electronics Inc. Electronic device and method of controlling the same
CN202548764U (zh) 2012-03-19 2012-11-21 深圳市迪瑞德科技有限公司 早教输入设备
US9092184B2 (en) * 2012-06-22 2015-07-28 Harborside Press, LLC Interactive synchronized multi-screen display
CN202887066U (zh) 2012-10-05 2013-04-17 罗天成 一种新型分体式平板电脑
US9537908B2 (en) * 2013-06-11 2017-01-03 Microsoft Technology Licensing, Llc Collaborative mobile interaction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080141259A1 (en) * 2004-05-21 2008-06-12 Koninklijke Philips Electronics, N.V. Method and System for Processing Jobs with Two Dual-Role Devices
US20110100198A1 (en) * 2008-06-13 2011-05-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for generating a note signal upon a manual input
US20130327200A1 (en) * 2012-06-07 2013-12-12 Gary S. Pogoda Piano Keyboard with Key Touch Point Detection
US20140137020A1 (en) * 2012-11-09 2014-05-15 Sameer Sharma Graphical user interface for navigating applications

Also Published As

Publication number Publication date
CN107077450A (zh) 2017-08-18
US20170293506A1 (en) 2017-10-12
US10761906B2 (en) 2020-09-01
WO2016032501A1 (en) 2016-03-03
CN107077450B (zh) 2021-01-05
EP3186717A1 (en) 2017-07-05
TW201621690A (zh) 2016-06-16
EP3186717A4 (en) 2018-01-17

Similar Documents

Publication Publication Date Title
US11829720B2 (en) Analysis and validation of language models
US11575635B2 (en) Method for notifying reception of message including user-set keyword, and non-transitory computer-readable recording medium for executing the same
US10073963B2 (en) Claiming data from a virtual whiteboard
US11256865B2 (en) Method and apparatus for sending sticker image during chat session
US9412363B2 (en) Model based approach for on-screen item selection and disambiguation
US10122839B1 (en) Techniques for enhancing content on a mobile device
TWI531916B (zh) 用於系統層級搜尋使用者介面之登錄的計算裝置、電腦儲存記憶體及方法
US8515984B2 (en) Extensible search term suggestion engine
JP5903107B2 (ja) システムレベル検索ユーザーインターフェース
US9886958B2 (en) Language and domain independent model based approach for on-screen item selection
US20150331557A1 (en) Selector to coordinate experiences between related applications
TW201502823A (zh) 用於搜尋結果文件之基於查詢的代表內容之以區塊爲中心的使用者介面
US20150309690A1 (en) Method and system for searching information records
US10229187B2 (en) System for determination of automated response follow-up
TWI575385B (zh) 多裝置協作技術
TW201506685A (zh) 以語音辨識來選擇控制客體的裝置及方法
WO2017219525A1 (zh) 一种界面显示的方法及终端
US20180173377A1 (en) Condensed communication chain control surfacing
US20160150038A1 (en) Efficiently Discovering and Surfacing Content Attributes
US11571626B2 (en) Software ownership validation of optical discs using secondary device
WO2018010315A1 (zh) 桌面页面管理方法及装置
US9009659B2 (en) Method and system for displaying context-based completion values in an integrated development environment for asset management software
WO2016062207A1 (zh) 一种引导用户激活usb调试选项的方法与装置
US20160034602A1 (en) Storing and presenting data associating information in a file with the source of the information
WO2020210977A1 (zh) 局部选取轨迹和轨迹拆合的方法、电子设备、存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees