CN106462371A - 提供协作式交互的***和方法 - Google Patents

提供协作式交互的***和方法 Download PDF

Info

Publication number
CN106462371A
CN106462371A CN201580025023.0A CN201580025023A CN106462371A CN 106462371 A CN106462371 A CN 106462371A CN 201580025023 A CN201580025023 A CN 201580025023A CN 106462371 A CN106462371 A CN 106462371A
Authority
CN
China
Prior art keywords
computing device
recipient
sender
gui
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580025023.0A
Other languages
English (en)
Inventor
S·M·康克林
P·L·戴维森
A·阿查姆包尔特
J·Y·李
J·伯格
P·左
P·罗根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106462371A publication Critical patent/CN106462371A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种用于在接收方计算设备和发送方计算设备之间提供协作式交互的方法。该方法包括：在接收方计算设备处，建立与发送方计算设备的本地对等无线连接，经由所述本地对等无线连接从所述发送方计算设备接收在所述发送方计算设备上执行的远程执行的应用程序的GUI的数据，在与所述接收方计算设备相关联的显示器上显示所述GUI，从与所述接收方计算设备相关联的输入设备接收指示与所述GUI的用户交互的用户输入，将所述用户输入发送给所述发送方计算设备，从所述发送方计算设备接收指示由所述发送方计算设备基于所述用户输入所生成的所述GUI的经更新的状态的数据，以及在与所述接收方计算设备相关联的显示器上显示所述GUI的经更新的状态。

Description

提供协作式交互的***和方法
背景
诸如膝上型计算机、台式计算机等之类的计算设备可被本地地投射到较大的显示器(诸如投影仪、液晶显示器(LCD)等)以允许在源计算设备上生成的内容能够在例如演示、会议等期间被更多人观看。这一类型的投射观看在大量领域中都是有用的，诸如工程、市场营销、商业、教育等。线缆(诸如视频图像阵列(VGA)线缆)可被用于提供源计算设备和投射设备之间的有线连接。然而，将计算设备和投射设备以这种方式连接可能是低效且耗时的。最近，无线连接已被用于将源计算设备链接到投射设备以简化连接过程。虽然这种类型的连接与有线连接相比可在更短的时间里建立，但是以这种方式无线连接设备来实现投射仍然具有若干项缺陷。例如，显示在投射设备上的内容仅能够经由源计算设备来操纵。这可能是不方便的，例如当用户正站在与源计算设备相比更靠近显示器时，或者当数位用户想要与所显示的内容交互时。
概述
提供了一种用于在接收方计算设备和发送方计算设备之间提供协作式交互的方法。该方法包括：在接收方计算设备处，建立与发送方计算设备的本地对等无线连接，经由所述本地对等无线连接从所述发送方计算设备接收在所述发送方计算设备上执行的远程执行的应用程序的图形用户界面(GUI)的数据，在与所述接收方计算设备相关联的显示器上显示所述GUI，从与所述接收方计算设备相关联的输入设备接收指示与所述GUI的用户交互的用户输入，将所述用户输入发送给所述发送方计算设备，从所述发送方计算设备接收指示由所述发送方计算设备基于所述用户输入所生成的所述GUI的经更新的状态的数据，以及在与所述接收方计算设备相关联的显示器上显示所述GUI的经更新的状态。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
附图简述
图1是示例计算***的示意性描述；
图2是示例接收方设备的图示；
图3－4解说了一种用于在发送方计算设备和接收方计算设备之间提供协作式交互的方法的一个示例的流程图；
图5－6是显示在发送方计算设备上的图形用户界面(GUI)的图示；以及
图7－8是显示在接收方计算设备上的GUI的图示。
详细描述
本文中描述了一种发送方计算设备和接收方计算设备之间的本地对等无线连接，其使得接收方计算设备能够向发送方计算设备提供扩展的显示以及交互能力。具体地，在一个示例中，发送方计算设备被配置成经由对等无线连接将经由应用程序本地生成的图形数据发送给接收方计算设备供呈现在与接收方计算设备相关联的显示器上。相应地，用户可通过对接收方计算设备的输入设备(诸如触摸屏)的操纵与呈现在接收方计算设备上的图形数据交互。随后，对应于输入设备交互的数据被发送回发送方计算设备以供在发送方计算设备上本地处理。响应于对数据的本地处理，图形用户界面(GUI)的经更新的状态被从发送方计算设备发送给接收方计算设备。GUI的经更新的状态反映了经由发送方计算设备基于本地处理的输入设备数据而实施的命令或其它程序功能。以此方式，接收方计算设备可充当远程显示器(例如，投射设备)，同时通过在发送方计算设备上远程处理的图形数据来提供交互能力(例如，触摸输入、指示笔输入等)。将会理解，这种类型的***可被用于演示形式或其它协作式设置，其中多个个人在社交环境下交互。在这类环境下，***可通过接收方计算设备(例如，投射设备)的扩展的交互能力来增强个人之间的社交交互。
图1解说了包括发送方计算设备12和接收方计算设备14的计算***10。将会理解，发送方计算设备可以是一种合适的计算设备，包括但不限于，台式计算设备、膝上型计算机、便携式电子设备、平板计算设备、媒体播放器、移动电话等。接收方计算设备可以是一种例如具有较大显示器的计算设备。具体来说，在一个示例中，接收方计算设备可以是一种具有应用程序处理能力的大尺寸(例如，大于40英寸)屏幕显示器，该显示器可例如被安装在教室、会议室、或办公室的墙上以用于***互。然而，已设想了众多不同类型的计算设备。接收方计算设备的一个示例性实施例在本文中结合图2来更详细地描述。
如所示出的，发送方计算设备12包括处理器16和存储器18。同样地，接收方计算设备14包括处理器20和存储器22。存储器18和存储器22包括存储于其上的代码，该代码可由相关联的处理器执行以实施本文中描述的方法、技术、例程、以及其它功能。
发送方计算设备12还包括显示器24(例如液晶显示器(LCD)、有源矩阵有机发光(AMOLED)、阴极射线管(CRT)等)、输入设备26(例如，鼠标、键盘、触摸板、跟踪板、触敏显示器、以上的组合等等)、以及无线通信设备28(例如，蓝牙设备、Wi-Fi设备、近场通信设备、红外通信、无线调制解调器、以上的组合等)。将会理解，Wi-Fi设备可被配置成支持Wi-Fi直接连接，Wi-Fi直接连接允许计算设备在需要时在没有无线接入点的情况下通信。因此，在一些示例中，Wi-Fi设备可被称为Wi-Fi直接设备。
发送方计算设备12还可包括支持与发送方计算设备的有线连接的连接端口60。以此方式，发送方计算设备12可在需要时经由有线连接发送/接收电子数据。已设想了众多合适的连接端口或连接端口的组合。例如，连接端口60可以是通用串行总线(USB)端口、以太网端口、火线、视频图形阵列(VGA)、以上的组合等等。发送方计算设备12还可包括被配置成投射和/或接收音频信号的音频设备70。因此，音频设备70可包括扬声器、话筒等中的一个或多个。将会理解，在一些示例中，显示器24、输入设备26、无线通信设备28、连接端口60、和/或音频设备70与处理器16和存储器18以及彼此进行电子通信。
另外，在一些示例中，发送方计算设备12和接收方计算设备14可共处一处。例如，计算设备(12和14)可位于同一房间、楼宇、建筑等中。发送方计算设备和接收方计算设备之间的距离可经由被用于提供无线连接的无线通信设备的特性来确定。将会理解，可能期望的是计算设备放置在彼此附近以允许用户能够在需要时通过无线局域网(WLAN)与双方计算设备交互。然而，在其它示例中，发送方和接收方计算设备可能被放置在远程位置并经由更宽的网络(诸如广域网(WAN)连接。
接收方计算设备14包括含有传感器32(例如，触摸传感器)的交互式显示器30(例如，交互式触敏显示器)、输入设备34(例如，鼠标、键盘、跟踪板、触摸板、以上的组合等等)、以及无线通信设备36(例如，蓝牙设备、Wi-Fi设备、近场通信设备、无线调制解调器、以上的组合等)。在一个示例中，交互式显示器30可具有比显示器24更大的观看面积。以此方式，交互式显示器30在需要时可容易地被大量的人观看。因此，接收方计算设备14可在需要时被用于会议、演示、讲座等。此外，在一些示例中，传感器32可以是电容式传感器(例如，电容式触摸传感器)，该传感器被配置成检测因用户实行的触摸或指示笔输入导致的电气变化。在一个示例中，指示笔输入可以是墨水输入。然而，其它类型的触摸传感器已被设想，诸如光触摸传感器、电阻式触摸传感器等。接收方计算设备14还可包括支持有线连接的连接端口62。以此方式，接收方计算设备14可在需要时经由有线连接发送/接收电子数据。已设想了众多合适的连接端口或连接端口的组合。例如，连接端口62可以是通用串行总线(USB)端口、以太网端口、火线、视频图形阵列(VGA)、或以上的组合。接收方计算设备14还可包括被配置成投射和/或接收音频信号的音频设备72。因此，音频设备72可包括扬声器、话筒等中的一个或多个。将会理解，在一些示例中，交互式显示器30、输入设备34、无线通信设备36、和/或音频设备72与处理器20和存储器22以及彼此进行电子通信。可替代地采用其它触摸感测技术，诸如使用受抑全内反射或像素内相机技术的光触摸。
无线通信设备(28和36)被配置成允许计算设备(12和14)经由本地对等连接(例如，本地双向对等无线连接)无线地连接。因此，发送方计算设备12和接收方计算设备14可经由本地对等无线连接38无线通信。本地对等无线连接38可包括蓝牙连接和/或Wi-Fi连接(例如，Wi-Fi直接连接)。蓝牙连接可被用于广播、发现、以及建立各设备间的连接，这要求相对少量的数据传输，而Wi-Fi连接可被用于在各设备间传输大的文件。在一个示例中，计算设备可仅经由本地对等无线连接电子地连接，并且可不共享任何可通过其在各设备间传输数据的其它网络连接。在一个示例中，计算设备可仅经由对等无线连接电子地连接，并且可不共享任何可通过其在各设备间传输的其它网络连接。此外，在一个示例中，计算设备可经由无线连接(即本地对等无线)在本地网(例如局域网(LAN))上电子地连接，并且它们可都连接到同一无线接入点。再又一些其它示例中，计算设备可同时通过有线和无线连接连接。因此，将会理解，发送方计算设备12和接收方计算设备14可在需要时经由有线连接64链接。有线连接64可包括被配置成连接到发送方计算设备12的连接端口60和接收方计算设备14的连接端口62的一个或多个电缆、线缆等。此外，在又一示例中，局域网可不被用于连接各计算设备，并且在发送方计算设备12和接收方计算设备14之间的通信路径上可不存在任何中间设备(例如，计算设备、服务器等)。因此，发送方计算设备12可与接收方计算设备14经由本地对等无线连接、使用自组织点对点连接而不是共享的计算机网络来直接无线通信。
将会理解，计算***10可进一步包括多个发送方计算设备40和接收方计算设备42。多个发送方计算设备40和接收方计算设备42可分别包括与发送方计算设备12和接收方计算设备14类似的组件。然而，将会理解，设备中的具体组件的类型、大小等可能每个设备都不同。另外，多个发送方计算设备40可经由本地对等无线连接38与多个接收方计算设备42无线通信。
发送方应用程序50可存储在发送方计算设备12的存储器18中。发送方应用程序50可被配置成提供与接收方计算设备14的交互式无线连接，如本文中更详细描述的。同样，接收方应用程序52可存储在接收方计算设备14的存储器22中。接收方应用程序52可被配置成提供与发送方计算设备14的交互式无线连接，如本文中更详细描述的。因此，发送方应用程序50和接收方应用程序52可一起工作以提供各计算设备之间的对等无线连接(例如，本地双向对等无线连接)。然而，在其它示例中，替代的程序元件可被用于实现这一功能。发送方计算设备12还可被配置成本地地执行另一应用程序66。将会理解，应用程序66可被称为第二应用程序。应用程序66可以是电子表格应用程序、文字处理应用程序、绘画应用程序、web浏览器应用程序、电子邮件应用程序等。将会理解，在一个示例中，对应于应用程序66的图形可被呈现在对应于发送方应用程序50的GUI内。然而，已设想了其它图形配置。同样，接收方计算设备12也可被配置成本地地执行应用程序68。应用程序68可以是图形编辑应用程序、白板应用程序、电子表格应用程序、文字处理应用程序、视频编辑应用程序、绘画应用程序等。在一个示例中，应用程序66可不同于应用程序68。另外，将会理解，在一个示例中，对应于应用程序68的图形可被呈现在对应于接收方应用程序52的GUI内。
以上所述的应用程序可经由对应的计算设备中的对应的处理器和存储器来执行。此外，应用程序可在由存储器中存储的操作***所提供的台式环境的上下文中执行。然而，在其它示例中，应用程序可以经由其它程序框架来提供。
图2示出了示例接收方计算设备200。接收方计算设备200可类似于图1中示出的接收方计算设备14。因此，接收方计算设备200可包括图1中示出的接收方计算设备14中的存储器和处理器以及其它组件。具体来说，接收方计算设备可以是根据本公开的示例的大尺寸多点触控计算设备200。例如，接收方计算设备200可具有大于1米的对角线尺寸。在其它特别大尺寸示例中，该对角线尺寸可以为55英寸或更大。具体来说，在一个示例中，接收方计算设备可具有比其无线连接到的发送方计算设备更大的显示器。接收方计算设备200可被配置成感测多个触摸输入源，诸如由用户的手指202或由用户操纵的指示笔204所施加的触摸输入。将会理解，在同时或重叠的时间间隔实施的多个输入(例如，触摸和/或墨水输入)可经由接收方计算设备200被感测。因此，接收方计算设备200可包括如之前所讨论的触摸传感器，诸如电容式触摸传感器。
接收方计算设备200可被连接到图像源S，诸如外部计算机或机载处理器。图像源S可接收来自接收方计算设备200的多点触摸输入、处理该多点触摸输入、并作为响应产生合适的图形输出206。接收方计算设备200可包括触敏显示器208(例如，电容式触敏显示器)以实现多点触摸感测功能。
现在转至图3-4，解说了一种用于在接收方计算设备和发送方计算设备之间提供协作式交互的方法300。方法300可使用以上所描述的***和设备的硬件和软件组件来实现。_具体来说，该方法可经由发送方计算设备12和接收方计算设备14实现为存储在存储器中的可由处理器执行的代码。具体地，在一个示例中，方法300可经由发送方应用程序50和接收方应用程序52来实现。在这样的示例中，被指示为经由发送方计算设备实现的步骤经由发送方应用程序来实现，而被指示为经由接收方计算设备实现的步骤经由接收方应用程序来实现。然而，在替代实施例中，方法300可使用合适的硬件和软件组件来实现。
如图3中所示，方法300包括，在302，在发送方计算设备处，呈现设备发现图形用户界面(GUI)，该GUI包括多个被标识的接收方计算设备的列表，其中包括该接收方计算设备。在一个示例中，该列表中的多个被标识的接收方计算设备是经由无线连接标识的。因此，发送方计算设备可被配置成与接收方计算设备无线通信。此外，在一个示例中，该列表中的多个被标识的接收方计算设备可基于发送方计算设备与接收方计算设备之间的距离来标识。此外，在又一示例中，这些距离是基于Wi-Fi通信、蓝牙通信、以及近场通信(NFC)中的一个或多个来确定的。在又一示例中，该列表中的多个被标识的接收方计算设备中的每一个的相对位置是基于接收方计算设备和发送方计算设备之间的双向通信的频率和/或接收方计算设备和发送方计算设备之间的双向通信的日期和时间(例如，新近程度)来确定的。具体地，在一个示例中，频率和新近程度可在确定显示被标识的接收方计算设备的顺序的算法中被加权。以此方式，用户更可能选择的接收方计算设备可被呈现在它们可被更容易地在显示器上看到的位置。然而，已设想了众多设备发现GUI配置。在另一示例中，列表包括与多个被标识的接收方计算设备相关联的缩略图(即预览图像)。例如，接收方计算设备可在被标识的接收方计算设备的列表中被表示为缩略图。缩略图是图片、图像、和/或图形的缩减尺寸的版本。
接着，在303，该方法包括，在输入设备处，通过与发送方计算设备相关联的输入设备来将选择输入提供给发送方计算设备。选择输入是对包括在多个被标识的接收方计算设备的列表中的某接收方计算设备的选择。输入设备可以是鼠标、触摸板、跟踪板、键盘、触摸屏、话筒、相机、以上的组合等，并因此该选择输入可以是经由输入设备生成并传输给计算设备的数据。例如，选择输入可包括在指针靠近该列表中的被标识的接收方计算设备的图形表示中的一个时按下鼠标按钮。因此，该选择输入包括指示对包括在多个被标识的接收方计算设备的列表中的某接收方计算设备的选择的数据。将会理解，输入设备可经由有线和/或无线连接连接到发送方计算设备。例如，USB和/或蓝牙连接可被用于将输入设备连接到发送方计算设备。然而，在其它示例中，输入设备可被集成在发送方计算设备中。因此，选择输入可被内部地提供(例如传输)给发送方计算设备的处理***。
接着，在304，该方法包括，在发送方计算设备处，从与发送方计算设备相关联的输入设备接收对于包括在多个被标识的接收方计算设备的列表中的某接收方计算设备的选择输入。
在306，该方法包括，在发送方计算设备处，响应于接收到对接收方计算设备的选择输入，隐藏设备发现GUI并显示连接条。通过这种方式，该界面可被隐藏以为GUI中的其他图形提供附加空间。
接着，在308，该方法包括在接收方计算设备处建立与发送方计算设备的本地对等无线连接。在一个示例中，本地对等无线连接是Wi-Fi连接、蓝牙连接、或Wi-Fi直接连接。此外，在一个示例中，发送方计算设备可发起建立本地对等连接。
在309，该方法包括，在发送方计算设备处，响应于接收到选择输入，将在发送方计算设备上执行的远程执行的应用程序的GUI的数据发送给接收方计算设备。
在310，该方法包括，在接收方计算设备处，经由本地对等无线连接从发送方计算设备接收在发送方计算设备上执行的远程执行的应用程序的GUI的数据。
在一些实施例中，发送方计算设备和接收方计算设备之间的对等无线连接可支持音频传输。因此，在一些实施例中，该方法可包括，在311，响应于在发送方计算设备和接收方计算设备之间建立本地对等连接，将与GUI相关联的音频数据发送给接收方计算设备，并且在312，在接收方计算设备处接收来自发送方计算设备的音频数据并经由音频设备投射该音频数据。将会理解，投射音频数据包括将音频信号发送给扬声器。以此方式，音频数据可在各计算设备之间传输以进一步增强协作交互。然而，在其它示例中，音频传输可能不被接收方计算设备所支持。
现在转至图4，在314，该方法包括，在接收方计算设备处，在与接收方计算设备相关联的显示器(例如，交互式显示器)上显示GUI。在一个示例中，GUI被显示在显示器(例如，交互式触敏显示器)上的窗口内，该窗口与在接收方计算设备上本地执行的应用程序相关联。在一个示例中，当GUI被显示在接收方计算设备上时，其它发送方计算设备可被禁止向接收方计算设备发送供显示的GUI。具体地，在一个示例中，显示GUI可能替换为另一发送方计算设备的GUI。以此方式，发送方计算设备可打断第二发送方计算设备与接收方计算设备之间的另一会话。然而，在其它示例中，这种类型的显示打断可被禁止。此外，在又一些其它示例中，多个发送方计算设备可被准许将GUI发送给接收方计算设备供显示。以此方式，多个用户可同时地将内容同时呈现在显示器上，从而促进许多个用户之间的协作式交互。
在315，该方法包括，在与接收方计算设备相关联的输入设备处，将用户输入提供给接收方计算设备。在一个示例中，输入设备是与接收方计算设备相关联的触敏显示器的触摸传感器，该触摸传感器被配置成感测用户的手指或指示笔的触摸。在这样的示例中，用户输入是对应于所感测到的用户的手指的触摸的触摸输入或者对应于所感测到的指示笔的触摸的墨水输入。然而，在其它示例中，输入设备可以是触摸板、鼠标、键盘等。
接着，在316，该方法包括，在接收方计算设备处，从与接收方计算设备相关联的输入设备接收指示与GUI的用户交互的用户输入。
接着，在318，该方法包括，在接收方计算设备处，将用户输入发送给发送方计算设备。在319，该方法包括，在发送方计算设备处，接收用户输入。
在320，该方法包括，在发送方计算设备处，响应于接收到用户输入，基于该用户输入实施应用程序动作(例如，命令)。因此，将会理解，应用程序动作可以在应用程序(诸如图1中示出的应用程序66)中实施。动作可以是任何合适的动作，并且作为实例，可包括在幻灯片上绘画、更改幻灯片、更改单元格中的字母数字数据、驱动图形上的滑动条等。以此方式，接收方计算设备可充当交互式***设备，其将用户输入返回给在发送方计算设备上本地执行的应用程序。作为结果，为用户提供了丰富的交互式体验，该交互式体验实现了在例如会议、演示、研讨会、上课等期间的直观且协作式的交互。接着，在321,该方法包括基于应用程序动作(例如，命令)来更新GUI。
接着，在322，该方法包括，在发送方计算设备处，发送指示由发送方计算设备基于用户输入所生成的GUI的经更新的状态的数据。具体地，在一个示例中，该经更新的状态反映了GUI中的图形变化，该图形变化基于经由应用程序在发送方计算设备上远程执行的动作。将会理解，该动作可响应于在发送方计算设备处接收到用户输入来实施。
在324，该方法包括，从发送方计算设备处接收指示由发送方计算设备基于用户输入所生成的GUI的经更新的状态的数据。将会理解，该数据可被称为GUI更新。接着，在326，该方法包括在与接收方计算设备相关联的显示器上显示GUI的经更新的状态。示例性经更新的状态包括对按钮的选择、对对象的移动、对字段的选择、对搜索查询的执行等。将会理解，经更新的状态可包括与经由发送方计算设备上的应用程序实施的程序动作相关联的众多图形改变。
在一些实施例中，本文中描述的方法和过程可以与一个或多个计算设备的计算***绑定。尤其地，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图5-8示出可在接收方计算设备(例如，图1中示出的接收方计算设备14)和发送方计算设备(例如，图1中示出的发送方计算设备12)之间的连接会话之前和期间显示(例如依次显示)的GUI。因此，将会理解，图1中示出的显示器24和交互式显示器30可呈现图5-8中示出的各GUI。具体地，图5-8中解说了可经由图1中所示的发送方计算设备12和接收方计算设备14来执行和显示的一系列GUI。因此，附图中的各GUI被依次在时间T1、T2、T3、以及T4时实现。此外，图5-8中示出的GUI表示可在方法300的实现期间被生成和显示的示例性GUI。
具体地，图5-6示出可经由图1所示的发送方计算设备12执行和显示的GUI 500。因此，GUI可被显示在图1中所示的显示器24上。具体地，当发送方计算设备和接收方计算设备之间的连接会话正被建立时，可显示图5-6中示出的GUI。
图5解说了一个示例GUI 500。GUI 500可对应于图1中示出的发送方应用程序50。继续图5，在所示出的示例中，GUI 500包括窗口501。在窗口501(例如，设备发现窗口)中，示出了多个被标识的接收方计算设备504的列表502。在被描绘的实施例中，窗口501被呈现在一个更大的窗口510中。然而，在其它示例中，窗口501可以其它配置来呈现。窗口510包括各种图形元素，诸如应用程序图标512、回收站图标514等。
列表502中的每一个接收方计算设备可包括与该设备相关联的图形(例如缩略图)和/或字母数字符号。以此方式，用户可更容易地认出他们想要连接到的设备。如所示出的，列表502可包括建议的设备。该设备可基于发送方计算设备和接收方计算设备有多新近地和/或有多频繁地拥有双向通信会话来建议。此外，该列表中呈现的各接收方计算设备的物理或逻辑位置可基于所确定的各设备之间的物理距离、或基于各设备在网络上的逻辑位置(例如在同一子网上)来选择。这些距离可基于Wi-Fi信号、蓝牙信号、NFC信号、子网发现、或以上的组合来确定。以此方式，最靠近发送方计算设备并因此更可能被彼此连接的接收方计算设备被方便地显示在GUI中。如所示出的，该列表包括以垂直配置放置在彼此上下的各接收方计算设备。然而，已设想了用于显示各接收方计算设备的其它格式。例如，该列表可具有水平配置。此外，在又一些示例中，接收方计算设备可以以瓦块配置来呈现，其中该列表中的每一个接收方计算设备被显示在网格中的一个瓦块中。
还可在GUI 500中提供使得用户能够发起与想要的接收方计算设备的无线连接的按钮506或其它合适的选择器。还可提供选择器507，其使得用户能够准许或禁止发送方计算设备和接收方计算设备之间的本地对等无线连接。如所示出的，可在GUI 500中提供搜索栏508，其允许用户搜索接收方计算设备。搜索栏508允许用户输入想要的符号，该符号可指示与搜索栏中的符号(例如，项)相关联的设备。另外，GUI中可提供使得用户能够断开接收方计算设备和发送方计算设备之间的无线连接的按钮。
图5中还示出了对列表502中的接收方计算设备中的一个的选择输入516。在所描绘的示例中，该选择输入是经由可与输入设备(诸如鼠标)相关联的光标来实施的。然而，已设想了众多类型的选择输入，诸如触摸手势。响应于该选择输入，发送方计算设备建立与所选择的接收方计算设备的本地对等无线连接。
图6解说了在计算设备之间建立了本地对等无线连接之后的GUI 500。GUI 500的桌面510仍然被显示。另外，将会理解，对应于图标512的多个应用程序可被显示在窗口510内。如图6中所示，图5中示出的设备发现窗口501被从视野中隐藏，而指示发送方计算设备与所选择的接收方计算设备的无线对等连接的小图标601被显示。如所示出的，按钮602可被提供在GUI 500中以允许用户将发送方计算设备与所选择的接收方计算设备断开。
图6中还示出了应用程序窗口610。应用程序窗口610对应于所描绘的示例中的绘画应用程序。然而，在其它示例中，其它类型的应用程序可被显示在一个或多个中。
图7解说了示例GUI 700，其可被显示在图1中所示的接收方计算设备14的交互式显示器30上。对应于发送方计算设备的窗口510和应用程序窗口610被显示。将会理解，窗口510和610经由发送方计算设备执行并随后被通过本地对等无线连接发送给接收方计算设备供显示。以此方式，接收方计算设备向发送方计算设备提供投射功能。
图8示出在接收方计算设备接收到用户输入并将用户输入发送给发送方计算设备之后的GUI 700。具体来说，图8中示出了与触敏显示器的触摸接触800形式的用户输入。接收方计算设备接收用户输入并且随后将该用户输入发送给发送方计算设备。
响应于接收到用户输入，发送方计算设备基于响应于该用户输入而实施的应用程序动作来更新图6中所示的GUI 500。接着，发送方计算设备发送指示由发送方计算设备基于用户输入所生成的GUI的经更新的状态的数据。随后基于经更新的状态更新GUI 700。
在图8中所示的实施例中，更新GUI 700包括在应用程序窗口610中画线。以此方式，接收方计算设备可被用于与显示在其上并且在发送方计算设备上远程处理的内容进行交互。作为结果，接收方计算设备的功能被扩展。另外，图8示出了本地执行的按钮804被显示在GUI 700中。这些按钮由接收方计算设备提供以实现对显示在接收方计算设备上并且由发送方计算设备远程执行的内容的附加操纵。以此方式，接收方计算设备可包括一组本地处理功能。
使用以上描述的***和方法，用户能够与接收方计算设备上呈现的内容交互，即使该内容是由发送方计算设备上的应用程序远程执行的。因此，接收方计算设备的功能被扩展，这使得用户能够在例如演示或会议期间容易地操纵在接收方计算设备(例如，投射设备)上呈现但是经由发送方计算设备本地处理的内容。
返回到以上描述的***的硬件配置，本文中描述的处理器可包括被配置成执行指令的一个或多个物理设备。例如，处理器可以被配置成执行指令，所述指令是一个或多个应用、服务、程序、例程、库、对象、部件、数据结构或其他逻辑构造的一部分。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其它方式得到期望结果。
逻辑子***可包括被配置成执行软件指令的一个或多个处理器。另外地或替代地，处理器可以包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。处理器可以是单核的或多核的，其上执行的指令可以被配置用于串行、并行和/或分布式处理。处理器的个别组件可任选地分布在两个或更多个分开的设备之间，所述设备可以位于远程以及/或者被配置用于协同处理。处理器的各方面可以被在云计算配置中配置的远程可访问的、联网计算设备虚拟化和执行。
本文中描述的存储器可以包括可移动和/或内置设备。本文中描述的存储器可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。本文中描述的存储器可以包括易失性的、非易失性的、动态的、静态的、读/写的、只读的、随机存取的、依序存取的、位置可定址的、文件可定址的以及/或者内容可定址的设备。
将会理解，本文中描述的存储器包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
本文中描述的处理器和存储器的各方面可以被一起集成为一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上***(SOC)以及复杂可编程逻辑器件(CPLD)。
术语“应用程序”可用于描述被实现为执行一个特定功能的计算***的一方面。在一些情况下，应用程序可经由处理器执行存储器所保持的指令来实例化。将会理解，可以从同一服务、代码块、对象、库、例程、API、功能等实例化不同的应用程序。同样，同一应用程序可由不同的服务、代码块、对象、例程、API、功能等实例化。术语应用程序摂可包含可执行文件、数据文件、库、驱动器、脚本、数据库记录等等的个体或群组。
在被包括时，显示设备可用于呈现由存储器保持的数据的视觉表示。该视觉表示可采用GUI的形式。当本文所描述的方法和过程改变了由存储器保持的数据，并由此变换了存储器的状态时，显示器的状态可类似地被转换以视觉地表示底层数据的改变。可将显示设备与处理器和/或存储器组合在共享封装中，或这样的显示设备可以是***显示设备。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其它顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、***和配置以及此处公开的其它特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。
本公开的主题被进一步描述在以下段落中。根据一个方面，提供了一种用于在接收方计算设备和发送方计算设备之间提供协作式交互的方法。该方法包括在接收方计算设备处，建立与发送方计算设备的本地对等无线连接；经由所述本地对等无线连接从所述发送方计算设备接收在所述发送方计算设备上执行的远程执行的应用程序的图形用户界面(GUI)的数据；在与所述接收方计算设备相关联的显示器上显示所述GUI；从与所述接收方计算设备相关联的输入设备接收指示与所述GUI的用户交互的用户输入；将所述用户输入发送给所述发送方计算设备；从所述发送方计算设备接收指示由所述发送方计算设备基于所述用户输入所生成的所述GUI的经更新的状态的数据；以及在与所述接收方计算设备相关联的显示器上显示所述GUI的经更新的状态。
在这一方面，所述本地对等无线连接可以是Wi-Fi直接连接。
在这一方面，所述显示器是触敏显示器并且所述输入设备是所述触敏显示器的触摸传感器，所述触摸传感器被配置成感测用户的手指或指示笔的触摸，并且所述用户输入是对应于感测到的所述用户的手指的触摸的触摸输入或者对应于感测到的指示笔的触摸的墨水输入。
在这一方面，该方法可进一步包括在接收到远程执行的GUI之前，在所述发送方计算设备处：呈现包括多个被标识的接收方计算设备的列表的设备发现图形用户界面，所述多个被标识的接收方计算设备包括所述接收方计算设备；从与所述接收方设备相关联的输入设备接收对所述接收方计算设备的选择输入；以及
响应于接收到所述选择输入，将所述GUI发送给所述接收方计算设备。
在这一方面，所述列表中的多个被标识的接收方计算设备可以是经由无线连接标识的。
在这一方面，所述列表中的多个被标识的接收方计算设备可基于发送方计算设备与接收方计算设备之间的物理或逻辑距离来标识。
在这一方面，这些距离可基于Wi-Fi连接、蓝牙通信、近场通信(NFC)、以及子网发现中的一个或多个来确定。
在这一方面，所述列表中的多个被标识的接收方计算设备中的每一个的相对位置可以是基于所述接收方计算设备和所述发送方计算设备之间的双向通信会话的频率以及所述接收方计算设备和发送方计算设备之间的双向通信会话的日期和时间来确定的。
在这一方面，所述列表可包括与多个被标识的接收方计算设备相关联的预览图像。
在这一方面，该方法还可包括在所述发送方计算设备处，响应于从与所述接收方设备相关联的输入设备处接收到对所述接收方计算设备的选择输入，隐藏设备发现图形用户界面并显示连接条。
在这一方面，所述GUI被显示在所述显示器上的窗口内，所述窗口与在所述接收方计算设备上本地执行的应用程序相关联。
根据另一方面，提供了一种接收方计算设备。接收方计算设备包括处理器，所述处理器被配置成：建立与所述接收方计算设备共处一处的发送方计算设备的本地双向对等无线连接；经由所述本地双向对等无线连接从所述发送方计算设备接收在所述发送方计算设备上执行的远程执行的应用程序的图形用户界面(GUI)的数据；在与所述接收方计算设备相关联的交互式触敏显示器上显示所述GUI；从所述交互式触敏显示器接收指示与所述GUI的用户交互的用户输入，所述用户输入包括触摸输入和墨水输入中的至少一个；将所述用户输入发送给所述发送方计算设备；从所述发送方计算设备接收指示由所述发送方计算设备基于所述用户输入所生成的所述GUI的经更新的状态的数据；以及在所述交互式触敏显示器上显示所述GUI的经更新的状态。
在这一方面，所述经更新的状态可反映所述GUI中的图形变化，所述图形变化基于经由所述应用程序在所述发送方计算设备上远程执行的动作。
在这一方面，所述本地双向对等无线连可以是蓝牙连接和Wi-Fi连接中的一个。
在这一方面，所述交互式触摸显示器可包括被配置成感测用户的手指或指示笔的触摸的电容式触摸传感器。
在这一方面，所述处理器可被进一步配置成从与所述GUI相关联的发送方计算设备接收与所述GUI相关联的音频数据，并且经由所述接收方计算设备中的音频设备投射所述音频数据。
在这一方面，所述接收方计算设备的显示器可大于与所述发送方计算设备相关联的显示器。
根据另一方面，提供了一种用于在接收方计算设备和发送方计算设备之间提供协作式交互的方法。该方法包括：在由接收方计算设备执行的接收方应用程序处，经由发送方计算设备执行的发送方应用程序建立与发送方计算设备的Wi-Fi或蓝牙连接；从发送方应用程序接收在发送方计算设备上执行的第二应用程序的图形用户界面(GUI)的数据；在与所述接收方计算设备相关联的交互式触敏显示器上显示所述GUI；从与接收方计算设备相关联的交互式触敏显示器接收指示与所显示的GUI的用户交互的用户输入，所述用户输入包括触摸输入和墨水输入中的至少一个；将所述用户输入发送给所述发送方应用程序；从所述发送方应用程序接收指示由所述第二应用程序基于所述用户输入所生成的所述GUI的经更新的状态的数据；以及在所述交互式触敏显示器上显示所述GUI的经更新的状态。
在这一方面，所述经更新的状态反映了所述GUI中的图形变化，所述图形变化基于经由所述第二应用程序在所述发送方计算设备上远程执行的动作。
在这一方面，该方法还可包括在接收到远程执行的GUI之前，在所述发送方计算设备处：呈现包括多个被标识的接收方计算设备的列表的设备发现图形用户界面，所述多个被标识的接收方计算设备包括所述接收方计算设备；从与所述接收方设备相关联的输入设备接收对所述接收方计算设备的选择输入；以及响应于接收到所述选择输入，将所述GUI发送给所述接收方计算设备。

Claims (15)

1.一种用于在接收方计算设备和发送方计算设备之间提供协作式交互的方法，所述方法包括：
在接收方计算设备处，建立与发送方计算设备的本地对等无线连接；
经由所述本地对等无线连接从所述发送方计算设备接收在所述发送方计算设备上执行的远程执行的应用程序的图形用户界面(GUI)的数据；
在与所述接收方计算设备相关联的显示器上显示所述GUI；
从与所述接收方计算设备相关联的输入设备接收指示与所述GUI的用户交互的用户输入；
将所述用户输入发送给所述发送方计算设备；
从所述发送方计算设备接收指示由所述发送方计算设备基于所述用户输入所生成的所述GUI的经更新的状态的数据；以及
在与所述接收方计算设备相关联的显示器上显示所述GUI的经更新的状态。
2.如权利要求1所述的方法，其特征在于，所述本地对等无线连接是Wi-Fi直接连接。
3.如权利要求1所述的方法，其特征在于，所述显示器是触敏显示器并且所述输入设备是所述触敏显示器的触摸传感器，所述触摸传感器被配置成感测用户的手指或指示笔的触摸，并且所述用户输入是对应于感测到的用户的手指的触摸的触摸输入或者对应于感测到的指示笔的触摸的墨水输入。
4.如权利要求1所述的方法，其特征在于，还包括，在接收到远程执行的GUI之前，在所述发送方计算设备处：
呈现包括多个被标识的接收方计算设备的列表的设备发现图形用户界面，所述多个被标识的接收方计算设备包括所述接收方计算设备；
从与所述接收方设备相关联的输入设备接收对所述接收方计算设备的选择输入；以及
响应于接收到所述选择输入，将所述GUI发送给所述接收方计算设备。
5.如权利要求4所述的方法，其特征在于，所述列表中的多个被标识的接收方计算设备是经由无线连接标识的。
6.如权利要求4所述的方法，其特征在于，所述列表中的多个被标识的接收方计算设备是基于所述发送方计算设备和所述接收方计算设备之间的物理或逻辑距离来标识的，并且其中所述距离是基于Wi-Fi连接、蓝牙通信、近场通信(NFC)、以及子网发现中的一个或多个来确定的。
7.如权利要求4所述的方法，其特征在于，所述列表中的多个被标识的接收方计算设备中的每一个的相对位置是基于所述接收方计算设备和所述发送方计算设备之间的双向通信会话的频率以及所述接收方计算设备和所述发送方计算设备之间的双向通信会话的日期和时间来确定的。
8.如权利要求4所述的方法，其特征在于，所述列表包括与所述多个被标识的接收方计算设备相关联的预览图像。
9.如权利要求4所述的方法，其特征在于，还包括在所述发送方计算设备处，响应于从与所述接收方设备相关联的输入设备处接收到对所述接收方计算设备的选择输入，隐藏所述设备发现图形用户界面并显示连接条。
10.如权利要求1所述的方法，其特征在于，所述GUI被显示在所述显示器上的窗口内，所述窗口与在所述接收方计算设备上本地执行的应用程序相关联。
11.一种接收方计算设备，包括：
处理器，所述处理器被配置成
建立与所述接收方计算设备共处一处的发送方计算设备的本地双向对等无线连接；
经由所述本地双向对等无线连接从所述发送方计算设备接收在所述发送方计算设备上执行的远程执行的应用程序的图形用户界面(GUI)的数据；
在与所述接收方计算设备相关联的交互式触敏显示器上显示所述GUI；
从所述交互式触敏显示器接收指示与所述GUI的用户交互的用户输入，所述用户输入包括触摸输入和墨水输入中的至少一个；
将所述用户输入发送给所述发送方计算设备；
从所述发送方计算设备接收指示由所述发送方计算设备基于所述用户输入所生成的所述GUI的经更新的状态的数据；以及
在所述交互式触敏显示器上显示所述GUI的经更新的状态。
12.如权利要求11所述的接收方计算设备，其特征在于，所述经更新的状态反映了所述GUI中的图形变化，所述图形变化基于经由所述应用程序在所述发送方计算设备上远程执行的命令。
13.如权利要求11所述的接收方计算设备，其特征在于，所述本地双向对等无线连接是蓝牙连接和Wi-Fi连接中的一个。
14.如权利要求11所述的接收方计算设备，其特征在于，所述处理器被进一步配置成从与所述GUI相关联的发送方计算设备接收与所述GUI相关联的音频数据，并且经由所述接收方计算设备中的音频设备投射所述音频数据。
15.如权利要求11所述的接收方计算设备，其特征在于，所述接收方计算设备的显示器大于与所述发送方计算设备相关联的显示器。
CN201580025023.0A 2014-05-14 2015-05-13 提供协作式交互的***和方法 Pending CN106462371A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461996781P 2014-05-14 2014-05-14
US61/996,781 2014-05-14
US14/555,458 US10270819B2 (en) 2014-05-14 2014-11-26 System and method providing collaborative interaction
US14/555,458 2014-11-26
PCT/US2015/030458 WO2015175591A1 (en) 2014-05-14 2015-05-13 System and method providing collaborative interaction

Publications (1)

Publication Number Publication Date
CN106462371A true CN106462371A (zh) 2017-02-22

Family

ID=53274824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580025023.0A Pending CN106462371A (zh) 2014-05-14 2015-05-13 提供协作式交互的***和方法

Country Status (5)

Country Link
US (1) US10270819B2 (zh)
EP (1) EP3143570A1 (zh)
KR (1) KR102401947B1 (zh)
CN (1) CN106462371A (zh)
WO (1) WO2015175591A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804067A (zh) * 2018-06-14 2018-11-13 上海掌门科技有限公司 信息显示方法、设备和计算机可读介质
CN109858000A (zh) * 2019-01-10 2019-06-07 广州视源电子科技股份有限公司 表格处理方法、装置、***、存储介质及交互智能平板
CN115516867A (zh) * 2019-11-27 2022-12-23 胜屏信息技术有限公司 用于减少协作平台上的延迟的方法和***

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016200018A1 (en) * 2015-06-08 2016-12-15 Samsung Electronics Co., Ltd. Method and apparatus for sharing application
US11163866B2 (en) 2017-03-31 2021-11-02 Ricoh Company, Ltd. Shared terminal, display control method, and non-transitory computer-readable medium
KR102324964B1 (ko) * 2017-06-01 2021-11-12 삼성전자 주식회사 외부 입력 장치의 입력을 처리하는 전자 장치 및 방법
US20230009306A1 (en) * 2019-12-06 2023-01-12 Flatfrog Laboratories Ab An interaction interface device, system and method for the same
US11651332B2 (en) * 2020-04-28 2023-05-16 International Business Machines Corporation Distributed collaborative environment using physical notes

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040240404A1 (en) * 2003-03-12 2004-12-02 Ibrahim Brima B. Peer to peer wireless communication conflict resolution
US20100262673A1 (en) * 2009-04-14 2010-10-14 Jae Young Chang Terminal and controlling method thereof
US20100302141A1 (en) * 2009-05-28 2010-12-02 Subramonian Shankar Display and Interaction Environment for Mobile Devices
CN102209961A (zh) * 2008-09-11 2011-10-05 伊利·茨尔恩 适于手持设备的可扩展***构架,手持设备动态产生适于设备显示器的不同的用户环境
CN102317984A (zh) * 2009-02-12 2012-01-11 高通股份有限公司 供通用设备控制器使用对等通信的方法和装置
CN103124442A (zh) * 2011-09-14 2013-05-29 三星电子株式会社 用于在无线终端中连接到装置的设备和方法

Family Cites Families (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE59708043D1 (de) 1996-06-17 2002-10-02 Siemens Ag Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
US5790114A (en) 1996-10-04 1998-08-04 Microtouch Systems, Inc. Electronic whiteboard with multi-functional user interface
US6108444A (en) 1997-09-29 2000-08-22 Xerox Corporation Method of grouping handwritten word segments in handwritten document images
US6256028B1 (en) 1998-08-14 2001-07-03 Microsoft Corporation Dynamic site browser
US7043529B1 (en) 1999-04-23 2006-05-09 The United States Of America As Represented By The Secretary Of The Navy Collaborative development network for widely dispersed users and methods therefor
US6952803B1 (en) 1998-12-29 2005-10-04 Xerox Corporation Method and system for transcribing and editing using a structured freeform editor
US6501463B1 (en) 1999-12-10 2002-12-31 Siemens Technology -To-Business Center Llc Electronic whiteboard system using a tactile foam sensor
US6781611B1 (en) 2000-06-28 2004-08-24 International Business Machines Corporation Method and system for navigating between applications, documents, and files
GB2372924A (en) 2001-02-22 2002-09-04 Hewlett Packard Co Networked electronic whiteboard
ATE439631T1 (de) 2001-06-08 2009-08-15 Real Entpr Solutions Dev Bv Serverbasierte rechnerumgebung
US7039234B2 (en) 2001-07-19 2006-05-02 Microsoft Corporation Electronic ink as a software object
US8635531B2 (en) 2002-02-21 2014-01-21 Ricoh Company, Ltd. Techniques for displaying information stored in multiple multimedia documents
US7120872B2 (en) 2002-03-25 2006-10-10 Microsoft Corporation Organizing, editing, and rendering digital ink
US8166388B2 (en) 2002-05-14 2012-04-24 Microsoft Corporation Overlaying electronic ink
US7925987B2 (en) 2002-05-14 2011-04-12 Microsoft Corporation Entry and editing of electronic ink
US20040070616A1 (en) 2002-06-02 2004-04-15 Hildebrandt Peter W. Electronic whiteboard
US7062090B2 (en) 2002-06-28 2006-06-13 Microsoft Corporation Writing guide for a free-form document editor
JP4321203B2 (ja) 2002-10-29 2009-08-26 富士ゼロックス株式会社 遠隔会議システム及び遠隔会議支援方法、並びにコンピュータ・プログラム
US7590696B1 (en) 2002-11-18 2009-09-15 Aol Llc Enhanced buddy list using mobile device identifiers
US7136885B2 (en) 2002-12-20 2006-11-14 International Business Machines Corporation Free space management
US20040196313A1 (en) 2003-02-26 2004-10-07 Microsoft Corporation Ink repurposing
US7823077B2 (en) 2003-03-24 2010-10-26 Microsoft Corporation System and method for user modification of metadata in a shell browser
US7716273B2 (en) 2003-10-24 2010-05-11 Microsoft Corporation Systems and methods for projecting content from computing devices
CN101088273B (zh) 2003-12-22 2012-04-25 林克威尔公司 用于启动会议呼叫的***和方法
US7707249B2 (en) 2004-09-03 2010-04-27 Open Text Corporation Systems and methods for collaboration
US7508354B1 (en) 2004-12-20 2009-03-24 Dynamic Knowledge Transfer, Llc Multi-board presentation system
US7961943B1 (en) 2005-06-02 2011-06-14 Zeevi Eli I Integrated document editor
EP1804153A1 (en) 2005-12-27 2007-07-04 Amadeus s.a.s User customizable drop-down control list for GUI software applications
US20070174429A1 (en) 2006-01-24 2007-07-26 Citrix Systems, Inc. Methods and servers for establishing a connection between a client system and a virtual machine hosting a requested computing environment
US8593502B2 (en) 2006-01-26 2013-11-26 Polycom, Inc. Controlling videoconference with touch screen interface
US7587675B2 (en) * 2006-02-28 2009-09-08 Microsoft Corporation Network map
US20070216660A1 (en) 2006-03-20 2007-09-20 Steve Sposato Methods and apparatus to implement electronic whiteboards
WO2007110937A1 (ja) * 2006-03-28 2007-10-04 Tohoku Seiki Industries, Ltd. スパッタリング装置および薄膜成膜方法
JP4147255B2 (ja) 2006-06-23 2008-09-10 キヤノン株式会社 画像処理装置及び画像処理の制御方法及びプログラム及び記憶媒体
US20080086370A1 (en) 2006-10-06 2008-04-10 International Business Machines Corporation Environmental services broker for mediating collaborative computing sessions
EP1936483A1 (en) 2006-12-22 2008-06-25 Research In Motion Limited System and method for switching between running application programs on handheld devices
US8655939B2 (en) 2007-01-05 2014-02-18 Digital Doors, Inc. Electromagnetic pulse (EMP) hardened information infrastructure with extractor, cloud dispersal, secure storage, content analysis and classification and method therefor
US8031184B2 (en) 2007-01-19 2011-10-04 Lg Electronics Inc. Inputting information through touch input device
US8014607B2 (en) 2007-03-23 2011-09-06 Palo Alto Research Center Incorporated Method and apparatus for creating and editing node-link diagrams in pen computing systems
US20080248834A1 (en) 2007-04-03 2008-10-09 Palm, Inc. System and methods for providing access to a desktop and applications of a mobile device
US20090119604A1 (en) 2007-11-06 2009-05-07 Microsoft Corporation Virtual office devices
US8824684B2 (en) 2007-12-08 2014-09-02 International Business Machines Corporation Dynamic, selective obfuscation of information for multi-party transmission
US9300912B2 (en) 2008-03-28 2016-03-29 Microsoft Technology Licensing, Llc Software based whiteboard capture solution for conference room meetings
CN102027450B (zh) 2008-05-20 2015-05-13 思杰***有限公司 由移动计算装置使用外部显示装置的方法和***
US9086775B1 (en) 2008-07-10 2015-07-21 Google Inc. Minimizing software based keyboard
US8271887B2 (en) 2008-07-17 2012-09-18 The Boeing Company Systems and methods for whiteboard collaboration and annotation
US8049472B2 (en) * 2008-07-29 2011-11-01 Cosmic Circuits Private Limited Single inductor multiple output switching devices
US9525711B2 (en) 2008-08-08 2016-12-20 Jigsaw Meeting, Llc Multi-media conferencing system
US8254704B2 (en) 2008-10-30 2012-08-28 Microsoft Corporation Remote computing platforms providing high-fidelity display and interactivity for clients
US8594467B2 (en) 2008-12-19 2013-11-26 Microsoft Corporation Interactive virtual display system for ubiquitous devices
US20100171754A1 (en) 2009-01-07 2010-07-08 Microsoft Corporation Converting digital ink to shapes and text
JP5414282B2 (ja) 2009-01-07 2014-02-12 キヤノン株式会社 ファイル管理システム、ファイル管理方法及びプログラム
US20100216508A1 (en) 2009-02-23 2010-08-26 Augusta Technology, Inc. Systems and Methods for Driving an External Display Device Using a Mobile Phone Device
US8334902B2 (en) 2009-03-31 2012-12-18 Fuji Xerox Co., Ltd. System and method for facilitating the use of whiteboards
KR20100123562A (ko) * 2009-05-15 2010-11-24 에스케이 텔레콤주식회사 다자간 컨텐츠 협업 시스템 및 방법
CN101567798A (zh) 2009-05-27 2009-10-28 中兴通讯股份有限公司 基于ip多媒体***架构的电子白板会议的实现***及方法
JP2011008621A (ja) 2009-06-26 2011-01-13 Fujitsu Ltd 情報処理装置、方法およびプログラム
US9268466B2 (en) 2009-12-09 2016-02-23 Citrix Systems, Inc. Methods and systems for updating a dock with a user interface element representative of a remote application
US9104659B2 (en) 2010-01-20 2015-08-11 Bank Of America Corporation Systems and methods for providing content aware document analysis and modification
US20130111380A1 (en) 2010-04-02 2013-05-02 Symantec Corporation Digital whiteboard implementation
EP2564298A4 (en) 2010-04-26 2015-05-27 Smart Technologies Ulc METHOD OF HANDLING OBJECTS FOR PRESENTING NOTES IN AN INTERACTIVE INPUT SYSTEM AND INTERACTIVE INPUT SYSTEM FOR CARRYING OUT THIS METHOD
US20120124484A1 (en) 2010-11-12 2012-05-17 General Electric Company System and method for collaboration in project development
US20120204093A1 (en) 2011-02-08 2012-08-09 Microsoft Corporation Providing web-based content to local device
US8866701B2 (en) 2011-03-03 2014-10-21 Citrix Systems, Inc. Transparent user interface integration between local and remote computing environments
US8881231B2 (en) 2011-03-07 2014-11-04 Ricoh Company, Ltd. Automatically performing an action upon a login
US9086798B2 (en) 2011-03-07 2015-07-21 Ricoh Company, Ltd. Associating information on a whiteboard with a user
US9667713B2 (en) * 2011-03-21 2017-05-30 Apple Inc. Apparatus and method for managing peer-to-peer connections between different service providers
US20120278738A1 (en) 2011-04-26 2012-11-01 Infocus Corporation Interactive and Collaborative Computing Device
EP2715490B1 (en) 2011-05-23 2018-07-11 Haworth, Inc. Digital whiteboard collaboration apparatuses, methods and systems
KR20130003369A (ko) * 2011-06-30 2013-01-09 한국전자통신연구원 전자파 표준 발생장치의 해석 알고리즘 생성 장치 및 방법
US9582187B2 (en) 2011-07-14 2017-02-28 Microsoft Technology Licensing, Llc Dynamic context based menus
US8935265B2 (en) 2011-08-30 2015-01-13 Abbyy Development Llc Document journaling
US8682973B2 (en) 2011-10-05 2014-03-25 Microsoft Corporation Multi-user and multi-device collaboration
EP2788928A2 (en) 2011-12-06 2014-10-15 Agreeya Mobility Seamless collaboration and communication
US8874657B2 (en) 2012-04-27 2014-10-28 Seiko Epson Corporation Method for securely distributing meeting data from interactive whiteboard projector
US20130218978A1 (en) 2012-02-17 2013-08-22 Numira Biosciences Systems and Methods for Project Collaboration in a Cloud Computing Environment
US9161166B2 (en) 2012-02-24 2015-10-13 Blackberry Limited Method and apparatus for interconnected devices
US9826572B2 (en) 2012-03-15 2017-11-21 Intel Corporation Wireless enhanced projector
US9479548B2 (en) 2012-05-23 2016-10-25 Haworth, Inc. Collaboration system with whiteboard access to global collaboration data
KR101395480B1 (ko) 2012-06-01 2014-05-14 주식회사 팬택 필기 입력에 기초하여 어플리케이션을 실행하는 방법 및 그 단말
KR20140008987A (ko) 2012-07-13 2014-01-22 삼성전자주식회사 필기 이미지 인식을 이용한 어플리케이션 제어 방법 및 장치
US8673717B2 (en) * 2012-07-18 2014-03-18 International Business Machines Corporation Self-aligned process to fabricate a memory cell array with a surrounding-gate access transistor
US9594469B2 (en) * 2012-07-25 2017-03-14 Sap Se Dynamic layering user interface
US20140040767A1 (en) 2012-08-03 2014-02-06 Oracle International Corporation Shared digital whiteboard
KR102059800B1 (ko) 2012-08-30 2019-12-27 삼성전자주식회사 사용자 단말에서 사용자 인터페이스 장치 및 이를 지원하는 방법
KR102001218B1 (ko) 2012-11-02 2019-07-17 삼성전자주식회사 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
US9575712B2 (en) 2012-11-28 2017-02-21 Microsoft Technology Licensing, Llc Interactive whiteboard sharing
US20140160153A1 (en) 2012-12-07 2014-06-12 Jatinder Pal Singh Method and system for real-time learning and collaboration solution
US10397162B2 (en) 2012-12-14 2019-08-27 Facebook, Inc. Sending notifications to members of social group in a social networking system
US9477376B1 (en) * 2012-12-19 2016-10-25 Google Inc. Prioritizing content based on user frequency
US9535503B2 (en) * 2013-01-29 2017-01-03 Blackberry Limited Methods and devices for simultaneous multi-touch input
WO2014152997A2 (en) 2013-03-14 2014-09-25 Sticky Storm, LLC Software-based tool for digital idea collection, organization, and collaboration
US20140331166A1 (en) * 2013-05-06 2014-11-06 Samsung Electronics Co., Ltd. Customize smartphone's system-wide progress bar with user-specified content
TWI597652B (zh) 2013-05-31 2017-09-01 Insyde Software Corp Method and apparatus for quickly launching a windowed application in a mobile operating system
KR102053822B1 (ko) 2013-06-03 2019-12-09 삼성전자주식회사 휴대 장치 및 휴대 장치의 화면 표시방법
CN104243425B (zh) 2013-06-19 2018-09-04 深圳市腾讯计算机***有限公司 一种在内容分发网络中进行内容管理的方法、装置及***
CN103441986B (zh) 2013-07-29 2017-05-17 中国航天科工集团第二研究院七〇六所 一种瘦客户端模式的数据资源安全管控方法
US9111181B2 (en) 2013-12-10 2015-08-18 International Business Machines Corporation Detecting and flagging likely confidential content in photographs to prevent automated dissemination

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040240404A1 (en) * 2003-03-12 2004-12-02 Ibrahim Brima B. Peer to peer wireless communication conflict resolution
CN102209961A (zh) * 2008-09-11 2011-10-05 伊利·茨尔恩 适于手持设备的可扩展***构架,手持设备动态产生适于设备显示器的不同的用户环境
CN102317984A (zh) * 2009-02-12 2012-01-11 高通股份有限公司 供通用设备控制器使用对等通信的方法和装置
US20100262673A1 (en) * 2009-04-14 2010-10-14 Jae Young Chang Terminal and controlling method thereof
US20100302141A1 (en) * 2009-05-28 2010-12-02 Subramonian Shankar Display and Interaction Environment for Mobile Devices
CN103124442A (zh) * 2011-09-14 2013-05-29 三星电子株式会社 用于在无线终端中连接到装置的设备和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁烨: "《苹果Mac OS X 10.9 Mavericks高手真经》", 31 January 2014, pages: 250 - 252 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804067A (zh) * 2018-06-14 2018-11-13 上海掌门科技有限公司 信息显示方法、设备和计算机可读介质
CN109858000A (zh) * 2019-01-10 2019-06-07 广州视源电子科技股份有限公司 表格处理方法、装置、***、存储介质及交互智能平板
CN115516867A (zh) * 2019-11-27 2022-12-23 胜屏信息技术有限公司 用于减少协作平台上的延迟的方法和***
CN115516867B (zh) * 2019-11-27 2024-04-02 胜屏信息技术有限公司 用于减少协作平台上的延迟的方法和***

Also Published As

Publication number Publication date
EP3143570A1 (en) 2017-03-22
KR20170003991A (ko) 2017-01-10
US10270819B2 (en) 2019-04-23
US20150334139A1 (en) 2015-11-19
WO2015175591A1 (en) 2015-11-19
KR102401947B1 (ko) 2022-05-24

Similar Documents

Publication Publication Date Title
CN106462372A (zh) 在图形用户界面之间传输内容
US10819768B2 (en) User interaction with desktop environment
CN106462371A (zh) 提供协作式交互的***和方法
US20210042012A1 (en) Interactive presentation controls
AU2014312481B2 (en) Display apparatus, portable device and screen display methods thereof
US11899903B2 (en) Display device and method of controlling the same
US9811303B2 (en) Display apparatus, multi display system including the same, and control method thereof
KR102102157B1 (ko) 복수 어플리케이션을 실행하는 디스플레이 장치 및 그 제어 방법
CN102857549A (zh) 在不同的网络装置之间共享数据的方法和设备
KR20170036786A (ko) 2차 디스플레이용 모바일 디바이스 입력 제어기
CN102695097A (zh) 显示装置及控制其操作的方法
KR102124191B1 (ko) 메시지 처리 방법 및 그 전자 장치
CN107113468A (zh) 基于显示设备的自动主屏确定
US9870139B2 (en) Portable apparatus and method for sharing content with remote device thereof
US20160092152A1 (en) Extended screen experience
US10990344B2 (en) Information processing apparatus, information processing system, and information processing method
CN107111470A (zh) 浏览器显示投射技术
CN107077353A (zh) 终端设备及其控制方法
US20140229823A1 (en) Display apparatus and control method thereof
US20130155095A1 (en) Mapping Visual Display Screen to Portable Touch Screen
Kukimoto et al. HyperInfo: interactive large display for informal visual communication
Sanctorum et al. Towards end-user development of distributed user interfaces
Gugenheimer et al. How companion-technology can enhance a multi-screen television experience: a test bed for adaptive multimodal interaction in domestic environments
CN105808234A (zh) 用于项目管理的方法和电子设备
MING A COLLOCATED MULTI-MOBILE COLLABORATIVE SYSTEM WITH HOVER CONNECTIVITY INITIATION AND SEAMLESS MULTI-TOUCH INTERACTIVITY

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination