CN103238149A - 输入/输出通信 - Google Patents

Abstract

在第二电子装置从第一电子装置接收数据(例如，媒体流)。从接收的数据提取输入。其后，响应于输入的输出被从第二电子装置发送给第一电子装置。

Description

输入/输出通信

背景技术

电子装置可配置为向另一电子装置发送视频内容和/或从另一电子装置接收视频内容。视频内容的这种交换可实现很广阔的范围的应用。例如，两个电子装置交换视频内容的能力可实现视频会议。

发明内容

根据一个一般方面，根据能够实现视频内容的交换的通信协议在第一计算***和第二在物理上不同的远程计算***之间建立通信会话。在第二计算***并且在建立的通信会话内从第一计算***接收包括应用输入(例如，具有第二内容类型)的数据(例如，具有第一内容类型)。从接收的数据提取应用输入，并且把提取的应用输入传送给应用。然后从提取的应用输入被传送到的应用接收响应于传送的应用输入的应用输出。其后，在建立的通信会话内把应用输出的至少一些作为视频内容从第二计算***发送给第一计算***。

实现方式可包括一个或多个下面的特征。例如，通信协议可实现视频内容和音频内容的交换。

在一个例子中，可在第一计算***和第二计算***之间建立会话启动协议(SIP)通信会话，从而：在第二计算***并且在建立的通信会话内接收来自第一计算***的包括应用输入的数据包括在第二计算***在建立的SIP通信会话内接收来自第一计算***的包括应用输入的数据；以及在建立的通信会话内把应用输出的至少一些作为视频内容从第二计算***发送给第一计算***包括在建立的SIP通信会话内把应用输出的至少一些作为视频内容从第二计算***发送给第一计算***。另外，应用输入可以是键盘和/或指示装置(例如，计算机鼠标)输入。因此，可在第二计算***在建立的SIP通信会话内从第一计算***接收键盘和/或指示装置(例如，计算机鼠标)输入，并且从在建立的SIP通信会话内接收的数据提取键盘和/或指示装置(例如，计算机鼠标)输入。另外，提取的来自键盘和/或指示装置(例如，计算机鼠标)的输入可被传送给应用，并且响应于传送的键盘和/或指示装置(例如，计算机鼠标)输入的应用输出可被接收。

在另一例子中，可在第一计算***和第二计算***之间建立H.323通信会话，从而：在第二计算***并且在建立的通信会话内接收来自第一计算***的包括应用输入的数据包括在第二计算***在建立的H.323通信会话内接收来自第一计算***的包括应用输入的数据；以及在建立的通信会话内把应用输出的至少一些作为视频内容从第二计算***发送给第一计算***包括在建立的H.323通信会话内把应用输出的至少一些作为视频内容从第二计算***发送给第一计算***。

继续在第一计算***和第二计算***之间建立的H.323通信会话的例子，应用输入可以是键盘和/或指示装置(例如，计算机鼠标)输入。因此，可在第二计算***在建立的H.323通信会话内从第一计算***接收键盘和/或指示装置(例如，计算机鼠标)输入，并且从在建立的H.323通信会话内接收的数据提取键盘和/或指示装置(例如，计算机鼠标)输入。另外，提取的来自键盘和/或指示装置(例如，计算机鼠标)的输入可被传送给应用，并且可接收响应于传送的键盘和/或指示装置(例如，计算机鼠标)输入的应用输出。

另外，在一些实现方式中，在第二计算***在建立的H.323通信会话内从第一计算***接收的数据可包括音频-视频(A/V)内容。例如，在一些实现方式中，可在第二计算***在建立的H.323通信会话内从第一计算***接收音频信号和对应的视频信号，应用输入被嵌入在视频信号内。在这种实现方式中，可从视频信号提取应用输入。替代地，可在建立的H.323通信会话内接收T.120流，应用输入被嵌入在T.120流内，并且可从T.120流提取应用输入。作为另一替换方案，可在建立的H.323通信会话内接收双音多频(DTMF)音调，应用输入与A/V内容带内地被映射到DTMF音调上，并且接收的DTMF音调可被转换成应用输入。作为另一替换方案，可在H.323通信会话内建立第一计算***和第二计算***之间的第一信道和第二信道，并且可在第二计算***在建立的H.323通信会话内经第一信道从第一计算***接收A/V内容，并且可在第二计算***在建立的H.323通信会话内经第二信道从第一计算***接收DTMF音调，应用输入已被映射到DTMF音调上。接收的DTMF音调随后可被转换成应用输入。

根据另一一般方面，通过与在物理上不同的电子装置的第一网络连接从该电子装置接收用于根据能够实现音频-视频(A/V)内容的交换的通信协议建立通信会话的请求。响应于接收到用于建立通信会话的请求，根据能够实现A/V内容的交换的通信协议经第一网络连接与该电子装置建立通信会话。然后在与该电子装置建立的通信会话内通过与该电子装置的第一网络连接从该电子装置接收包括来自键盘的应用输入信号的数据，接收的数据包括来自键盘的应用输入信号。从接收的数据提取来自键盘的应用输入信号。提取的来自键盘的应用输入信号被确定为对应于由在物理上不同的计算***支持的应用，该计算***不同于该电子装置，并且作为已确定提取的来自键盘的应用输入信号对应于由该计算***支持的应用的结果，通过与该计算***的第二网络连接把提取的来自键盘的应用输入信号发送给该计算***，第二网络连接不同于第一网络连接。其后，通过与该计算***的第二网络连接从由该计算***支持的应用接收响应于发送的来自键盘的应用输入信号的应用输出。接收的应用输出随后被转换成视频流，视频流在与该电子装置建立的通信会话内通过与该电子装置的第一网络连接被发送给该电子装置。

根据再一一般方面，访问能够实现与计算***的交互的图形用户界面，并且产生图形用户界面的视频流表示。图形用户界面的视频流表示随后被从计算***发送给在物理上不同于计算***的电子装置。在计算***从电子装置接收媒体流，在媒体流中嵌入有从以可通信的方式耦合到电子装置的键盘和以可通信的方式耦合到电子装置的计算机鼠标中的至少一种接收的用户输入。然后从接收的媒体流提取用户输入，并且提取的用户输入被提供给计算***作为输入。其后，图形用户界面的视频流表示被修改以反映由提供给计算***作为输入的用户输入导致的图形用户界面的变化，并且反映图形用户界面的变化的修改的图形用户界面的视频流表示被发送给电子装置。

可使用例如下面的一项或多项实现公开的各个方面、实现方式和特征：一种方法；一种设备；一种***；一种用于执行一种方法的设备、***、工具或处理装置；一种存储在有形计算机可读存储介质上的计算机程序或其它指令集；和一种包括存储在计算机可读存储介质上的程序或指令集的设备。

附图说明

图1A-1D是视频会议端点的例子的示图。

图2-5是通信***的例子的示图。

图6A-6B表示用于在多媒体通信会话内交换应用输入/输出的过程的例子的流程图。

图7是通过多媒体通信会话访问远程桌面应用的平板计算机的例子的示图，由另一计算装置使该远程桌面应用可用。

具体实施方式

电子装置与一个或多个其它电子装置建立多媒体通信会话，多媒体通信会话能够使电子装置与其它电子装置交换视频内容。另外，电子装置配置为把在电子装置接收的例如来自键盘和/或指示装置(例如，计算机鼠标)的输入合并到这种多媒体通信会话中，由此使在电子装置接收的输入能够在建立的多媒体通信会话内被传送到所述其它电子装置中的一个或多个电子装置。

在一个特定例子中，为了能够在各种视频会议端点之间实现视频会议，视频会议端点配置为与一个或多个其它视频会议端点以及也许一个或多个中间或协调装置(例如，多点控制单元(MCU))建立H.323通信会话。另外，视频会议端点还配置为把从在视频会议输入的键盘和/或计算机鼠标接收的输入合并到H.323通信会话中，从而接收的键盘和/或鼠标输入能够被传送到一个或多个各种其它视频会议端点和中间或协调装置。

图1A-1D是视频会议端点100的例子的示图。在这个特定例子中，视频会议端点100是专用视频会议室。然而，可采用视频会议端点的其它实现方式。例如，在一些实现方式中，通用计算装置(例如，桌上型计算机、膝上型计算机、笔记本计算机或平板计算机或智能电话)可被配置为视频会议端点。如图1A中所示，视频会议端点100包括用于捕捉来自使用视频会议端点100的视频会议参与者的视频图像和音频的一个或多个摄像机102和一个或多个麦克风104。另外，视频会议端点100包括用于显示接收的视频内容的一个或多个显示器106和用于呈现接收的音频内容的一个或多个扬声器(未示出)。

视频会议端点100配置为把分别由摄像机102和麦克风104捕捉的视频和音频发送给一个或多个其它视频会议端点。另外，视频会议端点100配置为从这些其它视频会议端点接收视频和音频，并且在显示器106上显示接收的视频以及利用扬声器呈现接收的音频。例如，摄像机102、麦克风104、显示器106和扬声器可按照可通信的方式耦合到一个或多个计算装置(例如，一个或多个路由器和编码器)(未示出)，所述一个或多个计算装置位于视频会议端点100，并且配置为安排与其它视频会议端点交换视频和音频内容以及控制和信令数据，以及也许安排与一个或多个中间或协调装置(例如，服务器、路由器、网关和/或MCU)交换视频和音频内容以及控制和信令数据。以这种方式，视频会议端点100使使用视频会议端点100的视频会议参与者能够参加与其他视频会议参与者的视频会议。视频会议端点100可支持点到点和多点视频会议中的任一种或二者。

可采用不同的方案来实现视频会议端点100和其它视频会议端点之间的视频和音频内容的交换以实现各种不同的视频会议端点之间的视频会议。例如，在一种实现方式中，视频会议端点可配置为H.323节点，H.323节点采用用于提供音频-视频通信会话的国际电信联盟(ITU)电信标准化部门(ITU-T)H.323标准以便交换音频-视频流从而能够实现视频会议。替代地，视频会议端点可配置为会话启动协议(SIP)节点，SIP节点采用用于控制多媒体通信会话的互联网工程任务小组(IETF)SIP协议以便交换音频-视频流从而能够实现视频会议。

视频会议端点100包括键盘108和计算机鼠标110，并配置为接收来自键盘108和计算机鼠标110之一或二者的输入。例如，键盘108和计算机鼠标110可按照可通信的方式耦合到一个或多个计算装置(未示出)，所述一个或多个计算装置位于视频会议端点100，并且配置为安排与其它视频会议端点交换视频和音频内容以及控制和信令数据，以及也许安排与一个或多个中间或协调装置(例如，服务器、路由器、网关和/或MCU)交换视频和音频内容以及控制和信令数据。在一些实现方式中，从摄像机102接收视频输入以发送给其它视频会议端点的视频输入卡(未示出)可配置为接收键盘108和/或计算机鼠标110输入，并把这种键盘108和/或计算机鼠标110数据编码为向上游发送的视频流。

视频会议端点100配置为在已与其它视频会议端点和/或中间或协调装置建立的多媒体通信会话内把从键盘108和/或计算机鼠标110接收的输入向上游发送给这种其它装置。例如，视频会议端点100可把从键盘108和/或计算机鼠标110接收的输入合并到由视频会议端点100向上游传送给其它视频会议端点和/或中间或协调装置的音频-视频流中。另外，视频会议端点100可配置为在这种建立的多媒体通信会话内从其它视频会议端点或中间或协调装置接收响应于其它视频会议端点100向上游发送的从键盘108和/或计算机鼠标110接收的输入的输出，视频会议端点100最初把键盘108和/或计算机鼠标110输入发送给所述其它视频会议端点或中间或协调装置。

如以上所讨论，在一个特定例子中，视频会议端点100可配置为H.323节点，H.323节点经H.323多媒体通信会话与其它视频会议端点和/或中间或协调装置交换音频-视频流。根据这个例子，视频会议端点100配置为通过在H.323多媒体通信会话内合并从键盘108和/或计算机鼠标110接收的输入来向上游发送这种输入。许多不同的方法可用于把从键盘108和/或计算机鼠标110接收的输入合并到H.323多媒体通信会话中。在一种实现方式中，可在H.323视频会议通信会话内传送的视频信号或音频信号内对从键盘108和/或计算机鼠标110接收的输入进行编码。在另一实现方式中，可在H.323视频会议通信会话内传送的T.120流内对从键盘108和/或计算机鼠标110接收的输入进行编码。替代地，在其它实现方式中，从键盘108和/或计算机鼠标110接收的输入可被映射到在H.323视频会议通信会话内传送的带内(或带外)双音多频(DTMF)音调中。

在另一例子中，视频会议端点100可配置为SIP节点，SIP节点经SIP多媒体通信会话与其它视频会议端点和/或中间或协调装置交换音频-视频流。根据这个例子，视频会议端点100配置为通过在SIP多媒体通信会话内合并从键盘108和/或计算机鼠标110接收的输入来向上游发送这种输入。

视频会议端点100从键盘108和/或计算机鼠标110接收输入以在建立的多媒体通信会话内把这种接收的输入发送给其它视频会议端点和/或中间或协调装置以及在这种建立的多媒体通信会话内接收响应输出的能力可使视频会议端点100能够为视频会议端点100的用户提供视频会议端点100原本可能无法提供的增加的功能。例如，这种能力可使视频会议端点100能够把从键盘108和/或计算机鼠标110接收的输入发送给在上游服务器或其它相对于视频会议端点100位于远处的计算装置上执行的应用。另外，响应于把这种从键盘108和/或计算机鼠标110接收的输入发送给在远程服务器或其它计算装置上执行的应用，视频会议端点100可在视频会议端点100接收并呈现来自该应用的输出。以这种方式，视频会议端点100可使视频会议端点100的用户能够使用键盘108和/或计算机鼠标110与在远程服务器或其它计算装置上执行的应用交互。

现在参照图1B，在一个例子中，视频会议端点100使视频会议端点100的用户能够使用键盘108和/或计算机鼠标110与由在相对于视频会议端点100位于远处的服务器或其它计算装置上执行的视频会议管理应用提供的图形用户界面(GUI)120交互。更具体地讲，如图1B中所示，由在远程服务器或其它计算装置上执行的视频会议管理应用提供的GUI 120使用户能够把视频会议端点100连接到其它视频会议端点。视频会议端点100的用户可例如通过使用键盘108在下拉菜单122中写入文本输入或者通过使用计算机鼠标110把下拉菜单122向下拉以露出预定义的连接选项来操纵GUI。

在另一例子中， 参照图1C，视频会议端点100可为用户提供对计算机的远程桌面界面130的访问，该计算机相对于视频会议端点100位于远处并且视频会议端点100已与该计算机建立多媒体通信会话，由此使该远程计算机已访问的应用对于视频会议端点100的用户而言可用。具体地讲，远程桌面界面130可被转换成在该远程计算机和视频会议端点100之间建立的多媒体通信会话内传送给视频会议端点100的视频流。另外，通过把从键盘108和/或计算机鼠标110接收的输入合并到与该远程计算机建立的多媒体通信会话中，视频会议端点100使视频会议端点100的用户能够操纵该远程计算机的远程桌面界面130并且与该远程计算机可访问的应用交互。例如，如图1C中所示，视频会议端点100的用户可使用计算机鼠标110在远程桌面界面130上操纵鼠标指针132。

在另一例子中，参照图1D，视频会议端点100可与具有web浏览器应用并且可以访问一个或多个网站的远程计算装置建立多媒体通信会话。当远程计算装置执行web浏览器应用时，web浏览器GUI 106可被转换成视频流，该视频流在该远程计算装置和视频会议端点100之间建立的多媒体通信会话内被传送给视频会议端点100并且被显示在视频会议端点100的显示器106上。通过把从键盘108和/或计算机鼠标110接收的输入合并到与该远程计算装置建立的多媒体通信会话中，视频会议端点100使视频会议端点100的用户能够操纵web浏览器GUI 140以浏览该远程计算机可以访问的网站。例如，如图1D中所示，视频会议端点100的用户可使用键盘108在web浏览器GUI 140的地址字段中输入web地址。

图2是能够支持视频会议的通信***200的例子的示图。如图2中所示，通信***200包括：许多视频会议端点202，诸如例如像图1中示出的视频会议端点100一样的视频会议端点；和集中式视频会议管理***204，包括例如MCU，经网络206以可通信的方式耦合到每个视频会议端点202。

网络206可提供视频会议端点202和视频会议管理***204之间的直接或间接通信链路，而不管这种装置中的任何装置之间的物理分离如何。如此，视频会议管理***204和任何视频会议端点202可在地理上彼此靠近，或者替代地，视频会议管理***204和视频会议端点202可相隔很远的地理距离。网络206的例子包括公司内联网、企业网、专用视频会议网、互联网、万维网、广域网(WAN)、包括无线LAN(WLAN)的局域网(LAN)、模拟或数字有线和无线电话网络、无线电、电视、线缆、卫星、用于传送数据的任何其它传送机构和/或它们的任何组合。

视频会议端点202经网络206访问视频会议管理***204，并与视频会议管理***204协调以建立并保持与其它视频会议端点202的多媒体通信会话。在已在视频会议端点202之间建立这种多媒体通信会话之后，视频会议端点202能够在多媒体通信会话内交换音频-视频流，由此能够在视频会议端点202之间实现视频会议。例如，单个视频会议端点202可呼叫视频会议管理***204，并与视频会议管理***204建立多媒体通信会话。其后，视频会议端点202和视频会议管理***204可协调以连接视频会议端点202与一个或多个其它视频会议端点202以便在视频会议端点202之间建立视频会议。

在一些实现方式中，视频会议端点202和视频会议管理***204可配置为H.323节点，并且可根据H.323标准建立在视频会议端点202和/或视频会议管理***204之间建立的多媒体通信会话。替代地，在其它实现方式中，视频会议端点202和视频会议管理***204可配置为SIP节点，并且可根据SIP标准建立在视频会议端点202和/或视频会议管理***204之间建立的多媒体通信会话。

每个视频会议端点202包括键盘208和计算机鼠标210，视频会议端点202配置为从键盘208和计算机鼠标210接收输入。另外，每个视频会议端点202配置为能够把从键盘208和/或计算机鼠标210接收的输入合并到在视频会议端点202和任何其它计算装置之间建立的多媒体通信会话中。因此，视频会议端点202可以能够把从键盘208和/或鼠标210接收的输入发送给视频会议端点202能够呼叫以建立多媒体通信会话的任何其它计算装置(包括例如视频会议管理***204)。

当视频会议端点202和视频会议管理***204配置为H.323节点时，每个视频会议端点202可配置为能够把从键盘208和/或鼠标210接收的输入合并到在视频会议端点202和视频会议管理***204之间建立的多媒体通信会话中。类似地，当视频会议端点202和视频会议管理***204配置为SIP节点时，每个视频会议端点202可配置为能够把从键盘208和/或计算机鼠标210接收的输入合并到在视频会议端点202和视频会议管理***204之间建立的SIP通信会话中。

视频会议管理***204配置为能够从在视频会议管理***204和任何其它装置之间建立的多媒体通信会话(例如，H.323或SIP通信会话)提取键盘和/或计算机鼠标输入，所述任何其它装置能够把键盘和/或计算机鼠标数据合并到这种多媒体通信会话中。因此，当任何视频会议端点202呼叫视频会议管理***204并与视频会议管理***204建立多媒体通信会话时，视频会议管理***204能够从与视频会议端点202建立的多媒体通信会话提取键盘和/或计算机鼠标输入。

在一些情况下，视频会议管理***204为视频会议端点202提供对正在视频会议管理***202上执行的应用的访问。另外或者替代地，视频会议管理***204可用作为视频会议端点202提供对正在一个或多个其它计算装置(未示出)上执行的应用的访问的代理。

当视频会议管理***204为视频会议端点202提供对正在视频会议管理***202上执行的应用的访问时，视频会议管理***202可把由该应用产生的图形输出转换成视频流，视频会议管理***204在在视频会议管理***204和视频会议端点202之间建立的多媒体通信会话(例如，H.323或SIP通信会话)内把该视频流发送给视频会议端点202。视频会议端点202随后显示这个视频流，由此为视频会议端点202的用户提供对由正在视频会议管理***204上执行的应用产生的图形输出的访问。

为了与正在视频会议管理***204上执行的应用和由视频会议端点202显示的它的图形输出交互，视频会议端点202的用户可使用键盘208和/或计算机鼠标210提供输入。视频会议端点202随后可通过把从键盘208和/或计算机鼠标210接收的任何这种输入合并到在视频会议端点202和视频会议管理***204之间建立的多媒体通信会话(例如，H.323或SIP通信会话)中来把这种输入发送给视频会议管理***204。

视频会议管理***204配置为从多媒体通信会话提取这种键盘和/或鼠标输入，并把提取的输入传送到正在视频会议管理***204上执行的应用。响应于这种输入，正在视频会议管理***204上执行的应用可产生另外的、新的或修改的输出，视频会议管理***204可把该输出转换成视频流并经在视频会议端点202和视频会议管理***204之间建立的多媒体通信会话把该输出发送给视频会议端点202。以这种方式，视频会议端点202的用户可在视频会议端点202使用键盘208和/或计算机鼠标210继续与正在视频会议管理***204上执行的应用交互并把输入提供给正在视频会议管理***204上执行的应用。

在一些实现方式中，视频会议管理***204可为视频会议端点202提供对视频会议管理GUI的访问，视频会议管理GUI配置为方便视频会议的安排和连接。例如，当视频会议端点202全都属于企业视频会议解决方案时，视频会议管理GUI可使用户能够浏览视频会议参与者和/或视频会议端点202的目录以便安排包括某些视频会议参与者和/或视频会议端点202的视频会议。在这种情况下，视频会议端点202之一的用户可以能够通过提供键盘208和/或计算机鼠标210输入与视频会议管理GUI交互，视频会议管理***204使视频会议管理GUI可用，视频会议端点202通过把键盘208和/或计算机鼠标210输入合并到在视频会议端点202和视频会议管理***204之间建立的多媒体通信会话中来把键盘208和/或计算机鼠标210输入发送给视频会议管理***204。

除了为视频会议端点202提供对正在视频会议管理***204上执行的应用的访问之外(或者作为其替换方案)，视频会议管理***204还可用作为视频会议端点202提供对正在一个或多个其它计算装置(未示出)上执行的应用的访问的代理。在这种情况下，视频会议管理***204可把从正在所述其它计算装置上执行的应用接收的图形输出转换成在视频会议管理***204和视频会议端点202之间建立的多媒体通信会话内传送给视频会议端点的视频流。另外，当视频会议管理***204经由与视频会议端点202建立的多媒体通信会话从视频会议端点202接收用于这种正在所述其它计算装置上执行的应用的键盘208和/或计算机鼠标210输入时，视频会议管理***204从通信会话提取键盘208和/或计算机鼠标210输入，并继续把它发送给正在所述其它计算装置上执行的合适的应用。

在一个例子中，视频会议管理***204可为视频会议端点202提供对远程桌面界面的访问。在一些实现方式中，这种远程桌面界面可提供对视频会议管理***204上的应用的访问，而在其它实现方式中，视频会议管理***204可用作代理并且远程桌面界面可提供对不同的计算装置上的应用的访问。在任一情况下，尤其是例如在公司或企业环境中，为视频会议端点202提供对远程桌面界面的访问并且通过在与视频会议管理***204的多媒体通信会话内嵌入从键盘208和/或计算机鼠标210接收的输入而使这种输入能够被发送给远程桌面界面可能很有用。例如，以这种方式为视频会议端点202提供对远程桌面界面的访问可使公司园区上的任何数量的视频会议端点202(例如，会议室、专用视频会议室等)能够为用户提供对相同应用的访问，用户将会可在他们自己的办公桌在他们的计算机上使用这些应用。

图3是通信***300的例子的示图，通信***300通过把键盘304和/或计算机鼠标306输入合并到多媒体通信会话中而使在视频会议端点302从键盘304和/或计算机鼠标306接收的输入能够被传送给远程计算装置308作为正在远程计算装置308上执行的应用310的输入。为了说明性目的，图3中示出并在以下描述的几个元件被表示为单个实体。然而，这些元件中的每一个可包括许多互连的计算装置和其它部件和/或被实现在所述许多互连的计算装置和其它部件上，所述许多互连的计算装置和其它部件被设计为执行一组指定操作并且布置在彼此靠近或者在地理上彼此分离。

如图3中所示，通信***300包括：视频会议端点302，诸如例如像图1中示出的视频会议端点100一样的视频会议端点；和计算装置308和312；全都经网络314以可通信的方式耦合。网络314可提供视频会议端点302、计算装置308和/或计算装置312之间的直接或间接通信链路，而不管这种装置中的任何装置之间的物理分离如何。如此，视频会议端点302和计算装置308和312可在地理上彼此靠近，或者替代地，视频会议端点302和计算装置308和312可相隔很远的地理距离。网络314的例子包括公司内联网、企业网、专用视频会议网、互联网、万维网、广域网(WAN)、包括无线LAN(WLAN)的局域网(LAN)、模拟或数字有线和无线电话网络、无线电、电视、线缆、卫星、用于传送数据的任何其它传送机构和/或它们的任何组合。

视频会议端点302配置为能够经网络314与计算装置312建立多媒体通信会话。例如，视频会议端点302可配置为呼叫计算装置312以开始与计算装置312建立多媒体通信会话，和/或计算装置312可配置为呼叫视频会议端点302以开始与视频会议端点302建立多媒体通信会话。在一个例子中，视频会议端点302和计算装置312可配置为H.323节点，如此，视频会议端点302和计算装置312可根据H.323标准在它们之间建立多媒体通信会话。替代地，在另一例子中，视频会议端点302和计算装置312可配置为SIP节点，如此，视频会议端点302和计算装置312可根据SIP标准在它们之间建立多媒体通信会话。

视频会议端点302还包括键盘304和计算机鼠标306，并且配置为能够通过把从键盘304和/或计算机鼠标306接收的输入包括到在视频会议端点302和计算装置312之间建立的多媒体通信会话中来把从键盘304和/或计算机鼠标306接收的输入发送给计算装置312。例如，如果视频会议端点302和计算装置312配置为H.323节点，则视频会议端点302配置为通过把从键盘304和/或计算机鼠标306接收的输入包括到在视频会议端点302和计算装置312之间建立的H.323多媒体通信会话中来发送从键盘304和/或计算机鼠标306接收的输入。类似地，如果视频会议端点302和计算装置312配置为SIP节点，则视频会议端点302配置为通过把从键盘304和/或计算机鼠标306接收的输入包括到在视频会议端点302和计算装置312之间建立的SIP多媒体通信会话中来发送从键盘304和/或计算机鼠标306接收的输入。

计算装置308和312可以是许多不同类型的计算装置中的任何类型的计算装置，包括例如服务器、个人计算机、专用计算机、通用计算机以及专用计算装置和通用计算装置的组合。计算装置308和312通常具有用于存储数据和程序(诸如，操作***和一个或多个应用程序)的内部或外部存储部件。应用程序的例子包括：创作应用(例如，文字处理程序、数据库程序、电子表格程序或图形程序)，能够产生文件或其它电子内容；客户应用(例如，电子邮件客户端)，能够与其他计算机用户通信、访问各种计算机资源以及观看、创建或以其它方式操纵电子内容；和浏览器应用，能够呈现标准互联网内容。计算装置308和312还通常包括用于执行存储在存储器中和/或例如经网络314从一个或多个其它电子装置接收的指令的一个或多个处理器。另外，计算装置308和312还通常包括用于发送和接收数据的一个或多个通信装置。这种通信装置的一个例子是调制解调器。其它例子包括天线、收发器、通信卡和能够通过有线或无线数据路径经网络314发送和接收数据的其它类型的网络适配器。

计算装置308包括一个或多个处理器315和可在处理器315上执行的一个或多个应用310，计算装置308使所述一个或多个应用310对于其它计算装置(例如，计算装置312)而言是可访问的。例如，应用310可配置为经网络314从一个或多个其它计算装置接收输入(例如，键盘和/或鼠标输入)，处理这种接收的输入，作为响应产生输出，并把这种输出发送给从其接收输入的计算装置。应用310可以是许多不同应用中的任何应用，包括例如：远程桌面界面和经远程桌面界面可访问的一个或多个应用(例如，文字处理应用、电子表格应用、Web浏览器等)；网站；和/或数据处理应用。应用310可被实现为存储在计算机内存存储***中并且可由处理器315执行以提供在这里归属于应用310的功能的指令。

计算装置312包括一个或多个处理器316、输入/输出处理引擎318和其它应用320。输入/输出处理引擎318可被实现为存储在计算机内存存储***中并且可由处理器316执行以执行在这里归属于输入/输出处理引擎318的功能的指令。输入/输出处理引擎318使计算装置312能够用作视频会议端点302和正在一个或多个其它计算装置上执行的一个或多个应用(例如，正在计算装置308上执行的应用310)之间的代理。具体地讲，输入/输出引擎318使计算装置312能够在视频会议端点302和计算装置312之间建立的多媒体通信会话(例如，H.323或SIP通信会话)内从视频会议端点302接收键盘304和/或计算机鼠标306输入，从多媒体通信会话提取这种键盘304和/或计算机鼠标306输入，并发送提取的键盘304和/或计算机鼠标306输入作为正在计算装置308上执行的应用310的输入。另外，输入/输出引擎318还使计算装置312能够从正在计算装置308上执行的应用310接收应用输出，并通过把该应用输出转换成合适的形式(例如，视频流)并把转换的应用输出嵌入到与视频会议端点302建立的多媒体通信会话(例如，H.323或SIP通信会话)内来把这种从应用310接收的应用输出发送给视频会议端点302。

更具体地讲，输入/输出处理引擎318包括输入解码器322、输入解释器324、输入处理器326、输出编码器328和输出发送器330。

当在与视频会议端点302建立的多媒体通信会话(例如，H.323或SIP通信会话)内从视频会议端点302接收到键盘304和/或计算机鼠标306输入时，输入解码器322从多媒体通信会话提取接收的键盘304和/或计算机鼠标306输入。例如，如果键盘304和/或计算机鼠标306输入在多媒体通信会话内在视频或音频流内被编码，则输入解码器322从视频或音频流对键盘304和/或计算机鼠标306输入解码。类似地，如果键盘304和/或计算机鼠标306输入在多媒体通信会话内被映射到带内或带外 DTMF音调上，则输入解码器322对DTMF音调解码。同样地，如果键盘304和/或计算机鼠标306输入在T.120流内被编码，则输入解码器322从T.120流对键盘304和/或计算机鼠标306数据解码。从多媒体通信会话提取键盘304和/或计算机鼠标306输入可包括：把键盘304和/或计算机鼠标306输入转换成键盘304和/或计算机鼠标306输入的常用格式。

在输入解码器322从与视频会议端点302建立的多媒体通信会话提取键盘304和/或计算机鼠标306输入之后，输入解释器324解析并解释提取的输入。在一些情况下，解释键盘304和/或计算机鼠标306输入可包括：识别键盘304和/或计算机鼠标306输入所用于的应用。这种应用可正在计算装置312自身上执行，或者替代地，这种应用可正在不同的计算装置(诸如例如，计算装置312经网络314可访问的计算装置308)上执行。

在输入解释器324已解释提取的键盘304和/或计算机鼠标306输入之后，输入处理器326根据由输入解释器324提供的解释按照键盘304和/或计算机鼠标306输入采取行动。例如，如果输入解释器324确定提取的键盘304和/或计算机鼠标306输入旨在用作正在计算装置308上执行的应用310的输入，则输入处理器326使用例如TCP/IP协议经网络314把键盘304和/或计算机鼠标306输入发送给正在计算装置308上执行的对应应用310。

当(例如，响应于由输入处理器326发送给正在计算装置308上执行的应用310的输入)从正在计算装置308上执行的应用310接收到输出时，输出编码器328把该输出转换成用于发送给视频会议端点302的合适格式(例如，视频流)，并且输出发送器330在与视频会议端点302建立的多媒体通信会话内把转换的从应用310接收的输出发送给视频会议端点302。视频会议端点302接收这种来自应用310的输出(例如，具有视频流的形式)，并在视频会议端点302显示该输出。

其它应用320使计算装置312能够提供另外的功能。例如，在一些实现方式中，其它应用320可使计算装置312能够用作视频会议***中的MCU或其它中间和/或协调计算装置。其它应用320可被实现为存储在计算机内存存储***中并且可由处理器316执行以提供在这里归属于其它应用320的功能的指令。

图4是通信***400的例子的示图，通信***400通过把键盘404和/或计算机鼠标406输入合并到多媒体通信会话中而使在视频会议端点402从键盘404和/或计算机鼠标406接收的输入能够被传送给远程计算装置408、410和412作为正在远程计算装置408、410和412上执行的应用的输入。

如图4中所示，通信***400包括：视频会议端点402，诸如例如像图1中示出的视频会议端点100一样的视频会议端点；和计算装置408和410，全都经企业网414以可通信的方式耦合。企业网414可提供视频会议端点402、计算装置408和/或计算装置410之间的直接或间接通信链路，而不管这种装置中的任何装置之间的物理分离如何。如此，视频会议端点402和计算装置408和412可在地理上彼此靠近，或者替代地，视频会议端点402和计算装置408和412可相隔很远的地理距离。企业网414的例子包括广域网(WAN)、包括无线LAN(WLAN)的局域网(LAN)、模拟或数字有线和无线电话网络、无线电、电视、线缆、卫星、用于传送数据的任何其它传送机构和/或它们的任何组合。

通信***400还包括计算装置412，计算装置412不在企业网414上，但计算装置408可经网络416访问计算装置412。如此，为了使视频会议端点402和计算装置410与计算装置412通信，视频会议端点402和计算装置412可能必须经企业网414把通信引导至计算装置408，以使计算装置408能够经网络416把通信继续转发给计算装置412。

网络416可提供计算装置408和计算装置412之间的直接或间接通信链路，而不管这两个装置之间的物理分离如何。如此，计算装置408和412可在地理上彼此靠近，或者替代地，计算装置408和412可相隔很远的地理距离。网络416的例子包括互联网、万维网、广域网(WAN)、包括无线LAN(WLAN)的局域网(LAN)、模拟或数字有线和无线电话网络、无线电、电视、线缆、卫星、用于传送数据的任何其它传送机构和/或它们的任何组合。

视频会议端点402包括键盘404和计算机鼠标406，并且配置为与计算装置408建立多媒体通信会话418(例如，H.323或SIP通信会话)。另外，视频会议端点402配置为从键盘404和/或计算机鼠标406接收输入作为正在计算装置408、410和412上执行的应用的输入，并通过把键盘404和/或计算机鼠标406输入嵌入到在视频会议端点402和计算装置408之间建立的多媒体通信会话418(例如，H.323或SIP通信会话)内来把这种接收的键盘404和/或计算机鼠标406输入发送给计算装置408。

计算装置408配置为在与视频会议端点402的多媒体通信会话418内从视频会议端点402接收这种键盘404和/或计算机鼠标406输入，并识别键盘404和/或计算机鼠标406输入所用于的应用。如果接收的键盘404和/或计算机鼠标406输入用于正在计算装置408上执行的应用，则计算装置408把键盘404和/或计算机鼠标406输入传送给正在计算装置408上执行的应用。替代地，如果计算装置408确定接收的键盘404和/或计算机鼠标406输入用于正在计算装置410上执行的应用，则计算装置408经通过企业网414与计算装置410建立的通信会话420把键盘404和/或计算机鼠标406输入传送给正在计算装置410上执行的应用。类似地，如果计算装置408确定接收的键盘404和/或计算机鼠标406输入用于正在计算装置412上执行的应用，则计算装置408经通过企业网416与计算装置412建立的通信会话422把键盘404和/或计算机鼠标406输入传送给正在计算装置412上执行的应用。

计算装置408还配置为接收用于视频会议端点402的来自正在计算装置408、410和412上执行的应用的输出，并把这种输出发送给视频会议端点402。例如，如果计算装置408接收到用于视频会议端点402的来自正在计算装置408上执行的应用的输出，则计算装置408把该应用输出转换成适合发送给视频会议端点402的格式(例如，视频流)，并通过把转换的应用输出合并到与视频会议端点402建立的多媒体通信会话418中来把转换的应用输出发送给视频会议端点402。类似地，如果计算装置408在通信会话420内接收到用于视频会议端点402的来自正在计算装置410上执行的应用的输出，则计算装置408把该应用输出转换成适合发送给视频会议端点402的格式(例如，视频流)，并通过把转换的应用输出合并到与视频会议端点402建立的多媒体通信会话418中来把转换的应用输出发送给视频会议端点402。同样地，如果计算装置408在通信会话422内接收到用于视频会议端点402的来自正在计算装置412上执行的应用的输出，则计算装置408把该应用输出转换成适合发送给视频会议端点402的格式(例如，视频流)，并通过把转换的应用输出包括到与视频会议端点402建立的多媒体通信会话418中来把转换的应用输出发送给视频会议端点402。

以这种方式，视频会议端点402能够把键盘404和/或计算机鼠标406输入提供给正在与视频会议端点402位于同一企业网414上的计算装置(例如，计算装置408和410)上执行的应用并且接收来自这些应用的输出，以及把键盘404和/或计算机鼠标406输入提供给正在并不位于企业网414上的计算装置上执行的应用并且接收来自这些应用的输出。

在一种实现方式中，这里描述的用于把在视频会议端点接收的键盘和/或计算机鼠标输入合并到多媒体通信会话中的技术可用于使来自一个视频会议***的视频会议端点的用户能够呼叫不同视频会议***的协调装置(例如，MCU)，并且访问从所述不同视频会议***的协调装置可用的一个或多个应用，该视频会议端点原本将会不能访问所述一个或多个应用。例如，第一公司可联系一个视频会议***提供商以便为第一公司提供视频会议解决方案，并且第二公司可联系不同的视频会议***提供商以便为第二公司提供视频会议***。在没有其它措施的情况下，来自一个视频会议***的视频会议端点可能无法访问由另一视频会议***提供的管理服务(例如，调度管理、用户目录和/或存在界面)。然而，通过使来自一个***的视频会议端点能够把键盘和/或计算机鼠标数据合并到与另一视频会议***的视频会议管理装置建立的多媒体通信会话内，该视频会议端点的用户可访问由所述另一视频会议***的视频会议管理装置提供的管理服务。

图5是通信***500的例子的示图，通信***500使来自一个视频会议***的视频会议端点能够访问由不同的视频会议***提供的管理服务(例如，调度管理、用户目录和/或存在监测界面)。如图5中所示，通信***500包括第一视频会议***502，第一视频会议***502具有视频会议端点504和视频会议管理***506(例如，例如配置为能够实现不同通信协议(像是H.320 ISDN和H.323)之间的互操作的MCU和/或协议网关)。另外，通信***500包括：视频会议端点508，属于不同的视频会议***；和网络510，以可通信的方式把视频会议端点508耦合到视频会议***502。

网络510可提供视频会议端点508和视频会议***502之间的直接或间接通信链路，而不管这两个装置之间的物理分离如何。如此，视频会议端点508和视频会议***502可在地理上彼此靠近，或者替代地，视频会议端点508和视频会议***502可相隔很远的地理距离。网络510的例子包括互联网、万维网、广域网(WAN)、包括无线LAN(WLAN)的局域网(LAN)、模拟或数字有线和无线电话网络、无线电、电视、线缆、卫星、用于传送数据的任何其它传送机构和/或它们的任何组合。

视频会议***502可由单个公司或组织操作，或者代表单个公司或组织。视频会议管理***506为视频会议***502提供管理服务。例如，视频会议管理***506可用作视频会议***502的MCU，协调视频会议***502的视频会议端点504之间的多点视频会议。另外，视频会议管理***506可为视频会议***502提供另外的管理服务，诸如例如对操作视频会议***502的公司或组织的企业目录的访问、用于安排使用视频会议***502的视频会议的调度应用和/或监测视频会议***502内的视频会议参与者的存在的存在应用。

视频会议端点508包括键盘512和计算机鼠标514。另外，视频会议端点508配置为通过把从键盘512和/或计算机鼠标514接收的输入包括到与一个或多个远程计算装置建立的多媒体通信会话中来把从键盘512和/或计算机鼠标514接收的这种输入发送给正在这种其它远程计算装置上执行的应用。

像视频会议***502一样，视频会议端点508所属于的视频会议***也可由公司或组织操作，或者代表公司或组织。然而，操作视频会议***502的公司或组织可不同于操作视频会议端点508所属于的视频会议***的公司或组织。另外，视频会议***502可由一个视频会议服务提供商制造，而视频会议端点508所属于的视频会议***可由不同的视频会议服务提供商制造。结果，视频会议***502的视频会议端点504可访问与视频会议端点508访问的管理服务不同的管理服务(例如，由视频会议管理***506提供的管理服务)。

然而，采用这里描述的技术，视频会议端点508可以能够访问由视频会议管理***506提供给视频会议***502的管理服务。例如，视频会议端点508可经网络510呼叫视频会议管理***506，并与视频会议管理***506建立多媒体通信会话(例如，H.323或SIP通信会话)。其后，由视频会议管理***506提供的管理服务所产生的输出可被转换成适合发送给视频会议端点508的格式(例如，视频流)，并在视频会议端点508和视频会议管理***506之间建立的多媒体通信会话内被发送给视频会议端点508。另外，视频会议端点508可使视频会议端点508的用户能够通过把由视频会议端点508接收的键盘512和/或计算机鼠标514输入合并到在视频会议端点508和视频会议***502的视频会议管理***506之间建立的多媒体通信会话中来把键盘512和/或计算机鼠标514输入提供给由视频会议管理***506提供的管理服务。以这种方式，视频会议端点508可以能够访问由视频会议管理***506提供的管理服务，诸如例如操作视频会议***502的公司或组织的企业目录、用于安排视频会议***502的视频会议的调度应用和/或监测视频会议***502内的视频会议参与者的存在的存在应用。

图6A-6B表示用于在多媒体通信会话内交换应用输入/输出的过程的例子的流程图600。在图6A-6B的流程图600中示出的过程可由视频会议端点、应用代理(例如，服务器或其它计算装置)和正在计算装置上执行的应用执行。

最初，视频会议端点呼叫应用代理，并向应用代理发送用于建立多媒体通信会话的请求(602)。例如，视频会议端点呼叫应用代理，并请求根据H.323标准与应用代理建立多媒体通信会话。替代地，视频会议端点呼叫应用代理，并请求根据SIP标准建立通信会话。

应用代理从视频会议端点接收用于建立多媒体通信会话(例如，H.323或SIP通信会话)的请求(604)，并且作为响应，准许对与视频会议端点的多媒体通信会话(例如，H.323或SIP通信会话)的请求(606)。其后，应用代理把多媒体通信会话(例如，H.323或SIP通信会话)的确认发送给视频会议端点(608)，该确认由视频会议端点接收(610)，由此在视频会议端点和应用代理之间建立多媒体通信会话(例如，H.323或SIP通信会话)。

同时，正在计算装置上执行的应用把应用输出发送给应用代理(612)。例如，该应用可把用于与该应用交互的GUI发送给应用代理。应用代理接收由该应用发送的应用输出(614)，并把应用输出转换成用于在与视频会议端点的多媒体通信会话内发送给视频会议端点的媒体流(616)。应用代理随后在在视频会议端点和应用代理之间建立的多媒体通信会话内把转换的应用输出的媒体流发送给视频会议端点(618)。在应用输出是用于与该应用交互的GUI的例子中，应用代理在与视频会议端点的多媒体通信会话内把用于与该应用交互的GUI作为视频流发送给视频会议端点。

视频会议端点在在视频会议端点和应用代理之间建立的多媒体通信会话内接收来自应用代理的转换的应用输出的媒体流(620)，并在视频会议端点显示转换的应用输出的媒体流(622)。在应用输出是用于与该应用交互的GUI的例子中，视频会议端点在视频会议端点作为视频显示用于与该应用交互的GUI。

响应于在视频会议端点显示的应用输出，视频会议端点接收键盘和/或计算机鼠标应用输入(624)。例如，当在视频会议端点显示的应用输出是用于与该应用交互的GUI时，可在视频会议端点接收针对用于与该应用交互的GUI的键盘和/或计算机鼠标输入。视频会议端点随后在与该应用建立的多媒体通信会话内把接收的键盘和/或计算机鼠标输入发送给应用代理。例如，当与应用代理建立了H.323通信会话时，视频会议端点可把接收的键盘和/或计算机鼠标应用输入编码为在与应用代理的H.323多媒体通信会话内传送的视频流。替代地，视频会议端点可把接收的键盘和/或计算机鼠标应用编码为在H.323通信会话内传送的T.120流，或者视频会议端点可把键盘和/或计算机鼠标应用输入映射到在H.323通信会话内作为带内或带外信号发送给应用代理的 DTMF音调上。

应用代理接收在多媒体通信会话内发送的键盘和/或计算机鼠标应用输入(628)，并从多媒体通信会话提取键盘和/或计算机鼠标应用输入(630)。例如，如果键盘和/或计算机鼠标输入在多媒体通信会话中在视频流内被编码，则应用代理从视频流对键盘和/或计算机鼠标输入解码。类似地，如果键盘和/或计算机鼠标输入在T.120流内被编码，则应用代理从T.120流对键盘和/或计算机鼠标输入解码。同样地，如果键盘和/或计算机鼠标输入在多媒体通信会话内被作为DTMF音调发送，则应用代理从DTMF音调对键盘和/或计算机鼠标输入解码。

在从多媒体通信会话提取键盘和/或计算机鼠标输入之后，应用代理把键盘和/或计算机鼠标输入发送给该应用(632)。该应用接收键盘和/或计算机鼠标输入(634)，按照它采取行动，并产生响应于键盘和/或计算机鼠标输入的应用输出(636)。该应用随后把应用输出发送给应用代理(638)。

当应用代理从该应用接收到应用输出(640)时，应用代理把应用输出转换成用于在与视频会议端点的多媒体通信会话内发送给视频会议端点的媒体流(642)。应用代理随后在在视频会议端点和应用代理之间建立的多媒体通信会话内把转换的应用输出的媒体流发送给视频会议端点(644)。视频会议端点随后在在视频会议端点和应用代理之间建立的多媒体通信会话内接收来自应用代理的转换的应用输出的媒体流(646)，并在视频会议端点显示转换的应用输出的媒体流(648)。

以这种方式，视频会议端点能够通过把嵌入在多媒体通信会话内的输入发送给应用以及从应用接收嵌入在多媒体通信会话内的输出来访问正在远程计算装置上执行的应用并且与该应用交互。

这里描述的用于把键盘和/或计算机鼠标数据合并到多媒体通信会话(例如，H.323或SIP通信会话)中的技术不限于在视频会议端点接收的键盘和/或计算机鼠标数据。相反地，它们可扩展至涉及任何类型的计算装置的许多不同的应用。例如，可在任何两个不同的计算***之间建立多媒体通信会话(例如，H.323或SIP通信会话)，并且通过把在一个这种计算装置接收的键盘和/或计算机鼠标输入包括到在这两个计算装置之间建立的多媒体通信会话中可把该键盘和/或计算机鼠标输入发送给正在另一这种装置上执行的应用。

例如，在一种实现方式中，可在平板计算机和服务器之间建立多媒体通信会话，在该服务器上，正在执行提供对其它应用的访问的远程桌面应用。服务器随后可通过把由远程桌面应用产生的输出(诸如，例如用于与远程桌面应用交互的GUI)合并到与平板计算机的多媒体通信会话内例如作为视频流来把该输出发送给平板计算机。平板计算机随后可显示由远程桌面应用产生的输出，并使平板计算机的用户能够通过在平板计算机操纵键盘和/或计算机鼠标控件来把输入提供给远程桌面应用。平板计算机随后可通过把在平板计算机接收的用于远程桌面应用的任何这种键盘和/或计算机鼠标输入包括到与服务器的多媒体通信会话中来把键盘和/或计算机鼠标输入发送给服务器。以这种方式，即使平板计算机自身未配置为提供桌面计算环境，也可在平板计算机使用桌面计算环境。

图7是通过多媒体通信会话(例如，H.323或SIP通信会话)访问远程桌面应用的平板计算机700的例子的示图，由另一计算装置(未示出)使该远程桌面应用可用。平板计算机700采用触摸屏技术，该技术使用户能够通过利用手指、触控笔或其它输入机构触摸触摸屏装置或悬停在触摸屏装置上方来把输入提供给平板计算机700。另外，平板计算机700提供软键键盘702，软键键盘702使平板计算机700的用户能够通过使用触摸屏技术在软键键盘702上选择所希望的键来把键盘输入提供给平板计算机。平板计算机700还提供计算机鼠标控件704，计算机鼠标控件704使用户能够通过使用触摸屏技术在触摸屏上追踪路径706来把计算机鼠标输入提供给平板计算机700。

平板计算机700还配置为与另一计算装置(例如，服务器)(未示出)建立多媒体通信会话(例如，H.323或SIP通信会话)，在所述另一计算装置上执行远程桌面应用，该远程桌面应用提供对在所述另一计算装置的一个或多个应用的访问。所述另一计算装置配置为把来自远程桌面应用的输出(诸如，例如用于与远程桌面应用交互的GUI)转换成用于在与平板计算机700建立的多媒体通信会话内发送给平板计算机700的视频流。平板计算机700自身配置为显示它在与所述另一计算装置建立的多媒体通信会话内从所述另一计算机接收的视频流。因此，当所述另一计算装置在与平板计算机700建立的多媒体通信会话内作为视频流把用于与远程桌面应用交互的GUI发送给平板计算机700时，平板计算机700显示GUI 708。

平板计算机700还配置为通过把由平板计算机接收的键盘702和/或计算机鼠标704输入合并到与所述另一计算机的多媒体通信会话内来把键盘702和/或计算机鼠标704输入发送给所述另一计算装置作为远程桌面应用的输入。以这种方式，即使平板计算机700自身未配置为提供桌面计算环境，也可在平板计算机700使用桌面计算环境。

已描述许多方法、技术、***和设备。然而，可实现另外的变型。例如，虽然在把键盘和/或计算机鼠标输入从一个装置发送给另一在物理上不同的装置的情况下在这里一般地描述了用于通过把输入合并到用于发送视频(或音频-视频)的通信协议内来把这种输入从一个装置发送给另一在物理上不同的装置的技术，但这些技术能够同样很好地用于交换来自任何数量的不同类型的装置(包括例如扫描仪、传真机、打印机和电传打字装置)的输入/输出。另外或者替代地，在通过把键盘和/或计算机鼠标输入包括到用于发送视频(或音频-视频)的媒体流和/或通信协议内来把这种键盘和/或计算机鼠标输入向上游发送给远程的在物理上不同的计算装置的视频会议端点的情况下，为了减少原本可能被视频会议端点的用户感知到的延迟的目的，可在视频会议端点采用回送或本地缓存技术。例如，当视频会议端点的用户使用计算机鼠标在由在视频会议端点的显示器显示的界面周围移动指针时，可在视频会议端点采用回送或本地缓存技术以显示指针的移动(例如，经覆盖或合成技术)，从而为用户提供响应于键盘鼠标的移动的几乎即时的反馈。类似地，当视频会议端点的用户使用键盘把文本输入到由在视频会议端点的显示器显示的界面中时，可在视频会议端点采用回送或本地高速缓存技术以显示文本(例如，经覆盖或合成技术)，从而为用户提供响应于用户的按键敲击的几乎即时的反馈。

所描述的方法、技术、***和设备可例如通过执行存储在计算机可读存储介质中的指令而被实现在数字电子电路或计算机硬件中。实现这些技术的设备可包括合适的输入和输出装置、计算机处理器和/或存储由处理器执行的指令的有形计算机可读存储介质。

实现这里公开的技术的过程可由处理器执行，该处理器执行存储在有形计算机可读存储介质上的指令以通过按照输入数据进行操作并产生合适的输出来执行所希望的功能。作为例子，合适的处理器包括通用微处理器和专用微处理器。用于存储可执行指令的合适的计算机可读存储介质包括所有形式的非易失性存储器，作为例子，包括：半导体存储装置，诸如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存装置；磁盘，诸如固定盘、软盘和移动盘；包括磁带的其它磁介质；和光学介质，诸如压缩盘(CD)或数字视频盘(DVD)。任何前述的计算机可读存储介质可由专门设计的专用集成电路(ASIC)补充或者可被包括在专门设计的专用集成电路(ASIC)中。

虽然公开的技术的操作可在这里被描述为按照某一次序执行，但在一些实现方式中，可按照不同的次序重新安排各操作和/或去除各操作，并且仍然可实现所希望的结果。类似地，公开的***中的部件可按照不同方式组合和/或由其它部件替换或补充，并且仍然可实现所希望的结果。

Claims (15)

1.一种计算机实现的方法，包括：

在第一计算***和第二计算***之间根据能够实现各***之间的视频内容的交换的通信协议建立通信会话，第二计算***在物理上不同于第一计算***并且相对于第一计算***位于远处；

在第二计算***并且在建立的通信会话内接收来自第一计算***的数据，接收的数据包括应用输入；

从接收的数据提取应用输入；

把提取的应用输入传送给应用；

从提取的应用输入被传送到的应用接收应用输出，该应用输出响应于传送的应用输入；以及

在建立的通信会话内把应用输出的至少一些作为视频内容从第二计算***发送给第一计算***。

2.根据权利要求1所述的方法，其中所述通信协议能够实现视频内容和音频内容的交换，从而在第一计算***和第二计算***之间建立通信会话包括根据能够实现视频内容和音频内容的交换的通信协议在第一计算***和第二计算***之间建立通信会话。

3.根据权利要求2所述的方法，其中根据能够实现视频内容和音频内容的交换的通信协议在第一计算***和第二计算***之间建立通信会话包括在第一计算***和第二计算***之间建立H.323通信会话，从而：

在第二计算***并且在建立的通信会话内接收来自第一计算***的包括应用输入的数据包括在第二计算***在建立的H.323通信会话内接收来自第一计算***的包括应用输入的数据；以及

在建立的通信会话内把应用输出的至少一些作为视频内容从第二计算***发送给第一计算***包括在建立的H.323通信会话内把应用输出的至少一些作为视频内容从第二计算***发送给第一计算***。

4.根据权利要求3所述的方法，其中：

在第二计算***并且在建立的H.323通信会话内接收来自第一计算***的包括应用输入的数据包括在第二计算***并且在建立的H.323通信会话内接收来自第一计算***的包括来自键盘的输入的数据；

从接收的数据提取应用输入包括从在建立的H.323通信会话内接收的数据提取来自键盘的输入；

把提取的应用输入传送给应用包括把提取的来自键盘的输入传送给应用；以及

接收响应于传送的应用输入的应用输出包括接收响应于传送的来自键盘的输入的应用输出。

5.根据权利要求3所述的方法，其中：

在第二计算***并且在建立的H.323通信会话内接收来自第一计算***的包括应用输入的数据包括在第二计算***并且在建立的H.323通信会话内接收来自第一计算***的包括来自指示装置的输入的数据；

从接收的数据提取应用输入包括从在建立的H.323通信会话内接收的数据提取来自指示装置的输入；

把提取的应用输入传送给应用包括把提取的来自指示装置的输入传送给应用；以及

接收响应于传送的应用输入的应用输出包括接收响应于传送的来自指示装置的输入的应用输出。

6.根据权利要求5所述的方法，其中所述指示装置是计算机鼠标，从而：

在第二计算***并且在建立的H.323通信会话内接收来自第一计算***的包括来自指示装置的输入的数据包括在第二计算***并且在建立的H.323通信会话内接收来自第一计算***的包括来自计算机鼠标的输入的数据；

从在建立的H.323通信会话内接收的数据提取来自指示装置的输入包括从在建立的H.323通信会话内接收的数据提取来自计算机鼠标的输入；

把提取的来自指示装置的输入传送给应用包括把提取的来自计算机鼠标的输入传送给应用；以及

接收响应于传送的来自指示装置的输入的应用输出包括接收响应于传送的来自计算机鼠标的输入的应用输出。

7.根据权利要求3所述的方法，其中在第二计算***并且在建立的H.323通信会话内接收来自第一计算***的包括应用输入的数据包括在第二计算***在建立的H.323通信会话内接收来自第一计算***的音频-视频(A/V)内容和应用输入。

8.根据权利要求7所述的方法，其中：

在第二计算***在建立的H.323通信会话内接收来自第一计算***的A/V内容和应用输入包括在建立的H.323通信会话内接收音频信号和对应的视频信号，应用输入被嵌入在视频信号内；以及

从接收的数据提取应用输入包括从视频信号提取应用输入。

9.根据权利要求7所述的方法，其中：

在第二计算***在建立的H.323通信会话内接收来自第一计算***的A/V内容和应用输入包括在建立的H.323通信会话内接收T.120流，应用输入被嵌入在T.120流内；以及

从接收的数据提取应用输入包括从T.120流提取应用输入。

10.根据权利要求7所述的方法，其中：

在第二计算***在建立的H.323通信会话内接收来自第一计算***的A/V内容和应用输入包括在建立的H.323通信会话内接收双音多频(DTMF)音调，应用输入与A/V内容带内地被映射到DTMF音调上；

从接收的数据提取应用输入包括把接收的DTMF音调转换成应用输入。

11.根据权利要求7所述的方法，其中：

在第一计算***和第二计算***之间建立H.323通信会话包括在H.323通信会话内在第一计算***和第二计算***之间建立第一信道和第二信道；

在第二计算***在建立的H.323通信会话内接收来自第一计算***的A/V内容和应用输入：

       在第二计算***在建立的H.323通信会话内经第一信道接收来自第一计算***的A/V内容，以及

       在第二计算***在建立的H.323通信会话内经第二信道接收来自第一计算***的双音多频(DTMF)音调，应用输入已被映射到DTMF音调上；以及

从接收的数据提取应用输入包括把接收的DTMF音调转换成应用输入。

12.根据权利要求2所述的方法，其中根据能够实现视频内容和音频内容的交换的通信协议在第一计算***和第二计算***之间建立通信会话包括在第一计算***和第二计算***之间建立会话启动协议(SIP)通信会话，从而：

在第二计算***在建立的通信会话内接收来自第一计算***的包括应用输入的数据包括在第二计算***在SIP通信会话内接收来自第一计算***的包括应用输入的数据；以及

在建立的通信会话内把应用输出的至少一些作为视频内容从第二计算***发送给第一计算***包括在SIP通信会话内把应用输出的至少一些作为视频内容从第二计算***发送给第一计算***。

13.根据权利要求1所述的方法，其中在第二计算***并且在建立的通信会话内接收来自第一计算***的包括应用输入的数据包括在第二计算***并且在建立的通信会话内接收来自第一计算***的第一内容类型的数据和具有与第一内容类型不同的第二内容类型的应用输入。

14.一种***，包括：

一个或多个处理元件；和

计算机内存存储部件，存储指令，所述指令在由所述一个或多个处理元件执行时使所述一个或多个处理元件：

       通过与在物理上不同的电子装置的第一网络连接从该电子装置接收用于根据能够实现音频-视频(A/V)内容的交换的通信协议建立通信会话的请求；

       响应于接收到用于建立通信会话的请求，根据能够实现A/V内容的交换的通信协议通过与该电子装置的第一网络连接与该电子装置建立通信会话；

       在与该电子装置建立的通信会话内通过与该电子装置的第一网络连接接收来自该电子装置的数据，接收的数据包括来自键盘的应用输入信号；

       从接收的数据提取来自键盘的应用输入信号；

       确定提取的来自键盘的应用输入信号对应于由在物理上不同的计算***支持的应用，该计算***不同于该电子装置；

       作为已确定提取的来自键盘的应用输入信号对应于由该计算***支持的应用的结果，通过与该计算***的第二网络连接把提取的来自键盘的应用输入信号发送给该计算***，第一网络连接不同于第二网络连接；

       通过与该计算***的第二网络连接接收来自由该计算***支持的应用的响应于发送的来自键盘的应用输入信号的应用输出；

       把接收的应用输出转换成视频流；以及

       在与该电子装置建立的通信会话内通过与该电子装置的第一网络连接把具有视频流的形式的转换的应用输出发送给该电子装置。

15.一种存储指令的计算机可读存储介质，当由处理器执行所述指令时，所述指令使处理器：

访问图形用户界面，该图形用户界面能够实现与计算***的交互；

产生图形用户界面的视频流表示；

把图形用户界面的视频流表示从计算***发送给在物理上不同于计算***的电子装置；

在计算***从电子装置接收媒体流，在媒体流中嵌入有从以可通信的方式耦合到电子装置的键盘和以可通信的方式耦合到电子装置的计算机鼠标中的至少一种接收的用户输入；

从接收的媒体流提取用户输入；

把提取的用户输入提供给计算***作为输入；

修改图形用户界面的视频流表示以反映由提供给计算***作为输入的用户输入导致的图形用户界面的变化；以及

把反映图形用户界面的变化的修改的图形用户界面的视频流表示发送给电子装置。

Images