CN101133590B

CN101133590B - 见你所见（swys）

Info

Publication number: CN101133590B
Application number: CN2006800067698A
Authority: CN
Inventors: K·拉帕莱南; M·厄伊斯卡拉
Original assignee: Nokia Oyj
Current assignee: Nokia Technologies Oy
Priority date: 2005-03-02
Filing date: 2006-03-01
Publication date: 2012-05-09
Anticipated expiration: 2026-03-01
Also published as: EP1854236A4; EP1854236A1; US7796651B2; WO2006092468A1; CN101133590A; US20060198395A1

Abstract

本发明涉及从发送终端向接收终端传输媒体。在用于将媒体从发送终端传输到接收终端的方法中，媒体的至少一部分作为数据分组的序列被传输到接收终端并且存储在发送终端中，从而，作为对接收的数据分组的响应，从接收终端返回通知，由此根据通知，在发送终端中形成所存储的传输媒体的呈现。本发明还涉及***、设备和计算机程序产品。

Description

见你所见(SWYS)

技术领域

本发明涉及从发送终端到接收终端的媒体的传输。

背景技术

见我所见(SWIS)是经由移动网络进行通信的一种现代方式。在SWIS中，通信通常包括音频和视频。SWIS的基本思想是执行电话呼叫并且同时发送描述从中执行电话呼叫的环境的实时视频数据。这意味着接收方可观察发送方执行电话呼叫时的环境和情况的视频。

可以不同的方式实施SWIS。可通过电路交换网络来传输音频并且通过分组交换网络来传输视频。还可通过分组交换网络(例如，VoIP)传输二者。在电路交换(CS)网络中，数字数据作为连续的比特流来发送，由此在传输中几乎没有任何的延迟，或延迟基本上是固定的。在分组交换(PS)网络中，通过将数据形成被传输的短分组来发送数字数据。分组交换网络可具有不可预见的延迟或分组甚至可能被丢失，由此发送方不能确定何时在接收方处接收到数据分组。

当前，通过使用实时传输协议(RTP)来处理通过分组交换网络携带的数据。RTP控制协议(RTCP)基于在会话中向所有的参与者周期性地传输控制分组。RTCP的主要功能是提供对数据分发的质量的反馈。通过发送方和接收方报告执行该反馈。

发送方报告(SR)包括针对所述SR的发送方的同步源标识符(SSRC)。在SR中，存在NTP时间戳，该时间戳指示何时发送SR报告的时间。RTP时间戳对应于与NTP时间戳相同的时间，但在与数据分组中的RTP时间戳相同的单元内并且具有相同的随机偏移。SR还包括关于发送方的分组计数的信息，其是由发送方自开始传输起到生成当前SR的时刻传输的RTP数据分组的总数。SR中发送方的八进制计数告知由发送方自开始传输起到生成当前SR时刻在RTP数据分组中传输的净荷八进制的总数。

接收方报告(RR)还包括接收方报告中所涉及的信息的源标识符(SSRC_n)。RR还包括丢包率，其描述自先前SR或RR分组发送起从源SSRC_n丢失的RTP数据分组的比率。该比率被定义为丢失分组的数目除预期的分组的数目。在RR中丢失的分组的累积数是从接收开始已丢失的来自源SSRC_n的RTP数据分组的总数目。该数目被定义为预期的分组数目减去实际接收到的分组数目，其中接收到的分组数目包括迟到的或复制的任意分组。预期的分组数被定义为接收到的扩展最高序号，其包含从源SSRC_n的RTP数据分组中接收到的最高序号，并且序号具有序号周期的相应计数。RR还包括间隔抖动，其是RTP数据分组到达间隔时间的统计方差的估计。另外RR包括最后一个SR时间戳以及自最后一个SR的延迟(DLSR)，其是从SSRC_n接收最后一个SR分组并且发送当前接收报告块之间的延迟。如果还没有从SSRC_n接收到SR分组，则DLSR字段将设置成零。

SWIS和分组交换网络的问题在于不可预见的延迟，由此发送方不能确定接收方何时接收到媒体分组的确切时间。在视频的环境中，发送方因此不能知道在给定的时间，在接收方处可看见媒体的什么部分。因此，在SWIS中，可能比视频明显早地接收到用户的语音，由此如果发送方正在引述在视频传输中示出的东西，则接收方未必知道发送方正在谈论什么。

可从相关现有技术中找到在视频会议中使用的音频和图像的同步方法。这些方法主要涉及所谓的“唇型同步(lip synchronized)”。在EP1057337B1中，通过检测声音和图像输出之间的任意失配并且在网关中调整通过网关路由的信号的可变延迟直到声音和图像输出同步，声音和图像在实时多媒体通信中同步。

然而，在SWIS中，问题更多的涉及事实上发送方无法确切知道接收方当前正在接收和观察的媒体的什么部分或什么阶段。因此，明显需要提供这种类型通信中的改变以提高在人类发送方和接收方之间的整个信息交换和彼此理解。

发明内容

本发明通过提供用于终端间传递媒体的方法、***、设备和计算机程序产品来针对此类改进。

在用于从发送终端发送媒体到接收终端的方法中，所述媒体的至少一部分作为数据分组的序列被传输到接收终端并且存储在发送终端中，从而作为对接收到的数据分组的响应，从所述接收终端返回通知，由此根据所述通知，在发送终端中形成所存储的传输媒体的呈现。

在用于从发送终端发送媒体到接收终端的***中，所述发送终端能够将所述媒体的至少一部分作为数据分组的序列进行传输并且存储所述传输的媒体，从而作为对接收到的数据分组的响应，接收终端能够返回通知，由此***配置成在所述发送终端中根据所述通知形成所存储的传输媒体的呈现。

一种用于发送具有到接收终端的至少一个数据传输连接的媒体的设备，该设备能够将至少一部分所述媒体作为数据分组的序列传输到所述接收终端并且存储所述传输的媒体，并且进一步能够响应于所传输数据分组，从接收终端接收通知，由此设备能够根据所述通知形成所存储的传输媒体的呈现。

存储在介质上并且设置成用于发送媒体的计算机程序产品包括计算机可读指令，该计算机可读指令用于将至少一部分所述媒体作为数据分组的序列进行传输并且存储所述传输的媒体，接收作为对所传输数据分组响应的通知，由此根据所述通知形成所存储的传输媒体的呈现。

另外，一种用于发送媒体的计算机程序包括计算机可读指令，用于将至少一部分所述媒体作为数据分组的序列进行传输并且存储所述传输的媒体，接收作为对所传输数据分组响应的通知，由此根据所述通知形成所存储的传输媒体的呈现。

根据该解决方案，发送方可以知道接收方正在接收发送的媒体的什么阶段或什么部分。

本发明的要点在于向发送方提供以时间上同步的方式在他/她的发送设备中观看在他/她的接收设备中正在接收的相同视图的可能性。换句话说，发送方将在给定的时间看到接收侧正在看到的内容。如果必要，这可以使得发送人部分针对可能具有由于分组交换传输装置造成的传输延迟的另一种呈现而调整他/她的语音。

在下文中，根据本发明的原理被称为见你所见(SWYS)。

附图说明

通过下面结合附图所做出的考虑，将可获得对本发明的更好理解，其中：

图1以简化的方式示出本发明的步骤的例子；

图2示出根据本发明的一个例子的方法步骤的流程图；

图3a和图3b示出彼此相关的SWIS和SWYS视图的例子；

图4示出两个终端之间信令的例子；以及

图5示出用于发送媒体内容的设备的例子。

具体实施方式

尽管为了简化在下文的描述中使用了特定的术语，但这些术语旨在用于表示在附图中示出的本发明选择的例子而不必旨在限定或限制本发明的范围。因为本发明利用至少两个用户的显示器进行操作，所以给出针对显示器的更为具体的限定。涉及本发明实施的显著要素是发送终端和至少一个接收终端。这些终端分别包括发送显示器和接收显示器。发送显示器被设置成显示SWIS视图，其是用户正在发送的一个视图，而SWYS则是接收方正在接收和观看的一个视图。表示这些显示器的另一种方式是使用术语本地取景器视图(SWIS)和远程取景器视图(SWYS)。典型地，发送方使用本地取景器视图以选择他/她想显示给另一方看的景像。使用远程取景器视图，发送方可检查另一方在给定时刻正在看什么，并且如果需要，例如，由于传输延迟，则针对该情况提供他/她的呈现。

SWIS视图和SWYS视图可共享发送显示器，从而发送显示器的一部分指定用于SWIS视图而发送显示器的一部分指定用于SWYS视图。在一些情况下，还可以在发送显示器上作为整体显示所述视图，由此通过某些交互操作可执行所述视图之间的互换。在下文中讨论这个和其他的操作。在描述中，术语“媒体”用作可发送数据的例子。特别地，媒体涉及音频和视频。但可也传输其他的图像数据。有时媒体可仅包含图像数据。在描述中，术语“呈现”涉及在SWYS视图上显示的传输媒体的形成。

在图1中示出本发明的很简化的例子。发送显示器100包括针对SWIS110和SWYS125的视图。接收显示器150还包括视图120。自然，视图120在接收终端处还可被设置类似于SWIS和SWYS。然而，为了理解，可同样地讨论视图120。从设置成所述设备的成像装置(在图1中未示出)中获得针对SWIS视图110的内容。内容是媒体内容，例如视频或静态图像。这里应该在宽泛的意义上理解媒体内容。这样的内容可来自于集成在发送方设备中的照相机设备，但也可来自于具有或连接到发送设备的任何其他源，例如来自于早前记录的媒体文件或其他可视或可听的数据，例如文本文件或放映幻灯片或音乐文件。因此，本发明不限于视频电话应用，而可应用于宽泛的应用，其中各方以实时的方式彼此呈现媒体内容。

通过将内容数据划分成分组140并且接着传输该分组140来将内容传输到接收设备。随同分组140，发送报告(SR)也被传输到接收终端。发送报告(SR)至少包括用于分组的标识和用于所述分组的发送时间。分组组合还包括接收通知，即，在接收终端接收到分组140时返回的接收报告(RR)。在发送终端处，检查接收通知(RR)并且查找关于传输分组的状态的信息。根据所述信息，将通过将传输的媒体分组与接收显示器150的视图120的内容进行同步来形成将在SWYS视图125上显示的呈现，由此在SWYS视图125中显示呈现。因此SWYS视图125基本上与接收显示器150显示相同的内容。应该注意到这点上，SWIS视图110的内容、本地取景器视图可能已经被改变。

参考图2以更为详细的方式描述同步，其中示出了处理步骤的例子。在图2中示出的处理步骤涉及在发送终端中发生的动作。首先(210)，发送终端发送媒体到接收终端。媒体被打包并且通过使用UDP/IP(用户数据报协议/因特网协议)上的RTP来传输。除了媒体分组，还将发送报告传输到接收方。当RTCP用作控制协议时，发送报告可采用RTCP SR报告的形式。在发送分组时，发送终端利用时间戳存储(215)发送的媒体。例如，当发送视频时，利用***时钟时间戳将构成所述视频的视频帧存储到缓冲器。缓冲器的长度可以是固定的，由此前存储的发送媒体也是前被移出(即，先进先出)。此外，发送终端存储(217)最后一个发送分组的发送时间。当分组已经被递送到接收终端时，发送终端接收(220)通知。由接收终端返回通知作为对所接收数据分组的响应。通知可以采用RTCPRR报告的形式。当由发送终端接收到通知时，发送终端检查(230)所述通知的内容。检查的重点针对从发送终端预计接收的分组的数目，这可从RR报告中的EHSNR(接收到的扩展最高序号)字段检查出来。另一个有用的检查目标是最后的发送报告字段，由此可找到关于最后一个SR的时间。然而另一个有用的检查目的是自最后发送报告起的延迟，其是从发送终端接收最后一个SR分组和发送当前接收报告之间的延迟。该信息被存储(233、235、237)到发送终端。

为了能够在正确的时间形成将要在发送终端的SWYS视图上显示的所传输媒体的呈现，发送终端被配置成计算从媒体到达接收终端花费多少时间。这可根据从通知起存储最后一个SR信息的时间来确定。所存储的延迟信息(在步骤237处存储)被添加到在步骤217处存储的最后一个发送分组的发送时间，由此确定同步信息。通过所述同步信息，回放被同步到对应于EHSNR信息(在步骤233中存储)的分组号。

在同步后，形成媒体的呈现并且该呈现可在SWYS视图上显示。有至少两种不同可能性来向发送终端的用户显示视图。在图3a、3b中示出这些可能性。图3a示出类似于图1的解决方案，其中显示器的一部分指定用于SWIS视图110而另一部分指定用于SWYS视图125。在图3b中，基本上在显示器的整个视图区域上显示视图110、125。从SWIS视图110到SWYS视图125的切换可以是已知交换操作的结果。作为已知交互操作的例子是菜单动作、键盘快捷键和触摸。

SWIS会话可在用户正在通过传输图像数据到接收终端进行通用(电路交换或分组交换)呼叫期间开始。图像数据可在成像设备捕捉其的相同时间传输，或图像数据已经被捕捉并且存储到存储装置并且可从那获取。在后一种情况中，存储的图像数据还可包括音频(随图像数据捕捉)，由此发送终端可选择是否连同音频一起传输。如果不，则将音频从传输移除。另外，可以传输作为语音和捕捉音频的混合的音频。这使得发送方可以实时的方式评论呈现。

在图4中示出两个终端T1、T2之间进行信号收发的一个例子。终端T1、T2正进行呼叫会话，例如通过VoIP。“RTP音频”和“RTCPSR音频”示出正在终端T1和T2之间发送的音频分组。终端T1通过发送视频分组的序列(RTP视频、RTCP SR视频)到接收终端T2来开始SWIS会话。在接收到视频分组后，接收终端返回根据其执行同步(如上所述)的视频响应报告(RTCP RR视频)。

发送终端是与成像装置可操作通信的电子通信设备。这样的设备的一个例子是成像电话(参见图5)，然而，至少包括支持通信设备和例如web照相机或数字照相机的***可使用此处描述的解决方案。设备500包括光学仪器510或可与用于捕捉成像数据的光学仪器通信的其他装置。设备500还可包括具有发射器521和接收器522或连接到其的通信装置520。也可具有发射器581和接收器582的其他通信装置580。第一通信装置520适于远程通信而另一个通信装置580可以是一类短程通信装置，例如蓝牙^TM***、WLAN***(无线局域网)或适于本地使用并且与另一个设备进行通信的其他***。根据图5的设备500还包括用于显示可视信息和被捕捉的成像数据的显示器540。此外，设备500可包括交互装置，例如用于输入数据的小键盘550等。此外或替代于小键盘550，当显示器是触摸屏显示器时，设备可包括触笔。设备500还可包括音频装置560，例如耳机561和麦克风562以及可选的用于对音频信息进行编码(如果需要，以及解码)的编解码器。设备500还包括用于在设备500中控制功能和运行应用的控制单元530。控制单元530可包括一个或多个处理器(CPU、DSP)。设备另外包括用于存储例如数据、应用和计算机程序代码的存储器570。

仅为了清晰理解而提供上述的详细描述，并且从其所读到的未必限制进权利要求书。

Claims

1.一种用于从发送终端向接收终端发送媒体的方法，包括：

-将媒体的至少一部分作为数据分组传输到接收终端并且也将所述一部分存储在发送终端中，

-从所述接收终端接收作为响应于传输的数据分组的通知，

-通过基于所述通知确定由所述接收终端接收的最后信息和通过确定涉及所述信息的延迟来确定同步数据，

-通过向所述发送终端中的所述存储的一部分的存储的数据分组的发送时间增加所述延迟，形成所述存储的所述一部分的呈现，以及

-在所述发送终端中以与所述接收终端同步的方式播放所述呈现。

2.根据权利要求1所述的方法，进一步包括：

通过根据所述通知中的时间戳，在时间上同步所述存储的一部分来形成所述呈现。

3.根据权利要求1所述的方法，进一步包括：

在所述发送终端的显示器的一部分上播放所述呈现。

4.根据权利要求1所述的方法，进一步包括：

通过使用实时传输协议或实时传输控制协议来传输数据分组的序列。

5.根据权利要求1所述的方法，其中所述通知包括序号并且所述数据分组包括分组号，所述方法进一步包括：

根据对应于接收到的最高序号的分组号来同步所述呈现。

6.一种用于发送媒体的***，包括：

-发送终端和接收终端，

-所述发送终端配置成将媒体的至少一部分作为数据分组传输到所述接收终端并且也存储所述一部分，

-响应于所述传输的数据分组，所述接收终端配置成向所述发送终端返回通知，

-所述***配置成通过基于所述通知确定由所述接收终端接收的最后信息来确定同步数据以及配置成确定涉及所述最后信息的延迟，当确定所述同步数据时，将所述延迟添加到所述数据分组的发送时间；以及配置成通过向所述存储的一部分的存储的数据分组的发送时间增加延迟，在所述发送终端中形成所述存储的一部分的呈现，并且

-其中所述发送终端配置成以与所述接收终端同步的方式播放所述呈现。

7.根据权利要求6所述的***，其中所述***被配置成在所述发送终端的显示器的一部分上播放所述呈现。

8.一种用于从发送终端向接收终端发送媒体的设备，包括：

-用于将媒体的至少一部分作为数据分组传输到所述接收终端并且也将所述一部分存储在发送终端中的装置，

-用于从所述接收终端接收作为响应于传输的数据分组的通知的装置，

-用于通过基于所述通知确定由所述接收终端接收的最后信息和通过确定涉及所述信息的延迟来确定同步数据的装置，

-用于通过向所述发送终端中的所述存储的一部分的存储的数据分组的发送时间增加延迟，形成所述存储的一部分的呈现的装置，以及

-用于在所述发送终端中以与所述接收终端同步的方式播放所述呈现的装置。

9.根据权利要求8所述的设备，进一步包括：

用于通过根据所述通知中的时间戳，在时间上同步所述存储的一部分来形成所述呈现的装置。

10.根据权利要求8所述的设备，进一步包括：

用于在所述发送终端的显示器的一部分上播放所述呈现的装置。

11.根据权利要求8所述的设备，其中所述通知包括序号并且所述数据分组包括分组号，所述设备进一步包括：

用于根据对应于接收到的最高序号的分组号来同步所述呈现的装置。

12.根据权利要求8所述的设备，进一步包括：

用于通过使用实时传输协议或实时传输控制协议来传输数据分组的序列的装置。

13.根据权利要求8所述的设备，其中所述设备设置在所述发送终端中。