CN101217503A - 即时通讯音视频的能力交换方法、***和即时通讯*** - Google Patents

Abstract

本发明公开了一种即时通讯音视频的能力交换方法，该方法包括：即时通讯音视频发起方在连接建立过程中向即时通讯音视频接收方发送测试(Test)消息，在所述测试消息中携带有即时通讯音视频发起方的音视频能力信息；即时通讯音视频接收方根据即时通讯音视频发起方的音视频能力信息进行音视频能力交换，并向即时通讯音视频发起方返回确认(ACK)消息，在所述确认消息中携带音视频能力交换结果。本发明还公开了一种即时通讯音视频的能力交换***和即时通讯***。应用本发明以后，可以减少连接建立时间，优化数据结构设计，使用较少的字节保证兼容性和扩展性。

Description

即时通讯音视频的能力交换方法、***和即时通讯***

技术领域

本发明涉及即时通讯技术(Instant Messaging，IM)领域，更具体地，本发明涉及即时通讯音视频的能力交换方法、***和即时通讯***。

背景技术

随着社会生活的网络化水平不断提高，即时通讯已经成为了人们日常生活中不可缺少的重要沟通手段。即时通讯服务是一种基于互联网(Internet)的通讯服务，一般以实现网络上即时通讯功能为主。即时通讯服务可以通过即时通讯***来实现。即时通讯***以速度快、功能丰富、使用稳定等优点而获得了广大网民的认可和喜爱。在现有的即时通讯服务中，用户之间可以通过即时通讯***进行文字信息的交互、传送文件、发送手机短消息等多种操作。现有的即时通讯已经不仅仅局限于简单的文本消息交互，还可以在互联网上进行实时的文件交换、语音通讯、视频通讯、网络会议等。

即时通讯音视频通信是即时通讯通信的重要组成部分。即时通讯音视频通信正在成为越来越多的用户利用互联网进行交流沟通的方式。音视频编码技术在不断发展，即时通讯的音视频编码器内核也在不断更新，由此带来一个问题，当新版本的即时通讯终端采用新的音视频编解码器时，已经发布的旧版本即时通讯终端将不能识别。因此，新旧版本的即时通讯终端要实现兼容，除了在新版本中仍然支持旧版的编解码器外，还需要在开始音视频通话前需要进行能力交换。

对于即时通信这种点对点的应用，前期过程可以大大简化，不需要注册、认证、计费等前期处理步骤，只要双方协商出一种兼容的编解码器类型及其他公用信息类型即可。在现有技术中，目前大致分为3个步骤：

(1)用户握手部分：

用户握手部分是指用户A发起音视频呼叫请求给用户B，用户B接受或者拒绝的信令协议过程。目前出于对用户隐私的考虑，所有的登录状态信息(在线、隐身)等，全部都保存在登录服务器，呼叫请求也都是通过登录服务器转发，在用户B没有手动做出接受或者拒绝的回应前，用户A不能收到任何直接来自用户B的消息，否则有可能泄露用户状态。等到B做出回应后，用户握手完成。如果B接受，则启动下一步流程；如果B拒绝，结束本次呼叫。

(2)连接通道建立部分：

由于音视频通信是网络带宽占用较高的业务，而登录服务器只是负责登录状态信息的保存以及协议信令的转发，不能通过登录服务器中转大流量的音视频数据。目前连接通道分为两大类，直连方式和中转方式，优先选择直连方式，如果由于防火墙等原因无法建立直连，则走中转方式。

3)能力交换部分：

连接通道建立成功后，双方由于可能存在的版本兼容性等问题，需要协商出一种双方都能支持的编解码器类型。

目前现有技术中存在的缺点是连接建立需要交互的步骤多，连接建立速度慢。比如：从发起请求到音视频通话开始平均需要6秒以上的时间，这就降低了用户的体验。

发明内容

本发明实施例提出一种即时通讯音视频的能力交换方法，以减少连接建立时间。

本发明实施例还提出一种即时通讯音视频的能力交换***，以减少连接建立时间。

本发明实施例还提出了一种即时通讯***，以减少连接建立时间。

本发明实施例的技术方案包括：

一种即时通讯音视频的能力交换方法，该方法包括：

即时通讯音视频发起方在连接建立过程中向即时通讯音视频接收方发送测试(Test)消息，在所述测试消息中携带有所述即时通讯音视频发起方的音视频能力信息；

即时通讯音视频接收方根据所述即时通讯音视频发起方的音视频能力信息进行音视频能力交换，并向即时通讯音视频发起方返回确认(ACK)消息，在所述确认消息中携带音视频能力交换结果。

一种即时通讯音视频的能力交换***，该***包括即时通讯音视频发起方和即时通讯音视频接收方，其中：

所述即时通讯音视频发起方，用于向所述即时通讯音视频接收方发送测试消息，在所述测试消息中携带有所述即时通讯音视频发起方的音视频能力信息；

所述即时通讯音视频接收方，用于根据所述即时通讯音视频发起方的音视频能力信息进行音视频能力交换，并向该即时通讯音视频发起方返回确认消息，在所述确认消息中携带音视频能力交换结果。

一种即时通讯***，该即时通讯***包括同步服务器、登录服务器、即时通讯音视频发起方和即时通讯音视频接收方，其中：

所述同步服务器，用于分别向所述即时通讯音视频发起方和所述即时通讯音视频接收方提供同步信息；

所述登录服务器，用于接收所述即时通讯音视频发起方和所述即时通讯音视频接收方发送来的Ping包，建立所述即时通讯音视频发起方和所述即时通讯音视频接收方之间的连接关系；

所述即时通讯音视频发起方，用于在建立所述连接关系后，向所述即时通讯音视频接收方发送测试消息，在所述测试消息中携带有所述即时通讯音视频发起方的音视频能力信息；

所述即时通讯音视频接收方，用于根据所述即时通讯音视频发起方的音视频能力信息进行音视频能力交换，并向所述即时通讯音视频发起方返回确认消息，在所述确认消息中携带音视频能力交换结果。

从上述技术方案可以看出，在本发明实施例中，即时通讯音视频发起方首先在连接建立过程中向即时通讯音视频接收方发送携带有该即时通讯音视频发起方的音视频能力信息的测试消息，即时通讯音视频接收方根据所述即时通讯音视频发起方的音视频能力信息进行音视频能力交换，并向即时通讯音视频发起方返回确认消息，在所述确认消息中携带音视频能力交换结果。由此可见，本发明实施例通过将能力交换流程合并到连接建立部分，精简了实现流程，减少了冗余流程，从而减少了连接建立时间。

另外，采用本发明实施例的示范性数据结构后，原先能力信息列表有上百字节，目前简化的能力信息列表大小只有20字节左右，因此字节长度大大减小，并且还能够保证兼容性和扩展性。

附图说明

图1为根据本发明实施例的即时通讯音视频的能力交换方法流程示意图；

图2为根据本发明实施例的即时通讯音视频的连接建立和能力交换方法流程示意图；

图3为根据本发明实施例的即时通讯音视频的能力交换***结构示意图；

图4为根据本发明实施例的即时通讯***的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明再作进一步详细的说明。

在本发明实施例中，将能力交换流程合并到连接建立部分，精简了实现流程，减少了冗余流程，从而能够减少连接建立时间。

图1为根据本发明实施例的即时通讯音视频的能力交换方法流程示意图。

如图1所示，该方法包括：

步骤101：即时通讯音视频发起方向即时通讯音视频接收方发送测试(Test)消息，在所述测试消息中携带有所述即时通讯音视频发起方的音视频能力信息。

其中，音视频能力信息可以包括标志域、长度域和列表域。其中：标志域用于标示是音频能力信息或视频能力信息；长度域用于标示列表域的长度；列表域用于写入预先定义的音视频能力列表信息。

比如：音视频能力信息的数据结构采取标志(Flag)域+长度(Length)域+列表(List)域的形式(简称FLL)。

优选地，标志域的长度为1个字节，长度域的长度为1个字节，列表域包括至少1个列表类型(List member)，每个列表类型的长度为1个字节。下面为音视频能力信息的数据结构示范性示意格式：

 0                   1                   2                   3

 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

|Flag           |    Length     |  List member1 |  List member2 |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

|  List member2 |  ....                                         |

+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+

|                             ....                              |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

每个域Flag、Length、List Member等都是占用一个字节。各字段释义如下：

Flag：标志位，例如写入A表示后续是声频(Audio)信息，写入V表示后续是视频(Video)信息；

Length：用于表示后续List的长度，如果此List包含5个对象(member)，则Length的值为5，由于Length的长度为1字节，所以能够支持的最大List长度为255；

List：用于写入所支持的预定义的音视频列表信息，如音频支持的codec类型代号为10 20 45 62等；此处预定义的类型最大值为255，不超过1字节的最大值。

上述数据结构能够保证较好的兼容性和扩展性。目前视频编码所采用的压缩技术基本上都是基于预测变换和熵编码，预测效果的好坏直接影响到后续过程以及最后码流量的大小。目前主流的视频压缩标准有MPEG4、H264等。在这些压缩技术中，编码图像一般分为三种类型：帧内预测帧(I)、帧间预测帧(P)和双向预测帧(B)。I帧利用了空间相关性，采用与JPEG类似的方式对静止的图像进行编码。P帧利用了时间相关性，使用前面的帧作为参考帧进行预测。B帧则同时利用前面的帧和后面的帧作为参考帧进行预测。预测之后将产生残差数据，对残差数据进行DCT变换和量化，输出编码码流即完成视频压缩过程。

目前的音频编解码主要可分为两大类：对宽带语音信号(频率范围为20Hz到20Khz，音乐类)的编码和对窄带语音信号(频率范围为20hz到8000hz)的编码。目前音频编码标准有CCITT和ITU-T制订的G系列协议、MPEG组织制定的MPEG系列协议、3GPP组织针对移动通讯终端提出的音频编解码标准，主要有AMR，AMR-WB(G.722.2)，Enhanced AAC plus等。

目前中国采用的AVS音频标准是数字视音频编解码技术标准工作组指定的音频的编解码标准。除了上述标准组织的系列标准外，还有商业和行业的标准。比如Microsoft开发的音频压缩系列标准，最新的为WMA10，支持对立体声音乐和多声道环绕声编码。在音乐存储，网络流媒体方面引用广泛，RealAudio、Fraunhofer IIS、DoblyAC3等都有商业应用广泛的音频编解码标准。

步骤102：即时通讯音视频接收方根据所述即时通讯音视频发起方的音视频能力信息进行音视频能力交换，并向即时通讯音视频发起方返回确认ACK消息，在所述确认消息中携带音视频能力交换结果。

在这里，即时通讯音视频接收方首先解析即时通讯音视频发起方的音视频能力信息，并确定即时通讯音视频发起方的音视频能力信息与所述即时通讯音视频接收方的音视频能力信息之间的交集。音视频能力交换结果即为该交集。优选地，还可以预先设定音视频能力的优先级，将所述交集中优先级最高的音视频能力确定为音视频能力交换结果。

例如，假设收到的音视频能力信息的列表形式为：

 0                   1                   2                   3

 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

|   A           |       4       |  10              20           |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

|  45           |  62           |  V            |  3            |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

|  36           |  85           |  12           |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

表示即时通讯音视频发起方支持4种音频编码器(Audio Codec)类型，代号为10，20，45，62；支持3种视频编码器(Video Codec)类型，代号为36，85，12。

即时通讯音视频接收方解析时，首先读出标记A，然后读出Length，则后续长度为Length的都表示音频codec类型；后续解析标记V所对应的Length及列表。对于有些应用如果需要其他标记位如F，可仍以FLL格式直接加在后面，对于不认识此标记的旧版本可直接跳过不解析。如果后期Audio或者Video增加了新的Codec类型，可以直接加在List中，旧版本仍然能够按照标记位后面的Length正确地提取出所有Codec List，然后从中查找能够支持的Codec类型，完成能力交换。

应用上述示范性数据结构后，原先能力信息列表有上百字节，目前简化的能力信息列表大小只有20字节左右，因此字节长度大大减小，为将能力交换流程合入到连接建立部分做好了准备。

在连接建立时，即时通讯音视频发起方需要向即时通讯音视频接收方发送测试(Test)消息。在现有技术中，即时通讯音视频接收方收到Test消息后，返回ACK给主叫方，则说明连接通路已经建立，在本发明实施例中将音视频能力信息FLL数据包合入到Test消息里面再发送到即时通讯音视频接收方。由于简化后FLL数据包较小只有几十字节，不会对Test消息的发送造成影响。

图2为根据本发明实施例的即时通讯音视频的连接建立和能力交换方法流程示意图。

如图2所示，该方法包括：

步骤201～步骤204：即时通讯音视频发起方尝试和即时通讯音视频接收方建立直连，建立连接的过程需要若干次握手。首先即时通讯音视频发起方和和即时通讯音视频接收方分别向同步服务器请求同步信息。即时通讯音视频发起方请求的同步信息为即时通讯音视频接收方的IP地址、端口等信息；即时通讯音视频接收方请求的同步信息为即时通讯音视频发起方的IP地址、端口等信息。

步骤205～步骤208：即时通讯音视频发起方和即时通讯音视频接收方分别ping登录服务器，由登录服务器转发通知(notify)信息，直至即时通讯音视频发起方和即时通讯音视频接收方listen成功。

步骤209～步骤211：即时通讯音视频发起方向即时通讯音视频接收方发送若干次测试(Test)消息，在所述测试消息中携带有即时通讯音视频发起方的音视频能力信息，即时通讯音视频接收方收到任何一个Test包后，解析其中所包含的FLL数据包，生成能力交换结果的FLL数据包，并向即时通讯音视频发起方返回确认(ACK)消息，在所述确认消息中携带音视频能力交换结果，即时通讯音视频发起方收到即时通讯音视频发起方接收方的ACK回应后发送hello包给对方，连接建立成功。即时通讯音视频发起方收到ACK表明连接通路已经建立，同时解析即时通讯音视频接收方的FLL数据包进行即时通讯音视频发起方的能力交换。

至此，可以完成连接通路的建立和能力交换的整个过程，在不增加消息来回次数的前提下，完成了连接通路的建立和能力交换，节省连接建立时间。

根据上述分析，本发明实施例还提出了一种即时通讯音视频的能力交换***。

图3为根据本发明实施例的即时通讯音视频的能力交换***结构示意图。

如图3所示，该***包括即时通讯音视频发起方301和即时通讯音视频接收方302，其中：

所述即时通讯音视频发起方301，用于向所述即时通讯音视频接收方302发送测试消息，在所述测试消息中携带有所述即时通讯音视频发起方301的音视频能力信息；

所述即时通讯音视频接收方302，用于根据所述即时通讯音视频发起方301的音视频能力信息进行音视频能力交换，并向该即时通讯音视频发起方301返回确认消息，在所述确认消息中携带音视频能力交换结果。

类似地，在该***中，音视频能力信息包括标志域、长度域和列表域，其中：

标志域用于标示是音频能力信息、视频能力信息或者扩展信息标志；长度域用于标示列表域的长度；列表域用于写入预先定义的音视频能力列表信息。

图4为根据本发明实施例的即时通讯***的结构示意图。

如图4所示，该即时通讯***包括同步服务器401、登录服务器402、即时通讯音视频发起方403和即时通讯音视频接收方404，其中：

同步服务器401，用于分别向即时通讯音视频发起方403和即时通讯音视频接收方404提供同步信息；

登录服务器402，用于接收即时通讯音视频发起方403和即时通讯音视频接收方404发送来的Ping包，建立即时通讯音视频发起方403和即时通讯音视频接收方404之间的连接关系；

即时通讯音视频发起方403，用于在建立所述连接关系后，向即时通讯音视频接收方404发送测试消息，在测试消息中携带有所述即时通讯音视频发起方的音视频能力信息；

即时通讯音视频接收方404，用于根据即时通讯音视频发起方403的音视频能力信息进行音视频能力交换，并向所述即时通讯音视频发起方403返回确认消息，在所述确认消息中携带音视频能力交换结果。

综上所述，在本发明实施例中，即时通讯音视频发起方首先向即时通讯音视频接收方发送携带有即时通讯音视频发起方的音视频能力信息的测试消息，即时通讯音视频接收方根据所述即时通讯音视频发起方的音视频能力信息进行音视频能力交换，并向即时通讯音视频发起方返回确认消息，在所述确认消息中携带音视频能力交换结果。由此可见，本发明实施例通过将能力交换流程合并到连接建立部分，精简了实现流程，减少了冗余流程，从而减少连接建立时间。

另外，采用本发明实施例的示范性数据结构后，原先能力信息列表有上百字节，目前简化的能力信息列表大小只有20字节左右，因此字节长度大大减小，并且还能够保证兼容性和扩展性。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种即时通讯音视频的能力交换方法，其特征在于，该方法包括：

即时通讯音视频发起方在连接建立过程中向即时通讯音视频接收方发送测试Test消息，在所述测试消息中携带有所述即时通讯音视频发起方的音视频能力信息；

即时通讯音视频接收方根据所述即时通讯音视频发起方的音视频能力信息进行音视频能力交换，并向即时通讯音视频发起方返回确认ACK消息，在所述确认消息中携带音视频能力交换结果。

2.根据权利要求1所述的即时通讯音视频的能力交换方法，其特征在于，所述音视频能力信息包括标志域、长度域和列表域，其中：

所述标志域用于标示是音频能力信息、视频能力信息或扩展信息标志；

所述长度域用于标示列表域的长度；

所述列表域用于写入预先定义的音视频能力列表信息。

3.根据权利要求2所述的即时通讯音视频的能力交换方法，其特征在于，所述标志域的长度为1个字节，所述长度域的长度为1个字节，所述列表域包括至少1个列表类型，每个列表类型的长度为1个字节。

4.根据权利要求1所述的即时通讯音视频的能力交换方法，其特征在于，该方法进一步预先包括：

所述即时通讯音视频发起方和所述即时通讯音视频接收方分别向同步服务器请求同步信息；

所述即时通讯音视频发起方和所述即时通讯音视频接收方收到同步信息后，分别向登录服务器发送探测Ping包，由登录服务器建立所述即时通讯音视频发起方和所述即时通讯音视频接收方之间的连接关系。

5.根据权利要求1-4中任一项所述的即时通讯音视频的能力交换方法，其特征在于，所述即时通讯音视频发起方向即时通讯音视频接收方发送测试消息为：即时通讯音视频发起方向即时通讯音视频接收方发送至少两条测试消息，每条测试消息中都携带有所述即时通讯音视频发起方的音视频能力信息。

6.根据权利要求1-4中任一项所述的即时通讯音视频的能力交换方法，其特征在于，所述音视频能力交换结果为所述即时通讯音视频发起方的音视频能力信息与所述即时通讯音视频接收方的音视频能力信息之间的交集。

7.根据权利要求6所述的即时通讯音视频的能力交换方法，其特征在于，该方法中进一步预先设定音视频能力的优先级，

所述音视频能力交换结果为所述交集中优先级最高的音视频能力。

8.一种即时通讯音视频的能力交换***，其特征在于，该***包括即时通讯音视频发起方和即时通讯音视频接收方，其中：

所述即时通讯音视频发起方，用于向所述即时通讯音视频接收方发送测试消息，在所述测试消息中携带有所述即时通讯音视频发起方的音视频能力信息；

所述即时通讯音视频接收方，用于根据所述即时通讯音视频发起方的音视频能力信息进行音视频能力交换，并向该即时通讯音视频发起方返回确认消息，在所述确认消息中携带音视频能力交换结果。

9.根据权利要求8所述的即时通讯音视频的能力交换***，其特征在于，所述音视频能力信息包括标志域、长度域和列表域，其中：

所述标志域用于标示是音频能力信息、视频能力信息或扩展信息标志；

所述长度域用于标示列表域的长度；

所述列表域用于写入预先定义的音视频能力列表信息。

10.一种即时通讯***，其特征在于，该即时通讯***包括同步服务器、登录服务器、即时通讯音视频发起方和即时通讯音视频接收方，其中：

所述同步服务器，用于分别向所述即时通讯音视频发起方和所述即时通讯音视频接收方提供同步信息；

所述登录服务器，用于接收所述即时通讯音视频发起方和所述即时通讯音视频接收方发送来的Ping包，建立所述即时通讯音视频发起方和所述即时通讯音视频接收方之间的连接关系；

所述即时通讯音视频发起方，用于在建立所述连接关系后，向所述即时通讯音视频接收方发送测试消息，在所述测试消息中携带有所述即时通讯音视频发起方的音视频能力信息；

所述即时通讯音视频接收方，用于根据所述即时通讯音视频发起方的音视频能力信息进行音视频能力交换，并向所述即时通讯音视频发起方返回确认消息，在所述确认消息中携带音视频能力交换结果。

Images