CN115102927B - 一种保持视频清晰的sip对讲方法、***、存储装置 - Google Patents

Abstract

本发明涉及一种保持视频清晰的SIP对讲方法、***、存储装置，所述方法包含以下步骤：当分机或移动终端与主机之间的通信之后，执行：发送端每隔GOP时间编码并发送IDR帧至接收端，接收端解码所述IDR帧并输出相应的图像；当接收端视频解码中检测到RTP序列号不连续或者连续两帧解码失败，向发送端请求重发上一个所述IDR帧。本方法当接收端检测到丢包，会通知发送方将上一帧编码成IDR帧作为下一个IDR帧进行发送，避免了传统不断请求丢失向发送端要求重传相应的RTP包的工作方式，可以直接将一帧IDR帧在接收端完整地播放出来，使用户获得清晰的图像。

Description

一种保持视频清晰的SIP对讲方法、***、存储装置

技术领域

本发明涉及SIP对讲领域，具体指有一种保持视频清晰的SIP对讲方法、***、存储装置。

背景技术

在楼宇对讲***中，在局域网内安装了多台主机和多台分机，用户的手机上安装了SIP对讲软件，主机可通过网络呼叫分机或者手机，实现SIP对讲。在实际应用中，主机可以同时呼叫用户家中的数台分机和数部手机，而且需要在主机振铃时向这些分机和手机发送早期视频，分机和手机振铃接收并显示主机视频。

现有的楼宇对讲***由于网络拥塞的情况存在，用户视频的过程中会出现视频雪花、马赛克等情况。其原因是接收端向发送端发送RTCP的NACK报文，向发送端要求重传相应的RTP包，当网络拥塞严重的情况下大量的重传要求反而加重了网络拥塞的情况，产生更多的雪花或马赛克，如图1所示。

针对上述的现有技术存在的问题设计一种保持视频清晰的SIP对讲方法、***、存储装置是本发明研究的目的。

发明内容

针对上述现有技术存在的问题，本发明在于提供一种保持视频清晰的SIP 对讲方法、***、存储装置，能够有效解决上述现有技术存在的问题。

本发明的技术方案是：

一种网络拥塞情况下保持视频清晰的SIP对讲方法，所述方法包含以下步骤：

当分机或移动终端与主机之间的通信之后，执行：

发送端每隔GOP时间编码并发送IDR帧至接收端，接收端解码所述IDR 帧并输出相应的图像；

当接收端视频解码中检测到RTP序列号不连续或者连续两帧解码失败，向发送端请求重发上一个所述IDR帧。

进一步地，所述向发送端请求重发上一个所述IDR帧包括：

接收端向发送端发送丢包重传报文；

发送端将上一个所述IDR帧定义为下一帧并发送至接收端。

进一步地，所述向发送端请求重发上一个所述IDR帧之后，执行以下步骤：

延迟第二时间后，发送端重新每隔GOP时间编码并发送IDR帧至接收端。

进一步地，当分机或移动终端与主机之间的通信之后，执行：

将传输音频的优先级设定为大于传输视频的优先级。

进一步地，所述将传输音频的优先级设定为大于传输视频的优先级包括：

定义音频为主轴、视频为辅轴，接收端以先进先出原则缓存所述音频和所述视频；

接收端每次获得所述音频和/或所述视频时，计算当前帧中所述音频的时间戳与所述视频的时间戳的时间差值，根据所述时间差值调节当前帧中的所述视频的播放速度。

进一步地，所述根据所述时间差值调节当前帧中的所述视频的播放速度包括：

若所述时间差值小于等于250ms，则不调节当前帧中的所述视频的播放速度；

若所述时间差值大于250ms、所述视频比所述音频快并且所述视频的缓存数量小于第一数量，则调慢或暂停当前帧中的所述视频的播放速度直至所述时间差值小于等于250ms；

若所述时间差值大于250ms、所述视频比所述音频快并且所述视频的缓存数量大于第一数量，则不调节当前帧中的所述视频的播放速度；

若所述时间差值大于250ms、所述视频比所述音频慢，则调快当前帧中的所述视频的播放速度直至所述时间差值小于等于250ms。

进一步地，所述方法基于一种融合局域网和广域网的一呼多SIP***，其特征在于：包括主机、若干分机、若干移动终端，所述主机通过局域网与若干分机建立连接，所述主机通过广域网与若干移动终端建立连接。

进一步地，当分机或移动终端与主机之间的通信之前，执行：

将主机通过局域网与若干分机建立连接，将主机通过广域网与若干移动终端建立连接，将所述主机和所述移动终端注册到SIP服务器；

当任一所述分机或任一所述移动终端发起接听时，主机向其它所述分机或其它所述移动终端发送呼叫挂断指令，建立相应的所述分机或移动终端与所述主机之间的通信。

进一步提供一种网络拥塞情况下保持视频清晰的SIP对讲***，包括以下模块：

编码发送模块，用于发送端每隔GOP时间编码并发送IDR帧至接收端，接收端解码所述IDR帧并输出相应的图像；

请求模块，用于当接收端视频解码中检测到RTP序列号不连续或者连续两帧解码失败，向发送端请求重发上一个所述IDR帧。

进一步提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种网络拥塞情况下保持视频清晰的SIP对讲方法。

因此，本发明提供以下的效果和/或优点：

本方法当接收端检测到丢包，会通知发送方将上一帧编码成IDR帧作为下一个IDR帧进行发送，避免了传统不断请求丢失向发送端要求重传相应的 RTP包的工作方式，可以直接将一帧IDR帧在接收端完整地播放出来，使用户获得清晰的图像。

本方法由于网络拥塞等情况，请求上一帧IDR帧后，延迟第二时间后，发送端重新每隔GOP时间编码并发送IDR帧至接收端。从而防止网络拥塞的情况下接收端不断地请求重新发送IDR帧造成进一步拥塞。同时由于当前情况下网络拥塞，延迟第二时间的时间段内可以减少数据发送或接收，减轻拥塞情况。

本方法中，将传输音频的优先级设定为大于传输视频的优先级。由于音频数据往往小于视频数据，可以直接播放音频而慢慢调整视频的播放，使其匹配两者的时间戳。

本方法基于局域网和广域网组成的SIP对讲***，只有所述主机和所述移动终端注册到SIP服务器，而分机不注册到SIP服务器。局域网内的终端直接进行数据通信而无需经过SIP服务器，可以减小SIP服务器的通信压力，提高视频对话质量。

应当明白，本发明的上文的概述和下面的详细说明是示例性和解释性的，并且意在提供对如要求保护的本发明的进一步的解释。

附图说明

图1背景技术中提到的现有的SIP对讲方法在网络拥塞情况下的视频截图。

图2为本申请提供的方法的流程图。

图3为本发明提供的SIP对讲方法在网络拥塞情况下的视频截图。

图4为本申请提供的SIP对讲***框图。

图5为本申请提供的SIP对讲方法的逻辑/时序图。

图6为现有的SIP对讲的***框图。

图7为现有的SIP对讲的逻辑/时序图。

具体实施方式

为了便于本领域技术人员理解，现将实施例结合附图对本发明作进一步详细描述：应了解到，在本实施例中所提及的步骤，除特别说明其顺序的，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行。

由于现有技术中，

参考图2，一种网络拥塞情况下保持视频清晰的SIP对讲方法，包含以下步骤：

S1，将主机通过局域网与若干分机建立连接，将主机通过广域网与若干移动终端建立连接，将所述主机和所述移动终端注册到SIP服务器；

SIP是IETF标准进程的一部分，它是在诸如SMTP和HTTP基础之上建立起来的。它用来建立，改变和终止基于IP网络的用户间的呼叫。为了提供电话业务它还需要结合不同的标准和协议：特别是需要确保传输，与当前电话网络的信令互连，能够确保语音质量，能够提供目录，能够鉴权用户等等。主机是指用于向其他多个用户/终端/分机发起视频或语音通讯的终端。

本实施例中，只有所述主机和所述移动终端注册到SIP服务器，而分机不注册到SIP服务器。所述主机和所述移动终端注册到SIP服务器是指分机或移动终端定期向网络发送注册请求(REGISTER)，报告其的当前IP地址、用户名等信息。之后，SIP服务器中始终存储了分机或移动终端的信息。

该改情况下，当用户发起呼叫时，通过主机基于SIP协议同时向所述分机和所述移动终端发送呼叫请求指令；当用户通过主机发起呼叫时，主机通过 SIP协议同时在局域网向分机发起呼叫、在广域网向移动终端发起呼叫。在振铃过程中，当任一所述分机或任一所述移动终端发起挂断时，通过相应的所述分机或所述移动终端向所述主机发送呼叫取消指令；若其中任一分机或任一移动终端不希望接通或者不希望持续振铃，则通过对应的分机或移动终端挂断振铃，该分机或移动终端发送呼叫取消指令(Cancel)至主机。此时该分机或移动终端停止振铃，并且主机不再向分机或移动终端持续性发送指令和媒体数据，同时，其他分机或移动终端不受影响，继续保持振铃状态。当任一所述分机或任一所述移动终端发起接听时，主机向其它所述分机或其它所述移动终端发送呼叫挂断指令，建立相应的所述分机或移动终端与所述主机之间的通信。

本步骤中，当用户通过分机或移动终端接听主机的呼叫指令，即表明其他分机或移动终端不再存在与主机建立通信的需求，则通过主机发送呼叫挂断指令到其他分机或移动终端，此时其他分机或移动终端不再振铃。同时，所述分机或移动终端与所述主机之间的建立通信，用户开始通过所述分机或移动终端与所述主机之间对话或视频。

本申请通过上述步骤，可以起到振铃时某台分机或移动终端挂断且不影响其它设备继续保持振铃的状态，当任一被呼设备接听后，主机挂断其它路呼叫，并和该设备进行音视频对讲。并且，现有技术中分机和手机都要注册到 SIP服务器，分机局域网要有到广域网的出口，即使在只有分机的情况下，分机和主机之间的通信数据也需要绕经SIP服务器、再回到局域网，增大了分机和主机之间的通信复杂度，降低通信质量。本实施例的主机和分机通过局域网进行连接，局域网内不需要SIP服务器进行中转数据，因此也就不需要注册分机的信息至SIP服务器，可以实现主机直呼局域网分机，或者主机通过SIP服务器呼叫广域网移动终端。

下面介绍一些本实施例的优化方向。

S2，发送端每隔GOP时间编码并发送IDR帧至接收端，接收端解码所述 IDR帧并输出相应的图像；

S3，当接收端视频解码中检测到RTP序列号不连续或者连续两帧解码失败，向发送端请求重发上一个所述IDR帧。

本实施例中，在H.264中，I帧分为普通I帧和IDR帧(特殊I帧)；IDR帧阻断了误差的积累，IDR帧后面的帧都不能参考该IDR帧前面的帧，普通的I 帧并没有阻断误差的积累。IDR帧一定是I帧，但I帧不一定是IDR帧。在 H264中图像以序列为单位进行组织，一个序列是一段图像编码后的数据流，以I帧开始，到下一个I帧结束。一个序列的第一个图像叫做IDR图像，解码器收到IDR帧时，将所有的参考帧队列丢弃。“GOP时间”是指是两个I帧之间的间隔时长。本实施例中，根据视频通信的需要，GOP时间一般为1－2秒，本实施例采用1秒。

步骤S2中每隔GOP时间编码并发送IDR帧至接收端，则接收端可以优先解析该IDR帧并直接将其输出，接收端的屏幕立刻得到一张画面，如图3 所示。当出现网络拥塞时，现有技术需要接收端向发送端发送RTCP的NACK 报文，向发送端要求重传相应的RTP包，当网络拥塞严重的情况下将会出现如图1所示的图片，其布满了马赛克等。为了避免该现象，本实施例通过步骤S2解决，本步骤摒弃了接收端向发送端发送RTCP的NACK报文，向发送端要求重传相应的RTP包的操作，转为向发送端请求重发上一个所述IDR 帧，而一个IDR帧包含了完整的图像，则当接收端视频解码中检测到RTP 序列号不连续或者连续两帧解码失败时，本步骤重新申请的是一个完整的图像，此时接收端重新解码出如图3所示的上一个所述IDR帧，从而不会出现雪花、马赛克等情况。

发送端在开始发送视频后3秒内，发送端每隔1s发送1个I帧，有利于接收端快速出稳定的视频图像。在这3秒内，对接收端发送过来的FIR请求不予处理。

3秒后，发送端在收到接收端发送过来的RTCP PLI或FIR报文后，通过 RTCP事件通知应用层，触发下一帧直接传一个IDR帧，但要保证IDR帧的最小间隔为300ms。如果刚发送过I帧，继续下发P(B)帧过程中，又在300ms 内收到对方I帧重发请求，这时停发P(B)帧，直到300ms过后才发送I帧。如果这期间收到不管多少个I帧重发请求，也都在300ms过后一并处理，且只发送一次I帧。

具体地，所述向发送端请求重发上一个所述IDR帧包括：

S3.1，接收端向发送端发送丢包重传报文；

S3.2，发送端将上一个所述IDR帧定义为下一帧并发送至接收端。现有技术中接收端接收到IDR帧后会将之前的所有缓冲帧删除，本步骤通过发送端重新定义上一个IDR帧为下一帧，则能够在接收端的请求下通过发送端再次发送上一个IDR帧。

进一步地，所述向发送端请求重发上一个所述IDR帧之后，执行以下步骤：

S4，延迟第二时间后，发送端重新每隔GOP时间编码并发送IDR帧至接收端。

本步骤中，由于步骤S3.2中，接收端检测到丢包，会用RTCP通知发送方将上一帧编码成IDR帧作为下一个IDR帧进行发送，由于网络拥塞等情况，所以发送端执行完S3.2之后，发送下一个IDR帧的发送频率可以减小，即将 GOP时间延长，从而防止网络拥塞的情况下接收端不断地请求重新发送IDR 帧造成进一步拥塞。本实施例中，可以将第二时间设置为10－15s，本实施例具体采用10s。即在步骤S4中，优化成等待10秒后才开始重新回到步骤S2发送端每隔GOP时间编码并发送IDR帧至接收端，接收端解码所述IDR帧并输出相应的图像。

进一步地，当网络拥塞的情况下，接收端解析出的视频和音频会出现不同步的情况，而用户在视频通信的过程中会认为视频中的嘴唇动作与声音不同步，为了减轻或避免该情况，本申请在下述步骤中提出解决方案。

所述建立相应的所述分机或移动终端与所述主机之间的通信之后，执行以下步骤：

S5，将传输音频的优先级设定为大于传输视频的优先级。

在本步骤中，优先级音频＞视频。因为要保证音频优先正常传输，当接收端接收到音频数据则直接播放，当接收端接收到视频数据时，需要参考音频时间戳来播放。若以视频为时间戳会出现网络差的情况下，音频为了匹配视频而导致延整个过程延迟播放。

具体地，所述将传输音频的优先级设定为大于传输视频的优先级包括：

S5.1，定义音频为主轴、视频为辅轴，接收端以先进先出原则缓存所述音频和所述视频；本实施例中，音视频先缓存0.6秒，设定最大的缓冲区为2 秒即音频存储100个，视频存储50个，超过缓冲区的百分之10则删除第一个数据

S5.2，接收端每次获得所述音频和/或所述视频时，计算当前帧中所述音频的时间戳与所述视频的时间戳的时间差值，根据所述时间差值调节当前帧中的所述视频的播放速度。

具体地，所述根据所述时间差值调节当前帧中的所述视频的播放速度包括：

若所述时间差值小于等于250ms，则不调节当前帧中的所述视频的播放速度；这是因为，用户对于时间差值小于等于250ms的视频和音频不会强烈的感知到唇音不同步的现象，时间差值可以是视频时间戳－音频时间戳，也可以是音频时间戳－视频时间戳。

若所述时间差值大于250ms、所述视频比所述音频快并且所述视频的缓存数量小于第一数量，则调慢或暂停当前帧中的所述视频的播放速度直至所述时间差值小于等于250ms；当前情况下，视频比音频快，因此需要将视频缓慢播出或者暂停播出，使音频和视频之间同步。

若所述时间差值大于250ms、所述视频比所述音频快并且所述视频的缓存数量大于第一数量，则不调节当前帧中的所述视频的播放速度；该情况下，缓存内的视频比音频多，而后续又有可能因为网络拥塞等情况丢失视频包造成视频缓存减少，因此该情况下不对视频调慢或调快处理，使其后续自然地在网络拥塞的情况下重新同步。

若所述时间差值大于250ms、所述视频比所述音频慢，则调快当前帧中的所述视频的播放速度直至所述时间差值小于等于250ms。当遇到网络拥塞，不同步的接收到视频音频数据，此时有可能视频缓冲区的个数超过预先设定的个数的情况，则需要将视频快速输出、播放。

本实施例中，第一数量可以是50。在其他实施例中也可以是10－100中的任意数字。

参考图4，所述方法基于一种融合局域网和广域网的一呼多SIP***，包括主机、若干分机、若干移动终端，所述主机通过局域网与若干分机建立连接，所述主机通过广域网与若干移动终端建立连接。一种融合局域网和广域网的一呼多SIP***的工作流程可以参考图5。现有的SIP***和其工作流程参考图6－7。

对比可见，在本***中主机可以不经过SIP服务器而直接与分机通信，减少了主机的数据传输到SIP服务器再传输到分机的通信链路，使数据直接从主机传输到分机，从而进一步提高视频的清晰度、流畅度。

进一步提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种网络拥塞情况下保持视频清晰的SIP对讲方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

Claims (7)

1.一种网络拥塞情况下保持视频清晰的SIP对讲方法，其特征在于：所述方法包含以下步骤：

当分机或移动终端与主机之间的通信之后，执行：

发送端每隔GOP时间编码并发送IDR帧至接收端，接收端解码所述IDR帧并输出相应的图像；

当接收端视频解码中检测到RTP序列号不连续或者连续两帧解码失败，向发送端请求重发上一个所述IDR帧；

所述向发送端请求重发上一个所述IDR帧包括：

接收端向发送端发送丢包重传报文；

发送端将上一个所述IDR帧定义为下一帧并发送至接收端；

所述方法基于一种融合局域网和广域网的一呼多SIP***，其特征在于：包括主机、若干分机、若干移动终端，所述主机通过局域网与若干分机建立连接，所述主机通过广域网与若干移动终端建立连接；

当分机或移动终端与主机之间的通信之前，执行：

将主机通过局域网与若干分机建立连接，将主机通过广域网与若干移动终端建立连接，将所述主机和所述移动终端注册到SIP服务器；

当任一所述分机或任一所述移动终端发起接听时，主机向其它所述分机或其它所述移动终端发送呼叫挂断指令，建立相应的所述分机或移动终端与所述主机之间的通信。

2.根据权利要求1所述的一种网络拥塞情况下保持视频清晰的SIP对讲方法，其特征在于：所述向发送端请求重发上一个所述IDR帧之后，执行以下步骤：

延迟第二时间后，发送端重新每隔GOP时间编码并发送IDR帧至接收端。

3.根据权利要求1所述的一种网络拥塞情况下保持视频清晰的SIP对讲方法，其特征在于：当分机或移动终端与主机之间的通信之后，执行：

将传输音频的优先级设定为大于传输视频的优先级。

4.根据权利要求3所述的一种网络拥塞情况下保持视频清晰的SIP对讲方法，其特征在于：所述将传输音频的优先级设定为大于传输视频的优先级包括：

定义音频为主轴、视频为辅轴，接收端以先进先出原则缓存所述音频和所述视频；

接收端每次获得所述音频和/或所述视频时，计算当前帧中所述音频的时间戳与所述视频的时间戳的时间差值，根据所述时间差值调节当前帧中的所述视频的播放速度。

5.根据权利要求4所述的一种网络拥塞情况下保持视频清晰的SIP对讲方法，其特征在于：所述根据所述时间差值调节当前帧中的所述视频的播放速度包括：

若所述时间差值小于等于250ms，则不调节当前帧中的所述视频的播放速度；

若所述时间差值大于250ms、所述视频比所述音频快并且所述视频的缓存数量小于第一数量，则调慢或暂停当前帧中的所述视频的播放速度直至所述时间差值小于等于250ms；

若所述时间差值大于250ms、所述视频比所述音频快并且所述视频的缓存数量大于第一数量，则不调节当前帧中的所述视频的播放速度；

若所述时间差值大于250ms、所述视频比所述音频慢，则调快当前帧中的所述视频的播放速度直至所述时间差值小于等于250ms。

6.一种网络拥塞情况下保持视频清晰的SIP对讲***，其特征在于：包括以下模块：

编码发送模块，用于发送端每隔GOP时间编码并发送IDR帧至接收端，接收端解码所述IDR帧并输出相应的图像；

请求模块，用于当接收端视频解码中检测到RTP序列号不连续或者连续两帧解码失败，向发送端请求重发上一个所述IDR帧。

7.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的一种网络拥塞情况下保持视频清晰的SIP对讲方法。