CN107302523B - 一种传输流丢包引起马赛克的解决方法 - Google Patents

Abstract

本发明涉及一种传输流丢包引起马赛克的解决方法。该方法全部基于数据接收端进行处理，包括以下步骤：1、接收端接收传输协议和数据封装格式并解复用为ES；2、判断数据是否存在丢包；3、帧类型判断；4、非丢包数据处理；5、丢包数据处理；本发明的方法可以有效预防视频数据在传输过程中丢包引起的马赛克，无论丢包发生在IDR帧还是其他帧类型，解码端均利用最近解码正常视频数据作为异常视频的恢复数据作为视频输出，从而规避了马赛克的产生。

Description

一种传输流丢包引起马赛克的解决方法

技术领域

本发明属于视频编码技术领域，具体涉及一种传输流丢包引起马赛克的解决方法。

背景技术

视频编码技术广泛应用于视频会议、视频直播、视频监控等应用场景，其应用流程通常为：

发送端：视频采集->视频编码->格式封装->协议传输

接收端：协议接收->视频解码->视频播放

发送端<-----传输信道----->接收端

可见，发送端与接收端传输的媒介是传输信道，而传输信道分为无线信道和有线信道，无线信道容易受到环境等干扰，造成信道不稳定，有线信道容易受到信道内其他传输媒介影响，造成流量溢出等现象，从而造成发送端视频数据的丢失，接收端在解码残缺视频数据时，画面产生马赛克、灰屏等现象，给上述应用场景造成不好的视觉体验。

在接收端为了解决数据传输异常带来的马赛克，通常有如下几种方法：

第一种方法是：

针对特定的视频编码标准，在解码端加入容错处理，比如专利号为200810063554.0，专利名称为：《AVS视频解码的错误检测与掩盖方法》，该专利的核心思想是：视频解码器在解码时，分析解码数据，得到解码异常马赛克区域的位置，利用其周边正常解码的宏块对马赛克区域进行恢复和替代，即：非马赛克区域恢复出马赛克区域，从而达到消除和减弱马赛克的目的。

该方法的缺陷是：该方法是依托特定的编码标准，比如H.264、MPEG2、AVS、H.265等，针对每一种编码标准的解码器做数据容错处理，实现的技术复杂度较高；另外，由于其对马赛克的规避采用的是非马赛克块替换马赛克块，当视频数据异常量较大时，由于解码马赛克区域较大，这种方案无法规避马赛克，从视觉上来看将会有大块视频区域异常；

第二种方法是：

该方法的具体技术方案详见：中国专利，专利号为：200680028962.1，专利名称为《前向纠错(FEC)编码和流送》，该专利的核心思想是：发送端在视频协议封装后，加入纠错编码技术，加入一定比例的容错码，数据在传输信道中丢包时，解码端去掉容错码，将视频数据恢复出来，从而达到解码无马赛克的目的。

该方法的缺陷是：该方法的重点是依赖纠错编码技术，由于纠错编码技术有一定的容错率，即当传输信道过于异常时，纠错编码将失效；另外，纠错编码技术中，用于纠错的纠错码字在发送端时规定好的，在发送端对于传输信道特性不清楚的情况下，采用较少的纠错码字不足以纠错，采用较多的纠错码字，则会对信道带宽造成浪费。

发明内容

为了解决背景技术中的问题，本发明提供了一种适用于各种视频编码标准并且不需要依赖于信道的传输流丢包引起马赛克的解决方法。

本发明的具体技术方案：

本发明提供了一种传输流丢包引起马赛克的解决方法，包括以下步骤：

步骤1)接收端针对发送端传输的传输协议以及数据封装格式，并将传输协议以及数据封装格式解复用为ES；

步骤2)接收端根据传输协议标识符号，判断发送端传输来的每一帧数据是否存在丢包，若为丢包数据时标记为1，则首先执行步骤3)，再执行步骤5)；若为非丢包数据则标记为0，则首先执行步骤3)，再执行步骤4)；

步骤3)接收端针对解复用的视频ES数据进行帧类型判断；所述帧类型包含IDR帧、I帧、B帧、P帧；

步骤4)非丢包数据处理；

步骤4.1)若当前帧的帧类型为IDR帧，则正常解码并缓存该帧为正常解码数据；

步骤4.2)若当前帧的帧类型为I帧、B帧或P帧，则正常解码并更新缓存帧；视频播放，并返回步骤1)进行下一帧数据的操作，直至所有帧数据全部播放完毕；

步骤5)丢包数据处理；

若当前帧的帧类型为IDR帧，且当前帧为第一帧数据，则该帧不做解码处理，标记当前IDR帧之后的所有帧为丢包数据，直至下一个非丢包的IDR帧出现后执行步骤4)；

若当前帧的帧类型为IDR帧，且当前帧不是第一帧数据，则判断是否有缓存的IDR帧，若有，则直接输出缓存的IDR帧数据；若没有，标记当前IDR帧之后的所有帧为丢包数据，直至下一个非丢包的IDR帧出现后执行步骤4)；

若当前帧的帧类型为I帧、B帧或P帧，且当前帧为第一帧数据，则该帧不做解码处理，直至下一个非丢包的IDR帧出现后执行步骤4)；

若当前帧的帧类型为I帧、B帧或P帧，且当前帧不是第一帧数据，则判断是否有缓存的IDR帧，若有，则直接输出缓存的IDR帧数据；若没有，当前帧不做解码处理，直至下一个非丢包的IDR帧出现后执行步骤4)。

本发明的有益效果是：

1、该发明提供了一整套的方法与规范，可以有效预防视频数据在传输过程中丢包引起的马赛克，无论丢包发生在IDR帧还是其他帧类型，解码端均利用最近解码正常视频数据作为异常视频的恢复数据作为视频输出，从而规避了马赛克的产生。

2、该发明相对于现有技术的第一种方法广泛适用于各种视频编码标准，不需要针对特定解码器做容错处理

3、该发明相对于现有技术的第二种方法不依赖于信道，不会给信道造成冗余数据负载。

4.该发明相对于现有技术的第一种、第二种方法，能适用于各种解码处理场景，包含播放效果改善、二次解码在编码等，适用场景更加多样化。

附图说明

图1为本发明的方法流程图；

图2为GOP内存在丢包处理的流程图。

具体实施方式

本发明的作用是针对视频编码过程中出现马赛克后如何处理马赛克带来的图像部分缺失或者不清晰的问题，视频处理的流程如下：

发送端执行的主要流程包括：

步骤1)发送端对视频数据进行采集；

步骤2)发送端采集的视频数据进行编码；

步骤3)发送端对编码后的视频数据进行格式封装以及协议传输

接收端执行的主要流程包括：

步骤4)接收端针对发送端传传输协议以及数据封装格式，并将传输协议以及数据封装格式解复用为ES；

步骤5)接收端根据传输协议标识符号，判断发送端传输来的每一帧数据是否存在丢包，若为丢包数据时标记为1，则首先执行步骤6)，再执行步骤8)；若为非丢包数据则标记为0，则首先执行步骤6)，再执行步骤7)；

步骤6)接收端针对解复用的视频ES数据进行帧类型判断；所述帧类型包含IDR帧、I帧、B帧、P帧；

步骤7)非丢包数据处理；

步骤7.1)若当前帧的帧类型为IDR帧，则正常解码并缓存该帧为正常解码数据；

步骤7.2)若当前帧的帧类型为I帧、B帧或P帧，则正常解码并更新缓存帧；视频播放，并返回步骤4)进行下一帧数据的操作，直至所有帧数据全部播放完毕；

步骤8)丢包数据处理；

若当前帧的帧类型为IDR帧，且当前帧为第一帧数据，则该帧不做解码处理，标记当前IDR帧之后的所有帧为丢包数据，直至下一个非丢包的IDR帧出现后执行步骤7)；

若当前帧的帧类型为IDR帧，且当前帧不是第一帧数据，则判断是否有缓存的IDR帧，若有，则直接输出缓存的IDR帧数据；若没有，标记当前IDR帧之后的所有帧为丢包数据，直至下一个非丢包的IDR帧出现后执行步骤7)；

若当前帧的帧类型为I帧、B帧或P帧，且当前帧为第一帧数据，则该帧不做解码处理，直至下一个非丢包的IDR帧出现后执行步骤7)；

若当前帧的帧类型为I帧、B帧或P帧，且当前帧不是第一帧数据，则判断是否有缓存的IDR帧，若有，则直接输出缓存的IDR帧数据；若没有，当前帧不做解码处理，直至下一个非丢包的IDR帧出现后执行步骤7)。

Claims (1)

1.一种传输流丢包引起马赛克的解决方法，其特征在于，包括以下步骤：

步骤1)接收端针对发送端传输的传输协议以及数据封装格式，并将传输协议以及数据封装格式解复用为ES；

步骤2)接收端根据传输协议标识符号，判断发送端传输来的每一帧数据是否存在丢包，若为丢包数据时标记为1，则首先执行步骤3)，再执行步骤5)；若为非丢包数据则标记为0，则首先执行步骤3)，再执行步骤4)；

步骤3)接收端针对解复用的视频ES数据进行帧类型判断；所述帧类型包含IDR帧、I帧、B帧、P帧；

步骤4)非丢包数据处理；

步骤4.1)若当前帧的帧类型为IDR帧，则正常解码并缓存该帧为正常解码数据；

步骤4.2)若当前帧的帧类型为I帧、B帧或P帧，则正常解码并更新缓存帧；视频播放，并返回步骤1)进行下一帧数据的操作，直至所有帧数据全部播放完毕；

步骤5)丢包数据处理；

若当前帧的帧类型为IDR帧，且当前帧为第一帧数据，则该帧不做解码处理，标记当前IDR帧之后的所有帧为丢包数据，直至下一个非丢包的IDR帧出现后执行步骤4)；

若当前帧的帧类型为IDR帧，且当前帧不是第一帧数据，则判断是否有缓存的IDR帧，若有，则直接输出缓存的IDR帧数据；若没有，标记当前IDR帧之后的所有帧为丢包数据，直至下一个非丢包的IDR帧出现后执行步骤4)；

若当前帧的帧类型为I帧、B帧或P帧，且当前帧为第一帧数据，则该帧不做解码处理，直至下一个非丢包的IDR帧出现后执行步骤4)；

若当前帧的帧类型为I帧、B帧或P帧，且当前帧不是第一帧数据，则判断是否有缓存的IDR帧，若有，则直接输出缓存的IDR帧数据；若没有，当前帧不做解码处理，直至下一个非丢包的IDR帧出现后执行步骤4)。