CN102223539A - 图像编码丢帧花屏的处理方法 - Google Patents

Abstract

本发明提供了一种图像编码丢帧花屏的处理方法，本发明的方法主要包括：1.保留最近的正常I帧作为P帧编码参考，来修正图像的丢帧和花屏。2.如果第一种方法中，保留的最近正常I帧的时间过久，则用缓存中最新的YUV数据重新组成I帧，并利用此最新I帧来作为P帧编码参考帧。本发明把所产生的花屏、丢帧和延时控制在可接受的范围之内，保证实时视频监控的正常和工作效率。

Description

图像编码丢帧花屏的处理方法

技术领域

本发明涉及一种以视频(电视机)为显示终端的H.264视频编码器的图像编码丢帧花屏的处理方法，特别是涉及多路通道CIF格式图像编码丢帧花屏时的处理。

背景技术

随着Internet和多媒体技术的快速发展，视频的网络实时传输成为网络应用的研究热点之一。H.264标准以其高压缩率、高质量、低码率成为目前和下一代网上多媒体传输的主要格式和标准。视频的实时传输要求传输的时延要小、丢包率要低。作为基于H.264的视频服务器，在前端硬件编码后通过网络传送图像数据包到终端编码显示。当编码器接受数据进行编码时，会由于各种原因，编码器收到的数据会有缓存溢出引起延时产生，或者由于编码速度慢，此时就会造成图像在编码时不可避免的产生丢帧和花屏的问题，且此图像问题是不可恢复的，影响监控的质量，失去了视频监控的初衷和效果，使实时监控成为一句空话。

视频(电视机)作为输出的监控终端是最广泛、最常用的解决方案，具有成本低，效果直观，操作方便等特点。由于视频的网络实时传输面临的较多的不确定性，网络传输质量的起伏比较常见。所以，当以视频(电视机)为终端显示时，必须要考虑保证在前段进行图像数据编码时就尽量少产生花屏和丢帧问题。此情况下的视频编码器对于图像数据包的延时处理具有很迫切的要求。因此，随着流媒体服务的进一步发展，这类处理方法正受到越来越多的重视。

发明内容

本发明所要解决的技术问题是：提供一种图像编码丢帧花屏的处理方法，采用本发明的处理方法可以来修正图像延时，把所产生的延时控制在可接受的范围之内，保证实时视频监控的正常和工作效率。

本发明所采用的技术方案是：一种图像编码丢帧花屏的处理方法，包括以下步骤：

100)在编码器端设置一个缓冲区来接收图像数据，并在缓冲区中设置高点标记和低点标记；

200)在从缓冲区中接收图像数据包时，当缓冲区数据包数量小于低点时检查网络连接，暂停视频数据地接收；当缓冲区数据包数量大于或等于低点时，对当前组帧对象进行判断，如果当前帧是I帧，则直接进行组帧，然后对下一个组帧对象进行判断；如果当前帧是P帧，则进入下一步；

300)当缓冲区中数据包数量大于高点时，进入下一步；当缓冲区数据包数量在高点和低点之间时，转至500)；

400)用前一个已正常组帧的P帧来代替当前的P帧或进行跳帧处理，然后转至200)；

500)根据上一个能正常组帧的I帧图像数据包中的时间戳和当前所组的P帧的时间戳的差的绝对值来判断，当此时间差值的绝对值小于预定的正常收包时间时，对当前P帧正常组帧，然后转至200)；当此时间差值的绝对值大于或等于预定的正常收包时间时，用缓存区中最新的YUV数据重新组成I帧，并利用此最新I帧作为编码参考帧，对当前P帧进行组帧，然后转至200)。

所述的方法，步骤500的正常收包时间T＝|T_参1-T_参2|+ΔT，此处T_参1、T_参2分别为上一个能正常组帧的I帧图像数据包中的时间戳、当前所组的P帧的时间戳，ΔT的范围为0.5～2s。

所述的方法，在对当前I帧进行组帧后，还进行CRC校验，校验通过则继续编码；不通过则丢弃，然后重新组成I帧。

本发明的优点：根据最新的I帧来作为P帧编码参考帧。灵活控制编码时所产生的丢帧和花屏问题，采用本发明的处理方法可以来修正图像质量，保证实时视频监控的正常和工作效率。

附图说明

图1是缓冲区设置示意图。

图2是本发明提供的H.264视频编码器多路图像编码丢帧花屏的处理方法。

具体实施方式

本发明提供了一种针对以视频(电视机)为显示终端的H.264视频编码器的图像编码丢帧花屏延时的处理方法，特别是多路通道CIF格式编码延时的情况。

采用本发明的方法则可以通过：1、保留最近的正常I帧作为P帧编码参考，来修正图像的丢帧和花屏。2、如果第一种方法中，保留的最近正常I帧的时间过久，则用缓存中最新的YUV数据重新组成I帧，并利用此最新I帧来作为P帧编码参考帧，把所产生的花屏、丢帧和延时控制在可接受的范围之内，保证实时视频监控的正常和工作效率。

本发明所采用的实施例是：

步骤1、在编码器端设置一个缓冲区来接收图像数据。

步骤2、在缓冲区中设置一个高点标记(highwater)和低点标记(lowwater)。缓冲区的高点标记(highwater)和低点标记(lowwater)是根据硬件缓冲大小和组帧时间(每一帧的时间都是记录的，且动态变化)来决定的经验值。当缓冲区中数据包大于highwater时，丢弃多余的数据包，根据组帧结果如果是I帧，则进行组帧，完成后进行CRC校验，校验通过则按正常流程继续编码，不通过则丢弃。如果是P帧，则用前一个正常P帧来代替不能正常组帧的错误P帧，或在一定时间内进行跳帧处理，比如：保留1、3、5、7等P帧，跳2、4、6、8等P帧，当缓冲区中数据恢复到正常水平后再停止这样的跳帧处理改为正常编码。当缓冲区数据包在highwater和lowwater之间时进行正常组帧，当缓冲区数据包小于lowwater时检查视频线路连接。

步骤3、在从缓冲区中接收图像数据包时，根据上一个能组帧的I帧图像数据包中的时间戳和当前所组的P帧的时间戳的差的绝对值来判断。当此时间差值的绝对值小于预定的正常时间时，我们认为流程正常，如果当此时间差值的绝对值大于预定的正常时间时，我们认为出现异常，认为此I帧保存时间过久，可能造成花屏或者丢帧。则此时用缓存中最新的YUV数据重新组成I帧。并利用此最新I帧来作为P帧编码参考帧。把所产生的花屏、丢帧和延时控制在可接受的范围之内。

步骤3中包含以下步骤：

步骤3.1：设T1＝上一个能组帧的I帧的时间戳；

T2＝当前组的P帧的时间戳；

T0＝|T1-T2|(T1和T2的差的绝对值)；

T3＝最近保存的正常I帧的存储时间上限，此值可以设定为固定经验值，也可以设定为动态变化值。

步骤3.2：当T0＞T3时，认为此I帧保存时间过久，可能造成花屏或者丢帧。则此时用缓存中最新的YUV数据重新组成I帧。并利用此最新I帧来作为P帧编码参考帧。把所产生的花屏、丢帧和延时控制在可接受的范围之内。

当T0＜T3时，认为编码正常，无论是I帧还是P帧均正常编码。

其中步骤3.1发生在接收到视频图像数据包，进行时间戳的判断后放入缓冲区；步骤3.2发生在从缓冲区中取包组帧时，根据步骤3.1的判断来决定是继续组帧还是丢弃，或采用最近帧取代错误帧。

Claims (3)

1.一种图像编码丢帧花屏的处理方法，其特征在于包括以下步骤：

100)在编码器端设置一个缓冲区来接收图像数据，并在缓冲区中设置高点标记和低点标记；

200)在从缓冲区中接收图像数据包时，当缓冲区数据包数量小于低点时检查网络连接，暂停视频数据地接收；当缓冲区数据包数量大于或等于低点时，对当前组帧对象进行判断，如果当前帧是I帧，则直接进行组帧，然后对下一个组帧对象进行判断；如果当前帧是P帧，则进入下一步；

300)当缓冲区中数据包数量大于高点时，进入下一步；当缓冲区数据包数量在高点和低点之间时，转至500)；

400)用前一个已正常组帧的P帧来代替当前的P帧或进行跳帧处理，然后转至200)；

500)根据上一个能正常组帧的I帧图像数据包中的时间戳和当前所组的P帧的时间戳的差的绝对值来判断，当此时间差值的绝对值小于预定的正常收包时间时，对当前P帧正常组帧，然后转至200)；当此时间差值的绝对值大于或等于预定的正常收包时间时，用缓存区中最新的YUV数据重新组成I帧，并利用此最新I帧作为编码参考帧，对当前P帧进行组帧，然后转至200)。

2.如权利要求1所述的方法，其特征在于：步骤500的正常收包时间T＝|T_参1-T_参2|+ΔT，此处T_参1、T_参2分别为上一个能正常组帧的I帧图像数据包中的时间戳、当前所组的P帧的时间戳，ΔT的范围为0.5～2s。

3.根据权利要求1所述的方法，其特征在于：在对当前I帧进行组帧后，还进行CRC校验，校验通过则继续编码；不通过则丢弃，然后重新组成I帧。

Images