CN101155311B - 一种视频通信中的视频码流错误检测和处理方法 - Google Patents

一种视频通信中的视频码流错误检测和处理方法 Download PDF

Info

Publication number
CN101155311B
CN101155311B CN 200610062855 CN200610062855A CN101155311B CN 101155311 B CN101155311 B CN 101155311B CN 200610062855 CN200610062855 CN 200610062855 CN 200610062855 A CN200610062855 A CN 200610062855A CN 101155311 B CN101155311 B CN 101155311B
Authority
CN
China
Prior art keywords
video
image
error
information
data identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN 200610062855
Other languages
English (en)
Other versions
CN101155311A (zh
Inventor
陈睿
王志英
王宁
戴志军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN 200610062855 priority Critical patent/CN101155311B/zh
Publication of CN101155311A publication Critical patent/CN101155311A/zh
Application granted granted Critical
Publication of CN101155311B publication Critical patent/CN101155311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Mobile Radio Communication Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

一种视频通信中的视频码流错误检测和处理方法，对正在编码的码流建立发送数据标识号与对应的编码图像信息之间的索引；在网络传输节点上检测发送数据标识号的完整性，发现有数据丢失，将对应的错误数据标识号通过反馈信道传递到视频编码端；视频编码端根据从反馈信道接收的发送数据标识号，检索出对应的图像编码信息；编码端根据检索出的对应的图像编码信息，采取容错编码或者对出错数据进行重传。本发明可以在较小的反馈时延内发现错误，并对出错视频码流进行错误恢复处理，从而以最快的速度恢复视频解码端的受损图像质量，对视频传输误码和视频传输丢包有很强的抗干扰能力和恢复能力。

Description

一种视频通信中的视频码流错误检测和处理方法
技术领域
本发明属于图像信息传输和处理领域，具体涉及视频码流错误检测。
背景技术
随着有线宽带网络和无线网络的发展和用户需求的驱动，多媒体技术和相关的应用得到了越来越多的关注，被认为是未来高速网络的主流应用之一。多媒体应用，尤其是视频应用，相对于Internet的传统应用如WWW、E-mail等，其对实时性要求更严，对带宽的需求更大。由于视频应用中大多采用了高压缩率的编码技术，其对传输误码的要求尤为苛刻，但是有线或者无线网络不提供传输的QoS(Quality ofServerices)保证，因此提高视频应用对传输误码的抗干扰和恢复能力一直是多媒体通信领域的研究热点。
一种有效的视频抗差错处理就是根据网络信道的状况调整视频编码策略。在网络状况较差时，例如信道比特错误率或者丢包率较大，可以增加编码过程中的冗余数据，或者采取容错性能更好但编码效率较低的视频编码策略；当网络状况较好时，例如信道比特错误率或者丢包率较低，可以降低编码过程中的冗余数据量，或者采取编码效率较高但容错性能较差的视频编码策略。
这种视频抗差错方法的一个重要特征是需要得到网络状况或者解码端解码图像状态的反馈信息，然后根据反馈信息调整编码策略。但是在实际的通信***中，从解码器的反馈解码状态信息到编码端存在时延。若时延较大，编码端接收到错误反馈信息时，错误图像已经在解码器端扩散较长时间，对用户造成明显的视觉体验下降。而且在这种情况下，编码端的容错处理能力会发生明显下降。
如图1所示为典型的无线视频通信***，终端与BTS/BSC/RNC之间是通过无线连接传输数据，BTS/BSC/RNC之间的连接则是通过有线连接，包括核心网或者软交换网络，以及核心网上的媒体网关等网络节点设备。由于现有的有线网络或者无线网络都无法保证服务质量，在进行数据传输时，数据会发生丢失，因此无法保证接收端正确接收到发送端的数据。造成接收端无法接收到正确数据的原因有两方面，一是物理信道发生错误，数据在传输过程中受损。一般来说无线网络环境下发生物理信道错误的概率远大于有线网络环境，如图1所示的典型无线视频通信***中，A和B两处是最容易发生数据丢失的位置。二是信道拥塞引起的数据丢失，当大量数据要在短时间内通过网络发送到远端时，有限的带宽造成数据无法正确发送。
在传统的视频错误检测及错误恢复方法中，只有在接收端接收到视频码流数据后才能发现错误，然后将错误信息通过反馈信道传送到发送端，在发送端采取相应的容错处理措施。这种错误检测和处理方法的缺点是容错处理措施的性能受到网络反馈时延的影响较大，当反馈时延较小时，容错处理方法简单，而且能够很快的在接收端对错误信息进行恢复；当反馈时延较大时，容错处理方法复杂，而且在接收端需要有较长时间的才能对错误信息进行恢复。
如图2所示，在传统的视频码流错误检测和处理方法中，终端1进行图像编码，经过时间T1到达BTS/BSC/RNC1，然后在核心网/NGN中传输，经过时间T2到达BTS/BSC/RNC2，最后经过时间T3将编码视频码流发送到终端2。因此视频码流从终端1发送到终端2的时间为T＝T1+T2+T3。当视频码流数据在传送过程中发生数据丢失时，例如在终端1到BTS/BSC/RNC1的传送过程中发生信道错误或者信道拥塞造成视频码流出错，在中间的网络节点设备上没有进行数据完整性检测，只有到了终端2进行视频解码时才检测到视频码流错误，此时已经过了T＝T1+T2+T3时间。然后终端2将检测到的错误通过反馈信道将错误信息传送到终端1又要经过相同的信道传送。为了方便起见，假设反馈信道的路径和条件与发送数据的信道路径和条件相同，因此反馈错误信息又要经历T＝T1+T2+T3时间。
在这种情况下，从视频码流数据发生错误到到终端1对错误信息作出响应需要的时间为2×(T1+T2+T3)。终端2接收到经过容错处理后的视频码流，对错误图像进行恢复处理，最终时刻是3×(T1+T2+T3)。
发明内容
本发明所要解决的技术问题是针对视频通信过程中由于信道错误和信道拥塞引起的数据丢失或者受损造成的解码图像质量下降问题，提供一种视频通信过程中的视频码流错误检测方法，能够快速检测到传输过程中的数据丢失，从而可以设法在较短的反馈时延内进行错误恢复。
本发明一种视频通信中的视频码流错误检测和处理方法，包括以下步骤：
第一步，对正在编码的码流建立发送数据标识号与对应的编码图像信息之间的索引；
第二步，在网络传输节点上检测发送数据标识号的完整性，发现有数据丢失，将对应的错误数据标识号通过反馈信道传递到视频编码端；
第三步，视频编码端根据从反馈信道接收的发送数据标识号，检索出对应的图像编码信息；
第四步，编码端根据检索出的对应的图像编码信息，采取容错编码或者对出错数据进行重传。
上述第一步中的发送数据标识号可以是编码后图像数据信息发送的序号，在RTP协议中，发送数据标识号是RTP包序号；在TCP/IP协议中，发送数据标识号是IP包序号；在H.324M协议中，发送数据标识号是数据帧序号。编码图像信息是编码图像帧信息和/或编码区域位置信息；编码图像帧可能是一帧或者多帧图像的序号；编码区域位置是图像块位置序号或图像象素位置序号。
所述检测发送数据标识号的完整性是检测数据标识号是否连续。
所述第二步中的网络传输节点是基站收发信机/基站控制器/无线网络控制器、媒体网关或服务器。
本发明在不同的网络节点上检测或者监听接收视频数据包的信息，判断是否发生数据错误，并对将错误数据包信息反馈至发送端进行相应的处理。该错误检测方法可以在较小的反馈时延内发现错误，并对出错视频码流进行错误恢复处理，从而以最快的速度恢复视频解码端的受损图像质量，对视频传输误码和视频传输丢包有很强的抗干扰能力和恢复能力。
附图说明
图1为典型的无线视频通信***图；
图2为现有技术中的错误检测和处理方法图；
图3为本发明的一种实施方式示意图；
图4为本发明的另一种实施方式示意图。
具体实施方式
本发明提出了一种基于数据索引的快速错误检测和处理方法。
如图3和图4，在终端1进行编码时，建立数据发送包号与编码图像信息之间的索引。在进行一帧图像编码时，图像上的部分区域或者全部区域被编码成一个数据包，然后将这个数据包发送到接收端。这个数据包与图像的帧号和图像中的对应编码区域存在对应关系。在建立数据发送包号与编码图像信息之间索引时，发送包号可以是RTP包号、数据帧号，或者其它可以计算出RTP包号和数据帧号的编码信息。为了方便，本说明书后面以RTP包序号为例表示发送数据标识号，但不限于RTP包序号。编码图像信息包括图像帧号和对应的宏块位置信息，或者其它可以计算出图像帧号或者宏块位置的编码信息。为了方便，本说明书后面都以编码图像帧号和宏块位置表示编码图像信息，但不限于编码图像帧号和宏块位置。
在数据传送的过程中，进行RTP包序号的检测，判断是否发生数据丢失。若发生数据丢失，将丢失的数据包号或者数据帧号通过反馈信道传送到编码端。检测数据包号或者数据帧号的位置可以是BTS/BSC/RNC1、BTS/BSC/RNC2、媒体网关、服务器或者其它网络节点设备。一种常见的检测RTP包序号是否正确的方法是判断RTP包序号是否连续，若不连续表示不连续的序号对应的RTP包丢失。检测RTP包序号是否正确的方法多种多样，在此仅以RTP包是按照顺序编号是进行说明，但不局限与这种方法。
终端1在接收到从反馈信道获取的数据包号或者数据帧号后，根据编码存储的数据发送包号与编码图像信息之间的索引找到对应的编码图像帧号和宏块位置，及丢失数据的图像帧号和宏块位置。
终端1根据丢失数据的图像帧号和宏块位置进行容错编码，或者对出错数据进行重传，从而可以对解码端的错误进行恢复。
下面对图3和图4所示的两种实施方式进行说明。
如图3：
1、终端1对图像进行编码，并建立RTP包序号与编码图像帧号和宏块位置之间的索引。此时，从终端1发出的是正确的视频码流。假设此时时刻为0。
2、当终端1与BTS/BSC/RNC1之间的发生信道错误或者信道拥塞导致数据丢失时，经过T1时间后，在BTS/BSC/RNC1位置可以检测到RTP包序号的不正确。此时时刻为T1。
3、错误视频码流继续发送到终端2。终端2对接收的视频码流进行解码，解码图像出现错误。此时时刻为T1+T2+T3。
4、若假设反馈信道的路径和条件与发送数据的信道路径和条件相同，不正确的RTP包序号通过反馈信道传送到终端1需要经过T1时间。终端1根据RTP包序号与编码图像帧号和宏块位置之间的索引中找到对应的编码图像帧号和宏块位置信息。然后根据对应的编码图像信息进行容错编码。容错编码方法包括但不限于参考帧选择、错误跟踪或者帧内更新等技术。此时时刻为2×T1。
5、终端1将容错编码后的视频码流发送到终端2，终端2的解码器进行视频解码，错误图像被恢复。此时时刻为2×T1+T1+T2+T3。
如图4：
1、终端1对图像进行编码，并建立RTP包序号与编码图像帧号和宏块位置之间的索引。此时，从终端1发出的是正确的视频码流。假设此时时刻为0。
2、当终端1与BTS/BSC/RNC1之间的发生信道错误或者信道拥塞导致数据丢失时，经过T1时间后，在BTS/BSC/RNC1位置可以检测到RTP包序号的不正确。此时时刻为T1。
3、错误视频码流不发送到终端2。终端2无法接收视频码流进行解码，视频解码画面被冻结。此时时刻为T1+T2+T3。
4、若假设反馈信道的路径和条件与发送数据的信道路径和条件相同，不正确的RTP包序号通过反馈信道传送到终端1需要经过T1时间。终端1根据RTP包序号与编码图像帧号和宏块位置之间的索引中找到对应的编码图像帧号和宏块位置信息。然后根据对应的编码图像信息进行容错编码或者重传数据。容错编码方法包括但不限于参考帧选择、错误跟踪或者帧内更新等技术。此时时刻为2×T1。
5、终端1将经过容错编码或者重传的视频码流发送到终端2，终端2的解码器进行视频解码，冻结图像被恢复。此时时刻为2×T1+T1+T2+T3。
在本发明的实施中，建立发送数据标识号与编码图像信息之间的索引方法多种多样，一种简单的发送数据标识号与编码图像信息索引建立方法为，索引中的一条包括RTP包号，随后是图像帧序号以及宏块的起始位置。若一个RTP包中有多个图像帧，则包括多个图像帧的序号以及宏块的起始位置。

Claims (5)

1.一种视频通信中的视频码流错误检测和处理方法，包括以下步骤：
第一步，对正在编码的码流建立发送数据标识号与对应的编码图像信息之间的索引；
第二步，在网络传输节点上检测发送数据标识号的完整性，发现有数据丢失，将对应的错误数据标识号通过反馈信道传递到视频编码端；
第三步，视频编码端根据从反馈信道接收的发送数据标识号，检索出对应的图像编码信息；
第四步，编码端根据检索出的对应的图像编码信息，采取容错编码或者对出错数据进行重传。
2.权利要求1所述的视频通信中的视频码流错误检测和处理方法，其特征在于，所述第一步中的发送数据标识号是编码后图像数据信息发送的序号；编码图像信息是编码图像帧信息和/或编码区域位置信息。
3.权利要求2所述的视频通信中的视频码流错误检测和处理方法，其特征在于，
在RTP协议中，发送数据标识号是RTP包序号；在TCP/IP协议中，发送数据标识号是IP包序号；在H.324M协议中，发送数据标识号是数据帧序号；
编码图像帧是一帧或者多帧图像的序号；编码区域位置是图像块位置序号或图像象素位置序号。
4.权利要求3所述的视频通信中的视频码流错误检测和处理方法，其特征在于，所述检测发送数据标识号的完整性是检测数据标识号是否连续。
5.权利要求1至4任一权利要求所述的视频通信中的视频码流错误检测和处理方法，其特征在于，所述第二步中的网络传输节点是基站收发信机、基站控制器、无线网络控制器、媒体网关或服务器。
CN 200610062855 2006-09-27 2006-09-27 一种视频通信中的视频码流错误检测和处理方法 Active CN101155311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200610062855 CN101155311B (zh) 2006-09-27 2006-09-27 一种视频通信中的视频码流错误检测和处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200610062855 CN101155311B (zh) 2006-09-27 2006-09-27 一种视频通信中的视频码流错误检测和处理方法

Publications (2)

Publication Number Publication Date
CN101155311A CN101155311A (zh) 2008-04-02
CN101155311B true CN101155311B (zh) 2012-09-05

Family

ID=39256697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200610062855 Active CN101155311B (zh) 2006-09-27 2006-09-27 一种视频通信中的视频码流错误检测和处理方法

Country Status (1)

Country Link
CN (1) CN101155311B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478685B (zh) * 2009-01-16 2012-05-23 中兴通讯股份有限公司 一种抗干扰的网络视频传输方法及装置
CN101945427B (zh) * 2009-07-03 2012-11-14 深圳市融创天下科技股份有限公司 一种高效的流媒体传输方法
CN102036061B (zh) 2009-09-30 2012-11-21 华为技术有限公司 视频数据传输处理、发送处理方法、装置和网络***
CN102316360B (zh) * 2010-07-09 2015-11-25 华为终端有限公司 视频刷新方法、装置及***
EP2432161B1 (en) * 2010-09-16 2015-09-16 Deutsche Telekom AG Method of and system for measuring quality of audio and video bit stream transmissions over a transmission chain
CN102457714A (zh) * 2010-11-01 2012-05-16 ***通信集团上海有限公司 对摄像机采集的音视频数据进行传输的方法、***及设备
CN102595251B (zh) * 2011-01-11 2016-07-27 中兴通讯股份有限公司 流媒体丢包重传实现方法和***
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
GB201103174D0 (en) * 2011-02-24 2011-04-06 Skype Ltd Transmitting a video signal
GB2491589B (en) 2011-06-06 2015-12-16 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of image
CN103166995B (zh) * 2011-12-14 2016-08-10 华为技术有限公司 一种视频传输方法及装置
CN103024400B (zh) * 2011-12-19 2015-04-29 北京捷成世纪科技股份有限公司 基于网络的视频压缩容错传输方法及***
CN102611894B (zh) * 2012-03-02 2015-01-07 华为技术有限公司 检测视频传输丢包的方法、装置和***
CN103378955A (zh) * 2012-04-26 2013-10-30 华为技术有限公司 数据重传的方法、***、数据重传装置和数据获取装置
CN109983775A (zh) 2016-12-30 2019-07-05 深圳市大疆创新科技有限公司 用于基于反馈的数据发送的***和方法
CN109936746B (zh) * 2016-12-30 2021-07-16 深圳市大疆创新科技有限公司 图像处理方法与设备
CN110225338B (zh) 2016-12-30 2021-12-10 深圳市大疆创新科技有限公司 图像处理方法、装置、无人飞行器和接收端
CN108401263B (zh) * 2017-02-07 2021-09-17 大唐移动通信设备有限公司 一种语音质量的评估方法及装置
US11284062B2 (en) * 2017-09-05 2022-03-22 Texas Instruments Incorporated Automotive display validation
CN109462857A (zh) * 2017-09-06 2019-03-12 中兴通讯股份有限公司 丢包处理方法、装置、无线网元及计算机可读存储介质
CN111885404A (zh) * 2020-07-16 2020-11-03 RealMe重庆移动通信有限公司 数据传输方法、设备及存储介质
CN112511277B (zh) * 2020-11-24 2021-08-06 广州技象科技有限公司 数据处理方法及装置
CN112532349B (zh) * 2020-11-24 2022-02-18 广州技象科技有限公司 基于解码异常的数据处理方法及装置
CN114520788B (zh) * 2022-04-20 2022-07-15 创思(广州)电子科技有限公司 一种带有存储节点的自检式信息传输控制方法
CN116614596B (zh) * 2023-07-18 2023-09-26 基石酷联微电子技术（北京）有限公司 一种高速和低速复合的音视频双向传输***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1127578A (zh) * 1993-07-19 1996-07-24 英国电讯有限公司 视频图象中的错误检测
EP1081963B1 (en) * 1999-08-31 2005-12-07 Lucent Technologies Inc. Video signal error detection systems
CN1816159A (zh) * 2005-02-02 2006-08-09 三星电子株式会社 错误隐藏设备和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1127578A (zh) * 1993-07-19 1996-07-24 英国电讯有限公司 视频图象中的错误检测
EP1081963B1 (en) * 1999-08-31 2005-12-07 Lucent Technologies Inc. Video signal error detection systems
CN1816159A (zh) * 2005-02-02 2006-08-09 三星电子株式会社 错误隐藏设备和方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
李艺霞.低速率视频传输的抗误码技术.无线通信技术 1.2006,(1),54-58.
李艺霞.低速率视频传输的抗误码技术.无线通信技术 1.2006,(1),54-58. *
王华等.无线传感器网络中数据可靠传输的节能路由算法.计算机应用26 1.2006,26(1),25-27.
王华等.无线传感器网络中数据可靠传输的节能路由算法.计算机应用26 1.2006,26(1),25-27. *

Also Published As

Publication number Publication date
CN101155311A (zh) 2008-04-02

Similar Documents

Publication Publication Date Title
CN101155311B (zh) 一种视频通信中的视频码流错误检测和处理方法
CN100539544C (zh) 媒体流式传输分发***
US7636298B2 (en) Apparatus and method for packet error correction
US8499212B2 (en) Method and apparatus for adaptive forward error correction with merged automatic repeat request for reliable multicast in wireless local area networks
JP5425397B2 (ja) 適応型前方誤り訂正を行う装置及び方法
CN101193312B (zh) 基于反馈的自适应错误恢复装置、视频通信***和方法
EP2529528B1 (en) A method and apparatus for parsing a network abstraction-layer for reliable data communication
US20120272124A1 (en) Method and System for Recovering Lost Media Data Packets
KR101286912B1 (ko) 3차원 저장장치를 이용한 가변길이 패킷의 ｆｅｃ 인코딩 및 ｆｅｃ 디코딩 방법
JP2004537919A (ja) パケットベースの通信システムのための前方エラー訂正システム及び方法
US20100214970A1 (en) Method and system for transmitting data packets from a source to multiple receivers via a network
JP2005198191A (ja) 伝送装置、伝送制御プログラム、及び伝送方法
CN103580773A (zh) 数据帧的传输方法及装置
JP2001045098A (ja) データ通信システム、データ通信装置、データ通信方法及び記憶媒体
EP2245783A1 (en) Controlling point-to-multipoint transmissions of content data over a radio interface
US8467302B2 (en) Wireless data transmission method, transmitting system, and receiving system
CN102239658A (zh) 按需差错控制
KR100240645B1 (ko) 멀티캐스트 통신의 패킷 오류 제어기 및 이를 이용한패킷 오류제어 방법
CN102752184A (zh) 用于实时多播业务的数据通信***及其方法
CN102065372B (zh) 以广播方式传输数据的方法及相关装置
US7239610B2 (en) Methods and devices for partial upper layer frame loss detection based retransmission
Kim et al. UDP-based extremely low latency streaming
CN101179353A (zh) 一种多媒体服务性能监测的方法和***
CN110572721A (zh) 视频传输方法和装置
Lifen et al. The performance study of transmitting MPEG4 over SCTP

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant