CN1167271C - 压缩编码图像传输中的误码处理方法 - Google Patents
压缩编码图像传输中的误码处理方法 Download PDFInfo
- Publication number
- CN1167271C CN1167271C CNB011005467A CN01100546A CN1167271C CN 1167271 C CN1167271 C CN 1167271C CN B011005467 A CNB011005467 A CN B011005467A CN 01100546 A CN01100546 A CN 01100546A CN 1167271 C CN1167271 C CN 1167271C
- Authority
- CN
- China
- Prior art keywords
- error code
- frame
- data
- gob
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
一种压缩编码图像传输中的误码处理方法,其中当接收端检测出有误码时在图像码流数据解码前丢弃有误码的图像码流数据,并采用前帧相应位置的图像数据替代被丢弃的图像数据,然后再进行图像码流数据解码。且较佳地,对应于解码前的图像码流数据,接收端设置标志数组用以记录出现误码的位置。可以避免或减少发送端的帧内编码发送及接收端的图像凝固,提高图像质量。
Description
本发明涉及多媒体技术中的图像通信领域,特别是涉及经压缩编码的图像在传输中产生的误码的处理方法。
会议电视和可视电话都应用到图像通信技术,以及对图像压缩编码后传输的技术。在实时双向视频通信中,如会议电视,视频信息按照国际标准压缩为码流数据进行传输。目前通常采用的图像编码国际标准为ITU-T(国际电联)提出的H.26X标准(如H.261和H.263),在H.26X标准中将数字视频格式定义为CIF(公共中间格式)和QCIF(四分之一CIF),作为会议电视统一的图像信号格式,以适应国际上流行的PAL、NTSC、SECAM等不同电视制式。
下面以CIF格式为例简单介绍H.26X标准中定义的数字视频格式的结构。图1和图2分别示出了H.261CIF格式和H.263CIF格式的组成结构,如图1及图2所示,每帧图像被划分为多个GOB(块组),每一GOB又被划分为多个MB(宏块),MB又被进一步划分因与本发明不相关不再赘述。与图像的划分格式相对应,H.26X标准的压缩编码图像在传输中的的数据码流分为若干层,图像层包含图像层头和GOB层数据,GOB层包含GOB层头和MB层数据,MB层又包含MB层头和下一层的数据,等等。由于压缩码流的信息冗余度较低,因而在传输过程中引入的传输信道误码对接收端图像质量影响很大。
一般接收端都会设置误码检测的手段,如利用前向纠错(FEC)进行误码检测,在发现误码的情况下,现有技术中的一种误码处理方法,利用多点会议的FastUpdate指令,当接收端检测出有误码时,即凝固本接收端的显示,即暂停将图像数据解码为可直接播放的视频数据的解码操作,通过会议控制向发送端发出FastUpdate指令。发送端收到指令,即编码发送帧内帧,将当前帧进行帧内编码并发送,并在码流中将Freeze Release位置为有效。接收端检测出FreezeRelease位为有效后,即解除显示凝固,继续将图像数据解码为可直接播放的视频数据。
现有技术的缺点在于,即使在误码不大的情况下,解码图像也有较频繁的图像凝固与质量较差的帧内编码图像出现,尤其在一个多方参与的电视会议中,一个终端正在被广播,如果某个接收广播的终端线路有误码,这一误码处理方式会导致整个会议所有终端看到较频繁的质量较差的帧内编码图像出现,用户对这一现象表示很难接受。
本发明的目的在于提出一种压缩编码图像传输中的误码处理方法,其可避免或减少发送端的帧内编码发送及接收端的图像凝固,提高图像质量。
本发明的目的是这样实现的:一种压缩编码图像传输中的误码处理方法,其特征在于:当接收端检测出有误码时,对应于解码前的图像码流数据,接收端设置标志数组用以记录出现误码的位置,在图像码流数据解码前丢弃有误码的图像码流数据,并采用前帧相应位置的图像数据替代被丢弃的图像数据,然后再进行图像码流数据解码。
较佳地,所述标志数组的长度与纯码流缓冲中码流数据的长度相同,标志数组的各位数值用于表示纯码流缓冲中的对应码流数据位是否为误码。
较佳地,在图像编码标准为H.261的情况下,接收端在图像数据解码前丢弃有误码的图像数据,具体为:丢弃含有误码的GOB的数据。
较佳地,在图像编码标准为H.263的情况下,接收端在图像数据解码前丢弃有误码的图像数据,具体为:在误码发生在一帧的第一个GOB中的情况下,则丢弃误码发生帧的整帧数据;在误码不是发生在一帧的第一个GOB中,且发生误码的GOB的GFID与相邻的下一个GOB的GFID相同的情况下,则丢弃误码所在的GOB的数据;在误码不是发生在一帧的第一个GOB中,且发生误码的GOB的GFID与相邻的下一个GOB的GFID不相同的情况下,接收端向后搜索下一个帧头,并丢弃从误码所在的GOB的起始处到该下一个帧头的起始处之间的数据。
较佳地,发送端将每帧中固定数目的多个MB强制设为帧内编码方式,且相邻帧的所述被强制设为帧内编码方式的MB在屏幕位置上相邻。
较佳地,对于CIF图像每帧中所述的被强制设为帧内编码方式的MB为三个,对于其它格式图像每帧中所述的被强制设为帧内编码方式的MB个数可随图像大小做等比例调整。
较佳地,所述三个MB的空间位置可以是一个挨一个的排成一排,或是一个挨一个的排成一列,或是一个挨一个的排成一个对角线,或是间隔开。
本发明相较于现有技术更多地考虑了用户的实际需求及会议的具体状态,可以避免或减少发送端的帧内编码发送及接收端的图像凝固。由于开会时场景变化很少,所以可以使误码能被掩盖得很好,从而提高了图像质量。
为使本发明的目的、技术方案和优点更加清楚明白,以下举实施例并结合附图,对本发明进一步详细说明。其中
图1示出了H.261CIF格式的组成结构。
图2示出了H.263CIF格式的组成结构。
现有技术中接收端在检出误码后,即凝固显示,通过会议控制向发送端发出FastUpdate指令。发送端收到指令,即编码发送帧内帧,并在码流中将FreezeRelease位置为有效。接收端检测出Freeze Release位为有效后,即解除显示凝固。现有技术中的误码处理方法,即使在小误码的情况下,解码图像也会有较频繁的图像凝固与质量较差的帧内编码图像出现,导致图像质量很难为用户接受。
本发明认识到,在会议电视中或可视电话业务中,图像的场景一般变化很小,因此在很多情况下不需要凝固显示重传数据,而只需采用前帧相应位置的数据覆盖有误码的数据即可。经过如此的误码处理措施,接收端的图像质量得到提高,更易获得用户认可。
在本发明的一个较佳实施例中,接收端接收的码流在复用层先接受循环冗余(CRC)校验,然后将视频数据通过视频接收缓冲传递给视频解码层。视频接收缓冲中的数据是FEC帧结构的,解码器对这一数据进行检错、去帧结构,取出单纯的图像码流数据,放于一纯码流缓冲中等待由解码器进行解码。本较佳实施例中对应于纯码流缓冲设置了标志数组,用于记录出现误码的位置。该标志数组可以是与纯码流缓冲一一对应的,即该标志数组的长度与纯码流缓冲中码流数据的长度相同,标志数组的各位的数值用于表示纯码流缓冲中的对应码流数据位是否为误码。
本实施例中将误码情况区分为大误码情况和小误码情况分别处理。
对小误码情况,首先采用标准H.261与H.263中推荐的FEC方法进行检错。若检出有误码,则丢弃该FEC帧,并在标志数组相应的位置标记为误码。
在处理去FEC帧结构后的单纯码流数据时,首先检查标志数组中是否有误码标记,若没有误码标记,则可以直接将数据送给码流解码模块。若检测到误码标记,则需要进行弃数据处理。如果协议为H.263,在本实施例中需要做的工作可分为A、B、C三个步骤如下:
A、确定误码发生的GOB序号及缓冲中GOB的起始位置。这一工作通过向前搜索GOB头可以实现。
B、若为一帧的第一个GOB,则向后搜索下一帧的帧头。丢弃误码发生帧的整帧数据。
c、若不是一帧的第一个GOB,则向前搜索上一个GOB的头并记录GFID,向后搜索下一个GOB的头并记录GFID。若两个GFID相同,则丢弃误码所在GOB的数据。若两个GFID不同,则向后搜索下一帧的帧头,丢弃误码所在GOB起始处到下一帧头起始处之间的所有数据。这里所说的GFID是在H.263中定义的一个标志位,表示了该GOB所在帧的序号,如果两个GFID不同,则说明两个GOB位于不同的帧中,如果两个GFID相同,则说明两个GOB位于同一帧中。
如果协议为H.261,只需确定缓冲中误码所在GOB的起始位置与下一GOB的开始位置,丢弃之间的所有数据。这一工作通过向前搜索GOB头,向后搜索GOB头可以实现。
丢弃数据完成后,解码端需进行错误掩盖。掩盖方法是用前一帧的相应数据替代被丢弃的图像内容。
经过上述处理,开会时由于场景变化很少,所以小误码能被掩盖得很好。但画面存在较大活动对象时,活动部分会留下较明显的拖尾。为此可采用强制帧内块策略消除拖尾的扩散。对于CIF图像,即每帧将三个MB强制设为帧内编码方式,不管原来是帧间编码方式,还是无需编码方式。一帧中三个MB的空间位置可以是相邻的,如三个MB一个挨一个的排成一排,或是一个挨一个的排成一列,或是一个挨一个的排成一个对角线,也可以是间隔开的,但当前帧中的三个MB应与前一帧中的三个MB在屏幕位置上相邻,例如是前一帧中的三个MB按照帧内MB序号递增或递减的顺序选取的。由于错误图像的扩散总是发生在相邻的MB中,顺序方式相对一般的随机方式能更有效地消除拖尾的扩散。
对大误码情况,即使经过处理,图像质量劣化仍较大,此时输出一特定的图像,例如兰屏,并叠加显示字幕,说明有误码。
本发明相较于现有技术更多地考虑了用户的实际需求及会议的具体状态,可以避免或减少接收端的图像凝固。由于开会时场景一般变化很少,所以可以把误码能被掩盖得很好,从而提高了图像质量。
本领域的普通技术人员应当理解的是,以上实施例仅用以说明本发明而非限制,可以对本发明进行修改、等同替换,或者将不同特征进行组合,而不脱离本发明的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (8)
1、一种压缩编码图像传输中的误码处理方法,其特征在于:当接收端检测出有误码时,对应于解码前的图像码流数据,接收端设置标志数组用以记录出现误码的位置,在图像码流数据解码前丢弃有误码的图像码流数据,并采用前帧相应位置的图像数据替代被丢弃的图像数据,然后再进行图像码流数据解码。
2、如权利要求1所述的压缩编码图像传输中的误码处理方法,其特征在于:所述标志数组的长度与纯码流缓冲中码流数据的长度相同,标志数组的各位数值用于表示纯码流缓冲中的对应码流数据位是否为误码。
3、如权利要求1所述的压缩编码图像传输中的误码处理方法,其特征在于:在图像编码标准为H.261的情况下,接收端在图像数据解码前丢弃有误码的图像数据,具体为:丢弃含有误码的GOB的数据。
4、如权利要求1所述的压缩编码图像传输中的误码处理方法,其特征在于:在图像编码标准为H.263的情况下,接收端在图像数据解码前丢弃有误码的图像数据,具体为:在误码发生在一帧的第一个GOB中的情况下,则丢弃误码发生帧的整帧数据;在误码不是发生在一帧的第一个GOB中,且发生误码的GOB的GFID与相邻的下一个GOB的GFID相同的情况下,则丢弃误码所在的GOB的数据;在误码不是发生在一帧的第一个GOB中,且发生误码的GOB的GFID与相邻的下一个GOB的GFID不相同的情况下,接收端向后搜索下一个帧头,并丢弃从误码所在的GOB的起始处到该下一个帧头的起始处之间的数据。
5、如权利要求1所述的压缩编码图像传输中的误码处理方法,其特征在于:发送端将每帧中固定数目的多个MB强制设为帧内编码方式,且相邻帧的所述被强制设为帧内编码方式的MB在屏幕位置上相邻。
6、如权利要求5所述的压缩编码图像传输中的误码处理方法,其特征在于:对于CIF图像每帧中所述的被强制设为帧内编码方式的MB为三个,对于其它格式图像每帧中所述的被强制设为帧内编码方式的MB个数可随图像大小做等比例调整。
7、如权利要求1所述的压缩编码图像传输中的误码处理方法,其特征在于:对大误码与小误码采用不同的对策,在大误码的情况下,接收端输出一特定的图像。
8、如权利要求6所述的压缩编码图像传输中的误码处理方法,其特征在于:所述三个MB的空间位置可以是一个挨一个的排成一排,或是一个挨一个的排成一列,或是一个挨一个的排成一个对角线,或是间隔开。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB011005467A CN1167271C (zh) | 2001-01-10 | 2001-01-10 | 压缩编码图像传输中的误码处理方法 |
RU2003124641/09A RU2283543C2 (ru) | 2001-01-10 | 2002-01-09 | Способ обработки кода ошибки сжатого изображения при передаче |
US10/250,620 US7051262B2 (en) | 2001-01-10 | 2002-01-09 | Method for processing error code of compressed image in transmission |
PCT/CN2002/000008 WO2002056601A1 (en) | 2001-01-10 | 2002-01-09 | A method for processing error code of compressed image in transmission |
EP02716038A EP1351520A4 (en) | 2001-01-10 | 2002-01-09 | METHOD FOR PROCESSING AN ERROR CODE OF A COMPRESSED IMAGE IN THE FIELD OF TRANSMISSION |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB011005467A CN1167271C (zh) | 2001-01-10 | 2001-01-10 | 压缩编码图像传输中的误码处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1364031A CN1364031A (zh) | 2002-08-14 |
CN1167271C true CN1167271C (zh) | 2004-09-15 |
Family
ID=4651679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB011005467A Expired - Fee Related CN1167271C (zh) | 2001-01-10 | 2001-01-10 | 压缩编码图像传输中的误码处理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7051262B2 (zh) |
EP (1) | EP1351520A4 (zh) |
CN (1) | CN1167271C (zh) |
RU (1) | RU2283543C2 (zh) |
WO (1) | WO2002056601A1 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100557047B1 (ko) * | 2002-10-21 | 2006-03-03 | 엘지전자 주식회사 | 동영상 디코딩 방법 |
KR100543607B1 (ko) * | 2002-11-05 | 2006-01-20 | 엘지전자 주식회사 | 동영상 디코딩 방법 |
US9108107B2 (en) | 2002-12-10 | 2015-08-18 | Sony Computer Entertainment America Llc | Hosting and broadcasting virtual events using streaming interactive video |
US8964830B2 (en) | 2002-12-10 | 2015-02-24 | Ol2, Inc. | System and method for multi-stream video compression using multiple encoding formats |
US9314691B2 (en) | 2002-12-10 | 2016-04-19 | Sony Computer Entertainment America Llc | System and method for compressing video frames or portions thereof based on feedback information from a client device |
US9138644B2 (en) | 2002-12-10 | 2015-09-22 | Sony Computer Entertainment America Llc | System and method for accelerated machine switching |
US9077991B2 (en) | 2002-12-10 | 2015-07-07 | Sony Computer Entertainment America Llc | System and method for utilizing forward error correction with video compression |
US20090118019A1 (en) | 2002-12-10 | 2009-05-07 | Onlive, Inc. | System for streaming databases serving real-time applications used through streaming interactive video |
KR100492567B1 (ko) * | 2003-05-13 | 2005-06-03 | 엘지전자 주식회사 | 이동통신 시스템의 http 기반 비디오 스트리밍 장치및 방법 |
CN100356795C (zh) * | 2003-12-30 | 2007-12-19 | 凌阳科技股份有限公司 | 影像解压缩电路与方法 |
KR20080078868A (ko) * | 2005-12-02 | 2008-08-28 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비디오 데이터 에러를 검출하는 방법 및 장치 |
JP2011508995A (ja) * | 2007-12-05 | 2011-03-17 | オンライブ インコーポレイテッド | 通信チャンネルの検出されたデータレートに基づきビデオを圧縮するためのシステム及び方法 |
TWI399982B (zh) * | 2007-12-05 | 2013-06-21 | Ol2 Inc | 用以壓縮串流互動視訊之系統 |
JP2011509547A (ja) * | 2007-12-05 | 2011-03-24 | オンライブ インコーポレイテッド | 通信チャンネルを経て送信されるある形式のマルチメディアデータを保護するシステム及び方法 |
US20090249172A1 (en) * | 2008-03-26 | 2009-10-01 | Qualcomm Incorporated | Methods and apparatus for improved decoding of bursts that include multiple concatenated protocol data units |
US8126014B2 (en) * | 2008-04-09 | 2012-02-28 | Qualcomm Incorporated | Methods and apparatus for improved decoding of hybrid automatic repeat request transmissions |
CN101420624B (zh) * | 2008-11-13 | 2012-01-04 | 华为技术有限公司 | 一种视频解码错误处理方法及装置 |
CN102256138A (zh) * | 2010-05-18 | 2011-11-23 | 安凯(广州)微电子技术有限公司 | 一种改善视频播放效果的方法 |
CN107181942B (zh) * | 2011-10-24 | 2020-03-10 | 英孚布瑞智有限私人贸易公司 | 图像解码设备 |
JP6058021B2 (ja) * | 2011-11-28 | 2017-01-11 | トムソン ライセンシングThomson Licensing | ひずみ/品質測定 |
US9118744B2 (en) * | 2012-07-29 | 2015-08-25 | Qualcomm Incorporated | Replacing lost media data for network streaming |
CN107680605A (zh) * | 2017-09-29 | 2018-02-09 | 湖南国科微电子股份有限公司 | 一种ape格式错误数据处理方法及*** |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5455629A (en) * | 1991-02-27 | 1995-10-03 | Rca Thomson Licensing Corporation | Apparatus for concealing errors in a digital video processing system |
JP3380334B2 (ja) * | 1994-07-25 | 2003-02-24 | 株式会社日立国際電気 | 画像データの補間方法及び装置 |
US5617333A (en) * | 1993-11-29 | 1997-04-01 | Kokusai Electric Co., Ltd. | Method and apparatus for transmission of image data |
JPH08154247A (ja) * | 1994-09-29 | 1996-06-11 | Sanyo Electric Co Ltd | 圧縮画像データ処理装置及び方法 |
JPH09121358A (ja) * | 1995-10-25 | 1997-05-06 | Matsushita Electric Ind Co Ltd | 画像符号化及び復号化装置と方法 |
CN1179252A (zh) * | 1996-01-22 | 1998-04-15 | 摩托罗拉公司 | 有线电话***中的信道质量管理 |
US5862451A (en) * | 1996-01-22 | 1999-01-19 | Motorola, Inc. | Channel quality management in a cable telephony system |
US5910827A (en) * | 1997-02-26 | 1999-06-08 | Kwan; Katherine W. | Video signal decoding arrangement and method for improved error concealment |
US6078616A (en) * | 1997-03-13 | 2000-06-20 | Sony Corporation | Methods and apparatus for error concealment utilizing temporal domain motion vector estimation |
JP3053781B2 (ja) * | 1997-03-18 | 2000-06-19 | 沖電気工業株式会社 | 動画像圧縮符号の復号方法及び復号装置 |
-
2001
- 2001-01-10 CN CNB011005467A patent/CN1167271C/zh not_active Expired - Fee Related
-
2002
- 2002-01-09 EP EP02716038A patent/EP1351520A4/en not_active Withdrawn
- 2002-01-09 RU RU2003124641/09A patent/RU2283543C2/ru not_active IP Right Cessation
- 2002-01-09 WO PCT/CN2002/000008 patent/WO2002056601A1/zh not_active Application Discontinuation
- 2002-01-09 US US10/250,620 patent/US7051262B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
WO2002056601A1 (en) | 2002-07-18 |
EP1351520A4 (en) | 2006-08-16 |
RU2283543C2 (ru) | 2006-09-10 |
EP1351520A1 (en) | 2003-10-08 |
US20040059983A1 (en) | 2004-03-25 |
US7051262B2 (en) | 2006-05-23 |
RU2003124641A (ru) | 2005-02-27 |
CN1364031A (zh) | 2002-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1167271C (zh) | 压缩编码图像传输中的误码处理方法 | |
EP1287705B1 (en) | Video coding | |
KR100929558B1 (ko) | 비디오 부호화 방법, 복호화 방법, 부호화기, 복호기, 무선 통신 장치 및 멀티미디어 터미널 장치 | |
KR100495820B1 (ko) | 비디오 코딩 | |
US7116714B2 (en) | Video coding | |
US20030138043A1 (en) | Grouping of image frames in video coding | |
US20060120451A1 (en) | Grouping of image frames in video coding | |
US20030067637A1 (en) | Video coding | |
GB2362533A (en) | Encoding a video signal with an indicator of the type of error concealment used | |
US20060133514A1 (en) | Video coding and transmission | |
EP1349398A1 (en) | Video processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20180530 Address after: Delaware Patentee after: Vid Scale Inc Address before: 518057 HUAWEI building, road, Shenzhen science and Technology Park Patentee before: Huawei Technologies Co., Ltd. |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20040915 Termination date: 20200110 |