CN1192635C - 一种视频编码和译码的方法及设备 - Google Patents

一种视频编码和译码的方法及设备 Download PDF

Info

Publication number
CN1192635C
CN1192635C CN00803932.1A CN00803932A CN1192635C CN 1192635 C CN1192635 C CN 1192635C CN 00803932 A CN00803932 A CN 00803932A CN 1192635 C CN1192635 C CN 1192635C
Authority
CN
China
Prior art keywords
video
image
video data
decoding
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN00803932.1A
Other languages
English (en)
Other versions
CN1340275A (zh
Inventor
M·汉努克塞拉
A·霍伦兰塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sith International Ltd.
Nokia Oyj
Original Assignee
Nokia Mobile Phones Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=10847994&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1192635(C) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nokia Mobile Phones Ltd filed Critical Nokia Mobile Phones Ltd
Publication of CN1340275A publication Critical patent/CN1340275A/zh
Application granted granted Critical
Publication of CN1192635C publication Critical patent/CN1192635C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Glass Compositions (AREA)
  • Television Systems (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

视频译码的方法包括：接收编码的视频数据；译码所述视频数据形成译码的视频数据，以及确定译码的视频数据是否包含错误。当确定存在错误时发送一个消息给发送视频编码器，以便请求至少更新包含错误的视频数据的那个部分，其中所述更新消息只在自从以前的更新消息被发送以来经历了预定的时间间隔时才被发送。也描述了互补的编码器。

Description

一种视频编码和译码的方法及设备
本发明涉及视频编译码。
移动电信中当前的目标之一是提高数据传输的速度，以便能够通过无线网提供多媒体业务。多媒体的一个关键部分是数字视频。数字视频比起传统的模拟***给出非常多的优点，支持诸如视频技术和多媒体应用那样的业务。然而，当与模拟***相比较时，数字视频的关键问题是对于通信和贮存资源的要求。例如，为了发送广播质量的视频，需要约160Mbps的带宽，这与对于可比较的质量的模拟视频的约5MHz的带宽成为鲜明对照。因此，为了能够使用数字视频，数字信号需要减小数据量。
视频传输包括代表活动图象的连续的数据业务。众所周知，传送图象所需要的数据量与许多其它类型的媒体相比较是很高的，至今为止低比特速率终端的视频的使用一直是可忽略的。然而，在低比特速率视频压缩领域中取得了重大的进展。可以在大约每秒20千比特的比特速率下得到可接受的视频质量。
由于这种对比特速率的逐渐降低，预期视频很快成为提供给有限带宽网络的可行的业务，诸如公共交换电话网(PSTN)和移动电信网。在使用固定网络的视频电话应用项中，错误典型地是通过重新发送数据而被克服的。然而，移动电话比起PSTN趋向于更高的错误率，以及具有较长的来回路程延时。这些较长的延时使得对于实时移动视频电话应用项来说使用重新发送是不实际的。重新发送在高的错误率情形下也是不经济的。
视频序列包含一系列静止图象或帧。数据减小是通过使用压缩技术去除冗余的数据而仍旧保持足够的信息以允许原先的图象以可接受的质量被重现而达到的。在视频信号中有两种主要类型的冗余度：空间的和时间的。对于图象的编码，只利用空间冗余度的技术被称为帧内或I帧(即，它们分开地处理每个帧)，而利用时间冗余度的技术被称为帧间或P帧(即，它们利用帧之间的相同性)。后者也总是利用空间冗余度，这种利用例如通过产生用来描述在当前的和先前的图象的相同区域之间的运动(位移)的运动补偿数据来实现。在帧间的的情形下，预测的(运动补偿的)图象很难足够精确，所以空间压缩的预测错误图象也是与每个帧间相关联的。
然而，只减小序列的冗余度，通常不能达到足够的压缩。因此，视频编码器试图降低视频序列中主观上最不重要的那些部分的质量。另外，编码的比特流的冗余度是借助于对压缩的参量和系数进行有效的无损编码而被减小的。主要的技术是使用可变长度编码，其中每个数值通过使用独特的码字来编码。最短的码字被分配给统计上最经常出现的那些值。
已经开发了几种视频编码方法。这些方法包括运行长度编码、有条件的再补充、变换编码、Huffman(霍夫曼)编码、和差分相位码调制(DPCM)。其中有许多被利用在关键的标准中，诸如ITU-T建议JPEG、MPEG-1和MPEG-2、以及H.261/H.263。JPEG规定用于静止图象的压缩数据流的形式；MPEG/MPEG2是用于活动图象的压缩；H.261/H.263主要被规定用于采用低的比特速率通信链路(大约几十kbit/s)的视频电话应用项。当前的视频电话***主要被设计使用于PSTN或分组网，以及遵从ITU-T建议H.234(它覆盖低比特速率的多媒体通信)、H.245(它覆盖传输协议)、H.233(它涉及复接)、和H.323(它覆盖在传统的共享媒体的局域网上的视频会议)。第一个移动视频电话将是基于H.324的。
压缩的视频容易遭受传输错误的破坏，这主要由于两个原因。第一，由于利用时间预测差分编码(帧间)，错误在空间和时间上被传播。实际上，这意味着，一旦出现错误，它就在相对较长的时间内对于人的眼睛是很容易看到的。低的比特速率下的传输是特别受影响的，这种情况下只有几个帧间编码帧(帧间编码帧的传输将停止时间错误的传播)。第二，使用可变长度编码会增加受错误影响的程度。当误码改变码字时，译码器将失去码字同步，而且也不能正确地译码以后的无错误的码字(包括几个比特)直至下一个同步码(或开始)为止。同步码是一种不能从其它码字的任何合法组合来产生的比特图案，以及这样的代码在一些时间间隔内被加到比特流，以便使得能够重新得到同步。
在压缩的视频比特流中的每个比特对于解压缩的图象不具有相等的重要性。某些比特属于规定必不可少的信息的段，诸如图象类型(例如，帧内的或帧间的)、量化器数值和被使用的可任选的编码模式。在H.263中，最重要的信息被集中在图象标题中。在图象标题中的传输错误典型地造成用于规定图象内容的随后的比特的总的错误解译。由于利用时间预测差分编码(帧间)，错误在空间上和时间上被传播。因此，当译码器检测被破坏的图象标题时，典型的方法是冻结屏幕上的先前的图象、发送内部图象请求给发送终端、以及等待请求的内部的帧。这造成接收的视频中令人讨厌的暂停。
传输错误具有不同的性质，这取决于基础网络。在分组交换的网络中，传输错误典型地是分组丢失(由于网络单元中的拥塞)。在电路交换的网络中，传输错误典型地是比特错误，其中“1”被破坏成“0”，或反之亦然，以及在无线通信网络中，错误可能在突发中出现，使得情形甚至更困难。
为了减轻由传输错误引入的图象中的恶化，可以使用重新发送(如上所述)，可以应用检错和/或纠错方法，和/或可以掩盖由接收的破坏的数据造成的影响。在固定网络中，重新发送提供适当的方式来防止视频数据流出错，因为误码率(BER)典型地是在10-6的范围。然而，与低的比特速率无线传输有关的、大的路程来回延时以及中等的或高的误码率(例如，10-4到10-3)使得使用重新发送是不实际的，特别是对于实时无线视频电话应用项。检错和纠错方法在必须被发送的数据和所需要的存储器/处理能力方面，通常需要大的附加开销。因此，对于低的比特速率应用项，错误掩盖可被认为是用来防止和修复图象传输错误的最好的方法。视频错误掩盖方法典型地可应用于在分组丢失和比特破坏时出现的传输错误。
H.263是对于低比特速率(它通常是指低于64kbps的数据速率)通信的视频编码的ITU-T建议。该建议规定比特流句法和比特流的译码。当前，有两种H.263的版本。版本1包含核心算法和四个可任选的编码模式。H.263版本2是版本1的扩展，提供12个新的可协商的编码模式。
图象按亮度(Y)和两个色差(色度)分量(CB和CR)被编码。色度图象以亮度图象的分辨率的一半沿着两个坐标轴被采样。图象数据是基于逐块的原则被编码的，每个块代表亮度或色度的8×8象素。
每个编码的图象以及相应的编码的比特流被安排在带有四个层的分级结构中，这四层是块层、宏块层、图象段层和图象层。图象段层可以被安排为一个块组(GOB)或一个分片。
块层数据包含均匀地量化的离散余弦变换系数，它们以锯齿形状的次序被扫描、用运行长度编码器进行处理、和以可变长度码被编码。
每个宏块涉及16×16的亮度象素以及空间上相应的8×8的色度分量。换句话说，宏块包含四个8×8亮度块和两个空间上相应的8×8的色差块。每个内部的宏块与包括运动矢量的运动补偿数据有关，运动矢量规定最接近地相似于内部宏块的象素的、相应的区域在参考帧中的位置。内部宏块数据包括对于宏块的象素的编码的预测错误数据。
通常，每个图象被分成多个块组(GOBs)。每个块组(GOB)典型地包括一排宏块。每个GOB的数据包含可任选的GOB标题，后面接着是在GOB内的宏块的数据。
如果使用可任选的分片结构模式，则每个图象被分成片而不是GOB。有关分片包含多个按扫描次序的接连的宏块。每个分片的数据包含分片标题，后面接着是分片的宏块的数据。
图象层数据包含影响整个图象面积和图象数据的译码的参量。编码的参量数据被安排在所谓的图象标题中。
图象和GOB(或分片)标题以同步码来开头。没有其它的码字或码字的合法组合可以形成与同步码相同的比特图案。因此，同步码可被使用于比特流检错和用于发生比特错误后的重新同步。被加到比特流上的同步码越多，则***对于抵抗错误来说就越坚固。
大多数已知的错误掩盖方法是基于空间和时间的内插方案的。空间内插被使用于内部的帧和内部的帧的已编码的区域之间。空间内插是指丢失的区域从空间相邻的区域进行内插。这可以通过使用边界象素的距离加权平均来进行。
使用时间内插的错误掩盖更经常地被使用于低比特速率的视频编码，这是因为帧间的帧的数目通常是相当少的。一个很基本的时间内插方案从先前的帧的同一个位置复制丢失的区域，即，它把丢失的块当作为“未编码的”块处理。在更先进的方案中，通过使用空间上相邻的块的运动矢量的中值或平均值来进行运动补偿。已经提出一些建议：使用边界象素匹配来找出丢失的块的最好的运动矢量。
在低的分辨率和低的比特速率的情况下，在空间相邻的块之间的相关性常常是相当低的。因此，基于空间相邻的象素数据的内插运动矢量可能与原先的数值相差很远。这意味着，单向掩盖方案常常无法重新构建原先的块。而且，如果只有运动矢量被使用于掩盖而不尝试修复预测的错误块的话，则图象会为模糊的，因为大量细节将丢失。实际上，通过使用当前的掩盖方案，错误或不正确地掩盖的块在相当长的时间内是能看到的。
术语编码译码器是指进行编码和译码的能力。控制视频编码译码器中的编码的算法的视频编码参量通常是根据它们被设计用以运行的环境而被预先选择的。这对于在易于错误的信道上的传输是特别有利的。在这样的条件下，编码参量被选择成试图使得传输错误对图象质量的影响最小化。在传输时出现错误的场合下，结果所得到的译码的视频通常产生附加的块、令人烦恼的绿色和粉红色方块、时间的不平稳、和有时是方格状的图案。
在现有的***中，在编码算法中典型地预先设置的两个参量是内部更新的信息量和起始码的频率。在PSTN网络中，视频编码译码器从一个全部帧内的帧开始编码。帧内的图象不用参考其它的图象而被编码，这意味着它们包含对于它们由译码器进行重新构建所需要的所有的信息，为此，它们是用于访问视频序列的基本输入点。因为帧内帧的信息内容很重要，压缩率相对较低，所以一个全帧内的帧需要很大数目的数据比特来规定图象。结果，通过低的带宽信道的全部帧内的帧的传输，即使使用小的缓存来使延时减小到最小，仍会花费很多时间。这通常导致译码器把先前的图象冻结在屏幕上一段时间，以便实际上允许获取以后的图象。因此，作为替换的方法，在接连的图象中，部分图象在帧内模式下被更新(或刷新)，而不是立即更新整个图象。所以，图象被称为是帧内刷新的。典型地，这是在16×16象素的逐个的宏块的基础上发生的。如果宏块被刷新的速率很慢，则图象上的传输错误产物是可以在很长的时间内觉察的，并且只有在错误的宏块被内部刷新时才消失。在易于发生错误的网络中，因此必须提高每个帧中的内部刷新宏块的数目，或全部帧内的帧被发送的速率。
被使用来减小传输错误的影响的另一个方法是减小受影响的面积的大小。因为编码的比特流包含可变长度编码(VLC)码字，在大多数情况下在比特流中的错误会使得译码器失去与VLC码字的同步。译码器只有在接收到起始码以后才继续正确地译码。典型地，起始码在编码的图象帧的开始处被找到；然而，大多数视频编码标准也允许起始码被***在图象的任何地方，例如在宏块的每行的开始处，或甚至更经常地被***。因此，为了减小受传输错误影响的面积的大小，可以把起始码引入到图象中最经常的位置。这些起始码的密度是在由于增加的起始码数目造成的降低的图象质量与受传输错误影响的面积的大小之间的折衷。在易于发生错误的环境下，牺牲某些视觉图象质量以便减小由传输错误影响的图象面积是有益的。
当前的总的方案是把内部刷新信息和起始码参量预先编程到用于根据预期的传输错误水平来控制视频编码器的算法中。内部刷新的数据和起始码对于缓和可预测的传输错误的影响是相当有效的，但这些方法具有一定的缺点。在原理上，这些缺点是由于：实际的传输错误不总是可预测的，以及在预测的传输错误与实际的传输错误之间有很大的容限的情形下，内部的刷新与起始码参量将与对于这些编码参量所需要的水平不一致。例如，如果传输错误小于预期的，则内部刷新数据的水平或起始码重复的水平将超过所需要的，以及这种超过因此将是冗余的。另一方面，如果传输错误比预期的坏得多，则内部刷新和起始码信息将是不够的，以及在译码的图象中在时间和空间上散布得太宽，结果导致很差的图象质量。
在已知的H.324多媒体终端中，有可能通过H.245控制协议从接收译码器发送各种命令到发送编码器。一个命令是VideoFastUpdatePicture(视频快速更新图象)，译码器请求编码器尽早进入快速更新模式以及更新整个图象。协议并不规定编码器如何实行更新。协议也规定VideoFastUpdateGOB(视频快速更新GOB)命令，它请求编码器尽早进入快速更新模式以及更新整个GOB；以及还有VideoFastUpdateMB(视频快速更新MB)命令，它请求编码器尽早进入快速更新模式以及更新整个宏块。因此，译码器可识别要被更新的图象、GOB、或宏块。
在基本实施方案中，遵从H.324的多媒体终端每次将发送VideoFastUpdatePicture(视频快速更新图象)命令，以及使得错误能被检测。同样地，对于每个被破坏的GOB，发送VideoFastUpdateGOB(视频快速更新GOB)命令。
按照H.245，请求的终端需要来自编码器的、对于每个发送的消息的应答，以及如果应答未被及时发送，则译码器将再次发送消息。这意味着，由于重复的命令而使得控制信道变成为非常地堵塞。
在H.263附录1中，引入所谓的错误跟踪的反馈机制，其中H.245协议被使用来发送关于一帧中的哪些宏块在接收时已被破坏的指示。视频编码器跟踪在过去的Z帧的中预测的错误。根据H.245指示和预测错误计数器，视频编码器可以判定它将在内部模式时更新哪些宏块。
第三种已知的反馈视频传输***在H.263附录N中被规定。这被称为参考图象选择模式。它规定视频译码器用以指示哪些图象段(GOB或分片)被破坏的方式，并且根据这个信息，视频译码器可以通过使用较老的帧而不是最近的帧来编码破坏的部分。译码器对于每个破坏的图象段发送否定的应答(NACK)。因此如果这个图象被破坏，则对于每个分段的NACK都将被破坏。替换地，译码器可以发送肯定的反馈，即，哪些分段未破坏地被接收，以及编码器只能将那些未破坏的区域用于预测。
按照本发明的第一方面，提供了视频译码方法，包括：由视频译码器接收已编码的视频数据，译码所述视频数据以形成代表视频序列的接连的图象的译码的视频数据，确定译码的视频数据是否包含错误，以及当确定存在错误时，发送一个消息给发送视频编码器，以便请求至少更新包含该错误的视频数据的那个部分，其中所述更新消息只在自从对于视频数据的一个相应部分的以前的更新消息被发送以来经历了预定的时间间隔时，才被发送。
更新消息可以请求更新视频序列的整个图象。另外、或替换地，更新消息可以请求更新视频序列的图象的一个分段。
优选地，所述预定时间间隔正比于视频译码器与视频编码器之间的往返路径延时。有利地，该预定的时间间隔是往返路径延时的两倍。
按照本发明的第二方面，确定视频是否包含错误的步骤包括：确定当与视频图象的一个相应的区域的先前的图象数据相比较时的视频数据中的改变量。
按照本发明的第三方面，确定视频是否包含错误的步骤包括：确定在先前的图象中的运动量超过预定的门限值。
按照本发明的第四方面，提供了视频译码的方法，包括：由视频译码器接收编码的视频数据，译码所述视频数据以形成代表视频序列的接连的图象的译码的视频数据，确定译码的视频数据是否包含错误，以及当确定存在错误时，发送一个消息给发送视频编码器，以便请求至少更新包含该错误的视频数据的那个部分，其中所述确定译码的视频是否包含错误的步骤包括：确定对于第一图象的一个区域当与先前的图象的一个相应的区域的视频数据相比较时的视频数据中的改变量，如果该改变量超过预定的门限值，则发送更新消息。
按照本发明的再一个方面，提供了视频译码的方法，包括：由视频译码器接收编码的视频数据，译码所述视频数据以形成代表视频序列的接连的图象的译码的视频数据，确定译码的视频数据是否包含错误，以及如果是的话，则掩盖包含错误的图象的区域，以及当确定存在错误时产生一个消息给发送视频编码器，以便请求至少更新包含该错误的视频数据的那个部分，其中如果被掩盖的图象的区域的数目小于预定的门限值，则发送更新消息。
按照本发明的再一个方面，提供了视频译码方法，包括：由视频译码器接收编码的视频数据，译码所述视频数据以形成代表视频序列的接连的图象的译码的视频数据，确定译码的视频数据是否包含错误，以及如果是的话，则掩盖包含该错误的图象的区域，以及当确定存在错误以使得图象不能被译码时，把图象的所有的部分标记为被掩盖的，以及译码下一个图象。
本发明也涉及编码视频信号的方法，包括：接收要被编码的视频信号；编码视频信号以形成编码的视频数据；以及发送编码的视频数据到远端视频译码器，其中所述编码对于从远端视频译码器接收的更新的控制信号作出响应，以渐进的方式在多个图象上更新所请求的编码视频数据。
优选地，更新是在逐个宏块的基础上实行的，更新的宏块是在视频信号的顺序的图象上被更新的。
按照本发明的再一个方面，视频译码设备包括：用于接收编码的视频数据的装置，用于译码所述视频数据以形成译码的视频数据的装置；用于确定译码的视频数据是否包含错误的装置；以及一种这样的发送装置，它用于发送一个消息给发送视频编码器，以便请求至少更新包含所述错误的视频数据的那个部分，其中设备被安排成只在自从对于视频数据的一个相应部分的以前的更新消息被发送以来已经经历了预定的时间间隔，才发送更新消息。
优选地，所述用于确定译码的视频数据是否包含错误的装置包括一种这样的装置，该装置用于确定当与视频图象的相应的区域的先前的图象数据相比较时的视频数据中的改变量，如果该改变量超过预定的门限值，则发送更新消息。
有利地，如果在先前的图象中的运动量超过预定的门限值，则产生更新消息。
按照本发明的再一个方面，视频信号编码设备包括：用于接收要被编码的视频信号的装置；用于编码视频信号以形成编码的视频数据的装置；以及用于发送编码的视频数据到远端视频译码器的装置，其中编码装置对于从远端视频译码器接收的更新的控制信号作出响应，以渐进的方式在多个图象上更新所请求的编码视频数据。
优选地，更新是在逐个宏块的基础上实行的，更新的宏块是在视频信号的顺序图象上被更新的。
本发明也扩展到移动无线设备。
现在将参照附图，仅仅通过例子描述本发明，其中：
图1显示多媒体移动通信***；
图2显示多媒体终端的多媒体部件的例子；
图3显示视频编码译码器的例子；
图4是显示按照本发明的第一实施例的视频译码器的运行的流程图；
图5是显示按照本发明的视频译码器在图象级别上的运行的流程图；
图6是显示按照本发明的视频译码器在GOB级别上的运行的流程图；
图7是显示由按照本发明的视频译码器实行的宏块译码算法的流程图；
图8是显示按照本发明的视频译码器的另一个实施例在图象级别上的运行的流程图；
图9是显示按照本发明的视频译码器在图象级别上的运行的流程图；以及
图10是显示按照本发明的视频译码器在GOB级别上的运行的流程图。
下面参照H.324建议进一步描述本发明。然而，并不打算把本发明的应用限制于这一个范围以及它的有关的协议。
图1显示典型的多媒体移动通信***。第一多媒体移动终端1通过到移动通信网4的无线链路3与第二多媒体移动终端2通信。在两个终端1，2之间发送控制数据以及多媒体数据。
图2显示遵从H.324的终端1的典型的多媒体部件。该终端包括遵从H.263的视频编码译码器10、遵从G.723的音频编码译码器20、遵从T.120的数据协议管理器30、遵从H.245的控制管理器40、遵从H.233的复接器/分接器50、和调制解调器60(如果需要的话)。视频编码译码器10接收来自视频捕获装置(未示出，例如摄影机)的信号以便用于编码以及接收来自远端终端2的信号以便由终端1译码和在显示器70上显示。音频编码译码器20从终端1的话筒(未示出)接收信号以便用于编码，以及接收来自远端终端2的信号以便译码和由终端1的扬声器(未示出)进行重现。
控制管理器40控制视频编码译码器10、音频编码译码器20和数据协议管理器30的运行。然而，由于本发明关心视频编码译码器10的运行，所以对音频编码译码器20和协议管理器30不作进一步讨论。
图3显示按照本发明的视频编码译码器10的例子。该视频编码译码器包括编码器部件100和译码器部件200。编码器部件100包括输入端101，用于接收来自终端1的摄影机或视频源(未示出)的视频信号。开关102在编码的帧内-模式与帧间-模式之间切换该编码器。
在帧内-模式，来自输入端101的视频信号101由DCT变换器103变换成DCT系数。DCT系数然后被传送到量化器104，后者用于量化这些系数。开关102和量化器104被视频编码译码器的编码控制管理器105控制，它也借助于H.245控制管理器40而接收来自接收终端2的反馈控制。
在帧间-模式，交换机102用来从减法器106接受在来自输入端101的信号与被存储在图象存储器107中的先前的图象之间的差值。从减法器106输出的差值数据代表在当前图象与被存储在图象存储器107中的先前的图象之间的预测错误。在图象存储器107中的数据是通过把由量化器输出的数据传送到逆量化器108以及把逆DCT变换109应用到逆量化的数据而产生的。结果所得的数据由加法器110加到图象存储器107的内容中去。运动估值器111可以以惯用的方式从图象存储器107产生运动补偿数据。
视频编码译码器输出已量化的DCT系数112a、量化指数112b(即，所使用的量化的细节)、表示所执行的编码的模式(I或P/B)的帧间/帧内标志112c、表示正在被编码的帧的数目的发送标志112d、以及用于被编码的图象的运动矢量112e。这些参量连同其它多媒体信号被复接器50复接在一起。
视频编码译码器10的译码器部件200包括逆量化器120、逆DCT变换器121、运动补偿器122、图象存储器123和控制器124。控制器124接收由分接器50从编码的多媒体数据流中分接的视频编码译码器控制信号。实际上，编码器的控制器105和译码器的控制器124可以是同一个处理器。
考虑终端1从终端2接收编码的视频数据，现在将首先参照它的译码作用来描述视频编码译码器10的运行。终端1接收来自发送终端2的多媒体信号。分接器50分接多媒体信号，以及把视频数据传送到视频编码译码器10和把H245控制数据传送到H.245控制器40。视频编码译码器的译码器200通过逆量化、逆DCT变换、和运动补偿已编码的视频数据，从而译码所述已编码的视频数据。译码的视频数据然后被输出，用于在接收终端1的显示器70上重现。译码器的控制器124检验接收数据的整体性，如果检测到错误，则它可请求以下面描述的方式更新来自发送终端2的编码器的受破坏的数据。
视频数据中的错误可以在图象级别、GOB级别或宏块级别上出现。错误检验可以在每个级别上实行。
在图象级别上的错误意味着，图象不能被译码以及完全丢失或它被破坏成使得它实际上是丢失的。在图象级别上的错误可以以一个或多个方式被检测。图4显示说明按照本发明的第一实施例的、产生更新消息的方法的流程图。首先(300)，译码器开始译码接收的图象。如果图象的标题被破坏(302)，或被找到的是一个不同的参量(例如，当编码类型是帧内时设置一个内部的标记)，则认为图象被丢失。
替换地，错误可以通过确定图象中所使用的编码的类型而被检测，并且如果编码类型是帧内的以及多于Q个的分段被确定为被破坏的(304)则认为图象被丢失。分段可包括GOB、分片或宏块。例如，在QCIF图象格式中每个图象有9个GOB。所以，可以设置一个准则，如果说图象的大于四个GOB被破坏，认为图象是被丢失的。GOB是否被破坏，可以由CRC确定。
替换地，如果在多于F个的图象上出现错误的时间传播(例如，在设置的时间X内一个MB没有被更新)以及掩盖的区域变成为大于某个门限值而不被更新(306)，则认为图象是被丢失的。为了达到这一点，在译码期间译码器跟踪图象的宏块的状态(例如，掩盖/帧间/帧内)，以及如果大于预定的数目的宏块被标记为掩盖的，则认为图象是被丢失的。
替换地，如果当前的图象N被认为是被丢失的，则控制器124确定(307)在当前的帧(N-1)之前的帧究竟是包含许多运动还是包含许多预测错误。这可以在译码下一个图象(N+1)期间通过收集下一个图象(N+1)的运动矢量和计算对于整个图象而表示的位移而达到。这可以通过计算由运动矢量代表的平均运动或计数与图象有关的运动矢量的数目而完成。如果确定在当前帧后面的帧不包含许多运动或预测错误，则下一个图象被译码(300)。否则，可能需要当前的图象去产生一个可接受的图象，即，下一个图象是帧间编码的，以及必须从先前正确地译码的图象中进行预测。
当找到一个在图象级别上的错误时，控制器124确定(308)自从上一次更新图象以来图象内容是否很大地改变。这可以通过产生当前的帧的和先前成功地译码的图象的色度和/或亮度象素值的直方图以及比较直方图而达到。替换地，可以比较两个图象的梯度总和。对于每个图象，梯度总和代表在x和y方向上相邻的象素亮度值之间的差值的总和。如果当前的图象被认为很大地改变，则控制器124确定(312)自从先前的图象更新被发送以来所经历的时间是否大于一个时间间隔T。如果是的话，则把VideoFastUpdatePicture(视频快速更新图象)消息发送(314)到发送终端2。然后译码器进行译码下一个图象(300)，而不必等待编码器对更新命令的响应。
T正比于在两个通信终端1，2之间的通信路径的来回路程延时，这可由H.245协议管理器40测量。T的典型数值是来回路程延时的两倍。T的数值的确定考虑到在接收译码器与发送译码器之间的来回路程延时和由发送编码器响应更新命令所花费的时间。
所有的步骤302，304，306和307不一定都实行：每个步骤可被单独使用或者可以使用其它的检错方法。
图5是显示本发明的第二实施例的译码器在图象级别上的运行的流程图。首先(400)译码下一个图象N。如果译码器不能译码图象(402)，则图象具有状态“丢失”。当图象标题是不可检索时，译码器将返回这个决定。在这种情形下，译码器控制器124检查接收的和已成功译码的先前的图象(N-m)，以及确定在先前的图象中的运动量(404)。例如，这可以通过计算由与先前成功地译码的图象(N-m)的MB有关的运动矢量代表的总的位移量而达到。如果这个运动小于或等于预定的门限值D，则把“检验下一个图象”标记设置为1(406)和译码下一个图象(N+1)(400)。如果运动大于预定的门限值D，则认为图象被破坏，以及所有的MB被标记为破坏的(408)。这是通过设置图象中所有宏块的状态为“掩盖的”而达到的。控制器124然后确定(410)自从先前的图象更新被发送以来所经历的时间是否大于一个时间间隔T1。如果是的话，则把VideoFastUpdatePicture(视频快速更新图象)消息发送(412)到发送编码器。在任一个情形下，则把“检验下一个图象标记”设置为0(414)和译码下一个图象(400)。
T1正比于在两个通信终端1，2之间的通信路径的来回路程延时，这可由H.245协议管理器40来测量。T1的适当的数值是来回路程延时的两倍。
如果译码器设法成功地译码图象标题(402)，则图象的GOB被译码(500)(见图6)。按照H.263，是否包括GOB标题是可任选的。如果它被忽略，则译码器不执行GOB级别上的任何完整性检验和GOB的MB的标题和数据立即被译码。
如图7所示，当图象的每个GOB被译码时，GOB的每个MB的状态被确定(602)。如果宏块被破坏或丢失，则通过使用已知的错误掩盖技术来掩盖MB，以及MB的状态被设置为“掩盖的”(604)。对于其它的MB，译码器从宏块标题确定MB的类型。对于帧内编码的MB，状态被设置为“更新”(606)。控制器124保存对于每个GOB和每个图象的MB的状态的记录(608)。对于帧间编码的MB，状态是从被译码的先前的帧的相应的MB那里复制的。
回到图6，一旦GOB的所有的MB已被译码(只要译码器能够)，在GOB中被译码的掩盖的MB的数目可通过检查MB状态记录(608/502)而被确定。如果掩盖的MB的数目小于预定的门限值M(503)，则译码下一个GOB(501)。然而，如果掩盖的MB的数目大于预定的门限值M(503)，则控制器124查看(504)：先前是否译码器已命令进行GOB更新。如果先前已发送更新命令，则控制器124确定(505)：自从先前的GOB更新被发送以来所经历的时间是否大于一个时间间隔T2。如果是的话，则发送VideoFastUpdateGOB(视频快速更新GOB)消息(506)。如果不是的话，则下一个GOB被译码(501)。T2也正比于在两个通信终端1，2之间的通信路径的来回路程延时，这可由H.245协议管理器40来测量。T2的典型的数值是来回路程延时的两倍。
如果先前没有发送GOB更新(504)，则控制器检验GOB是否被破坏(507)。这可通过CRC、误码率或检查GOB标题(如果存在的话)而确定。如果GOB被认为没有破坏，则译码下一个GOB(501)。如果GOB被认为是破坏的，则检查相邻的GOB(例如，先前的GOB)(508)，以便查看它们是否包括许多帧内编码的MB。如果是的话，则当前的破坏的GOB多半也包括许多帧内编码的MB。控制器124然后确定(505)：自从先前的GOB更新被发送以来所经历的时间是否大于一个时间间隔T2。如果是的话，则发送VideoFastUpdateGOB(视频快速更新GOB)消息(506)。如果不是的话，则下一个GOB被译码(501)。如果确定相邻的GOB不包括许多帧内编码的MB，则当前的GOB中的比特数目被计数(509)，以及与门限值B进行比较。典型地，QCIF GOB包含大约200个比特，以及B的典型值可以是500比特。如果GOB中的比特数目超过门限值B，则控制器124确定(505)：自从先前的GOB更新被发送以来所经历的时间是否大于一个时间间隔T2。如果是的话，则发送VideoFastUpdateGOB(视频快速更新GOB)(506)。如果不是的话，则下一个GOB被译码(501)。这个处理过程继续进行，直至图象的最后一个GOB的最后一个MB被译码(510)为止，在这时，译码处理过程继续进行图5的步骤420。
因此，若干个GOB更新命令可以针对单个图象被发送。对于图象的每个GOB保持一个独立的定时器，以及GOB更新命令只是在自从对于图象的那个GOB的GOB更新命令被发送以来已经历大于一个时间间隔T2后才被发送。例如，在译码图象N后，比如说可以发送对于GOB1和5的更新命令。在译码图象N+1时，即使发现GOB 1和5是破坏的，对于这些GOB的GOB更新命令并不及时被发送，因为自从对于这些GOB的更新命令先前被发送以来时间间隔T2还没有消逝。
一旦已译码图象的所有的GOB(500)，掩盖的MB的总的数目从MB状态记录(608)中被确定(420)。如果掩盖的MB的数目被确定(422)为大于门限值C，则控制器124确定(410)：自从先前的图象更新被发送以来所经历的时间是否大于一个时间间隔T1。如果是的话，则发送VideoFastUpdatePicture(视频快速更新图象)消息(412)到发送编码器，以及译码下一个图象(400)。在任一个情形下，把“检验下一个图象标记”设置为0(414)。
如果图象中掩盖的MB的数目被确定(422)为小于C而大于零，则控制器124确定(424)当前的图象是否很大地改变。这可以通过比较当前的帧与成功地译码的先前的帧的直方图和/或比较两个帧的梯度和值而以传统的方式达到。如果当前的图象被认为很大地改变，则控制器124确定(410)：自从先前的图象更新被发送以来所经历的时间是否大于一个时间间隔T1。如果是的话，则发送VideoFastUpdatePicture(视频快速更新图象)消息(412)到发送终端2。如果当前的图象被认为没有很大地改变，则把“检验下一个图象标记”设置为0(414)以及译码下一个图象(400)。
如果图象中掩盖的MB的数目被确定(422)为零，则检验“检验下一个图象”标记(426)。如果标记没有被设置(即＝0)，则译码下一个图象(400)。然而，如果标记被设置(即＝1)，则这意味着先前的图象(N-1)被丢失。因此，使当前的图象(N)与先前的成功地译码的图象(N-n)进行比较(其中，n是大于1的整数)，以及图象内容的改变如前面描述地被确定(424)。
按照上述的实施例，GOB更新命令针对一个GOB被发送，除非对于所考虑的GOB的更新命令已经在时间T2内被发送了。同样地，图象更新命令针对每个图象被发送，除非这样的更新命令已经在时间T1内被发送了。因此，有可能发送对于同一个图象的GOB更新命令和图象更新命令。按照本发明的另一个实施例，更新命令被产生，但在整个图象被译码以前不被发送(只要这是可能的)。如果确定对于正在被译码的当前的图象发送图象更新命令，则不发送对于同一个图象的任何GOB更新命令。因此，在步骤506，GOB更新命令被产生但不被发送，如图所示，在步骤428，控制器124确定：对于正在被译码的当前图象是否已发送图象更新命令。如果是的话，对于当前图象的GOB更新命令被忽略。如果不是的话，对于当前图象的GOB更新命令被发送。然后实行下一个图象的译码(400)。
现在将描述发送终端2的视频编码译码器的编码器部分的运行。第一图象作为内部的帧被编码，而以后的帧作为帧间的帧被编码，直至情景改变造成内部的帧被编码、或强迫的更新由编码器的预定的参量设置而被发起、或更新消息从接收终端1被接收为止。
当发送终端2接收更新消息时，编码器部分通过更新从接收终端1那里请求的消息中的图象部分而进行应答。因此，如果接收终端1已发送VideoFastUpdatePicture(视频快速更新图象)命令，则发送终端2的编码器更新整个图象。如果接收终端1已发送VideoFastUpdateGOB(视频快速更新GOB)命令，则发送终端2的编码器更新整个GOB。
图9是显示按照本发明的编码器如何对于图象更新VideoFastUpdatePicture(视频快速更新图象)命令作出反应的流程图。发送终端2借助于视频编码译码器的控制管理器40与控制器105监视(800)来自接收终端1的编码译码器反馈消息(例如，通过H.245控制信道发送的)。当更新命令被编码器100接收(802)时，控制器105检验(804)这是否在发送开始的S秒(例如5秒)内。如果是的话，控制器指令(806)编码器按帧内编码的方式更新整个图象。这使得开关102关断减法器106，以及使得编码器100按内部的帧来编码来自输入端101的进入的视频的整个的下一个图象。
如果当图象更新命令被接收时已经经历了大于S秒的时间，则控制器105确定(808)：在预定的时间间隔I内发送终端2是否已接收到大于R个更新请求。如果是的话，控制器把开关102切换到帧内模式以及整个图象以帧内编码的格式被更新(806)。否则，控制器使得能够逐个宏块地启动开关102的帧内模式状态(810)，以使得所有的宏块按帧内格式逐个宏块地在接连的图象上被编码。如果编码器被这样地预先编程、以使得缺省更新处理过程(在头S秒以后)是逐个宏块地更新、以及接收译码器不接受接连的宏块更新，则接收译码器将发送多个VideoFastUpdatePicture(视频快速更新图象)命令到发送编码器。所以，操作步骤808确保编码器将最终按帧内格式更新整个图象。R和I的适当的数值分别是10和5秒。
图10是显示发送终端2的编码器100如何对于VideoFastUpdateGOB(视频快速更新GOB)命令作出反应的流程图。从接收终端1发送的反馈消息(例如，通过H.245控制信道)被发送终端2的编码器部分100的控制管理器40与控制器105监视(900)。当VideoFastUpdateGOB(视频快速更新GOB)命令被编码器100接收(902)时，控制器105识别(904)已改变得最大的那些所请求的GOB的宏块。已改变得最大的那些所请求的GOB的MB首先通过帧内编码被更新。这些MB可以通过逐个象素地考虑要被编码的下一个图象的GOB的MB的象素的亮度值而被识别。下一个图象与先前的图象的象素之间的差值的平方和被形成。编码器按帧内模式首先编码具有最大的差值的那些MB。GOB的其它MB在以下的图象中相应的GOB中的相应的MB的编码期间被更新。
编码器100的控制器也跟踪被破坏的MB的时间传播。因此当VideoFastUpdateGOB(视频快速更新GOB)命令被接收时，编码器也可更新根据破坏的GOB(译码器针对它已发送了VideoFastUpdateGOB(视频快速更新GOB)命令)预测的那些MB。

Claims (18)

1.一种视频译码方法，包括
由视频译码器接收已编码的视频数据，
译码所述视频数据以形成代表视频序列的接连的图象的译码的视频数据，
确定译码的视频数据是否包含错误，以及当确定存在错误时从所述视频译码器发送更新请求消息给发送视频编码器，以便请求至少更新包含该错误的视频数据的相应部分，其特征在于：如果对于该视频数据的一个相应部分的以前的更新请求消息从所述视频译码器发送到所述发送视频编码器后已经经历了预定的时间间隔，则从所述视频译码器发送进一步的更新请求消息给所述视频编码器，由此限制更新消息的不必要的重复传送量。
2.按照权利要求1的方法，其中更新消息请求更新视频序列的整个图象。
3.按照权利要求1的方法，其中更新消息请求更新视频序列的图象的分段。
4.按照权利要求1，2或3的方法，其中预定的时间间隔正比于在视频译码器与视频编码器之间的往返路径延时。
5.按照权利要求1，2或3的方法，其中确定译码的视频数据是否包含错误的步骤包括：确定当与视频图象的一个相应的区域的先前的图象数据相比较时的译码的视频数据中的改变量，如果改变量超过预定的门限值，则产生更新消息。
6.按照权利要求1，2或3的视频译码方法，其中如果先前的图象中的运动量超过预定的门限值，则产生更新消息。
7.按照权利要求1的视频译码方法，其中所述确定译码的视频是否包含错误的步骤包括：对于第一图象的区域，确定该视频数据相对于以前图象的相应区域的视频数据的改变量，当该改变量超过预定的门限值时，则确定存在错误，其中所述更新消息与包含错误的第一图象的分段相关。
8.按照权利要求1的视频译码方法，其中当确定出译码的视频数据中的错误时，掩盖该包含错误的图象区域，
当确定存在错误时，生成消息并将其提供到发送视频编码器，以请求至少更新包含错误的视频数据的那部分，其中如果被掩盖的图象区域的数目小于预定门限值，则发送更新消息；如果被掩盖的图象区域的数目超过预定门限值，发送更新整个图象的请求。
9.按照权利要求8的视频译码方法，当确定存在错误从而使得图象不能被译码时，则将图象的所有部分标记为被掩盖，并译码下一图象。
10.一种编码视频信号的方法，包括
接收要被编码的视频信号；
编码视频信号以形成代表视频序列的接连的图象的编码的视频数据；以及
发送编码的视频数据到远端视频译码器，其中所述编码过程对于从远端视频译码器接收的更新请求消息作出响应，以更新视频数据的被请求的错误的部分，其特征在于：如果对于被检测出有错误的编码视频数据的一个相应部分的以前的更新请求消息从所述远端视频译码器发送后已经经历了预定的时间间隔，则从所述视频译码器发送进一步的更新请求消息，由此限制更新消息的不必要的重复传送量。
11.按照权利要求10的编码视频信号的方法，其中所述更新过程是在逐个宏块的基础上实行的，更新的宏块在视频信号的顺序的图象上被更新。
12.一种视频译码设备(200)，包括
用于接收编码的视频数据的装置(50，60)；
用于译码所述视频数据以形成代表视频序列的接连的图象的译码的视频数据的装置(120，121，123，124)，用于确定译码的视频数据是否包含错误的装置(124)，和用于发送更新请求消息给发送视频编码器以请求至少更新包含错误的视频数据的相应部分的装置(124)，其特征在于：如果对于视频数据的一个相应部分从所述视频译码器发送到所述发送编码器后已经经历了预定的时间间隔，则从所述视频译码器发送进一步的更新请求消息，由此限制更新消息的不必要的复重传送量。
13.按照权利要求12的设备，其中用于确定译码的视频数据是否包含错误的装置(124)包括：用于确定所述译码的视频数据相对于视频图象的相应区域的先前图象数据的改变量的装置，如果所述改变量超过预定的门限值，则发送更新消息。
14.按照权利要求12或13的设备，其中如果在先前的图象中的运动量超过预定的门限值，则产生更新消息。
15.视频信号编码设备(100)，包括
用于接收要被编码的视频信号的装置(101)；
用于编码视频信号以形成代表视频序列的接连的图象的编码的视频数据的装置(102，103，104，108，109，110，111)；以及
用于发送编码的视频数据到远端视频译码器(200)的装置(60)，
其中该编码装置(102，103，104，108，109，110，111)对于从远端视频译码器(200)接收的更新请求消息作出响应以更新视频数据的被请求的有错误的部分，其特征在于：如果对于被检测出有错误的编码视频数据的一个相应部分的以前更新请求消息从所述远端视频译码器被发送后已经经历了预定的时间间隔，则从所述视频译码器发送进一步的更新请求消息，由此限制更新消息的不必要的重复传送量。
16.按照权利要求15的设备，其中更新是在逐个宏块的基础上实行的，更新的宏块在视频信号的顺序图象上被更新。
17.一种移动无线设备，包括视频译码设备，其中所述视频译码设备包括：
用于接收编码的视频数据的装置(50，60)；
用于译码所述视频数据以形成代表视频序列的接连的图象的译码的视频数据的装置(120，121，123，124)，用于确定译码的视频数据是否包含错误的装置(124)，和用于发送更新请求消息给发送视频编码器以请求至少更新包含错误的视频数据的相应部分的装置(124)，其特征在于：如果对于视频数据的一个相应部分从所述视频译码器发送到所述发送编码器后已经经历了预定的时间间隔，则从所述视频译码器发送进一步的更新请求消息，由此限制更新消息的不必要的复重传送量。
18.一种移动无线设备，包括视频信号编码设备，其中该视频信号编码设备包括：
用于接收要被编码的视频信号的装置(101)；
用于编码视频信号以形成代表视频序列的接连的图象的编码的视频数据的装置(102，103，104，108，109，110，111)；以及
用于发送编码的视频数据到远端视频译码器(200)的装置(60)，
其中该编码装置(102，103，104，108，109，110，111)对于从远端视频译码器(200)接收的更新请求消息作出响应以更新视频数据的被请求的有错误的部分，其特征在于：如果对于被检测出有错误的编码视频数据的一个相应部分的以前更新请求消息从所述远端视频译码器被发送后已经经历了预定的时间间隔，则从所述视频译码器发送进一步的更新请求消息，由此限制更新消息的不必要的重复传送量。
CN00803932.1A 1999-02-18 2000-02-16 一种视频编码和译码的方法及设备 Expired - Lifetime CN1192635C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9903676.6 1999-02-18
GB9903676A GB2347038A (en) 1999-02-18 1999-02-18 A video codec using re-transmission

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN200510005721.2A Division CN1642288A (zh) 1999-02-18 2000-02-16 一种视频编码和译码的方法及设备

Publications (2)

Publication Number Publication Date
CN1340275A CN1340275A (zh) 2002-03-13
CN1192635C true CN1192635C (zh) 2005-03-09

Family

ID=10847994

Family Applications (3)

Application Number Title Priority Date Filing Date
CN00803932.1A Expired - Lifetime CN1192635C (zh) 1999-02-18 2000-02-16 一种视频编码和译码的方法及设备
CN200510005721.2A Pending CN1642288A (zh) 1999-02-18 2000-02-16 一种视频编码和译码的方法及设备
CN200610100586.4A Pending CN1897697A (zh) 1999-02-18 2000-02-16 一种视频编码和译码的方法及设备

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN200510005721.2A Pending CN1642288A (zh) 1999-02-18 2000-02-16 一种视频编码和译码的方法及设备
CN200610100586.4A Pending CN1897697A (zh) 1999-02-18 2000-02-16 一种视频编码和译码的方法及设备

Country Status (11)

Country Link
US (1) US6611561B1 (zh)
EP (2) EP1157562B1 (zh)
JP (1) JP4603695B2 (zh)
CN (3) CN1192635C (zh)
AT (1) ATE331391T1 (zh)
AU (1) AU2805600A (zh)
DE (1) DE60028942T2 (zh)
ES (1) ES2267498T3 (zh)
GB (1) GB2347038A (zh)
PT (1) PT1157562E (zh)
WO (1) WO2000049810A1 (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI113124B (fi) 1999-04-29 2004-02-27 Nokia Corp Tiedonsiirto
JP3483806B2 (ja) * 1999-07-28 2004-01-06 松下電器産業株式会社 動画像信号の符号化装置及び符号化方法
FR2809917B1 (fr) * 2000-05-30 2002-08-30 Cit Alcatel Codage d'image par segments avec prediction du mouvement
GB2366464A (en) * 2000-08-14 2002-03-06 Nokia Mobile Phones Ltd Video coding using intra and inter coding on the same data
KR100396892B1 (ko) * 2000-10-05 2003-09-03 삼성전자주식회사 비디오 ｍｐ3 시스템, 축소 비디오데이터 생성장치와생성방법 및 축소 비디오데이터 복원장치 및 복원방법
JP2002191048A (ja) * 2000-12-22 2002-07-05 Ando Electric Co Ltd 動画符号通信評価方法及び動画符号通信評価装置
US7133455B2 (en) * 2000-12-29 2006-11-07 Intel Corporation Providing error resilience and concealment for video data
US6993075B2 (en) * 2001-03-05 2006-01-31 Intervideo, Inc. Systems and methods for reducing error propagation in a video data stream
WO2003019939A1 (en) * 2001-08-23 2003-03-06 Polycom, Inc. System and method for video error concealment
FR2829635A1 (fr) * 2001-09-07 2003-03-14 Cit Alcatel Procede de compression d'images d'animations
US7149248B2 (en) * 2001-09-12 2006-12-12 Broadcom Corporation Command packet system and method supporting improved trick mode performance in video decoding systems
US7020203B1 (en) * 2001-12-21 2006-03-28 Polycom, Inc. Dynamic intra-coded macroblock refresh interval for video error concealment
AU2003215752A1 (en) * 2002-03-27 2003-10-13 British Telecommunications Public Limited Company Video coding and transmission
CN102291585A (zh) * 2002-07-15 2011-12-21 诺基亚有限公司 用于视频序列中错误隐藏的方法
US7260269B2 (en) * 2002-08-28 2007-08-21 Seiko Epson Corporation Image recovery using thresholding and direct linear solvers
KR100548316B1 (ko) * 2002-11-08 2006-02-02 엘지전자 주식회사 동영상 에러 보정 방법 및 장치
US9192859B2 (en) * 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US20110181686A1 (en) * 2003-03-03 2011-07-28 Apple Inc. Flow control
US7827458B1 (en) * 2003-03-03 2010-11-02 Apple Inc. Packet loss error recovery
US20040252761A1 (en) * 2003-06-16 2004-12-16 Dilithium Networks Pty Limited (An Australian Corporation) Method and apparatus for handling video communication errors
US7796499B2 (en) 2003-12-05 2010-09-14 Telefonaktiebolaget L M Ericsson (Publ) Method of and system for video fast update
CN100562106C (zh) * 2004-01-23 2009-11-18 日本电气株式会社 运动图像通信装置、运动图像通信***及运动图像通信方法
JP2006060813A (ja) * 2004-08-20 2006-03-02 Polycom Inc ビデオデコーダにおける誤り隠蔽
KR100678050B1 (ko) 2004-10-27 2007-02-02 삼성전자주식회사 이동 통신 시스템에서 영상 데이터를 송수신하기 위한장치 및 방법
CN100461859C (zh) * 2004-11-12 2009-02-11 乐金电子（昆山）电脑有限公司 移动终端客户端及识别并还原解码器错误运行的方法
JP2008529346A (ja) * 2005-01-24 2008-07-31 トムソン ライセンシング Ｃｒｃパリティコードを利用したビデオエラー検出技術
TW200633539A (en) * 2005-03-09 2006-09-16 Pixart Imaging Inc Estimation method of motion vector based on distance weighted searching sequence
US9237347B2 (en) * 2005-03-21 2016-01-12 The Regents Of The University Of California Systems and methods for video compression for low bit rate and low latency video communications
CN100459717C (zh) * 2005-04-20 2009-02-04 华为技术有限公司 基于h.264的压缩视频传输误码消除方法
US9661376B2 (en) * 2005-07-13 2017-05-23 Polycom, Inc. Video error concealment method
US8229983B2 (en) * 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
US8670437B2 (en) * 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
US7827467B2 (en) * 2006-01-04 2010-11-02 Nokia Corporation Method for checking of video encoder and decoder state integrity
US8861585B2 (en) 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
US8325822B2 (en) 2006-01-20 2012-12-04 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment
US20070189383A1 (en) * 2006-02-15 2007-08-16 Samsung Electronics Co., Ltd. Method and system for appending redundancy to uncompressed video for transmission over wireless communication channels
US8699810B2 (en) 2006-06-26 2014-04-15 Qualcomm Incorporated Efficient fixed-point approximations of forward and inverse discrete cosine transforms
US8385424B2 (en) 2006-06-26 2013-02-26 Qualcomm Incorporated Reduction of errors during computation of inverse discrete cosine transform
US8300698B2 (en) 2006-10-23 2012-10-30 Qualcomm Incorporated Signalling of maximum dynamic range of inverse discrete cosine transform
UA93118C2 (ru) * 2006-11-14 2011-01-10 Квелкомм Инкорпорейтед Системы и способы для переключения каналов
EP2098077A2 (en) * 2006-11-15 2009-09-09 QUALCOMM Incorporated Systems and methods for applications using channel switch frames
CN101291434A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 多视编解码方法及装置
FR2930387B1 (fr) * 2008-04-17 2010-09-24 Canon Kk Procede de traitement d'un flux de donnees codes
KR100949917B1 (ko) * 2008-05-28 2010-03-30 한국산업기술대학교산학협력단 적응적 인트라 예측을 통한 고속 부호화 방법 및 시스템
US20090303309A1 (en) * 2008-06-04 2009-12-10 Pantech Co., Ltd. Mobile terminal and method for transmitting video data in video telephony system
US8780986B2 (en) * 2008-06-06 2014-07-15 Apple Inc. Refresh pixel group selection and coding adjustment
CN101742437B (zh) * 2009-12-11 2013-08-07 中兴通讯股份有限公司 移动视频的通信方法及服务端、服务器
US9246830B2 (en) * 2011-10-05 2016-01-26 Futurewei Technologies, Inc. Method and apparatus for multimedia queue management
US8904024B2 (en) * 2012-08-03 2014-12-02 Ittiam Systems (P) Ltd System and method for low delay fast update for video streaming
US9407923B2 (en) 2013-05-20 2016-08-02 Gamefly Israel Ltd. Overconing lost IP packets in streaming video in IP networks
US10778247B2 (en) 2015-12-15 2020-09-15 Seiko Epson Corporation Circuit device, electro-optical device, electronic apparatus, mobile body, and error detection method
JP6840994B2 (ja) * 2016-10-26 2021-03-10 セイコーエプソン株式会社 回路装置、電気光学装置、電子機器、移動体及びエラー検出方法
JP6720517B2 (ja) * 2015-12-15 2020-07-08 セイコーエプソン株式会社 回路装置、電気光学装置、電子機器、移動体
JP6897059B2 (ja) * 2016-10-26 2021-06-30 セイコーエプソン株式会社 回路装置、電気光学装置、電子機器及び移動体
CN108574684B (zh) * 2017-03-14 2020-08-28 大唐移动通信设备有限公司 一种解压缩的方法和装置
US10291936B2 (en) 2017-08-15 2019-05-14 Electronic Arts Inc. Overcoming lost or corrupted slices in video streaming
CN115079673B (zh) * 2022-07-05 2024-06-11 重庆赛力斯凤凰智创科技有限公司 一种故障上传方法、装置、设备及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69122634T2 (de) * 1990-02-06 1997-05-15 Alcatel Italia System, Packetaufbau und Einrichtung zur Verarbeitung der Ausgangsinformation eines Signalkodierers
JPH04170184A (ja) * 1990-10-12 1992-06-17 Mitsubishi Electric Corp 画像伝送装置
US5455629A (en) * 1991-02-27 1995-10-03 Rca Thomson Licensing Corporation Apparatus for concealing errors in a digital video processing system
JPH06237451A (ja) * 1993-02-10 1994-08-23 Hitachi Ltd 動画通信方式および端末装置
US5737022A (en) * 1993-02-26 1998-04-07 Kabushiki Kaisha Toshiba Motion picture error concealment using simplified motion compensation
US5745169A (en) * 1993-07-19 1998-04-28 British Telecommunications Public Limited Company Detecting errors in video images
JP3844490B2 (ja) * 1993-07-19 2006-11-15 ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー ビデオ画像におけるエラー検出検出方法および検出装置
JPH07322248A (ja) * 1994-05-30 1995-12-08 Matsushita Electric Ind Co Ltd 動画像データの伝送方法および伝送装置
US5550847A (en) * 1994-10-11 1996-08-27 Motorola, Inc. Device and method of signal loss recovery for realtime and/or interactive communications
JPH0993592A (ja) * 1995-07-13 1997-04-04 Matsushita Electric Ind Co Ltd 画像符号化装置
JP3630474B2 (ja) * 1995-07-14 2005-03-16 沖電気工業株式会社 動画像伝送システム及び動画像伝送装置
US5768533A (en) * 1995-09-01 1998-06-16 National Semiconductor Corporation Video coding using segmented frames and retransmission to overcome channel errors
US5910827A (en) * 1997-02-26 1999-06-08 Kwan; Katherine W. Video signal decoding arrangement and method for improved error concealment
JPH10247901A (ja) * 1997-03-04 1998-09-14 Matsushita Electric Ind Co Ltd 再送制御方法
US6091775A (en) * 1997-04-17 2000-07-18 Sharp Kabushiki Kaisha Video-coding device and video-decoding device
JP3905969B2 (ja) * 1998-01-30 2007-04-18 株式会社東芝 動画像符号化装置および動画像符号化方法
US6104757A (en) * 1998-05-15 2000-08-15 North Carolina State University System and method of error control for interactive low-bit rate video transmission
US6304295B1 (en) * 1998-09-18 2001-10-16 Sarnoff Corporation Region-based refresh strategy for video compression

Also Published As

Publication number Publication date
CN1642288A (zh) 2005-07-20
EP1157562A1 (en) 2001-11-28
US6611561B1 (en) 2003-08-26
JP4603695B2 (ja) 2010-12-22
PT1157562E (pt) 2006-11-30
JP2002537736A (ja) 2002-11-05
ATE331391T1 (de) 2006-07-15
CN1897697A (zh) 2007-01-17
CN1340275A (zh) 2002-03-13
EP1657935A2 (en) 2006-05-17
GB9903676D0 (en) 1999-04-14
GB2347038A (en) 2000-08-23
WO2000049810A1 (en) 2000-08-24
EP1157562B1 (en) 2006-06-21
AU2805600A (en) 2000-09-04
EP1657935B1 (en) 2016-06-29
DE60028942D1 (de) 2006-08-03
DE60028942T2 (de) 2007-02-15
EP1657935A3 (en) 2009-03-18
ES2267498T3 (es) 2007-03-16

Similar Documents

Publication Publication Date Title
CN1192635C (zh) 一种视频编码和译码的方法及设备
CN1253014C (zh) 图像编码方法及设备和图像解码方法及设备
CN1258928C (zh) 用于改良视频编码中的错误隐藏的错误隐藏方法和编码器
CN1193622C (zh) 视频信号编码/解码方法和装置及对应的无线电电信装置
CN1361991A (zh) 视频编码
CN1738413A (zh) 视频解码器中的错误隐藏
CN1668112A (zh) 用于h.264的改进的帧内块游荡刷新
CN1631043A (zh) 用于数字视频内容的自适应通用可变长度码字编码
US6917648B1 (en) Encoder and decoder for moving picture
US8582640B2 (en) Adaptive joint source channel coding
KR100585710B1 (ko) 가변길이 동영상 부호화 방법
Sheng et al. Rate allocation for transform domain Wyner-Ziv video coding without feedback
KR100414339B1 (ko) 부호화 장치, 복호화 장치, 기지국 장치 및 통신 단말 장치와 동화상 신호의 부호화 방법 및 복호화 방법
CN1926862A (zh) 视频信息传输
EP1484925A2 (en) Method and device for compressing image data
KR100627494B1 (ko) 동영상 부호화기 및 이를 이용한 부호화 방법
JP3779066B2 (ja) 動画像符号化装置
JPH08126004A (ja) 画像符号化装置
JPH0937244A (ja) 動画像データ誤り検出装置
KR100627493B1 (ko) 동영상 부호화기 및 이를 이용한 부호화 방법
Oliveira et al. Embedded DCT Image Encoding
KR100312418B1 (ko) 동영상부호화장치에서인트라모드부호화선택방법
RU2409857C2 (ru) Система и способ масштабируемого кодирования и декодирования мультимедийных данных с использованием множества уровней
KR20040031948A (ko) 동영상 디코딩 방법
Pham Wavelet video compression for iterative wireless transceivers

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: NOKIA LTD.

Free format text: FORMER OWNER: NOKIA MOBILE PHONE LTD.

Effective date: 20121112

C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee

Owner name: SISWELL INTERNATIONAL LTD.

Free format text: FORMER NAME: NOKIA LTD.

CP03 Change of name, title or address

Address after: Luxemburg Luxemburg

Patentee after: Sith International Ltd.

Address before: Espoo, Finland

Patentee before: NOKIA Corp.

TR01 Transfer of patent right

Effective date of registration: 20121112

Address after: Espoo, Finland

Patentee after: NOKIA Corp.

Address before: Espoo, Finland

Patentee before: Nokia Mobile Phones Ltd.

CX01 Expiry of patent term

Granted publication date: 20050309

CX01 Expiry of patent term