CN1689334A - 使用多描述分层编码提高传输效率的方法和*** - Google Patents

使用多描述分层编码提高传输效率的方法和*** Download PDF

Info

Publication number
CN1689334A
CN1689334A CNA038237288A CN03823728A CN1689334A CN 1689334 A CN1689334 A CN 1689334A CN A038237288 A CNA038237288 A CN A038237288A CN 03823728 A CN03823728 A CN 03823728A CN 1689334 A CN1689334 A CN 1689334A
Authority
CN
China
Prior art keywords
information
item
communication channel
frame
known region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA038237288A
Other languages
English (en)
Other versions
CN100420307C (zh
Inventor
M·范德沙尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1689334A publication Critical patent/CN1689334A/zh
Application granted granted Critical
Publication of CN100420307C publication Critical patent/CN100420307C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

公开了一种用于使用MDC和细粒空间编码提高网络传输效率的方法、***和设备。按照本方法，将视频图像分割成多个信息项帧，将每个帧独立地分层编码成一个基本层和一个增强层，然后选择通信信道中的至少一个信道，使每个基本层与所选定的通信信道之一相关联，并且通过相关联的通信信道发送各个基本层。按照另一个方面，确定各个相关联的信道上的剩余带宽，并且通过相关联的信道发送可与剩余带宽相比拟的一种等级的相关增强层。

Description

使用多描述分层编码提高传输效率的方法和***
技术领域
本发明致力于通过通信网络进行的视频传输，并且更加具体地讲，致力于使用多描述和分层编码进行的视频图像传输。
背景技术
在本领域中，多描述编码(MDC)被认为是一种用于通过遭受多路干扰和多普勒多样性的网络(比如无线网络)进行强健通信的有效技术。MDC还在通过多个盘驱动器(例如廉价盘的冗余阵列(RAIDS))和因特网分发的数据的传输中得到了采用。我们已知了数种类型的MDC编码方案。例如，Servetto等人在《多描述网格向量量化(Multiple Description Lattice Vector Quantization)》(IEEE数据压缩收敛会报(Proceedings of IEEE Data CompressionConvergence(DCC))，美国犹他州，Snowbird市，1999年3月)中教导了标量势。Y.Wang等人在《利用成对关联变换的多描述编码(Multiple Description Coding using Pairwise CorrelatingTransforms)》(1999年1月)中倡导关联变换。Goyal、Vetteri等人在《多描述变换编码：使用密排帧展开的疑符的强健性(MultipleDescription Transform Coding：Robustness to Erasures Using TightFrame Expansion)》(1998年8月)中倡导帧展开。Puri等人在《用于因特网视频流送和多点传送信号处理的基于多描述编码的正向误码修正(FED)(Forward Error Correction(FED)Codes Based on MultipleDescription Coding for Internet Video Streaming and Multicast SignalProcessing)》(《图像通信(Image Communication)》第16卷第8期，第745-762页，2001年5月)中倡导正向误码修正(FEC)。
附图1表示由J.G.Apostolopoulos在《利用多状态编码和路径分集通过有损分组网络进行的可靠视频通信(Reliable VideoCommunication Over Lossy Packet Networks using Multiple StateEncoding and Path Diversity)》(《可视通信和图像处理(VCIP)(Visual Communications and Image Processing(VCIP))》2001年1月，第392-409页)中提出的MDC方法100，其中将由多个图像帧(表示为110a、110b、110c)组成的视频数据分成信息的奇数帧(表示为121、123、125)和信息的偶数帧(表示为122、124、126)。然后使用公知的编码技术，比如MPEG等，对各个奇数帧和偶数帧中的视频信息独立地进行编码。然后可以使用相同或不同的信道通过网络来发送各个奇数和偶数帧中的编码信息。在后一种情况下，能够明显减少发送整个图像所用的时间。应当可以意识到，称为“奇数”和“偶数”的信息，例如，可以是与视频图像中的视频数据的“奇数”和“偶数”行相关联的信息。
在当前的技术水平下，MDC编码算法假设至少一个信道是在最大位速率或带宽的条件下工作的。不过，这一假设并没有考虑到网络带宽随时间变化并且可能会落到适于MDC编码图像的水平之下。在这样的情况下，所发送的图像不会得到正确的解码并且接收方的图像质量可能会降低到足以导致再现图像看不见的程度。
因此，存在着对这样的MDC编码方法的需求：该方法对可用网络带宽的变化量做出响应并且能够动态地调整传输速率，以适应可用网络带宽。
发明内容
公开了一种用于使用MDS和分层编码，尤其是细粒空间编码提高网络传输效率的方法、***和设备。按照本方法，将视频图像分割成多个信息项帧，将每个帧独立地分层编码成一个基本层和一个增强层，然后选择通信信道中的至少一个信道，使每个基本层与所选定的通信信道之一相关联，并且通过相关联的通信信道发送各个基本层。按照另一个方面，确定各个相关联的信道上的剩余带宽，并且通过相关联的信道发送可与剩余带宽相比拟的一种等级的相关增强层。
附图说明
附图1表示传统的MDC编码***；
附图2表示按照本发明原理的MDC编码***；
附图3表示按照本发明原理的MDC/FGC编码的***的框图；
附图4表示按照本发明原理发送MDC/FGS编码图像的第一种示范性处理的流程图；
附图5表示按照本发明原理发送MDC/FGS编码图像的第二种示范性处理的流程图；
附图6表示按照本发明原理发送MDC/FGS编码图像的第三种示范性处理的流程图；
附图7表示按照本发明原理发送MDC/FGS编码图像的示范性***；和
附图8表示按照本发明原理发送和接收MDC/FGS编码图像的示范性***。
具体实施方式
附图1到8和包含在本文中的相应的详细说明将用作本发明的说明性实施方式，并且不应理解为实践本发明的仅有方式。应当理解，这些附图的用途是说明本发明的概念，并且不是按比例给出的。应当意识到，相同的附图标记(在有必要的情况下可能会追加参考字符)通篇用于标注相应的部分。
附图2表示按照本发明的原理使用MCD/FGS编码对视频图像进行编码的示范性方法200。按照这种示范性方法，将视频图像110a、110b、110c划分、分割或区分为分别包含称为“奇数”的信息项的帧(表示为121、123、125)和分别包含称为“偶数”的信息项的帧(表示为122、124、126)，如前文所述。应当意识到，奇数帧121和偶数帧122在组合时表示视频图像110a中的信息。包含在帧121、123、125中的“奇数”信息项是使用(例如，并且最好是)细粒比例(Fine GranularScaled)(FGS)编码法独立地进行分层编码的。FGS编码在本领域中是公知的，并且在例如2001年9月18日授权的名为《可分级视频编码***(Scalable Video Coding System)》的美国专利US6292512中进行了详细的披露。虽然，FGS编码是较佳的，但是本领域的技术人员应当理解，也可使用其它的分层编码方法。
将每个包含“奇数”信息项的帧，例如121，编码成基本层131和增强层141。基本层131代表图像的最小数字表达并且包含足以满足原始图像通过网络传送时的最低质量等级(即，最低分辨率)的信息。基本层131由I帧131a、P帧131b和B帧131c组成的，和公知的情况一样。
通过包含与原始图像和最小数字图像之间的差异有关的信息(这些信息包含在相应的I帧131a、P帧131b和B帧131c中)，增强层141包含用来改善所传送的图像信息的质量的信息。包含在增强层141中的编码信息项可以与基本层信息一起进行发送，以根据可用网络带宽和基本层带宽之间的总剩余带宽来改善相应的基本层131帧131a、131b和/或131c的图像质量。因此，只有占用剩余带宽的那部分相应增强层可以发送出去。包含在各帧中的称为“偶数”的信息项，例如122，也类似地FGS编码成基本层132和增强层142，并且类似地进行传送。
附图3表示按照本发明原理的用于MDC/FGS编码的***300的框图。在这个所示的例子中，将视频图像110a、110b和110c提供给帧指示器310，该帧指示器310确定或识别是否正在对信息项的奇数帧或偶数帧进行处理。接着将奇数帧信息提供给传统的FGS编码器320a，该编码器使用公知的FGS编码方法对奇数帧信息进行FGS编码。类似地，在这种所示的情况下，将偶数帧信息提供给第二传统FGS编码器320b，该编码器使用同样的公知FGS编码方法对偶数帧信息进行FGS编码。
然后根据该帧是指示或标识为奇数帧还是偶数帧，将FGS编码帧信息存储到存储介质320a、320b上。速率控制器340然后可以独立地访问存储介质330a、330b，以通过至少一个传输信道350a、350b输出所访问的数据。应当意识到，同一传输信道可以用于传送各个基本层。
虽然没有示出，但是应当意识到，***300可以仅仅包括单独一个FGS编码器，该编码器可以对奇数帧和偶数帧信息项独立地进行编码。按照这种实施方式，FGS编码器识别正在处理的是奇数帧还是偶数帧，并且将该信息项应用于下一个相应的奇数或偶数帧，以产生预测P或B帧和相应的增强层帧。单独一个编码器的处理维持奇数和偶数帧处理之间的区分，以确保正确地进行预测P和B帧的确定。奇数和偶数帧信息项的这一区分可以借助由指示器单元310放置在数据中的标识符“标记”或“标签”来进行。
按照本发明的另一方面(未示出)，编码的奇数和偶数帧信息可以连续地保存在存储介质上。然后速率控制器340可以访问单独一个存储介质并且根据帧标识符——标记或标签进行判断，通过至少一个选定的通信信道将所访问的信息项发送出去。
附图4表示按照本发明的一个方面的示范性传输处理500的流程图。在这个示范性处理中，在块510中，选择第一信道来传送奇数帧信息，并且在块515中，选择第二信道来传送偶数帧信息。
在块520中，确定第一选定信道上的可用带宽。在块525中，判断所述可用带宽是否大于最小带宽。如果结果是肯定的，则在块530中选择与信息的第一/下一个奇数帧相关的基本层131的帧，并且在块535中通过所选择的第一信道发送出去。在块540中，确定与所选定的奇数帧相关并且与大于最小带宽的可用带宽(即，剩余带宽)相应的一种等级的增强层141。在块545中，将确定等级的增强层141通过所选定的第一信道发送出去。然后在块560中继续对FGS编码信息项的偶数帧进行基本相同的操作。
不过，如果在块525中判断结果是否定的，那么在块550中选取与第一/下一个奇数帧相关的基本层131的帧，然后在块555中通过所选的第一信道该基本层131的帧发送出去。
应当意识到，在块560中，对于包含在偶数帧中的信息，通过选定的第二信道，基本上同时地或连续地进行了同样的处理。
然后处理过程继续进行到块520，以处理下一个奇数和/或偶数帧中的信息。
按照本发明的这一方面，根据两个选定信道的可用带宽，采用视频流来传送信息。在接收***接收单独一个信道上的信息的情况下，视频图像是以帧速率的一半进行重构的。不过，随着信号接收信道带宽的变化，FGS编码信息将会动态地实现更高的接收图像分辨率。
按照本发明的另一个方面(未示出)，应当意识到，处理过程可以继续进行到块510而不是块520。按照这一方面，针对各个所要传送的帧，可以动态地选取新的第一和第二信道。
附图5表示按照本发明原理的第二种示范性传输处理600的流程图。在这一示范性处理中，第一信道是在块610中选取的，而第二信道是在块615中选取的。在块620中，选取第一/下一个奇数帧，来在块625中通过所选取的第一和第二信道进行传输。在块630中，判断第一选定信道上的可用带宽是否大于最小带宽。如果结果是肯定的，则在块635中，选择与大于最小带宽的可用带宽(即，剩余带宽)相应的并且与所选定的奇数帧相关的一种等级的增强层141，并且在块640中通过所选的第一信道将其发送出去。然后处理过程继续进行到块655。
不过，如果块630中的判断结果是否定的，则在块645中选取与第一/下一个偶数帧相关的基本层142的帧，并且在块650中通过所选的第一信道和第二信道将其发送出去。
在块655中，判断第二选定信道的可用带宽是否大于最小带宽。如果结果是肯定的，则确定与所判定的大于最小带宽的可用带宽相应的并且与所选定的偶数帧相关的一种等级的增强层142，并且在块670中，通过所选的第二信道将其发送出去。
然后处理过程继续进行到块620，以选择下一个/后续的奇数帧来进行处理。按照本发明的另一个方面(未示出)，应当意识到，处理过程可以继续进行到块610而不是块620。按照这一方面，针对各个所要传送的帧，可以动态地选取新的第一和第二信道。
附图6表示按照本发明原理的第三种示范性传输处理700的流程图。在这一示范性处理中，第一信道是在块710中选取的，而第二信道是在块715中选取的。在块720中，选取与信息的第一/下一个奇数帧相关的基本层131的帧，来在块725中通过所选取的第一信道进行传输。在块730中，判断第一选定信道上的可用带宽是否大于最小带宽。如果结果是肯定的，则在块735中，选择与大于最小带宽的可用带宽相应的并且与所选定的奇数帧相关的一种等级的增强层141，并且在块740中通过所选的第一信道将其发送出去。
不过，如果块730中的判断结果是否定的，则在块745中选取与信息的第一/下一个偶数帧相关的基本层142的帧，并且在块750中通过所选的第一信道和第二信道将其发送出去。
在块755中，判断第二选定信道的可用带宽是否大于最小带宽。如果结果是肯定的，则在块760中确定与所判定的大于最小带宽的可用带宽相应的并且与所选定的偶数帧相关的一种等级的增强层142，并且在块770中，通过所选的第二信道将其发送出去。
然后处理过程继续进行到块720，以选择下一个/后续的奇数帧来进行处理。按照本发明的另一个方面(未示出)，应当意识到，处理过程可以继续进行到块710而不是块720。按照这一方面，针对各个所要传送的帧，可以动态地选取新的第一和第二信道。
附图7表示可以用来实现本发明原理的***800的示范性实施方式。***800可以代表桌上型、膝上型或掌上型计算机、个人数字助理(PDA)、诸如磁带录像机(VCR)、数字录像机(DVR)之类的视频/图像存储设备、TiVO设备等等，以及这些和其它装置的部分或组合。***800可以包含一个或多个输入/输出装置802、处理器803和存储器804，该***800可以访问一个或多个源801，所述源801包含视频图像的FGS编码结构。源801可以存储在永久性或半永久性介质中，比如电视接收机、VCR、RAM、ROM、硬盘驱动器、光盘驱动器或其它的视频图像存储装置。另外也可以通过一个或多个网络连接对源801进行访问，以通过例如全球计算机通信网络从一个服务器或多个服务器接收视频信号，其中所述全球计算机通信网络比如是因特网、广域网、城域网、局域网、地面广播网、有线网、卫星网、无线网或电话网，以及这些和其它类型的网络的部分或组合。
输入/输出装置802、处理器803和存储器804可以通过通信媒介806进行通信。通信媒介806可以代表，例如，总线、通信网、电路、电路卡或其它设备的一个或多个内部连接，以及这些和其它通信媒介的部分和组合。来自源801的输入数据依据一个或多个软件程序进行处理，这些程序可以存储在存储器804中并且由处理器803运行，以便向网络820供应FGS编码视频图像，这些图像可以由装置825接收，该装置825比如是接收***或显示***。处理器803可以是任何装置，比如通用或专用计算***、膝上型计算机、桌上型计算机、手持计算机，或者也可以是硬件结构，比如专用逻辑电路、集成电路、可程控阵列逻辑(PAL)、特定用途集成电路(ASIC)等，它们响应于已知的输入给出已知的输出。
按照优选实施方式，采用本发明原理的编码和解码可以通过由处理器803运行的计算机可读代码来实现。所述代码可以存储在存储器804中或从诸如CD-ROM或软盘之类的存储介质中读取/下载。按照一个方面，存储器804可以与存储器803集成在一起，传统上称为高速缓冲存储器。按照另一种实施方式，可以使用硬件电路来代替软件指令或与软件指令相结合，来实现本发明。例如，本文所介绍的元件也可以实现为分立的硬件元件。
而且，术语“计算机”或“计算机***”可以表示与一个或多个存储器单元和其它装置进行通信一个或多个处理单元，其它装置例如***设备，与至少一个处理单元电连接并且与至少一个处理单元进行通信。
附图8表示利用本发明的典型的传输***900。在发射机站点905，由视频帧源910将视频数据提供给视频编码单元920。视频编码单元920包括附图3中所示的编码器***300的各部分。然后将视频编码数据存储到编码器缓冲区930中，以通过数据网络940进行传输。在接收***905中，将所接收的数据帧存储到解码器缓冲器960中并且将这些数据提供给视频解码器970。视频解码器870与编码器300类似，包括处理器和存储器，处理器和存储器可以运行用于提取与所发送的信息有关的信息项的代码，以对当前的传输帧进行解码，并且合并或重新结合经过解码的接收图像，以产生描述最初发送的图像的图像。然后可以将解码重构图像展现在视频显示器980上。
虽然这里已经展示、介绍和指出了本发明的基本新颖特征，但是应当理解，在不超出本发明的精神的情况下，本领域的技术人员可以对所介绍的发明，在所公开的方法和装置的形式和细节上，以及它们的操作过程，进行的各种不同的删减、替换和改变。例如，虽然本说明书引用了与第一选定信道相关的信息项的奇数帧和信息项的偶数帧，但是本领域的技术人员实践将信息的偶数帧与第一信道关联起来而将信息的奇数帧与第二信道关联起来也是处在本发明的范围内的。而且，应当理解，虽然只有对信息项的奇数和偶数帧进行了图解说明，但是将视频图像区分成代表，例如，行或列中的交替的奇数或偶数信息的多种信息项的帧也处于本领域技术人员的能力范围之内。类似地，虽然图解说明了第一和第二信道，但是开发出使用多个信道并且通过多个信道发送信息的***也是处在本领域技术人员的能力范围之内的。或者，还有，本领域的技术人员可以仅使用单独一个信道并且通过选定的单一信道发送交替的奇数和偶数信息的帧。
虽然，所说明的信息项是从视频图像(例如，帧110a)中提取出来的，并且表示为物理上分开的帧121、122，但是在图像中识别或“标记”或“标签适当的信息项，例如“奇数”和“偶数”行或列，并且将经标识的信息项保留在图像之内而不是如所介绍的那样将图像物理上分解，也是处于本领域的技术人员的能力范围之内的。而且，虽然在所解释说明的实施方式中，信息项与“奇数”和“偶数”信息相关，但是应当可以意识到，信息项的标识可以与图像的各部分相关联。例如，邻接的行代表图像的上半部分和下半部分。或者邻接的列代表图像的左半部分或右半部分。再有，图像的识别可以基于代表原始图像的四分之一或八分之一的邻接行。
我们明确地期望，以基本相同的方式执行基本相同的功能来达到基本相同的结果的元件的所有的组合方式都处于本发明的范围之内。从一种所介绍的实施方式到另一种实施方式的元件替换也是完全可以预料到和设想到的。

Claims (27)

1.一种提高视频图像在具有至少一个通信信道的网络上的传输效率的方法，包括步骤：
将每个所述视频图像分割成多个信息项帧；
利用分层编码对每个所述信息项帧独立地进行编码，其中将每个所述帧编码成一个基本层和一个增强层；
选择所述至少一个通信信道至少之一；
使每个所述基本层与所述选定的至少一个通信信道的至少之一相关联；和
通过所述相关联的通信信道发送所述基本层。
2.按照权利要求1所述的方法，还包括步骤：
确定与每个所述选定的至少一个选定信道相关联的带宽；
确定剩余带宽大于相关联的基本层带宽；和
通过相关的通信信道为每个所述信息项帧发送可与所述剩余带宽比拟的一种等级的增强层。
3.按照权利要求1所述的方法，其中分割步骤包括下列步骤：
标识所述图像的已知区域。
4.按照权利要求3所述的方法，其中所述已知区域是从包括下列各部分的组中选择的：行、列、对角线、奇数行、偶数行、奇数列、偶数列、相间奇数行、相间偶数行、相间奇数列、相间偶数列、邻接的多个行、邻接的多个列。
5.按照权利要求1所述的方法，其中所述分层编码是FGS编码。
6.按照权利要求1所述的方法，其中每个所述基本层是与同样选定的通信信道相关联的。
7.一种提高视频图像在具有至少一个通信信道的网络上的传输效率的***，包括：
发射机，可进行这样的操作：通过所述至少一个通信信道的至少之一发送信息项，所述发射机包含至少一个与存储器进行通信的处理器，可操作所述至少一个处理器执行代码，用于：
将每个所述视频图像分割成多个信息项帧；
利用分层编码对每个所述信息项帧进行编码，其中将每个所述信息项帧编码成一个基本层和一个增强层；
选择所述至少一个通信信道的至少之一；
使每个所述基本层与所述选定的至少一个通信信道的至少之一相关联；和
通过所述相关联的通信信道发送所述基本层。
8.按照权利要求7所述的***，其中所述处理器还可进一步操作执行代码，用于：
确定与每个所述至少一个选定信道相关联的带宽；
确定剩余带宽大于相关联的基本层带宽；和
通过所述相关联的通信信道为每个所述帧发送可与所述剩余带宽比拟的一种等级的增强层。
9.按照权利要求7所述的***，其中分割处理包括下列步骤：
标识所述图像的已知区域。
10.按照权利要求9所述的***，其中所述已知区域是从包括下列各部分的组中选择的：行、列、对角线、奇数行、偶数行、奇数列、偶数列、相间奇数行、相间偶数行、相间奇数列、相间偶数列、邻接的多个行、邻接的多个列。
11.按照权利要求7所述的***，还包括：
接收机，可进行用于接收通过所述至少一个通信信道的至少之一发送的编码信息的操作，所述接收***包含与接收存储器进行通信的处理器，可操作所述处理器执行代码，用于：
标识所述接收信息；和
将所述经标识的帧组织成视频图像。
12.按照权利要求11所述的***，其中可操作所述处理器执行代码，用于：
显示所述视频图像。
13.按照权利要求7所述的***，其中所述代码是存储在所述接收存储器中的。
14.按照权利要求11所述的***，其中所述代码是存储在所述接收存储器中的。
15.一种编码单元，包括：
标识单元，用于标识视频图像的帧中的已知区域；
至少一个FGS编码单元，与所述标识单元进行通信，可进行这样的操作：将经标识的已知区域编码成一个基本层和一个增强层。
16.按照权利要求15所述的编码单元，还包括：
至少一个存储单元，用于存储所述编码的经标识的已知区域。
17.按照权利要求15所述的编码单元，其中所述标识单元包括：
处理器，与存储器进行通信，可操作所述处理器运行用于标识所述已知区域的代码。
18.按照权利要求17所述的编码单元，其中可操作所述处理器运行用于为与所述已知区域相关联的信息项加标签的代码。
19.按照权利要求17所述的编码单元，其中可操作所述处理器运行用于隔离与所述已知区域相关联的信息项的代码。
20.按照权利要求17所述的编码单元，其中所述代码是包含在所述存储器中的。
21.按照权利要求15所述的编码单元，其中选择所述至少一个FGS编码单元中的编码单元是与选择经标识的已知区域相关联的。
22.按照权利要求15所述的编码单元，其中所述经标识的区域是独立地进行编码的。
23.一种接收单元，与网络进行通信，所述接收单元可进行这样的操作：接收通过所述网络的至少一个信道发送的信息项，所述接收单元包括：
解码单元，包括与存储器进行通信的处理器，可操作所述处理器执行代码，用于：
对所述接收到的信息项进行解码；
通过所述视频图像的已知区域识别所述接收到的信息项；
由与所述识别的已知区域相关联的所述解码信息项重构所述视频图像。
24.按照权利要求23所述的接收机，其中所述代码是存储在所述存储器中的。
25.按照权利要求23所述的接收机，还包括第二存储器，用于存储所述接收到的信息项。
26.按照权利要求23所述的接收机，还包括第三存储器，用于存储所述标识的信息项。
27.按照权利要求23所述的接收机，还包括第四存储器，用于存储所述经重构的视频图像。
CNB038237288A 2002-10-04 2003-09-22 使用多描述分层编码提高传输效率的方法和*** Expired - Fee Related CN100420307C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/264,906 US7480252B2 (en) 2002-10-04 2002-10-04 Method and system for improving transmission efficiency using multiple-description layered encoding
US10/264,906 2002-10-04

Publications (2)

Publication Number Publication Date
CN1689334A true CN1689334A (zh) 2005-10-26
CN100420307C CN100420307C (zh) 2008-09-17

Family

ID=32042354

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038237288A Expired - Fee Related CN100420307C (zh) 2002-10-04 2003-09-22 使用多描述分层编码提高传输效率的方法和***

Country Status (7)

Country Link
US (1) US7480252B2 (zh)
EP (1) EP1552701A1 (zh)
JP (1) JP2006501746A (zh)
KR (1) KR20050065577A (zh)
CN (1) CN100420307C (zh)
AU (1) AU2003263468A1 (zh)
WO (1) WO2004032517A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101080008B (zh) * 2007-05-24 2010-04-14 北京交通大学 一种基于迭代函数***的多描述编码及解码方法
CN101262443B (zh) * 2008-05-12 2010-12-15 陶忠伟 一种手机流媒体自适应实时传输方法
CN105049894B (zh) * 2005-12-08 2018-03-16 维德约股份有限公司 用于视频通信***中的差错弹性和随机接入的***和方法
CN108496369A (zh) * 2017-03-30 2018-09-04 深圳市大疆创新科技有限公司 视频传输、接收方法、***、设备及无人飞行器
CN108496370A (zh) * 2017-03-30 2018-09-04 深圳市大疆创新科技有限公司 视频发送方法、接收方法、***以及无人飞行器

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996618B2 (en) * 2001-07-03 2006-02-07 Hewlett-Packard Development Company, L.P. Method for handling off multiple description streaming media sessions between servers in fixed and mobile streaming media systems
US20060093031A1 (en) * 2002-07-31 2006-05-04 Koninkijke Phillips Electronics N.V. Method and apparatus for performing multiple description motion compensation using hybrid predictive codes
WO2005032138A1 (en) * 2003-09-29 2005-04-07 Koninklijke Philips Electronics, N.V. System and method for combining advanced data partitioning and fine granularity scalability for efficient spatio-temporal-snr scalability video coding and streaming
EP1638337A1 (en) 2004-09-16 2006-03-22 STMicroelectronics S.r.l. Method and system for multiple description coding and computer program product therefor
ITTO20040781A1 (it) * 2004-11-09 2005-02-09 St Microelectronics Srl Procedimento per adattare in modo dinamico il bit-rate di un segnale digitale alla larghezza di banda disponibile, relativi dispositivi e prodotto informatico corrispondente
ITTO20040780A1 (it) * 2004-11-09 2005-02-09 St Microelectronics Srl Procedimento e sistema per il trattamento di segnali a descrizioni multiple, relativo prodotto informatico
JP4510678B2 (ja) * 2005-03-29 2010-07-28 株式会社Ｋｄｄｉ研究所 映像伝送装置および映像伝送・受信再生装置
US20080205524A1 (en) * 2005-05-25 2008-08-28 Nxp B.V. Multiple Instance Video Decoder For Macroblocks Coded in Progressive and an Interlaced Way
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US7937640B2 (en) * 2006-12-18 2011-05-03 At&T Intellectual Property I, L.P. Video over IP network transmission system
US8421840B2 (en) * 2008-06-09 2013-04-16 Vidyo, Inc. System and method for improved view layout management in scalable video and audio communication systems
US8488680B2 (en) * 2008-07-30 2013-07-16 Stmicroelectronics S.R.L. Encoding and decoding methods and apparatus, signal and computer program product therefor
US20110032996A1 (en) * 2009-08-04 2011-02-10 Polycom, Inc. Using dual hdvicp coprocessor to accelerate dm6467 h.264 decoder
KR20130071354A (ko) 2011-12-20 2013-06-28 한국전자통신연구원 멀티미디어 서비스 제공 장치 및 그 방법
CN102629893B (zh) * 2012-03-30 2014-07-02 清华大学 多描述分层编码的信息发送方法及装置
JP5979948B2 (ja) * 2012-04-11 2016-08-31 キヤノン株式会社 画像データ送信装置及び画像データ受信装置
JP5979949B2 (ja) 2012-04-11 2016-08-31 キヤノン株式会社 画像データ送信装置及び画像データ受信装置
US9129429B2 (en) * 2012-10-24 2015-09-08 Exelis, Inc. Augmented reality on wireless mobile devices
WO2017127115A1 (en) * 2016-01-22 2017-07-27 Hewlett-Packard Development Company, L.P. Drift correction

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5563661A (en) * 1993-04-05 1996-10-08 Canon Kabushiki Kaisha Image processing apparatus
KR0181032B1 (ko) * 1995-03-20 1999-05-01 배순훈 인터리빙을 이용한 물체 기반 부호화방법 및 장치
JP3363668B2 (ja) * 1995-07-25 2003-01-08 キヤノン株式会社 画像伝送装置及び画像伝送システム
FR2745650B1 (fr) * 1996-02-29 1998-05-22 Sgs Thomson Microelectronics Adressage d'une zone memoire d'un decodeur mpeg
US6148026A (en) * 1997-01-08 2000-11-14 At&T Corp. Mesh node coding to enable object based functionalities within a motion compensated transform video coder
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
US6330370B2 (en) 1998-02-25 2001-12-11 Lucent Technologies Inc. Multiple description transform coding of images using optimal transforms of arbitrary dimension
US6230162B1 (en) * 1998-06-20 2001-05-08 International Business Machines Corporation Progressive interleaved delivery of interactive descriptions and renderers for electronic publishing of merchandise
US6275531B1 (en) * 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
US6556624B1 (en) * 1999-07-27 2003-04-29 At&T Corp. Method and apparatus for accomplishing multiple description coding for video
JP2001094980A (ja) * 1999-09-21 2001-04-06 Sharp Corp データ処理装置
US6480547B1 (en) 1999-10-15 2002-11-12 Koninklijke Philips Electronics N.V. System and method for encoding and decoding the residual signal for fine granular scalable video
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6614936B1 (en) * 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
JP3518465B2 (ja) 2000-02-18 2004-04-12 日本電気株式会社 被写体抽出装置、被写体抽出方法、及び被写体抽出プログラムを記録した記録媒体
US6973501B1 (en) * 2000-06-21 2005-12-06 Adc Telecommunications, Inc. Reducing loss in transmission quality under changing network conditions
US7133449B2 (en) * 2000-09-18 2006-11-07 Broadcom Corporation Apparatus and method for conserving memory in a fine granularity scalability coding system
ATE346461T1 (de) * 2000-09-22 2006-12-15 Koninkl Philips Electronics Nv Videocodierung mit hybrider temporeller und snr- bezogener feingranularer skalierbarkeit
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US20020126759A1 (en) * 2001-01-10 2002-09-12 Wen-Hsiao Peng Method and apparatus for providing prediction mode fine granularity scalability
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
US7958532B2 (en) * 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
WO2003005699A2 (en) * 2001-07-05 2003-01-16 Board Of Trustees Operating Michigan State University Transcaling: a video coding and multicasting framework for wireless ip multimedia services
US7272555B2 (en) * 2001-09-13 2007-09-18 Industrial Technology Research Institute Fine granularity scalability speech coding for multi-pulses CELP-based algorithm
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
US20030076858A1 (en) * 2001-10-19 2003-04-24 Sharp Laboratories Of America, Inc. Multi-layer data transmission system
US20040071083A1 (en) * 2002-02-22 2004-04-15 Koninklijke Philips Electronics N.V. Method for streaming fine granular scalability coded video over an IP network
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
EP1537746A2 (en) * 2002-09-06 2005-06-08 Koninklijke Philips Electronics N.V. Content-adaptive multiple description motion compensation for improved efficiency and error resilience

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049894B (zh) * 2005-12-08 2018-03-16 维德约股份有限公司 用于视频通信***中的差错弹性和随机接入的***和方法
CN101080008B (zh) * 2007-05-24 2010-04-14 北京交通大学 一种基于迭代函数***的多描述编码及解码方法
CN101262443B (zh) * 2008-05-12 2010-12-15 陶忠伟 一种手机流媒体自适应实时传输方法
CN108496369A (zh) * 2017-03-30 2018-09-04 深圳市大疆创新科技有限公司 视频传输、接收方法、***、设备及无人飞行器
CN108496370A (zh) * 2017-03-30 2018-09-04 深圳市大疆创新科技有限公司 视频发送方法、接收方法、***以及无人飞行器

Also Published As

Publication number Publication date
WO2004032517A1 (en) 2004-04-15
JP2006501746A (ja) 2006-01-12
AU2003263468A1 (en) 2004-04-23
US7480252B2 (en) 2009-01-20
EP1552701A1 (en) 2005-07-13
CN100420307C (zh) 2008-09-17
KR20050065577A (ko) 2005-06-29
US20040066793A1 (en) 2004-04-08

Similar Documents

Publication Publication Date Title
CN100420307C (zh) 使用多描述分层编码提高传输效率的方法和***
CN1253014C (zh) 图像编码方法及设备和图像解码方法及设备
CN101810007B (zh) 具有附加信息容量的多媒体编码和解码
EP1258997B1 (en) Lossless encoding and decoding system
JP2006501746A5 (zh)
CN1202623C (zh) 多道信息信号的算术编码/解码
CN102210105B (zh) 用于压缩整数值数据流的***和方法
CN1307430A (zh) 抑制差错扩散的发送/接收数据处理方法及其记录介质
JP5173990B2 (ja) 符号化方法、符号化装置、デコード方法及びデコーダ
CN1795679A (zh) 对多媒体传输的辅助信息进行编码和解码的方法、装置和***
CN1140135C (zh) 视频编码和译码方法及其装置
US20070133677A1 (en) Method and apparatus for encoding and decoding video signals on group basis
US20040086041A1 (en) System and method for advanced data partitioning for robust video transmission
KR20060063605A (ko) 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치
CN1178517C (zh) 发送和恢复视频信号的方法和装置
CN1771735A (zh) 编码用于网关的低成本多描述的视频流的方法
US7242714B2 (en) Cyclic resynchronization marker for error tolerate video coding
CN1199135C (zh) 在消息信号中嵌入辅助数据
JP2003324733A (ja) 動画像送受信システムおよび動画像送受信方法
KR20090117863A (ko) 계층적 영상 부호화를 위한 참조 프레임 관리 장치 및 방법
Bruekers et al. Improved lossless coding of 1-bit audio signals
CN101356817A (zh) 对标志编码的方法、对标志解码的方法及其设备
Madhavi et al. Unequal error protection of embedded multimedia objects for packet-erasure channels
JP2000138931A (ja) 画像符号化・復号システムおよび画像符号化・復号方法並びに画像符号化装置および画像復号装置並びに画像符号化方法および画像復号方法並びに画像符号化・復号装置
CN1288911C (zh) 双向可解变长数据块容错视频编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080917

Termination date: 20110922