JP2005535219A - Method and apparatus for performing multiple description motion compensation using hybrid prediction code - Google Patents

Method and apparatus for performing multiple description motion compensation using hybrid prediction code Download PDF

Info

Publication number
JP2005535219A
JP2005535219A JP2004525701A JP2004525701A JP2005535219A JP 2005535219 A JP2005535219 A JP 2005535219A JP 2004525701 A JP2004525701 A JP 2004525701A JP 2004525701 A JP2004525701 A JP 2004525701A JP 2005535219 A JP2005535219 A JP 2005535219A
Authority
JP
Japan
Prior art keywords
frame
encoder
encoded
subsequence
frame sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004525701A
Other languages
Japanese (ja)
Inventor
デル シァール ミハエラ ファン
ディーパク ディ エス トゥラガ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2005535219A publication Critical patent/JP2005535219A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

マルチフレーム予測を可能にすることによりマルチディスクリプション動き補償（ＭＤＭＣ）を拡張し、Ｉフレーム及びＰフレームに制限されない、改良されたマルチプル・ディスクリプション・コーディング（ＭＤＣ）方法及び装置が提供される。更に、本発明のコーディング方法は、例えばＭＰＥＧ２／４及びＨ.２６Ｌのような従来の予測コーデックと共に使用するようにＭＤＭＣを拡張する。改良されたＭＤＣは、上部及び下部予測符号化器として使用する従来の予測符号化器の使用を可能にする。更に、前記上部及び下部予測符号化器は、Ｂフレーム及びマルチプル予測動き補償を有利に含むことができる。依然として更に、上部、中間及び下部予測符号化器の何れもスケーラブル符号化器（例えば、動きベクトル（ＭＶ）がまず送信される場合にはデータパーティショニング型又はＦＧＳ型、時間スケーラビリティ型等）であることができる。An improved multiple description coding (MDC) method and apparatus is provided that extends multi-description motion compensation (MDMC) by enabling multi-frame prediction and is not limited to I-frames and P-frames. In addition, the coding method of the present invention extends MDMC for use with conventional predictive codecs such as MPEG2 / 4 and H.26L. The improved MDC allows the use of conventional predictive encoders used as upper and lower predictive encoders. Further, the upper and lower prediction encoders may advantageously include B frame and multiple prediction motion compensation. Still further, any of the upper, middle and lower prediction encoders are scalable encoders (eg, data partitioning type or FGS type, temporal scalability type, etc. when motion vectors (MV) are transmitted first). be able to.

Description

本発明は、一般的にはネットワーク又は他のタイプの通信媒体を介する伝送に対するデータ、音声、オーディオ、画像、ビデオ及び他のタイプの信号のマルチプル・ディスクリプション・コーディング（multiple description coding）（ＭＤＣ）に関する。   The present invention generally relates to multiple description coding (MDC) of data, voice, audio, images, video and other types of signals for transmission over a network or other type of communication medium. About.

今日のネットワークを流れる情報の大部分は、劣化した状態であっても有用である。例は音声、オーディオ、静止画像及びビデオを含む。この情報がパケット損失を受ける場合、リアルタイム制約のために再送信は不可能であるかもしれない。全ての伝送速度、歪及び遅延に関する優れた性能は、時々損失パケットを繰り返すよりむしろビットストリームに余剰部分（redundancy）を追加することにより達成されることができる。   Most of the information that flows through today's networks is useful even in a degraded state. Examples include voice, audio, still images and video. If this information is subject to packet loss, retransmission may not be possible due to real-time constraints. Excellent performance for all transmission rates, distortions and delays can be achieved by adding redundancy to the bitstream rather than occasionally repeating lost packets.

余剰部分は、１つの仕方においてはマルチプル・ディスクリプション・コーディング（ＭＤＣ）によりビットストリームに追加されることができ、データは複数のストリームに分解され、前記ストリーム間に幾らかの余剰部分を持つようにされる。全てのストリームが受信される場合、純粋に圧縮のために設計されたシステムよりわずかに高いビットレートを負担することにより低歪を保証することができる。他方では、前記ストリームの幾つかのみが受信される場合、再構成の品質は潔く劣化し、これは純粋に圧縮のために設計されたシステムを用いては非常に起こりそうにない。マルチ解像度又は階層ソースコーディングとは異なり、ディスクリプション（description、記述）の階層が無く、従ってマルチプル・ディスクリプション・コーディングは、消去通信路（erasure channel）又は優先度を与えないパケットネットワークに対して適している。   The surplus part can be added to the bitstream in one way by multiple description coding (MDC) so that the data is decomposed into multiple streams with some extra part between the streams To be. If all streams are received, low distortion can be ensured by bearing a slightly higher bit rate than systems designed purely for compression. On the other hand, if only some of the streams are received, the quality of the reconstruction is gracefully degraded, which is very unlikely with a system designed purely for compression. Unlike multi-resolution or hierarchical source coding, there is no hierarchy of descriptions, so multiple description coding is suitable for erasure channels or packet networks that do not give priority. ing.

マルチプル・ディスクリプション・コーディングは、複数の仕方で実施されることができる。１つの仕方は、符号化器において奇数及び偶数フレームのシーケンスを別々に集め、結果として生じる時間的にサブサンプリングされたシーケンスを独立に符号化することにより入力ビデオストリームを任意の通信路のサブセットに分割することによる。復号器において前記サブサンプリングされたシーケンスの１つを受信すると、前記ビデオストリームは、フレームレートの半分で復号されることができる。前記ビデオストリームの相関性を持つ性質のため、前記サブサンプリングされたシーケンスの１つのみを受信することは、動き補償エラー隠蔽技術を使用して中間フレームのリカバリを可能にする。この技術は、文献Wenger et al., “Error resilience support in H.263+,”, IEEE Transactions on Circuits and Systems for Video Technology, pp.867-877, November 1998により詳細に記載されている。   Multiple description coding can be implemented in multiple ways. One way is to separately collect the sequence of odd and even frames in the encoder and independently encode the resulting temporally subsampled sequence into an arbitrary channel subset. By dividing. Upon receipt of one of the subsampled sequences at a decoder, the video stream can be decoded at half the frame rate. Due to the correlated nature of the video stream, receiving only one of the sub-sampled sequences allows for recovery of intermediate frames using motion compensated error concealment techniques. This technique is described in detail in the document Wenger et al., “Error resilience support in H.263 +,” IEEE Transactions on Circuits and Systems for Video Technology, pp. 867-877, November 1998.

エラー回復（error resilience）を達成するために、文献Wang and Lin, “Error resilient video coding using multiple description motion compensation,” IEEE Trans. Circuits and Systems for Video Technology, vol.12, no.6, pp.4348-52, June 2002は、 マルチプル・ディスクリプション・コーディングを実施する１つの方法を記載している。このアプローチによると、時間的予測器（temporal predictors）は、符号化器が符号化する間に過去の偶数フレーム及び奇数フレームの両方を使用することを可能にし、従って１つのディスクリプションのみが復号器において受信される場合に前記符号化器と前記復号器との間に不適合（mismatch）を引き起こす。不適合エラーは、この問題を克服するために明示的に符号化される。前記符号化器が予測のために奇数及び偶数フレームシーケンスの両方を使用することを可能にする主な利点は、コーディングの効率に関する。時間的フィルタタップを変えることにより、余剰部分の量は制御されることができる。開示された前記方法は、余剰部分の量とエラー回復との間で合理的な順応性を与える。   To achieve error resilience, the literature Wang and Lin, “Error resilient video coding using multiple description motion compensation,” IEEE Trans. Circuits and Systems for Video Technology, vol.12, no.6, pp.4348 -52, June 2002 describes one way to implement multiple description coding. According to this approach, temporal predictors allow both past even and odd frames to be used while the encoder is encoding, so only one description is the decoder. Causes a mismatch between the encoder and the decoder. Non-conformance errors are explicitly encoded to overcome this problem. The main advantage that allows the encoder to use both odd and even frame sequences for prediction relates to coding efficiency. By changing the temporal filter tap, the amount of excess can be controlled. The disclosed method provides reasonable flexibility between the amount of surplus and error recovery.

Wang and Linのアプローチの欠点は、これがＩフレーム及びＰフレームのみに限られる（Ｂフレームがない）ことである。このアプローチの更に他の欠点は、Ｈ.２６Ｌに採用されたようなマルチフレーム予測を可能にしないことである。これらの欠点は、ＭＤＭＣのコーディング効率を制限し、利用可能なコーデックモジュールを使用する代わりに完全な専用の実施を必要とする。   The disadvantage of Wang and Lin's approach is that it is limited to I and P frames only (no B frames). Yet another drawback of this approach is that it does not allow multiframe prediction as employed in H.26L. These disadvantages limit the coding efficiency of MDMC and require a fully dedicated implementation instead of using available codec modules.

本発明は、上述の欠点を克服する改良されたマルチプル・ディスクリプション・コーディング（ＭＤＣ）方法及び装置を提供する。特に、本発明のコーディング方法は、マルチフレーム予測を可能にすることによりマルチディスクリプション動き補償（multi-description motion compensation）（ＭＤＭＣ）を拡張し、Ｉフレーム及びＰフレームのみに制限されない。更に、本発明のコーディング方法は、例えばＭＰＥＧ２／４及びＨ.２６Ｌのような従来の予測コーデックと共に使用するようにＭＤＭＣを拡張する。   The present invention provides an improved multiple description coding (MDC) method and apparatus that overcomes the aforementioned drawbacks. In particular, the coding method of the present invention extends multi-description motion compensation (MDMC) by enabling multi-frame prediction and is not limited to only I frames and P frames. In addition, the coding method of the present invention extends MDMC for use with conventional predictive codecs such as MPEG2 / 4 and H.26L.

本発明の第１態様によると、３つの予測符号化器、即ち上部、中間及び下部符号化器を含む改良ＭＤＭＣ符号化器が提供される。入力フレームは３つの異なる入力として前記符号化器に供給される。前記入力フレームは、中央符号化器に供給される。加えて、前記入力フレームは、フレームの２つのサブストリーム、即ち奇数フレームのみを有する第１サブストリーム及び偶数フレームのみを有する第２サブストリームに分離又は分割される。奇数フレームからなる前記第１サブストリームは、上部符号化器により符号化されるために入力として供給され、符号化された奇数フレームシーケンスを生じ、偶数フレームからなる前記第２サブストリームは、下部符号化器により符号化されるために入力として供給され、符号化された偶数フレームシーケンスを生じる。他の実施例は、例えば３フレームごとに２フレームが前記上部符号化器により符号化され、３番目のフレームごとに前記下部符号化器により符号化される不均衡な分割のような異なる基準を使用して前記フレームを分割してもよいことに注意する。フレームの元の分割されていない入力ストリームは、前記偶数フレームから前記奇数フレームの予測を計算する前記中央符号化器に加えられる。加えて、前記中央符号化器は、前記奇数フレームから前記偶数フレームの予測を別々に計算する。前記中央符号化器とそれぞれ第１サイド及び第２サイド符号化器との間で予測誤差（prediction residual）が計算される。本発明の前記ＭＤＭＣ符号化器は、前記上部符号化器の出力と共に前記偶数フレームの予測に対応する第１計算予測誤差を出力し、前記下部符号化器の出力と共に前記奇数フレームの予測に対応する第２計算予測誤差を出力する。   According to a first aspect of the present invention, an improved MDMC encoder is provided that includes three predictive encoders: an upper, middle and lower encoder. The input frame is supplied to the encoder as three different inputs. The input frame is supplied to a central encoder. In addition, the input frame is separated or divided into two substreams of the frame: a first substream having only odd frames and a second substream having only even frames. The first substream consisting of odd frames is supplied as input to be encoded by an upper encoder, resulting in an encoded odd frame sequence, and the second substream consisting of even frames is a lower code Resulting in an encoded even frame sequence supplied as input to be encoded by the encoder. Other embodiments use different criteria, such as an unbalanced division where every third frame is encoded by the upper encoder and every third frame is encoded by the lower encoder. Note that it may be used to split the frame. The original undivided input stream of frames is applied to the central encoder that computes the prediction of the odd frames from the even frames. In addition, the central encoder calculates the prediction of the even frame from the odd frame separately. A prediction residual is calculated between the central encoder and the first and second side encoders, respectively. The MDMC encoder of the present invention outputs the first calculation prediction error corresponding to the prediction of the even frame together with the output of the upper encoder, and supports the prediction of the odd frame together with the output of the lower encoder. The second calculation prediction error is output.

本発明の第２態様によると、フレームのシーケンスを表すビデオ信号を符号化する方法が提供され、前記方法は、前記フレームのシーケンスを第１サブシーケンス及び第２サブシーケンスに分割するステップと、第１サイド符号化器に前記第１サブシーケンスを加えるステップと、第２サイド符号化器に前記第２サブシーケンスを加えるステップと、中央符号化器に元の分割されていない前記フレームのシーケンスを加えるステップと、前記第１サイド符号化器の出力と前記中央符号化器の出力との間で第１予測誤差を計算するステップと、前記第２サイド符号化器の出力と前記中央符号化器の出力との間で第２予測誤差を計算するステップと、前記第１予測誤差及び前記第１サイド符号化器の出力を第１データサブストリームとして結合するステップと、前記第２予測誤差と前記第２符号化器の出力を第２データサブストリームとして結合するステップと、前記第１データサブストリーム及び前記第２データサブストリームを別々に送信するステップとを有する。   According to a second aspect of the invention, there is provided a method of encoding a video signal representing a sequence of frames, the method comprising: dividing the sequence of frames into a first subsequence and a second subsequence; Adding the first sub-sequence to a one-side encoder; adding the second sub-sequence to a second side encoder; and adding the original unsegmented sequence of frames to a central encoder Calculating a first prediction error between the output of the first side encoder and the output of the central encoder; the output of the second side encoder and the central encoder; Calculating a second prediction error with the output, and combining the first prediction error and the output of the first side encoder as a first data substream. Combining the second prediction error and the output of the second encoder as a second data substream, and transmitting the first data substream and the second data substream separately. Have.

本発明の利点は以下のことを含む。   The advantages of the present invention include:

（１）従来の予測符号化器が上部及び下部符号化器に使用されることができる。更に、上部及び下部の前記予測符号化器は、有利にＢフレーム及びマルチプル予測動き補償を含むことができる。   (1) Conventional predictive encoders can be used for the upper and lower encoders. Furthermore, the upper and lower prediction encoders may advantageously include B-frame and multiple prediction motion compensation.

（２）上部、中間及び下部の予測符号化器はスケーラブル符号化器（例えば、動きベクトル（ＭＶ）がまず送信される場合にはデータパーティショニング型又はＦＧＳ型、時間スケーラビリティ型等）であることができる。例えば、前記中間符号化器のみがスケーラブル符号化器である場合、前記中間符号化器は、通信路が許可する量の情報のみを送信することになる。利用可能な帯域幅が非常に狭いと決定される極端な場合、前記サイド符号化器により符号化された情報のみが送信されることになる。追加の帯域幅が利用可能になると、前記通信路が許可する量の不適合信号が、スケーラブルな前記中間符号化器を使用して送信されることになる。   (2) The upper, middle and lower predictive encoders are scalable encoders (eg, data partitioning type, FGS type, temporal scalability type, etc. when motion vectors (MV) are transmitted first). Can do. For example, when only the intermediate encoder is a scalable encoder, the intermediate encoder transmits only the amount of information permitted by the communication path. In the extreme case where the available bandwidth is determined to be very narrow, only the information encoded by the side encoder will be transmitted. As additional bandwidth becomes available, the amount of non-conforming signal allowed by the channel will be transmitted using the scalable intermediate encoder.

（３）前記システムの複雑さを制限するために、前記不適合信号を決定する、奇数／偶数フレームシーケンスからの現在の偶数／奇数フレームの予測は、Ｂフレームから行われることができる。   (3) In order to limit the complexity of the system, prediction of the current even / odd frame from the odd / even frame sequence to determine the non-conforming signal can be made from the B frame.

（４）従来のようにサイド予測エラー（即ち、前記サイド符号化器に対する前記偶数フレームと奇数フレームとの間のエラー）及び前記サイド予測エラーと中央エラー（即ち、現在のフレームと前の２つのフレームからの予測との間のエラー）との間の不適合をも計算及び符号化する代わりに、代替的に、前記中央エラーが計算される。   (4) Conventionally, side prediction errors (ie, errors between the even and odd frames for the side encoder) and side prediction errors and center errors (ie, current frame and previous two) Instead of calculating and encoding the incompatibility between the prediction error from the frame), alternatively, the central error is calculated.

ここで同じ参照符号が対応する部分を表す図面を参照する。   Reference is now made to the drawings in which like reference numerals represent corresponding parts.

マルチプル・ディスクリプション・コーディング（ＭＤＣ）は圧縮の一形式を指し、目標は入力信号を複数の異なるビットストリームに符号化することであり、マルチプル・ビットストリームはしばしばマルチプル・ディスクリプションと称される。これらの異なるビットストリームは、全て互いに独立して復号されることができるという性質を持つ。特にもし復号器が単一のビットストリームを受信すれば、前記復号器は（他のビットストリームに対するアクセスを必要とせずに）有用な信号を生成するために前記ビットストリームを復号することができる。ＭＤＣは、より多くのビットストリームが正確に受信されるほど、復号された信号の品質が向上するという追加の性質を持つ。例えば、ビデオはＭＤＣを用いて合計Ｎ個のストリームに符号化されると仮定する。復号器がこれらＮ個のストリームの何れか１つを受信する限り、前記復号器は前記ビデオの有用なバージョンを復号することができる。もし前記復号器が２つのストリームを受信するならば、前記復号器は前記ストリームの１つのみを受信する場合と比較して改良されたバージョンの前記ビデオを復号することができる。この品質における改良は、レシーバが前記ストリームのＮ個全てを受信するまで続き、この場合前記復号器は最大品質を再構成することができる。   Multiple description coding (MDC) refers to a form of compression and the goal is to encode an input signal into a number of different bitstreams, which are often referred to as multiple descriptions. These different bitstreams all have the property that they can be decoded independently of each other. In particular, if the decoder receives a single bitstream, the decoder can decode the bitstream to generate a useful signal (without requiring access to other bitstreams). MDC has the additional property that the more bitstreams are received correctly, the better the quality of the decoded signal. For example, assume that video is encoded into a total of N streams using MDC. As long as the decoder receives any one of these N streams, the decoder can decode a useful version of the video. If the decoder receives two streams, the decoder can decode an improved version of the video compared to receiving only one of the streams. This improvement in quality continues until the receiver has received all N of the streams, in which case the decoder can reconstruct the maximum quality.

ビデオのＭＤＣコーディングを達成する複数の異なるアプローチが存在する。１つのアプローチは、異なるフレームを異なるストリームに独立に符号化することである。例えば、ビデオシーケンスの各フレームは、イントラフレームコーディングのみ、例えばＪＰＥＧ、ＪＰＥＧ−２０００又はＩフレーム符号化のみを使用するビデオコーディング規格（例えばＭＰＥＧ−１／２／４、Ｈ.２６−１／３）の何れかを使用して、単一のフレームとして（他のフレームとは独立して）符号化されることができる。この場合、異なるフレームは異なるストリームで送信されることができる。例えば、全ての前記偶数フレームシーケンスは、ストリーム１で送信されることができ、全ての前記奇数フレームは、ストリーム２で送信されることができる。前記フレームのそれぞれは他のフレームと独立に復号されることができるので、前記ビットストリームのそれぞれも他のビットストリームとは独立に復号されることができる。ＭＤＣビデオコーディングのこの単純な形式は、上述の性質を持つが、フレーム間コーディングの欠如のため圧縮に関してはあまり効率的ではない。   There are a number of different approaches to achieving video MDC coding. One approach is to encode different frames independently into different streams. For example, each frame of a video sequence is a video coding standard (eg MPEG-1 / 2/4, H.26-1 / 3) that uses only intra-frame coding, eg JPEG, JPEG-2000 or I-frame coding only. Can be encoded as a single frame (independent of other frames). In this case, different frames can be transmitted in different streams. For example, all the even frame sequences can be transmitted in stream 1 and all the odd frames can be transmitted in stream 2. Since each of the frames can be decoded independently of the other frames, each of the bitstreams can also be decoded independently of the other bitstreams. This simple form of MDC video coding has the properties described above, but is not very efficient with respect to compression due to the lack of interframe coding.

図１を詳細に説明する前に、ＭＰＥＧ２規格において使用されたような予測ストラテジ及びデジタル化ピクチャ内のピクセルの階層配置に関して幾つかの定義を想起する。輝度サンプル及びクロミナンスサンプル（ピクセル）の両方が、それぞれ８×８の行列（それぞれ８ピクセルの８行）からなるブロックにグループ分けされ、特定数の輝度ブロック及びクロミナンスブロック（例えば輝度データの４つのブロック及びクロミナンスデータの２つの対応するブロック）はマクロブロックを形成し、前記デジタル化ピクチャはこの場合、マクロブロックの行列を有し、前記マクロブロックの行列のサイズは、選択されたプロファイル（即ち解像度）及び電源周波数に依存し、例えば５０Ｈｚ電源の場合には前記サイズは最小１８×３２のマクロブロックから最大７２×１２０の範囲を取ることができる。ピクチャは、フレーム構造（後の行のピクセルが異なるフィールドに関連する）又はフィールド構造（全てのピクセルが同じフィールドに関連する）を持つことができる。結果としてマクロブロックは同様にフレーム構造又はフィールド構造を持つことができる。ピクチャはピクチャのグループに組織化され、第１ピクチャは常にＩピクチャであり、この後に複数のＢピクチャ（双方向に内挿された（interpolated）ピクチャであり、前方向若しくは後方向予測又は両方に対して提出され、ここで‘前方向’は予測が以前の参照ピクチャに基づくことを意味し、‘後方向’は予測が未来の参照ピクチャに基づくことを意味する）が後に続き、前記Ｂピクチャの予測に使用され、前記Ｉピクチャの直後に符号化されるべきＰピクチャが後に続く。   Before describing FIG. 1 in detail, some definitions will be recalled regarding the prediction strategy as used in the MPEG2 standard and the hierarchical arrangement of pixels in a digitized picture. Both luminance samples and chrominance samples (pixels) are grouped into blocks each consisting of an 8 × 8 matrix (8 rows of 8 pixels each), and a specific number of luminance blocks and chrominance blocks (eg, four blocks of luminance data). And two corresponding blocks of chrominance data) form a macroblock, and the digitized picture in this case has a matrix of macroblocks, the size of the macroblock matrix being the selected profile (ie resolution) Depending on the power frequency, for example, for a 50 Hz power source, the size can range from a minimum of 18 × 32 macroblocks to a maximum of 72 × 120. A picture can have a frame structure (later rows of pixels are associated with different fields) or a field structure (all pixels are associated with the same field). As a result, the macroblock can have a frame structure or a field structure as well. The pictures are organized into groups of pictures, the first picture is always an I picture, followed by a plurality of B pictures (bi-interpolated pictures, forward or backward prediction or both Where the 'forward' means that the prediction is based on the previous reference picture, and 'backward' means that the prediction is based on the future reference picture) followed by the B picture Followed by the P picture to be encoded immediately after the I picture.

図１を参照すると、図示されていないソースは、既にコーディングの順序、即ち予測のために使用するピクチャの前に前記参照ピクチャを利用可能にする順序に配置されたフレームのシーケンス２０１（即ちフレーム構造）を符号化器２００に供給する。完全なフレームシーケンス２０１は、符号化されるピクチャ内の各マクロブロックに対して１つ又は複数の動きベクトル及び各ベクトルに関連付けられたコスト又はエラーを計算し、発する動き推定ユニット（図示されていない）により受信される。符号化器２００は、第１サイド符号化器（サイド符号化器１）２０２と中央符号化器２０４と第２サイド符号化器２０６とを含む。完全なフレームシーケンス２０１はそのまま中央符号化器２０４に加えられる。本実施例において完全なフレームシーケンス２０１の偶数フレームシーケンスサブセット２１０を構成する完全なフレームシーケンス２０１の第１サブセット２１０は、第１サイド符号化器２０２に加えられる。本実施例において完全なフレームシーケンス２０１の奇数フレームシーケンス２２０を構成する完全なフレームシーケンス２０１の第２サブセット２２０は、第２サイド符号化器２０６に加えられる。   Referring to FIG. 1, a source not shown is a sequence of frames 201 (ie a frame structure) already arranged in coding order, ie in order to make the reference pictures available before pictures used for prediction. ) To the encoder 200. A complete frame sequence 201 is a motion estimation unit (not shown) that calculates and emits one or more motion vectors and costs or errors associated with each vector for each macroblock in the picture to be encoded. ). The encoder 200 includes a first side encoder (side encoder 1) 202, a central encoder 204, and a second side encoder 206. The complete frame sequence 201 is added to the central encoder 204 as it is. The first subset 210 of the complete frame sequence 201 that constitutes the even frame sequence subset 210 of the complete frame sequence 201 in this embodiment is applied to the first side encoder 202. The second subset 220 of the complete frame sequence 201 that constitutes the odd frame sequence 220 of the complete frame sequence 201 in this embodiment is applied to the second side encoder 206.

予測符号化動作がここで要約される。   Predictive coding operations are summarized here.

Ａ．第１サイド符号化器２０２
入力シーケンス２０１のサブセットを有する奇数フレームサブシーケンス２１０が第１サイド符号化器２０２に加えられる。第１サイド符号化器２０２は従来の予測コーデック（例えばＭＰＥＧ−１／２／４、Ｈ.２６−１／３）として有利に実施されることができることに注意すべきである。奇数フレームサブシーケンス２１０は符号化された奇数フレームサブシーケンス２１１を出力する第１サイド符号化器２０２により符号化される。符号化された奇数フレームサブシーケンス２１１は、出力されるべき１つの要素として第１データサブストリーム２４５に含まれる。符号化された奇数フレームサブシーケンス２１１は、後で記述される中央符号化器サブモジュール２３０にも入力として供給される。 A. First side encoder 202
An odd frame subsequence 210 having a subset of the input sequence 201 is applied to the first side encoder 202. It should be noted that the first side encoder 202 can be advantageously implemented as a conventional predictive codec (eg, MPEG-1 / 2/4, H.26-1 / 3). The odd frame subsequence 210 is encoded by the first side encoder 202 that outputs the encoded odd frame subsequence 211. The encoded odd frame subsequence 211 is included in the first data substream 245 as one element to be output. The encoded odd frame subsequence 211 is also supplied as an input to the central encoder submodule 230 described later.

Ｂ．第２サイド符号化器２０６
入力シーケンスのサブセット２２０を有する偶数フレームサブシーケンス２２０は第２サイド符号化器２０６に加えられる。第２サイド符号化器２０６も、第１サイド符号化器２０２と同様に、従来の予測コーデック（例えばＭＰＥＧ−１／２／４、Ｈ.２６−１／３）として有利に実施されることができる。偶数フレームサブシーケンス２２０は、符号化された偶数フレームサブシーケンス２１２を出力する第２サイド符号化器２０６により符号化される。符号化された偶数フレームサブシーケンス２１２は、出力されるべき１つの要素として第２データサブストリーム２５５に含まれる。符号化された偶数フレームサブシーケンス２１２は、後で記述される中央符号化器サブモジュール２３２にも入力として供給される。 B. Second side encoder 206
An even frame subsequence 220 having a subset 220 of the input sequence is applied to the second side encoder 206. Similarly to the first side encoder 202, the second side encoder 206 may be advantageously implemented as a conventional prediction codec (eg, MPEG-1 / 2/4, H.26-1 / 3). it can. The even frame subsequence 220 is encoded by the second side encoder 206 that outputs the encoded even frame subsequence 212. The encoded even frame subsequence 212 is included in the second data substream 255 as one element to be output. The encoded even frame sub-sequence 212 is also provided as input to a central encoder sub-module 232 which will be described later.

Ｃ．中央符号化器２０４
完全なフレームシーケンス２０１が中央符号化器２０４に加えられる。 C. Central encoder 204
The complete frame sequence 201 is added to the central encoder 204.

中央符号化器サブモジュール２５０は、動きベクトルの第１セット２１４を計算し、また入力シーケンス２０１の奇数フレームから偶数フレームの予測を構成する偶数フレーム予測シーケンス２１５をも計算及び符号化する。中央符号化器サブモジュール２５０は、偶数フレーム予測シーケンス２１５及び第１動きベクトルシーケンス２１４を出力し、両方とも中央符号化器サブモジュール２３０に入力として供給される。   The central encoder sub-module 250 calculates the first set 214 of motion vectors and also calculates and encodes the even frame prediction sequence 215 that constitutes the prediction of the even frames from the odd frames of the input sequence 201. The central encoder submodule 250 outputs the even frame prediction sequence 215 and the first motion vector sequence 214, both of which are provided as inputs to the central encoder submodule 230.

中央符号化器サブモジュール２６０は、動きベクトルの第２セット２１６を計算し、入力シーケンス２０１の偶数フレームから奇数フレームの予測を構成する奇数フレーム予測シーケンス２１７をも計算及び符号化する。中央符号化器サブモジュール２５０は、奇数フレーム予測シーケンス２１７及び第２動きベクトルシーケンス２１６を出力し、両方とも中央符号化器サブモジュール２３０に入力として供給される。   The central encoder sub-module 260 calculates the second set of motion vectors 216 and also calculates and encodes the odd frame prediction sequence 217 that constitutes the prediction of the odd frames from the even frames of the input sequence 201. The central encoder submodule 250 outputs the odd frame prediction sequence 217 and the second motion vector sequence 216, both of which are provided as inputs to the central encoder submodule 230.

中央符号化器サブモジュール２３０は２つの機能又は処理を実行する。第１処理は、サブモジュール２５０から受信された動きベクトルの第１セット２１４を符号化して符号化された動きベクトルの第１セット２１８を出力することを目的とする。第２機能又は処理は、第１予測誤差２２１を計算することを目的とし、以下のように計算されることができる。
第１予測誤差＝ｅc−ｅs （１）
ここでｅc＝偶数フレーム予測フレームシーケンス２１５であり、
ｅs＝符号化された奇数フレームサブシーケンス２１１である。 The central encoder submodule 230 performs two functions or processes. The first process is intended to encode the first set 214 of motion vectors received from the submodule 250 and output a first set 218 of encoded motion vectors. The second function or process aims at calculating the first prediction error 221 and can be calculated as follows.
First prediction error = e c −e s (1)
Where e c = even frame predicted frame sequence 215;
e s = encoded odd frame subsequence 211

中央符号化器サブモジュール２３０の出力は、符号化された動きベクトルの第１セット２１８と共に符号化された第１予測誤差２２１を含む。これらの出力は符号化された奇数フレームシーケンス２１１と結合され（ポイントＡ）、第１データサブストリーム２４５としてまとめて出力される。   The output of the central encoder sub-module 230 includes a first prediction error 221 encoded with a first set 218 of encoded motion vectors. These outputs are combined with the encoded odd frame sequence 211 (point A) and output together as a first data substream 245.

同様に、前記第２予測誤差は、以下のように第２データサブストリーム２５５への包含のために計算される。
第２予測誤差＝ｅc−ｅs （２）
ここでｅc＝奇数フレーム予測フレームシーケンス２１７であり、
ｅs＝符号化された偶数フレームサブシーケンス２１２である。 Similarly, the second prediction error is calculated for inclusion in the second data substream 255 as follows.
Second prediction error = e c −e s (2)
Where e c = odd frame prediction frame sequence 217;
e s = encoded even frame subsequence 212.

中央符号化器サブモジュール２３２の出力は、符号化された動きベクトルの第２セット２１９と共に符号化された第２予測誤差２２２を含む。これらの出力は符号化された偶数フレームシーケンス２１２と結合され（ポイントＢ）、第２データサブストリーム２５５として出力される。   The output of the central encoder sub-module 232 includes a second prediction error 222 that is encoded with a second set 219 of encoded motion vectors. These outputs are combined with the encoded even frame sequence 212 (point B) and output as a second data substream 255.

本発明の好適な実施例の前述の記載は、実例及び説明の目的で提示されている。これらの実施例は、網羅的であること又は本発明を開示された厳格な形式に限定することを意図されておらず、明らかに多くの修正例及び変更例が上述の教えを考慮して可能である。当業者に明らかであるこのような修正例及び変更例は、添付請求項により定められた本発明の範囲内に含まれると意図される。   The foregoing description of the preferred embodiment of the present invention has been presented for purposes of illustration and description. These examples are not intended to be exhaustive or to limit the invention to the precise form disclosed, and obviously many modifications and variations are possible in light of the above teaching. It is. Such modifications and variations that may be apparent to a person skilled in the art are intended to be included within the scope of this invention as defined by the accompanying claims.

本発明の一実施例によるＭＤＭＣ符号化器を図示する。2 illustrates an MDMC encoder according to one embodiment of the present invention.

Claims (15)

入力フレームシーケンスを符号化する符号化方法において、
ａ）前記入力フレームシーケンスからの第１フレームサブシーケンスを符号化し、符号化された第１フレームサブシーケンスを生成するステップと、
ｂ）前記入力フレームシーケンスからの第２フレームサブシーケンスを符号化し、符号化された第２フレームサブシーケンスを生成するステップと、
ｃ）前記第２フレームサブシーケンスから第１予測フレームシーケンスを計算するステップと、
ｄ）前記第１フレームサブシーケンスから第２予測フレームシーケンスを計算するステップと、
ｅ）前記第１予測フレームシーケンスから第１動きベクトルセットを計算するステップと、
ｆ）前記第２予測フレームシーケンスから第２動きベクトルセットを計算するステップと、
ｇ）前記第１予測フレームシーケンスと前記符号化された第１フレームサブシーケンスとの間のエラー差として第１予測誤差を計算するステップと、
ｈ）前記第２予測フレームシーケンスと前記符号化された第２フレームサブシーケンスとの間のエラー差として第２予測誤差を計算するステップと、
ｉ）前記第１予測誤差、前記第２予測誤差、前記第１動きベクトルセット及び前記第２動きベクトルセットを符号化するステップと、
ｊ）ネットワーク状況を決定するステップと、
ｋ）前記決定されたネットワーク状況に応じて、前記符号化された第１予測誤差、前記符号化された第１動きベクトルセット及び前記符号化された第１フレームサブシーケンスを第１データサブストリームとしてスケーラブルに結合するステップと、
ｌ）前記決定されたネットワーク状況に応じて、前記符号化された第２予測誤差、前記符号化された第２動きベクトルセット及び前記符号化された第２フレームサブシーケンスを第２データサブストリームとしてスケーラブルに結合するステップと、
ｍ）前記第１データサブストリーム及び前記第２データサブストリームを独立に送信するステップと、
を有する方法。 In an encoding method for encoding an input frame sequence,
a) encoding a first frame subsequence from the input frame sequence to generate an encoded first frame subsequence;
b) encoding a second frame subsequence from the input frame sequence to generate an encoded second frame subsequence;
c) calculating a first predicted frame sequence from the second frame subsequence;
d) calculating a second predicted frame sequence from the first frame subsequence;
e) calculating a first motion vector set from the first predicted frame sequence;
f) calculating a second motion vector set from the second predicted frame sequence;
g) calculating a first prediction error as an error difference between the first prediction frame sequence and the encoded first frame subsequence;
h) calculating a second prediction error as an error difference between the second prediction frame sequence and the encoded second frame subsequence;
i) encoding the first prediction error, the second prediction error, the first motion vector set, and the second motion vector set;
j) determining the network status;
k) Depending on the determined network situation, the encoded first prediction error, the encoded first motion vector set, and the encoded first frame subsequence as a first data substream. A step for scalable coupling;
l) Depending on the determined network situation, the encoded second prediction error, the encoded second motion vector set, and the encoded second frame subsequence as a second data substream. A step for scalable coupling;
m) independently transmitting the first data substream and the second data substream;
Having a method. 前記決定されたネットワーク状況が通信路の帯域幅の決定である、請求項１に記載の方法。   The method of claim 1, wherein the determined network condition is a determination of a bandwidth of a communication path. 前記ステップ（ａ）の前に前記入力フレームシーケンスを所定のコーディング順序に配置する事前ステップを含む、請求項１に記載の方法。   The method of claim 1, comprising a prior step of placing the input frame sequence in a predetermined coding order prior to the step (a). 前記第１フレームサブシーケンスが、前記入力フレームシーケンスからの奇数フレームのみを有する、請求項１に記載の方法。   The method of claim 1, wherein the first frame subsequence has only odd frames from the input frame sequence. 前記第２フレームサブシーケンスが、前記入力フレームシーケンスからの偶数フレームのみを有する、請求項１に記載の方法。   The method of claim 1, wherein the second frame subsequence comprises only even frames from the input frame sequence. 前記第２フレームサブシーケンスが、前記第１フレームサブシーケンスに含まれない前記入力フレームシーケンスからのフレームを含む、請求項１に記載の方法。   The method of claim 1, wherein the second frame subsequence includes frames from the input frame sequence that are not included in the first frame subsequence. 前記第１フレームサブシーケンス及び前記第２フレームサブシーケンスが、ユーザプリファレンスに応じて選択される、請求項１に記載の方法。   The method of claim 1, wherein the first frame subsequence and the second frame subsequence are selected according to user preferences. 前記入力フレームシーケンスがイントラフレームと予測フレームと双方向フレームとを含む、請求項１に記載の方法。   The method of claim 1, wherein the input frame sequence includes an intra frame, a prediction frame, and a bidirectional frame. 入力フレームシーケンスを符号化する符号化器において、
ａ）第１サイド符号化器において前記入力フレームシーケンスからの第１フレームサブシーケンスを符号化する手段と、
ｂ）第２サイド符号化器において前記入力フレームシーケンスからの第２フレームサブシーケンスを符号化する手段と、
ｃ）中央符号化器において前記第２フレームサブシーケンスから第１予測フレームシーケンスを計算する手段と、
ｄ）前記中央符号化器において前記第１フレームサブシーケンスから第２予測フレームシーケンスを計算する手段と、
ｅ）前記中央符号化器において前記第１予測フレームシーケンスから第１動きベクトルセットを計算する手段と、
ｆ）前記中央符号化器において前記第２予測フレームシーケンスから第２動きベクトルセットを計算する手段と、
ｇ）前記中央符号化器において前記第１予測フレームシーケンスと前記符号化された第１フレームサブシーケンスとの間のエラー差として第１予測誤差を計算する手段と、
ｈ）前記中央符号化器において前記第２予測フレームシーケンスと前記符号化された第２フレームサブシーケンスとの間のエラー差として第２予測誤差を計算する手段と、
ｉ）前記中央符号化器において前記第１予測誤差、前記第２予測誤差、前記第１動きベクトルセット及び前記第２動きベクトルセットを符号化する手段と、
ｊ）ネットワーク状況を決定する手段と、
ｋ）前記決定されたネットワーク状況に応じて、前記符号化された第１予測誤差、前記符号化された第１動きベクトルセット及び前記符号化された第１フレームサブシーケンスを第１データサブストリームとしてスケーラブルに結合する手段と、
ｌ）前記決定されたネットワーク状況に応じて、前記符号化された第２予測誤差、前記符号化された第２動きベクトルセット及び前記符号化された第２フレームサブシーケンスを第２データサブストリームとしてスケーラブルに結合する手段と、
ｍ）前記符号化器から前記第１データサブストリーム及び前記第２データサブストリームを独立に送信する手段と、
を有する符号化器。 In an encoder for encoding an input frame sequence,
a) means for encoding a first frame subsequence from the input frame sequence in a first side encoder;
b) means for encoding a second frame sub-sequence from the input frame sequence in a second side encoder;
c) means for calculating a first predicted frame sequence from the second frame subsequence in the central encoder;
d) means for calculating a second predicted frame sequence from the first frame subsequence in the central encoder;
e) means for calculating a first motion vector set from the first predicted frame sequence in the central encoder;
f) means for calculating a second motion vector set from the second predicted frame sequence in the central encoder;
g) means for calculating a first prediction error as an error difference between the first prediction frame sequence and the encoded first frame subsequence in the central encoder;
h) means for calculating a second prediction error as an error difference between the second prediction frame sequence and the encoded second frame subsequence in the central encoder;
i) means for encoding the first prediction error, the second prediction error, the first motion vector set, and the second motion vector set in the central encoder;
j) means for determining the network status;
k) Depending on the determined network situation, the encoded first prediction error, the encoded first motion vector set, and the encoded first frame subsequence as a first data substream. A means of scalable coupling;
l) Depending on the determined network situation, the encoded second prediction error, the encoded second motion vector set, and the encoded second frame subsequence as a second data substream. A means of scalable coupling;
m) means for independently transmitting the first data substream and the second data substream from the encoder;
An encoder. 前記第１サイド符号化器、前記第２サイド符号化器及び前記中央符号化器が従来の予測符号化器である、請求項９に記載の符号化器。   The encoder of claim 9, wherein the first side encoder, the second side encoder, and the central encoder are conventional predictive encoders. 前記第１サイド符号化器、前記第２サイド符号化器及び前記中央符号化器がスケーラブル符号化器である、請求項１０に記載の符号化器。   The encoder according to claim 10, wherein the first side encoder, the second side encoder, and the central encoder are scalable encoders. 前記従来の予測符号化器が、ＭＰＥＧ１符号化器と、ＭＰＥＧ２符号化器と、ＭＰＥＧ４符号化器と、ＭＰＥＧ７符号化器と、Ｈ.２６１符号化器と、Ｈ.２６２符号化器と、Ｈ.２６３符号化器と、Ｈ.２６３＋符号化器と、Ｈ.２６３＋＋符号化器と、Ｈ.２６Ｌ符号化器とを含む符号化器のグループから選択された符号化器である、請求項１０に記載の符号化器。   The conventional predictive encoder includes an MPEG1 encoder, an MPEG2 encoder, an MPEG4 encoder, an MPEG7 encoder, an H.261 encoder, an H.262 encoder, and an H.262 encoder. 11. An encoder selected from the group of encoders including a .263 encoder, an H.263 + encoder, an H.263 ++ encoder, and an H.26L encoder. The encoder described in 1. 前記符号化器が無線ネットワークの遠隔通信トランスミッタ内に含まれる、請求項９に記載の符号化器。   The encoder of claim 9, wherein the encoder is included in a telecommunication transmitter of a wireless network. 入力フレームシーケンスを符号化するシステムにおいて、
前記入力フレームシーケンスからの第１フレームサブシーケンスを符号化し、符号化された第１フレームサブシーケンスを生成する手段と、
前記入力フレームシーケンスからの第２フレームサブシーケンスを符号化し、符号化された第２フレームサブシーケンスを生成する手段と、
前記第２フレームサブシーケンスから第１予測フレームシーケンスを計算する手段と、
前記第１フレームサブシーケンスから第２予測フレームシーケンスを計算する手段と、
前記第１予測フレームシーケンスから第１動きベクトルセットを計算する手段と、
前記第２予測フレームシーケンスから第２動きベクトルセットを計算する手段と、
前記第１予測フレームシーケンスと前記符号化された第１フレームサブシーケンスとの間のエラー差として第１予測誤差を計算する手段と、
前記第２予測フレームシーケンスと前記符号化された第２フレームサブシーケンスとの間のエラー差として第２予測誤差を計算する手段と、
前記第１予測誤差、前記第２予測誤差、前記第１動きベクトルセット及び前記第２動きベクトルセットを符号化する手段と、
ネットワーク状況を決定する手段と、
前記決定されたネットワーク状況に応じて、前記符号化された第１予測誤差、前記符号化された第１動きベクトルセット及び前記符号化された第１フレームサブシーケンスを第１データサブストリームとしてスケーラブルに結合する手段と、
前記決定されたネットワーク状況に応じて、前記符号化された第２予測誤差、前記符号化された第２動きベクトルセット及び前記符号化された第２フレームサブシーケンスを第２データサブストリームとしてスケーラブルに結合する手段と、
前記第１データサブストリーム及び前記第２データサブストリームを独立に送信する手段と、
を有するシステム。 In a system for encoding an input frame sequence,
Means for encoding a first frame subsequence from the input frame sequence and generating an encoded first frame subsequence;
Means for encoding a second frame subsequence from the input frame sequence and generating an encoded second frame subsequence;
Means for calculating a first predicted frame sequence from the second frame subsequence;
Means for calculating a second predicted frame sequence from the first frame subsequence;
Means for calculating a first motion vector set from the first predicted frame sequence;
Means for calculating a second motion vector set from the second predicted frame sequence;
Means for calculating a first prediction error as an error difference between the first prediction frame sequence and the encoded first frame subsequence;
Means for calculating a second prediction error as an error difference between the second prediction frame sequence and the encoded second frame subsequence;
Means for encoding the first prediction error, the second prediction error, the first motion vector set, and the second motion vector set;
A means of determining network status;
Depending on the determined network situation, the encoded first prediction error, the encoded first motion vector set, and the encoded first frame subsequence are scalable as a first data substream. A means of combining;
Depending on the determined network situation, the encoded second prediction error, the encoded second motion vector set, and the encoded second frame subsequence are scalable as a second data substream. A means of combining;
Means for independently transmitting the first data substream and the second data substream;
Having a system. 前記入力フレームシーケンスを所定のコーディング順序に配置する手段を更に含む、請求項１４に記載のシステム。   The system of claim 14, further comprising means for arranging the input frame sequence in a predetermined coding order.
JP2004525701A 2002-07-31 2003-07-24 Method and apparatus for performing multiple description motion compensation using hybrid prediction code Pending JP2005535219A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US39975502P 2002-07-31 2002-07-31
US46178003P 2003-04-10 2003-04-10
PCT/IB2003/003436 WO2004014083A1 (en) 2002-07-31 2003-07-24 Method and apparatus for performing multiple description motion compensation using hybrid predictive codes

Publications (1)

Publication Number Publication Date
JP2005535219A true JP2005535219A (en) 2005-11-17

Family

ID=31498603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004525701A Pending JP2005535219A (en) 2002-07-31 2003-07-24 Method and apparatus for performing multiple description motion compensation using hybrid prediction code

Country Status (6)

Country Link
EP (1) EP1527607A1 (en)
JP (1) JP2005535219A (en)
KR (1) KR20050031460A (en)
CN (1) CN1672421A (en)
AU (1) AU2003249461A1 (en)
WO (1) WO2004014083A1 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1574995A1 (en) * 2004-03-12 2005-09-14 Thomson Licensing S.A. Method for encoding interlaced digital video data
EP1638337A1 (en) 2004-09-16 2006-03-22 STMicroelectronics S.r.l. Method and system for multiple description coding and computer program product therefor
ITTO20040780A1 (en) 2004-11-09 2005-02-09 St Microelectronics Srl PROCEDURE AND SYSTEM FOR THE TREATMENT OF SIGNALS TO MULTIPLE DESCRIPTIONS, ITS COMPUTER PRODUCT
CN101065913B (en) * 2004-11-17 2011-08-10 皇家飞利浦电子股份有限公司 Robust wireless multimedia transmission in multiple input multiple output (mimo) system assisted by channel state information
US7536299B2 (en) * 2005-12-19 2009-05-19 Dolby Laboratories Licensing Corporation Correlating and decorrelating transforms for multiple description coding systems
EP1879399A1 (en) 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
US8897322B1 (en) * 2007-09-20 2014-11-25 Sprint Communications Company L.P. Enhancing video quality for broadcast video services
CN101420607B (en) * 2007-10-26 2010-11-10 华为技术有限公司 Method and apparatus for multi-description encoding and decoding based on frame
WO2014158049A1 (en) 2013-03-28 2014-10-02 Huawei Technologies Co., Ltd Method for protecting a video frame sequence against packet loss
CN107027028B (en) * 2017-03-28 2019-05-28 山东师范大学 Random offset based on JND quantifies multiple description coded, decoded method and system
CN106961607B (en) * 2017-03-28 2019-05-28 山东师范大学 Time-domain lapped transform based on JND is multiple description coded, decoded method and system
CN110740380A (en) * 2019-10-16 2020-01-31 腾讯科技（深圳）有限公司 Video processing method and device, storage medium and electronic device
CN114640867A (en) * 2022-05-20 2022-06-17 广州万协通信息技术有限公司 Video data processing method and device based on video stream authentication

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding

Also Published As

Publication number Publication date
AU2003249461A1 (en) 2004-02-23
KR20050031460A (en) 2005-04-06
CN1672421A (en) 2005-09-21
WO2004014083A1 (en) 2004-02-12
EP1527607A1 (en) 2005-05-04

Similar Documents

Publication Publication Date Title
US8442120B2 (en) System and method for thinning of scalable video coding bit-streams
AU2007214423B2 (en) System and method for thinning of scalable video coding bit-streams
RU2475998C2 (en) Multi-level structure of coded bitstream
US9307199B2 (en) System and method for providing error resilience, random access and rate control in scalable video communications
Reibman et al. Multiple-description video coding using motion-compensated temporal prediction
US7103669B2 (en) Video communication method and system employing multiple state encoding and path diversity
JP6309463B2 (en) System and method for providing error resilience, random access, and rate control in scalable video communication
WO2007103889A2 (en) System and method for providing error resilience, random access and rate control in scalable video communications
JP2009540625A6 (en) System and method for thinning a scalable video coding bitstream
CA2540576A1 (en) System for encoding video data and system for decoding video data
JP2008521303A5 (en)
KR100952185B1 (en) System and method for drift-free fractional multiple description channel coding of video using forward error correction codes
JP2005535219A (en) Method and apparatus for performing multiple description motion compensation using hybrid prediction code
US20060093031A1 (en) Method and apparatus for performing multiple description motion compensation using hybrid predictive codes
US20080008241A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
Zhang et al. Efficient error recovery for multiple description video coding
US20070242747A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070223573A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070280354A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
JP5080265B2 (en) Encoding method, decoding method, encoding device, and decoding device
Shiu et al. A DCT-domain H. 263 based video combiner for multipoint continuous presence video conferencing
KR100690710B1 (en) Method for transmitting moving picture
AU2011254031B2 (en) System and method for providing error resilience, random access and rate control in scalable video communications
Jiang et al. New multiple description scalable video coding based on redundant wavelet
Zhang Robust scalable video compression using multiple description coding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090813

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100126