JP5374768B2 - 追加的なネットワーク抽象化層(nal)を用いるマルチメディア・データの保護方法 - Google Patents

追加的なネットワーク抽象化層(nal)を用いるマルチメディア・データの保護方法 Download PDF

Info

Publication number
JP5374768B2
JP5374768B2 JP2008558810A JP2008558810A JP5374768B2 JP 5374768 B2 JP5374768 B2 JP 5374768B2 JP 2008558810 A JP2008558810 A JP 2008558810A JP 2008558810 A JP2008558810 A JP 2008558810A JP 5374768 B2 JP5374768 B2 JP 5374768B2
Authority
JP
Japan
Prior art keywords
nal
data
redundant
redundancy
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008558810A
Other languages
English (en)
Other versions
JP2009530881A (ja
Inventor
ラミー−ベルゴ、カトリーヌ
ベルジュロン、シリル
Original Assignee
テールズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テールズ filed Critical テールズ
Publication of JP2009530881A publication Critical patent/JP2009530881A/ja
Application granted granted Critical
Publication of JP5374768B2 publication Critical patent/JP5374768B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00Arrangements for synchronising receiver with transmitter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0078Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
    • H04L1/0083Formatting with frames or packets; Protocol or part of protocol for error control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056Systems characterized by the type of code used
    • H04L1/0057Block codes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0072Error control for data other than payload data, e.g. control data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0075Transmission of coding parameters to receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Error Detection And Correction (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明はとりわけ、追加的なネットワーク抽象化層を流れの中に挿入することにより、マルチメディア・データの保護を可能にする方法に関する。
さらに詳しくは、本発明は穏当な、そしてネットワーク用途により容易に適用できる使用の複雑さを有する一方で、ISO MPEGと、以前のビデオ規格(例えばH.263、MPEG−2)よりも効果的な圧縮を備えるビデオ規格である、H.264又はMPEG−4 AVC(進んだビデオコーディング(Advanced Video Coding))と呼ばれるITU−T(国際電気通信連合・電気通信標準化部門)のビデオコーディング・グループ(VCEG)とによって共同で定義された規格を用いる用途に適用され得る。
2003年5月に制定された、ITU−T準拠書類(JVT−G050r1)の最終版は、今までに知られている最も効果的なツールの、ビデオコーディングの態様のみを規定している。H.264により目指される主な用途は
・1Mb/s未満のビット速度を有する、有線又は無線(UMTS等)を通じたリアルタイムの二重通信(duplex)音声サービス(テレビ電話技術)と、
・現状のビデオサービス、又は衛星を経由する高品質ビデオサービス、xDSL、あるいは1〜8Mb/sのビット速度を有するDVDと、
・インターネットのような低いビット速度(<2Mb/s)を有する低品質ビデオと
である。
規格への拡張は、特に高解像度テレビジョン(高精細・高画質)用、又は拡張性機能(SVC又は拡張性のあるビデオコーディング・グループ)の挿入のために、現在検討されている。
伝送及びデコーディングの間に遭遇するエラーのタイプは、従来の民間チャンネル(例えばUMTS、WiFi、WiMaxにおける伝送)から軍のチャンネル(例えばHF)への、無線系統のような伝送チャンネルにより導入されるエラーに相当し得る。これらのエラーは「パケット・ロス(packet loss)」タイプ(ビット又はバイトのシーケンスのロス)の可能性があり、「ビットエラー」(ランダムな、又はバーストの一つ以上のビット又はバイトの可能な反転)、「クリア」(一つ、幾つか、又は一連のビット又はバイトの、既知の大きさ又は位置のロス)その他が、これらの様々な故障の混合からもたらされ得る。
特に同期マーカーがNAL(ネットワーク抽象化層)の初めだけに存在する、H.264/AVCのような規格において、可変長符号の誤差感度は良く知られており、その壊滅的な挙動は悪名が高い。その伝送チャンネルはノイズを誘起して、伝送された流れの中に消えて行き、とりわけエラーに導く。
過剰なエラー伝播を防止する良い方法は、それらが生じた時に検出でき、可能ならばそれらを単に覆い隠すだけでなく訂正できることである。
エラーの存在からもたらされる問題を緩和するための先行技術によって使用される方法は、主として
−それがソース(多重記述による符号化、分配された符号化、「冗長スライス」の使用)のレベルにあるか、ネットワーク(ARQ(自動再送要求)タイプの反復、FEC冗長性の追加)のレベルにあるか、又は無線アクセス(FEC)のレベルにあるかにかかわらず、第二のチャンネル又は第二の流れを介した追加的な冗長性と、
−適合性の問題(稀有であり、むしろ学問的又は理論的作業の中に存在する)を考慮しない、最初の流れへの冗長性の直接的な追加と
に基づく。
従って多重記述符号化により得られる「冗長スライス」、又は様々な基準点あるいは圧縮係数を有する圧縮符号化に基づき、誤り訂正符号化の原理に基づかない「冗長スライス」を追加することが可能である。
それゆえエラーが存在する場合、冗長スライスの使用は、その複製を復号することにより、損なわれた画像を(多かれ少なかれ効果的に)復号することを実際に可能にするであろう。他方で、エラーがパケットエラーあるいはビットエラーにかかわらず、これは現われ得たエラーの訂正を可能にしないであろう。
本発明は伝送される情報構造が、使用されるデータのカプセル化構造、同期化情報を搬送する新たな構造を作り出すための基礎として役立ち得る構造の形であり、同期化がそこにおいて生じる長さを増加させるために、その内容及び流れの中での位置がデコーダに知られている、少なくとも一つの追加的なNALをユーザーがデータストリームに加えるステップを含むことを特徴とする、伝送システムにおけるデータ保護のための方法に関する。
伝送される情報の構造は、例えばユーザーが冗長性及び以下のために必要な情報を含む、少なくとも一つのそのような追加的構造をそこに追加するステップをそれが含むことを特徴とする、使用されるデータのカプセル化構造、誤り訂正情報を搬送する新たな構造を作り出すための基礎として用いられ得る構造の形である。
・冗長構造としての追加的構造の識別と、
・それに冗長性が関連する初期データ構造の識別と、
・データ伝送に用いられる誤り訂正コード。
該データは、例えばH.264規格により符号化されたマルチメディア・データであり、該データはネットワーク抽象化層又はNALタイプの構造にカプセル化され、ユーザーは以下のために必要な情報を含む少なくとも一つの冗長NALを挿入する。
・冗長NALとしての構造の識別と、
・それに冗長性が関連する初期データ構造の識別と、
・データ伝送に用いられる誤り訂正コード。
冗長NALは初期の圧縮符号化演算の間に追加され得る。
冗長NALは、例えば伝送されるべきデータがコード変換器に入る時に追加される。
冗長NALは、(ビデオデータの)情報のNAL及び冗長NALのヘッダが、使用される誤り訂正コードを示す領域を備える前に配置され得る。
例えば、冗長NALのヘッダにおいて、ユーザーはそれに冗長性が適用されるビデオNALの番号を示す領域を含む。
それに冗長NALが適用される様々なNALの番号を示す領域を、冗長NALのヘッダに追加することが可能である。
例えば、リード−ソロモン・コード(Reed−Solomon code)が誤り訂正コードとして用いられる。
本発明はまた、伝送される情報構造が、使用されるデータのカプセル化構造、同期化情報を搬送する新たな構造を作り出すための基礎として用いられ得る構造の形であり、それが上記に規定された方法のステップを実行するために適したプロセッサを備える、少なくとも一つのエンコーダを含むことを特徴とする、伝送システムにおけるデータ保護のための装置に関する。
本発明はとりわけ以下の利点を有する。
・ユーザーがもはや低い層に依存しないため、それは使用されるビデオ規格及び伝送チェーンの残りに引き続き準拠し続けながら、適用レベル、従ってビデオ符号化装置の出来る限り近くにおける保護を可能にし、
・それは問題のビデオ規格(H.264AVC)との適合性を確保し、
・それは設置の容易さ及び、現行の解決策に関する透明性を備え、
・それはエラーに対する保護の増加を可能にする。
本発明のその他の特徴及び利点は、図の付加と共に、一つの例示として、及び何ら制限されずに与えられる例示的実施形態の記述を読むことによって、より明確に現われるであろう。
本発明はとりわけH.264/AVC規格により圧縮されたデータのエラーに対する保護に関する。
とりわけ、それはビデオ規格への適合性を保ちつつ、流れを残留エラーに対して保護するため冗長性を挿入するように、H.264/AVC規格のネットワーク抽象化層又はNAL構造を用いることに関する。
本発明はまた、コンテキストの符号化又は最終のレンダリング(例えば視覚的インパクト)の条件に適合しつつ、特にビットを識別出来る特徴を有するマルチメディア規格又は方法にも適用される。
本発明は流れをエラーに対してより堅固にすることができる、同期化、冗長情報を搬送する新たな構造を作り出すための基礎として再利用され得る、少なくとも一つのペイロード・データのカプセル化構造を有する、全ての規格に適用し得る。
要約すると、本発明は例えば次の二つの形態を有する。
1.初期にパディングのために備えられる、典型的にはタイプ12のNALのような特別な情報のない、又は「ブランク」NALの使用と、
2.冗長性を運ぶ追加的なNALの追加(使用されるエンコーダの情報を含み、ペイロードとして送信器側で生成される冗長性を運ぶ、新たなタイプのNALの導入)。
(タイプにかかわらず)冗長性のこの追加は、初期の圧縮符号化演算の間に直接的に行なわれるか、又はコード変換器への入力の間に追加され得る。事実、ビットストリームの構造を翻訳できるコード変換器は、必要に応じて流れのフォーマット、ビット速度、解像度を変えるために、該構造の変更をもまた可能にするツールである。そのようなツールも、それゆえ冗長性を追加し、あるいはこれを除去するために本発明の文脈の中で使用され得る。冗長性のこの追加は幾つかのタイプであり得る。
a)ビットのロス又は消去に対して闘うための、NALごとの冗長性。情報NALはそのとき冗長NALにより保護される。
b)パケットのロスに対して闘うための、NALを横断する冗長性。
NALのシンタックス(構文)
H.264/AVCのビットストリームは、フォーマット0x00...0x00 0x01(少なくとも3バイト)を有する開始コードにより分離された、幾つかのネットワーク抽象化層又はNALへと分割される。流れ内の最初の二つのNALは、復号されるべきビデオに対する全体的情報を含み、第一のNALはSPS(シーケンス・パラメータ・セット)であり、第二のNALは画像のパラメータ又は英語の“Picture Parameter Set(画像パラメータ・セット)”に関するPPSである。
SPSのNALはシーケンスの残りを復号するために必要な情報(マクロブロック・フレーム又は領域、基準画像のバッファメモリ・サイズ、画像順のカウンター・タイプ、IDCのレベル及び構成)を含む。
PPSのNALはデコーディングに必要な値の残り(圧縮のタイプ(算術符号化又は可変長符号化)、可能な基準画像の数、重み付けされた予測フラッグ、初期偏位及び彩度偏移の量子化パラメータ)を含む。符号化の間に、幾つかのタイプのパラメータ・セットが使用されてもよく(変化は常に画像のグループ又はGOPの初めにおいて生じる)、それは各々の新しいパラメータ・セットが識別されなければならないことを意味する。単純化のため、及び一般化のロスなしに、以下に与えられる例はシーケンスの初めに、一つだけのSPS層及び一つだけのPPS層が生成されている場合を考えるであろう。
これら最初の二つのNALを復号した後に、デコーダは画像の部分又は「スライス(slices)」に対応する実際のビデオデータを受け取る。このデータは(該スライスが全てのタイプ2、3及び/又は4のNALに対応する、データ分割モードの中にユーザーがいる場合における、従来言語の誤用により、)該スライスの中に符号化されたマクロブロックを含むスライス・ヘッダ及びスライス・データを備える、タイプ5のNAL(IDR)、又はタイプ1(パーティションで分割されず、IDRでないビデオデータ)のNAL、あるいはパーティションで分割されたビデオデータに対するタイプ2、3及び/又は4のNALに含まれる。
ヘッダはデータの翻訳を可能にする情報を含む。該情報は第一のマクロブロックの番号、復号されるべきスライスのタイプ(I、P、SI/SP、又はB)、使用されるべき画像パラメータ・セット、現在のフレーム番号、現在のフレームのタイプ(例えばそれはIDRフレームであるかどうか)、及びPOCを与える。次に該スライスのタイプに依存するデータが続く。
それゆえ、スライス・ヘッダIはとりわけ長期の基準として、問題のフレームの可能な使用に対する情報を含む。同様に、スライス・ヘッダPはとりわけ基準の情報(基準の画像リストを再配列することが必要か否かを示す基準の画像及びフラッグの数、短期間の基準画像を長期間の基準画像に切り換える機能を有する、適合できる基準バッファメモリの使用)を含む。最後に、スライス・ヘッダ(I及びP双方)の重要なシンタックスの要素の一つは、該スライス全体に有効な追加の量子化パラメータ(Slice_QP_Delta)である。
スライスの追加:「ブランク」NALの場合
本発明のアイデアはとりわけ、それに相関技術が適用されるメッセージの長さを増加させるために、(それらが追加の有用な情報を運ばないという意味で)一つ以上の冗長NALを用いることである。
これは例えば「ペイロード」部分が1で満たされる、パディングNALとしてH.264規格において定義された、タイプ12のNALを用いることによりなされ得る。次に、該NALは完全に知られている(そのヘッダは標準であり、データ部分は1で満たされている)ため、それはあらゆるビデオデータNAL及びNAL12のグループの前に置かれることができ、データNALの開始ワード(開始コード)は従って、それに対して相関が行なわれ得るスーパー開始ワード(又は「スーパー開始コード(super start−code)」)として見られ得る。相関を3又は4バイト(通常の開始コードのサイズ)に対してではなく、10バイト程度に対して作ることにより、ノイズがある場合の誤警報のリスクは大幅に低減され、従ってバイナリ・エラーによって乱された、ビデオデータNALの開始の検出を改善することが可能である。
これは蓄えられた値から選ばれる別のタイプのNALの使用へと一般化され得る。実際に、この追加的なNAL(例えば冗長情報)を用いて他の情報を搬送することが必要とされない場合、弱いエンコーダの故障(例えば定義されていないNALの値に遭遇した後のクラッシュ)のリスクを防止する、予め定義された(それゆえエンコーダ及びデコーダに知られている)NALを用いることが望ましい。
NALのサイズ自体は自由に決定されることができ、伝送条件に適合され得る(導入された効率のロスに関して、得ることが望まれる相関能力への適合)。それはデフォルトにより固定され得るか、又は例えば該NALの長さと次のNALのタイプとの間の結び付きを確立することにより、追加の情報を運ぶために用いられ得る。
FEC:リード−ソロモン・コードを用いるコード訂正の例
誤り訂正コードは、例えば記憶の用途(例えばCD−Rom)、又は勿論エラーの傾向がある伝送チャンネルにわたって行なわれる無線伝送の分野といった多くの用途で用いられる技術である。その原理はデータが損なわれたか、失われたビットが存在しているか、あるいはビットの値が変更されているか(0と1の反転又はその逆)どうかを、デコーダが検証出来るようにするであろう冗長性をデータに加えることである。この考えは、デコーディングにおいてエラーのビット及びエラーのパケットの影響を減らすためである。
また順方向誤り訂正(FEC)(=Forward Error Correction)と呼ばれる誤り訂正コードが、幾つかのレベルで導入され得る。通常、それは伝送チャンネル又はネットワーク上で実行されるが、しかしそれはアプリケーションのレベルにおいて(典型的にはソースの符号化演算において)また含まれ得る。これは保護されるべきデータと直接結ばれた誤り訂正FECを適用することが必要とされるとき、特に価値がある。
FECコードの良く知られた例は、デジタル通信(無線及び衛星通信、デジタルビデオ放送DVB、ADSL)及び記憶媒体(CD、DVD、バーコード)において使用されるリード−ソロモン・コードである。これらのコードはBCHコードの部分的集合であり、線形ブロック・コードである。リード−ソロモン・コードはmビットの記号を有するRS(n,k)コードとして規定される。
これは符号器が各mビットのk個のデータ記号を取り、それがn個の記号の符号語を作るためにパリティ記号を加えることを意味する。各mビットの(n−k)個のパリティ記号が存在する。リード−ソロモン・デコーダは2t=n−kにおいて、符号語にエラーを含むt個の記号(t:整数)まで訂正できる。
スライスの追加:「満たされた」NALの場合
上記に定められたように、ビデオコーディング層(VCL)とも呼ばれるビデオデータは、ネットワーク抽象化層又はNALを生成するために、NALヘッダによりカプセル化される。このヘッダは通常、以下を含む単一のバイトから成る。
・ゼロに等しくなければならない禁止ビット。
・NALに含まれるVCLに対して情報を与える2ビット。それがゼロに等しい場合、該スライスは基準として使用されないであろう。
・それが含むスライスのタイプ(IDR、データ分割、シーケンス・パラメータ、画像パラメータ・セット)に情報を与える、その上にNALタイプが符号化される5ビット。
規格に適合し続けるため、及び冗長情報を搬送するため、規格により定義された保存値の一つのタイプ24がそうであるように、一般性を喪失することなく、以下で番号付けされる新しいタイプのNALが作り出され得る。
使用された誤り訂正コード、及びそれに対してこの冗長性が関連するオリジナルのビデオフレームを示すために、ユーザーは次にこの総称的なNALヘッダの直後に一つ以上のバイトを追加し、それにより図10に例示されるように、本発明による冗長NALフォーマットの特定のNALヘッダを作り出す。冗長NALが単一のオリジナルのフレームを、モノ・スライスモード(フレーム当たり1スライス)で保護する例をとると、特定のNALヘッダを符号化するためには1バイトで十分であり得る。このバイトは事実、この冗長NALが関連するペイロード・データの(4ビットにframe_num領域又はPOCをコピーすることによる)フレーム番号である、使用されるコードのサイズを示すRSテーブルのインデックスを符号化することを可能にする。従って、該テーブルが発信及び受信の双方において知られていると想定すると、4ビットに対してインデックスを符号化することによって、ユーザーは16の異なるRSコードの選択肢を有する。
このサイズ及びフォーマットは用途によって選択される。訂正の能力は、例えば冗長の数量Nに対するソースデータKの数量に相当する、ビット速度K/Nにより与えられる。
そのような解決策の利点は、保護されるべきNALのタイプに従って誤り訂正コードのアウトプットを単に変更することにより、不均一誤り保護(UEP)(=Unequal Error Protection)を適用する可能性を提供することである。
使用例:冗長NALが単一の初期データNALを保護する場合
RSエンコーダは次に、ビットストリームをKバイトの幾つかのブロックへと分割することにより始めることができる。ビットストリームの長さLがKの倍数ではない場合、最後のブロックはゼロで一杯にされる。これらブロックの各々は次に、ソースブロック及びN−K冗長バイトを生成するRSエンコーダに送られる。これらのバイトは各々の符号化されたブロックに対して記憶され、それらの得られた長さ
の流れは、RSコードによる保護の挿入の一例を与える図4に例示されているように、RS NALの内側にカプセル化される。
デコーダの側においては、標準デコーダは追加のフレームを考慮しないであろうため、従ってそれらの存在により妨害されないであろう。
他方で、本発明の知識を有し、それゆえ追加的なNALの潜在的な存在に気付いているデコーダは、コード訂正を活用することができる。事実、或るNALを受けると、それはこのNALのタイプをチェックし、それがビデオデータ(すなわちNAL 5:IDR、NAL 1:I、P、等)に対応することを検証するであろう。そのケースに当てはまる場合、次のNALはその時ビットストリームから抜き出され(読み出され)、そのタイプ及びその特定のヘッダは、それが問題のビデオデータのNALに関連する情報を含むことを確実にするためにチェックされるであろう。無線伝送の場合、そのチャンネルは何ら遅れを導入せず、それゆえ該二つのNALはそれらの発信の順に到着するであろう。遅れが(例えばパケットによる伝送ネットワークを通って)導入され得る伝送の場合、バッファメモリ内に置くプロセスは必要な再スケジューリングを得ることを可能にする。二つのNALはそれゆえ同時に処理され、オリジナルのRS記号を再び作り出すために、正確なサイズの複数ブロックへと分離されることができる。冗長性は従ってデータストリームのサイズKのブロックと連結されるブロックへと分割される。得られたサイズNのブロックは、次にサイズKの訂正された復号ワードを出力において供給する、リード−ソロモン・デコーダにより復号される。これらのワードは次に訂正されたビデオデータNALを生成するために再度集められることができ、この再構成されたビットストリームは、そのとき図6に例示されるように標準デコーディング・プログラムにより最終的に処理され得る。
得られた結果の例:
幾つかのシミュレーションがリード−ソロモン・コードRS(128,43)、RS(128,64)、RS(128,85)、及びRS(128,120)を用いてなされた。三つの基準ビデオシーケンス(ITU−Tシーケンスの‘Foreman(フォアマン)’、‘Mobile Calendar(モバイル・カレンダー)’、及び‘Akiyo(アキヨ)’)は各シーケンスにつき255のフレームを有する。‘Akiyo’はフレーム間に非常に小さな動きを伴う“head and shoulders(ヘッド・アンド・ショルダーズ(頭と肩))”タイプと呼ばれるビデオであり、一方で‘Mobile Calendar’はオブジェクトのより多くの動きと出現を含む。シーケンス‘Foreman’はその二つの中間である。GOPに対して選ばれるサイズは15フレームであり、最大で5フレームが基準として使用され得る。該ビデオは伝送チャンネル用に固定されたビット速度を得るために符号化された。‘Foreman’及び‘Akiyo’は128kb/sで、‘Mobile Calendar’は256kb/sにおいてである。従って平均の冗長レベルが変化する時、考えられるソースビット速度もまた変化する。符号化のアウトプットが増加する場合、圧縮のアウトプットは減少し、又その逆も生じ、それはエラーのない状態で、高いS/N比(信号対雑音比)において、PSNRの値が同一でないことを説明する。最後に、与えられた結果が三つの異なるタイプのチャンネル−バイナリの対称なチャンネル(BSC)、付加的な白色ガウス雑音(AWGN)チャンネル、及びギルバート(エリオット・チャンネル(Gilbert−Elliot channel)(無線チャンネルをわたるフレームによる伝送を代表する))に関して備えられる。エラー保護コード以外の性能は、場合により仮想的に完全なチャンネル上を除いて、冗長NALの追加で得られるものよりも大幅に低いことが認められる。問題のケースにおいて、少ないノイズを伴うチャンネルのための非常に高いFEC符号化アウトプット(例えばRS(128,120))か、次に少し多いノイズ(BER>10−3)を伴うチャンネルのための平均的なFEC符号化アウトプット(例えばRS(128,85))の使用を、それゆえ推奨することができる。
最後に、図9は(ここでは完全なものとしてシミュレートされた)開始コード及び誤り訂正コード保護の使用を組み合わせることにより得られた結果を示す。得られた結果と図8の結果との比較は、開始コード保護の値を示す。
本発明による可能な保護モード
上記で与えられた例は、ビデオデータNALが冗長NALにより直接保護される場合において詳細に述べられており、前記冗長性はリード−ソロモン・コードにより生成されている。本発明の範囲から逸脱することなく、該方法は他のFECコードの使用に当てはまる。その上、それは導入された冗長性の数量を最適化するため、又は伝送の制約に適合するために、様々なタイプのエラーに対して闘うことを可能にする、他の保護の構想にもまた一般化され得る。
・1 info NAL − 1 redundancy(冗長)NAL(上記で詳細に記述された例)
他の実施形態によれば、次の構想を用いることもまた可能である。
・1 info NAL − M redundancy(冗長)NALs
この場合は、FFCコードのアウトプットが1/2よりも小さく、それゆえ冗長NALがデータNALの、伝送ネットワークにおいて存在する制約に応じて固定され得るサイズ(例えばIPネットワークをわたる伝送に対するMTU(最大搬送ユニット:Maximum Transfer Unit)サイズ)を超えるとき、サイズの理由のため特に考えられる。この場合、上で説明されたモデルは冗長NALの追加ヘッダ内で、それに冗長性が適用されるビデオNALの数に加え、前記冗長性のシーケンスの数を示す領域を定義することにより、容易に一般化される。
・N info NALs − 1 redundancy(冗長)NAL
この場合は非常に高いアウトプットの冗長性が使われ、従って冗長NALは次に続く伝送(例えば高い割合のパディングを生じ得るRTPパケット内への配置)に、場合によっては非常にうまく適合しない、非常に小さなサイズを持つであろう時に、とりわけ考慮され得る。この場合、上に説明されたモデルは冗長NALの追加ヘッダにおいて、問題のフレームの番号ではなく、様々な番号及び、連結された冗長性の各々に関するサイズ又は位置の、場合によっては可能性のある情報を示す領域を定義することにより、容易に一般化される。
・N info NALs − M redundancy(冗長)NALs
ブロック符号化の構想と同様に、この場合は冗長性を生成する注意が払われるならば、NAL毎ではなく横断的なやり方で、それがパケットのエラーに対する闘いを可能にする値を有する。この場合、上で説明されたモデルはFECエンコーダの入力の所で、列において読まれるであろうマトリックス内にデータNALを一直線に配置することにより冗長性を生成し、そして次に各冗長NALの追加的なNALヘッダにおいて、デコーディングの逆動作に必要な情報(該マトリックスのサイズ、冗長NALのシーケンスの数、該マトリックスにおけるビデオデータNALのそれぞれの位置(又はサイズ))を定義することにより、一般化され得る。必要であれば、伝送を単純化し冗長NALのヘッダサイズを減少させるため、冗長マトリックスを記述する情報(使用されるFECコード、マトリックスのサイズ、マトリックス内のデータNALの数及び位置、又はサイズ)が、(必要であればCRCにより保護され、及び/又はそのロスに対して闘う目的のために反復される)特定の冗長NALにおいて伝送されることを提案し、そしてそのような冗長データが追加のシーケンス数の情報と共に、上で述べられた従来タイプの冗長NALにおいて伝送されるのを提案することが又可能である。
図10は本発明による特定のNALヘッダを表わす。そのサイズは、1つのビデオNAL/1つの冗長NALが存在する場合、あるいはN個の情報NALがM個の冗長NALにより保護されている場合のいずれに対して、考慮が与えられているかによってそれが大きく変動するため、従って可変である。いずれの場合にも、NAL24の特定のヘッダは、例えば3〜4バイトであり得る「開始コード」の後にそれ自体が位置する、標準NALヘッダ(1バイト)の後に置かれる。
NAL24は使用されるコード及び符号化パラメータを含む部分I、問題のペイロード・データの同期化/識別の情報を含む部分II、生成された冗長性の同期化/識別の情報(部分III)、及び部分IV又は検査合計から成り、後者の二つの部分はオプションである。
1つのビデオNAL/1つの冗長NALが存在する特定の場合、使用されるコードから、生成される冗長性の同期化に必要なあらゆる情報を推定することができる。本原理の概要は、次に以下のように述べられ得る(上で定められたように、1バイトで十分であり得る)。
実際に、データNALの直後に冗長NALを置き、従ってフレーム番号(「マルチスライス(multi−slice)」の符号化の際に、いずれの場合もノイズが多いか又は不完全になり得る情報)の供給を避けること、及びそれゆえコードの可能性の数(例えば8ビットが採用される場合、256のインデックス値)を増加させことの選択もまた可能である。勿論、この単純化された場合において、エンコーダとデコーダは第一に、特定のヘッダの様々なビットの意味に対して一致していなければならない。
この同じタイプ24のNALを用いて、幾つかの保護モードを提案する可能性を保持したい場合、ユーザーは順守すべきシンタックスを規定する通知領域を導入する。このようなやり方で、デコーダはそれが何を期待すべきか、及び如何にしてデータを処理するかを知る。サブタイプが2ビットにおいて、下記で考慮される場合、N=1/M=1のケースはサブタイプ「11」として与えられ得る。次に使用されるコードを示す領域(領域I、例えば6ビット)が続き、必要ならばデータNALの識別を可能にするフレーム番号領域(領域II)が存在し得る。
最後に、誤り訂正デコーディング演算を行なうために使用される値を確実にするため、冗長NALの拡張されたヘッダの認証を可能にするCRC(領域IV、オプション)を追加することもまた可能である。
これは次の基本構想に導く。
図11A、11B、及び11CはN個のビデオNAL/M個の冗長NALの場合に相当する。
一つ以上の(M≧1)冗長データ・スライスを生成するために、幾つかの(N≧1)ビデオデータ・スライスが考えられる、より通常の場合、ユーザーは最初にペイロード・データ処理モードを選択する。
図11Aは例えば列ごとにデータの再読み取りを可能にする、例えば行ごとのペイロード・データのマトリックス配置方法を表わし、それによってN個のスライス全体にわたり分配された横断的な冗長性を生成する。
アウトプット・コードK/Nを用いてこのように生成された冗長ビットは、次にM個の冗長NALへと再編成され得る。再編成の選択は、例えばこれらの冗長NALの平均目標サイズに対して行なわれる。エラーの影響を最も良く分布させることを可能にするため、この冗長性は行ごとに再度読み取られるであろう。
これは従って次の同期化/識別の情報を知らせる必要性を示す。
・マトリックスの最上部、すなわち各々に対する、スタート−NALの行+列アドレスにおける、N個のビデオデータNALの位置決めと、
・当然N(マトリックス内におけるデータNALの位置の数)の値及びM(冗長数のカウンター)の値の情報を伴う、マトリックスの最下部マトリックス(又は実際に、ユーザーが行の最初にそのような整列したNALを作り出すため、自分自身を制約する場合は、各冗長NALに対する行アドレス)における、M個の冗長NALの位置決め。
例えば、二つの異なるマトリックスに属するフレームを区別することを可能にするため、情報として第一のスライスのフレーム番号(frame_num)を表示することもまた可能である。
実用的な理由で、Nの値、アウトプットN/K及び従って問題のマトリックスのサイズによって、以下が必要とされ得る。
・失われたパケットのサイズ及び失われたワードの正確な位置が、単に様々なNALのアドレスの差によって、そこで完全に知られるため、(例えばサブタイプ01と呼ばれる)M個の冗長NALの各々に、パケットのロスを非常に容易に処理することを可能にする、マトリックスを記述する完全な情報を配置すること、
・又は、例えば信号DATAのグループを、冗長ワードを含まないであろう(例えばサブタイプ00と呼ばれる)第一のNALに配置し、次に冗長信号自体及び符号化パラメータの反復を供給する冗長性を含む、(例えばサブタイプ10と呼ばれる)各NALに配置することにより、使用されるビットに関して非常に正確にマトリックス記述情報を分配すること。
得られたフォーマットは図11B及び図11Cにおいて与えられている。
上述のステップは、とりわけ前に述べられたステップを実行可能なプロセッサと、メッセージを復号するために適したプロセッサを装備するデコーダとを備えた、少なくとも一つのエンコーダを含む伝送システムにおいて適用される。
「ブランク」NALの追加により冗長性を増すための、本発明に従う方法により用いられるタイプ12NALのフォーマットである。 リード−ソロモン(RS)・コードの場合の、ペイロード/冗長性データの分布である。 RSコード用のインデックス表の一例である。 RSコードによる保護の挿入の一例である。 RSコードによる保護の使用を伴うデコーディングの一例である。 RSコードによる保護で得られた結果の曲線である。 RSコードによる保護で得られた結果の曲線である。 RSコードによる保護で得られた結果の曲線である。 RSコードによる保護で得られた結果の曲線である。 一つのビデオNAL/一つの冗長NAL保護の一例である。 N個のビデオNALとM個の冗長NALの組合せの場合の適用例である。 N個のビデオNALとM個の冗長NALの組合せの場合の適用例である。 N個のビデオNALとM個の冗長NALの組合せの場合の適用例である。

Claims (11)

  1. 伝送される情報構造が、使用されるデータのカプセル化構造、情報を搬送する新たな構造を作り出すための基礎として役立ち得る構造の形である、伝送システムにおけるデータの保護方法において、
    同期化がそこにおいて生じる長さを増加させるために、その内容及び流れの中での位置がデコーダに知られている、少なくとも一つの追加的な冗長NALであって、
    追加的な冗長NALが、冗長NALフォーマットの冗長NALヘッダと、データストリームを分割して得られるブロックから、冗長NALヘッダに定められたフォーマットに応じて生成された冗長性を含み、この冗長NALをユーザーがデータストリームに加えるステップを含むことを特徴とする方法。
  2. データストリームを分割して得られるブロックを、冗長性から分離されるブロックに連結して訂正し、訂正されたデータストリームを再構成するステップを含むことを特徴とする請求項1に記載のデータの保護方法。
  3. データ保護方法であって、
    冗長NALが誤り訂正情報を搬送し、
    冗長NALが、
    冗長性及び、
    ・冗長構造としての構造の識別と、
    ・それに冗長性が関連する初期データ構造の識別と、
    ・データ伝送に用いられる誤り訂正コードと
    のために必要な情報を含む、少なくとも一つのそのような追加的構造
    含むことを特徴とする、請求項1または2に記載のデータ保護方法。
  4. データ保護方法であって、
    該データがH.264規格により符号化されたマルチメディア・データであり、該データがネットワーク抽象化層又はNALタイプの構造においてカプセル化され、ユーザーが、
    ・冗長NALとしての構造の識別と、
    ・それに冗長性が関連する初期データ構造の識別と、
    ・データ伝送に用いられる誤り訂正コードと
    のために必要な情報を含む少なくとも一つの冗長NALを挿入することを特徴とする、請求項3に記載のデータ保護方法。
  5. 冗長NALが初期の圧縮符号化演算の間に加えられることを特徴とする、請求項4に記載の方法。
  6. 伝送されるべきデータがコード変換器に入るときに冗長NALが加えられることを特徴とする、請求項4に記載の方法。
  7. 冗長NALが(ビデオデータの)情報のNALの前に置かれ、冗長NALのヘッダが、使用される誤り訂正コードを示す領域を備えることを特徴とする、請求項4に記載の方法。
  8. ユーザーが冗長NALのヘッダ内に、冗長性が適用されるビデオNALの番号を示す領域を含むことを特徴とする、請求項7に記載の方法。
  9. ユーザーが冗長NALのヘッダに、冗長性NALが適用される様々なNAL番号を示す領域を加えることを特徴とする、請求項4に記載の方法。
  10. リード−ソロモン・コードが誤り訂正コードとして使用されることを特徴とする、請求項4〜9のいずれか一項に記載の方法。
  11. 伝送される情報構造が、使用されるデータのカプセル化構造の形態である、伝送システムにおけるデータ保護用の装置であって、構造が同期化情報を搬送する新たな構造を作り出すための基礎として用いられることができる装置において、請求項1〜10のいずれか一項に記載の方法のステップを実行するために適したプロセッサを含む、少なくとも一つのエンコーダを備えることを特徴とする装置。
JP2008558810A 2006-03-17 2007-03-13 追加的なネットワーク抽象化層(nal)を用いるマルチメディア・データの保護方法 Expired - Fee Related JP5374768B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR06/02380 2006-03-17
FR0602380A FR2898754B1 (fr) 2006-03-17 2006-03-17 Procede de protection de donnees multimedia au moyen de couches d'abstraction reseau (nal) supplementaires
PCT/EP2007/052363 WO2007107482A1 (fr) 2006-03-17 2007-03-13 Procede de protection de donnees multimedia au moyen de couches d'abstraction reseau (nal) supplementaires

Publications (2)

Publication Number Publication Date
JP2009530881A JP2009530881A (ja) 2009-08-27
JP5374768B2 true JP5374768B2 (ja) 2013-12-25

Family

ID=37397443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008558810A Expired - Fee Related JP5374768B2 (ja) 2006-03-17 2007-03-13 追加的なネットワーク抽象化層(nal)を用いるマルチメディア・データの保護方法

Country Status (7)

Country Link
US (1) US8769383B2 (ja)
EP (1) EP1997254B1 (ja)
JP (1) JP5374768B2 (ja)
KR (1) KR101353128B1 (ja)
CA (1) CA2646870C (ja)
FR (1) FR2898754B1 (ja)
WO (1) WO2007107482A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9560367B2 (en) * 2004-09-03 2017-01-31 Nokia Technologies Oy Parameter set and picture header in video coding
US8332736B2 (en) * 2007-11-29 2012-12-11 Texas Instruments Incorporated Decoder with resiliency to handle errors in a received data stream
EP2150022A1 (en) * 2008-07-28 2010-02-03 THOMSON Licensing Data stream comprising RTP packets, and method and device for encoding/decoding such data stream
US8767840B2 (en) * 2009-02-11 2014-07-01 Taiwan Semiconductor Manufacturing Company, Ltd. Method for detecting errors and recovering video data
US11991280B2 (en) 2009-04-20 2024-05-21 Pure Storage, Inc. Randomized transforms in a dispersed data storage system
US10447474B2 (en) * 2009-04-20 2019-10-15 Pure Storage, Inc. Dispersed data storage system data decoding and decryption
US8352831B2 (en) * 2009-12-29 2013-01-08 Cleversafe, Inc. Digital content distribution utilizing dispersed storage
US9313514B2 (en) 2010-10-01 2016-04-12 Sharp Kabushiki Kaisha Methods and systems for entropy coder initialization
KR101803970B1 (ko) 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
US9338465B2 (en) 2011-06-30 2016-05-10 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
US9060173B2 (en) * 2011-06-30 2015-06-16 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
US11647197B2 (en) 2011-06-30 2023-05-09 Velos Media, Llc Context initialization based on slice header flag and slice type
US9143802B2 (en) 2011-10-31 2015-09-22 Qualcomm Incorporated Fragmented parameter set for video coding
US9141468B2 (en) * 2011-12-12 2015-09-22 Cleversafe, Inc. Managing memory utilization in a distributed storage and task network
CN110234009B (zh) * 2012-01-20 2021-10-29 维洛媒体国际有限公司 色度量化参数扩展的解码方法及装置
US9510002B2 (en) 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
CN104754341B (zh) * 2013-12-31 2019-02-26 华为技术有限公司 一种视频数据编码、解码的方法和装置
US10812818B2 (en) * 2018-12-14 2020-10-20 Tencent America LLC Network abstraction unit layer type classes in network abstraction layer unit header

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0682790B1 (en) * 1993-11-22 2002-01-16 Motorola, Inc. Method and system for synchronizing encoders and decoders in communication networks when errors are detected
US6819658B1 (en) * 1997-07-15 2004-11-16 Comsat Corporation Method and apparatus for segmentation, reassembly and inverse multiplexing of packets and ATM cells over satellite/wireless networks
DE50112422D1 (de) * 2000-07-14 2007-06-14 Siemens Ag Verfahren und Anordnung zum Schutz gegen Paketverlusten bei einer paketorientierten Datenübertragung
DE60310368T2 (de) * 2002-01-22 2007-03-29 Microsoft Corp., Redmond Verfahren zur verhinderung von startkode-emulation und stopfdaten
JP2004048497A (ja) * 2002-07-12 2004-02-12 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置
JP2004159015A (ja) * 2002-11-05 2004-06-03 Matsushita Electric Ind Co Ltd データ多重化方法、データ逆多重化方法
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
US8213769B2 (en) * 2003-08-06 2012-07-03 Broadcom Corporation Frame indexing technique to improve personal video recording functionality and security of transmitted video
JP2005229587A (ja) * 2004-01-15 2005-08-25 Matsushita Electric Ind Co Ltd 多重化方式変換装置
DE602004012711T2 (de) * 2004-04-29 2009-04-16 Matsushita Electric Industrial Co., Ltd., Kadoma-shi Fehlerkodierung in einem Überrahmen für digitalen Hörfunk (DAB)
FR2869744A1 (fr) * 2004-04-29 2005-11-04 Thomson Licensing Sa Methode de transmission de paquets de donnees numeriques et appareil implementant la methode
US20050254526A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Parameter sets update in streaming applications

Also Published As

Publication number Publication date
CA2646870C (en) 2015-11-24
EP1997254A1 (fr) 2008-12-03
FR2898754B1 (fr) 2008-06-13
CA2646870A1 (en) 2007-09-27
US20090177949A1 (en) 2009-07-09
KR101353128B1 (ko) 2014-01-17
WO2007107482A1 (fr) 2007-09-27
KR20080106357A (ko) 2008-12-04
FR2898754A1 (fr) 2007-09-21
JP2009530881A (ja) 2009-08-27
US8769383B2 (en) 2014-07-01
EP1997254B1 (fr) 2018-11-28

Similar Documents

Publication Publication Date Title
JP5374768B2 (ja) 追加的なネットワーク抽象化層(nal)を用いるマルチメディア・データの保護方法
US7779336B2 (en) Assembling forward error correction frames
KR101159432B1 (ko) 스케일러블 정보 신호, 스케일러블 정보 내용를 인코딩하기 위한 장치와 방법 및 스케일러블 정보 신호의 에러를 정정하기 위한 장치 및 방법
KR100941336B1 (ko) 멀티미디어 스트리밍에서 최적화된 오류 관리를 위한디코더 아키텍쳐
US7751324B2 (en) Packet stream arrangement in multimedia transmission
US6490705B1 (en) Method and apparatus for receiving MPEG video over the internet
CN101272495B (zh) 用于传输基于分组的图像帧的方法和装置
US7039837B2 (en) Signal coding
US11277647B2 (en) Forward error correction using source blocks with symbols from at least two datastreams with synchronized start symbol identifiers among the datastreams
EP2783475B1 (en) Interleaving for layer-aware forward error correction
MX2014013560A (es) Aparato y metodo de transmision y recepcion de paquete en sistema de radiofusion y comunicacion.
Nicholson et al. JPEG 2000 backward compatible error protection with Reed-Solomon codes
CN1863311B (zh) 传输视频数据的方法
Lamy-Bergot et al. Embedding protection inside H. 264/AVC and SVC streams
TWI323133B (en) Method and system for data and video coding
Baruffa et al. Error correction and concealment for JPEG 2000 video transmitted over wireless networks
Frescura et al. Backward-compatible interleaving technique for robust JPEG2000 wireless transmission

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100311

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120522

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120813

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130430

R155 Notification before disposition of declining of application

Free format text: JAPANESE INTERMEDIATE CODE: R155

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130905

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees