JP2005507569A - 複数状態符号化および経路ダイバーシティを使用するビデオ通信方法およびシステム - Google Patents

Abstract

【課題】損失の多いネットワークにわたる送信側と受信側との間の信頼性のある通信を提供する。
【解決手段】本発明に係るシステムは、少なくとも２つの連帯的に設計されたサブシステム、すなわち（１）複数状態ビデオ符号化システムと（２）経路ダイバーシティ伝送システムとから構成される。複数状態ビデオ符号化は、ビデオを、独立して復号可能な複数のストリームに符号化し、１つのストリームが喪失した場合に、依然として他のストリームを復号して使用可能なビデオを生成することができるようにする。経路ダイバーシティ伝送システムは、パケットの異なるサブセットを異なる経路によって送信し、喪失パケットからの回復を支援する。
【選択図】図１

Description

【技術分野】
【０００１】
本発明は、概して、損失の多いパケットネットワークにわたる信頼性のあるマルチメディア通信に関し、特に、複数状態符号化と経路ダイバーシティとを使用するビデオ通信方法およびシステムに関する。
【背景技術】
【０００２】
「１０００の言葉より一回の見聞（百聞は一見にしかず（A picture is worth a thousand words））」と言われてきた。
ビデオに関しては、「１０００の写真より１つのビデオ（A video is worth a thousand pictures）」と言われてきた。
文字、グラフィックス、およびアニメーションは、興味深い内容を提供するが、人々は自然に、ビデオのより豊富でより現実的な経験の方を好む。
ビデオが人気のある１つの理由は、マルチメディア（たとえば、オーディオと結合されたビデオ）の風景と音声とが、人々がテレビおよび映画の領域で長年もの間動画を観てきたことから期待するようになった、より豊富でより現実的な経験を提供することである。
【０００３】
多くのアプリケーションと媒体とが「デジタル」領域に移行するにしたがい、ビデオもまた同じく変化している。
ビデオは、初期の頃から、よく知られているアナログビデオテープフォーマットで提供されてきた。
しかしながら、ビデオは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、およびコンピュータネットワーク（たとえば、インターネットを介して）等のデジタルフォーマットで徐々に配信されるようになってきている。
【０００４】
かかるシステムにおけるデジタルビデオは、通常、一続きのビデオフレームとして構成される。
ビデオフレームは、通常、ビデオフレームがディスプレイでレンダリングされる時に見る人がフルモーションビデオを知覚することができるために十分高いフレームレートで発生する。
【０００５】
従来のビデオ通信システムは、一般に、デジタルビデオの帯域幅消費を低減するためにビデオ圧縮を使用する。
通常、送信側は、一続きのオリジナルビデオフレームに応答して一続きの符号化フレームを生成するエンコーダを有する。
受信側は各々、通常、符号化フレームからオリジナルの一続きのビデオフレームを復元するデコーダを有する。
符号化フレームに含まれる総データ量は、通常、対応するオリジナルビデオフレームの総データ量より大幅に少ない。
【０００６】
従来のビデオ圧縮方法における符号化フレームは、通常、対応するオリジナルビデオフレームを復元するために必要な情報のすべてを伝送するフレームを含む。
これらのフレームを、イントラフレームまたは「Ｉフレーム」と呼ぶ。
また、従来のビデオ圧縮方法における符号化フレームは、通常、対応するオリジナルビデオフレームを復元するために、一続きの符号化フレームからの前の符号化フレームに依存するフレームを含む。
一般にエンコーダがこれらのフレームを、予測ループを使用することによって生成するため、これらのフレームを予測フレームまたは「Ｐフレーム」と呼ぶ。
【０００７】
通常、Ｉフレームによって伝送される(carry)データの量は、Ｐフレームで伝送されるデータの量より極めて多い。
このため、必要なビットレートを低減するために、符号化フレームのより多くの割合を占めるのはＰフレームである。
不都合なことに、予測を使用する場合、通常、送信中のＰフレームまたはＩフレームの損失により、現オリジナルビデオフレームが復元されず、また次のＩフレームの前の後続するＰフレームのシーケンスも復元されない。
フレームのシーケンスの損失は、通常、復元されたデジタルビデオに負の影響を及ぼす。
たとえば、これら負の影響には、フリーズフレームまたは表示されるアーティファクトの出現が含まれる。
これら負の影響は、帯域幅を保存するためかまたは通信チャネルの帯域幅制約のために、Ｉフレーム間で多数のＰフレームを使用するシステムにおいて、さらに悪化する。
【０００８】
概して、３つのタイプのパケット損失がある。
すなわち、１）シングルパケット損失と、２）バースト損失と、３）機能停止（outage）とである。
シングルパケット損失は、名前が示すように、１つのフレームの一部が喪失していることに対応する。
かかる場合、ビデオデータは、部分的に回復可能である可能性がある。
バースト損失は、フレームのうちの１つまたは複数が喪失していることに対応し、著しいビデオ劣化をもたらす可能性がある。
機能停止によって、複数のフレームが喪失する結果となり、通常、ビデオ全体の喪失をもたらす。
かかる場合、システムは、再同期化するためにＩフレームなしには回復することができない。
【０００９】
なお、複数の連続したパケットの損失は、等価な数の分離したシングルパケットの損失よりずっと有害な影響を有する。
したがって、ビデオ通信（たとえば、ストリーミングビデオアプリケーション）において、バースト損失および機能停止を低減および／または排除することに特に関心がもたれている。
【００１０】
圧縮ビデオアプリケーションの場合、各パケットの内容は、ビデオを復元するために他のパケット（たとえば、前のパケット）の内容に依存する。
シングルパケットの損失は、他の正しく受け取られたパケットの使用に影響を及ぼし、損失からもたらされる伝播の影響が非常に大きなものとなる可能性がある。
パケット損失の影響は、損失のタイプと特定のアプリケーションとによって決まる。
【００１１】
ビデオは、著しい空間的および時間的相関を有するため、シングルパケットの損失は、高性能な誤り隠蔽技法の使用によって隠蔽することが可能である。
しかしながら、複数のパケットが喪失する場合、影響はずっと有害である。
【００１２】
パケット損失を克服する従来の方法は、通常、再送信と前方誤り訂正（forward error correction（ＦＥＣ））技法とを利用する。
これらの技法とそれらの不都合または欠点の各々について下に述べる。
【００１３】
再送信ベースの方法は、受信側が送信側に対し、いずれのパケットが正しく受け取られるかおよびいずれのパケットが正しく受け取られないかを通信することができるようにするために、バックチャネルを使用する。
認めることができるように、再送信ベースの方法では、ラウンドトリップ時間（ＲＴＴ）（すなわち、受信側から送信側に、および再び受信側に情報を送信するために必要な時間）に対応する遅延が生じる。
電子メールアプリケーション等のアプリケーションによっては、この遅延は許容可能な場合がある。
【００１４】
しかしながら、アプリケーションによっては、バックチャネルが利用不可能である場合がある。
他のアプリケーションでは、バックチャネルが利用可能であり得るが、再送信を使用することができない場合がある。
これらのアプリケーションの例には、ブロードキャストまたはマルチキャストビデオが含まれる。
【００１５】
また、他のアプリケーションの場合、このＲＴＴ遅延が許容可能でない場合がある。
たとえば、通信される情報は、遅延制約を有する場合がある（すなわち、通信される情報が時間限定の有用性を有する）。
これらのアプリケーションでは、タイムリーに配信されない情報は、アプリケーションに対して無用である。
たとえば、これらのアプリケーションにおいて受信側に遅れて到着するビデオフレームまたはオーディオパケットは、使用することができない。
これらのアプリケーションの例には、リアルタイムビデオ電話およびビデオ会議アプリケーション等のリアルタイムビデオ通信が含まれる。
別の例は、ビデオゲーム等、ビデオおよびオーディオ情報が遅延制約を有する、一方向ビデオである。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
したがって、インターネット等のパケットネットワークによって信頼性のあるリアルタイムマルチメディア通信を可能にするためのシステムの開発は、広く未解決の問題を残している。
主な問題点のうちの１つは、インターネットによるリアルタイムマルチメディア通信が、上述したパケット損失によって阻害されることである。
したがって、現行のシステムは、Ｒｅａｌ Ｎｅｔｗｏｒｋｓによって配信されるタイプのサービス等、非リアルタイムまたはバッファ通信に限定される。
【００１７】
要約すれば、バックチャネルが利用可能でないかＲＴＴ遅延が許容可能でないアプリケーションがある。
これらのアプリケーションでは、再送信ベースの方法は十分でない解決法である。
【００１８】
第２の方法では、前方誤り訂正（ＦＥＣ）技法が利用される。
ＦＥＣベースの方法は、損失を克服するために、データに専用の冗長性（たとえば、ブロックおよび重畳コード）を追加する。
また、ＦＥＣ方法は、しばしば、バースト誤りを孤立した誤りに変換するためにデータをインタリーブする。
不適当なことには、冗長性を追加するには、実施するために帯域幅を増大させることが必要である。
さらに、ＦＥＣベースの方法は、所定量のチャネル損失を克服するように設計される。
損失が所定量より小さい場合、送信されたデータを受信した損失の多いデータから回復することができる。
しかしながら、損失が所定量より大きい場合、損失データを回復することができず、さらに、場合によってはすべてのデータを完全に喪失する可能性がある。
【００１９】
ＦＥＣベースシステムを設計する際に遭遇する別の問題点は、パケット損失等のネットワーク状態が非常に動的であることであり、通常、現ネットワーク状態に関する知識は限定されている。
実際には、ネットワーク状態の変化に対するタイムスケールは、しばしば、かかる変化を測定するために必要な時間より短く、それによって現ネットワーク状態の正確な確定を不可能ではないとしても困難にする。
したがって、瞬時のチャネル状態に関する知識が不十分であることにより、通常、ＦＥＣ設計が非効率的になる。
特に、現実のチャネルの状態が設計されたものより優れている場合、必要より多くの冗長性が使用されたため資源が無駄にされている。
一方、現実のチャネル状態が設計されたものより劣っている場合、十分な冗長性が使用されていないため、すべてのデータが喪失する可能性がある。
多くのネットワークの非常に動的な性質により、大抵の場合、ＦＥＣは過度に設計されしたがって非効率的であるか、もしくは設計が不十分でありしたがって効果的でない。
【００２０】
上述したことに基づいて、先に示した不都合を克服する、損失の多いネットワークにわたる送信側と受信側との間の信頼性のある通信を提供する方法およびシステムが未だに必要とされている。
【課題を解決するための手段】
【００２１】
インターネット等の損失の多いパケットネットワークによるビデオ通信は、制限された帯域幅およびパケット損失によって阻害される。
本発明は、これらのネットワークによる信頼性のあるビデオ通信を提供するシステムを提供する。
そこでは、システムは２つの連帯的に設計されたサブシステム、すなわち（１）複数状態ビデオ符号化システムと（２）経路ダイバーシティ伝送システムとから構成される。
複数状態ビデオ符号化は、各々がそれ自体の予測プロセスおよび状態により独立して復号可能な複数のストリームにビデオを符号化することにより、パケット損失からもたらされる誤り伝播の問題に対処する。
１つのストリームが喪失した場合に、依然として他のストリームを復号して使用可能なビデオを生成することができ、さらに、正しく受信されたストリームが、破損したストリームのための改良された状態回復を可能にする双方向（すなわち、前と後）の情報を提供する。
【００２２】
経路ダイバーシティ伝送システムは、パケットが単一経路に沿って進行する従来技術による方法とは対照的に、パケットの異なるサブセットを異なる経路によって明示的に送信する。
パケットの異なるサブセットを異なる経路で明示的に送信することにより、経路ダイバーシティ伝送システムは、エンド・ツー・エンドビデオアプリケーションが、本明細書では経路ダイバーシティと呼ぶ平均経路挙動を効果的に見ることができる。
概して、この平均経路挙動を見ることにより、いかなる個々のランダムな経路の挙動を見ることよりも優れたパフォーマンスが提供される。
結果としての経路ダイバーシティは、喪失パケットからの回復を支援するために適当な仮想チャネルを有する複数状態ビデオデコーダを提供し、また、システム設計（たとえば、前方誤り訂正設計）を簡略化することも可能である。
【００２３】
本発明の一実施形態によれば、損失の多いネットワークによってデジタルビデオを通信するために複数状態符号化と経路ダイバーシティとを使用する信頼性のあるビデオ通信システムが開示される。
第１に、マルチメディアストリーム（たとえば、一続きのオリジナルビデオフレーム）が受信される。
第２に、マルチメディアストリーム（たとえば、一続きのオリジナルビデオフレーム）が、少なくとも第１のサブストリームと第２のサブストリームに分離される（たとえば、奇数ビデオフレームと偶数ビデオフレームに分離される）。
そして、第１のサブストリームと第２のサブストリームは、２つの独立して復号可能なストリームに符号化される。
第１の符号化されたサブストリームは、第１の経路によって受信側に送信される。
第２の符号化されたサブストリームは、第２の経路によって受信側に送信される。
【００２４】
代替実施形態では、以下の処理ステップが実行される。
第１に、マルチメディアストリーム（たとえば、一続きのオリジナルビデオフレーム）が受信される。
第２に、マルチメディアストリーム（たとえば、一続きのオリジナルビデオフレーム）が、符号化されたストリーム（たとえば、ストリームにおいて奇数および偶数フレームが結合される一続きの符号化ビデオフレーム）に符号化される。
次に、符号化されたストリームが、第１の符号化サブストリームと第２の符号化サブストリームに分離される（たとえば、符号化奇数ビデオフレームと符号化偶数ビデオフレームとに分離される）。
第１の符号化サブストリームと第２の符号化サブストリームとは、２つの独立して復号可能なストリームである。
第１の符号化サブストリームは、第１の経路によって受信側に送信される。
第２の符号化サブストリームは、第２の経路によって受信側に送信される。
【発明の効果】
【００２５】
本発明によれば、損失の多いネットワークにわたる送信側と受信側との間の信頼性のある通信が提供される。
【発明を実施するための最良の形態】
【００２６】
本発明の他の特徴および利点は、以下の詳細な説明から明らかとなろう。
【００２７】
本発明を、添付図面の、同様の参照数字が同様の要素を参照する各図において、限定としてではなく実施例として示す。
【００２８】
損失の多いネットワークにより送信側から受信側に情報を信頼できるように通信する方法およびシステムを説明する。
以下の説明では、説明の目的のために、本発明の完全な理解を提供するために多数の特定の詳細を示す。
しかしながら、当業者には、本発明をこれらの特定の詳細なしに実施してよい、ということが明らかとなろう。
言い換えれば、本発明を不必要に曖昧にすることを回避するために、既知の構造および装置をブロック図で示す。
【００２９】
ビデオ通信システム１００
図１は、本発明の一実施形態によるビデオ通信システム１００を示す。
ビデオ通信システム１００は、パケット通信を送信する送信側１１０と、パケット通信を受信する受信側１２０と、通信される情報が通過するパケットネットワーク１３０とを含む。
ビデオ通信システム１００を利用して、たとえば、インターネット等の損失の多いパケットネットワークによって圧縮ビデオを信頼できるように通信することができる。
システム１００を利用して、リアルタイムビデオ情報とオーディオ情報とを通信するリアルタイムビデオ電話アプリケーションまたはビデオ会議アプリケーションをサポートすることができる。
たとえば、ビデオ通信システム１００は、ビデオのストリームに対し以下の動作のうちの１つまたは複数を実行することができる。
すなわち、取り込み、符号化し、送信し、受信し、復号し、損失から回復し、表示する。
【００３０】
送信側１１０は、オリジナルビデオストリームに応答して少なくとも２つの独立して復号可能なパケットストリームを生成する複数状態ビデオエンコーダ１１４と、各パケットストリームを、ネットワーク１３０を通して異なる経路により明示的に送信する経路セレクタ１１８とを有する。
【００３１】
複数状態ビデオエンコーダ１１４は、オリジナルビデオ１１５を受け取り、ビデオ１１５を、この実施例では３つの状態による複数状態符号化を使用することにより３つの独立して復号可能なパケットストリーム１１６に符号化する。
なお、複数状態ビデオエンコーダ１１４は、特定のアプリケーションに適合するためにいかなる数の独立して復号可能なパケットストリームを生成することも可能である。
【００３２】
一実施形態では、ネットワーク１３０は、経路ダイバーシティを達成する際に使用する複数のネットワーク装置（たとえば、リレー）を有するリレーインフラストラクチャ１５０を有する。
この実施形態では、リレーインフラストラクチャ１５０は、それぞれ第１の経路１６２、第２の経路１６４、第３の経路１６６に対応する、第１のリレー１５２と、第２のリレー１５４と、第３のリレー１５６とを含む。
各リレーは、対応するパケットストリームを受け取ると、パケットストリームを最終宛先（すなわち、受信側１２０）に転送する。
【００３３】
経路セレクタ１１８は、リレーインフラストラクチャ１５０の異なるリレーを利用することにより、各パケットストリームを、ネットワーク１３０を通して異なる経路によって明示的に送信することができる。
特に、経路セレクタ１１８は、インフラストラクチャ１５０の１つまたは複数のリレーを使用することにより、各経路（たとえば、経路１６２、１６４、１６６）を画定または指定することができる。
この実施例では、各々単一リレーによって画定される３つの経路がある。
しかしながら、経路の数と各経路を画定するために使用されるリレーの数とを、特定のアプリケーションの要件に適合させるために変更することができることに留意されたい。
【００３４】
また、ＩＰソースルーティングを利用することによって経路ダイバーシティを実現することも可能である。
この場合、経路セレクタ１１８は、各パケットストリームがトラバースするノードのセットまたはソースルートを明示的に指定するように構成される。
たとえば、経路セレクタ１１８は、ソースルートのノードのサブセットを指定するルーズソースルーティングか、またはソースルートのノードの完全なセットを指定するストリクトソースルーティングを使用することができる。
【００３５】
受信側１２０は、複数のストリームを結合して単一のストリームにするパケット受信機１２４と、受信した符号化ビデオフレームに応答してオリジナルビデオフレームを復元するビデオデコーダ１２８とを有する。
【００３６】
なお、システム１００は、受信側１４０が各々の経路の品質に関する情報を送信側１３０に送信するために利用することができる、フィードバックリンク１４４（たとえば、フィードバックチャネル）を含むことができる。
フィードバックリンク１４４と経路品質パラメータについては、図１１を参照して後により詳細に説明する。
【００３７】
図２は、本発明の一実施形態によるビデオ通信システムによって実行されるステップを示すフローチャートである。
ネットワークにより送信側から受信側に情報を通信する方法は、以下のステップを含むことができる。
まず、ステップ２１０において、通信されるビデオストリームが、一斉にまたは一度に１フレーム（たとえばリアルタイムに）受信される。
ステップ２２０において、ビデオストリームは、情報の少なくとも第１のサブセットと第２のサブセットとに分離または分割される。
第１および第２のサブセットは、必ずしも互いに素ではない。
ステップ２３０において、パケットの各サブセットが独立して復号可能であるように、ビデオの第１のサブセットと第２のサブセットとがパケットの第１のサブセットに符号化され、第２のサブセットがパケットの第２のサブセットに符号化される。
ステップ２４０において、パケットの第１のサブセットが、ネットワークを、第１の経路を介して受信側に送信される。
ステップ２５０において、パケットの第２のサブセットが、ネットワークを、第２の経路を介して受信側に送信される。
【００３８】
ステップ２６０において、パケットの第１のサブセットが受信される。
ステップ２７０において、パケットの第２のサブセットが受信される。
ステップ２８０において、パケットの第１のサブセットが復号されることにより、パケットの復元された第１のサブセットが生成される。
ステップ２９０において、パケットの第２のサブセットが復号されることにより、パケットの復元された第２のサブセットが生成される。
ステップ２９４において、パケットの復元された第１のサブセットとパケットの復元された第２のサブセットとが併合されることにより、パケットのオリジナルストリーム（たとえば、ビデオフレーム）が回復される。
【００３９】
図８は、本発明の一実施形態による複数状態ビデオエンコーダによって実行されるステップを示すフローチャートである。
ステップ８１０において、フレームが取得される。
たとえば、フレームを、ビデオキャプチャ装置かまたはビデオ記憶機構によって提供することができる。
ステップ８２０において、フレームが第１のサブシーケンスからであるか否かが判断される。
この実施例では、オリジナル情報ストリームを利用して２つのストリーム（すなわち、第１のサブシーケンスおよび第２のサブシーケンス）が生成される。
なお、第１のサブシーケンスは、オリジナルフレームの一部を含んでも、オリジナルフレームすべてを含んでも、オリジナルフレームをまったく含まなくてもよい。
同様に、第２のサブシーケンスは、オリジナルフレームの一部を含んでも、オリジナルフレームのすべてを含んでも、オリジナルフレームをまったく含まなくてもよい。
たとえば、ビデオ伝送コンテキストでは、オリジナル情報ストリームに応答して、奇数ビデオフレームの第１のストリームと偶数ビデオフレームの第２のストリームとを生成することができる。
【００４０】
フレームは、第１のサブシーケンスからであると判断された場合、符号化され（ステップ８２４）、パケット化され（ステップ８２８）、第１の経路を介して送信される（ステップ８３０）。
フレームは、第１のサブシーケンスからではないと判断された場合、符号化され（ステップ８４４）、パケット化され（ステップ８４８）、第１の経路を介して送信される（ステップ８５０）。
【００４１】
図９は、本発明の一実施形態による複数状態デコーダによって実行されるステップを示すフローチャートである。
ステップ９１０において、受信したフレームが第１のサブシーケンスからであるか否かが判断される。
そうである場合、ステップ９１４においてパケットが復号される。
ステップ９１８において、誤りが検出されたか否かが判断される。
誤りがない場合、フレームは復元され（ステップ９２０）、他のフレームと併合される（ステップ９３０）。
たとえば、復号された奇数フレームを復号された偶数フレームと併合することができる。
【００４２】
誤りが検出された場合、正しく復号されたフレームのうちの前のまたは後のフレームを使用することによって、状態回復が実行される（ステップ９５０）。
ステップ９６０において、喪失フレームが推定される。
そして、処理はステップ９３０に進む。
任意に、誤りが検出された場合、状態回復９５０の前にステップ９４０および９４４を処理することができる。
ステップ９４０において、低減されたフレームレートが許容可能であるか否か（たとえば、ビデオストリームをフレームレートの半分で回復する）が判断される。
そうである場合、ステップ９４４において、他のサブシーケンス（たとえば、第２のサブシーケンス）のうちの１つからのフレームを使用することにより、低減されたフレームレートでビデオが表示される。
ステップ９１４〜９６０を、フレームの各サブシーケンスの処理のために繰返してよい。
たとえば、第２のサブシーケンスからのパケットは同様の処理フローを有するが、ステップ９４４において、誤りなしで受信される第１のサブシーケンスまたは別のサブシーケンスからのフレームを使用することによって、低減されたフレームレートが生成され、ステップ９３０において、フレームの第２のサブシーケンスが他のサブシーケンス（たとえば、第１のサブシーケンスのフレーム）と併合される。
【００４３】
図３は、本発明の一実施形態による図１のビデオエンコーダおよび送信機ブロックをより詳細に示す。
この実施形態では、複数状態ビデオエンコーダ１１４は、オリジナルビデオフレーム１１５を、たとえば一続きの奇数ビデオフレーム３５０と一続きの偶数ビデオフレーム３５２とに分離するフレーム分離ブロック３１２を含む。
たとえば、オリジナルビデオフレーム１１５が一続きのフレーム１、フレーム２、フレーム３、フレーム４、フレーム５、フレーム６、フレーム７、フレーム８等である場合、奇数ビデオフレーム３５０は、フレーム１、フレーム３、フレーム５、フレーム７等であり、偶数ビデオフレーム３５２は、一続きのフレーム２、フレーム４、フレーム６、フレーム８等である。
実施形態によっては、フレーム分離ブロック３１２は、各ストリームに対してフレームを抽出する前に、時間ローパスフィルタリングまたは雑音低減等の前処理を実行する。
【００４４】
なお、オリジナルビデオを別々に符号化するために２つ以上の部分に分離することができる複数の異なる方法がある。
上記実施例では、オリジナルビデオは偶数フレームおよび奇数フレームに分離される。
しかしながら、本発明は、後述するように他の可能な分離に適用される。
【００４５】
複数状態ビデオエンコーダ１１４は、奇数ビデオフレーム３５０に応答して、符号化された奇数フレーム３５４を生成するエンコードブロック３１４を含む。
符号化された奇数フレーム３５４は、ＩフレームとＰフレームとを含む。
一続きの例、フレーム１、フレーム３、フレーム５等に応答して、エンコードブロック３１４はＩフレームＩ１を生成し、その後ＰフレームＰ３、Ｐ５等を生成する。
Ｐ３はＩ１に依存し、Ｐ５はＰ３に依存する等である。
【００４６】
同様に、複数状態ビデオエンコーダ１１４は、偶数ビデオフレーム３５２に応答して、符号化された偶数フレーム３５６を生成するエンコードブロック３１６を有する。
一続きの例、フレーム２、フレーム４、フレーム６等に応答して、エンコードブロック３１６はＩフレームＩ２を生成し、その後ＰフレームＰ４、Ｐ６等を生成する。
Ｐ４はＩ２に依存し、Ｐ６はＰ４に依存する等である。
【００４７】
代替的に、例示的な一続き、フレーム１、フレーム３、フレーム５等に応答して、エンコードブロック３１４はＩ１を生成し、その後ＰフレームＰ３、Ｐ５等を生成することができ、例示的な一続き、フレーム２、フレーム４、フレーム６等に応答して、エンコードブロック３１６は、ＰフレームＰ２、Ｐ４、Ｐ６等を生成することができ、この場合、Ｐ３はＩ１に依存し、Ｐ５はＰ３に依存し、等であり、Ｐ２はＩ１に依存し、Ｐ４はＰ２に依存し、Ｐ６はＰ４に依存し、等である。
【００４８】
別の代替形態では、符号化された奇数フレーム３５０および偶数フレーム３５２におけるＩフレームは、互いに対してずれていてよい。
たとえば、エンコードブロック３１４は、Ｉ１を生成し、その後ＰフレームＰ３、Ｐ５等を生成することができ、エンコードブロック３１６は、ＰフレームＰ２、Ｐ４、Ｐ６、Ｉ８、Ｐ１０、Ｐ１２等を生成することができ、その場合、Ｐ３はＩ１に依存し、Ｐ５はＰ３に依存し、等であり、Ｐ２はＩ１に依存し、Ｐ４はＰ２に依存し、Ｐ６はＰ４に依存し、Ｐ１０はＩ８に依存し、等である。
かかる代替形態では、符号化された偶数フレーム３５６のＩフレームは、符号化された奇数フレーム３５４のＩフレーム間で均一に間隔が空けられており、その逆も同様であることが好ましい場合がある。
【００４９】
通信ブロック３１８は、符号化された奇数フレーム３５４および偶数フレーム３５６のストリームを受信側３３２に伝送する。
符号化された奇数フレーム３５４および偶数フレーム３５６のストリームが、ストリームのうちの１つの送信に誤りをもたらす中断が他のストリームの送信を妨げないように、別々のチャネルまたは通信経路で伝送されることが好ましい。
たとえば、通信ブロック３１８がパケット化通信ネットワークとして実施される場合、符号化された奇数フレーム３５４のストリームは、符号化されたイベントフレーム３５６のストリームを伝送するパケットとは別のパケットで送信されなければならない。
別の例として、通信ブロック３１８が無線周波数ネットワークとして実施される場合、符号化された奇数フレーム３５４のストリームは、符号化されたイベントフレーム３５６のストリームを伝送する周波数帯域とは異なる周波数帯域で送信されるべきである。
【００５０】
受信側３３２は、符号化された偶数フレーム３５６に応答して一続きの復元された偶数ビデオフレーム３６０を生成するデコードブロック３２０を有する。
受信側はまた、符号化された奇数フレーム３５４に応答して一続きの復元された奇数ビデオフレーム３６２を生成するデコードブロック３２２も有する。
デコードブロック３２０において実施される復号方法は、エンコードブロック３１４における符号化方法に適応される。
同様に、デコードブロック３２２で実施される復号方法は、エンコードブロック３１６における符号化方法に適応される。
【００５１】
たとえば、エンコードブロック３１６が、予測ループに従って動き推定および誤り情報を伝送する符号化された偶数フレーム３５６におけるＰフレームを生成する場合、デコードブロック３２０は、それ自体の予測ループにおいて受信したＰフレームからの動き推定および誤り情報を使用して、復元された偶数ビデオフレーム３６０を生成する。
【００５２】
かかる実施形態では、エンコードブロック３１４および３１６とデコードブロック３２０および３２２とにおける予測ループは、それらの状態を、生成されたかまたは受信された各符号化フレームによって連続的に更新する。
たとえば、エンコードブロック３１４における予測ループは、それが生成する各符号化された奇数フレーム３５４のその状態を更新し、デコードブロック３２０は、奇数フレーム３５４を復号した後にその状態を更新する。
各予測ループは、その状態と呼び得る情報を含む。
予測ループの状態を使用して、符号化される現フレームの予測が形成される。
状態の１つの構成要素は、事前に符号化されたフレームである。
状態は、各符号化されたフレームで変化する。
【００５３】
各エンコードブロック３１４および３１６は、それ自体の状態を有する予測ループを有する。
各エンコードブロックは、その状態に基づいて予測を形成し、各ブロックに対する動きベクトルおよびインタ／イントラ判断等の副情報とともに誤り信号を符号化し送信する。
この情報は、状態から予測をいかに形成するかを記述する。
各デコードブロック３２０および３２４は、その状態および副情報に基づいて予測を形成し、その後受信した復号された誤り信号を追加することにより現フレームを復元する。
エンコード／デコードブロック対は、同じ状態を有していなければならない。
そうでなければ、それらの予測は異なり、それらは見失い復元されたビデオフレーム３４４における著しい視覚的劣化をもたらす可能性がある。
【００５４】
従来のビデオ圧縮方法は、通常、送信側と受信側において、単一状態または他の情報を有する単一予測ループを有し、かかる情報は、喪失した場合に送信側と受信側とに異なる予測をもたらし、それによりしばしば著しい視覚的劣化をもたらすことになる。
本発明の技法は、各々がそれ自体の状態情報を有する、複数の予測ループを使用する。
したがって、本発明は、複数状態を使用するビデオ通信を提供する。
【００５５】
受信側３３２は、復元された偶数ビデオフレーム３６０および奇数ビデオフレーム３６２を結合して適当なフレーム順の一続きの復元されたビデオフレーム３４４にする、併合ブロック３２４を有する。
たとえば、併合ブロック３２４は、復元されたフルフレーム、フレーム１、フレーム３、フレーム５等を含む復元された奇数ビデオフレーム３６２を、復元されたフルフレーム、フレーム２、フレーム４、フレーム６等を含む復元された偶数ビデオフレーム３６０と結合することにより、フルフレーム、フレーム１、フレーム２、フレーム３、フレーム４、フレーム５、フレーム６等を含む復元されたビデオフレーム３４４を提供する。
復元されたビデオフレーム３４４を、リアルタイムディスプレイ（図示せず）に提供することができる。
【００５６】
また、併合ブロック３２４は、各ストリームにおける歪みを低減し、および／またはストリームにわたる一様の品質をもたらすための、ストリームにわたるアーティファクト低減または時間フィルタリングか、もしくは時間的フレームレート変換に対する、既知の処理等、後処理を実行することができる。
【００５７】
複数状態ビデオエンコーダを、複数記述ビデオコーダによって置き換えることができる。
特に、複数記述ビデオコーダは、オリジナルビデオを、各々が他のストリームから独立して復号可能である、複数のストリームに符号化するコーダである。
そして、各ストリームを、経路ダイバーシティ伝送システムを使用して異なる経路によって送信することができる。
【００５８】
複数状態ビデオエンコーダを、複数記述オーディオまたはスピーチコーダによって置き換えることができる。
特に、複数記述オーディオまたはスピーチコーダは、オリジナルビデオを、各々が他のストリームから独立して復号可能である複数のストリームに符号化するコーダである。
そして、各ストリームを、経路ダイバーシティ伝送システムを使用して異なる経路によって送信することができる。
【００５９】
複数状態ビデオエンコーダを、従来のビデオまたはオーディオエンコーダによって置き換えることができる。
従来のビデオまたはオーディオエンコーダに提案された経路ダイバーシティシステムを結合することによって、依然として、単一経路を使用する従来のビデオまたはオーディオエンコーダおよび従来の送信システムと比較して改良されたパフォーマンスを提供する。
【００６０】
図４は、送信側３３０と受信側３３２との間の送信中に誤りが発生する場合に、別々のストリーム３５４および３５６によってもたらされる利点を示す。
この実施例では、Ｐ３はＩ１に依存し、Ｐ５はＰ３に依存し、等であり、Ｐ２はＩ１に依存し、Ｐ４はＰ２に依存し、Ｐ６はＰ４に依存し、等である。
【００６１】
時刻ｔ１において、符号化された奇数フレーム３５４の送信時に発生する誤りにより、デコードブロック３２２がＰ５を適当に復元することができなくなる。
予測ループにおいて、デコードブロック３２２は、フレームＰ５を正確に復号することができず、したがってエンコードブロック３１４と比べて不正確な状態を有する。
結果として、デコードブロック３２２は、連続的に互いに依存しているＰ５〜Ｐ１３を復元することができない。
デコードブロック３２２の状態は、この実施例では、時刻ｔ２にＩフレームＩ１５が受信されるまで再初期化されない。
【００６２】
時刻ｔ１とｔ２との間で、デコードブロック３２０は、その状態を、Ｐ４、Ｐ６、Ｐ８等によって伝送される情報で更新し続け、Ｐ５の損失によって影響を受けない。
結果として、時刻ｔ１とｔ２との間で、復元されたビデオフレーム３４４は、復元されたイベントビデオフレーム３６０を伝送する。
これにより、オリジナルビデオフレーム３４０の標準フレームレートの１／２で表示が提供される。
これにより、ビデオをフリーズさせるかまたは時刻ｔ１とｔ２との間で誤り隠蔽を実行する従来のシステムより、優れたビデオイメージが提供される。
【００６３】
３つの別々のストリームを有する一実施形態では、ストリームのうちの１つにおけるＩフレームまたはＰフレームの損失は、標準レートの２／３のフレームレートをもたらす。
４つの別々のストリームを有する一実施形態は、ストリームのうちの１つにおけるＰフレームの損失に対し標準レートの３／４のフレームレートをもたらす等である。
【００６４】
動き推定パラメータと誤り情報パラメータとを、ビデオ圧縮規格で定義することができる。
これらの規格の例は多数であり、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等のあらゆる動画像専門家グループ（motion picture experts group（ＭＰＥＧ））規格と、Ｈ．２６１およびＨ．２６３とを含む。
【００６５】
データまたはパケットの前方誤り訂正符号化（ＦＥＣ）もしくはインタリービング等、従来のチャネル符号化技法を、各個々の経路におけるパケットかまたは複数の経路にわたるパケットに適用することができる。
たとえば、ＦＥＣを、個々の経路のパケットに適用することにより、冗長パケット（たとえば、パリティパケット）を生成することができ、それら冗長パケットは、同じ経路によって送信される。
代替的に、ＦＥＣを、複数の経路にわたるパケットに適用することができる。
たとえば、ＦＥＣを、経路１からの１つのパケット、経路２からの１つのパケット、…、経路Ｎからの１つのパケットに適用することにより、経路Ｎ＋１で送信される冗長パケット（たとえば、パリティパケット）を生成することができる。
【００６６】
システムのデコーダ部
本発明の一態様は、正しく受信された情報から任意の喪失情報（たとえば、パケット損失から）を推定するために、デコーダにおいて状態回復を使用することに関する。
特に、経路ダイバーシティの使用により、状態回復を実行しそれによって喪失情報を回復するデコーダの能力が向上する。
たとえば、１つのフレーム（またはフレームの一部）がパケット損失によって喪失される場合、本発明のデコーダアーキテクチャは、しばしば、正しく受信された周囲のフレームを使用することによって喪失情報を正確に推定（すなわち回復）することができる。
【００６７】
図５は、本発明の一実施形態による図１のビデオ受信側およびデコーダブロックをより詳細に示す。
受信側３３２は、ストリーム３５６によって提供される情報を使用することによりストリーム３５４の喪失したＰフレームＰ５を回復する状態回復ブロック５２６を含む。
Ｐ５の回復により、デコードブロック３２２は、その状態情報を正しく更新することによりその予測ループを続行し、Ｐ７〜Ｐ１３を復元することができる。
ストリーム３５６の復元がＰ５の損失によって影響を受けないという事実により、状態回復ブロック５２６は、損失フレームＰ５に関して前および後のフレームを使用してフレームＰ５を回復することができる。
【００６８】
状態回復ブロック５２６に対し、奇数ストリーム３５４からのＰ１およびＰ３と同様に、前のフレームＰ２およびＰ４と後のフレームＰ６〜Ｐ１４とが利用可能である。
状態回復ブロック５２６により、ストリーム３５４、３５６のいずれからのいずれの正確に復号されたフレームも使用が可能である。
たとえば、ストリーム３５６における後の偶数フレームと同様に、ストリーム３５４および３５６における先の偶数および奇数フレームのすべてを利用することができる。
【００６９】
たとえば、状態回復ブロック５２６は、Ｐ４およびＰ６の復元されたフルフレームバージョンである、フレーム４およびフレーム６を平均化することによって、Ｐ５のフルフレームバージョンを回復することができる。
復元されたフルフレーム、フレーム４およびフレーム６は、復元されたイベントビデオフレーム３６０の一部としてデコードブロック３２０によって生成される。
状態回復ブロック５２６は、Ｐ１およびＰ３と同様にＰ２、Ｐ４〜Ｐ１４の復元されたバージョンのいかなる組合せをも平均化することができる。
かかる平均化は、ストリーム３４２で伝送されるビデオイメージが静的であるかまたは低速で移動している場合に適当である可能性がある。
【００７０】
代替的に、状態回復ブロック５２６は、Ｐ１およびＰ３と同様にＰ２、Ｐ４、およびＰ６〜Ｐ１４の復元されたフルフレームバージョンの任意の組合せを使用することによって、Ｐ５のフルフレームバージョンを補間するかまたは推定することにより、Ｐ５のフルフレームバージョンを回復することができる。
ブロックベースの方法、制約等式方法、ピクセル再帰的（pel-recursive）方法、位相相関方法、ベイズ方法、およびオブジェクトベース方法を含む多数の動き推定方法を使用して、フレーム間の動きを推定することができる。
【００７１】
Ｐ５のフルフレームバージョンを、動き推定を使用して動き補償補間を実行することにより、および動き軌道に沿って適当な線形または非線形フィルタリングを適用することにより推定することができる。
また、補間は、適当な領域を推定するために後または前のフレームのみを使用するように適当に選択することにより、フレーム内のカバーされた、またはカバーされていない領域を考慮することもできる。
【００７２】
別の代替実施形態では、状態回復ブロック５２６が、Ｐ１およびＰ３と同様にＰフレーム、Ｐ２、Ｐ４、およびＰ６〜Ｐ１４の任意の組合せに含まれる動きベクトルを使用して、Ｐ５のフルフレームバージョンを補間または推定することにより、Ｐ５のフルフレームバージョンを回復することができる。
さらに、これらの前および後のＩフレームおよびＰフレームからの他の符号化情報を使用することができる。
ビットストリームの符号化情報の使用は、受信側３３２において状態回復の複雑性を低減するために役立つことが可能である。
【００７３】
ストリーム３５４および３５６を、一方が喪失すると他方の符号化情報が喪失したシーケンスを回復するために有用であるように協調して、符号化することができる。
たとえば、ストリーム３５６が喪失した場合に、正確な回復を可能にするためにストリーム３５４からの動きベクトルを使用することができるように、ストリーム３５６を考慮しながらストリーム３５４の動きベクトルを計算することができる。
【００７４】
正しく復号されたフレームのいかなるサブセットを使用して、状態回復を実行することができる。
喪失したフレームを、別の正しく復号されたフレームによって置き換えることにより、正しく復号されたフレームの動き補償バージョンによって置き換えることにより、または動き補償補間を介して置き換えることにより、推定することができる。
【００７５】
エンコードブロック３１４、３１６は、ストリーム３５４、３５６における各フレームに関し、状態回復ブロック５２６に対して、対応するフレームが喪失した場合にいかに状態回復を実行するかを通知する副情報を、デコードブロック３２０、３２２に対して送信することができる。
喪失したフレームの改善された隠蔽をもたらすために前のフレームと後フレームをともに使用することによって、既知の誤り隠蔽方法を適用することができる。
【００７６】
ストリームが、双方向に予測されたフレーム（Ｂフレーム）を含む一実施形態では、状態回復ブロック５２６は、喪失したＢフレームを任意に回復し表示することができる。
他のいずれのフレームも喪失したＢフレームに依存しないため、これは任意である。
【００７７】
図６は、喪失フレームを回復する際に使用するために前および後のフレームが選択される実施例を示す。
状態回復ブロック５２６は、シーン変化を考慮しながら喪失フレームを回復する際に使用される前および後のフレームを選択する。
この実施例では、時刻ｔ１０における通信誤りにより、符号化された奇数フレーム３５４からフレーム５の符号化バージョンの喪失がもたらされる。
フレーム３がＰフレームでありフレーム４がＩフレームであるため、シーン変化がフレーム３とフレーム４との間で発生した可能性があり、したがって喪失フレーム５が、エンコードブロック３１４によってシーン変化に対応するためにＩフレームとして符号化されたと推断される。
状態回復ブロック５２６は、フレーム５の回復に使用されるＩ４、Ｐ６、Ｐ８等の復元されたバージョンの任意の組合せを選択するが、Ｐ２およびＰ３は恐らくは前のシーンと関連するため選択しない。
【００７８】
また、この方法を、ブロックの大半がＰブロックではなくＩブロックとして符号化されるＰフレームがある場合に使用することができる。
たとえば、Ｐ３が、ブロックの大半がＰブロックとして符号化される通常のＰフレームに対応し、フレーム４もまたＰフレームであるが、Ｉブロックとして符号化されたブロックの割合が非常に高い場合、これは、フレーム４のＩブロック部分に重要な新たなイメージがあり、フレーム５を回復するために、Ｐ３の対応する領域ではなくその情報を使用するべきである、ということを示す。
Ｐフレームは、それらのブロックを前のフレームから正確に予測することができない場合、たとえばフレームの一部に重要な動きがあるかまたはフレームの一部に新たなイメージがある場合に、Ｉブロックを有することができる。
【００７９】
また、フレームの一部のみが喪失された場合に、上記技法を適用することも可能である。
この場合、回復は、周囲のフレームと現フレームの正しく受信された部分との両方に基づくことができる。
【００８０】
実施形態によっては、受信側３３２が送信側３３０に再び情報を送信することができるようにする通信チャネルが存在する。
かかるチャネルは、バックチャネルと呼ばれることが多い。
かかる実施形態では、状態回復ブロック５２６は、バックチャネルを使用して、送信側３３０に対して、誤りがフレーム５の喪失をもたらしたことを通知する。
受信側３３２がバックチャネルを使用して、状態回復に使用される方法に関して送信側３３０に通知することができる。
【００８１】
状態回復ブロック５２６は、上述したように、フレーム５を選択された前および後のフレームを使用して回復するが、送信側３３０は、それらの同じ前および後のフレームと回復方法とを使用して回復されたフレーム５を確定する。
そして、送信側３０は、回復されたフレーム５を、先に符号化され送信された実際のフレーム５と比較することにより、状態回復ブロック５２６によって実行された回復の品質を確定する。
【００８２】
回復の品質が十分でない場合、送信側３３０は、符号化された奇数フレーム３５４のＩフレームを符号化して送信することにより、デコードブロック３２２の状態を再初期化する。
Ｉフレーム全体を送信することに対する代替形態として、送信側３３０は、回復されたフレーム５のいずれのサブ領域が不十分であるかを判断し、それらの領域に対してイントラであり残っている領域に対して予測的であるフレームを送信することができる。
エンコーダは、その状態を回復されたフレームと置き換えるように選択することができ、その後既知の方法で予測を符号化し形成し続けることができる。
【００８３】
ブロック３１２〜３２４は、それぞれそれらの特定の機能を実行するハードウェアおよび／またはソフトウェア要素を表す。
たとえば、フレーム分離ブロック３１２を、ハードウェアマルチプレクサ回路で実施することができ、あるいは、送信側３３０のプロセッサのためのソフトウェア／ファームウェアの等価な機能で実施することができる。
併合ブロック３２４を、ハードウェアデマルチプレクサ回路で実施することができ、受信側３３２のプロセッサのためのソフトウェア／ファームウェアの等価な機能で実施することができる。
エンコードブロック３１４、３１６を、別個のハードウェアエンコーダで、または送信側３３０のプロセッサのためのソフトウェア／ファームウェアで、またはそれらの組合せで実施することができる。
デコードブロック３２０、３２２を、別々のハードウェアデコーダで、または受信側３３２におけるプロセッサのためのソフトウェア／ファームウェアで、またはそれらの組合せで実施することができる。
状態回復ブロック５２６の機能を、デコードブロック３２０、３２２のハードウェアおよび／またはソフトウェアで、あるいは別々のハードウェアおよび／またはソフトウェア／ファームウェアで実施することができる。
【００８４】
通信ブロック３１８の実施は、ビデオ通信システム１００で使用された通信のタイプに適応される、ハードウェアおよび／またはソフトウェア／ファームウェア要素を含む。
たとえば、ビデオ通信システム１００がインターネット通信を使用する場合、通信ブロック３１８は、インターネットアクセスのために送信側３３０と受信側３３２とにハードウェア要素を含むとともに、送信側３３０と受信側３３２とにインターネット通信プロトコルを実施するソフトウェア要素を含む。
【００８５】
別の実施例では、ビデオ通信システム１００が無線通信を使用する場合、通信ブロック３１８は、送信側３３０と受信側３３２とに無線送信のためのハードウェア要素を有するとともに、送信側３３０と受信側３３２とに携帯電話等の無線通信プロトコルを実施するソフトウェア要素を有する。
【００８６】
エンコーダと同様に、デコーダは、２つの別個のデコーダか、または予測を実行するために使用する、先に復号されたフレームのものと交互になる、単一デコーダを含むことができる。
誤りがなく、偶数ストリームと奇数ストリームとがともに正しく受信される場合、両ストリームは、偶数および奇数フレームをもたらすように復号され、それらは最終的に表示するためにインタリーブされる。
【００８７】
ストリームが誤りを有する場合、そのストリームの状態は不正確であり、そのストリームに対し誤り伝播があることになる。
しかしながら、他の独立して復号可能なストリームを、使用可能なビデオを生成するために依然として正確かつ簡単に復号することができる。
たとえば、奇数フレームに対応するビットストリームが喪失した場合、偶数フレームを、ビデオをそのオリジナルフレームレートの半分で回復することにより、復号し表示することができる。
誤りがフレームレートの一時的な低減をもたらすが、他の歪みはない。
なお、フレームレートの一時的な低減は、ビデオをフリーズさせるかまたは何らかの形態の隠蔽を実行することによって未知のビデオを推定しようとする、従来技術による方法の場合に対して、しばしば好ましい。
これらの従来技術による方法のいずれも、特に次のＩフレームの前に多くのフレームがある場合に、著しい歪みをもたらす可能性がある。
【００８８】
本発明の複数状態ビデオ符号化の重要な特徴は、それが改良された誤り隠蔽を提供し破損したストリームの改良された状態回復を可能にする、ということである。
従来技術によるビデオ符号化方法は、誤り隠蔽に使用するために先のフレームにしかアクセスすることができない。
本発明の状態回復技法は、図６に示すように、前のフレームと後のフレームとの両方に対するアクセスを提供する。
前のフレームと後のフレームとの両方の可用性と慎重な使用は、破損したストリームの回復に非常に役立ち、それによってビデオをそのフルフレームレートに復元する。
特に、喪失状態（たとえば、符号化フレーム）を、しばしば、そのストリームの他のフレームを予測するための基準として使用するために十分正確に推定することができる。
結果として、破損したストリームを、本発明によって迅速に回復することができ、それは次の再同期化を待機することより好ましい。
【００８９】
隠蔽（または状態回復）を実行するために前のフレームのみに対するアクセスを提供する、従来の（単一状態）ビデオ符号化アーキテクチャとは対照的に、提案された方法は、前のフレームと後のフレームとの両方に対するアクセスを提供し、改良された状態回復を可能にする。
【００９０】
さらに、提案された方法は、回復の品質を推定する能力を提供する。
たとえば、正しく受信されたストリームをいかに使用して破損ストリームを推定することができるかに類似して、回復された破損ストリームを使用して、既知の正しく受信されたストリームを推定することができ、一致の正確さは、回復品質の推定を提供することができる。
【００９１】
誤り隠蔽の品質の知識は、あらゆる方法で有益であり得る。
たとえば、品質が許容不可能である場合、デコーダは、最後の正しく復号されたフレームを単にフリーズさせ次の再同期化を待機するように選択することができる。
品質が優れている場合、デコーダはすべてのフレームを復号し表示し続けることができる。
【００９２】
なお、従来技術（単一状態）ビデオ符号化方法では、通常、デコーダは、正しいフレームが何であるべきかの知識を有していないため、結果としての誤り隠蔽の品質を推定することが非常に困難である。
【００９３】
複数状態ビデオ符号化と経路ダイバーシティとは、別々に使用される場合であっても有用である。
たとえば、複数状態ビデオ符号化は、単一経路で送信される場合であっても改良された信頼性を提供することができる。
さらに、それは、バックチャネルを必要とせず、したがって多種多様なアプリケーション（たとえば、ブロードキャストまたはマルチキャスト）に適用することができ、ＭＰＥＧ−４バージョン２（ＮＥＷＰＲＥＤ含む）およびＨ．２６３バージョン２（ＲＰＳ含む）内で標準・互換拡張として適用することができる、魅力的な特性を有する。
【００９４】
したがって、いかなるＭＰＥＧ−４バージョン２デコーダも、結果としてのビットストリームを復号することができ、本明細書で上述したように構成された状態回復を実行するように設計された拡張デコーダは、改良された誤り回復を提供することができる。
経路ダイバーシティは、（１）個々の経路と比較して通信品質における可変性を低減することと、（２）バーストパケット損失が孤立したパケット損失に変換されることと、（３）機能停止の確率が大幅に低減されることとを含む複数の利点を提供する。
したがって、経路ダイバーシティは、改良された仮想チャネルを提供し、システム設計、たとえばＦＥＣ設計を簡略化するため、より一般的なパケットベース通信システム設計に対して有益であり得る。
【００９５】
複数状態ビデオ符号化と経路ダイバーシティとは、ともに使用される場合、互いに補完し、またある程度まで、互いの能力を拡張する。
複数状態ビデオコーディングは、伝送システムが異なる経路で明示的に送信する複数の独立して復号可能なビットストリームを提供し、伝送システムは、ストリームのうちの少なくとも１つがいずれの時点でも正しく受信される確率が高いビデオデコーダを提供し、それによってビデオデコーダは破損ストリームを回復させる状態回復を実行することができる。
【００９６】
図７は、本発明の別の実施形態によるビデオ通信システムを示す。
この実施形態では、複数ストリーム５２０を処理するために、送信側５１０は単一エンコーダ５７０を使用し、受信側５１２は単一デコーダ５７２を使用する。
オリジナルビデオフレーム５４０に応答して、エンコーダ５７０は、オリジナルビデオフレーム５４０の符号化バージョンを伝送する一続きの符号化フレーム５４２を生成する。
送信側５１０のフレーム分離ブロック５７４は、符号化フレーム５４２を、符号化された奇数フレーム５５４と偶数フレーム５５６とである複数ストリーム５２０に分離する。
受信側５１２における併合ブロック５７６は、複数ストリーム５２０からの一続きの符号化フレーム５４２を適当な順序で再アセンブルする。
デコーダ５７２は、復元されたビデオフレーム５２２を生成し、上述したようにフレーム回復を実行することができる。
【００９７】
この実施形態は、ストリーム５２０の各々に対して別々のエンコーダ／デコーダ対を使用する実施形態と比較して、送信側５１０および受信側５１２のハードウェアを節約する。
この実施形態は、一続きの符号化フレーム５４２におけるいかなる所与の符号化フレームも、一続きの符号化フレーム５４２のいかなる他の先のフレームによって決まり得る、圧縮規格に従って、符号化および復号することに適している。
たとえば、フレームＰ２、Ｐ４、Ｐ６、Ｐ８、…、Ｐ２ｎを有するストリームを考慮すると、この実施形態により、Ｐ８がＰ６に依存することを可能にし、Ｐ６がＰ４に依存し、等となる。
【００９８】
これをさらに明らかにするために、複数状態符号化を、先に符号化された最後の２つのフレーム（最後のものだけではなく）を格納し、符号化されることになる現フレームに対する予測を形成するために先に符号化されたフレームのいずれを使用するべきかを選択する、任意のエンコーダを使用して実行することができる。
ＭＰＥＧ−４バージョン２（ＮＥＷＰＲＥＤ含む）とＨ．２６３バージョン２（参照ピクチャ選択（Reference Picture Selection）含む）はともに、参照フレーム間の予測の切替えをサポートする。
したがって、複数状態符号化を、ＭＰＥＧ−４およびＨ．２６３規格との標準・互換方法で実行することができる。
【００９９】
たとえば、本発明の複数状態エンコーダは、ＭＰＥＧ−４、Ｈ．２６３、それらに基づく他のビデオ圧縮規格および他のビデオ圧縮規格に標準対応であるビットストリームを生成することができる。
さらに、本発明の複数状態デコーダは、ＭＰＥＧ−４およびＨ．２６３ビットストリーム（または、構文が別のビデオ圧縮規格によって定義される別のビットストリーム）を復号し、状態回復を提供することができる。
さらに、本発明の複数状態符号化ビットストリームを、ＭＰＥＧ−４、Ｈ．２６３、それらに基づく派生物および他の規格等、ビデオ圧縮規格に標準互換とすることができる。
【０１００】
システムをこのように設計することにより、いかなるＭＰＥＧ４またはＨ．２６３デコーダも、結果としてのビットストリームを復号することができる。
さらに、本発明による状態回復を実行するように設計された拡張デコーダは、改良された誤り回復を提供することができる。
【０１０１】
平衡（balanced）および不平衡（unbalanced）動作
本発明は、複数状態ビデオ符号化を、異なるストリームが異なるネットワーク経路によって明示的に伝送される経路ダイバーシティ伝送システムと結合することにより、各ストリームに対する損失の確率が独立している可能性を増大させることによって、パケットネットワークに対する複数状態符号化の有効性を向上させる。
【０１０２】
複数経路を使用する場合、各経路が、帯域幅、パケット損失率、遅延およびサービス品質の他の形態等、異なる特性を有する可能性がある。
さらに、パケットネットワークにおける各経路の特性は、時間依存性である。
したがって、ビデオ符号化および伝送を各経路の特性に適当であるように調整することができることは、望ましくかつ重要である。
【０１０３】
たとえば、２つの経路を使用する場合、各経路の利用可能な帯域幅は同様であっても異なっていてもよい。
各経路の帯域幅が同じである場合、ビデオ符号化は、各ストリームを同じビットレートであるように符号化することができ、それは平衡（balanced）動作と呼ばれる。
各経路の帯域幅が異なる場合、ビデオ符号化は、各ストリームの符号化をそのそれぞれの経路に対して適当なレートであるように調整するべきであり、それを不平衡（unbalanced）動作と呼ぶ。
ビデオ通信システムが、平衡動作と不平衡動作との両方において有効であることは重要である。
【０１０４】
図１１は、２つのストリームによる複数状態符号化と、２つの経路（すなわち、第１の経路１１１０および第２の経路１１２０）を有するリレーベース経路ダイバーシティシステムとの実施例を示す。
なお、第１の経路１１１０は、第２の経路１１２０の帯域幅より大きい大域幅を有する。
言い換えれば、このシステムは、経路＃１が経路＃２より大きい帯域幅をサポートしており不平衡である。
【０１０５】
本発明は、ビデオ符号化および伝送を、各経路の特性に対して適当であるように調整することができる。
複数状態符号化方法は、本来平衡している（偶数フレームと奇数フレームが等しい複雑性を有すると想定）。
【０１０６】
不平衡の必要なレートを達成するために、本発明は、ストリームの符号化の量子化、フレームレート、または空間解像度を選択的に適応させることができる。
特に、本発明は、誤り回復能力を大幅に保持しながら、必要なビットレートを低減するためにフレームレートを動的に適応させることができる。
【０１０７】
概して、各ストリームにおいておよそ等しい品質を保持することが重要である。
そうでない場合、観察者は、特に損失のない場合に、オリジナルフレームレートの半分で品質変動をフリッカとして知覚する可能性がある。
本発明は、小さいレートの変更（たとえば、０〜２０％レート低減）に対して、より粗い量子化によるレート制御を使用することができる。
しかしながら、ずっと大きい変更を達成するためには、おそらくは、より粗い量子化によるレート制御を使用するべきではない。
異なるストリームの品質が潜在的なフリッカを低減するためにおよそ等しいことを保証しながら、空間解像度の変更も実行することができる。
【０１０８】
フレームレート変更は、フレーム毎の品質を保持し誤り回復性能を十分に保持しながら、レートを適応させる単純なメカニズムを提供する。
特に、変更は、一様にフレームレートを低減する形態（大きいレート低減、たとえば、４０〜５０％に対して有用）であっても、周期的またはランダムな間隔でフレームをスキップする形態（より小さいレート低減、０〜４０％に対して有用）であり得る。
たとえば、１フレーム／秒（１５フレーム／秒から）をスキップすることにより、約６％の低減（特定のビデオによる）がもたらされ、２フレーム／秒のスキップの場合は１２％、３フレーム／秒のスキップの場合は１８％、…、および７．５フレーム／秒（フレームおきにスキップ）のスキップの場合は約４５％の低減がもたらされる。
フレームをスキップする場合、圧縮効率を保持するために２つの連続するフレームをスキップしないことが重要である。
【０１０９】
たとえば、経路１がＲビット／秒のレートをサポートし経路２がＲ／２ビット／秒のレートをサポートする場合、経路２によって送信されるビデオを、経路１によって送信されるビデオに比較して１／２のフレームレートで（フレームおきにスキップ）符号化することができる。
この結果、両ストリームの品質の等しいフレームを保持しながら、２つの経路間のビットレートの差がほとんど２倍となる。
【０１１０】
状態回復の正確さは、利用可能フレームの喪失フレームからの距離とともに利用可能フレームの品質によって決まる。
図１２（Ａ）は、２つのストリームによる平衡複数状態ビデオ符号化に対する状態回復の実施例を示し、図１２（Ｂ）は、２つのストリームによる不平衡複数状態ビデオ符号化の実施例を示す。
この不平衡符号化の実施例では、フレーム毎にスキップされる（１／２でサブサンプリングすることにより）。
破線は、フレーム間の予測依存を示す。
Ｘは、喪失情報を示す。
実線は、破損フレームを回復するべく状態回復を実行するために使用されるフレームを示す。
Ｔがフレーム間隔であるとすると、平衡の場合、最も近接するフレームは、｛−Ｔ，＋Ｔ｝だけ間隔が空けられており、不平衡の場合、偶数フレームの損失の場合｛−Ｔ，＋Ｔ｝であり、奇数フレームの損失の場合｛−２Ｔ，＋Ｔ｝または｛−Ｔ，＋３Ｔ｝である。
不平衡の場合、より低いレートの偶数ストリームの損失を、平衡の場合と同じ精度で回復することができる。
しかしながら、より高いレートの奇数ストリームの損失は、回復がより困難である。
各場合において、状態回復を、破損フレームに最も近接する正しく受信されたフレームを利用するように調整する。
【０１１１】
図１０は、エンコーダが経路品質の変化に応答して符号化と通信パラメータとを動的に適応させる方法を示すブロック図である。
エンコーダ１１４は、経路品質パラメータ１０４０に応答して符号化パラメータを選択的に変更する動的ビデオ符号化パラメータ変更モジュール１０２０を有する。
ビデオ符号化パラメータは、符号化の量子化、フレームレート、および空間解像度を含むことができる。
【０１１２】
経路セレクタ１１８は、経路品質パラメータ１０４０に応答して通信パラメータを選択的に変更する動的通信パラメータ変更モジュール１０３０を有する。
【０１１３】
なお、経路品質パラメータ１０４０は、経路品質パラメータソース１０５０によって提供される。
ソース１０５０を、フィードバックリンクまたはサイドチャネルを介して経路品質パラメータ１０４０を提供する受信側１２０とすることができる。
経路品質パラメータ１０４０は、送信側１１０によって既知であることも可能である。
たとえば、通信チャネルのタイプによっては、通信パラメータ（たとえば、利用可能帯域幅）は、比較的静的であって発見可能である。
経路品質パラメータは、帯域幅、パケット損失レート、遅延、およびサービス品質パラメータを含むことができる。
【０１１４】
他の実施形態は、３つ以上のストリームを使用することができる。
たとえば、４つのストリームのセットが、オリジナルビデオフレームの３つおきの符号化されたフレームを伝送することができ、もしくは、５つのストリームのセットが、オリジナルビデオフレームの４つおきの符号化されたフレームを伝送することができる。
【０１１５】
さらに他の実施形態は、一様でないフレームのサブセットを含むストリームを使用することができる。
たとえば、第１のストリームは、フレーム１、フレーム２、フレーム４、フレーム５、フレーム７、フレーム８を含むことができ、第２のストリームは、フレーム３、フレーム６、フレーム９等を含むことができる。
【０１１６】
オリジナルビデオを別々の符号化に対して２つ以上の部分に分離することができる複数の異なる方法がある。
ビデオを、空間的に等他の方法で分割することができる。
たとえば、ビデオを、各々が別々に符号化される４象限に分割することができる。
代替的に、ビデオを、偶数および奇数のインターレースフィールド、偶数行および奇数行、または偶数列および奇数列に分割することができる。
分割は、互いに素である必要はない（すなわち、同じ情報のいくつかが複数フレームにあってよい）。
たとえば、フレーム（または他の情報）によっては、複数のストリームで符号化することができる。
【０１１７】
さらに他の実施形態では、ストリーム間のフレームの分離を、オリジナルビデオフレームの内容に基づいて動的に確定することができる。
【０１１８】
本技法を、オリジナルビデオフレームのサブセットに適用することができる。
たとえば、オリジナルビデオフレームの各々を４象限に分解することができ、各象限を２つ以上の別々のストリームを使用して符号化することができる。
言い換えれば、本技法を、時間的にまたは空間的に分割されるかまたは他の方法でグループ化されたストリームに適用することができる。
【０１１９】
さらに、複数のストリームの数を適応的に選択することができ、通信状態に基づいて動的に変更することができる。
たとえば、通信チャネルが非常に良好であり、損失がほとんどない場合、２つのストリームを有することが適当である場合も単一ストリームのみを有することが適当である場合もある。
しかしながら、通信が多くの損失によって悪化する場合、ストリームの数を３つまたは４つ以上まで変更することが適当である場合がある。
【０１２０】
受信側は、たとえばバックチャネルを使用して通信損失を送信側に通知することができる。
そして、送信側は、この情報を使用してその符号化を動的に適応させることができる。
たとえば、通信損失が比較的低い場合、ビデオを単一状態のみによって符号化することにより単一ストリームを生成することができ、それは単一経路によって送信される。
一方、通信損失が比較的高い場合、ビデオを、複数状態を使用して符号化することにより、複数の独立して復号可能なストリームを生成することができ、それらの各々は別々の経路で送信される。
【０１２１】
本発明のビデオ通信システムを、デジタルテレビシステム、インターネットビデオシステム、および無線ビデオシステム等、多種多様なアプリケーションに適用することができる。
これらのアプリケーションの各々において、デジタルビデオを伝送するために通信リンクが使用される。
これらのシステムでは、デジタルビデオは送信側で発生し、１つまたは複数の通信リンクを介して１つまたは複数の受信側に転送される。
たとえば、デジタルテレビシステムでは、放送局が、無線によるかまたはケーブル通信リンクを介して１つまたは複数のデジタルテレビ受信機に伝送する。
インターネットビデオシステムでは、別の実施例として、サーバが通常、デジタルビデオを、インターネットを介して１つまたは複数のウェブクライアント受信機に転送する送信機としての役割を果たす。
【０１２２】
ソースへの接続
場合によっては、ソースを、複数の接続を介して世界中の他の地域に接続してよい。
たとえば、会社は、耐故障性のために複数のインターネットサービスプロバイダ（ＩＳＰ）との接続を有することができる。
たとえば、１つのＩＳＰが破局的障害を有するかまたは破綻する場合、会社はその動作を中断させることなく他のＩＳＰのうちの１つを使用するように単純に切り替えることができる。
【０１２３】
この場合、経路ダイバーシティを、パケットの異なるストリームを異なるＩＳＰの各々に向けることによって達成することができる。
各ＩＳＰがそれ自体のローカルネットワークを有するため、パケットの異なるストリームを各ＩＳＰに送信することは、各ストリームを別個の経路にトラバースすることに対応する。
【０１２４】
場合によっては、ソースを、複数の技術を介して世界中の他の地域に接続してよい。
たとえば、ソースを、従来の有線ネットワーク、携帯電話ネットワーク、および衛星リンクを介して接続することができる。
この場合、経路ダイバーシティを、パケットの異なるストリームを異なる技術の各々によって向けることにより達成することができる。
各技術がそれ自体のネットワークを有するため、パケットの異なるストリームを各技術に送信することは、各ストリームが別々の経路をトラバースすることに対応する。
たとえば、パケットの１つのストリームが衛星リンクを介して送信されることができ、パケットの別のストリームが従来の有線リンクを介して送信されることができる。
これらの２つのストリームは、異なる経路をトラバースする。
【０１２５】
携帯電話環境では、ソースを、複数の基地局に接続することができてよい。
この場合、ソースは、異なるストリームを各基地局に送信することができ、それによって各ストリームを別々の経路によって送信する。
【０１２６】
無線（たとえば、無線ＬＡＮ）または携帯電話環境においてクライアントと通信する際、宛先は、同時に複数の送信機からデータを受信することができる可能性がある。
したがって、異なるストリームを異なる送信機によって送信することにより、宛先は異なる経路からデータを受信することができる。
【０１２７】
これは、インフラストラクチャがいかに情報を宛先に配信するかを判断する場合の実施例である。
インフラストラクチャは、宛先が複数の送信機からデータを受信することができる、ということを特定することができ、したがって、パケットの異なるストリームを異なる送信機によって送信する。
【０１２８】
デジタルテレビに類似する環境では、データの１つのストリームを、無線スペクトルによってブロードキャストすることができ、別のストリームを、ケーブル等の有線ネットワークによって送信することができる。
【０１２９】
異なるシナリオでは、１つのストリームを無線チャネル（テレビに類似する）によってブロードキャストすることができ、別の到達が困難な地域に、別個の無線送信機を配置することができる。
そして、その別個の無線送信機を使用して、異なるストリームを送信する。
このシナリオは、特に、山、超高層ビル、他の障害物または障壁がある地域において特に有用である。
【０１３０】
上記シナリオでは、異なるストリームは、通常、パケットの異なるサブセットを含む。
しかしながら、場合によっては、複数のストリームで同じパケットを送信することが有益である場合がある。
【０１３１】
上述した明細書において、本発明を、その特定の実施形態に関して説明した。
しかしながら、本発明のより広い範囲から逸脱することなく、それに対してあらゆる変更および変形を行ってよい、ということが明らかとなろう。
したがって、明細書および図面は、限定する意味ではなく例示的な意味でみなされなければならない。
【産業上の利用可能性】
【０１３２】
本発明は、パケットネットワークにわたるマルチメディア通信に利用可能である。
【図面の簡単な説明】
【０１３３】
【図１】本発明の一実施形態によるビデオ通信システムを示す図である。
【図２】本発明の一実施形態によるビデオ通信システムによって実行されるステップを示すフローチャートである図である。
【図３】本発明の一実施形態による図１のビデオ通信システムをより詳細に示す図である。
【図４】ストリームのうちの１つの送信において誤りが発生する場合に別個のストリームによってもたらされる利点を示す図である。
【図５】本発明の一実施形態による図１のビデオ受信機およびデコーダブロックをより詳細に示す図である。
【図６】喪失フレームを回復する際に使用するために前および後のフレームが選択される実施例を示す図である。
【図７】本発明の別の実施形態によるビデオ通信システムを示す図である。
【図８】本発明の一実施形態による複数状態ビデオエンコーダによって実行されるステップを示すフローチャートである。
【図９】本発明の一実施形態による複数状態デコーダによって実行されるステップを示すフローチャートである。
【図１０】エンコーダが、経路品質の変化に応答して符号化および通信パラメータをいかに動的に適応させるかを示すブロック図である。
【図１１】本発明の一実施形態による不平衡動作を有するビデオ通信システムを示す図である。
【図１２】（Ａ）は、本発明の一実施形態による、平衡動作中のビデオ通信システムに対する状態回復を示す図であり、（Ｂ）は、本発明の一実施形態による、不平衡動作中のビデオ通信システムに対する状態回復を示す図である。
【符号の説明】
【０１３４】
１００ ビデオ通信システム
１１０ 送信側
１１４ 複数状態ビデオエンコーダ
１１８ 経路セレクタ
１２０ 受信側
１２４ パケット受信機
１２８ ビデオデコーダ
１３０ パケットネットワーク
１６２ 第１の経路
１６４ 第２の経路
１６６ 第３の経路
５２６ 状態回復ブロック

Claims (20)

1. ネットワークによって送信側から受信側にビデオを通信する方法であって、
   フレームを受信するステップと、
   該受信したフレームがフレームの第１のサブシーケンスからであるか否かを判断するステップと、
   前記フレームがフレームの第１のサブシーケンスからである場合に、前記フレームを符号化し、前記フレームをパケット化し、前記パケットを第１の経路を介して送信するステップと、
   一方、前記フレームがフレームの第１のサブシーケンスからでない場合、前記フレームを符号化し、前記フレームをパケット化し、前記パケットを第２の経路を介して送信するステップと
   を含む方法。
2. 第１のサブシーケンスと第２のサブシーケンスは、時間または空間に基づいて選択される
   請求項１記載の方法。
3. 前記受信したフレームがフレームの第１のサブシーケンスからであるか否かを判断する前記ステップは、前記フレームが奇数フレームであるか偶数フレームであるかを判断することを含む
   請求項１記載の方法。
4. 前記パケットは、該パケットが前記第１のサブシーケンスの一部であるか前記第２のサブシーケンスの一部であるかを特定するラベルを含む
   請求項１記載の方法。
5. パケットが第１のサブシーケンスからであるか否かを判断するステップと、
   前記パケットが第１のサブシーケンスからである場合に、前記パケットを復号するステップと、
   前記パケットに誤りがあるか否かを判断するステップと、
   誤りがある場合に、低減フレームレートが許容可能であるか否かを判断するステップと、
   低減フレームレートが許容可能である場合に、前記第２のサブシーケンスからのフレームを使用することによって、低減されたフレームレートで前記ビデオを表示するステップと、
   低減されたフレームレートが許容可能でない場合、前記第１のサブシーケンスと前記第２のサブシーケンスとのうちの一方からの前のフレームと後のフレームとのうちの一方を使用することにより、第１のフレームに対して状態回復を実行するステップと
   をさらに含む請求項１記載の方法。
6. パケットが第１のサブシーケンスからであるか否かを判断するステップと、
   前記パケットが第１のサブシーケンスからである場合、前記パケットを復号するステップと、
   前記パケットに誤りがあるか否かを判断するステップと、
   誤りがある場合に、前記第１のサブシーケンスと前記第２のサブシーケンスとのうちの一方からの前のフレームと後のフレームとのうちの一方を使用することによって第１のフレームに対する状態回復を実行するステップと
   をさらに含む請求項１記載の方法。
7. 前記第１のサブシーケンスと前記第２のサブシーケンスとのうちの一方からの前のフレームと後のフレームとのうちの一方を使用することによって第１のフレームに対する状態回復を実行する前記ステップは、
   喪失フレームを推定することと、
   後の復号において該推定フレームを使用することと、
   該推定フレームを表示することと
   を含む請求項６記載の方法。
8. ネットワークによって送信側から受信側にビデオを通信するシステムであって、
   サブシーケンス識別子フィールドを有する第１のフレームを受信し、所定基準に基づいて、第１のサブシーケンス識別子と第２のサブシーケンス識別子とのうちの一方により前記第１のフレームの前記サブシーケンス識別子フィールドを指定するセパレータと、
   該セパレータに連結され、前記第１のフレームを符号化するエンコーダと、
   前記サブシーケンス識別子フィールドに基づいて、前記第１のフレームを第１の経路と第２の経路とにより送信する（transmit 伝送）送信機と
   を具備するシステム。
9. 前記第１のフレームを受信する受信機と、
   該受信機に連結され、前記第１のフレームを復号し該第１のフレームに誤りがあるか否かを判断するデコーダと、
   該デコーダに連結され、誤りがある場合に前のフレームと後のフレームとのうちの一方を使用することにより前記第１のフレームに対して状態回復を実行する状態回復ユニットと
   をさらに具備する請求項８記載のシステム。
10. 複数状態を使用し、回復された破損フレームを既知の正しく受信されたストリームと比較することにより、前記状態回復の品質を推定する送信機
    をさらに具備する請求項８記載のシステム。
11. 少なくとも１つの経路品質パラメータを受信するステップと、
    該経路品質パラメータに応答して少なくとも１つのビデオ符号化パラメータを動的に変更するステップと
    をさらに含む請求項１記載の方法。
12. 前記経路品質パラメータを、前記受信機によりフィードバックリンクを通して提供する
    請求項１記載の方法。
13. 前記ビデオ符号化パラメータは、符号化の量子化と、フレームレートと、空間解像度とを含む
    請求項１記載の方法。
14. 少なくとも１つの経路品質パラメータを受信するステップと、
    該経路品質パラメータに応答して少なくとも１つの通信パラメータを動的に変更するステップと
    をさらに含む請求項１記載の方法。
15. 前記通信パラメータは経路の数と経路構成とを含む
    請求項１記載の方法。
16. 前記経路品質パラメータは、帯域幅と、パケット損失レートと、遅延と、サービス品質とを含む
    請求項１記載の方法。
17. 前記経路の数を、１つの経路となるように動的に変更し、前記状態の数を、１つの状態になるように動的に変更する
    請求項１記載の方法。
18. ネットワークを介してオリジナルの一続きのビデオフレームを通信する方法であって、
    該オリジナルの一続きのビデオフレームを受信することと、
    該オリジナルの一続きのビデオフレームを奇数ビデオフレームと偶数ビデオフレームとに分離することと、
    前記奇数ビデオフレームを符号化された奇数ビデオフレームに符号化することと、
    前記偶数ビデオフレームを符号化された偶数ビデオフレームに符号化することであって、前記符号化された奇数ビデオフレームと前記符号化された偶数ビデオフレームとが独立して復号可能である、符号化することと、
    ネットワークにわたって第１の経路を使用することにより前記符号化された奇数ビデオフレームを送信することと、
    前記ネットワークにわたって第２の経路を使用することにより前記符号化された偶数ビデオフレームを送信することと
    を含む方法。
19. 前記符号化された奇数ビデオフレームを受信することと、
    前記符号化された偶数ビデオフレームを受信することと、
    前記符号化された奇数ビデオフレームを復号することにより復元された奇数ビデオフレームを生成することと、
    前記符号化された偶数ビデオフレームを復号することにより復元された偶数ビデオフレームを生成することと、
    前記復元された奇数ビデオフレームと復元された偶数ビデオフレームとを併合することにより前記オリジナルビデオフレームを回復することと
    をさらに含む請求項１８記載の方法。
20. 前記符号化された奇数ビデオフレームを受信することと、
    前記符号化された偶数ビデオフレームを受信することと、
    前記符号化された奇数ビデオフレームと符号化された偶数ビデオフレームとを併合することにより、一続きの合成符号化フレームを生成することと、
    該一続きの合成符号化ビデオフレームを復号することにより前記オリジナルビデオフレームを回復することと
    をさらに含む請求項１８記載の方法。

Images