JP2005520417A - Ｆｇｓ符号化構成間の円滑な遷移を実行するための方法及び装置 - Google Patents

Abstract

各自がベースレイヤを有する第１ＦＧＳ符号化映像ストリームと第２ＦＧＳ符号化映像ストリームとの間のネットワークを介した送信の円滑な遷移を提供するための方法及び装置。本方法は、前記第１ＦＧＳ符号化映像ストリームのＰフレームを選択するステップと、前記ネットワークを介し送信予定の前記第２ＦＧＳ符号化映像ストリームの次のＰフレームを選択するステップと、前記第１ＦＧＳ符号化映像ストリームの送信されたＰフレームと前記第２ＦＧＳ符号化映像ストリームの送信予定の次のＰフレームとの間の差を決定するステップと、前記ネットワークを介し送信予定の次のＰフレームの代わりに、前記差を送信するステップとを有する。

Description

発明の詳細な説明

本出願は、参照することによりここに含まれる特許出願ＷＯ02/032142「単一ループ動き補償ＦＧＳ（Ｆｉｎｅ Ｇｒａｎｕｌａｒ Ｓｃａｌａｂｉｌｉｔｙ）に関する。

本出願は、ＦＧＳ映像符号化に関し、より詳細には、ＦＧＳ符号化された画像間のスイッチ時における円滑な遷移を提供する方法及び装置に関する。

広い範囲の送信ビットレートに対応するため、様々な送信ビットレート及びレベルの動き補償（ＭＣ）を表す複数のＦＧＳ符号化構成を利用することにより映像ソースの符号化が行われる。符号化された映像構成のそれぞれは、それらの以降の選択が利用可能なネットワーク帯域幅を可能にする恒久的あるいは半恒久的なメディアに格納される。一例として、映像画像は、Ｒ１として表される第１レートで符号化されたベースレイヤと、Ｒ１１として表されるレートまでで符号化されるエンハンスレイヤとを含む構成でＦＧＳ符号化されるかもしれない。その後、この映像画像は、Ｒ１１のレートで符号化されたベースレイヤとＲ１２として表されるレートまでで符号化されたエンハンスレイヤとを含む第２ＦＧＳ符号化構成を利用して符号化されてもよい。さらに、当該映像画像は、Ｒ１２でのベースレイヤとＲ１３として表されるレートまでで符号化されるエンハンスレイヤとを含む第３構成においてＦＧＳ符号化されてもよい。このようにして、ＦＧＳ符号化構成は、ネットワーク上での映像画像の送信を可能にするよう、すなわち、映像ストリームが利用可能なネットワーク帯域幅に一致した最大送信ビットレートで送信可能となるよう選択されるかもしれない。

しかしながら、利用可能なネットワーク帯域幅のようなネットワーク特性は、映像画像の送信中動的に変換するかもしれない。利用可能なネットワーク帯域幅は、実質的に、ユーザの当該ネットワークへの加入により減少し、ユーザの退出により増加するかもしれない。従って、映像ストリームの送信は、変動する状態に適応しなければならない。ネットワーク特性の変化、例えば、ネットワーク帯域幅の実質的な減少に従い、映像ストリームは実質的により低いビットレートによるベースレイヤを要するかもしれず、そうでなければ情報は失われるかもしれない。同様に、利用可能なネットワーク帯域幅が増加すると、実質的により高いビットレートによるベースレイヤが、画像解像度を向上させるのに可能となる。従って、ネットワーク動作特性の変動により、映像画像の様々なビットレート送信タイプを表すＦＧＳ符号化構成間の遷移は、利用可能なネットワーク帯域幅の最大ビットレートの維持が必要となる。同様に、利用可能なネットワーク帯域幅の変化により、ある動き補償されたＦＧＳ（ＭＣ−ＦＧＳ）符号化映像構成から他のＭＣ−ＦＧＳ符号化構成への、あるいはＦＧＳ符号化構成への遷移の必要性が生じるかもしれない。そのような遷移は、例えば、ベースレイヤ予測に利用されるＦＧＳエンハンスレイヤデータ内にエラーが生じるとき必要となるかもしれない。この場合、生じたエラーは、次のＩフレームが送信されるまで蓄積されていく。

従来、映像画像のＦＧＳ符号化構成、あるいは様々なビットレートタイプ間の遷移は、遷移されるＦＧＳタイプまたは構成における参照を確立するため、帯域幅を拡張したＩフレームの導入が必要となる。Ｉフレームの送信は、画像情報の完全なフレームが送信に際し必要となるため、帯域幅に関してコストの高いものとなる。ＦＧＳ及び/またはＭＣＦＧＳ符号化構成間の遷移中、帯域幅に関して高コストなＩフレームの導入は、貴重なネットワーク資源が利用されるとき、ネットワークに大きな負荷をかけることになる。

従って、帯域幅に関して高コストなＩフレーム送信の必要なく、ＦＧＳ符号化構成間、及び/またはＭＣ−ＦＧＳ符号化構成間の円滑な遷移を実行するための方法及びシステムの必要性がある。

添付された図面は、本発明の概念を例示するためだけのものであり、本発明の制約レベルとして意図されるものでないということが理解されるべきである。本明細書を通じて、同一の参照番号、おそらく適切な場合には参照記号により補完されたものは、対応する部分を識別するために利用されているということが認識されるべきである。

本発明は、各ＦＧＳ符号化映像ストリームがベースレイヤを含む第１ＦＧＳ符号化映像ストリームと第２ＦＧＳ符号化映像ストリームとの間のネットワーク上での送信の円滑な遷移を提供する方法及び装置を提供する。本方法は、第１映像ストリームの送信されたＰフレームを選択するステップと、第２映像ストリームの送信予定の次のＰフレームを選択するステップと、前記第１映像ストリームの送信されたＰフレームと前記第２映像ストリームの送信予定の次のＰフレームとの間の差を決定するステップと、前記送信予定の次のＰフレームの代わりに前記ネットワーク上の前記Ｐフレーム間の差を送信するステップとを有する。

図１は、映像画像１０６がＦＧＳ符号化のためのエンコーダ１１０に適用される一例となるＦＧＳ符号化/復号化システム１００を示す。エンコーダ１１０は、相異なる複数のビットレート及びＭＣ−ＦＧＳレベルを利用して映像画像１０６を符号化することができる。本発明の一特徴では、符号化された情報はバッファ１０８に格納可能である。送信コントローラ１１２は、格納されたＦＧＳまたはＭＣ−ＦＧＳ符号化構成の一つを選ぶことにより、ネットワーク１２０を介したＦＧＳ符号化情報の送信レートを制御する手段を提供する。ネットワーク１２０は、インターネット、ＰＯＴＳ、ＬＡＮ、ＷＡＮ、イントラネット、無線ネットワークなどの通信ネットワークを表すものであるかもしれない。

復号化ユニット１５０は、ネットワーク１２０を介して送信されたＦＧＳ符号化情報を受信し、受信した情報をデコーダバッファ１５５に任意的に格納するかもしれない。この受信情報は、直接あるいはデコーダバッファ１５５から、映像画像への復号化のためでコーダ１６０に適用されてもよい。復号化した画像はその後ディスプレイ１７０に表示されてもよい。本例のシステムでは、送信コントローラ１１２内のプロセッサ１１６が、利用可能な帯域幅のようなネットワーク特性を監視する手段を表し、格納されているＦＧＳ符号化情報構成のどれがネットワーク１２０を介した送信に選ばれるべきかの決定に役立つ表示を提供する。

図２は、本発明の原理に従う様々なビットレートストリームのＦＧＳ符号化構成及び/または様々なレベルの動き補償のＭＣ−ＦＧＳ符号化構成との間の遷移を提供する一例となるプロセス２００のフローチャートを示す。本プロセスは、ステップ２０５で開始され、ステップ２５０で終了する。本プロセスでは、ブロック２１０において、利用可能な帯域幅のようなネットワーク特性が変化したか決定される。変化が生じていない場合（Ｎ）、遷移は不要であり、遷移することなく処理は完了する。

しかしながら、変化が生じている場合（Ｙ）、ブロック２２０において、格納されているＦＧＳまたはＭＣ−ＦＧＳ構成の何れかが、あるいはどのタイプのビットレート送信が変化したネットワーク状態を満足しているかに関する決定が行われる。ブロック２３０において、Ｓフレームとここで呼ばれる中間的なスイッチングフレーム２３５が、選択されたＦＧＳ符号化画像構成の以前に送信されたＰフレームと次のＰフレームとの間の差として決定される。

ブロック２４０において、Ｓフレーム２３５が、選択されたＦＧＳ符号化画像構成の次のＰフレームの送信の代わりに、送信ストリームに挿入される。ここでは、本発明を例示するため、格納されているＦＧＳ符号化画像構成またはＭＣ−ＦＧＳ符号化レベルが説明されるが、ＦＧＳ符号化処理は同様にリアルタイムで実行されてもよいということは理解されるであろう。この場合、本発明の他の特徴では、以前に送信されたＰフレームと次のＰフレームとの間の差はリアルタイムで決定されるかもしれない。

図３は、本発明の原理による異なるビットレート及びＳフレーム２３５の挿入を利用して２つの映像ストリーム３０５と３１０との間の円滑な遷移を可能にするＦＧＳ符号化される映像ストリーム３０５と３１０との間の一例となる遷移を示す。本例におけるＦＧＳ符号化映像ストリームのそれぞれは、ベースレイヤ（３２５、３３０）とエンハンスレイヤ（３３５、３４０）とを含む。この例示された例では、低ビットレート、低解像度あるいは低フレームレートの第１ＦＧＳ符号化映像ストリーム３０５から、高ビットレート、高解像度あるいは高フレームレートの第２ＦＧＳ符号化映像ストリーム３１０への遷移が示されている。この場合、ＦＧＳ符号化構成３０５からＦＧＳ符号化構成３１０への遷移が必要とみなされると、Ｓフレーム２３５がＦＧＳ符号化構成３１０の次のＰフレーム３２０とＦＧＳ符号化映像構成３０５の以前に送信されたベースレイヤＰフレーム３１５の間の差として決定される。その後、Ｓフレーム２３５がＰフレーム３２０の代わりに送信される。Ｐフレームの以降の画像送信は、ＦＧＲ符号化構成３１０に含まれる画像に従い行われる。さらに、Ｐフレーム３２０に先行するＢフレームの代わりに、Ｓフレーム２３５が送信される。これにより、Ｉフレームの送信及びそれに伴う帯域幅のコストを犠牲とすることなく、ＦＧＳ符号化ストリーム３１０との同期化が完了される。示された例は動き補償を含まず、またＳフレーム２３５は各自のＦＧＳ構成のそれぞれのベースレイヤに関する差についての情報のみを含んでいるが、ベースレイヤＰフレーム間の差としてＳフレーム２３５を決定することは、例えば、ＭＣ−ＦＧＳ構成（図示せず）とＦＧＳ構成３１０との遷移に同様に適用可能であるということは理解されるであろう。この場合、Ｐフレーム３２０の送信の代わりに、Ｓフレーム２３５が送信ストリームに挿入される。

図４は、異なるレベルの動き補償情報のＭＣ−ＦＧＳ構成を有する２つの映像ストリーム４０５と４１０との間の遷移の一例を示す。本例での各映像ストリームは、ベースレイヤ（４２５、４３０）とエンハンスレイヤ（４３５、４４０）とを有する。本例では、第１レベルでＭＣ−ＦＧＳ符号化された映像ストリーム４０５から、第２レベルでＭＣ−ＦＧＳ符号化された映像ストリーム４１０への遷移が必要である。この場合、Ｓフレーム２３５’は、各自のベースレイヤ情報と、動き補償に対して含まれる対応するＦＧＳエンハンスレイヤの当該部分との間の差として決定される。この場合、Ｓフレーム２３５’は、ＭＣ−ＦＧＳ構成４１０のベースレイヤの次のＰフレーム４２０と、ＭＣ−ＦＧＳ構成４０５の以前に送信されたベースレイヤＰフレーム４１５と、対応するＦＧＳエンハンスレイヤとの間の差として決定される。その後、各自の映像ストリーム間の円滑な遷移を可能にするため、Ｓフレーム２３５’が次のＰフレーム４２０の代わりに送信される。

図５ａは、本発明の原理によるＳフレーム２３５または２３５’の決定のための一例となるプロセス５００のフローチャートを示す。本プロセスは、ステップ５０５において開始され、ステップ５４５において終了される。本プロセスでは、ブロック５１０において、利用可能な帯域幅のようなネットワーク特性の変化の尺度が取得される。ブロック５２０において、格納されているものの中で、ネットワーク特性の変化状態を満たすＦＧＳ符号化映像画像構成が選ばれる。ブロック５３０において、所望の遷移がＦＧＳ構成またはＭＣ−ＦＧＳ構成からＦＧＳ構成へのものであるかの決定が行われる。当該判定が肯定的である場合（Ｙ）、Ｓフレーム２３５は以前と選択されたＦＧＳ符号化構成のベースレイヤＰフレーム間の差として決定される。

しかしながら、当該判定が否定的なものである場合（Ｎ）、Ｓフレーム２３５’がベースレイヤＰフレーム間の差と、予測に利用されるエンハンスレイヤ部分の間の差として決定される。すなわち、動き予測に利用されるエンハンスレイヤ部分における差が、Ｐフレーム情報間の差を補完する。本発明の一特徴では、ベースレイヤＰフレームにおける差は、画素領域におけるＰフレームの差を決定し、その後、ＤＣＴ、離散Ｑ及びＶＬＣのような公知のベースレイヤテクスチャ符号化を利用してこの差を符号化することにより決定されてもよい。同様に、エンハンスレイヤにおける差は、画素領域における差を計算し、その後ＤＣＴ、そしてビットプレーン符号化及びＶＬＣのようなＦＧＳ符号化を利用してこの差を符号化することにより、動き予測に利用されるエンハンスレイヤ部分における差を決定することにより決定されてもよい。

図５ｂは、本発明の原理によるＳフレーム２３５と２３５’の決定のための一例となる第２プロセス５５０のフローチャートを示す。この一例となる第２プロセスは、ステップ５５５において開始され、ステップ５９５において終了される。本プロセスでは、ブロック５６０において、利用可能な帯域幅のようなネットワーク特性の変化の尺度が取得される。ブロック５７０において、格納されているものの中で、ネットワーク特性の変化状態を満たす映像画像のＦＧＳ符号化構成が選ばれる。ブロック５７５において、前述のように、Ｓフレーム２３５がベースレイヤＰフレーム間の差として決定される。

ブロック５８０において、当該遷移がＦＧＳ符号化またはＭＣ−ＦＧＳ符号化構成とＦＧＳ構成との間のものであるか決定される。当該判定が肯定的なものである場合（Ｙ）、プロセス５５０は終了される。

しかしながら、当該判定が否定的なものである場合（Ｎ）、Ｓフレーム２３５’は、前述のような対応するエンハンスレイヤ部分間の差を表す量によりＳフレーム２３５を補完することにより決定される。

図６は、本発明の原理を実現するため利用されるシステム７００の一実施例を示す。システム７００は、デスクトップ、ラップトップあるいはパームトップコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ビデオカセットレコーダ（ＶＣＲ）のような映像/画像記憶装置、デジタルビデオレコーダ（ＤＶＲ）、ＴｉＶＯ装置などだけでなく、上記及び他の装置の一部またはそれらの組み合わせを表すかもしれない。システム７００は、映像画像のＦＧＳ符号化構成を含む１以上のソース７０１にアクセス可能な１以上の入出力装置７０２、プロセッサ７０３及びメモリ７０４を有するようにしてもよい。システム７００はまた、出力映像Ｖを表示する表示装置７０６を有するようにしてもよい。ソース７０１は、テレビ受信機、ＶＣＲ、ＲＡＭ、ＲＯＭ、ハードディスクドライブ、光ディスクドライブ、あるいは他の映像画像記憶装置のような恒久的または半恒久的メディアに格納されてもよい。あるいはソース７０１は、インターネット、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、ローカルエリアネットワーク、地上波放送システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワーク、あるいは電話網だけでなく、上記及び他のタイプのネットワークの一部またはそれらの組み合わせのようなグローバルなコンピュータ通信ネットワークを介し１以上のサーバから映像を受信するための１以上のネットワーク接続上でアクセスされてもよい。

入出力装置７０２、プロセッサ７０３及びメモリ７０４は、通信媒体７０５を介し通信するようにしてもよい。通信媒体７０５としては、例えば、バス、通信ネットワーク、１以上の回路の内部接続、回路カードまたは他の装置だけでなく、上記及び他の通信媒体の一部及びそれらの組み合わせがあげられる。ソース７０１からの入力データは、ＦＧＳ符号化映像画像をネットワーク１２０（図示せず）に供給するため、メモリ７０４に記憶され、プロセッサ７０３により実行される１以上のソフトウェアプログラムにより処理される。プロセッサ７０３は、汎用または特定用途向け計算システムのような任意の手段であってもよいし、あるいは、ラップトップコンピュータ、デスクトップコンピュータ、携帯型コンピュータ、専用論理回路、集積回路、ＰＡＬ（Ｐｒｏｇｒａｍｍａｂｌｅ Ａｒｒａｙ Ｌｏｇｉｃ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの既知の入力に応答して既知の出力を提供するハードウェア構成であってもよい。さらに、プロセッサ７０３は、ネットワーク１２０の変化に応答する手段を含んでいてもよいし、あるいはネットワーク１２０の動作特性の変化を決定するよう動作可能なコードを含んでいてもよい。本発明の一特徴では、ネットワークの変化は、自動的に、あるいはプロセッサにより与えられる要求に応答して、入出力装置７０３によりプロセッサ７０３に提供されるようにしてもよい。

好適な実施例では、本発明の原理を利用した符号化及び復号化は、プロセッサ７０３により実行されるコンピュータ読み出し可能コードにより実現されてもよい。このコードは、メモリ７０４に格納されていてもよいし、あるいはＣＤ−ＲＯＭやフロッピー（登録商標）ディスクのようなメモリメディアから読み出し/ダウンロードされてもよい。他の実施例では、ハードウェア回路が、本発明を実現するソフトウェア命令の代わりに、あるいはそれと共に利用されてもよい。例えば、ここに示される要素はまた、別々のハードウェア要素として実現されてもよい。

本発明がある程度の特徴を有する好適な形態で説明されたが、この好適な形態の本開示は単なる例示のために与えられたものであり、以降に主張される本発明の趣旨及び範囲から逸脱することなく、構成の詳細における様々な変更及び、要素の組み合わせと調整が可能であるということが理解されるであろう。本特許は、添付されるクレームの適切な表現によりカバーされ、特許性を有する新規性の特徴は開示された発明に存在するものとされる。

図１は、本発明の原理によるＦＧＳ符号化/復号化システムを示す。 図２は、本発明の原理による一例となるプロセスのフローチャートを示す。 図３は、２つのＦＧＳ符号化画像構成間の一例となる遷移を示す。 図４は、２つのＭＣ−ＦＧＳ符号化画像構成間の一例となる遷移を示す。 図５ａは、本発明の原理によるＳフレームを決定するための一例となるプロセスのフローチャートを示す。 図５ｂは、本発明の原理によるＳフレームを決定するための一例となる第２のプロセスのフローチャートを示す。 図６は、本発明の原理を実践する一例となるシステムを示す。

Claims (14)

1. 各自がベースレイヤを有する第１ＦＧＳ符号化映像ストリームと第２ＦＧＳ符号化映像ストリームとの間を円滑に遷移するための方法であって、
   ネットワークを介して送信される前記第１ＦＧＳ符号化映像ストリームのＰフレームを選択するステップと、
   前記ネットワークを介し送信予定の前記第２ＦＧＳ符号化映像ストリームの次のＰフレームを選択するステップと、
   前記第１ＦＧＳ符号化映像ストリームの送信されたＰフレームと前記第２ＦＧＳ符号化映像ストリームの送信予定の次のＰフレームとの間の差を決定するステップと、
   前記ネットワークを介し送信予定の次のＰフレームの代わりに、前記差を送信するステップとを有することを特徴とする方法。
2. 請求項１記載の方法であって、前記第１及び第２ＦＧＳ符号化映像ストリームのそれぞれは、少なくとも１つのエンハンスレイヤを有することを特徴とする方法。
3. 請求項２記載の方法であって、さらに、
   前記第１ＦＧＳ符号化映像ストリームにおいて送信される前記少なくとも１つのエンハンスレイヤの一部を選択するステップと、
   前記第２ＦＧＳ符号化映像ストリームにおいて送信予定の前記少なくとも１つのエンハンスレイヤの一部を選択するステップと、
   前記エンハンスレイヤの選択された部分の間の差を決定するステップと、
   前記ネットワークを介して前記差を送信するステップとを有することを特徴とする方法。
4. 請求項１記載の方法であって、前記Ｐフレームにおける差を決定するステップは、
   前記Ｐフレームのそれぞれを復号するステップと、
   前記Ｐフレームの間の差を決定するステップと、
   前記差を符号化するステップとを有することを特徴とする方法。
5. 請求項３記載の方法であって、前記エンハンスレイヤの選択された部分における差を決定するステップは、
   前記エンハンスレイヤの選択された部分のそれぞれを復号するステップと、
   復号された選択された部分の間の差を決定するステップと、
   前記差を符号化するステップとを有することを特徴とする方法。
6. 請求項１記載の方法であって、前記第２ＦＧＳ符号化映像ストリームは、前記ネットワークの帯域幅に比較できる最大ベースレイヤ送信レートを取得できるよう選択されることを特徴とする方法。
7. 請求項１記載の方法であって、前記第２ＦＧＳ符号化映像ストリームは、最大動き補償レベルを取得できるよう選択されることを特徴とする方法。
8. 各自がベースレイヤを有する第１ＦＧＳ符号化映像ストリームと第２ＦＧＳ符号化映像ストリームとの間を円滑に遷移するための装置であって、
   ネットワークを介して送信される前記第１ＦＧＳ符号化映像ストリームのＰフレームを選択する手段と、
   前記ネットワークを介し送信予定の前記第２ＦＧＳ符号化映像ストリームの次のＰフレームを選択する手段と、
   前記第１ＦＧＳ符号化映像ストリームの送信されたＰフレームと前記第２ＦＧＳ符号化映像ストリームの送信予定の次のＰフレームとの間の差を決定する手段と、
   前記ネットワークを介し送信予定の次のＰフレームの代わりに、前記差を送信する手段とを有することを特徴とする装置。
9. 請求項８記載の装置であって、前記第１及び第２ＦＧＳ符号化映像ストリームのそれぞれは、少なくとも１つのエンハンスレイヤを有することを特徴とする装置。
10. 請求項９記載の装置であって、さらに、
    前記第１ＦＧＳ符号化映像ストリームにおいて送信される前記少なくとも１つのエンハンスレイヤの一部を選択する手段と、
    前記第２ＦＧＳ符号化映像ストリームにおいて送信予定の前記少なくとも１つのエンハンスレイヤの一部を選択する手段と、
    前記エンハンスレイヤの選択された部分の間の差を決定する手段と、
    前記ネットワークを介して前記差を送信する手段とを有することを特徴とする装置。
11. 請求項８記載の装置であって、さらに、
    メモリと、
    前記手段と前記メモリと通信する入出力装置とを有することを特徴とする装置。
12. ＦＧＳ符号化映像ストリームのＳフレームであって、
    第１映像ストリームの送信されたＰフレームと第２映像ストリームの送信予定の次のＰフレームとの間の差を有することを特徴とするＳフレーム。
13. 請求項１２記載のＳフレームであって、前記ＦＧＳ符号化映像ストリームのそれぞれは、少なくとも１つのエンハンスレイヤを有することを特徴とするＳフレーム。
14. 請求項１３記載のＳフレームであって、さらに、
    前記エンハンスレイヤの選択された部分の間の差を有することを特徴とするＳフレーム。

Images