JP2009182442A - 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置 - Google Patents

Abstract

【課題】１本の伝送路を用いて固定ビットレート符号化を行いつつ、動画像の画質を一定にして画質劣化を防ぐ動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置を提供する。
【解決手段】画質・レート制御部１０６は、予測符号量Ｃｉが目標符号量Ｒｔ以下であるかを確認する。予測符号量Ｃｉが目標符号量Ｒｔ以下の場合、ベースレイヤ符号化部１０１に予測符号量Ｃｉを出力する。そして、スイッチ１０８をオフにする。予測符号量Ｃｉが目標符号量Ｒｔを超える場合、ベースレイヤ符号化部１０１に目標符号量Ｒｔを出力する。そしてスイッチ１０８をオンにし、エンハンスメントレイヤ符号化部１０３に対し（予測符号量Ｃｉ−目標符号量Ｒｔ）を出力する。バッファ１０４は、ベースレイヤ符号化部１０１、エンハンスメントレイヤ符号化部１０３の符号化データを格納する。
【選択図】図１

Description

本発明は動画像の符号化装置および復号装置に関し、特に動画像を所望のビットレートで符号化、復号するためのバッファを備えた動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置に関する。

動画像をデジタル化してインターネット等に代表されるネットワークを介して伝送する場合、そのデータ量が膨大であることから、通常、動画像を符号化し、データ量を削減することが行われている。

この時、符号化データ量を制御する方法として、固定ビットレート符号化と可変ビットレート符号化とがある。固定ビットレート符号化は、図１７に示すように、符号化装置１００１と伝送路の間にバッファ１００２を設け、短期間の符号量の変動を吸収すると共に、過去の発生符号量やバッファ残容量に基づいてフィードバック制御をかける等により、発生符号量が伝送ビットレートと一致するよう制御する方式である。なお、バッファまで含めて符号化装置と呼ぶこともある。

例えば後述する特許文献１では、符号化困難さの高いシーンを連続して符号化する場合に、目標ビットレートを確保するため、符号化困難さの低いシーンの目標ビットレートを小さく設定する方法をとっている。図１８は符号化困難さによるレート制御の一例であり、（ａ）は符号化困難さと時間の関係、（ｂ）は目標ビットレートと時間の関係、（ｃ）は符号量と時間の関係を示している。具体的には図１８では、期間Ｔｃのシーンの符号化困難さが高いため、このシーンの直前にある符号化困難さが低い期間Ｔａ、Ｔｂのシーンに対する目標ビットレートを小さく設定し、発生符号量を小さく抑え、バッファの残容量を大きくする。そしてこのバッファの残容量を利用して、期間Ｔｃのシーンに対する目標ビットレートを高く設定し、符号化困難なシーンでの画質劣化の発生確率を小さくする。

一方、可変ビットレート符号化は、高速パケット網での伝送において使用可能な方式であり、ＡＴＭ（非同期転送モード）ビデオ符号化等で研究されてきた（後述する非特許文献１）。理想的な可変ビットレート符号化では必要な情報のみ符号化すればよく、一定の画質が保てるというメリットがある。

ところで、階層符号化はビデオ信号情報を複数階層の情報に分割して伝送するものである。ここでは図１９に示すような階層符号化方式が検討され、複数の伝送路を通して符号化データが伝送される。階層化は、低品質から高品質、低レートから高レート、低解像度から高解像度などの基準で行われる。図１９に示す階層符号化方式は、フィードバック型と呼ばれるものであり、低階層で伝送されたビデオ信号と入力ビデオ信号との差を、順次より高位の階層で符号化していくものである。

すなわち、各階層で入力ビデオ信号を符号化する符号化装置１１００を備え、これらが符号化した信号をそれぞれの伝送チャンネルで伝送網１２００を介して復号装置１３００に伝送する。復号装置１３００は受信した信号を復号して再生する。ここで符号化装置１１００は、入力ビデオ信号を符号化する符号化器１１０１と、符号化された信号を復号する局所復号器１１０２とからなり、局所復号器１１０２で復号されたビデオ信号と低位階層への入力ビデオ信号との差を次の階層への入力ビデオ信号とする。

例えば、後述する特許文献２には、２階層の場合が記載されている。ここでは符号化データを、画質上重要な部分（ＭＳＰ）とそうでない部分（ＬＳＰ）に分離し、ＭＳＰあるいはＬＳＰのみを用いてパケット化し、ＭＳＰ、ＬＳＰのいずれを含むかを示す識別子と合わせて伝送路に送出する。そして高い優先度の伝送クラスにおいてＭＳＰを、低い優先度の伝送クラスおいてＬＳＰを送信する。網が輻輳した際には、ＬＳＰを含むパケットから廃棄することでＡＴＭ伝送において問題となるパケット損失にも対応している。
特開２００１−６９４６３号公報 特開平４−１１１６９５号公報 和田正裕、１９９１年画像符号化シンポジウムＰＣＳＪ９１、ｐ２３９〜ｐ２４２

ところで、特許文献１では、符号化装置と伝送路との間にバッファを設け、短期間の符号量の変動を吸収していた。従って、符号化困難なシーンが長時間続くと符号量の変動を吸収しきれず、画質劣化を抑えることはできない。符号量の変動を吸収できる期間は復号装置のバッファサイズに依存し、これは通信サービスの仕様で決められている。従って、このサイズを越えて符号量を変動させることはできないという問題がある。

また、特許文献２では、現実のネットワークにおいては網資源が有限のため、制約が生じるという問題がある。可変ビットレート符号化の場合、通信に先立って、端末は網に対し、平均ビットレート、最大ビットレート、パケット損失クラス等のパラメータを申告する。網側はこの申告に従って、網資源を確保し、申告値以上のデータが網に流れ込まないよう、通信中は端末からのトラフィックを監視する。そのため、可変ビットレート符号化でも無制限に符号量を発生できるわけではなく、一定枠の中で符号化しなければならない。従って、可変ビットレート符号化のメリットを十分に生かすことは難しいという問題がある。

そこで、本発明は、上記の問題を解決するために、１本の伝送路を用いて固定ビットレート符号化を行いつつ、動画像の画質を一定にして画質劣化を防ぐ動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置を提供することを目的とする。

本発明は、動画像符号化装置と動画像復号装置からなる動画像符号化・復号システムにおいて、
前記動画像符号化装置は、目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分に対して前記目標画質を満たすために必要な情報を符号化する少なくとも１つの超過符号化部と、前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、送出時に復号するための情報を前記符号化データに付加する情報付加手段と、を備え、各時刻において送出される符号化データの合計が一定の符号量以下になるように前記目標量符号化データに前記超過符号化データを組み合わせて送出し、
前記動画像復号装置は、前記動画像符号化装置から送出された前記目標量符号化データと前記超過符号化データから前記付加情報を読み取る情報読取手段と、前記動画像符号化装置から送出された前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、前記目標量符号化データを復号する目標量復号部と、前記超過符号化データを復号する少なくとも１つの超過復号部と、前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部とを備え、前記復号バッファに格納された前記目標量符号化データと前記超過符号化データを、前記付加情報、あるいは動画像復号装置のもつ判断基準に従って復号することを特徴とする。

また、本発明は、目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分に対して前記目標画質を満たすために必要な情報を符号化する少なくとも１つの超過符号化部と、前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、送出時に復号するための情報を前記符号化データに付加する情報付加手段と、を備え、
各時刻において送出される符号化データの合計が一定の符号量以下になるように前記目標量符号化データに前記超過符号化データを組み合わせて送出することを特徴とする動画像符号化装置である。

この動画像符号化装置において、前記情報付加手段は、各時刻に送出される前記目標量符号化データおよび前記超過符号化データに復号時刻を示す情報を付加してよいし、各時刻に送出される前記目標量符号化データに遅延推定値を付加してもよいし、各時刻に送出される前記超過符号化データに廃棄情報を付加してもよい。

また、本発明は、動画像を予め設定した目標符号量以下で符号化した目標量符号化データと、目標とすべき所定の画質を実現するのに必要な符号量を予測し該予測符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分に対して少なくとも１層以上に階層化した前記目標画質を満たすために必要な情報を符号化する超過符号化データとに付加された復号するための付加情報を読み取る情報読取手段と、前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、前記目標量符号化データを復号する目標量復号部と、前記超過符号化データを復号する少なくとも１つの超過復号部と、前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部とを備え、前記復号バッファに格納された前記目標量符号化データと前記超過符号化データを、前記付加情報、あるいは動画像復号装置のもつ判断基準に従って復号することを特徴とする動画像復号装置である。

この動画像復号装置において、前記目標量符号化データおよび前記超過符号化データに付加された復号時刻を示す情報を管理する管理部を備え、前記目標量復号部および前記超過復号部が同期して符号化データを復号することを可能にする。

また、前記目標量符号化データおよび前記超過符号化データを格納する前記復号バッファの容量が不足する場合、前記復号バッファに格納された前記超過符号化データを廃棄し、新たな前記目標量符号化データを格納する領域を確保する。

また、前記復号バッファに格納された前記超過符号化データのどの部分を廃棄するかを決める指標は、前記符号化データに付加された復号時刻である。

本発明では符号化および復号順序と送信順序とを同じにしないことで、従来方式に比べて、一定の画質を保持しながら、総符号量を削減できるという効果がある。言い換えれば、符号量を従来方式と同じにした場合、画質を改善することができる。

また、本発明では、復号装置のもつリソースに応じて再生画像の画質を向上させることができる。例えば大きな容量のバッファをもつ復号装置においては、そうでない復号装置よりも画質劣化の少ない画像を再生することができる。

以下、本発明の実施の形態を添付図面を参照して説明する。

本発明は一定のビットレートで伝送する一方、その中を複数の階層に分けて符号化するものである。各階層のビットレートは可変ビットレートであるが、全ての階層のビットレートの合計は一定になるよう制御する特徴がある。

図１は本発明の第１の実施の形態を示す符号化装置のブロック図である。ここでは２階層（ベースレイヤ１、エンハンスメントレイヤ１）の場合について説明する。１０１は入力画像をベースレイヤとして符号化するベースレイヤ符号化部（目標量符号化部）、１０２は入力画像からエンハンスメントレイヤとして符号化する画像を分離する分離部、１０３はエンハンスメントレイヤを符号化するエンハンスメントレイヤ符号化部（超過符号化部）、１０４はベースレイヤ符号化部１０１、エンハンスメントレイヤ符号化部１０３の符号化データを格納するバッファ、１０５はバッファ１０４に格納された符号化データをパケット化して伝送路に送出するパケット化部、１０６は画質あるいはビットレートを基準として、ベースレイヤ、エンハンスメントレイヤに割り当てる符号量を制御する画質・レート制御部、１０７は符号化の前処理として、各画像の符号量を予測する符号量予測部、１０８はエンハンスメントレイヤ符号化部１０３のオン・オフを切り替えるスイッチである。

ベースレイヤ符号化部１０１、エンハンスメントレイヤ符号化部１０３は、動画像符号化方式として一般に使われるＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ、ＶＣ１等であり、その方式を問わない。ベースレイヤ符号化部１０１、エンハンスメントレイヤ符号化部１０３の一例を図２に示す。

図２は一般的な動き補償＋変換符号化を実現する符号化部のブロック図であり、２０１は直交変換部、２０２は変換係数を量子化する量子化部、２０３は量子化された変換係数、図示しない動きベクトルや予測モードなどを符号化する可変長符号化部、２０４は発生符号量を監視し、目標符号量に合わせるため量子化幅等を制御するレート制御部、２０５は量子化された変換係数を逆量子化する逆量子化部、２０６は逆量子化した変換係数を逆直交変換する逆直交変換部、２０７は予測画像と逆変換された予測誤差とを加算する加算部、２０８は局所復号された画像を格納するフレームメモリ、２０９は動きベクトルと過去の局所復号画像から動き補償し、予測画像を作成する動き補償部、２１０は動きベクトルを探索する動き検出部、２１１は同一画像内の局所復号された画素値からイントラ予測を行い、予測画像を作成するイントラ予測部、２１２は入力画像と予測画像との差分画像を計算する減算部、２１３は予測モードを決定する予測モード決定部である。
図２に限らず、例えばイントラ予測部２１１がなく、入力画像が直接、直交変換部２０１に入力される例もあるし、動き検出部２１０、動き補償部２０９等がない例もある。

なお、ベースレイヤ符号化部１０１の場合、入力画像は原画像あるいはフィルタリング等の前処理を施した原画像であるが、エンハンスメントレイヤ符号化部１０３の場合、入力画像は分離部１０２で分離した、原画像からエンハンスメントレイヤとして符号化する画像、あるいは前記分離した画像にフィルタリング等の処理を施した画像である。

また、ベースレイヤ符号化部１０１、分離部１０２、エンハンスメントレイヤ符号化部１０３の構成を、従来からある階層符号化と同じ構成にしてもよい。たとえば上記３構成要素の代わりに、ＭＰＥＧ−２時間階層性、ＭＰＥＧ−４空間階層性、ＭＰＥＧ−４時間階層性、ＭＰＥＧ−４ ＦＧＳ（Fine Granularity Scalability）、ＭＰＥＧ−４ ＳＶＣ（Scalable Video Coding）等で置き換えることも可能である。

ただしいずれの場合も、図２のレート制御部２０４に相当するものがあり、従来は発生符号量をある所定の目標符号量に合わせるための制御を行って、ベースレイヤ、エンハンスメントレイヤの各々の発生符号量を所定の目標符号量に合わせていた。

しかしながら、本発明では固定の目標符号量はなく、図１の画質・レート制御部１０６で算出されたベースレイヤ用、エンハンスメントレイヤ用の目標値が通知され、この動的に変化する目標符号量に従って発生符号量を制御するところが従来と異なる。図１の画質・レート制御部１０６の動作については後述する。

符号量予測部１０７は、入力される各画像のアクティビティを計算し、これをもとに発生符号量を予測する。例えば図３に示すように、量子化幅を一定にした場合のアクティビティと発生符号量の予測値との関係を量子化幅（ＱＰ）毎に実験等で求め、あらかじめ保持しておく。ここで求めたアクティビティと、画質・レート制御部１０６から通知された量子化幅をもとに予測した符号量を画質・レート制御部１０６に出力する。

画質・レート制御部１０６では、一定の画質を実現するために必要な量子化幅を符号量予測部１０７に通知し、これをもとに符号量予測部１０７から通知された予測符号量が目標符号量Ｒｔ以下の場合、予測符号量をベースレイヤの目標符号量Ｒｂとしてベースレイヤ符号化部１０１に伝え、スイッチ１０８をオフにして、エンハンスメントレイヤ符号化部１０３を動作させない。ここで目標符号量Ｒｔは固定の伝送ビットレートに対応し、変化することはない。

そうではなく、符号量予測部１０７での予測符号量が目標符号量Ｒｔより大きい場合、目標符号量Ｒｔをベースレイヤの目標符号量Ｒｂとしてベースレイヤ符号化部１０１に伝えるとともに、（予測符号量−目標符号量Ｒｔ）をエンハンスメントレイヤの目標符号量Ｒｅとしてエンハンスメントレイヤ符号化部１０３に通知し、スイッチ１０８をオンにして、エンハンスメントレイヤ符号化部１０３を動作させる。

ベースレイヤ符号化部１０１とエンハンスメントレイヤ符号化部１０３では、画質・レート制御部１０６から通知された目標符号量ＲｂおよびＲｅに従って、各々符号量を制御する。

図４、図５を使ってこの様子を説明する。図４の画像ｎ−３、ｎ−２、ｎ−１、ｎ＋２、ｎ＋３では、符号量予測部１０７で予測した符号量が目標符号量Ｒｔ以下であり、画像ｎ、ｎ＋１では予測符号量は目標符号量Ｒｔを越える。

この時、画像ｉ（ｎ−３≦ｉ≦ｎ＋４）の予測符号量をＣｉとし、図５に画質・レート制御部１０６の動作をフローチャートとして示す。
画質・レート制御部１０６は、予測符号量Ｃｉが目標符号量Ｒｔ以下であるかを確認する（ステップＳ５０１）。予測符号量Ｃｉが目標符号量Ｒｔ以下の場合（ステップＳ５０１；Ｙ）、ベースレイヤ符号化部１０１に予測符号量Ｃｉを出力する（ステップＳ５０２）。そして、スイッチ１０８をオフにする（ステップＳ５０３）。予測符号量Ｃｉが目標符号量Ｒｔを超える場合（ステップＳ５０１；Ｎ）、ベースレイヤ符号化部１０１に目標符号量Ｒｔを出力する（ステップＳ５０４）。そしてスイッチ１０８をオンにし、エンハンスメントレイヤ符号化部１０３に対し（予測符号量Ｃｉ−目標符号量Ｒｔ）を出力する（ステップＳ５０５）。

従って、ベースレイヤでは常に目標符号量Ｒｔ以下で画像が符号化され、ベースレイヤの画質では不十分な場合、エンハンスメントレイヤで差分画像が符号化されるので、ベースレイヤの符号化データとエンハンスメントレイヤの符号化データを各々復号して加算すると、一定の画質の画像を得ることができる。以降、ベースレイヤの符号化データを符号化データＢ、エンハンスメントレイヤの符号化データを符号化データＥとする。

なお、上記の例ではアクティビティ、量子化幅と発生符号量の関係を使用したが、アクティビティは分散、絶対差分和でも代替可能であり、量子化幅はＰＳＮＲ、ＭＯＳ（Mean Opinion Score）等でも代替可能である。

ベースレイヤ符号化部１０１、エンハンスメントレイヤ符号化部１０３で符号化した符号化データは、バッファ１０４に格納される。画像ｎ−３、ｎ−２、ｎ−１、ｎ＋２、ｎ＋３では、目標符号量Ｒｔ以下の符号化データＢがバッファ１０４に出力され、画像ｎ、ｎ＋１、ｎ＋４では、ほぼ目標符号量の符号化データＢと、符号化データＥがバッファ１０４に出力される。この様子を図６（ａ）、（ｂ）に示す。エンハンスメントレイヤの符号量を加えると、画像ｎ、ｎ＋１、ｎ＋４では目標符号量Ｒｔを上回るため、符号化データＥは、目標符号量に満たない画像ｎ−３、ｎ−２、ｎ−１の符号化データＢと合わせて伝送路に送出する。

これらの符号化データは、まずパケット化部１０５に出力され、ここでパケット化された後、伝送路に送出される。この様子を図６（ｃ）に示す。パケット化時には各画像のベースレイヤ、エンハンスメントレイヤの符号化データの先頭に、ベースレイヤ、エンハンスメントレイヤを示す階層識別子、復号時刻、エンハンスメントレイヤにはさらに空間階層性、時間階層性、画質階層性、ＲＯＩ（Region Of Interest）等の階層符号化の種類、ベースレイヤには遅延推定値等の情報を付加する。またパケットヘッダにも階層識別子を付加する。

これらの情報から、受信側では符号化データの階層、復号時刻、階層の種類等を知ることができる。符号化データの送信順序は、図６（ｃ）に示すように復号順序と同じとは限らない。例えば画像ｎ、ｎ＋１、ｎ＋４の符号化データＥは、これより前に復号される画像ｎ−３、ｎ−２、ｎ−１の符号化データＢと同時に送付されるため、復号時刻がなければ、受信側で正常な復号処理ができない。

また、本発明においてエンハンスメントレイヤの階層符号化方法は制限を受けないため、空間、時間、ＳＮＲ、ＲＯＩ階層性など様々な階層符号化方法を使用することができる。従って使用する階層符号化の種類を付加することで、受信側に伝えることができる。

以上のように、符号化困難さが小さく、ベースレイヤの符号量が目標符号量に達しない部分に、符号化困難さの大きい画像の符号化データＥを割り当てて伝送路に送出することで、固定ビットレートのまま、画質を劣化させずに符号化することができる。この時、符号化（復号）順序と送信順序が異なるため、遅延が発生する。遅延が大きいと符号量の大小を適切に組み合わせ、送出する符号量を一定にする自由度が広がるため、画質劣化の確率がより小さくなるメリットがある。遅延が小さい場合、従来方式との画質の差は小さくなる。

一度符号化した符号化データを、符号化方式、画像サイズ、ビットレートを変更して再符号化する場合は、画像全体の符号化困難さが既知であるため、画質を一定にしつつ一定のビットレートで符号化する制御がしやすくなる。またベースレイヤのみの符号量は、常に目標符号量以下であるので、受信側のバッファは符号化データＢを全て格納することができ、符号化データＢのみを復号することで、従来方式における画質をほぼ実現することができる。

またベースレイヤに符号化データの遅延推定値を付加することで、受信側ではあらかじめ、どのくらいの遅延が発生するかを知ることができる。ここで遅延推定値は、遅延の最大値でもよいし平均値でもよいが、送信側、受信側で同じ意味を持つ必要がある。

また符号化装置では、これまでに符号化した符号量の履歴を記録することができるため、現在バッファ１０４に格納中の符号化データＥの重要度が、これまでに送信した符号化データＥよりも高い場合、今までに送信した符号化データＥを廃棄する通知を符号化データの先頭に付加することで、復号装置に今までに送出した符号化データＥの廃棄を通知することができる。例えば、画像ｍ（ｍ＞ｎ＋４）の符号化終了後、既に送出済の画像ｎの符号化データＥを廃棄したい場合、画像ｍの符号化データとともに、廃棄したい画像の番号ｎを送出する。画像ｍの符号化データＥの廃棄によって、受信側のバッファの残容量を大きくし、符号化装置が重要と判断した符号化データＥを受信側のバッファに優先して格納することができる。また、特定の画像だけではなく、これまでに送出した全ての符号化データＥを廃棄するよう通知することもできる。

また上述の例は、符号化データをバッファ１０４に所定時間格納し、符号化データＥを、時間的に過去に符号化した符号化データＢと合わせて送出する、いわゆる符号化データＥの先送りであるが、図７に示すように、画像ｎ、ｎ＋１の符号化データＥを、画像ｎ＋４、ｎ＋５の符号化データＢと合わせて送出する、いわゆる符号化データＥの後送りでも、本発明を実現することができる。

また上述の例は、ベースレイヤ１、エンハンスメントレイヤ１の２階層における例であったが、エンハンスメントレイヤを複数階層設けることも可能である。この場合、エンハンスメントレイヤの種類が増え、符号化データの先頭に付加する階層の種類も多くなり、階層ごとに異なる種類の階層符号化を組み合わせることも可能である。また、エンハンスメントレイヤに優先順位をつけ、優先順位を示す情報を符号化データの先頭に付加することもできる。なお、エンハンスメントレイヤは常に存在する訳ではなく、ベースレイヤのみで十分な画質を確保できる場合は、エンハンスメントレイヤは存在しないこともある。

以上のように、本発明ではベースレイヤ、エンハンスメントレイヤの階層毎のビットレートは時間的に変動するものの、全ての階層を合わせた総ビットレートは常に一定であるため、伝送網側で新たな処理（トラフィックの監視、符号化パラメータの申告等）が不必要である。つまり符号化装置および復号装置だけの変更で、画質劣化の確率を少なくすることが可能である。

ここからは本発明の第２の実施の形態として、本発明の第１の実施の形態で符号化した符号化データを復号する実施例について説明する。図８は本発明の第２の実施の形態を実現する復号装置のブロック図である。第１の実施の形態と同様、２階層（ベースレイヤ１、エンハンスメントレイヤ１）の場合について説明する。

８０１は符号化データを一時格納するバッファ、８０２はベースレイヤの符号化データを復号するベースレイヤ復号部（目標量復号部）、８０３はエンハンスメントレイヤの符号化データを復号するエンハンスメントレイヤ復号部（超過復号部）、８０４はエンハンスメントレイヤの復号画像が存在する場合、ベースレイヤとエンハンスメントレイヤの復号画像を合成する合成部、８０５は受信した符号化データの先頭にある付加情報を読み取り、その情報に従って符号化データをバッファ８０１に格納し、またはベースレイヤ復号部８０２、エンハンスメントレイヤ復号部８０３に出力する等の管理を行うデータ管理部である。以降、ベースレイヤの符号化データを符号化データＢ、エンハンスメントレイヤの符号化データを符号化データＥとする。

このベースレイヤ復号部８０２、エンハンスメントレイヤ復号部８０３は、動画像符号化方式として一般に使われるＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ、ＶＣ１等であり、その方式を問わず、図１のベースレイヤ符号化部１０１、エンハンスメントレイヤ符号化部１０３に対応する復号処理を行う。

ベースレイヤ復号部８０２、エンハンスメントレイヤ復号部８０３の一例を図９に示す。９０１は受信した符号化データを可変長復号する可変長復号部、９０２は可変長復号した係数を逆量子化する逆量子化部、９０３は逆量子化した係数を逆直交変換する逆直交変換部、９０４は予測画像と９０３の出力である予測誤差とを加算する加算部、９０５は復号画像を格納するフレームメモリ、９０６はフレームメモリに格納された復号画像と、可変長復号部で復号された図示しない動きベクトルや予測タイプを用いて予測画像を計算する動き補償部、９０７はフレームメモリに格納された同一画像内の復号画素値からイントラ予測を行うイントラ予測部である。ベースレイヤ復号部８０２の場合、可変長復号部９０１の入力は符号化データＢとなり、エンハンスメントレイヤ復号部８０３の場合、可変長復号部９０１の入力は符号化データＥとなる。

ここで、バッファ８０１とデータ管理部８０５の動作について説明する。８０５は受信したパケットから、符号化データとその先頭に付加された階層識別子、復号時刻、階層符号化の種類、遅延推定値、符号化データＥの廃棄情報等を読み出す。データ管理部８０５は、例として図１０に示す管理表を持ち、前述の付加情報と符号化データのバッファ８０１内での格納アドレスとを管理表で管理する。

また階層識別子によって、符号化データがベースレイヤか、エンハンスメントレイヤかを判断し、バッファ８０１内のベースレイヤあるいはエンハンスメントレイヤを格納する領域に書き込む。この時、次にベースレイヤ、あるいはエンハンスメントレイヤの符号化データを書き込むバッファ８０１上のアドレス、およびベースレイヤ復号部８０２、エンハンスメントレイヤ復号部８０３に出力する符号化データを読み出すバッファ８０１上のアドレスも管理する。このアドレスは、バッファ８０１上の絶対アドレスでもよいし、符号化データを格納する先頭アドレスからの相対アドレスでもよい。

この管理表と図示しない時刻情報とによって、復号時刻になると、データ管理部８０５は対応するベースレイヤ、あるいはエンハンスメントレイヤの符号化データをベースレイヤ復号部８０２、あるいはエンハンスメントレイヤ復号部８０３に出力し、図１０の管理表から対応する符号化データの記録を消去する。

次にバッファ８０１の管理について述べる。
バッファ８０１に符号化データＢのみを格納する場合、各画像とも目標符号量以下で符号化されているため、バッファが規格、あるいはアプリの仕様を満たしている限り、容量が不足することはない。しかしながら本発明の実施の形態１で述べたように、符号化データＥの先送り、後送りのためにバッファ８０１には余分な符号化データＥが蓄積されており、エンハンスメントレイヤの符号量によっては受信した符号化データＢを新たに書き込むための容量が不足する場合もありうる。その場合、既にバッファに格納したものの復号されずに残っている符号化データＥを廃棄することで、符号化データＢを保存するために必要なメモリを確保する。あるいはエンハンスメントレイヤが２階層以上あり、各レイヤの優先順位が異なっている場合、優先順位の高いエンハンスメントレイヤの符号化データを書き込むために、既にバッファに格納されたものの復号されずに残っている優先順位の低いエンハンスメントレイヤの符号化データを廃棄することで、必要なメモリを確保することも可能である。

図１１に示すバッファ８０１では、符号化データＢの書き込みアドレスが、符号化データＥの読み出し位置を越える場合に、符号化データＢを格納するためのメモリを確保する必要が生じる。この場合Ｂｎ＋３を記録するために、復号時刻の古いＥｎ、Ｅｎ＋１・・・から順番に、図１０に示す管理表からデータの記録を消去することで、符号化データＥを廃棄する。廃棄時の管理表を図１２に示す。Ｅｎ、Ｅｎ＋１が削除され、新たにＢｎ＋３が記録されている。

この時、バッファ８０１のサイズが規格、あるいはアプリの仕様より大きければ、符号化データＥを削除する必要がない場合もありうる。別のアプリでより大きなバッファを持つことが必要とされ、復号装置が規格等で定められているよりも大きなバッファをあらかじめ持っている場合、符号化データＥを削除することなく復号に利用できるため、規格で定められた最低限のバッファを持つ復号装置よりも画質劣化の少ない画像を再生することができる。

例えば、携帯電話では３ＧＰＰの規定により、ＭＰＥＧ−４ ＳＰ＠Ｌｅｖｅｌ０準拠の復号装置を持つことが必須であるが、各端末の独自仕様として自己録再はＭＰＥＧ−４ ＳＰ＠Ｌｅｖｅｌ３準拠のバッファを備えた端末も多い。この場合、ＭＰＥＧ−４ ＳＰ＠Ｌｅｖｅｌ０準拠のバッファサイズは２０４８０バイトであるが、ＭＰＥＧ−４ ＳＰ＠Ｌｅｖｅｌ３準拠のバッファサイズは８１９２０バイトである。ＭＰＥＧ−４ ＳＰ＠Ｌｅｖｅｌ０準拠のアプリでは、２０４８０バイトのバッファサイズ以下で復号できる符号化データを復号するが、復号装置がＭＰＥＧ−４ ＳＰ＠Ｌｅｖｅｌ３準拠の場合、使用可能なバッファサイズは８１９２０バイトである。つまり復号装置の持つバッファ容量によって、復号可能なエンハンスメントレイヤの符号量が異なる。

図１３に示すように、ＭＰＥＧ−４ ＳＰ＠Ｌｅｖｅｌ０準拠の復号装置は、符号化データＢをバッファに格納するため、バッファに残っている符号化データＥの一部あるいは全部を廃棄する必要があるが、ＭＰＥＧ−４ ＳＰ＠Ｌｅｖｅｌ３準拠の復号装置は、バッファに残っている符号化データＥを廃棄する必要がないため、ＭＰＥＧ−４ ＳＰ＠Ｌｅｖｅｌ０準拠の復号装置より画質劣化を少なくすることができる。

なお、ＭＰＥＧ−４ ＳＰ＠Ｌｅｖｅｌ０準拠の復号装置でも符号化データＢは全て復号することができるため、従来方式と同等の画質は保証される。従って復号装置のもつバッファサイズが大きい場合、より画質劣化の少ない画像を復号することができる。

＜変形例１＞
本発明の第２の実施の形態では、復号装置の持つバッファサイズによって復号画像の画質劣化を小さくする例について説明した。ここでの符号化データＥの廃棄の判断基準は復号装置の持つバッファサイズであったが、これ以外にも初期遅延や受信端末の負荷を基準として、符号化データＥを廃棄することが可能である。例えば図７に示すエンハンスメントレイヤの後送りの場合、図１４に示す順序で符号化データが送信されるため、画像ｎを表示するには、Ｅｎが受信されバッファ８０１に格納される４枚後まで待つ必要がある。アプリを起動した直後で遅延を小さくしたい場合は、一定期間画質が少々悪くても符号化データＢのみを復号することで、初期遅延を小さくすることができる。またこの時、符号化データの先頭に付加された遅延推定量をもとに、符号化データＥを廃棄するかどうかを判断することができる。

また受信端末の負荷によって、符号化データＥを廃棄するかどうかを判断することもできる。例えば受信端末においては、複数のアプリが同時に動作することが一般的である。各アプリに対し、動的にメモリの割り当てを変更できる場合、動作するアプリ数が少ない場合にはメモリリソースが十分あるため、復号装置はバッファ８０１としてアプリの仕様を越える大容量のメモリを割り当てることができ、大量の符号化データＥを格納することができる。しかしながら動作するアプリ数が増えてくると、復号装置に割り当て可能なメモリが小さくなるため、仕様に定める符号量しか格納することができなくなる。従って受信端末で動作するアプリ数や、復号装置に割り当てるメモリリソースの量によって、符号化データＥの廃棄基準を変更することも可能である。

＜変形例２＞
変形例１ではいくつかの判断基準を用いて、符号化データＥを廃棄する実施例について述べた。変形例２では廃棄する符号化データＥの選択方法について説明する。

図１１に示すバッファの場合、復号時刻の古い符号化データＥから廃棄することができる。また階層数が３以上、つまりエンハンスメントレイヤが２階層以上ある場合、本発明の実施の形態１で述べたエンハンスメントレイヤの階層符号化の種類や優先順位によって廃棄するエンハンスメントレイヤを選択することができる。

例えば受信端末においては重要ではない階層符号化の種類に属する符号化データＥから廃棄する。受信端末の表示画面がＱＣＩＦサイズの場合、ＱＶＧＡやＣＩＦを実現するための空間階層性は不必要である。従って空間階層性をもつエンハンスメントレイヤを廃棄する。

また符号化装置が付加した優先順位の低いエンハンスメントレイヤから廃棄してもよい。エンハンスメントレイヤが２階層あり、優先順位が各々１、２である場合（１の優先順位が高い）、優先順位２のエンハンスメントレイヤから廃棄する。

また符号化装置が符号化データＥの廃棄情報を付加した場合、復号装置でのバッファが不足しており、符号化装置が廃棄を指示する画像の符号化データＥがバッファに残っていれば、この符号化データＥを廃棄することができる。例えば画像ｎのエンハンスメントレイヤを廃棄するよう指定された場合は、管理表を調べ、画像ｎのエンハンスメントレイヤに対応する符号化データＥを消去する。

あるいは今までに送付したエンハンスメントレイヤを全て廃棄する場合は、管理表に記録されたエンハンスメントレイヤの記録を全て消去し、エンハンスメントレイヤの読み出しアドレス、書き込みアドレスを初期値に戻すことでデータの廃棄が可能である。

このように復号装置のバッファが不足する場合、復号装置の持つ符号化データＥの廃棄の判断基準や符号化装置からの付加情報を用いて符号化データＥを廃棄することで、受信端末にとって最良の符号化データＥの廃棄が可能であり、復号装置の性能によって画質を良くすることもできる。

なお、符号化データＥの廃棄の単位は符号化装置の符号化方法に依存し、符号化データＥを以降の画像の予測に利用していない場合は画像単位で廃棄可能であり、予測に利用している場合はＧＯＰ(Group Of Picture)あるいはＧＯＶ(Group Of Video object plane)単位で廃棄することになる。

＜変形例３＞
次に符号化データＥを廃棄する時の管理表、およびバッファ８０１内のデータについて説明する。バッファ８０１はこれまで説明したようなＦＩＦＯで実現する場合と、ＲＡＭで実現する場合がある。ＲＡＭの場合はランダムアクセスが可能であるため、データ廃棄した領域を新たに受信した符号化データに割り当て、管理表にアドレスと付加情報を書き込めばよい。ＦＩＦＯの場合、廃棄した符号化データが割り当てられていた領域に、それ以前に存在する廃棄されていない符号化データＥを詰めて、符号化データを連続して読み出せるようにする処理が必要である。またそれに伴って管理表を更新する必要がある。図１０の管理表において、Ｅｎ＋１を廃棄して更新された管理表を図１５に示す。バッファ８０１ではＥｎ＋１を廃棄し、それ以前に存在するＥｎを詰めて記録することで、符号化データＢｎ＋３を書き込む領域を確保する。これに伴って、管理表においてＥｎのアドレスを更新する。

以上のようにＦＩＦＯの場合は廃棄したデータに対応する領域にそれ以前に存在する符号化データＥを詰めることで、復号処理において連続してメモリにアクセスすることが可能である。

なお上記では、バッファと管理表を分けて管理する例について説明してきたが、例えばＲＡＭでバッファを実現する場合には、図１６に示すように符号化データの先頭に管理情報を記録し、１つのバッファのみで全ての情報を管理することもできる。

尚、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

本発明の第１の実施の形態を示す符号化装置のブロック図の一例である。 動き補償＋変換符号化を実現する符号化ブロック図の一例である。 各量子化幅におけるアクティビティと予測符号量の関係を示す図である。 各画像の予測符号量の一例を示す図である。 画質・レート制御部の動作の一例を示すフローチャートである。 図４における各階層での発生符号量とエンハンスメントレイヤの符号化データの送信方法を説明する図である。 エンハンスメントレイヤの符号化データの別の送信方法を説明する図である。 本発明の第２の実施の形態を示す復号装置のブロック図の一例である。 動き補償＋変換符号化を実現する復号ブロック図の一例である。 データ管理部の持つ管理表の一例である。 本発明の第２の実施の形態におけるバッファの一例を示す図である。 データ管理部の持つ管理表の一例である。 バッファ容量とエンハンスメントレイヤの符号化データの廃棄を説明する図である。 エンハンスメントレイヤの符号化データの送信順序の一例を示す図である。 エンハンスメントレイヤの符号化データの廃棄と管理表の更新を説明する図である。 ＲＡＭでバッファを実現する一例を示す図である。 従来の固定ビットレート符号化の装置のブロック図である。 従来の符号化困難さによるレート制御の一例を示す図である。 従来の階層符号化の装置のブロック図である。

符号の説明

１０１ ベースレイヤ符号化部（目標量符号化部）
１０２ 分離部
１０３ エンハンスメントレイヤ符号化部（超過符号化部）
１０４ バッファ
１０５ パケット化部
１０６ 画質・レート制御部
１０７ 符号量予測部
１０８ スイッチ
２０１ 直交変換部
２０４ レート制御部
２０９ 動き補償部
２１０ 動き検出部
２１１ イントラ予測部
２１２ 減算部
２１３ 予測モード決定部
８０１ バッファ
８０２ ベースレイヤ復号部（目標量復号部）
８０３ エンハンスメントレイヤ復号部（超過復号部）
８０５ データ管理部
９０１ 可変長復号部
９０２ 逆量子化部
９０３ 逆直交変換部
９０４ 加算部
９０５ フレームメモリ
９０６ 動き補償部
９０７ イントラ予測部
１００１ 符号化装置
１００２ バッファ
１１００ 符号化装置
１１０１ 符号化器
１１０２ 局所復号器
１２００ 伝送網
１３００ 復号装置

Claims (9)

1. 動画像符号化装置と動画像復号装置からなる動画像符号化・復号システムにおいて、
   前記動画像符号化装置は、
   目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、
   動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、
   前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分に対して前記目標画質を満たすために必要な情報を符号化する少なくとも１つの超過符号化部と、
   前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、
   送出時に復号するための情報を前記符号化データに付加する情報付加手段と、
   を備え、
   各時刻において送出される符号化データの合計が一定の符号量以下になるように前記目標量符号化データに前記超過符号化データを組み合わせて送出し、
   前記動画像復号装置は、
   前記動画像符号化装置から送出された前記目標量符号化データと前記超過符号化データから前記付加情報を読み取る情報読取手段と、
   前記動画像符号化装置から送出された前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、
   前記目標量符号化データを復号する目標量復号部と、
   前記超過符号化データを復号する少なくとも１つの超過復号部と、
   前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部と
   を備え、
   前記復号バッファに格納された前記目標量符号化データと前記超過符号化データを、前記付加情報、あるいは動画像復号装置のもつ判断基準に従って復号することを特徴とする動画像符号化・復号システム。
2. 目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、
   動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、
   前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分に対して前記目標画質を満たすために必要な情報を符号化する少なくとも１つの超過符号化部と、
   前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、
   送出時に復号するための情報を前記符号化データに付加する情報付加手段と、
   を備え、
   各時刻において送出される符号化データの合計が一定の符号量以下になるように前記目標量符号化データに前記超過符号化データを組み合わせて送出することを特徴とする動画像符号化装置。
3. 請求項２の動画像符号化装置において、
   前記情報付加手段は、各時刻に送出される前記目標量符号化データおよび前記超過符号化データに復号時刻を示す情報を付加することを特徴とする動画像符号化装置。
4. 請求項２または３の動画像符号化装置において、
   前記情報付加手段は、各時刻に送出される前記目標量符号化データに遅延推定値を付加することを特徴とする動画像符号化装置。
5. 請求項２、３または４の動画像符号化装置において、
   前記情報付加手段は、各時刻に送出される前記超過符号化データに廃棄情報を付加することを特徴とする動画像符号化装置。
6. 動画像を予め設定した目標符号量以下で符号化した目標量符号化データと、目標とすべき所定の画質を実現するのに必要な符号量を予測し該予測符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分に対して少なくとも１層以上に階層化した前記目標画質を満たすために必要な情報を符号化する超過符号化データとに付加された復号するための付加情報を読み取る情報読取手段と、
   前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、
   前記目標量符号化データを復号する目標量復号部と、
   前記超過符号化データを復号する少なくとも１つの超過復号部と、
   前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部と
   を備え、
   前記復号バッファに格納された前記目標量符号化データと前記超過符号化データを、前記付加情報、あるいは動画像復号装置のもつ判断基準に従って復号することを特徴とする動画像復号装置。
7. 請求項６の動画像復号装置において、
   前記目標量符号化データおよび前記超過符号化データに付加された復号時刻を示す情報を管理する管理部を備え、
   前記目標量復号部および前記超過復号部が同期して符号化データを復号することを可能にする動画像復号装置。
8. 請求項６または７の動画像復号装置において、
   前記目標量符号化データおよび前記超過符号化データを格納する前記復号バッファの容量が不足する場合、前記復号バッファに格納された前記超過符号化データを廃棄し、新たな前記目標量符号化データを格納する領域を確保することを特徴とする動画像復号装置。
9. 請求項８の動画像復号装置において、
   前記復号バッファに格納された前記超過符号化データのどの部分を廃棄するかを決める指標は、前記符号化データに付加された復号時刻であることを特徴とする動画像復号装置。

Images