JP2012182672A - エンコーダ、映像伝送装置及びエンコード方法 - Google Patents

Abstract

【課題】伝送路誤り耐性に優れたスケーラブル符号化データを得る。
【解決手段】実施形態のエンコーダは、入力された映像信号をベースレイヤ及び１つ以上の拡張レイヤの映像データに階層符号化する階層符号化部と、前記階層符号化されたベースレイヤの映像データの復号化に用いられる補助情報を前記ベースレイヤの映像データに基づいて生成する補助情報生成部と、前記階層符号化部からの映像データと前記補助データとを配列して出力する配列部とを具備したことを特徴とする。
【選択図】図１

Description

本発明の実施形態は、エンコーダ、映像伝送装置及びエンコード方法に関する。

従来、画像処理のデジタル化が普及しており、デジタル映像信号の伝送にはＨ．２６４／ＡＶＣ等の符号化技術が採用されることが多い。更に、近年、Ｈ．２６４／ＡＶＣは、階層的なスケーラブル符号化を行うＨ．２６４／ＳＶＣに機能拡張された。伝送路及び視聴環境の多様化に伴い、今後ＳＶＣ（Scalable Video Coding）が映像配信における重要技術となると考えられる。

Ｈ．２６４／ＳＶＣは、ベースレイヤ（下位階層）と拡張レイヤ（上位階層）からなるデータ構造を有し、以下の３種類のスケーラビリティが定義されている。

（１）空間（Spatial）スケーラビリティ
（２）時間（Temporal）スケーラビリティ
（３）ＳＮＲスケーラビリティ
デコーダにおいては、ベースレイヤのデータをデコードすることにより、動画再生に必要な必要最低限の情報を得ることができる。更に、デコーダは、必要に応じて拡張レイヤのデータをデコードすることにより、より高品質の動画再生を行うことが可能となる。

しかしながら、ベースレイヤのデータが伝送路誤りによって失われると、デコーダは、拡張レイヤのデータだけでは正常に復号することができない。また、デコーダは、失われたベースレイヤのデータを他のピクチャのデータから復元するために、ベースレイヤだけでなく拡張レイヤについてもデータを読込んで処理を行う必要があり、ベースレイヤ復元のための処理量が極めて大きい。

そこで、ベースレイヤには拡張レイヤよりも強力な誤り訂正符号を施して伝送路誤り耐性を向上させることが考えられる。しかしながら、そうすると、デコーダは、ベースレイヤと拡張レイヤとに対して異なる誤り訂正処理に対応する必要があり、低い性能のデコーダにおいてもそれなりの画像を表示できるというＳＶＣの利点が阻害される。

特開２００７−９６４７９号公報

本発明の実施形態は、伝送路誤り耐性に優れたスケーラブル符号化データを得ることができるエンコーダ、映像伝送装置及びエンコード方法を提供することを目的とする。

実施形態のエンコーダは、入力された映像信号をベースレイヤ及び１つ以上の拡張レイヤの映像データに階層符号化する階層符号化部と、前記階層符号化されたベースレイヤの映像データの復号化に用いられる補助情報を前記ベースレイヤの映像データに基づいて生成する補助情報生成部と、前記階層符号化部からの映像データと前記補助データとを配列して出力する配列部とを具備したものである。

本発明の一実施の形態に係るエンコーダが組み込まれた映像伝送装置を示すブロック図。 ベースレイヤの映像データを拡張レイヤの映像データの関係を説明するための説明図。 マルチプレクサ１２の多重処理を説明するための説明図。 実施の形態を説明するための説明図。 実施の形態を説明するためのフローチャート。 マルチプレクサ１２から出力される映像データのフォーマットの一例を示す説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の一実施の形態に係るエンコーダが組み込まれた映像伝送装置を示すブロック図である。

エンコーダ１０のＳＶＣエンコーダ１１には映像信号が入力される。ＳＶＣエンコーダ１１は、入力された映像信号に基づいてベースレイヤ及び１つ以上の拡張レイヤの映像データを生成する。ＳＶＣエンコーダ１１は、空間、時間及びＳＮＲスケーラビリティのうちの少なくとも１つのスケーラビリティを採用して、ベースレイヤ及び拡張レイヤの映像データを生成する。

ＳＶＣエンコーダ１１は、空間スケーラビリティを採用することにより、複数種類の解像度の階層的な映像データを出力することができる。ＳＶＣエンコーダ１１は、ベースレイヤにおいて基本となる低解像度の映像データを生成し、拡張レイヤにおいて高解像度の映像データを生成する。例えば、ＳＶＣエンコーダ１１は、ベースレイヤにおいてＱＣＩＦ（Quarter CIF）規格の映像データを生成し、拡張レイヤにおいて、ＣＩＦ（Common Intermediate Format）規格やＶＧＡ（Video Graphics Array）規格の映像データを生成する。

また、ＳＶＣエンコーダ１１は、時間スケーラビリティを採用することにより、フレームレートが異なる複数種類の階層的な映像データを得ることができる。ＳＶＣエンコーダ１１は、ベースレイヤにおいて基本となる最も低いフレームレートの映像データを生成し、拡張レイヤにおいて高いフレームレートの映像データを生成する。例えば、ＳＶＣエンコーダ１１は、ベースレイヤにおいて７．５ｆｐｓ（フレーム／レート）の映像データを生成し、拡張レイヤにおいて、１５ｆｐｓや３０ｆｐｓの映像データを生成する。

また、ＳＶＣエンコーダ１１は、ＳＮＲスケーラビリティを採用することにより、画質が異なる複数種類の階層的な映像データを得ることができる。ＳＶＣエンコーダ１１は、ベースレイヤにおいて基本となる最も低い画質の映像データを生成し、拡張レイヤにおいて高い画質の映像データを生成する。例えば、ＳＶＣエンコーダ１１は、ベースレイヤにおいてＤＣＴ変換係数の直流成分を含む映像データを生成し、より上位の拡張レイヤほど、ＤＣＴ変換係数のより高い周波成分を含む映像データを生成する。

図２はベースレイヤの映像データと拡張レイヤの映像データとの関係を説明するための説明図であり、図２（ａ）はスケーラビリティを施していない場合の例、図２（ｂ）は時間スケーラビリティを施した例、図３（ｃ）は時間及び空間スケーラビリティを施した場合の例を示している。図２は枠によってベースレイヤ及び各拡張レイヤ等の各フレームの映像データを示し、矢印は相関関係を示している。また、図２は横方向にフレーム単位の時間をとって、各フレームとエンコードとの関係を示している。

ＳＶＣエンコーダ１１は、ベースレイヤの映像データを拡張することによって、各拡張レイヤの映像データを生成するようになっている。即ち、図２の矢印に示すように、上位階層のデータは、下位階層のデータに依存する相関関係を有する。

図２（ａ）はスケーラビリティを採用しない例であり、各フレームは階層化されることなくエンコードされる。図２（ａ）の符号Ｉはフレーム内符号化されたピクチャ（Ｉピクチャ）を示し、符号Ｐは片方向予測符号化されたＰピクチャを示している。各ピクチャは矢印に示す相関関係を有し、デコード側においては、伝送されたＩピクチャが復元されない場合には、以後のＰピクチャを正確に復号化することはできない。

図２（ｂ）は時間スケーラビリティにおけるベースレイヤと２階層の拡張レイヤを示しており、符号Ｂにて示すベースレイヤにおいては、図２（ａ）のフレームレートに対して１／４のフレームレートの映像データによって構成されることを示している。ベースレイヤのデータと符号Ｅ１にて示す下位階層の拡張レイヤのデータとによって、図２（ａ）のフレームレートに対して１／２のフレームレートの映像データが構成されることを示している。更に、符号Ｅ２にて示す上位階層の拡張レイヤのデータまで用いることで、図２（ａ）と同じフレームレートでの映像データが得られる。

図２（ｃ）は時間及び空間スケーラビリティによる階層符号化を示しており、符号Ｂ０に示す低解像度の映像データ（ベースレイヤ）に対して符号Ｂ１は高解像度の映像データ（拡張レイヤ）を示している。また、符号Ｅ１０に示す低解像度の映像データ（ベースレイヤ）に対して符号Ｅ１１は高解像度の映像データ（拡張レイヤ）を示しており、符号Ｅ２０に示す低解像度の映像データ（ベースレイヤ）に対して符号Ｅ２１は高解像度の映像データ（拡張レイヤ）を示している。符号Ｂ０は時間及び空間スケーラビリティにおけるベースレイヤのデータを示しており、デコード側において、符号Ｂ０のデータが失われた場合には、拡張レイヤのデータを用いても正確な復号化は行うことはできない。

ＳＶＣエンコーダ１１は、生成したベースレイヤのデータ及び各拡張レイヤのデータをマルチプレクサ１２に出力する。マルチプレクサ１２には後述する補助情報生成部１３において生成された補助情報も与えられる。マルチプレクサ１２は、ＳＶＣエンコーダ１１の出力と補助情報とを多重して出力する。

図３はマルチプレクサ１２の多重処理を説明するための説明図である。マルチプレクサ１２において、補助情報を用いることなく、ＳＶＣエンコーダ１１の出力のみを多重するものとすると、例えば、マルチプレクサ１２は図３（ａ）に示すデータ配列でベースレイヤ及び拡張レイヤのデータを配列することが考えられる。即ち、この場合には、図３（ａ）に示すように、ベースレイヤのデータに続けて、各拡張レイヤＥ１，Ｅ２，Ｅ３，…が配列される。図２の例では、ベースレイヤのデータとして符号Ｂ０のデータが配列され、拡張レイヤＥ１，Ｅ２，…のデータとして符号Ｂ１，Ｅ１０〜Ｅ２１のデータが配列される。

上述したように、デコード側において、ベースレイヤのデータが失われると、拡張レイヤのデータだけでは正常に復号化を行うことはできない。そこで、本実施の形態においては、デコード側においてベースレイヤのデータが失われた場合でも十分なデコードが可能なように、補助情報生成部１３においてデコードを補助するための補助情報を生成するようになっている。

この補助情報は、マルチプレクサ１２によって、拡張レイヤに付加されて配列される。例えば、マルチプレクサ１２は、図３（ｂ）に示すように、各拡張レイヤＥ１，Ｅ２，…の直前に夫々補助情報を付加して配列する。デコード側では、この補助情報を用いることで、例えベースレイヤのデータが失われた場合でも、十分なデコードが可能である。

補助情報生成部１３は、補助情報として、ベースレイヤのデータが失われた場合でもデコード側において十分なデコードを可能にするための情報を生成する。例えば、デコード側において十分な品質のデコードを可能にする最も確実な方法として補助情報生成部１３は、ベースレイヤのデータをそのまま補助情報として用いることが考えられる。

図３（ｃ）はこの場合におけるマルチプレクサ１２の出力を示している。各拡張レイヤＥ１，Ｅ２，Ｅ３には夫々ベースレイヤのコピーのデータが付加されている。従って、仮にベースレイヤのデータがデコード側において失われた場合でも、ベースレイヤのコピーのデータを用いることで、確実なデコードが可能である。

また、図３（ｄ）はマルチプレクサ１２においてベースレイヤのデータの配列を省略した例を示している。各拡張レイヤＥ１，Ｅ２，Ｅ３にはベースレイヤのコピーのデータが付加されていることから、ベースレイヤのデータの伝送を省略することが可能である。

しかしながら、図３（ｃ），（ｄ）の方法では、ベースレイヤのデータを複数回伝送する必要があることから、符号量が増大するという欠点がある。そこで、本実施の形態においては、補助情報生成部１３は、補助情報として、ベースレイヤのデータを元に生成され、デコードに際して重要となる情報を生成する。

即ち、本実施の形態においては、補助情報生成部１３は、補助情報として、ベースレイヤの符号化に用いるパラメータを採用する。例えば、補助情報生成部１３は、ベースレイヤのデータから生成した動きベクトル、イントラ／インターモード情報及び量子化情報を補助情報として用いる。補助情報生成部１３は、ベースレイヤのデータから動きベクトル、イントラ／インターモード情報及び量子化情報のうちの少なくとも１つを生成して、補助情報としてマルチプレクサ１２に与える。マルチプレクサ１２は各拡張レイヤに対して補助情報を付加する。マルチプレクサ１２の出力はＭＰＥＧ２−ＴＳ生成部１５に与えられ、ＭＰＥＧ２−ＴＳ生成部１５は入力されたデータをＭＰＥＧ規格でパケット化し、送信信号として送信する。

次にこのように構成された実施の形態の動作について図４乃至図６を参照して説明する。図４は実施の形態を説明するための説明図であり、図５は実施の形態を説明するためのフローチャートである。また、図６はマルチプレクサ１２から出力される映像データのフォーマットの一例を示す説明図である。

映像信号はエンコーダ１０のＳＶＣエンコーダ１１に入力される。ＳＶＣエンコーダ１１は、空間、時間及びＳＮＲスケーラビリティのうちの少なくとも１つのスケーラビリティを採用して、入力された映像信号を階層符号化して、ベースレイヤ及び各拡張レイヤの映像データを生成する（図５のステップＳ１）。ＳＶＣエンコーダ１１からのベースレイヤ及び各拡張レイヤの映像データは、マルチプレクサ１２に与えられる。

一方、補助情報生成部１３は、ベースレイヤの映像データに基づいて、動きベクトル、イントラ／インターモード情報及び量子化情報のうちの少なくとも１つの情報を生成してマルチプレクサ１２に出力する（ステップＳ２）。マルチプレクサ１２は、ＳＶＣエンコーダ１１からのベースレイヤ及び拡張レイヤのデータに補助情報を付加して配列する（ステップＳ３）。

図４の例を用いて、マルチプレクサ１２から出力されるデータについて説明する。図４は３フレーム分の画像の階層符号化の例を示しており、フレーム内符号化されるＩピクチャを、ベースレイヤＣ１、第１拡張レイヤＣ２、第２拡張レイヤＣ３によって構成し、次のＰピクチャを、ベースレイヤＣ４、第１拡張レイヤＣ５、第２拡張レイヤＣ６によって構成し、次のＰピクチャを、ベースレイヤＣ７、第１拡張レイヤＣ８、第２拡張レイヤＣ９によって構成する例を示している。各レイヤのデータは、図４の矢印に示す相関関係を有する。

ＳＶＣエンコーダ１１からの映像データは、図４の添え字の若い順に出力される。即ち、ベースレイヤＣ１，Ｃ４，Ｃ７の映像データを夫々ＢＣ１，ＢＣ４，ＢＣ７とし、拡張レイヤＣ２，Ｃ３，Ｃ５，Ｃ６，Ｃ８，Ｃ９の映像データを夫々ＥＣ２，ＥＣ３，ＥＣ５，ＥＣ６，ＥＣ８，ＥＣ９とすると、ＳＶＣエンコーダ１１からは、ＢＣ１，ＥＣ２，ＥＣ３，ＢＣ４，ＥＣ５，ＥＣ６，ＢＣ７，ＥＣ８，ＥＣ９のデータが順次出力される。

補助情報生成部１３は、ベースレイヤＣ１，Ｃ４，Ｃ７の映像データから夫々補助情報ＣＣ１，ＣＣ４，ＣＣ７を生成する。マルチプレクサ１２は、ＳＶＣエンコーダ１１の出力に補助情報を付加して配列することにより、図６に示す映像データを出力する。

図６に示すように、マルチプレクサ１２の出力には、拡張レイヤのデータＥＣ２，ＥＣ３の前に補助情報ＣＣ１（斜線部）が配列され、拡張レイヤのデータＥＣ５，ＥＣ６の前に補助情報ＣＣ４（斜線部）が配列され、拡張レイヤのデータＥＣ８，ＥＣ９の前に補助情報ＣＣ７（斜線部）が配列される。

従って、デコード側において、仮にベースレイヤのデータが失われた場合でも、補助情報を用いることで、比較的容易にベースレイヤ及び拡張レイヤのデータを復元することが可能である。マルチプレクサ１２の出力はＭＰＥＧ２−ＴＳ生成部１５に与えられ、ＭＰＥＧ規格に沿ってパケット化された後、送信信号として送信される。

いま、例えば、伝送路誤り等により、デコード側において、ベースレイヤＣ４のデータＢＣ４が失われたものとする。この場合には、デコーダは、補助情報ＣＣ４を用いてベースレイヤＣ４の復元データを生成する。例えば、補助情報ＣＣ４は、ベースレイヤＣ４の映像データのエンコード時に採用された動きベクトル、イントラ／インターモード情報及び量子化情報等によって構成されており、補助情報ＣＣ４を用いることで、効率的にベースレイヤＣ４の映像データを復元することができる。

例えば、ベースレイヤＣ４の符号化時に用いた動きベクトルとベースレイヤＣ１の映像データとを利用することで、補助情報ＣＣ４を用いない場合に比べて容易で且つ高い精度に、ベースレイヤＣ４の映像データを復元することができる。これにより、デコーダ側において、所望の階層での映像表示が可能である。例えば、補助情報ＣＣ４を用いて復元したベースレイヤＣ４とベースレイヤＣ１，Ｃ７の映像データのみを用いて、比較的低い品質の映像を表示してもよく、これらのベースレイヤのデータだけでなく、第１拡張レイヤ以上の映像データを用いて、高品質の映像を表示してもよい。

ところで、上述した図３（ｃ），（ｄ）においては、補助情報としてベースレイヤのコピーを伝送するので、データ量が増大すると述べた。しかし、図３（ｃ），（ｄ）のデータ配列をＳＮＲスケーラビリティにおいて採用すれば、データ量の増加は僅かである。

ＳＮＲスケーラビリティにおいては、ＤＣＴ変換係数の低域成分から高域成分を、ベースレイヤ及び複数の拡張レイヤに割当てる。例えばベースレイヤにＤＣＴ変換係数のＤＣ成分のみを割当てることが考えれる。即ち、この場合には、ベースレイヤのデータのデータ量は、拡張レイヤのデータのデータ量に比べて十分に小さいことが考えられる。従って、ベースレイヤのコピーである補助情報を各拡張レイヤに付加しても、データ量の増加は僅かである。このように、図３（ｃ），（ｄ）のデータ配列は、ＳＮＲスケーラビリティに有利である。

一方、時間及び空間スケーラビリティにおいては、ベースレイヤの情報はフレーム単位の情報である。従って、ベースレイヤのコピーをそのまま補助情報として付加するのではなく、動きベクトル及びイントラ／インターモード情報を補助情報として各拡張レイヤに付加した方が、データ量の増大を抑制することができる。

このように本実施の形態においては、ベースレイヤの映像データから得られる補助情報を各拡張レイヤに付加して伝送しており、デコード側において補助情報を用いてベースレイヤのデータを高精度に復元することができる。これにより、デコード側において、ベースレイヤが失われた場合でも、ベースレイヤ及び拡張レイヤを含む映像データを用いた映像の復元が可能であり、伝送路誤りの耐性が大きい画像伝送を実現することができる。また、補助情報として動きベクトル、イントラ／インターモード情報及び量子化情報を用いることで、補助情報を拡張レイヤに付加して伝送する場合でも、データ量が著しく増大することを防止することができる。

１０…エンコーダ、１１…ＳＶＣエンコーダ、１２…マルチプレクサ、１３…補助情報生成部、１５…ＭＰＥＧ２−ＴＳ生成部。

Claims (5)

1. 入力された映像信号をベースレイヤ及び１つ以上の拡張レイヤの映像データに階層符号化する階層符号化部と、
   前記階層符号化されたベースレイヤの映像データの復号化に用いられる補助情報を前記ベースレイヤの映像データに基づいて生成する補助情報生成部と、
   前記階層符号化部からの映像データと前記補助データとを配列して出力する配列部と
   を具備したことを特徴とするエンコーダ。
2. 前記補助データは、前記ベースレイヤの映像データそのものである
   ことを特徴とする請求項１に記載のエンコーダ。
3. 前記補助データは、前記ベースレイヤの映像データの符号化に用いられるパラメータである
   ことを特徴とする請求項１に記載のエンコーダ。
4. 請求項１乃至３のいずれか１つに記載のエンコーダと、
   前記配列部の出力を伝送フォーマットに変換して送信するフォーマット変換部と
   を具備したことを特徴とする映像伝送装置。
5. 入力部から入力された映像信号をベースレイヤ及び１つ以上の拡張レイヤの映像データに階層符号化し、
   前記階層符号化されたベースレイヤの映像データの復号化に用いられる補助情報を前記ベースレイヤの映像データに基づいて生成し、
   前記階層符号化部からの映像データと前記補助データとを配列して出力する
   ことを特徴とするエンコード方法。

Images