JP6303829B2 - 多重化プログラム、多重化装置、及び多重化方法 - Google Patents

Description

本発明は、多重化プログラム、多重化装置、及び多重化方法に関する。

現在、ＤＶＤ（Digital Versatile Disk）などの蓄積メディアやＨＤＴＶ（High Definition TV）などのデジタル放送においては画像圧縮技術が広く利用されている。また、画像圧縮技術の分野では、ＭＰＥＧ−２（Moving Picture Experts Group）やＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（以下、「Ｈ．２６４」と称する場合がある）などの符号化方式が国際基準として標準化されている。

このような画像圧縮技術の１つとして、例えば、複数の視点から得られた画像を圧縮符号化するマルチビュー符号化（又は多視点画像符号化、以下では「多視点画像符号化」と称する場合がある）方式がある。

例えば、２台のカメラで得られた２方向から撮影された左目用画像と右目用画像の２つの画像を同一画面上に表示させることで立体画像（又は３Ｄ画像）を表示させることができる。しかし、左目用画像と右目用画像の各画像データを蓄積メディアに記録する場合、単一画像の２倍の情報量を記録することになる。

多視点画像符号化においては、左右画像の一方を主画像（又はＢａｓｅ Ｖｉｅｗ）とし、他方の画像（又はＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ）はＢａｓｅ Ｖｉｅｗの局所復号画像を参照して圧縮符号化が行われる。このように視点間の冗長性を用いて圧縮符号化が行われることを、例えば、視差補償予測と称する場合がある。多視点画像符号化においては、視差補償予測により、例えば、効率的な画像圧縮符号化が可能となる。

多視点画像符号化に関する技術としては、例えば、以下のような技術がある。すなわち、符号化ビット列生成部は、各視点の画像信号を参照しない視点を基底視点とし、基底視点の画像信号の符号化開始時刻に対する基底視点以外の視点における画像信号の復号開始時刻の遅延時間を示す情報を生成して符号化する多視点画像符号化装置がある。

この技術によれば、復号側での並列処理によりリアルタイムでの復号処理を考慮した多視点画像符号化装置を提供することができる、とされる。

一方、ＭＰＥＧ−２方式により圧縮符号化された画像データは、ＭＰＥＧ−２トランスポートストリームとして伝送される場合がある。この場合、圧縮符号化された画像データに対してＰＥＳヘッダが付与されてＰＥＳパケットとし、ＰＥＳパケットが一定長のＴＳパケットに分割される。圧縮符号化された画像データは、例えば、ＴＳパケットとして他の装置などに伝送される。

特開２００８−１８２６６９号公報

しかしながら、多視点画像符号化では視差補償予測が用いられるため、例えば、参照先のＢａｓｅ Ｖｉｅｗの局所画像における符号化データの復号が完了した後に、参照元となるＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの画像データに対する圧縮符号化処理が行われる場合がある。また、復号側においても、参照先のＢａｓｅ Ｖｉｅｗの局所画像における符号化データの復号が完了した後に、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの符号化データに対する復号処理が行われる場合がある。

このため、復号側では、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの符号化データを復号する場合、参照先のＢａｓｅ Ｖｉｅｗの符号化データの復号を待つことになり、その分、遅延が発生する場合がある。

上述した基底視点以外の視点における画像信号の復号開始時刻の遅延時間を示す情報を生成する技術は、遅延時間を生成して符号化するものであって、このような遅延に対してどのように対処するのかについては何ら開示されていない。

また、かかる技術では、例えば図５などに示されるように、基底視点のピクチャの復号処理が完了した後に、復号後の基底視点のピクチャを参照して基底視点以外のピクチャの復号が開始される。従って、上述した技術では、基底視点以外のピクチャの復号は、基底視点の１ピクチャ分の復号処理を待つことになり、１ピクチャ分の遅延が生じる場合がある。

そこで、本発明の一側面では、遅延を少なくするようにした多重化プログラム、多重化装置、及び多重化方法を提供することを目的とする。

一態様では、立体視画像の第１の視点に対応する第１の画像に含まれる第１の画像データを前記第１の画像における画像フレーム間の相関に基づき圧縮符号化し、前記立体視画像の第２の視点に対応する第２の画像に含まれる第２の画像データを前記第１の画像に含まれる前記第１の画像データに基づき圧縮符号化し、前記第１の画像における第１の画素ブロックに含まれる圧縮符号化された前記第１の画像データを、前記第１の画素ブロックに含まれる前記第１の画像データを利用して圧縮符号化された前記第２の画像における第２の画素ブロックに含まれる前記第２の画像データよりも先に出力されるように多重化された多重化データを生成し、生成した前記多重化データを出力する処理をコンピュータに実行させる多重化プログラム。

遅延を少なくするようにした多重化プログラム、多重化装置、及び多重化方法を提供できる。

図１は符号化装置の構成例を表わす図である。 図２は符号化装置の構成例を表わす図である。 図３はＢａｓｅ Ｖｉｅｗ画像符号化部の構成例を表わす図である。 図４はＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部の構成例を表わす図である。 図５（Ａ）は参照関係の例、図５（Ｂ）と図５（Ｃ）は多重化結果の例を表わす図である。 図６は参照関係の例を表わす図である。 図７（Ａ）から図７（Ｈ）は視差補償が行われる画素ブロックの例を表わす図である。 図８は参照関係の例を表わす図である。 図９は多重化処理の動作例を表わすフローチャートである。 図１０はＢａｓｅ Ｖｉｅｗ優先判定処理の動作例を表わすフローチャートである。 図１１（Ａ）と図１１（Ｂ）は多重化予定時刻の例、図１１（Ｃ）は伝送パケットの例をそれぞれ表わす図である。 図１２（Ａ）と図１２（Ｂ）は多重化予定時刻の例を表わす図である。 図１３（Ａ）と図１３（Ｂ）は多重化予定時刻の例を表わす図である。 図１４（Ａ）と図１４（Ｂ）は多重化予定時刻の例を表わす図である。 図１５（Ａ）は参照関係の例、図１５（Ｂ）と図１５（Ｃ）は多重化結果の例を表わす図である。 図１６は符号化装置の構成例を表わす図である。

以下、本発明を実施するための形態について説明する。

［第１の実施の形態］
第１の実施の形態について説明する。図１は第１の実施の形態における多重化装置１８０の構成例を表わす図である。

多重化装置１８０は、第１及び第２の圧縮符号化部１８１，１８２と多重化データ生成部１８３を備える。

第１の圧縮符号化部１８１は、立体視画像の第１の視点に対応する第１の画像に含まれる第１の画像データを第１の画像における画像フレーム間の相関に基づき圧縮符号化する。

また、第２の圧縮符号化部１８２は、立体視画像の第２の視点に対応する第２の画像に含まれる第２の画像データを第１の画像データに含まれる第１の画像データに基づき圧縮符号化する。

立体視画像は、例えば、第１の視点と第２の視点において同一の立体視画像であって、このような同一の立体視画像を互いに異なる第１の視点と第２の視点から観察され、第１及び第２の視点にそれぞれ対応する第１及び第２の画像が第１及び第２の圧縮符号化部１８１，１８２にそれぞれ入力する。第１の視点に対応する第１の画像データは、例えば、左目用（又は右目用）の画像データである。また、第２の視点に対応する第２の画像データは、例えば、右目用（又は左目用）の画像データである。

第１及び第２の圧縮符号化部１８１，１８２により、第１及び第２の視点から得られた画像データが符号化されることを、例えば、マルチビュー符号化（又は多視点画像符号化）と称する場合がある。この場合において、第２の圧縮符号化部１８２では他の視点の画像データを用いて視差補償予測を利用して圧縮符号化を行っている。視差補償予測とは、例えば、視点間の冗長性を利用した予測符号化方式のことである。

多重化データ生成部１８３は、第１の画像における第１の画像ブロックに含まれる圧縮符号化された第１の画像データを、第１の画素ブロックに含まれる第１の画像データを利用して圧縮符号化された第２の画像における第２の画素ブロックに含まれる第２の画像データよりも先に出力されるように多重化された多重化データを生成し、生成した多重化データを出力する。多重化データは、例えば、他の装置へ出力される。

この場合、多重化データの順番は、第１の画素ブロックに含まれる圧縮符号化された第１の画像データが先、第２の画素ブロックに含まれる圧縮符号化された第２の画像データが後となっている。

従って、多重化データを復号装置で受信した場合、復号装置では、第２の画素ブロックに含まれる圧縮符号化された第２の画像データを受信したときには、参照先となる第１の画素ブロックに含まれる圧縮符号化された第１の画像データを既に受信している状態となっている。

この場合、復号装置では、第２の画素ブロックに含まれる圧縮符号化された第２の画像データを復号する際に、既に受信した第１の画素ブロックに含まれる圧縮符号化された第１の画像データを利用することができる。

具体的には、例えば、復号装置は圧縮符号化された第２の画像データを復号する際に、参照先となる第１の画素ブロックに含まれる復号後の第１の画像データを参照して視差補償予測を用いて復号処理を行うことができる。

よって、復号装置では、第２の画素ブロックに含まれる圧縮符号化された第２の画像データを復号する際に、参照先となる圧縮符号化された第１の画像データの受信を待つことなく、復号処理を行うことが可能となる。

これにより、例えば、本多重化装置１３０は、復号装置において遅延なく処理を行わせることができる。

なお、第１及び第２の画素ブロックは複数の画素を含み、例えば、マクロブロックに相当する。

［第２の実施の形態］
次に第２の実施の形態について説明する。第２の実施の形態においては、最初に符号化装置と符号化装置に含まれる多重化装置の各構成例を説明する。次に符号化装置に含まれるＢａｓｅ Ｖｉｅｗビデオ符号化部（又は第１の符号化部）と、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗビデオ符号化部（又は第２の符号化部）の各構成例について説明する。その際に、Ｂａｓｅ ＶｉｅｗとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの参照関係について説明する。そして、最後に、符号化装置に含まれる多重化装置における動作例について説明する。

＜符号化装置の構成例＞
図２は符号化装置１００の構成例を表わす図である。符号化装置１００は、ビデオ符号化装置（又は画像符号化装置、以下では「画像符号化装置」と称する場合がある）１１０、音声等符号化部１１３、バッファ１２０−１〜１２０−９、及び多重化装置１３０を備える。

図２においては符号化装置１００内に多重化装置１３０を含む構成となっているが、符号化装置１００全体が多重化装置となっていてもよい。この場合、図２に示す多重化装置１３０は多重化ブロックとして機能する。以下においては、図２に示すように符号化装置１００内に多重化装置１３０を含むものとして説明する。

なお、第１の実施の形態における多重化装置１８０は、例えば、符号化装置１００に対応する。また、第１の実施の形態における第１及び第２の圧縮符号化部１８１，１８２は、例えば、ビデオ符号化装置１１０に含まれる、Ｂａｓｅ Ｖｉｅｗビデオ符号化部１１１及びＤｅｐｅｎｄｅｎｔ Ｖｉｅｗビデオ符号化部１１２にそれぞれ対応する。さらに、第１の実施の形態における多重化データ生成部１８３は、例えば、多重化ビットストリーム生成部１３１又は多重化装置１３０に対応する。

画像符号化装置１１０は、左右画像の各ビデオソース信号（又は画像信号、例えば、画像信号には画像データが含まれるが、以下では「画像信号」と「画像データ」を区別しないで用いる場合がある）を入力し、各画像データに対して圧縮符号化処理を行う。

この場合、左右画像の一方を主画像（以下では、「Ｂａｓｅ Ｖｉｅｗ」と称する場合がある）とし、他方を非主画像（又はＮｏｎ Ｂａｓe Ｖｉｅｗ、以下では「Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ」と称する場合がある）とする。例えば、Ｂａｓｅ Ｖｉｅｗは左目用画像、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗは右目用画像である。Ｂａｓｅ ＶｉｅｗとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの各視点で得られた画像データは、例えば、２台のカメラで撮影された画像データとなる。

画像符号化装置１１０は、Ｂａｓｅ Ｖｉｅｗビデオ符号化部（以下では、「Ｂａｓｅ Ｖｉｅｗ画像符号化部」と称する場合がある）１１１とＤｅｐｅｎｄｅｎｔ Ｖｉｅｗビデオ符号化部（以下では、「Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部」と称する場合がある）１１２を含む。

Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１は、Ｂａｓｅ Ｖｉｅｗの画像信号を入力し、例えば、当該画像信号に含まれる画像データに対して圧縮符号化（以下では、「符号化」と称する場合がある）処理を行う。Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１は、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画像データを利用しないで、Ｂａｓｅ Ｖｉｅｗの画像データを利用して圧縮符号化処理を行う。この場合、Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１は、Ｂａｓe Ｖｉｅｗの画像データに対して時間方向の冗長性を利用した動き補償予測や、空間方向の冗長性を利用した離散コサイン変換などの処理を行う。Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１は、例えば、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（以下、「Ｈ．２６４」と称する場合がある）を利用した符号化処理を行う。

Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２は、Ｄｅｐｅｎｄｅｔ Ｖｉｅｗの画像信号を入力し、例えば、当該画像信号に含まれる画像データに対して符号化処理を行う。Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２は、Ｂａｓｅ Ｖｉｅｗの画像データとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの画像データを利用して符号化処理を行う。この場合、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２は、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画像データに対して動き補償予測や離散コサイン変換などの処理に加えて、Ｂａｓｅ Ｖｉｅｗの画像データを利用して視差補償予測を行う。視差補償予測は、例えば、視点間の冗長性を利用した予測符号化方式である。Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２は、Ｂａｓｅ Ｖｉｅｗの局所復号画像を参照画像として用いて、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗに対する符号化を行う。

このように、Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１とＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２により、複数の視点から得られた画像データが符号化されることを、例えば、マルチビュー符号化（又は多視点画像符号化、以下では「多視点画像符号化」と称する場合がある）と称する場合がある。Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１とＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２の各構成例については後述する。なお、圧縮符号化された画像データを、例えば、符号化データと称する場合がある。

音声等符号化部１１３は、音声信号（又は音声データ、以下では「音声データ」と称する場合がある）などに対して圧縮符号化処理を行い、例えば、ＭＰＥＧ−４ Ｐａｒｔ１４ ＡＡＣ（又はＩＳＯ／ＩＥＣ １４４９６−３ Ｓｕｂｐａｒｔ４）データを生成する。音声等符号化部１１３は、Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１及びＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２で生成された圧縮符号化データと多重化可能な形式の符号化データを生成する。

バッファ１２０−１〜１２０−９は、ストリームバッファ１２０−１〜１２０−３を含む。ストリームバッファ１２０−１〜１２０−３は、Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２、及び音声等符号化部１１３から出力される符号化データ列（以下では、符号化データ列のことを「ビットストリーム」又は「ストリーム」と称する場合がある）をそれぞれ記憶する。ストリームバッファ１２０−１〜１２０−３は、例えば、Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２、及び音声等符号化部１１３から異なるタイミングで出力される各ストリームを多重化装置１３０において所定のタイミングで多重化できるように遅延を吸収する。

また、バッファ１２０−１〜１２０−９は、ストリーム情報バッファ１２０−４〜１２０−６を含む。ストリーム情報バッファ１２０−４〜１２０−６は、Ｂａｓｅ Ｖｉｅｗ画像符号化１１１、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２、及び音声等符号化部１１３から出力されるストリーム情報をそれぞれ記憶する。ストリーム情報には、例えば、符号化された画像データの各ピクチャのサイズ（又はデータ量）、及び多重化予定時刻（又は、多重化時刻、以下では「多重化時刻」と称する場合がある）を示す情報が含まれる。

多重化時刻は、例えば、復号側において符号化データの復号を開始する時刻を表す。例えば、符号化装置１００では、復号側において符号化データが復号される際に仮想バッファを想定し、仮想バッファに蓄積された符号化データがオーバーフロー又はアンダーフローとならずに復号側で復号処理が行われるよう復号処理の開始予定時刻を算出している。本第２の実施の形態においては、例えば、復号開始予定時刻は仮想バッファへの入力時刻と同じであり、仮想バッファへの入力時刻は多重化装置１３０において多重化が行われる時刻と同じであるとし、多重化時刻は復号開始時刻としている。Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２、及び音声等符号化部１１３から出力される各ストリームの多重化時刻は、Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２、及び音声等符号化部１１３で夫々算出される。多重化時刻の算出方法は後述する。

さらに、バッファ１２０−１〜１２０−９は、画素ブロック位置情報バッファ１２０−７，１２０−８を含む。画素ブロック位置情報バッファ１２０−７，１２０−８は、Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１とＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２から出力された画素ブロック位置情報をそれぞれ記憶する。

画素ブロック位置情報は、例えば、Ｂａｓｅ ＶｉｅｗとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの各ストリームにおいて各画素ブロックがどこに位置するかを示す情報であり、画素ブロックに含まれる全符号化データのサイズ（又はデータ量）により表わされる。画素ブロックは、例えば、画像フレーム内において複数の画素を含む領域のことである。画素ブロックは本第２の実施の形態においてはＭＢ（マクロブロック）として説明する。この場合、画素ブロック位置情報は、各ＭＢの符号化データのサイズ（又はデータ量）で表わされる。

Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１は、Ｂａｓｅ Ｖｉｅｗにおける各ＭＢの画素ブロック位置情報を画素ブロック位置情報バッファ１２０−７に記憶する。また、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２は、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗにおける各ＭＢの画素ブロック位置情報を画素ブロック位置情報バッファ１２０−８に記憶する。画素ブロック位置情報の算出方法は後述する。

さらに、バッファ１２０−１〜１２０−９は、Ｖｉｅｗ間参照先情報バッファ１２０−９を含む。Ｖｉｅｗ間参照先情報バッファ１２０−９は、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２から出力されたＶｉｅｗ間参照先情報を記憶する。Ｖｉｅｗ間参照先情報は、例えば、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの符号化処理の際に、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗからＢａｓｅ Ｖｉｅｗを参照する範囲の最大を画素ブロックのアドレス情報で表わしたものである。Ｖｉｅｗ間参照先情報の詳細は後述する。

多重化装置１３０は、例えば、ストリーム情報、画素ブロック位置情報、Ｖｉｅｗ間参照先情報に基づいて、Ｂａｓｅ ＶｉｅｗとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの各ストリーム、及び音声データ等のストリームを多重化する。多重化装置１３０は、多重化したストリームを多重化ビットストリームとして出力する。

多重化装置１３０は、多重化ビットストリーム生成部（又は多重化データ生成部）１３１とスケジューリング部１３２を含む。

なお、多重化ビットストリーム生成部１３１とスケジューリング部１３２は、例えば、第１の実施の形態における多重化データ生成部１３５に対応する。また、多重化ビットストリームは、例えば、第１の実施の形態における多重化データに対応する。

多重化ビットストリーム生成部１３１は、スケジューリング部１３２から出力された多重化順序指示に従って、ストリームバッファ１２０−１〜１２０−３から出力された各ストリーム（又は各符号化データ）を多重化する。多重化ビットストリーム生成部１３１は、多重化された各ストリーム（又は各符号化データ）を含む多重化ビットストリーム（又は多重化データ）を出力する。

スケジューリング部１３２は、例えば、画素ブロック位置情報とＶｉｅｗ間参照先情報に基づいて、Ｂａｓｅ ＶｉｅｗとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの各ストリームをどのような順番でパケット化するかを決定し、決定した順序を多重化順序指示として出力する。

多重化装置１３０で行われる多重化処理の詳細は動作例において説明する。

なお、図２に示す符号化装置１００において、音声等符号化部１１３の個数は１つの例を表わしている。音声等符号化部１１３の個数は、符号化するデータの種類によって２つ以上あってもよい。この場合、ストリームバッファ１２０−３とストリーム情報バッファ１２０−６は、図２に示すように１つではなく、音声等符号化部１１３の個数分の各ストリームバッファと各ストリーム情報バッファが設けられてもよい。

＜Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１の構成例＞
次に、Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１の構成例について説明する。図３はＢａｓｅ Ｖｉｅｗ画像符号化部１１１の構成例を表わす図である。

Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１は、イントラ予測部１１１０、第１のスイッチ１１１１、整数変換部１１１２、量子化部１１１３、エントロピー符号化部１１１４、符号化制御部１１１５を備える。また、Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１は、逆量子化部１１１６、逆変換部１１１７、デブロッキングフィルタ１１１８、フレームメモリ１１１９、Ｂａｓｅ Ｖｉｅｗ動き予測部１１２０、動き補償部１１２１、重み付き予測部１１２２、第２のスイッチ１１２３、及び多重化時刻算出部１１２４を備える。

イントラ予測部１１１０は、Ｂａｓｅ Ｖｉｅｗの画像データを入力し、例えば、フレーム間予測を用いないフレーム（又はイントラフレーム）のＭＢに対して、当該フレーム内において当該ＭＢに隣接するＭＢから補間によって予測画像を生成し、その予測画像との差分となる画像データを出力する。補間モードとしては、例えば、画像データのうち輝度成分については４画素×４ラインの画素ブロックで９種類、１６×１６の画素ブロックで４種類、色差成分についても４種類ある。

第１のスイッチ１１１１は、イントラモードが適用される場合、イントラ予測部１１１０から出力される画像データ（又はフレーム内予測画像の画像データ）を整数変換部１１１２へ出力する。また、第１のスイッチ１１１１は、インターモードが適用される場合、Ｂａｓｅ Ｖｉｅｗの画像データと重み付け予測が行われた復号画像データとの差分（又はフレーム間予測画像の画像データ）を整数変換部１１１２へ出力する。

整数変換部１１１２は、フレーム内予測画像の画像データ又はフレーム間予測画像の画像データに対して、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）などを利用して、周波数領域への直交変換を行う。この場合、整数変換部１１１２は、整数精度のＤＣＴ変換式などを利用して直交変換を行い、直交変換後の成分（又はＤＣＴ係数）を算出する。

量子化部１１１３は、整数変換部１１１２から出力される各画像データの直交変換後の成分に対して、量子化ステップで除算した結果を整数値で丸めた量子化値を算出する。量子化部１１１３は、例えば、算出した量子化値を変換係数としてエントロピー符号化部１１１４と逆量子化部１１１６へ出力する。

エントロピー符号化部１１１４は、例えば、変換係数に対して、ハフマン符号をベースにした可変長符号化（ＶＬＣ：Variable Length Coding）による符号化、又は、可変長符号化より圧縮効率の高いＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）による算出符号化を行う。エントロピー符号化部１１１４は、フレーム内予測画像に対応する可変長符号化後又は算出符号化後の変換係数を、Ｂａｓｅ ＶｉｅｗにおけるＩ（Intra）ピクチャのビットストリームとして出力する。また、エントロピー符号化部１１１４は、フレーム間予測画像に対応する可変長符号化後又は算出符号化後の変換係数を、Ｂａｓｅ ＶｉｅｗにおけるＰ（Predictive）ピクチャ又はＢ（Bi-directionally predictive）ピクチャのビットストリームとして出力する。

また、エントロピー符号化部１１１４は、例えば、Ｂａｓｅ Ｖｉｅｗ動き予測部１１２０から出力された動きベクトルに対して可変長符号化又は算出符号化を行い、可変長符号化後又は算出符号化後の動きベクトルも、Ｂａｓｅ Ｖｉｅｗのビットストリーム中に含めて出力する。

さらに、エントロピー符号化部１１１４は、可変長符号化後又は算出符号化後のビットストリームに対してシンタックス要素を分析し、１つのＭＢ内における符号化データのデータ量を算出する。シンタックスとは、例えば、ビットストリームに含まれるデータ列がどのような要素でどのような順番となっているかを示すビットストリームの構成規則を示すものである。ビットストリームには、符号化データや動きベクトルなどのようにＭＢ毎に可変長となる要素以外にも、固定長の要素がある。固定長の要素としては、例えば、ストリームがイントラモードで符号化されたものか又はインターモードで符号化されたものかなど示すものがある。ビットストリームに含まれる各要素を、例えば、シンタックス要素と称する場合がある。エントロピー符号化部１１１４では、シンタックスに基づいて、ビットストリームに含まれるシンタックス要素のビット長をＭＢ毎に測定することで、１つのＭＢ内における符号化データのデータ量を算出する。

エントロピー符号化部１１１４は、例えば、以下のようにしてＭＢ毎の符号化データ量を算出する。すなわち、エントロピー符号化部１１１４は、内部メモリなどに保持したシンタックスの情報を読み出し、ビットストリームに含まれる各シンタックス要素のビット数をカウントする。この際、エントロピー符号化部１１１４は、シンタックスに基づいて、シンタックス要素を確認し、固定長のシンタックス要素はそのままビット数をカウントする。一方、エントロピー符号化部１１１４は、可変長のシンタックス要素は、指数ゴロム符号により符号化を行うシンタックス要素であれば、連続する「０」のデータの次には１個の「１」、その後に０と同数のデータが含まれるという特徴を利用してカウントし、ＶＬＣまたはＣＡＶＡＣにより符号化を行うシンタックス要素であれば、エントロピー符号化部１１１４で符号化した際のビット数をカウントする。これにより、例えば、エントロピー符号化部１１１４は可変長の符号化データのビット数をカウントできる。エントロピー符号化部１１１４は、ビット数のカウントをＭＢ内の最初のシンタックス要素カウント前に０にリセットし、ＭＢ内の最後のシンタックス要素カウント後のビット数のカウントを１つのＭＢ内における符号化データのデータ量として算出する。

エントロピー符号化部１１１４は、算出した各ＭＢの符号化データ量を、例えば、画素ブロック位置情報として画素ブロック位置情報バッファ１２０−７へ出力する。例えば、スケジューリング部１３２では、各ＭＢの画素ブロック位置情報に基づいて、ビットストリーム中において各ＭＢがどこに位置するかを把握できる。

符号化制御部１１１５は、例えば、イントラ予測部１１１０や整数変換部１１１２、量子化部１１１３、エントロピー符号化部１１１４などで行われる符号化処理に対する符号化方法やパラメータなどを選択することで符号化処理を制御する。符号化制御部１１１５は、選択したパラメータなどを付帯情報として出力する。図３の例では、符号化制御部１１１５は、付帯情報をエントロピー符号化部１１１４へ出力しているが、イントラ予測部１１１０などの他のブロックに出力してもよい。

逆量子化部１１１６は、量子化部１１１３から出力された変換係数に対して、量子化部１１１３で利用した量子化ステップを乗算することで、量子値となる前の画像データの直交成分を算出する。逆量子化部１１１６は、算出した画像データの直交成分を逆変換部１１１７へ出力する。

逆変換部１１１７は、画像データの直交成分に対して、例えば、所定の演算式などを利用して逆ＤＣＴ変換を行い、整数変換前の画像データを算出する。

デブロッキングフィルタ１１１８は、逆変換部１１１７から出力される画像データがフレーム内予測画像の画像データに対応するときは、逆変換部１１１７から出力される画像データを入力する。一方、デブロッキングフィルタ１１１８は、逆変換部１１１７から出力される画像データがフレーム間予測画像の画像データに対応するときは、逆変換部１１１７からの出力画像と第２のスイッチ１１２３からの出力画像とが加算された画像の画像データを入力する。

そして、デブロッキングフィルタ１１１８は、入力された画像データのうち、所定の画素ブロック境界の画像データに対して、フレーム内予測画像かフレーム間予測画像かに応じて適応的に平滑化する処理を行う。これにより、例えば、整数変換部１１１２などにより生じたブロック歪を除去して画質劣化の伝搬などを防止できる。ただし、処理量を考慮して、デブロッキングフィルタ１１１８では平滑化の処理が行われる場合とそのまま画像データを出力する場合がある。

フレームメモリ１１１９はデブロッキングフィルタ１１１８から出力される画像データを記憶する。フレームメモリ１１１９に記憶された画像データは、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２において視差補償予測が行われる場合の参照先の画像データとして、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２へ出力される。

Ｂａｓｅ Ｖｉｅｗ動き予測部１１２０は、Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１に入力された画像データと、フレームメモリ１１１９から出力された画像データとに基づいて動きベクトルを予測する。動きベクトルの予測に際して、フレーム内において符号化対象のＭＢの左、上、右上の各ＭＢの動きベクトルが利用される。Ｂａｓｅ Ｖｉｅｗ動き予測部１１２０は、予測した動きベクトルを動き補償部１１２１とエントロピー符号化部１１１４へ出力する。

動き補償部１１２１は、フレームメモリ１１１９から出力された復号画像に対して、Ｂａｓｅ Ｖｉｅｗ動き予測部１１２０から出力された動きベクトルの分だけずらした予測画像（以下では、「参照ピクチャ」と称する場合がある）の画像データを生成する。この場合、動き補償部１１２１は、動き補償の対象となる画素ブロックのサイズをＭＢサイズの１６×１６以外にも、１６×８、４×４などのサイズを利用することができる。動き補償部１１２１は、生成した参照ピクチャの画像データを重み付き予測部１１２２へ出力する。

重み付き予測部１１２２は、参照ピクチャの画像データに対して、適応的に重み係数を乗算して出力する。これにより、例えば、参照ピクチャの明るさを予測して、フェードインなど時間の経過により明るさが変換する画像に対する予測が行われる場合の画質劣化を防止できる。重み付き予測部１１２２から出力される参照ピクチャは、入力画像に対するフレーム間予測に用いられる。

このように、Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１は、例えば、動き補償予測による符号化を行うことで、Ｂａｓｅ Ｖｉｅｗにおける画像フレーム間の相関を利用した圧縮符号化を行っている。

多重化時刻算出部１１２４は、例えば、エントロピー符号化部１１１４から出力されるビットストリームや画素ブロック位置情報に基づいて多重化時刻を算出する。多重化時刻は、例えば、上記したように復号側で復号処理の際に使用される仮想バッファが破たんしないように復号が開始される時刻であり、多重化を開始する時刻を表わしている。多重化時刻算出部１１２４は、例えば、ピクチャ毎に多重化時刻を算出する。例えば、以下の処理により多重化時刻が算出される。

すなわち、多重化時刻算出部１１２４は、ビットストリームのビット長を１ピクチャ分測定して、測定した１ピクチャのデータ量と符号化のビットレートとに基づいて多重化開始時刻を算出する。この場合、多重化時刻算出部１１２４は、内部メモリなどに保持したシンタックスの情報を利用して１スライス分のデータを確認し、これを１ピクチャ分算出することで１ピクチャ分のデータのデータ量を測定することができる。多重化時刻算出部１１２４は、例えば、以下の計算式を用いて多重化時刻を算出する。

最初のピクチャの多重化開始時刻mux_time_pic(0)を０とし（mux_time_pic(0)=0）とし、ピクチャｎの多重化開始時刻mux_time_pic(n)は、
mux_time_pic(n-1)+ピクチャ（n-1）のサイズ÷符号化ビットレート ・・・（１）
により算出される。

式（１）において、「ピクチャ（ｎ−１）のサイズ」は、例えば、算出対象となるピクチャの時間的に１つ前のピクチャのデータ量を表わしている。

「符号化ビットレート」は、例えば、多重化時刻算出部１１２４において最初のピクチャの多重化開始時刻（mux_time_pic(0)=0）からのビットストリームに含まれるビット数をカウントするなどして算出可能である。「符号化ビットレート」は、例えば、固定値であってもよい。

すなわち、多重化時刻算出部１１２４は、エントロピー符号化部１１１４から出力されるビットストリームに対してシンタックスを用いて１ピクチャ分のデータ量を算出し、また、ビットストリームに基づいて符号化ビットレートを算出する。そして、多重化時刻算出部１１２４は、内部メモリなどに保持した式（１）を適宜読み出して、式（１）に算出した値を代入することで、各ピクチャの多重化開始時刻mux_time_pic(n)を算出する。

多重化時刻の算出方法としては、上記以外にも、例えば画素ブロック位置情報が用いられてもよい。この場合、多重化時刻算出部１１２４は、エントロピー符号化部１１１４から出力された画素ブロック位置情報に基づいて、各ピクチャのサイズ、符号化ビットレートを計算して、式（１）を用いて多重化開始時刻を算出する。

多重化時刻算出部１１２４は、算出した各ピクチャの多重化開始時刻をＢａｓｅ Ｖｉｅｗのストリーム情報としてストリーム情報バッファ１２０−４へ記憶する。

＜Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２の構成例＞
図４はＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２の構成例を表わす図である。Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１と同一の構成部分は同一の符号が付されている。

Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ動き予測部１１２５と動き補償部１１２１は、例えば、動き補償予測に加えて視差補償予測を行う。

動き補償予測では、表示順序で前方又は後方の同一視点の画像を参照画像とするが、視差補償予測では、別視点の画像（又はＢａｓｅ Ｖｉｅｗ）を参照画像としている。ただし、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ動き予測部１１２５と動き補償部１１２１は、参照画像をＤｅｐｅｎｄｅｎｔ ＶｉｅｗからＢａｓｅ Ｖｉｅｗとすることで視差補償予測も動き補償予測も共通の処理として動作することができる。なお、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ動き予測部１１２５では、動き補償予測により動きベクトルを出力し、視差補償予測により視差ベクトルを出力するが、本第２の実施の形態では視差ベクトルと動きベクトルとを区別しないで説明する。

Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ動き予測部１１２５は、例えば、以下のようにして視差補償予測を行う。

すなわち、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ動き予測部１１２５は、Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１のフレームメモリ１１１９からＢａｓｅ Ｖｉｅｗの復号画像の画像データを読み出す。Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２は、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２に入力されるＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの画素ブロックと相関の高い、Ｂａｓｅ Ｖｉｅｗの復号画像における画素ブロックを求める。Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ動き予測部１１２５は、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画像データとＢａｓｅ Ｖｉｅｗの復号画像の画像データとに対してブロックマッチング処理などを利用して、相関の高いＢａｓｅ Ｖｉｅｗの画素ブロックを算出する。そして、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ動き予測部１１２５は、相関の高いＢａｓｅ Ｖｉｅｗの画素ブロックとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの画素ブロックの各画像データに基づいて、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画素ブロックにおける動きベクトル（又は視差ベクトル）を算出する。

図５（Ａ）は視差補償予測において参照されるＢａｓｅ ＶｉｅｗとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの参照関係の例を表わす図である。図５（Ａ）において、Ｂａｓｅ ＶｉｅｗとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの各画素ブロックに含まれる数値は、各画素ブロックのフレーム内におけるアドレス値を表わしている。

図５（Ａ）の例において、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画素ブロック「１」は、相関の高い画素ブロックとしてＢａｓe Ｖｉｅｗの画素ブロックの「５」を参照している。また、Ｄｅｐｅｎｔｄｅｎｔ Ｖｉｅｗの画素ブロック「２」は、相関の高い画素ブロックとしてＢａｓｅ Ｖｉｅｗの画素ブロック「７」を参照している。

ただし、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの各画素ブロックと相関の高いＢａｓｅ Ｖｉｅｗの範囲は、Ｂａｓｅ Ｖｉｅｗの各画素ブロックの範囲と一致しない場合もある。

図６はこのような場合の参照関係の例を表わす図である。この例では、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画素ブロック「２」は、Ｂａｓｅ Ｖｉｅｗの画素ブロック「７」、「８」、「１１」、及び「１２」を跨ぐ領域を参照している。

本第２の実施の形態においては、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの各画素ブロックが参照するＢａｓｅ Ｖｉｅｗの範囲の最大アドレス値を、例えば、Ｖｉｅｗ間参照先情報としている。図６の例では、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画素ブロック「２」におけるＶｉｅｗ間参照情報は「１２」となる。なお、図５（Ａ）の例では、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画素ブロック「１」のＶｉｅｗ間参照先情報は「５」、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画素ブロック「２」のＶｉｅｗ間参照先情報は「７」となる。

図４に戻り、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ動き予測部１１２５は、上述したように、視差補償予測においてＢａｓｅ Ｖｉｅｗの画素ブロックを参照する。Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ動き予測部１１２５は、このときに参照した参照先の画素ブロックのアドレス値をＶｉｅｗ間参照先情報として算出し、算出したＶｉｅｗ間参照先情報をＶｉｅｗ間参照先情報バッファ１２０−９へ出力する。

他方、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ動き予測部１１２５は、算出した動きベクトル（又は視差ベクトル）をエントロピー符号化部１１１４と動き補償部１１２１に出力する。動き補償部１１２１では、動きベクトルに基づいてフレームメモリ１１１９から読み出したＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの復号画像に対して動き補償を行う。

この場合、例えば、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画像データのうち、イントラフレームの画像データ（又はフレーム内予測における画像データ）はＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの画像データが用いられて、イントラ予測部１１１０からエントロピー符号化部１１１４により圧縮符号化が行われる。この場合、エントロピー符号化部１１１４からは、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＩピクチャのストリームが出力される。

また、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画像データのうち、視差補償予測により予測された予測画像との差分が利用された画像データは、インターモードとして、整数変換部１１１２からエントロピー符号化部１１１４により圧縮符号化が行われる。この場合、エントロピー符号化部１１１４からは、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＰピクチャ又はＢピクチャのストリームが出力される。すなわち、視差補償予測により、例えば、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＰピクチャ又はＢピクチャのストリームが出力される。

Ｂａｓｅ Ｖｉｅｗ画像符号化部１１１では、例えば、動き補償予測により、Ｂａｓｅ Ｖｉｅｗの画像フレームのフレーム間相関を利用して圧縮符号化が行われる。一方、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２では、例えば、視差補償予測により、Ｂａｓｅ Ｖｉｅｗの画素ブロックを参照して（又は画素ブロックに含まれる圧縮符号化前の画像データを参照して）、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画素ブロックに含まれる画像データに対して圧縮符号化を行う。

なお、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２では、Ｂａｓｅ Ｖｉｅｗの画像データを用いずに、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画像データを用いてフレーム間相関を利用して圧縮符号化が行われても良い。すなわち、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２では、例えば、視差補償予測又は動き補償予測のいずれも処理することができる。いずれを用いるかは、例えば、符号化制御部１１１５により選択できる。なお、以下の例においては、視差補償予測が行われる場合で説明することにする。

図５（Ａ）や図６の例では、視差補償予測における参照元のＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの画素ブロックは所定のサイズの画素ブロックとして説明した。Ｈ．２６４の動き補償予測や視差補償予測では、画素ブロックのサイズについては１６×１６のＭＢ以外にも、ＭＢを更に分割した１６×８、８×１６、８×８、８×４、４×８、４×４など、全部で７種類のサイズがある。

図７（Ａ）から図７（Ｈ）はこのような動き補償予測や視差補償予測で用いられる画素ブロックサイズの例を表わす図である。参照元となるＤｅｐｅｎｄｅｎｔ Ｖｉｅｗや参照先となるＢａｓｅ Ｖｉｅｗの各画素ブロックのサイズは、１６×１６のＭＢよりも小さいサイズとなる場合がある。

図８は、ＭＢより小さいサイズの画素ブロックにおける参照関係の例を表わす図である。図８の例では、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画素ブロック「１」は２つに分割され、一方がＢａｓｅ Ｖｉｅｗの画素ブロック「１」、「２」、「５」、「６」を跨ぐ範囲を参照し、他方がＢａｓｅ Ｖｉｅｗの画素ブロック「６」、「１０」を跨ぐ範囲を参照している。この場合、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画素ブロック「１」のＶｉｅｗ間参照先情報は、双方のブロックの最大アドレス値であるＢａｓｅ Ｖｉｅｗの画素ブロック「１０」となる。

このように、参照先であるＢａｓｅ Ｖｉｅｗにおいて所定サイズの画素ブロック毎にアドレス値が付されている場合において、その画素ブロックより小さいサイズの画素ブロックが参照元となる場合がある。この場合でも、Ｖｉｅｗ間参照先情報は、例えば、参照先のＢａｓｅ Ｖｉｅｗの所定サイズの画素ブロックに付与されたアドレス値が利用され、その中で最大のアドレス値が利用される。

図４に戻り、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２においても、エントロピー符号化部１１１４からＤｅｐｅｎｄｅｎｔ Ｖｉｅｗのストリームが出力される。また、エントロピー符号化部１１１４において、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画素ブロック位置情報が算出される。画素ブロック位置情報の算出方法は、上述したＢａｓｅ Ｖｉｅｗ画像符号化部１１１における算出と同一である。さらに、多重化時刻算出部１１２４においても、Ｂａｓｅ Ｖｉｅｗにおける多重化時刻の算出方法と同一の算出方法により、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの多重化時刻が算出される。

なお、音声等符号化部１１１３においても、多重化時刻などを含むストリーム情報を算出する。音声等符号化部１１１３においても、上記したＢａｓｅ Ｖｉｅｗの多重化時刻算出部１１２４などと同様に多重化時刻を算出する。例えば、音声等符号化部１１１３は、ビットストリームに対してシンタックスを用いて１ピクチャ分のデータ量を算出し、また、ビットストリームに基づいて符号化ビットレートを算出する。そして、音声等符号化部１１１３は、内部メモリなどに保持した式（１）を適宜読み出して、式（１）に算出した値を代入するなどして多重化時刻を算出する。

＜動作例＞
次に動作例について説明する。図９と図１０は多重化装置１３０で行われる多重化処理の動作例を表わすフローチャートである。本第２の実施の形態においては、多重化装置１３０は、Ｂａｓｅ Ｖｉｅｗのビットストリームと、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗのビットストリームを多重化して、多重化ビットストリームを生成する。

本多重化装置１３０は、例えば、画素ブロック位置情報とＶｉｅｗ間参照先情報に基づいて多重化処理を行う。多重化処理は、例えば、多重化装置１３０のスケジューリング部１３２で行われる。

なお、多重化ビットストリームには音声等のストリームも含まれるが、例えば、音声等のストリームは多重化ビットストリーム中の所定位置に含まれて伝送される。この場合、音声等のストリームは、伝送パケットの所定領域に多重化され、或いは所定の伝送パケットに多重化される。以下においては説明の容易のために音声等のストリームの多重化は省略して説明する。

多重化装置１３０は処理を開始すると（Ｓ１０）、各ストリームに対して多重化時刻をストリーム情報より取得し、次パケットの多重化時刻とする（Ｓ１１）。

図１１（Ａ）と図１１（Ｂ）は、Ｂａｓｅ ＶｉｅｗとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの各ストリームにおける多重化時刻の例をそれぞれ表わしている。例えば、Ｂａｓｅ Ｖｉｅｗの１ピクチャ目の多重化時刻は「００：００：００」、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの１ピクチャ目の多重化時刻は「００：００：１０」となっている。

なお、図１１（Ａ）と図１１（Ｂ）において、「１」や「２」などは各ストリームにおけるＭＢのアドレス値を表わしている。

多重化装置１３０は、各ストリームを１パケット目から順に固定長の伝送パケットの中に多重化していく。伝送パケットは、例えば、ＭＰＥＧ−２のＴＳ（Transport Stream）パケットである。なお、図１１（Ｃ）は１パケット目の伝送パケットの例を表わしている。

例えば、スケジューリング部１３２は、伝送パケットの１パケット目には、Ｂａｓｅ Ｖｉｅｗのストリームを多重化するのか、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗのストリームを多重化するのかを後段の処理において決定する。そのため、本処理においては、スケジューリング部１３２は、伝送パケットの１パケット目の多重化時刻を、Ｂａｓｅ Ｖｉｅｗの１ピクチャ目の多重化時刻、又は、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの１ピクチャ目の多重化時刻に設定し、後段の処理に備えている。

図９に戻り、次に、多重化装置１３０はＢａｓｅ Ｖｉｅｗ優先判定処理を行う（Ｓ１２）。図１０は優先判定処理の動作例を表わすフローチャートである。多重化装置１３０は、Ｂａｓｅ Ｖｉｅｗ優先判定処理を開始すると（Ｓ１２０）、処理対象のＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢが参照しているＢａｓｅ ＶｉｅｗにおけるＭＢのアドレスを、Ｖｉｅｗ間参照先情報より取得する（Ｓ１２１）。

本処理（Ｓ１２１）においてスケジューリング部１３２は、処理対象となるＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢを決定する。そして、スケジューリング部１３２は、決定したＭＢが視差補償予測により参照しているＢａｓｅ ＶｉｅｗのＭＢのアドレスを取得する。

処理対象となるＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢの決定は、例えば、画素ブロック位置情報に基づいて行われる。詳細については後述する。スケジューリング部１３２は、いずれのストリームに対しても多重化が行われていない場合、スケジューリング部１３２は処理対象となるＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢのアドレス値を「１」（以下、ＭＢ「１」などと表わす場合がある）に設定する。

その後、スケジューリング部１３２は、処理対象のＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢが参照しているＢａｓｅ ＶｉｅｗのアドレスをＶｉｅｗ間参照先情報から取得する。例えば、図５（Ａ）に示す参照関係があるとき、スケジューリング部１３２は、処理対象のＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」が参照するＢａｓｅ Ｖｉｅｗのアドレスとして、ＭＢ「５」を取得する。

次に、多重化装置１３０は、該当Ｂａｓｅ ＶｉｅｗのＭＢが多重化済みであるか否かを判定する（Ｓ１２２）。

例えば、スケジューリング部１３２は、Ｖｉｅｗ間参照先情報として参照先となっているＢａｓｅ ＶｉｅｗのＭＢに含まれる全符号化データが既に伝送パケットに多重化されているか否かを判定する。この場合、スケジューリング部１３２は、後段の処理において伝送パケットに多重化する処理を行うが、その際に、内部メモリなどにＢａｓｅ Ｖｉｅｗの参照先のＭＢについて多重化済みであるか否かの情報を記憶し、その情報に基づいて本処理を判定してもよい。上記の例において、スケジューリング部１３２は、伝送パケットの１パケット目にはストリームを多重化していないため、内部メモリには多重化済みの該当Ｂａｓｅ ＶｉｅｗのＭＢとしてＭＢ「５」は記憶されていない。従って、スケジューリング部１３２は、処理対象のＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」に対する該当Ｂａｓｅ ＶｉｅｗのＭＢ「５」は多重化済みでないと判定する。

多重化装置１３０は、該当Ｂａｓｅ ＶｉｅｗのＭＢが多重化済みでないとき（Ｓ１２２でＮｏ）、処理対象のＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢを多重化対象から外す（Ｓ１２５）。

言い換えると、例えば、多重化装置１３０は参照先となるＢａｓｅ ＶｉｅｗのＭＢに含まれる全符号化データが多重化済みでないときは、処理対象のＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢに含まれる符号化データを多重化対象から外している。

このように処理対象のＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢが多重化対象から外されているのは、例えば、該当Ｂａｓｅ ＶｉｅｗのＭＢの符号化データ全てが多重化された後で処理対象のＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢの多重化が行われるようにしているからである（Ｓ１２２でＹｅｓ、図９のＳ１４）。

これにより、例えば、多重化ビットストリームを受信した復号側では、参照元のＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの符号化データを受信したときは既に参照先のＢａｓｅ Ｖｉｅｗの符号化データを受信していることになる。従って、復号側では、参照先のＢａｓｅ Ｖｉｅｗの符号化データを待つことなく、既に受信した参照先のＢａｓｅ ＶｉｅｗのＭＢの符号化データを利用してＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの該当ＭＢの復号を行うことが可能となる。従って、復号側では、遅延なく、復号処理を行うことができる。この詳細については後述する。

上記した例では、スケジューリング部１３２は、該当Ｂａｓｅ ＶｉｅｗのＭＢ「５」が多重化済みではないため、処理対象のＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」を多重化対象から外すことになる。

そして、多重化装置１３０はＢａｓｅ Ｖｉｅｗ優先判定処理を終了する（Ｓ１２４）。

図９に戻り、次に、多重化装置１３０は各ストリームの次パケットの多重化時刻を比較し、多重化時刻が最も早いストリームｉを選択する（Ｓ１３）。

例えば、スケジューリング部１３０は、該当Ｂａｓｅ ＶｉｅｗのＭＢの符号化データ（又はストリーム）と、処理対象となるＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢの符号化データ（又はストリーム）のうち、多重化時刻が早い方の符号化データ（又はストリーム）を選択する。

図１１（Ａ）と図１１（Ｂ）の例では、スケジューリング部１３２は、Ｂａｓｅ Ｖｉｅｗの１パケット目の多重化時刻「００：００：００」と、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの１パケット目の多重化時刻「００：００：１０」とを比較して、最も早いＢａｓｅ Ｖｉｅｗのストリームを選択する。

図９に戻り、次に、多重化装置１３０は、選択したストリームｉのデータを１パケット分多重化する（Ｓ１４）。

例えば、スケジューリング部１３２は、選択したＢａｓｅ Ｖｉｅｗのストリームを伝送パケットの１パケット目に多重化することを多重化順序指示として多重化ビットストリーム生成部１３１へ指示する。

多重化順序指示の例について以下説明する。スケジューリング部１３２は、Ｓ１３で選択したストリームｉのＭＢのアドレス値を多重化順序指示として多重化ビットストリーム生成部１３１へ指示してもよい。この場合、スケジューリング部１３２は、伝送パケットの１パケット分に多重化可能なＢａｓｅ Ｖｉｅｗのストリームのビット数を算出し、算出したビット数に基づいて、多重化するＢａｓｅ ＶｉｅｗのＭＢのアドレス値を算出する。

すなわち、スケジューリング部１３２は、画素ブロック位置情報から各ＭＢのビット数を取得できる。また、伝送パケット１パケット分のデータ長は固定長である。従って、スケジューリング部１３２は、伝送パケット１パケットに多重化可能なＭＢ数を、画素ブロック位置情報に基づいて算出可能である。

例えば、Ｂａｓｅ ＶｉｅｗのＭＢ「１」の画素ブロック位置情報が５０ビット、ＭＢ「２」の画素ブロック位置情報が６０ビット、伝送パケット１パケットの長さが１００ビットである場合を考える。この場合、１パケット目にはＢａｓｅ ＶｉｅｗのＭＢ「１」とＭＢ「２」の一部とが多重化可能である。従って、スケジューリング部１３２は、Ｂａｓｅ ＶｉｅｗのＭＢ「１」とＭＢ「２」を、多重化順序指示として指示することができる。この場合、多重化順序指示には、各ＭＢのアドレス値とともに各ＭＢの多重化するビット数（又はデータ量）を含めても良い。

図５（Ｂ）及び図５（Ｃ）は多重化結果の例を表わしている。図５（Ｃ）に示すように、多重化順序指示により、伝送パケットの１パケット目には、Ｂａｓｅ ＶｉｅｗのＭＢ「１」の符号化データと、ＭＢ「２」の符号化データの一部が多重化されている。多重化ビットストリーム生成部１３１は、多重化順序指示に従って、ストリームバッファ１２０−１，１２０−２から符号化データを読み出して伝送パケットに多重化する。

Ｂａｓｅ ＶｉｅｗもＤｅｐｅｎｄｅｎｔ Ｖｉｅｗも、ＭＢに含まれる画素数は各ＭＢで同一である。しかし、符号化データのデータ量は各ＭＢで同一の場合もあれば異なる場合もある。従って、図５（Ｃ）に示すように１つの伝送パケットには複数のＭＢの符号化データが多重化される場合もあれば、１つのＭＢの符号化データが複数の伝送パケットに分割されて伝送される場合もある。

多重化指示を出力したスケジューリング部１３２は、例えば、Ｂａｓｅ ＶｉｅｗのＭＢ「１」まで多重化済みであることを示す情報を内部メモリに保持する。上述したように、再度、図１０のＳ１２２の処理を行う際に、該当Ｂａｓｅ ＶｉｅｗのＭＢが多重化済みであるか否かの判定に用いられる。

図９に戻り、次に、多重化装置１３０は選択したストリームｉの次パケットの多重化時刻を更新する（Ｓ１５）。

例えば、スケジューリング部１３２は、Ｂａｓｅ Ｖｉｅｗの多重化時刻を「００：００：００」から、伝送パケット１パケット分のデータ量を送信するのにかかる時間を加算した時刻を次パケットの多重化時刻とする。この場合、伝送パケット１パケット分のデータ量は固定値であることから、スケジューリング部１３２は、伝送パケット１パケット分のデータを送信するのにかかる時間を固定時間とすることもできる。

図１２（Ａ）と図１２（Ｂ）は、各ストリームの多重化時刻の例を表わす図である。図１２（Ａ）に示すように、更新後のＢａｓｅ Ｖｉｅｗの次パケットの多重化時刻は、「００：００：０２」となる。

図９に戻り、次に、多重化装置１３０は多重化処理を終了させるか否かを判定する（Ｓ１６）。例えば、スケジューリング部１３２は、Ｂａｓｅ ＶｉｅｗのＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの１ピクチャ分のストリームに対する処理が終了すると（Ｓ１６でＹｅｓ）、本処理を終了させる（Ｓ１７）。一方、多重化装置１３０は、Ｂａｓｅ ＶｉｅｗとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの１ピクチャ分のストリームに対する処理が終了していないと（Ｓ１６でＮｏ）、Ｓ１２へ移行して上述した処理を繰り返す。

上記した例は、伝送パケットの１パケット目の多重化が行われた例である。２パケット目以降は、例えば、以下のようになる。

すなわち、処理はＳ１２に移行し、スケジューリング部１３２はＢａｓｅ Ｖｉｅｗ優先判定処理（Ｓ１２）を行う。この場合、スケジューリング部１３２は、処理Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」が参照するＢａｓｅ ＶｉｅｗのＭＢのアドレス「５」を取得する（図１０のＳ１２１）。

そして、スケジューリング部１３２は、該当Ｂａｓｅ ＶｉｅｗのＭＢ「５」が多重化済みであるか否かを判定する（Ｓ１２２）。この場合、スケジューリング部１３２は、内部メモリに保持した多重化済みのＭＢのアドレス「１」と、該当Ｂａｓｅ ＶｉｅｗのＭＢ「５」とを比較して、該当Ｂａｓｅ ＶｉｅｗのＭＢは多重化済みでないと判定する（Ｓ１２２でＮｏ）。次に、スケジューリング部１３２は、処理Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」は多重化対象から外す（Ｓ１２５）。

次に、スケジューリング部１３２は、Ｂａｓｅ Ｖｉｅｗの次パケットの多重化時刻「００：００：０２」と、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの次パケットの多重化時刻「００：００：１０」とを比較し、最も早いＢａｓｅ Ｖｉｅｗのストリームを選択する（図９のＳ１３）。

そして、スケジューリング部１３２は、多重化順序指示を多重化ビットストリーム生成部１３１へ出力し、Ｂａｓｅ Ｖｉｅｗのストリームを１伝送パケット分多重化させる（Ｓ１４）。この場合、多重化順序指示として、Ｂａｓｅ ＶｉｅｗのＭＢ「２」とＭＢ「３」が指示される。図５（Ｃ）に示すように、伝送パケットの２パケット目には、Ｂａｓｅ ＶｉｅｗのＭＢ「２」の残りのストリームと、ＭＢ「３」の一部のストリームが多重化されている。

１ピクチャ分の処理が終了していない（Ｓ１６でＮｏ）ので、処理は再びＳ１２へ移行する。そして、スケジューリング部１３２は、上記した処理を繰り返す。

ここで、伝送パケットの４パケット目まで多重化が終了した場合を考える。図１３（Ａ）と図１３（Ｂ）は、４パケット目まで多重化が終了した後において更新されたＢａｓｅ Ｖｉｅｗの多重化時刻（「００：００：０９」）の例を表わしている。また、参照先のＢａｓｅ ＶｉｅｗのＭＢのアドレス「４」まで多重化済みとなっており、処理対象Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」の参照先となるＢａｓｅ ＶｉｅｗのＭＢ「５」の一部が多重化されている。

この場合、Ｂａｓｅ ＶｉｅｗのＭＢのアドレス「５」の符号化データ全ては多重化されていない。また、多重化済みのＭＢとして、Ｂａｓｅ ＶｉｅｗのＭＢ「４」を示す情報が内部メモリに記憶されている。従って、スケジューリング部１３２は、該当Ｂａｓｅ ＶｉｅｗのＭＢ「５」は多重化済みではないと判定し（図９のＳ１２２でＮｏ）、処理Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」を多重化処理対象から外す（Ｓ１２５）。

そして、スケジューリング部１３２は、Ｂａｓｅ Ｖｉｅｗの多重化時刻「００：００：０９」と、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの多重化時刻「００：００：１０」とを比較する（Ｓ１３）。この場合、Ｂａｓｅ Ｖｉｅｗの方がＤｅｐｅｎｄｅｎｔ Ｖｉｅｗよりも次パケットの多重化時刻は早いため、Ｂａｓｅ Ｖｉｅｗが選択される。そして、スケジューリング部１３２は、Ｂａｓｅ ＶｉｅｗのＭＢ「５」の残りのストリームと、ＭＢ「６」の一部のストリームを伝送パケットに多重化するよう指示する（図９のＳ１４）。

４パケット目の伝送パケットの多重化が終了すると、Ｂａｓｅ Ｖｉｅｗの次パケットの多重化時刻が更新される。Ｂａｓｅ Ｖｉｅｗの更新後の多重化時刻は、例えば、図１４（Ａ）に示すように「００：００：１２」となる。

スケジューリング部１３２は、再び、Ｂａｓｅ Ｖｉｅｗ優先判定処理（図１０）を行い、該当Ｂａｓｅ ＶｉｅｗのＭＢ「５」が多重化済みであるか否かを判定する（Ｓ１２２）。この場合、該当Ｂａｓｅ ＶｉｅｗのＭＢ「５」は多重化済みであるため、スケジューリング部１３２は処理対象のＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」を多重化対象とする（Ｓ１２３）。

スケジューリング部１３２は、Ｂａｓｅ Ｖｉｅｗの多重化時刻「００：００：１２」とＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの多重化時刻「００：００：１０」とを比較して、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの方が早いため、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗを選択する（Ｓ１３）。

そして、スケジューリング部１３２は、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢについて１伝送パケット分を多重化するよう指示する（Ｓ１４）。図５（Ｃ）や図１４（Ｂ）の例では、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」が１伝送パケット分と同じデータ長となっている。この場合、スケジューリング部１３２は、多重化順序指示としてＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」を指示する。

次に、スケジューリング部１３２は、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの次パケットの多重化時刻を更新する（Ｓ１５）。そして、スケジューリング部１３２は、１ピクチャ分の多重化処置を終了するまで上述した処理を繰り返す。

以上により、伝送パケットには、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」が参照する参照先のＢａｓｅ ＶｉｅｗのＭＢ「５」の符号化データの全てが多重化された後に、参照元となるＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」の符号化データが多重化される。

上記した例では、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」のデータ量は、伝送パケット１パケット分と同じデータ量として説明した。この場合、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの次の処理対象となるＭＢのアドレス値は「２」となる。

例えば、１つの伝送パケットにＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」，「２」など複数のＭＢのストリームを多重化できる場合もある。どこまでＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢを多重化したかは、例えば、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの画素ブロック位置情報に基づいて算出可能である。

例えば、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」の画素ブロック位置情報が「５０ビット」、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「２」の画素ブロック位置情報が「６０ビット」で、１つの伝送パケットのパケット長が「１００ビット」の場合を考える。この場合、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」と、ＭＢ「２」の途中まで多重化が行われる。

スケジューリング部１３２は、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗに対しても、Ｂａｓｅ Ｖｉｅｗの場合と同様に、どこまで多重化が終了したかを画素ブロック位置情報に基づいて算出し、例えば内部メモリに保持する（Ｓ１４）。そして、Ｓ１２１の処理の際に、内部メモリから読み出して、処理対象となるＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢを決定する（Ｓ１２２）。

本多重化装置１３０は、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢが視差補償予測として参照する参照先のＢａｓｅ ＶｉｅｗのＭＢの符号化データを参照元となるＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢの符号化データよりも先に多重化している。これにより、例えば、多重化ビットストリームを受信した復号側では、参照先のＢａｓｅ Ｖｉｅｗのストリームの到着を待つことなく、参照元のＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢを復号できる。

この点について以下説明する。例えば、図１５（Ａ）は視差補償予測における参照関係の例を表わし、図１５（Ｂ）及び図１５（Ｃ）は多重化結果の例を表わしている。図１５（Ｃ）の多重化の例は、参照関係を考慮することなく、Ｂａｓｅ ＶｉｅｗのストリームとＤｅｐｅｎｄｅｎｔ ＶｉｅｗのストリームをＭＢのアドレス値で小さい値から順番に多重化している例を表わしている。なお、図１５（Ａ）に示す参照関係の例は、図５（Ａ）に示す参照関係の例を同じである。

図１５（Ｃ）に示すように、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」の符号化データは伝送パケットの２パケット目に多重化される。このような多重化ビットストリームを受信した復号側では、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」の符号化データを受け取っても、参照先となるＢａｓｅ ＶｉｅｗのＭＢ「５」の符号化データの全てを受け取らないと復号処理を開始できない。従って、復号側では、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」を受け取っても復号できず、Ｂａｓｅ ＶｉｅｗのＭＢ「１」を受信するまで待つことになる。その待っている時間分の遅延が発生する。

しかし、本第２の実施の形態における多重化装置１３０は、図５（Ｃ）に示すように、参照先となるＢａｓｅ ＶｉｅｗのＭＢ「５」の符号化データが、参照元のＤｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」よりも先に多重化されている。

従って、復号側は、Ｂａｓｅ ＶｉｅｗのＭＢ「５」の符号化データの到着を待つことなく、Ｄｅｐｅｎｄｅｎｔ ＶｉｅｗのＭＢ「１」を復号できる。従って、本多重化装置１３０は、参照関係を考慮することなく多重化する場合と比較して、復号側において遅延なく復号処理を行わせることができる。

［その他の実施の形態］
次にその他の実施の形態について説明する。

図１６は符号化装置１００の他の構成例を表わす図である。符号化装置１００は、エンコーダ１５０、メモリ１６０、多重化処理部１７０、ＣＰＵ（Central Processing Unit）１７１、ＲＯＭ（Read Only Memory）１７２、ＲＡＭ（Random Access Memory）１７３を備える。

エンコーダ１５０は、Ｂａｓｅ ＶｉｅｗとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの各画像データを入力し、各画像データに対して多視点画像符号化の処理を行う。エンコーダ１５０は、符号化後の画像データをストリームとしてメモリ１６０に記憶する。

また、エンコーダ１５０は、Ｂａｓｅ ＶｉｅｗとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの各ストリーム情報と各画素ブロック位置情報を生成し、メモリ１６０に記憶する。さらに、エンコーダ１５０は、Ｖｉｅｗ間参照先情報を生成し、メモリ１６０に記憶する。

さらに、エンコーダ１５０は音声データ等に対して符号化処理を行う。

図１６の例では、エンコーダ１５０は１つの例を示しているが、図１６の点線で示すように、Ｂａｓｅ Ｖｉｅｗエンコーダ１５１、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗエンコーダ１５２、及び音声等エンコーダ１５３の３つのエンコーダに分かれていてもよい。Ｂａｓｅ Ｖｉｅｗエンコーダ１５１とＤｅｐｅｎｄｅｎｔ Ｖｉｅｗエンコーダ１５２は、Ｂａｓｅ ＶｉｅｗとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの画像データに対してそれぞれ多視点画像符号化の処理を行う。また、音声等エンコーダ１５３は、音声データ等に対して圧縮符号化の処理を行う。

なお、エンコーダ１５０は、例えば、第２の実施の形態で説明したＢａｓｅ Ｖｉｅｗ画像符号化部１１１、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２、及び音声等符号化部１１３に対応する。また、Ｂａｓｅ Ｖｉｅｗエンコーダ１５１、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗエンコーダ１５２、及び音声等エンコーダ１５３は、例えば、第２の実施の形態で説明したＢａｓｅ Ｖｉｅｗ画像符号化部１１１、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部１１２、及び音声等符号化部１１３にそれぞれ対応する。

メモリ１６０は、エンコーダ１５０から出力されたＢａｓｅ ＶｉｅｗとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの各々のストリーム、各々のストリーム情報、及びＶｉｅｗ間参照先情報を記憶する。

メモリ１６０も、図１６の例では１つの例を示しているが、各ストリームを記憶するストリームメモリ１６１、各ストリーム情報を記憶するストリーム情報メモリ１６２、画素ブロック位置情報を記憶する画素ブロック位置情報メモリ１６３、Ｖｉｅｗ間参照先情報を記憶するＶｉｅｗ間参照先情報メモリ１６４の４つのメモリに分かれていても良い。

なお、メモリ１６０は、例えば、第２の実施の形態で説明した複数のバッファ１２０−１〜１２０−９に対応する。また、ストリームメモリ１６１、ストリーム情報メモリ１６２は、例えば、第２の実施の形態におけるバッファ１２０−１〜１２０−３，１２０−４〜１２０−６に対応する。さらに、画素ブロック位置情報メモリ１６３とＶｉｅｗ間参照先情報メモリ１６４は、例えば、第２の実施の形態におけるバッファ１２０−７〜１２０−８，１２０−９に対応する。

多重化処理部１７０は、メモリ１６０からＢａｓｅ ＶｉｅｗとＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの各符号化データを読み出し、ＣＰＵ１７１から出力された多重化順序指示に従って、各符号化データを多重化する。多重化された符号化データは、多重化ビットストリームとして出力される。なお、多重化処理部１７０は、例えば、第２の実施の形態で説明した多重化ビットストリーム生成部１３１に対応する。

ＣＰＵ１７１は、ＲＯＭ１７２に記憶されたプログラムを読み出してＲＡＭ１７３にロードし、ロードしたプログラムを実行することで、例えば、第２の実施の形態で説明したスケジューリング部１３２で行われる処理を実行する。ＣＰＵ１７１は、例えば、第２の実施の形態で説明したスケジューリング部１３２に対応する。

上述した第２の実施の形態における符号化装置１００（例えば図２）と、図１６で示した符号化装置１００においても、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗとして入力される画像データは１つの例で説明した。いずれの符号化装置１００においても、複数のＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの画像データが符号化装置１００に入力されてもよい。

この場合、符号化装置１００には、例えば、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの数に応じた個数のＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部が含まれることになる。各々のＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部が各々のＤｅｐｅｎｄｅｎｔ Ｖｉｅｗの画像データに対して符号化処理を行う。また、ストリームバッファやストリーム情報バッファ、画素ブロック位置情報用バッファも、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗの数に応じた個数が符号化装置１００に含まれる。

図１６においては、例えば、多重化処理部１７０はＣＰＵ１７１内に含まれてもよい。この場合、多重化処理部１７０で行われる処理や機能がＣＰＵ１７１において行われる。

また、上述した第２の実施の形態や図１６の例において、視差補償予測の際の参照関係については、画素ブロックとしてＭＢを例にして説明した。画素ブロックには、例えば、複数の画素が含まれていればよく、スライス単位など、ＭＢのサイズ（１６×１６）以外のサイズであってもよい。

以上まとめると付記のようになる。

（付記１）
立体視画像の第１の視点に対応する第１の画像に含まれる第１の画像データを前記第１の画像における画像フレーム間の相関に基づき圧縮符号化し、
前記立体視画像の第２の視点に対応する第２の画像に含まれる第２の画像データを前記第１の画像に含まれる前記第１の画像データに基づき圧縮符号化し、
前記第１の画像における第１の画素ブロックに含まれる圧縮符号化された前記第１の画像データを、前記第１の画素ブロックに含まれる前記第１の画像データを利用して圧縮符号化された前記第２の画像における第２の画素ブロックに含まれる前記第２の画像データよりも先に出力されるように多重化された多重化データを生成し、
生成した前記多重化データを出力する
処理をコンピュータに実行させる多重化プログラム。

（付記２）
前記第１の画像における圧縮符号化された画像データ列上において前記第１の画素ブロックに含まれる圧縮符号化された全画像データの位置を示す第１の画素ブロック位置情報、前記第２の画像における圧縮符号化された画像データ列上において前記第２の画素ブロックに含まれる圧縮符号化された全画像データの位置を示す第２の画素ブロック位置情報、及び前記第２の画素ブロックに含まれる前記第２の画像データの圧縮符号化の際に参照される前記第１の画素ブロックのアドレス値を示す参照先情報に基づいて、前記第１の画素ブロックに含まれる圧縮符号化された前記第１の画像データを、前記第２の画素ブロックに含まれる圧縮符号化された前記第２の画像データよりも先に多重化することを特徴とする付記１記載の多重化プログラム。

（付記３）
前記第２の画素ブロックに含まれる圧縮符号化された前記第２の画像データは、前記第１の画素ブロックに含まれる圧縮符号化された全画像データの多重化が行われていないときには多重化せず、前記第１の画素ブロックに含まれる圧縮符号化された全画像データの多重化が行われたときに多重化することを特徴とする付記１記載の多重化プログラム。

（付記４）
前記第１及び第２の画素ブロック位置情報は前記第１及び第２の画素ブロックに含まれる圧縮符号化された全画像データのデータ量によりそれぞれ表わされることを特徴とする付記２記載の多重化プログラム。

（付記５）
更に、前記第２の画素ブロック位置情報に基づいて、多重化対象となる前記第２の画素ブロックを決定する処理をコンピュータに実行させることを特徴とする付記２記載の多重化プログラム。

（付記６）
前記第１及び第２の画素ブロック位置情報、前記参照先情報、前記第１の画像の復号開始時刻により前記第１の画像の多重化開始時刻を示す第１の多重化時刻、及び前記第２の画像の復号開始時刻により前記第２の画像の多重化開始時刻を示す第２の多重化時刻に基づいて、前記第１の画素ブロックに含まれる圧縮符号化された前記第１の画像データを、前記第２の画素ブロックに含まれる圧縮符号化された前記第２の画像データよりも先に多重化データを生成することを特徴とする付記２記載の多重化プログラム。

（付記７）
前記多重化する処理には、
前記第１及び第２の多重化時刻に基づいて、前記第１の画素ブロックにおける圧縮符号化された第１の画像データ列又は前記第２の画素ブロックにおける圧縮符号化された第２の画像データ列を選択する第１の処理と、
選択された前記第１又は前記第２の画像データ列に夫々含まれる前記第１又は前記第２の画像データのうち、前記多重化データを伝送する伝送パケットの１パケット分のデータを前記伝送パケットに多重化することを指示する第２の処理と、
前記指示に従って、前記第１の画素ブロックに含まれる圧縮符号化された前記第１の画像データを、前記第２の画像における第２の画素ブロックに含まれる前記第２の画像データよりも先に、前記伝送パケットに多重化する第３の処理と、
選択された前記第１又は前記第２の画像データ列における前記第１又は第２の多重化時刻を更新する第４の処理とを含み、
更新後の前記第１又は第２の多重化時刻に基づいて、前記第１から前記第４の処理が行われることで前記多重化データを生成することを特徴とする付記６記載の多重化プログラム。

（付記８）
前記第１及び第２の画素ブロックは複数の画素を含むことを特徴とする付記１記載の多重化プログラム。

（付記９）
前記第１及び第２の画素ブロックはマクロブロックであることを特徴とする付記１記載の多重化プログラム。

（付記１０）
立体視画像の第１の視点に対応する第１の画像に含まれる第１の画像データを前記第１の画像における画像フレーム間の相関に基づき圧縮符号化する第１の圧縮符号化部と、
前記立体視画像の第２の視点に対応する第２の画像に含まれる第２の画像データを前記第１の画像に含まれる前記第１の画像データに基づき圧縮符号化する第２の圧縮符号化部と、
前記第１の画像における第１の画素ブロックに含まれる圧縮符号化された前記第１の画像データを、前記第１の画素ブロックに含まれる前記第１の画像データを利用して圧縮符号化された前記第２の画像における第２の画素ブロックに含まれる前記第２の画像データよりも先に出力されるように多重化された多重化データを生成し、生成した多重化データを出力する多重化データ生成部
を備えることを特徴とする多重化装置。

（付記１１）
立体視画像の第１の視点に対応する第１の画像に含まれる第１の画像データを前記第１の画像における画像フレーム間の相関に基づき圧縮符号化し、
前記立体視画像の第２の視点に対応する第２の画像に含まれる第２の画像データを前記第１の画像に含まれる前記第１の画像データに基づき圧縮符号化し、
前記第１の画像における第１の画素ブロックに含まれる圧縮符号化された前記第１の画像データを、前記第１の画素ブロックに含まれる前記第１の画像データを利用して圧縮符号化された前記第２の画像における第２の画素ブロックに含まれる前記第２の画像データよりも先に出力されるように多重化された多重化データを生成し、
生成した前記多重化データを出力する
ことを特徴とする多重化方法。

（付記１２）
立体視画像の第１の視点に対応する第１の画像に含まれる第１の画像データを前記第１の画像における画像フレーム間の相関に基づき圧縮符号化する第１の圧縮符号化部と、
前記立体視画像の第２の視点に対応する第２の画像に含まれる第２の画像データを前記第１の画像に含まれる前記第１の画像データに基づき圧縮符号化する第２の圧縮符号化部と、
前記第１の画像における第１の画素ブロックに含まれる圧縮符号化された前記第１の画像データを、前記第１の画素ブロックに含まれる前記第１の画像データを利用して圧縮符号化された前記第２の画像における第２の画素ブロックに含まれる前記第２の画像データよりも先に出力されるように多重化された多重化データを生成し、生成した前記多重化データを出力するプロセッサと
を備えることを特徴とする多重化装置。

１００：符号化装置 １１０：画像符号化装置
１１１：Ｂａｓｅ Ｖｉｅｗビデオ符号化部（Ｂａｓｅ Ｖｉｅｗ画像符号化部）
１１２：Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗビデオ符号化部（Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ画像符号化部）
１１３：音声等符号化部 １２０−１〜１２０−３：ストリームバッファ
１２０−４〜１２０−６：ストリーム情報バッファ
１２０−７，１２０−８：画素ブロック位置情報バッファ
１２０−９：Ｖｉｅｗ間参照先情報バッファ
１３０：多重化装置 １３１：多重化ビットストリーム生成部
１３２：スケジューリング部 １５０：エンコーダ
１６０：メモリ １７１：ＣＰＵ
１１１４：エントロピー符号化部 １１１９：フレームメモリ
１１２０：Ｂａｓｅ Ｖｉｅｗ動き予測部
１１２１：動き補償部
１１２５：Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ動き予測部

Claims (5)

1. 立体視画像の第１の視点に対応する第１の画像に含まれる第１の画像データを前記第１の画像における画像フレーム間の相関に基づき圧縮符号化し、
   前記立体視画像の第２の視点に対応する第２の画像に含まれる第２の画像データを前記第１の画像に含まれる前記第１の画像データに基づき圧縮符号化し、
   前記第１の画像における第１の画素ブロックに含まれる圧縮符号化された前記第１の画像データを、前記第１の画素ブロックに含まれる前記第１の画像データを利用して圧縮符号化された前記第２の画像における第２の画素ブロックに含まれる前記第２の画像データよりも先に出力されるように多重化された多重化データを生成し、
   生成した前記多重化データを出力する
   処理をコンピュータに実行させる多重化プログラム。
2. 前記第１の画像における圧縮符号化された画像データ列上において前記第１の画素ブロックに含まれる圧縮符号化された全画像データの位置を示す第１の画素ブロック位置情報、前記第２の画像における圧縮符号化された画像データ列上において前記第２の画素ブロックに含まれる圧縮符号化された全画像データの位置を示す第２の画素ブロック位置情報、及び前記第２の画素ブロックに含まれる前記第２の画像データの圧縮符号化の際に参照される前記第１の画素ブロックのアドレス値を示す参照先情報に基づいて、前記第１の画素ブロックに含まれる圧縮符号化された前記第１の画像データを、前記第２の画素ブロックに含まれる圧縮符号化された前記第２の画像データよりも先に多重化することを特徴とする請求項１記載の多重化プログラム。
3. 前記第２の画素ブロックに含まれる圧縮符号化された前記第２の画像データは、前記第１の画素ブロックに含まれる圧縮符号化された全画像データの多重化が行われていないときには多重化せず、前記第１の画素ブロックに含まれる圧縮符号化された全画像データの多重化が行われたときに多重化することを特徴とする請求項１記載の多重化プログラム。
4. 立体視画像の第１の視点に対応する第１の画像に含まれる第１の画像データを前記第１の画像における画像フレーム間の相関に基づき圧縮符号化する第１の圧縮符号化部と、
   前記立体視画像の第２の視点に対応する第２の画像に含まれる第２の画像データを前記第１の画像に含まれる前記第１の画像データに基づき圧縮符号化する第２の圧縮符号化部と、
   前記第１の画像における第１の画素ブロックに含まれる圧縮符号化された前記第１の画像データを、前記第１の画素ブロックに含まれる前記第１の画像データを利用して圧縮符号化された前記第２の画像における第２の画素ブロックに含まれる前記第２の画像データよりも先に出力されるように多重化された多重化データを生成し、生成した多重化データを出力する多重化データ生成部
   を備えることを特徴とする多重化装置。
5. 立体視画像の第１の視点に対応する第１の画像に含まれる第１の画像データを前記第１の画像における画像フレーム間の相関に基づき圧縮符号化し、
   前記立体視画像の第２の視点に対応する第２の画像に含まれる第２の画像データを前記第１の画像に含まれる前記第１の画像データに基づき圧縮符号化し、
   前記第１の画像における第１の画素ブロックに含まれる圧縮符号化された前記第１の画像データを、前記第１の画素ブロックに含まれる前記第１の画像データを利用して圧縮符号化された前記第２の画像における第２の画素ブロックに含まれる前記第２の画像データよりも先に出力されるように多重化された多重化データを生成し、
   生成した前記多重化データを出力する
   ことを特徴とする多重化方法。

Images