JP5743968B2

JP5743968B2 - 動画像復号方法及び動画像符号化方法

Info

Publication number: JP5743968B2
Application number: JP2012148603A
Authority: JP
Inventors: 浅野　渉; 渉浅野; 知也児玉
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2012-07-02
Filing date: 2012-07-02
Publication date: 2015-07-01
Anticipated expiration: 2032-07-02
Also published as: US20140003507A1; JP2014011731A

Description

本発明の実施形態は、動画像復号方法及び動画像符号化方法に関する。

従来、動画像を符号化する技術として、「Ｈ．２６４／ＡＶＣ」が知られている。また、機能拡張として、多様な視点で見た映像を再現できるようにする多視点映像符号化（ＭＶＣ：Multiview Video Coding）が知られている。

特開２００７−２１５１７８号公報

Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6) JVT-W077

しかしながら、多視点映像符号化（多視点動画像符号化）において、遅延の低減と高符号化効率とを両立させることができないという問題があった。

実施形態の動画像復号方法は、複数視点の動画像を符号化したストリームに含まれる画像を復号する動画像復号方法であって、選択工程と、復号工程とを含む。選択工程は、ストリームに含まれる復号対象画像と同時刻に再生される画像に、画面内予測により復号される画像が存在する場合に、復号対象画像よりも復号順番が前で、かつ復号対象画像と異なる時刻に再生される画像から第１の参照画像を選択する工程である。復号工程は、第１の参照画像を用いて復号対象画像を復号する工程である。

多視点映像符号化の予測構造の第１例を示す図。多視点映像符号化の予測構造の第２例を示す図。多視点映像符号化の予測構造の第３例を示す図。実施形態にかかる動画像復号装置の構成を例示するブロック図。実施形態の参照画像設定部の詳細を示すブロック図。実施形態にかかる動画像復号装置が行う復号処理を示すフローチャート。実施形態の予測構造の第４例を示す図。実施形態にかかる動画像復号装置の変形例の構成を例示するブロック図。実施形態にかかる動画像復号装置の変形例の出力画像選択処理を示すフローチャート。実施形態の参照画像設定部の変形例の構成を示すブロック図。実施形態にかかる視点番号設定部を有する動画像復号装置の処理を示すフローチャート。実施形態の予測構造の第５例を示す図。実施形態にかかる視点番号設定部を有する動画像復号装置の変形例の処理を示すフローチャート。実施形態にかかる動画像符号化装置の構成を例示するブロック図。実施形態にかかる動画像符号化装置の動作について、参照画像設定部の動作を中心に示すフローチャート。

（背景）
まず、以下に添付図面を参照して、実施形態にかかる動画像復号方法及び動画像符号化方法を発明するに至った背景を説明する。

図１は、多視点映像符号化の予測構造の第１例を示す図である。図１においては、３つの視点Ｖ（Ｖ_０〜Ｖ_２）で見た時刻ｔ_０〜ｔ_７までの画像が示されている。また、例として、視点Ｖ_０は、ベース・ビュー（Base View：後述）となる視点であるとする。画像Ｉは、それぞれ画面内予測を用いる画面内符号化画像（Ｉピクチャ：Intra-Picture）を示す。画像Ｐは、それぞれ画面間の順方向予測符号化を用いる画面間順方向符号化画像（Ｐピクチャ：Predictive-Picture）を示す。また、画像Ｉ及び画像Ｐそれぞれに付された数字は、符号化又は復号の処理順序を示す。ここで、値が同じ数字は、同時に処理可能であることを示している。

画像Ｉは、ＩＤＲ（Instantaneous Decoding Refresh）ピクチャとなっており、ランダムアクセスにおける先頭画像となり得る。画像間の実線矢印は符号化又は復号における参照の関係を示しており、実線矢印始点の画像が実線矢印終点の画像の参照ピクチャとなっている。以下、時刻ｔ、視点Ｖ、画像Ｉ，Ｐ、画像に付された数字及び実線矢印は、それぞれ特記しない限り上述した意味と実質的に同じ意味を示す。

図１に示した予測構造の第１例においては、同時刻の異なる視点の画像を参照画像に用いている。例えば、視点Ｖ_１における時刻ｔ_０の画像Ｐ_１は、視点Ｖ_０における時刻ｔ_０の画像Ｉ_０を参照画像に用いている。また、視点Ｖ_２における時刻ｔ_０の画像Ｐ_２は、視点Ｖ_１における時刻ｔ_０の画像Ｐ_１を参照画像に用いている。従って、予測構造の第１例では、同時刻の各視点における画像を並列処理することができず、視点数に応じて処理に遅延が生じる。

図２は、多視点映像符号化の予測構造の第２例を示す図である。図２においては、画像Ｉと同時刻の他の視点の画像とに参照関係があることを除いて、同時刻における視点間の参照関係が排除されている。しかし、画像Ｉが同時刻の他の画像に参照されることにより、遅延が伝播している。

図３は、多視点映像符号化の予測構造の第３例を示す図である。図３においては、同時刻における視点間の参照関係が全て排除されている。従って、第１例及び第２例のような、画像の参照関係に依存する遅延は生じていない。しかし、各視点Ｖ_０〜Ｖ_２の先頭画像が全て画面内予測画像（画像Ｉ）となっているため、上述した第１例及び第２例に比べて、符号化効率が低くなっている。

（実施形態にかかる動画像復号装置）
次に、実施形態にかかる動画像復号装置１について説明する。図４は、動画像復号装置１の構成を例示するブロック図である。図４に示すように、動画像復号装置１は、エントロピー復号部１１０、逆量子化部１２０、逆直交変換部１３０、参照画像設定部１４０、予測画像生成部１５０、加算部１５５、参照画像記憶部１６０を有する。

エントロピー復号部１１０は、複数視点の動画像を符号化した符号化ストリームをエントロピー復号し、各符号化要素情報（syntax element）を取得する。逆量子化部１２０は、符号化要素情報の一種である量子化変換係数を逆量子化し、変換係数を得る。逆直交変換部１３０は、変換係数を逆直交変換し、予測誤差信号を得る。参照画像設定部１４０は、符号化要素情報に従って参照画像を選択する。予測画像生成部１５０は、選択された参照画像を参照画像記憶部１６０から取得し、予測画像を生成する。加算部１５５は、予測画像と予測誤差信号を足し合わせて複合画像を得る。参照画像記憶部１６０は、復号画像を格納し、符号化要素情報に従って適切なタイミングで出力する。

図５は、参照画像設定部１４０の詳細を示すブロック図である。参照画像設定部１４０は、判定部１４１及び選択部１４２を有する。判定部１４１は、復号対象の画像が予め定められた条件を満たすか否かを判定する。具体的には、判定部１４１は、復号対象画像よりも復号順序が前である基準視点の注目画像（図７参照）が、画面内予測により復号された画面内予測画像であるか否かを判定する。なお、基準視点となる視点は、例えば視点が１つの符号化ストリームとの互換性を保つために設けられたベース・ビュー（Base View）となる視点である。選択部１４２は、判定結果に基づいて参照画像を選択する。具体的には、選択部１４２は、注目画像が画面内予測画像であると判定した場合、復号対象画像と同時刻の他の視点の画像以外の画像であって、注目画像及び注目画像に基づいて復号された画像の少なくともいずれかを復号対象画像の参照画像として選択する。

次に、動画像復号装置１が行う復号処理について説明する。図６は、動画像復号装置１が行う復号処理を示すフローチャートである。また、図７は、実施形態にかかる多視点映像符号化（動画像符号化方法）及び復号（動画像復号方法）の予測構造の第４例を示す図である。

図６に示すように、ステップ１０１（Ｓ１０１）において、エントロピー復号部１１０は、入力された符号化ストリームに含まれるエントロピー符号化された情報を復号し、符号化画像種別（slice＿type）、参照画像index（ref＿idx）、動きベクトル、量子化変換係数等の各符号化要素情報（syntax element）を取得する。エントロピー符号化には、具体例として、ハフマン符号化及び算術符号化などがある。

ステップ１０２（Ｓ１０２）において、逆量子化部１２０は、Ｓ１０１の処理で得た量子化変換係数と量子化値（ＱＰ）に基づいて逆量子化を行い、変換係数を得る。

ステップ１０３（Ｓ１０３）において、逆直交変換部１３０は、変換係数を逆直交変換し、予測残差信号を得る。逆直交変換には、具体例として、逆離散コサイン変換（ＩＤＣＴ）及び逆アダマール変換などがある。

ステップ１０４（Ｓ１０４）において、判定部１４１は、復号対象画像よりも復号順序が前（例えば直前）である基準視点の注目画像が、画面内予測により復号された画面内予測画像であるか否かを判定する。判定部１４１は、注目画像が画面内予測画像であると判定した場合（Ｓ１０４：Ｙｅｓ）にはＳ１０５の処理に進み、注目画像が画面内予測画像でないと判定した場合（Ｓ１０４：Ｎｏ）にはＳ１０６の処理に進む。ここで、判定部１４１は、参照画像設定を行う前の状態の参照画像リストの先頭にある参照画像（Ｈ．２６４等におけるRefPicList0[0]（List0のref＿idx=0）にある画像）の時刻を利用してもよい。

ステップ１０５（Ｓ１０５）において、選択部１４２は、注目画像を参照画像として選択する。例えば、図７の太線矢印で示すように、選択部１４２は、時刻ｔ_１における視点Ｖ_０〜Ｖ_２の各画像Ｐ_１（復号対象画像）に対し、復号順序が前（例えば直前）となっている時刻ｔ_０における基準視点Ｖ_０の注目画像（画像Ｉ_０）を参照画像として選択する。具体例として、選択部１４２は、RefPicList0[0]に注目画像（画像Ｉ_０）を参照画像としてセットし、他を空とする。

ステップ１０６（Ｓ１０６）において、選択部１４２は、参照画像リスト（ref＿idxのlist）に従って参照画像を選択する。具体例として、選択部１４２は、RefPicList0及びRefPicList1に変更を加えない。

ステップ１０７（Ｓ１０７）において、予測画像生成部１５０は、選択された参照画像を参照画像記憶部１６０から取得し、動きベクトル情報等に従って予測画像を生成する。

ステップ１０８（Ｓ１０８）において、加算部１５５は、予測画像と予測残差信号を足し合わせて復号画像を生成する。

なお、Ｓ１０２〜Ｓ１０３の処理と、Ｓ１０４〜Ｓ１０７の処理とは、順序が逆であってもよいし、並列に処理されてもよい。

つまり、動画像復号装置１は、図７に示した予測構造の第４例で符号化された多視点動画像の符号化ストリームを復号することができる。図７に示した予測構造の第４例は、同時刻の視点画像間の参照関係がないため、同時刻の画像の復号を並列に行うことが可能であり、低遅延の動画像復号を可能にする。

また、動画像復号装置１は、基準視点Ｖ_０の画像が画面内予測画像である時刻ｔ_０の基準視点以外（視点Ｖ_１，Ｖ_２）の画像を、基準視点Ｖ_０における時刻ｔ_０の画像Ｉ_０と同一（即ちコピー）であるとみなしてもよい。また、動画像復号装置１は、基準視点における画面内予測画像、及び基準視点における画面内予測画像に基づいて復号された画像の少なくともいずれかを復号対象画像の参照画像として選択するので、画面内予測画像によるランダムアクセスやエラー復帰が可能となる。また、動画像復号装置１は、復号開始時刻の基準視点以外の画像として基準視点の画像のコピーをそのまま用いるのではなく、ワーピング処理等によって別視点画像を合成し、合成した画像を出力するように構成されてもよい。

また、動画像復号装置１は、図７に示した予測構造の第４例と、Ｈ．２６４／ＡＶＣの拡張機能であるＭＶＣのような同時刻の他の視点の画像を参照する予測構造とを、符号化ストリーム毎に切り替えるように構成されてもよい。例えば、動画像復号装置１は、シーケンスヘッダに予測構造を切り替えるフラグ等を備え、フラグが図７に示した予測構造の第４例を示している場合に図６等に示した参照画像設定の処理を行うように構成されてもよい。また、動画像符号化装置がＳ１０４（図６）の判定処理を行い、判定結果をフラグ（anchor＿pic＿flag）等で符号化ストリームに含めれば、動画像復号装置１は、フラグの読み取りをＳ１０４の処理に代えてもよい。

（動画像復号装置の変形例）
次に、実施形態にかかる動画像復号装置１の変形例について説明する。図８は、動画像復号装置１の変形例の構成を例示するブロック図である。図８に示すように、動画像復号装置１の変形例は、図４に示した動画像復号装置１に加えて、出力画像選択部１７０を有する。出力画像選択部１７０は、復号画像から出力画像を選択する。なお、出力画像選択部１７０は、図９を用いて後述する選択、及び図１３を用いて後述する選択の少なくともいずれかを可能にされている。

図９は、動画像復号装置１の変形例の出力画像選択処理を示すフローチャートである。図９に示すように、ステップ２０１（Ｓ２０１）において、出力画像選択部１７０は、出力画像の時刻が復号開始時刻であるか否かを判定する。出力画像選択部１７０は、出力画像の時刻が復号開始時刻であると判定した場合（Ｓ２０１：Ｙｅｓ）にはＳ２０２の処理に進み、出力画像の時刻が復号開始時刻でないと判定した場合（Ｓ２０１：Ｎｏ）にはＳ２０３の処理に進む。

ステップ２０２（Ｓ２０２）において、出力画像選択部１７０は、基準視点の復号画像を選択して出力する。

ステップ２０３（Ｓ２０３）において、出力画像選択部１７０は、復号対象視点の復号画像を選択して出力する。

図９に示したように、出力画像選択部１７０が出力画像を選択するのは、復号開始時刻の状態が次の２つの場合のいずれかであるためである。例えば、復号開始時刻では、基準視点の画像のみが符号化ストリームに含まれている状態である（図７の時刻ｔ_０の画像が画像Ｉ_０のみである状態）。又は、復号開始時刻では、基準視点以外の画像も符号化ストリームに含まれているが、復号開始時刻以前の復号画像を参照しているために、参照画像がない状態となり、正常な復号ができない状態である（図７の時刻ｔ_４参照）。

図７の時刻ｔ_０の状態（視点Ｖ_１，Ｖ_２にコピー画像がない場合）では、動画像復号装置１の変形例は、ランダムアクセス時の先頭画像が多視点画像でなく２Ｄ画像となってしまうが、同時刻の他の視点の画像を参照画像としないため低遅延の動画像復号が可能である。

次に、参照画像設定部１４０の変形例について説明する。図１０は、参照画像設定部１４０の変形例の構成を示すブロック図である。図１０に示すように、参照画像設定部１４０の変形例は、図５に示した参照画像設定部１４０に加えて、視点番号設定部（参照順序設定部）１４３をさらに有する。視点番号設定部１４３は、各視点に対して視点番号を設定する。視点番号は、視点間における参照順序を示す。つまり、動画像復号装置１は、視点番号順に視点間の参照画像を決定する。

視点番号設定部１４３が視点番号（参照順序）を設定する場合、選択部１４２は、参照順序が１つ前であり、且つ時刻が直前である他の視点の参照好適画像を復号対象画像の参照画像とし、参照好適画像が存在しなければ参照画像の選択を行わないように構成されてもよい。また、選択部１４２は、参照好適画像が存在しない場合、参照順序が１つ前であり、且つ同時刻の他の視点の画像と復号対象画像とが同一であるとみなすように構成されてもよい。例えば、選択部１４２は、後述する図１２に示した視点Ｖ_２における時刻ｔ_１の参照好適画像が存在しない場合、参照順序が１つ前（視点Ｖ_１）であり、且つ同時刻（時刻ｔ_１）の他の視点（視点Ｖ_１）の画像と復号対象画像とが同一であるとみなす（コピー処理）。また、視点番号設定部１４３が視点番号を設定する場合、判定部１４１は、参照好適画像の有無を判定するように構成されてもよい。

図１１は、視点番号設定部１４３を有する動画像復号装置１の処理を示すフローチャートである。また、図１２は、実施形態にかかる多視点映像符号化（動画像符号化方法）及び復号（動画像復号方法）の予測構造の第５例を示す図である。なお、図１１に示したフローチャートにおいて、図６に示した処理と実質的に同じ処理には、同一の符号が付してある。

ステップ１１１（Ｓ１１１）において、視点番号設定部１４３は、各視点に対する視点番号（参照順序）を設定する。ここで、視点番号設定部１４３は、例えば符号化ストリームに記述されている視点番号の値を用いて、どの視点にどの番号を設定するかを決定する。

ステップ１１２（Ｓ１１２）において、判定部１４１は、例えば、復号対象画像よりも参照順序が前である基準視点の注目画像（図７参照）が、画面内予測により復号された画面内予測画像であるか否かを判定する。判定部１４１は、注目画像が画面内予測画像であると判定した場合（Ｓ１１２：Ｙｅｓ）にはＳ１１３の処理に進み、注目画像が画面内予測画像でないと判定した場合（Ｓ１１２：Ｎｏ）にはＳ１０６の処理に進む。

ステップ１１３（Ｓ１１３）において、選択部１４２は、参照順序が１つ以上前であり、且つ時刻が直前である他の視点の参照好適画像を復号対象画像の参照画像とし、参照好適画像が存在しなければ参照画像の選択を行わない（図１２の太線矢印等参照）。また、選択部１４２は、参照好適画像が存在しない場合、参照順序が１つ前であり、且つ同時刻の他の視点の画像と復号対象画像とが同一であるとみなしてもよい。

なお、Ｓ１０２〜Ｓ１０３の処理と、Ｓ１１１〜Ｓ１０７の処理とは、順序が逆であってもよいし、並列に処理されてもよい。つまり、視点番号設定部１４３を有する動画像復号装置１は、図１２に示した予測構造の第５例で符号化された多視点動画像の符号化ストリームを復号することができる。図１２に示した予測構造の第５例は、同時刻の視点画像間の参照関係がないため、同時刻の画像の復号を並列に行うことが可能であり、低遅延の動画像復号を可能にする。また、動画像符号化装置がＳ１１２（図１１）の判定処理を行い、判定結果をフラグ（anchor＿pic＿flag）等で符号化ストリームに含めれば、視点番号設定部１４３を有する動画像復号装置１は、フラグの読み取りをＳ１１２の処理に代えてもよい。

次に、視点番号設定部１４３（図１０）を有する動画像復号装置１の変形例（図８参照）の処理について説明する。図１３は、視点番号設定部１４３を有する動画像復号装置１の変形例の処理を示すフローチャートである。

図１３に示すように、ステップ３０１（Ｓ３０１）において、判定部１４１は、参照好適画像の有無を判定する。判定部１４１は、参照好適画像があると判定した場合（Ｓ３０１：Ｙｅｓ）にはＳ３０２の処理に進み、参照好適画像がないと判定した場合（Ｓ３０１：Ｎｏ）にはＳ３０３の処理に進む。

ステップ３０２（Ｓ３０２）において、選択部１４２は、参照順序が１つ前であり、且つ時刻が直前である他の視点の参照好適画像を復号対象画像の参照画像とする（図１２参照）。

ステップ３０３（Ｓ３０３）において、選択部１４２は、参照順序が１つ前であり、且つ同時刻の他の視点の画像と復号対象画像とが同一であるとみなす（コピー処理）。なお、選択部１４２は、参照順序が２つ以上前であり、且つ同時刻の他の視点の画像と復号対象画像とが同一であるとみなしてもよい。このように、視点番号設定部１４３を有する動画像復号装置１の変形例は、図１２に示した予測構造で符号化された多視点動画像の符号化ストリームの復号をすることができる。

図１２における符号化ストリームの先頭画像（時刻ｔ_０）には基準視点以外の画像が含まれていない。また、図１２に示した予測構造の第５例においては、視点の数に応じて、符号化ストリームに全視点の画像が含まれるまでに時間がかかる。従って、ランダムアクセス時の先頭画像は多視点画像ではなく２Ｄ画像となってしまい、その後も特定の位置からは立体視が可能となるが、予め定められた時間が経過するまで、他の位置からは２Ｄ画像となってしまうこととなる。一方、同時刻の他の視点の画像を参照画像としないため、低遅延の動画像復号が可能である。

このように、実施形態の動画像復号方法は、注目画像が画面内予測画像であると判定した場合、復号対象画像と同時刻の他の視点の画像以外の画像であって、注目画像及び注目画像に基づいて復号された画像の少なくともいずれかを復号対象画像の参照画像として選択するので、遅延の低減と高符号化効率とを両立させることができる。

（実施形態にかかる動画像符号化装置）
次に、実施形態にかかる動画像符号化装置について説明する。図１４は、動画像符号化装置２の構成を例示するブロック図である。図１４に示すように、動画像符号化装置２は、減算部２００、直交変換部２１０、量子化部２２０、エントロピー符号化部２３０、逆量子化部１２０、逆直交変換部１３０、参照画像設定部１４０、予測画像生成部１５０、加算部１５５、参照画像記憶部１６０を有する。なお、動画像符号化装置２において、図４に示した動画像復号装置１と実質的に同じ構成部分には、同一の符号が付してある。

直交変換部２１０は、入力された画像と予測画像の差分値を直交変換する。量子化部２２０は、変換係数を量子化する。エントロピー符号化部２３０は、量子化変換系数等の各符号化要素情報をエントロピー符号化する。逆量子化部１２０は、量子化変換係数を逆量子化し変換係数を得る。逆直交変換部１３０は、変換係数を逆直交変換し予測誤差信号を得る。参照画像設定部１４０は、入力画像の符号化順序等に従って参照画像を選択する。予測画像生成部１５０は、選択された参照画像を参照画像記憶部１６０から取得して予測画像を生成する。参照画像記憶部１６０は、予測画像と予測誤差信号を足し合わせて得られた局所復号画像を格納する。

次に、動画像符号化装置２の動作について、参照画像設定部１４０の動作を中心に説明する。図１５は、動画像符号化装置２の動作について、参照画像設定部１４０の動作を中心に示すフローチャートである。なお、図１５に示した処理において、図６に示した処理と実質的に同じ処理には、同一の符号が付してある。

図１５に示すように、動画像符号化装置２は、ステップ１０４（Ｓ１０４）〜ステップ１０６（Ｓ１０６）において、動画像復号装置１と同様に参照画像を選択する。

ステップ１２１（Ｓ１２１）において、動画像符号化装置２は、参照画像を用いて複数視点の動画像（符号化ストリーム）を生成する。

このように、動画像符号化装置２によれば、図７に示した予測構造の第４例で多視点動画像の符号化が可能となる。

また、実施形態の動画像符号化方法は、注目画像が画面内予測画像であると判定した場合、符号化対象画像と同時刻の他の視点の画像以外の画像であって、注目画像及び注目画像に基づいて符号化された画像の少なくともいずれかを符号化対象画像の参照画像として選択するので、遅延の低減と高符号化効率とを両立させることができる。

動画像復号装置１及び動画像符号化装置２は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、エントロピー復号部１１０、逆量子化部１２０、逆直交変換部１３０、参照画像設定部１４０、予測画像生成部１５０、加算部１５５、出力画像選択部１７０、減算部２００、直交変換部２１０、量子化部２２０及びエントロピー符号化部２３０は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。また、動画像復号装置１及び動画像符号化装置２は、プログラムに代えて上述した各部の少なくとも一部をハードウェア回路で構成されてもよい。

このとき、動画像復号装置１及び動画像符号化装置２は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、参照画像記憶部１６０は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

また、上記のコンピュータ装置において、図７に示した時刻ｔ_０における画像を表示することなく、時刻ｔ_１以降の画像を表示することにより、２Ｄの画像を表示しないようにしてもよい。

また、基準視点となる視点は、ベース・ビュー（Base View）となる１つの視点に限定されない。例えば、ベース・ビューと同様に画像Ｉを含み、ベース・ビューと同じ手順で符号化又は復号をされるベース・ビュー以外の視点は、複数の視点の総数よりも基準視点の数が少なくなるように設定されれば、基準視点であるとされてもよい。複数の視点の総数よりも基準視点の数が少なくなるように設定されれば、基準視点以外の視点について、画像Ｉの数が削減されることとなり、符号化効率の向上と、遅延の低減がなされるためである。

なお、上述した実施形態においては、双方向予測符号化画像（Bi-Directional Predictive Picture）及び双予測符号化画像（Bi-Predictive Prediction-Picture）などを用いない場合を例に説明したが、これに限定されることなく、後方参照ピクチャが用いられてもよい。即ち、後方参照ピクチャを用いていない動画像復号方法及び動画像符号化方法は、後方参照ピクチャを用いている動画像復号方法及び動画像符号化方法に比べて、遅延をより低減することが可能となるものである。

また、本発明のいくつかの実施形態を複数の組み合わせによって説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１動画像復号装置
２動画像符号化装置
１１０エントロピー復号部
１２０逆量子化部
１３０逆直交変換部
１４０参照画像設定部
１４１判定部
１４２選択部
１４３視点番号設定部（参照順序設定部）
１５０予測画像生成部
１５５加算部
１６０参照画像記憶部
１７０出力画像選択部
２００減算部
２１０直交変換部
２２０量子化部
２３０エントロピー符号化部

Claims

複数視点の動画像を符号化したストリームに含まれる画像を復号する動画像復号方法であって、
前記ストリームに含まれる復号対象画像と同時刻に再生される画像に、画面内予測により復号される画像が存在する場合に、前記復号対象画像よりも復号順番が前で、かつ前記復号対象画像と異なる時刻に再生される画像から第１の参照画像を選択する工程と、
前記第１の参照画像を用いて前記復号対象画像を復号する工程と、
を含む動画像復号方法。
前記複数視点間における参照順序を設定する工程
をさらに含み、
前記第１の参照画像は、前記復号対象画像と前記参照順序が同じであり、前記復号対象画像の直前に再生される画像を前記第１の参照画像として選択する
請求項１に記載の動画像復号方法。
前記第１の参照画像は、前記復号対象画像よりも前記参照順序が１つ前であり、前記復号対象画像の直前に再生される第２の参照画像をさらに選択し、前記第１の参照画像と前記第２の参照画像とを用いて前記復号対象画像を復号する
請求項２に記載の動画像復号方法。
前記復号対象画像よりも復号順番が前で、かつ前記復号対象画像と異なる時刻に再生される画像が存在しない場合、前記復号対象画像と同時刻に再生される画面内予測により復号された画像を復号された前記復号対象画像とする工程を含む
請求項１〜３のいずれか１項に記載の動画像復号方法。
前記参照順序は、
前記ストリームに記述されている視点番号通りに設定する
請求項２または３に記載の動画像復号方法。
前記復号対象画像と同時刻に再生され、かつ画面内予測により復号された画像が、連続して復号される動画像の先頭画像であるか否かを判定する工程と、
前記先頭画像であると判定した場合、前記復号対象画像を、前記画面内予測により復号された画像と同一の画像とみなす工程と、
をさらに含む
請求項１に記載の動画像復号方法。
前記第１の参照画像は、
前記復号対象画像の直前の時刻に再生される画像から選択される
請求項１に記載の動画像復号方法。
前記復号対象画像の直前に再生される画像に、前記画面内予測により復号された画像が存在する場合に、前記画面内予測により復号された画像を前記第１の参照画像として選択する工程と、
をさらに含む
請求項１に記載の動画像復号方法。
複数視点の動画像を符号化してストリームを生成する動画像符号化方法であって、
前記ストリームに含まれる符号化対象画像と同時刻に符号化される画像に、画面内予測により符号化される画像が存在する場合に、前記符号化対象画像よりも符号化順番が前で、かつ前記符号化対象画像とは異なる時刻に符号化される画像から第１の参照画像を選択する工程と、
前記第１の参照画像を用いて前記符号化対象画像を符号化して複数視点の前記ストリームを生成する工程と、
を含む動画像符号化方法。