JP2016184891A - 動画像符号化装置、動画像符号化方法および動画像符号化プログラム - Google Patents

Abstract

【課題】多視点動画像符号化を行う際に、情報量を抑制した効率的な符号化を行うことを目的とする。
【解決手段】動画像符号化装置は、基準画像に対して、フレームごとに所定領域をずらしながら前記基準画像内で第１の予測符号化を行う第１の予測符号化部と、非基準画像のうち、前記基準画像に対して前記第１の予測符号化が行われた第１の領域に対応する第２の領域を、前記基準画像と前記非基準画像との視差に基づいてフレームごとに設定する領域設定部と、前記非基準画像のうち、前記領域設定部が設定した前記第２の領域に対して、前記基準画像の前記第１の領域を参照した第２の予測符号化を行う第２の予測符号化部と、を備える。
【選択図】図１

Description

本発明は、動画像符号化装置、動画像符号化方法および動画像符号化プログラムに関する。

動画像データを符号化する方式の一例として、イントラ予測符号化方式およびインター予測符号化方式がある。イントラ予測符号化方式は、フレーム内の空間的冗長性を除去することによりデータ量を圧縮する方式である。インター予測符号化方式は、複数のフレーム間の時間的冗長性を除去することによりデータ量を圧縮する方式である。

インター予測符号化方式は、あるフレームにエラーが発生すると、エラーを発生したフレームを参照する他のフレームにエラーが伝播する。このため、所定の周期でイントラ符号化を行ったイントラフレームを挿入する技術が提案されている。

また、以前映像処理ブロックのイントラピクチャおよび以前映像処理ブロックのイントラピクチャが生成された視点と異なる視点に対して生成された現在映像処理ブロックのうち、少なくとも１つに基づいて現在ピクチャを予測する技術が提案されている。

また、多視点符号化され参照関係が存在する複数のチャンネルを含む動画符号化ストリームの復号時にエラーが発生した場合でも、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響を少なくする技術が提案されている。

また、復号化画像バッファにおいてメモリ管理動作を実行するマルチビュー映像符号化環境で用いる符号が提供され、メモリ管理動作は、制御情報に基づいて、特定のビューに関連する参照画像を除去する技術が提案されている（例えば、特許文献１乃至３を参照）。

特表２０１０−５０６５３０号公報 特開２０１１−１３００２９号公報 特表２０１０−５０７３３９号公報

多視点動画像符号化では、基準画像と非基準画像とに対して予測符号化が行われる。多視点動画像符号化にイントラ予測符号化方式を適用した場合、基準画像と非基準画像との両者に対して、イントラ符号化が行われる。このため、符号量が大きくなり、符号化の効率が低下する。

多視点動画像符号化にインター予測符号化方式を適用した場合、エラーの伝播を是正するために、所定周期でイントラフレームが挿入される。このイントラフレームのために情報量が増える。エラーの伝播に基づく動画像の乱れを早期に是正するために、イントラフレームを挿入する頻度が高くなると、イントラフレームのための情報量が多くなる。

１つの側面として、本発明は、多視点動画像符号化を行う際に、情報量を抑制した効率的な符号化を行うことを目的とする。

１つの態様では、動画像符号化装置は、基準画像に対して、フレームごとに所定領域をずらしながら前記基準画像内で第１の予測符号化を行う第１の予測符号化部と、非基準画像のうち、前記基準画像に対して前記第１の予測符号化が行われた第１の領域に対応する第２の領域を、前記基準画像と前記非基準画像との視差に基づいてフレームごとに設定する領域設定部と、前記非基準画像のうち、前記領域設定部が設定した前記第２の領域に対して、前記基準画像の前記第１の領域を参照した第２の予測符号化を行う第２の予測符号化部と、を備える。

１つの側面によれば、多視点動画像符号化を行う際に、情報量を抑制した効率的な符号化を行うことができる。

実施形態の動画像符号化装置の一例を示す図である。 多視点動画像符号化にイントラ予測符号化を適用した一例を示す図である。 画像のうちリフレッシュ境界の近傍の領域の一例を示す図である。 イントラ予測符号化を行う予測モードの一例を示す図である。 多視点動画像符号化における参照関係の一例を示す図である。 左目画像および右目画像のリフレッシュ領域の設定の一例を示す図である。 実施形態の具体例を示す図である。 実施形態の処理の流れの一例を示すフローチャート（その１）である。 実施形態の処理の流れの一例を示すフローチャート（その２）である。 実施形態の処理の流れの一例を示すフローチャート（その３）である。 変形例の動画像符号化装置の一例を示す図である。 変形例における具体例を説明する図（その１）である。 変形例における具体例を説明する図（その２）である。 変形例における具体例を説明する図（その３）である。 変形例における処理の流れの一例を示すフローチャートである。 動画像符号化装置のハードウェア構成の一例を示す図である。

＜実施形態の動画像符号化装置の一例＞
以下、図面を参照して、実施形態について説明する。図１は、実施形態の動画像符号化装置１の一例を示している。実施形態の動画像符号化装置１は、多視点動画像符号化を行う装置である。多視点動画像符号化装置は、例えば三次元動画像符号化装置である。

動画像符号化装置１は、左目画像符号化部１０Ｌと右目画像符号化部１０Ｒとを備える。左目画像符号化部１０Ｌは、多視点の動画像データのうち左目画像データを入力する。右目画像符号化部１０Ｒは、多視点の動画像データのうち右目画像データを入力する。

以下、左目画像データを左目画像とし、右目画像データを右目画像として説明する。左目画像符号化部１０Ｌは、左目画像を入力して、左目画像の予測符号化を行う。右目画像符号化部１０Ｒは、右目画像を入力して、右目画像の予測符号化を行う。左目画像は、基準画像(base view)の一例であり、右目画像は非基準画像(non-base view)の一例である。

左目画像符号化部１０Ｌは、予測誤差信号生成部１１Ｌと整数変換部１２Ｌと量子化部１３Ｌとエントロピー符号化部１４Ｌと逆量子化部１５Ｌと逆整数変換部１６Ｌと参照画像生成部１７Ｌとフィルタ処理部１８Ｌとフレームメモリ１９Ｌとを備える。

また、左目画像符号化部１０Ｌは、動き検出部２０Ｌと動き補償部２１Ｌとフレーム内予測部２２Ｌと符号化制御部２３Ｌと切り替え部２４Ｌとを備える。左目画像符号化部１０Ｌのフレーム内予測部２２Ｌは、第１の予測符号化部の一例である。フレーム内予測部２２Ｌが行う予測符号化は、第１の予測符号化の一例である。

右目画像符号化部１０Ｒは、予測誤差信号生成部１１Ｒと整数変換部１２Ｒと量子化部１３Ｒとエントロピー符号化部１４Ｒと逆量子化部１５Ｒと逆整数変換部１６Ｒと参照画像生成部１７Ｒとフィルタ処理部１８Ｒとフレームメモリ１９Ｒとを備える。

また、右目画像符号化部１０Ｒは、動き検出部２０Ｒと動き補償部２１Ｒとフレーム内予測部２２Ｒと符号化制御部２３Ｒと切り替え部２４Ｒと領域設定部２５とを備える。右目画像符号化部１０Ｒの動き検出部２０Ｒは、第２の予測符号化部の一例である。動き検出部２０Ｒが行う予測符号化は、第２の予測符号化の一例である。

左目画像符号化部１０Ｌと右目画像符号化部１０Ｒとのうち、領域設定部２５以外の各部は、共通している。ただし、動き検出部２０Ｌと動き検出部２０Ｒとは異なる処理を行う。また、符号化制御部２３Ｌと符号化制御部２３Ｒとは異なる制御を行う。

以下、各部について説明する。以下の説明において、「Ｌ」は左目画像符号化部１０Ｌの機能であることを示し、「Ｒ」は右目画像符号化部１０Ｒの機能であることを示すものとする。

予測誤差信号生成部１１は、原画像信号と予測画像信号とを入力する。予測誤差信号生成部１１は、原画像信号と予測画像信号との差分を演算し、予測誤差信号を生成する。整数変換部１２は、予測誤差信号生成部１１から入力した予測誤差信号を整数変換して、整数変換後の信号を量子化部１３に出力する。

量子化部１３は、整数変換後の信号を量子化して、予測誤差信号の符号量を低下させた量子化データをエントロピー符号化部１４に出力する。エントロピー符号化部１４は、量子化データに対して、エントロピー符号化を行う。

エントロピー符号化部１４は、エントロピー符号化を行った符号化画像データを出力する。エントロピー符号化部１４Ｌは、符号化画像データを左目画像として出力する。エントロピー符号化部１４Ｒは、符号化画像データを右目画像として出力する。例えば、エントロピー符号化は、シンボルの頻度に応じて可変長の符号を割り当てる符号化方式を用いた符号化である。

逆量子化部１５は、量子化部１３から量子化データを入力し、入力した量子化データを逆量子化する。逆整数変換部１６は、逆量子化部１５から入力したデータに対して、逆整数変換処理を施す。これにより、符号化前の予測誤差信号と同程度の信号が得られる。

参照画像生成部１７は、動き補償部２１により動き補償されたマクロブロックの画素データと、逆量子化部１５および逆整数変換部１６が復号した予測誤差信号とを加算する。これにより、参照画像生成部１７は、動き補償された参照画像（参照ピクチャとも称する）を生成する。

フィルタ処理部１８は、参照画像のマクロブロックのデータに対して、デブロッキングフィルタ処理を行い、ブロックノイズの発生を抑制した後の参照画像のフレームをフレームメモリ１９に記憶する。

動き検出部２０は、上述したように、左目画像符号化部１０Ｌと右目画像符号化部１０Ｒとで異なる処理を行う。左目画像符号化部１０Ｌの動き検出部２０Ｌは、時間的に前後する画像（フレーム）を参照した予測符号化を行う。この予測符号化は、インター予測とも称される。

右目画像符号化部１０Ｒの動き検出部２０Ｒは、ビュー間予測またはインター予測を行う。ビュー間予測は、同じ時刻の視点が異なるフレームを参照した予測符号化である。ビュー間予測は、視点間予測とも称される。実施形態の場合、動き検出部２０Ｒは、領域設定部２５が設定した左目画像の領域を参照したビュー間予測を行う。

動き補償部２１は、時間的に前後するフレームの動きを検出して、時間的に前のフレームに対して検出した動き分の動き補償を行う。例えば、動き補償部２１は、時間的に前後するフレームに基づいて、動きベクトルを検出する。

フレーム内予測部２２は、同じ画像（フレーム）内で予測符号化を行う。この予測符号化は、イントラ予測とも称される。フレーム内予測部２２は、同じ画像内の周辺画素に基づいて、予測画像のマクロブロックを生成して、予測符号化を行う。

符号化制御部２３Ｌは、左目画像符号化部１０Ｌが行う予測符号化をイントラ予測にするか、またはインター予測にするかの制御を行う。符号化制御部２３Ｒは、右目画像符号化部１０Ｒが行う予測符号化をイントラ予測にするか、インター予測にするか、またはビュー間予測にするかの制御を行う。

例えば、Ｈ．２６４規格では、４×４画素をサブブロックとして、イントラリフレッシュを行う予測モードが策定されている。上記のサブブロックが、イントラリフレッシュ済み領域の境界に接している場合、サブブロックのうち何れかの画素が未リフレッシュ領域の画素を参照することがある。

この場合、イントラリフレッシュを行うことは制限される。符号化制御部２３Ｌは、サブブロックがイントラリフレッシュの制限の対象になっていない場合、フレーム内予測部２２Ｌがイントラリフレッシュを行うように制御する。一方、サブブロックがイントラリフレッシュの制限の対象になっている場合、符号化制御部２３Ｌは、インターリフレッシュを行うように制御する。

このため、符号化制御部２３Ｌは、切り替え部２４Ｌを制御する。サブブロックがイントラリフレッシュの制限の対象になっていない場合、符号化制御部２３Ｌは、切り替え部２４Ｌがフレーム内予測部２２Ｌに接続する。サブブロックがイントラリフレッシュの制限の対象になっている場合、符号化制御部２３Ｌは、切り替え部２４Ｌが動き補償部２１に接続する。

領域設定部２５は、右目画像のうち、ビュー間予測符号化を行う領域を設定する。領域設定部２５は、左目画像符号化部１０Ｌが左目画像に対してイントラリフレッシュを行う領域に対して所定量の差をつけた領域をビュー間予測符号化の対象の領域に設定する。この所定量の差は、左目画像と右目画像との視差に基づいている。

＜多視点動画像符号化における予測符号化の一例＞
次に、多視点動画像符号化における予測符号化の一例について説明する。図２は、多視点動画像符号化にイントラ予測符号化を適用した一例を示す。イントラ予測符号化は、イントラリフレッシュとも称される。

図２の例の場合、リフレッシュ領域は左目画像および右目画像のうち、所定幅を有する一部の領域（リフレッシュ領域）に設定される。また、リフレッシュ領域は、経時的に所定幅の分だけずれていく。このように、リフレッシュ領域を順次ずらして行うイントラリフレッシュはイントラスライスと称される場合もある。

イントラスライスによる予測符号化では、上記のリフレッシュ領域にイントラリフレッシュが行われる。このため、エラーの伝播が抑制される。また、リフレッシュ領域は異なる時刻の画像に分散されるため、一度に画像の全領域に対してイントラリフレッシュが行われない。従って、符号化効率が向上する。

図３は、画像のうちリフレッシュ境界の近傍の領域の一例を示している。図３において、マクロブロックは、例えば、１６×１６画素の領域であるとする。リフレッシュ境界は、リフレッシュ済み領域（網掛けされた領域）と未リフレッシュ領域（網掛けされていない領域）との境界である。

イントラライン（ハッチングが施された領域）は、リフレッシュ境界に接しているマクロブロックの縦のラインである。イントララインのマクロブロックに対してイントラリフレッシュを行う場合、未リフレッシュ領域の画素を参照するイントラリフレッシュは制限される。

図４は、上述したＨ．２６４規格で策定されているイントラリフレッシュを行う予測モードを示している。イントラリフレッシュを行う対象の画素は、４×４画素（サブブロック）である。このサブブロックは、マクロブロックに含まれる。

図４の例では、イントラリフレッシュが行われていない画素を未リフレッシュ画素と表記している。また、イントラリフレッシュが行われる際に未リフレッシュ画素が参照する画素を参照画素と表記している。図４の例において、参照画素には網掛けが施されており、未リフレッシュ画素には網掛けが施されていない。

図４の例では、予測モード３および７以外の予測モードでは、サブブロックの各画素が参照する参照画素は未リフレッシュ領域に含まれない。一方、予測モード３および７では、サブブロックの各画素のうち複数画素が参照する参照画素は未リフレッシュ領域に含まれる。

未リフレッシュ領域の各画素は、イントラリフレッシュが行われていない。このため、予測モード３および７では、リフレッシュ境界に接するサブブロックがイントラリフレッシュを行うことが制限される。

図５は、多視点動画像符号化における参照関係の一例を示している。図５の例において、「Ｉ」はＩフレーム（Intra-Coded Frame）を示している。Ｉフレームは、イントラ予測により予測符号化されるフレームである。

「Ｐ」はＰフレーム（Predicted Frame）を示している。Ｐフレームは、インター予測により予測符号化されるフレームである。Ｐフレームは、前の時刻のフレーム（過去のフレーム）を参照して予測符号化が行われるフレームである。

「Ｂ」はＢフレーム（Bi-direction Frame）を示している。Ｂフレームは、インター予測により予測符号化されるフレームである。Ｂフレームは、前の時刻のフレーム、後の時刻のフレームまたは前後の時刻のフレームを参照して予測符号化が行われるフレームである。

左目画像は、ＩフレームとＢフレームとＢフレームとＰフレームとが１周期になっている。右目画像は、ＰフレームとＢフレームとＢフレームとＰフレームとが１周期になっている。また、右目画像のリフレッシュは、リフレッシュ済みの左目画像を参照して行われる。これにより、ビュー間予測符号化が行われる。

図５の例では、右目画像のリフレッシュは、インター予測またはビュー間予測により行われる。従って、エラーの伝播の可能性があるため、動画像をエラーから早期に回復させるために、右目画像に対してイントラ予測を行ったフレーム（以下、イントラフレームと称する）が挿入される。このため、挿入されるイントラフレームのために情報量が多くなる。

図２の例のように、左目画像と右目画像とにそれぞれ独立してイントラリフレッシュを行えば、イントラフレームを挿入しなくてもよい。ただし、左目画像と右目画像とにそれぞれ独立にイントラリフレッシュが行われるため、符号量が増大する。このため、符号化効率が低下する。

そこで、実施形態では、図６に示すように、左目画像符号化部１０Ｌは、左目画像の所定の幅を有する領域をリフレッシュ領域Ｌとして、該リフレッシュ領域Ｌに対してイントラリフレッシュを行う。時刻Ｔにおいて、左目画像符号化部１０Ｌは、リフレッシュ領域Ｌに対してイントラリフレッシュを行う。

右目画像符号化部１０Ｒは、同じ時刻Ｔの左目画像のリフレッシュ領域Ｌよりも狭い幅の領域をリフレッシュ領域Ｒとして、該リフレッシュ領域Ｒに対してビュー間予測符号化を行う。時刻Ｔにおけるリフレッシュ領域Ｒの幅は、左目画像と右目画像との視差に基づく。

左目画像符号化部１０Ｌと右目画像符号化部１０Ｒとは、経時的に同じ方向にリフレッシュ領域をずらしてリフレッシュを行う。このとき、リフレッシュ領域Ｒは、上記の視差に基づく幅分だけ、リフレッシュ領域Ｌよりも遅れている。

右目画像符号化部１０Ｒは、左目画像符号化部１０Ｌが時刻Ｔの左目画像のリフレッシュ領域Ｌのうちリフレッシュ領域Ｒに相当する領域に対してイントラリフレッシュを行った後に、リフレッシュ領域Ｒに対してビュー間予測符号化を行う。

これにより、右目画像符号化部１０Ｒがリフレッシュ領域Ｒのうち、リフレッシュ境界に接するサブブロックのリフレッシュを行うときには、既に左目画像符号化部１０Ｌは、リフレッシュ境界を越えた領域に対してイントラリフレッシュを行っている可能性が高い。

このため、右目画像のリフレッシュ境界に接するサブブロックはリフレッシュ済みの画素を参照する可能性が高くなる。よって、右目画像符号化部１０Ｒは、イントラリフレッシュが制限されているサブブロックに対して、ビュー間予測符号化を行うことができる。

時刻Ｔ＋１において、左目画像符号化部１０Ｌは、左目画像に対して、時刻Ｔにおいてリフレッシュしたリフレッシュ領域Ｌから該リフレッシュ領域Ｌの幅分をずらした領域を時刻Ｔ＋１のリフレッシュ領域Ｌに設定する。そして、左目画像符号化部１０Ｌは、設定したリフレッシュ領域Ｌに対してイントラリフレッシュを行う。

時刻Ｔ＋１において、右目画像符号化部１０Ｒは、右目画像に対して、時刻Ｔにおいてリフレッシュしたリフレッシュ領域Ｒから左目画像のリフレッシュ領域Ｌの幅分をずらした領域を時刻Ｔ＋１のリフレッシュ領域Ｒに設定する。

このとき、右目画像符号化部１０Ｒは、時刻Ｔ＋１のリフレッシュ領域Ｒの幅をリフレッシュ領域Ｌの幅と同じ幅に設定する。これにより、時刻Ｔ＋１のリフレッシュ領域Ｒとリフレッシュ領域Ｌとは同じ大きさになる。

時刻Ｔ＋１以降、左目画像符号化部１０Ｌは、指定領域（図６において、太線で囲まれた領域）を設定する。指定領域は、右目画像符号化部１０Ｒが現在のフレームと過去の１以上のフレームとにおいてイントラリフレッシュを行った領域である。

時刻Ｔ＋１以降、右目画像符号化部１０Ｒは、指定領域を参照して、設定したリフレッシュ領域Ｌに対してビュー間参照によるリフレッシュを行う。右目画像のリフレッシュ境界は、指定領域の先端よりも遅れている。

よって、右目画像符号化部１０Ｒがビュー間予測符号化を行うときに、リフレッシュ領域Ｒのリフレッシュ境界に接するサブブロックにイントラリフレッシュの制限があったとしても、サブブロックをリフレッシュできる。

＜実施形態の具体例＞
次に、図７を参照して、実施形態の具体例について説明する。左目画像および右目画像の幅方向をＸ方向とし、幅方向に直交する方向をＹ方向とする。また、左目画像および右目画像の両端のうち、最初にリフレッシュ領域が設定される端部を最後端とし、反対側の端部を最先端とする。

左目画像符号化部１０Ｌの符号化制御部２３Ｌは、イントラ予測を行うとき、フレーム内予測部２２Ｌが接続されるように切り替え部２４Ｌを制御する。フレーム内予測部２２Ｌは、左目画像のうち最後端から幅ｎの領域をリフレッシュ領域Ｌに設定する。

そして、フレーム内予測部２２Ｌは、最後端から最先端に向けて、フレームごとに、順次イントラリフレッシュを行う。これにより、フレーム内予測部２２Ｌは、左目画像に対してイントラリフレッシュを行う。

右目画像符号化部１０Ｒの領域設定部２５は、リフレッシュ領域Ｒの幅ａを設定する。この幅ａは、左目画像と右目画像との視差に基づく。多視点動画像では、複数の視点で被写体を撮影する。従って、左目画像と右目画像との間に視差を生じる。

例えば、領域設定部２５は、時刻Ｔにおいて、左目画像と右目画像とを比較して、視差に基づくずれ量を求めてもよい。左目画像と右目画像とは、同じ被写体を撮影しているため、領域設定部２５は、２つの画像を比較することで、ずれ量を視差として求めることができる。領域設定部２５は、求めたずれ量を幅ａに設定してもよい。

幅ｎは幅ａよりも大きいものとする。従って、時刻Ｔにおいて、リフレッシュ領域Ｌはリフレッシュ領域Ｒよりも広い。右目画像符号化部１０Ｒは、左目画像のうちリフレッシュ済みのリフレッシュ領域Ｌを参照して、ビュー間予測符号化を行う。

右目画像符号化部１０Ｒがビュー間予測符号化を行う場合、切り替え部２４Ｒは動き補償部２１Ｒに接続される。動き検出部２０Ｒは、左目画像符号化部１０Ｌのフレームメモリ１９Ｌの左目画像を参照して、ビュー間予測符号化を右目画像のうちリフレッシュ領域Ｒに対して行う。

時刻Ｔ＋１において、フレーム内予測部２２Ｌは、左目画像のうち幅ｎのリフレッシュ領域Ｌに対してイントラリフレッシュを行う。左目画像符号化部１０Ｌは、現在のフレームのリフレッシュ領域Ｌと１以上の過去のフレームのリフレッシュ済み領域とを含む指定領域を設定する。なお、指定領域は、リフレッシュ領域Ｌの先端から最後端までの領域としてもよい。

右目画像符号化部１０Ｒの領域設定部２５は、左目画像の指定領域のうち幅ｎの領域をリフレッシュ領域Ｒに設定する。リフレッシュ領域Ｒは、最後端から幅ａをずらした位置から幅ｎの領域になる。

動き検出部２０Ｒは、右目画像のうち領域設定部２５が設定したリフレッシュ領域Ｒに対して、左目画像の指定領域を参照したビュー間予測符号化を行う。これにより、動き検出部２０Ｒは、時刻Ｔ＋１における右目画像のリフレッシュ領域Ｒを行う。

時刻Ｔ＋Ｔ１において、リフレッシュ領域Ｌは左目画像を一巡して、再び最初に設定された位置に戻っている。図７の例の場合、指定領域は分割されている。指定領域の一部は最後端から幅ｎの領域になり、残りは最先端から所定幅の領域になる。

時刻Ｔ＋Ｔ１において、左目画像の指定領域に対応して、右目画像のリフレッシュ領域Ｒも分割されている。領域設定部２５は、左目画像の指定領域に基づいて、左目画像の最先端から幅「ｎ−ａ」の領域と最後端から幅ａの領域とをリフレッシュ領域Ｒに設定する。

動き検出部２０Ｒは、時刻Ｔ＋Ｔ１における左目画像の指定領域を参照して、ビュー間予測符号化を行う。これにより、時刻Ｔ＋Ｔ１における右目画像のリフレッシュ領域Ｒのリフレッシュが行われる。

従って、右目画像符号化部１０Ｒは、左目画像符号化部１０Ｌよりも幅ａの分だけ遅れてリフレッシュを行う。この幅ａは、左目画像と右目画像との視差に基づいている。右目画像符号化部１０Ｒは、左目画像のうちイントラリフレッシュ済みの指定領域を参照して、ビュー間予測符号化を行う。

このため、右目画像符号化部１０Ｒは、イントラリフレッシュを行うことなく、右目画像をリフレッシュすることができる。従って、左目画像と右目画像とのそれぞれに対して、イントラリフレッシュが行われないため、符号化効率が向上する。

また、右目画像符号化部１０Ｒは、同じ時刻の左目画像の指定領域を参照して、ビュー間予測符号化を行っている。従って、右目画像符号化部１０Ｒは、イントラフレームを挿入しなくても、右目画像のリフレッシュを行うことができる。このため、イントラフレームが挿入されないため、発生する情報量が抑制される。

＜実施形態のフローチャート＞
次に、図８乃至図１０のフローチャートを参照して、実施形態の処理の流れを説明する。左目画像符号化部１０Ｌの符号化制御部２３Ｌは、左目画像のうち、リフレッシュ領域Ｌを設定する（ステップＳ１）。例えば、符号化制御部２３Ｌは、左目画像のＸ方向の幅を複数に等分して、等分した幅ｎの領域をリフレッシュ領域Ｌに設定してもよい。

符号化制御部２３Ｌは、リフレッシュ領域Ｌの全ての領域に符号化ブロックを設定する（ステップＳ２）。例えば、符号化制御部２３Ｌは、符号化ブロックを４×４画素のサブブロックに設定してもよい。

左目画像符号化部１０Ｌは、左目画像内の全ての符号化ブロックについて、ラスタスキャン順で予測符号化を行うループを開始する（ステップＳ３）。符号化制御部２３Ｌは、符号化ブロックがイントラリフレッシュの制限対象になっているか否かを判定する（ステップＳ４）。

上述したように、符号化ブロックが未リフレッシュ領域の画素を参照するイントラ予測符号化（イントラリフレッシュ）は制限される。従って、符号化ブロックがイントラリフレッシュの制限対象になっている場合（ステップＳ４でＹＥＳ）、フレーム内予測部２２Ｌは、リフレッシュ済み領域を参照したイントラ予測符号化を行う（ステップＳ５）。

このため、ステップＳ４でＹＥＳの場合、符号化制御部２３Ｌは、切り替え部２４Ｌがフレーム内予測部２２Ｌに接続されるように制御を行う。一方、符号化ブロックがイントラリフレッシュの制限対象になっていない場合（ステップＳ４でＮＯ）、符号化制御部２３Ｌは、インター符号化またはイントラ符号化を行うように制御する（ステップＳ５）。

例えば、符号化ブロックがリフレッシュ領域Ｌの内側にある場合、符号化制御部２３Ｌは、切り替え部２４Ｌがフレーム内予測部２２Ｌに接続される制御を行う。これにより、フレーム内予測部２２Ｌは、リフレッシュ領域Ｌの内側にある符号化ブロックに対して、イントラ符号化を行う。

また、符号化ブロックがリフレッシュ領域Ｌの外側にある場合、符号化制御部２３Ｌは、切り替え部２４Ｌが動き補償部２１Ｌに接続される制御を行う。これにより、動き検出部２０Ｌは、リフレッシュ領域Ｌの外側にある符号化ブロックに対して、時間的に前後するフレームを参照したインター符号化を行う。

左目画像符号化部１０Ｌは、左目画像の１画像内の全ての符号化ブロックについて、ステップＳ５またはステップＳ６の処理が実行されるようにループ制御を行う（ステップＳ７）。ステップＳ３〜ステップＳ７のループが終了すると、処理は次のステップに進む。

右目画像符号化部１０Ｒの領域設定部２５は、右目画像のリフレッシュ領域Ｒを設定する（ステップＳ８）。領域設定部２５は、設定したリフレッシュ領域Ｒの内側の全ての領域にリフレッシュ対象の符号化ブロックを設定する（ステップＳ９）。そして、処理は「Ａ」に進む。

右目画像のリフレッシュ領域Ｒの設定について、図９のフローチャートを参照して説明する。領域設定部２５は、左目画像符号化部１０Ｌが設定するリフレッシュ領域Ｌが最初に左目画像に設定するリフレッシュ領域Ｌであるか否かを判定する（ステップＳ１１）。

リフレッシュ領域Ｌが最初に設定するリフレッシュ領域Ｌである場合（ステップＳ１１でＹＥＳ）、領域設定部２５は、右目画像のリフレッシュ領域Ｒの幅ａを設定する（ステップＳ１２）。この幅ａは、左目画像と右目画像との視差に基づく幅であり、実施形態では、固定値である。

領域設定部２５は、左目画像のリフレッシュ領域Ｌが最後端に設定されているか否かを判定する（ステップＳ１３）。左目画像のリフレッシュ領域Ｌが最後端に設定されている場合（ステップＳ１３でＹＥＳ）、指定領域は、最後端からの所定領域と最先端までの所定領域とに分割されている。

従って、領域設定部２５は、右目画像のリフレッシュ領域Ｒの幅を最後端から幅ａの領域と最先端までの幅「ｎ−ａ」の領域とに分割して設定する（ステップＳ１４）。左目画像のリフレッシュ領域Ｌが最後端に設定されていない場合（ステップＳ１３でＮＯ）、領域設定部２５は、右目画像のリフレッシュ領域Ｒの幅をｎに設定する（ステップＳ１５）。

「Ａ」以降の処理について、図１０を参照して説明する。右目画像符号化部１０Ｒは、右目画像内の全ての符号化ブロックについて、ラスタスキャン順で予測符号化を行うループを開始する（ステップＳ２０）。

符号化制御部２３Ｒは、符号化ブロックがイントラリフレッシュの制限対象になっているか否かを判定する（ステップＳ２１）。符号化ブロックがイントラリフレッシュの制限対象になっている場合（ステップＳ２１でＹＥＳ）、右目画像符号化部１０Ｒは、左目画像の指定領域内の符号化ブロックについてビュー間予測符号化を行う（ステップＳ２２）。

この場合、右目画像符号化部１０Ｒの符号化制御部２３Ｒは、切り替え部２４Ｒが動き補償部２１Ｒに接続される制御を行う。これにより、右目画像符号化部１０Ｒは、左目画像の指定領域を参照したビュー間予測符号化を行う。

また、ステップＳ２１でＹＥＳの場合、右目画像符号化部１０Ｒは、リフレッシュ済み領域を参照したイントラ予測符号化を行ってもよい。この場合、符号化制御部２３Ｒは、切り替え部２４Ｒがフレーム内予測部２２Ｒに接続される制御を行う。

符号化ブロックがイントラリフレッシュの制限対象になっていない場合（ステップＳ２１でＮＯ）、右目画像符号化部１０Ｒは任意の方式（イントラ予測符号化、インター予測符号化またはビュー間予測符号化）で予測符号化を行う（ステップＳ２３）。

右目画像符号化部１０Ｒがイントラ予測符号化で右目画像の予測符号化を行う場合、符号化制御部２３Ｒは、切り替え部２４Ｒがフレーム内予測部２２Ｒに接続される制御を行う。

右目画像符号化部１０Ｒがインター予測符号化またはビュー間予測符号化で右目画像の予測符号化を行う場合、符号化制御部２３Ｒは、切り替え部２４Ｒが動き補償部２１Ｒに接続される制御を行う。

右目画像符号化部１０Ｒは、右目画像の１画像内の全ての符号化ブロックについて、ステップＳ２２またはステップＳ２３の処理が実行させるようにループ制御を行う（ステップＳ３７）。ステップＳ２１〜ステップＳ２４のループが終了すると、処理は終了する。

＜変形例の動画像符号化装置の一例＞
次に、図１１を参照して、変形例の動画像符号化装置の一例について説明する。変形例の動画像符号化装置１のうち、上述した動画像符号化装置１と共通している機能の説明は省略する。

図１１の例に示されるように、変形例の動画像符号化装置１の右目画像符号化部１０Ｒは、候補領域設定部２６と保持部２７と統計部２８とを備えている。候補領域設定部２６は、右目画像のうち右目画像符号化部１０Ｒが予測符号化を行うリフレッシュ領域Ｒの候補を設定する。以下、リフレッシュ領域Ｒの候補をリフレッシュ候補領域と称することがある。

保持部２７は、ビュー間予測ベクトルを符号化ブロック単位で保持する。動き検出部２０Ｒは、ビュー間予測符号化を行う。保持部２７は、過去に動き検出部２０Ｒがビュー間予測符号化を行ったときの予測ベクトルを１以上のフレームについて保持する。ビュー間予測符号化を行ったときの予測ベクトルは、左目画像と右目画像との視差を示している。

統計部２８は、保持部２７が保持する過去の１以上のフレームの各符号化ブロックの予測ベクトルについて、統計処理を行う。統計部２８が統計処理を行った結果を評価値とする。従って、評価値は、予測ベクトルに対して統計処理を行った値であるため、左目画像と右目画像との視差を示す値になる。

統計部２８は、直前の１フレームの各符号化ブロックの予測ベクトルの統計処理を行ってもよい。ただし、サンプル数が多いほど、統計処理の精度は向上する。このため、統計部２８は、過去の複数フレームの各符号化ブロックの予測ベクトルの統計処理を行うことが好ましい。

例えば、統計部２８は、過去の複数フレームの各符号化ブロックの予測ベクトルの平均値を評価値としてもよい。また、統計部２８は、過去の複数フレームの各符号化ブロックの予測ベクトルの最大値を評価値としてもよい。

＜変形例の具体例＞
次に、図１２乃至図１４を参照して、変形例の具体例について説明する。図１２において、右目画像符号化部１０Ｒの候補領域設定部２６は、リフレッシュ候補領域（図中で太線の破線で囲まれた領域）の幅ｃを設定する。ここで、図１３に示すように、左目画像符号化部１０Ｌが左目画像に対してイントラリフレッシュを行うリフレッシュ領域Ｌの先端から左目画像の最後端までの幅をｘｎとする。

この幅ｘｎの領域は、左目画像のうち、リフレッシュ領域Ｌと既にイントラリフレッシュが行われたリフレッシュ済み領域との領域である。また、右目画像のうち、リフレッシュが行われたリフレッシュ済み領域の幅をｂとする。

候補領域設定部２６は、リフレッシュ候補領域の幅ｃを「ｃ＝ｘｎ―ｂ」に設定する。図１２は、リフレッシュ領域を設定する最初の時刻Ｔにおける左目画像のリフレッシュ領域Ｌおよび右目画像のリフレッシュ領域Ｒを示している。

上述した実施形態と同様に、最初の時刻Ｔにおいて、左目画像符号化部１０Ｌは、左目画像の最後端から幅ｎの領域をリフレッシュ領域Ｌに設定する。最初の時刻Ｔにおいて、左目画像にはリフレッシュ済み領域がない。

幅ｘｎは、リフレッシュ領域Ｌとリフレッシュ済み領域との領域である。そして、最初の時刻Ｔにおいて、左目画像にリフレッシュ済み領域はない。よって、幅ｘｎは、左目画像に設定されたリフレッシュ領域Ｌの幅ｎになる。

また、最初の時刻Ｔにおいて、右目画像にリフレッシュ済み領域はない。よって、候補領域設定部２６は、リフレッシュ候補領域の幅ｃを「ｃ＝ｘｎ−ｂ＝ｎ」に設定する。また、最初の時刻Ｔにおいて、領域設定部２５は、左目画像と右目画像との視差に基づく幅ａをリフレッシュ領域Ｒの幅ｍに設定する。

次に、図１３を参照して、時刻Ｔ＋Ｔ２における左目画像のリフレッシュ領域Ｌおよび右目画像のリフレッシュ領域Ｒについて説明する。時刻Ｔ＋Ｔ２において、左目画像のリフレッシュ領域Ｌは、時刻ＴのときよりもＸ方向に進んでいる。

幅ｘｎは、リフレッシュ領域Ｌとリフレッシュ済み領域との領域の幅である。よって、リフレッシュ済み領域の幅は「ｘｎ―ｎ」になる。指定領域は、幅ｘｎの全ての領域としてもよい。

右目画像符号化部１０Ｒの候補領域設定部２６は、リフレッシュ候補領域の幅ｃを設定する。時刻Ｔ＋Ｔ２の時点において、右目画像のリフレッシュ済み領域の幅ｂがあるものとする。

従って、候補領域設定部２６は、リフレッシュ候補領域の幅ｃ（＝ｘｎ―ｂ）を設定する。領域設定部２５は、候補領域設定部２６が設定したリフレッシュ候補領域の幅ｃに基づいて、フレームごとに、リフレッシュ領域Ｒを設定する。

領域設定部２５は、リフレッシュ領域Ｒの幅ｍを「ｍ＝ｃ−ｖ」に設定する。幅ｃは、リフレッシュ候補領域の幅である。幅ｖは、統計部２８が統計処理を行った評価値に基づく幅である。

統計部２８は、保持部２７が符号化ブロック単位で保持する保持する予測ベクトルに対して統計処理を行い、評価値を得る。この評価値は、過去のフレームにおいて、ビュー間予測符号化を行ったときの予測ベクトルに基づく値である。従って、評価値は、過去の左目画像と右目画像との視差に基づく値になる。

そこで、領域設定部２５は、フレームごとに、評価値に基づく幅ｖを反映したリフレッシュ領域Ｒの幅ｍを設定する。上述したように、リフレッシュ領域Ｒの幅ｍは、リフレッシュ候補領域の幅ｃから評価値に基づく幅ｖを減算した幅になる。

評価値に基づく幅ｖは、左目画像と右目画像との視差を反映した値になる。よって、領域設定部２５はリフレッシュ領域Ｒの幅ｍを「ｍ＝ｃ−ｖ」と設定することで、リフレッシュ領域Ｒの幅ｍは、左目画像と右目画像との視差に応じた可変値になる。

これにより、右目画像のリフレッシュ領域Ｒの幅ｎは、左目画像のリフレッシュ領域Ｌの幅ｎに同期するため、右目画像符号化部１０Ｒは、左目画像のリフレッシュ済み領域を参照して、右目画像のリフレッシュを行うことができる。

図１４は、時刻Ｔ＋Ｔ３の時点のリフレッシュ領域Ｌおよびリフレッシュ領域Ｒの一例を示している。左目画像符号化部１０Ｌは、左目画像に対してイントラ符号化によるリフレッシュを行い、時刻Ｔ＋Ｔ３の時点で、左目画像を一巡して、リフレッシュ領域Ｌは左目画像の最後端に戻っている。

上述した実施形態で説明したように、左目画像符号化部１０Ｌは、左目画像の最後端から一部の領域と最先端までの一部の領域とに指定領域を分割する。この場合、右目画像符号化部１０Ｒの候補領域設定部２６は、右目画像のリフレッシュ候補領域の幅ｃを左目画像のリフレッシュ領域Ｌの幅ｎと同じ幅に設定する。

また、領域設定部２５は、リフレッシュ候補領域の幅ｃを幅ｖと幅ｍとに分割し、幅ｖの領域を右目画像の最先端までの領域に設定し、幅ｍの領域を右目画像の最後端からの領域に設定する。

ここで、幅ｖの領域は、対応する左目画像の指定領域に含まれる。よって、右目画像符号化部１０Ｒは、幅ｖの領域に対応する左目画像の指定領域を参照して、ビュー間予測符号化を行うことができる。

領域設定部２５は、幅ｖの領域をリフレッシュ領域Ｒの一部の領域に設定する。なお、幅ｖは、評価値に基づく幅である。一方、領域設定部２５は、幅ｍ（ｍ＝ｃ−ｖ）の領域もリフレッシュ領域Ｒの一部の領域に設定する。幅ｍは幅ｎより狭い。

従って、右目画像符号化部１０Ｒは、幅ｍに対応する左目画像の指定領域を参照してビュー間予測符号化を行うことができる。そこで、領域設定部２５は、幅ｍの領域をリフレッシュ領域Ｒの一部の領域に設定する。

従って、時刻Ｔ＋Ｔ３において、左目画像の指定領域が分割されて、リフレッシュ領域Ｌが左目画像の最後端に接している場合、領域設定部２５は、左目画像のリフレッシュ領域Ｌと同じ幅ｎの領域をリフレッシュ領域Ｒに設定する。この場合、リフレッシュ領域Ｒの幅は、最も広くなる。

上述したように、領域設定部２５は、動画像データの各時刻のフレームごとに、右目画像のリフレッシ領域Ｒの大きさを、左目画像と右目画像との視差に基づいて、変化させている。このため、右目画像符号化部１０Ｒは、右目画像のリフレッシュ領域Ｒにビュー間参照符号化を行うとき、左目画像のうちリフレッシュ済みの領域を参照する可能性を高くすることができる。

＜変形例のフローチャート＞
次に、変形例のフローチャートについて説明する。変形例の処理は、実施形態の各処理のうち、右目画像のリフレッシュ領域Ｒを設定する処理が実施形態の処理と異なる。つまり、変形例では、図８のステップＳ８の処理が実施形態の処理と異なる。

右目画像のリフレッシュ領域Ｒを設定する処理以外の各種の処理は、実施形態で説明した処理と同様である。よって、実施形態と同様の処理については、変形例では説明を省略する。

変形例における右目画像のリフレッシュ領域Ｒの設定処理について説明する。領域設定部２５は、左目画像符号化部１０Ｌが設定するリフレッシュ領域Ｌが最初に左目画像に設定するリフレッシュ領域Ｌであるか否かを判定する（ステップＳ３１）。

リフレッシュ領域Ｌが最初に設定するリフレッシュ領域Ｌである場合（ステップＳ３１でＹＥＳ）、領域設定部２５は、右目画像のリフレッシュ領域Ｒの幅ａを設定する（ステップＳ３２）。この幅ａは、左目画像と右目画像との視差に基づく幅である。

候補領域設定部２６は、左目画像のリフレッシュ領域Ｌが最後端に設定されているか否かを判定する（ステップＳ３３）。左目画像のリフレッシュ領域Ｌが最後端に設定されていない場合（ステップＳ３３でＮＯ）、候補領域設定部２６は、右目画像のリフレッシュ候補領域の幅ｃを設定する（ステップＳ３４）。

候補領域設定部２６は、幅ｘｎから幅ｂを減算することで、幅ｃを得る。そして、候補領域設定部２６は、幅ｃの領域を右目画像のリフレッシュ候補領域に設定する。領域設定部２５は、幅ｃから評価値に基づく幅ｖを減算した幅に対応する領域をリフレッシュ領域Ｒに設定する（ステップＳ３５）。

左目画像のリフレッシュ領域Ｌが最後端に設定されていると候補領域設定部２６が判定した場合（ステップＳ３３でＹＥＳ）、候補領域設定部２６は、右目画像のリフレッシュ候補領域の幅ｃを幅ｎと同じ幅に設定する（ステップＳ３６）。

そして、領域設定部２５は、右目画像のリフレッシュ領域Ｒの一部の領域の幅を評価値に基づく幅ｖと同じ幅に設定する（ステップＳ３７）。また、領域設定部２５は、右目画像の最先端から幅ｖの領域をリフレッシュ領域Ｒの一部の領域に設定する。

領域設定部２５は、右目画像のリフレッシュ領域Ｒの一部の領域の幅を、リフレッシュ候補領域の幅ｃから評価値に基づく幅ｖを減算した幅に設定する（ステップＳ３８）。また、領域設定部２５は、右目画像の最後端から幅「ｃ−ｖ」の領域をリフレッシュ領域Ｒの一部の領域に設定する。

＜動画像符号化装置のハードウェア構成の一例＞
次に、図１６の例を参照して、動画像符号化装置１のハードウェア構成の一例を説明する。図１６の例に示すように、バス１００に対して、プロセッサ１１１とＲＡＭ１１２とＲＯＭ１１３と補助記憶装置１１４と媒体接続部１１５と通信インタフェース１１６とが接続されている。

プロセッサ１１１は任意の処理回路である。プロセッサ１１１はＲＡＭ１１２に展開されたプログラムを実行する。実行されるプログラムとしては、実施形態の処理を行うプログラムを適用してもよい。ＲＯＭ１１３はＲＡＭ１１２に展開されるプログラムを記憶する不揮発性の記憶装置である。

補助記憶装置１１４は、種々の情報を記憶する記憶装置であり、例えばハードディスクドライブや半導体メモリ等を補助記憶装置１１４に適用してもよい。媒体接続部１１５は、可搬型記録媒体１１８と接続可能に設けられている。

可搬型記録媒体１１８としては、可搬型のメモリや光学式ディスク（例えば、Compact Disc(CD)やDigital Versatile Disc(DVD)、半導体メモリ等）を適用してもよい。この可搬型記録媒体１１８に実施形態の処理を行うプログラムが記録されていてもよい。

動画像符号化装置１の各部は、プロセッサ１１１が所定のプログラムを実行することにより実現されてもよい。また、動画像符号化装置１の各部はＦＰＧＡ等により実現されてもよい。ＦＰＧＡは、Field Programmable Gate Arrayの略称であり、プログラム可能な半導体集積回路である。

ＲＡＭ１１２、ＲＯＭ１１３、補助記憶装置１１４および可搬型記録媒体１１８は、何れもコンピュータ読み取り可能な有形の記憶媒体の一例である。これらの有形な記憶媒体は、信号搬送波のような一時的な媒体ではない。

＜その他＞
本実施形態は、以上に述べた実施の形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。

１ 動画像符号化装置
１０Ｌ 左目画像符号化部
１１Ｌ 右目画像符号化部
２０Ｌ、２０Ｒ 動き検出部
２２Ｌ、２２Ｒ フレーム内予測部
２３Ｌ、２３Ｒ 符号化制御部
２４Ｌ、２４Ｒ 切り替え部
２５ 領域決定部
２６ 候補領域決定部
２７ 保持部
２８ 統計部
１１１ プロセッサ
１１２ ＲＡＭ
１１３ ＲＯＭ

Claims (7)

1. 基準画像に対して、フレームごとに所定領域をずらしながら前記基準画像内で第１の予測符号化を行う第１の予測符号化部と、
   非基準画像のうち、前記基準画像に対して前記第１の予測符号化が行われた第１の領域に対応する第２の領域を、前記基準画像と前記非基準画像との視差に基づいてフレームごとに設定する領域設定部と、
   前記非基準画像のうち、前記領域設定部が設定した前記第２の領域に対して、前記基準画像の前記第１の領域を参照した第２の予測符号化を行う第２の予測符号化部と、
   を備える動画像符号化装置。
2. 前記第２の予測符号化部は、前記第１の予測符号化部が行う第１の予測符号化と同じ方向に第２の予測符号化を行い、
   前記領域設定部は、前記第１の領域に対して、前記視差に基づく幅分を遅らせた領域を前記第２の領域に設定する、
   請求項１記載の動画像符号化装置。
3. 前記領域設定部は、前記第１の領域を最初に設定した位置に再び前記第１の領域を設定した場合、前記第２の領域を前記非基準画像の両端に接する２つの領域に分割する、
   請求項１または２記載の動画像符号化装置。
4. 前記領域設定部は、前記基準画像と前記非基準画像との視差に基づく予測ベクトルに対して統計処理を行った評価値に基づいて、フレームごとに前記第２の領域の大きさを変化させる、
   請求項１乃至３のうち何れか１項に記載の動画像符号化装置。
5. 前記領域設定部は、前記予測ベクトルのうち最大値または前記予測ベクトルの平均値を前記評価値とする、
   請求項４記載の動画像符号化装置。
6. 基準画像に対して、フレームごとに所定領域をずらしながら前記基準画像内で第１の予測符号化を行い、
   非基準画像のうち、前記基準画像に対して前記第１の予測符号化が行われた第１の領域に対応する第２の領域を、前記基準画像と前記非基準画像との視差に基づいてフレームごとに設定し、
   前記非基準画像のうち、前記領域設定部が設定した前記第２の領域に対して、前記基準画像の前記第１の領域を参照した第２の予測符号化を行う、
   処理をコンピュータが実行する動画像符号化方法。
7. 基準画像に対して、フレームごとに所定領域をずらしながら前記基準画像内で第１の予測符号化を行い、
   非基準画像のうち、前記基準画像に対して前記第１の予測符号化が行われた第１の領域に対応する第２の領域を、前記基準画像と前記非基準画像との視差に基づいてフレームごとに設定し、
   前記非基準画像のうち、前記領域設定部が設定した前記第２の領域に対して、前記基準画像の前記第１の領域を参照した第２の予測符号化を行う、
   処理をコンピュータに実行させるための動画像符号化プログラム。

Images