JP2012222670A

JP2012222670A - 画像符号化装置

Info

Publication number: JP2012222670A
Application number: JP2011087768A
Authority: JP
Inventors: Kimio Shiozawa; 公男塩澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-04-11
Filing date: 2011-04-11
Publication date: 2012-11-12
Anticipated expiration: 2031-04-11
Also published as: JP5794668B2

Abstract

【課題】
視差の異なる主画像と副画像を効率良く符号化する。
【解決手段】
主撮像部（１０１）と副撮像部（１１２）は同じ被写体を撮像する。符号化部（１００）は主撮像部（１０１）からの主画像データを動き補償予測符号化する。視差検出部（１１３）は主撮像部（１０１）の主画像データと副撮像部（１１２）の副画像データから視差を検出する。視差補償部（１１４）は、検出された視差に従いフレームメモリ（１１０）のローカルデコード画像データを視差補償し、視差補償画像データをフレームメモリ（１１５）に格納する。動き補償部（１１１）は、主画像データに対し、ローカルデコード画像データを動き補償して予測画像データを生成し、副画像データに対して、主撮像部（１０１）及び副撮像部（１１２）の撮像条件に従いローカルデコード画像データ及び視差補償画像データの一方を動き補償して予測画像データを生成する。
【選択図】図１

Description

本発明は、画像符号化装置に関し、より具体的には、視差の異なる２つの画像を符号化する画像符号化装置に関する。

右目用と左目用に視差の異なる２つの画像を、対応する目で観察するように構成することで、立体視を実現できる。そのような２つの画像（一方を主画像とし、他方を副画像とする）を符号化する方法として、主画像と副画像の視差補償のみを行い符号化する構成、副画像を動き補償符号化する構成及び両者を組み合わせる構成が知られている（特許文献１−３）。

特開平０２−０５０６８９号公報特開平０７−２４０９４４号公報特開平１０−０２８２７４号公報

従来の技術では、副画像の動き補償を行う際に、符号化対象の映像シーンに関わらず、主画像と副画像を用いて動き補償を行っており、処理が煩雑になる。

本発明は、視差の異なる主画像と副画像を効率良く符号化する画像符号化装置を提示することを目的とする。

上記目的を達成するために、本発明に係る画像符号化装置は、同じ被写体を撮像する主撮像部及び副撮像部を有する撮像手段と、前記主撮像部から出力される主画像データを、予測画像データを使って動き補償予測符号化する符号化手段と、前記符号化手段により符号化された画像データを復号化し、ローカルデコード画像データを出力する復号化手段と、前記主撮像部と前記副撮像部との視差を検出する視差検出手段と、前記視差検出手段により検出される前記視差に従い、前記復号化手段の前記ローカルデコード画像を視差補償し、視差補償画像データを生成する視差補償手段と、前記主画像データの符号化に対しては、前記復号化手段のローカルデコード画像データを動き補償して前記予測画像データを生成し、前記副撮像部から出力される副画像データに対しては、前記主撮像部及び前記副撮像部から供給される撮像情報に従って前記復号化手段のローカルデコード画像データ又は前記視差補償画像データを選択して動き補償して前記予測画像データを生成する動き補償手段とを具備することを特徴とする。
また、上記目的を達成するために、本発明に係る他の画像符号化装置は、同じ被写体を撮像する主撮像部及び副撮像部を有する撮像手段と、前記被写体までの距離を検出する検出手段と、前記主撮像部から出力される主画像データを、予測画像データを使って動き補償予測符号化する符号化手段と、前記符号化手段により符号化された画像データを復号化し、ローカルデコード画像データを出力する復号化手段と、前記主撮像部と前記副撮像部との視差を検出する視差検出手段と、前記視差検出手段により検出される前記視差に従い、前記復号化手段の前記ローカルデコード画像を視差補償し、視差補償画像データを生成する視差補償手段と、前記主画像データの符号化に対しては、前記復号化手段のローカルデコード画像データを動き補償して前記予測画像データを生成し、前記副撮像部から出力される副画像データに対しては、前記検出手段によって検出される前記被写体までの距離に従って前記復号化手段のローカルデコード画像データ又は前記視差補償画像データを選択して動き補償して前記予測画像データを生成する動き補償手段
とを具備することを特徴とする。

本発明によれば、映像に応じて立体映像を効率的に符号化することができる。

本発明の一実施例の概略構成ブロック図である。２つの撮像部の配置と画像例である。本実施例における動き補償の参照関係を示す模式図である。別の動き補償動作を説明する画像例である。別の動き補償動作における参照関係を示す模式図である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る画像符号化装置の一実施例の概略構成ブロック図を示す。主撮像部１０１と副撮像部１１２は、同じ被写体を異なる視差で撮像する。例えば、主撮像部１０１は右目に対応し、副撮像部１１２は左目に対応する。主撮像部１０１は、撮像で得られる主画像データを符号化部１００に供給し、主撮像部１０１のフォーカス情報を撮像情報処理部１１６に供給する。副撮像部１１２は、撮像で得られる副画像データを符号化部１００に供給し、副撮像部１１２のフォーカス情報を撮像情報処理部１１６に供給する。符号化部１００は、主画像データを動き補償予測符号化し、副画像データに対して、主画像データのローカルデコード画像データ又は当該ローカルデコード画像データを視差補償した画像データを使って動き補償予測符号化する。ローカルデコード画像とは、符号化部１００内で量子化後の画像データを復元して生成される局所復号画像である。

撮像情報処理部１１６は、予め判っている主撮像部１０１及び副撮像部１１２の設置位置と、撮像する毎に変換するフォーカス情報から主撮像部１０１及び副撮像部１１２の視差ベクトルを算出し、その視差ベクトルの大きさに従い符号化部１００を制御する。具体的には、撮像情報処理部１１６は、主撮像部１０１及び副撮像部１１２から取得したフォーカス情報から主撮像部１０１及び副撮像部１１２から主被写体までの距離を算出する。そして、主撮像部１０１及び副撮像部１１２から主被写体までの距離と、主撮像部１０１及び副撮像部１１２の物理的位置とから、図２に示すように、視差ベクトルを算出する。図２（ａ）は、撮像部１０１，１１２及び主被写体２０２の位置関係を示す平面図を示す。図２（ｂ）は主画像を示し、図２（ｃ）は副画像を示す。Ｌは視差ベクトルを示す。各撮像部から主被写体までの距離が近い場合、図２（ｂ）と図２（ｃ）に示すように主画像と副画像に大きな差分があり、視差ベクトルが大きくなる。また、撮像情報処理部１１６は、絞り及び被写界深度等のフォーカス情報に関連する情報を用いても、視差ベクトルＬを算出できる。

符号化部１００は、主撮像部１０１からの主画像データを、所定数の画素から構成される所定のブロック（マクロブロックと称す）の単位に画面内で行列状に分割し、減算器１０２に入力する。減算器１０２は、入力画像データから後述する予測画像データを減算し、得られる画像残差データを直交変換部１０３に出力する。直交変換部１０３は、減算器１０２からの画像残差データを直交変換（例えば、離散コサイン変換（ＤＣＴ））し、その変換係数（ＤＣＴ係数）データを量子化部１０４に出力する。量子化部１０４は、符号量制御部１０５からの量子化パラメータに従い変換係数データを量子化し、エントロピー符号化部１０６に出力する。

量子化部１０４で量子化された変換係数データ（量子化係数データ）は、予測画像データの生成にも使われる。そのために、逆量子化部１０７は、量子化部１０４から出力される量子化係数データを逆量子化する。逆直交変換部１０８は、逆量子化部１０７で逆量子化されて復元された変換係数データを逆直交変換し、画像残差データの復号データを出力する。加算器１０９は、逆直交変換部１０８からの画像残差データの復号データに予測画像データを加算する。加算器１０９の加算結果は、ローカルデコード画像データとしてフレームメモリ１１０に格納される。逆量子化部１０７、逆直交変換部１０８及び加算器１０９は、ローカルの復号化手段を構成する。

動き補償部１１１は、フレームメモリ１１０に保存されたローカルデコード画像データを用いてフレーム内予測処理及びフレーム間予測処理での予測画像データを生成する。フレーム間予測処理では、まずフレーム間での動きベクトルを検出し、検出した動きベクトルに基づいてフレーム間予測処理を行い、予測画像データを生成する。

副撮像部１１２は、撮像された副画像データを、マクロブロックに分割して視差検出部１１３に供給する。視差検出部１１３には、副画像データと同じタイミングの主撮像部１０１による主画像データも入力する。視差検出部１１３は、主画像データと副画像データの左右方向の差分を算出し、差分の絶対値和が最小となる値を視差ベクトルとして視差補償部１１４に出力する。撮像情報処理部１１６で算出される視差ベクトルを使用してもよいが、一般に、視差検出部１１３による視差ベクトルのほうが、精度が良い。

視差補償部１１４は、視差検出部１１３からの視差ベクトルに基づき、フレームメモリ１１０に記憶されるローカルデコード画像データに視差補償を行い、視差補償画像データをフレームメモリ１１５に出力して保存する。動き補償部１１１は、フレームメモリ１１０とフレームメモリ１１５に保存される画像データとを用いて、フレーム内予測処理及びフレーム間予測処理での、副画像のための予測画像データを生成する。

エントロピー符号化部１０６は、量子化部１０４からの量子化変換係数データをエントロピー符号化してストリームデータを生成し、ストリームバッファ１１７に供給する。ストリームバッファ１１７は、エントロピー符号化部１０６から出力される符号化データを蓄積し、目標ビットレートに従ったビットレートを出力する。また、ストリームバッファ１１７は、入力された符号化データ量をカウントして得られた発生符号量と、ストリームバッファ１１７のデータ占有量又は空き容量を示すバッファポジションを符号量制御部１０５に出力する。

符号量制御部１０５には、エントロピー符号化部１０６から出力されるストリームのビットレートと、ストリームバッファ１１７のバッファ容量が入力する。符号量制御部１０５は、これらの情報に従い、ストリームバッファ１１７のバッファ容量がオーバーフローもアンダーフローもしないように、各ピクチャの目標符号量と量子化パラメータを決定する。

図３は、本実施例の動き補償動作を示す模式図である。一般的に知られているＨ．２６４符号化方式（ＭＰＥＧ４−ＡＶＣ）を例にして、符号化ピクチャは、Ｉピクチャ、Ｐピクチャ及びＢピクチャから構成される。Ｉピクチャは、画面内符号化（イントラ符号化）画像である。Ｐピクチャは、前方予測符号化（インター符号化）画像である。Ｂピクチャは前方及び／又は後方からの双方向予測符号化（インター符号化）画像である。

本実施例では、理解を容易にするために、ＩピクチャとＰピクチャのみを用いて説明する。図３（ａ）は従来の符号化例であり、図３（ｂ）は本実施例の符号化例を示す。従来の符号化では、動き補償部は、副画像データの動き補償を行う際の参照画像として図３（ａ）に示すように、同じ時点の主画像のＰピクチャを参照する。他方、本実施例では、フォーカス情報から主被写体までの距離に応じて、すなわち、この距離から算出される視差ベクトルの大きさに応じて、参照元を切り替えるようにした。具体的に、図３（ｂ）に示すＰピクチャ３０１では、各撮像部から主被写体までの距離が所定値より近い、即ち、撮像情報処理部１１６により算出される視差ベクトルが所定のベクトル値以上になった状態とする。このとき、撮像情報処理部１１６は、主画像データからの動き補償ではなく、副画像データのみからの動き補償に切り替えるように動き補償部１１１を制御する。すなわち、主画像データのピクチャを参照した動き補償を禁止する。そして、動き補償部１１１は、以後のピクチャの参照元も副画像データとして、動き補償を行う。撮像情報処理部１１６は、フォーカス情報から算出した主被写体までの距離が前記所定値以上に遠くなった場合、そのピクチャ以降から図３（ａ）に示すような参照関係に戻して動き補償を行うように動き補償部１１１に指示する。

以上説明したように、本実施例では、主被写体までの距離が近い（視差ベクトルが大きい）場合に、主画像データと副画像データの差が大きいと判断し、参照画像を副画像データのみに限定して副画像の動き補償を行う。こうすることで、主画像と副画像からなる立体視画像を効率的に符号化できる。

図１に示す構成で、顔情報、露出補正情報、被写界深度情報又は動き情報を用いて動き補償の参照画像を制御する動作を説明する。図４は、その動き補償動作を説明する模式図である。

図４（ａ）は、顔情報を用いて動き補償の参照画像を制御する場合の説明例である。撮像情報処理部１１６は、主撮像部１０１と副撮像部１１２の各撮影画像から顔領域を検出し、顔領域が大きい場合には主被写体が近いと判断する。このとき、撮像情報処理部１１６は、図３（ｂ）で説明したのと同様の参照関係で動き補償を行うように動き補償部１１１に指示する。

図４（ｂ）は、露出補正情報を用いて動き補償の参照画像を制御する場合の説明例である。太陽や光、主被写体の状況によって露出補正値が大きく異なる場合が考えられる。このような場合で、撮像情報処理部１１６は、主撮像部１０１と副撮像部１１２から得られた露出補正値の差が所定閾値より大きいとき、図３（ｂ）で示した参照関係で動き補償を行うように動き補償部１１１に指示する。

図４（ｃ）は、動き情報を用いて動き補償の参照画像を制御する場合の説明例である。主被写体が大きく動いている場合である。撮像情報処理部１１６は、動いている主被写体自体の物理的な領域の大きさ、動きベクトルの大きさ及び動きの方向から、図５に示す参照方向５０１、５０２、５０３の中で最適な参照関係を選択する。そして、撮像情報処理部１１６は、選択した参照関係で動き補償を行うように、動き補償部１１１に指示する。参照方向５０１を選択するのは、例えば、動きは大きいが、全体的にランダムな方向に動きが発散している場合が考えられる。参照方向５０２を選択するのは、動きが大きく、方向も同一の方向を差している場合が考えられる。参照方向５０３を選択するのは、動きが大きく、各ピクチャ間で比較しても主被写体の位置が大きく異なる位に大きな動きである場合が考えられる。

以上説明したように、顔情報、露出補正情報又は動き情報を用いて、参照画像を限定して副画像の動き補償を行うことで、効率的に立体視画像を符号化できる。

Claims

同じ被写体を撮像する主撮像部及び副撮像部を有する撮像手段と、
前記主撮像部から出力される主画像データを、予測画像データを使って動き補償予測符号化する符号化手段と、
前記符号化手段により符号化された画像データを復号化し、ローカルデコード画像データを出力する復号化手段と、
前記主撮像部と前記副撮像部との視差を検出する視差検出手段と、
前記視差検出手段により検出される前記視差に従い、前記復号化手段の前記ローカルデコード画像を視差補償し、視差補償画像データを生成する視差補償手段と、
前記主画像データの符号化に対しては、前記復号化手段のローカルデコード画像データを動き補償して前記予測画像データを生成し、前記副撮像部から出力される副画像データに対しては、前記主撮像部及び前記副撮像部から供給される撮像情報に従って前記復号化手段のローカルデコード画像データ又は前記視差補償画像データを選択して動き補償して前記予測画像データを生成する動き補償手段
とを具備することを特徴とする画像符号化装置。
前記撮像情報は、前記主撮像部及び前記副撮像部のフォーカス情報であることを特徴とする請求項１に記載の画像符号化装置。
前記撮像情報は、前記主画像データ及び前記副画像データに含まれる顔情報であることを特徴とする請求項１に記載の画像符号化装置。
前記撮像情報は、前記主撮像部及び前記副撮像部の露出補正情報であることを特徴とする請求項１に記載の画像符号化装置。
前記撮像情報は、前記主撮像部及び前記副撮像部の被写体の動き情報であることを特徴とする請求項１に記載の画像符号化装置。
同じ被写体を撮像する主撮像部及び副撮像部を有する撮像手段と、
前記被写体までの距離を検出する検出手段と、
前記主撮像部から出力される主画像データを、予測画像データを使って動き補償予測符号化する符号化手段と、
前記符号化手段により符号化された画像データを復号化し、ローカルデコード画像データを出力する復号化手段と、
前記主撮像部と前記副撮像部との視差を検出する視差検出手段と、
前記視差検出手段により検出される前記視差に従い、前記復号化手段の前記ローカルデコード画像を視差補償し、視差補償画像データを生成する視差補償手段と、
前記主画像データの符号化に対しては、前記復号化手段のローカルデコード画像データを動き補償して前記予測画像データを生成し、前記副撮像部から出力される副画像データに対しては、前記検出手段によって検出される前記被写体までの距離に従って前記復号化手段のローカルデコード画像データ又は前記視差補償画像データを選択して動き補償して前記予測画像データを生成する動き補償手段
とを具備することを特徴とする画像符号化装置。