JP2011124822A - 半導体集積回路、符号化方法及び撮像装置 - Google Patents

Abstract

【課題】複数視点の画像データの符号化処理時に、画像メモリに対するデータ転送量を削減する。
【解決手段】撮像部１２から出力される第２の視点の原画像データを符号化処理する符号化部１３ｄは、符号化処理を行う際、撮像部１１から出力されデータ保持部１３ａに保持される第１の視点の原画像データを参照画像データとして、動き検出を行うことで、複数視点の画像データの符号化処理時に、画像メモリに対するデータ転送量が削減される。
【選択図】図１

Description

本発明は、半導体集積回路、符号化方法及び撮像装置に関する。

近年、デジタル動画像符号化処理技術の発達にともない、動画像を３Ｄ（３次元）表示することが可能なディスプレイ（３Ｄディスプレイ）の開発が進められている。また、このような３Ｄディスプレイに表示再生させることが可能な３次元動画像データを撮影、圧縮符号化する３次元動画像撮影装置や３次元動画像符号化装置の開発が進められている。３次元動画像符号化の国際標準規格として、ＭＰＥＧ（Moving Picture Experts Group）−２のＭＶＣ（Multi-view Video Coding）やＨ．２６４のＭＶＣが提案されている。

従来、３次元動画像符号化処理で必要となる動き検出処理の際に、左目視点画像と右目視点画像の間では視差方向にのみ被写体のずれが発生することを利用して、右目視点画像の動き検出処理を左右方向に限定することで計算量を削減する方法が提案されている。

また、符号化処理対象の画像データをフレーム単位ではなく、スライス単位で蓄積保存することで、画像データを一時蓄積するバッファメモリの容量を削減する方法が提案されている。

特開２０００−１６５９０９号公報 特開２００９−４９４２号公報

従来の３次元動画像の符号化処理では、各視点のカメラで撮像された画像データは一旦画像メモリに蓄積され、符号化部はその画像メモリから画像データを読み出しながら随時符号化処理を行い、符号化データを生成している。そのため、符号化処理時における画像メモリに対するデータ転送量が、１視点の場合と比べて増加してしまうという問題があった。

上記の点を鑑みて、本発明は、複数視点の画像データの符号化処理時に、画像メモリに対するデータ転送量を削減可能な半導体集積回路、符号化方法及び撮像装置を提供することを目的とする。

上記目的を達成するために、以下のような半導体集積回路が提供される。
この半導体集積回路は、第１の視点の原画像データを符号化処理する第１の符号化部と、第２の視点の原画像データを符号化処理する第２の符号化部と、を有し、前記第２の符号化部は、前記符号化処理を行う際、前記第１の視点の前記原画像データを参照画像データとして、動き検出する。

開示の半導体集積回路、符号化方法及び撮像装置によれば、複数視点の画像データの符号化処理時に、画像メモリに対するデータ転送量を削減することができる。

実施の形態の撮像装置及び半導体集積回路の構成を示す図である。 左目視点用の符号化部の一例の構成を示す図である。 右目視点用の符号化部の一例の構成を示す図である。 撮像部からの原画像データの読み出しの様子を示す図である。 符号化部の処理単位を示す図である。 あるフレームにおけるｋ行目のマクロブロック群とｋ＋１行目のマクロブロック群を示した図である。 動き検出を説明する図である（その１）。 動き検出を説明する図である（その２）。 左目視点用の符号化部における符号化処理の一例を示す図である。 右目視点用の符号化部の動き検出部が読み出す参照領域の一例を示す図である。

以下、本発明の半導体集積回路、符号化方法及び撮像装置の実施の形態を、図面を参照しつつ説明する。
図１は、実施の形態の撮像装置及び半導体集積回路の構成を示す図である。

ここでは、２つの視点において動画像を撮像する撮像装置１０の例を示している。
撮像装置１０は、撮像部１１，１２、半導体集積回路１３、ビットストリームメモリ１４、画像メモリ１５，１６、ビットストリーム並べ替え部１７を有している。

撮像部１１，１２は、たとえば、水平方向に並べて配置されており、それぞれの視点において撮影を行い、原画像データを出力する。
なお、以下の説明では、撮像部１１は左目視点の原画像データを出力し、撮像部１２は右目視点の原画像データを出力するとして説明するが、撮像部１１が右目視点、撮像部１２が左目視点であってもよい。また、撮像部１１，１２間の距離も、人間の左目と右目との間隔に限定するものではなく、立体感を強調させるために間隔を広げるようにしたり、適宜変更が可能である。

なお、撮像部１１，１２はＣＣＤ（Charge Coupled Device）素子もしくはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）素子などの撮像素子のほか、ＲＧＢフォーマットの画像データをＹＵＶフォーマットに変換する変換部などを有している。図１ではこれらの構成については図示を省略している。

半導体集積回路１３は、撮像部１１，１２から出力される原画像データを圧縮符号化する。
ビットストリームメモリ１４は、符号化処理で生成された符号化データであるビットストリームを記憶する。

画像メモリ１５，１６は、符号化処理時に画像データを保持する。画像メモリ１５，１６は、たとえば、フレームメモリである。本実施の形態の撮像装置１０では、画像メモリ１５，１６は、撮像部１１から出力される原画像データを符号化処理する際に用いられ、撮像部１２から出力される原画像データを符号化処理する際には必要としない。

ビットストリームメモリ１４、画像メモリ１５，１６としては、たとえば、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリが適用可能である。たとえば、１つの半導体メモリの領域を分割して、ビットストリームメモリ１４及び画像メモリ１５，１６として用いてもよい。

ビットストリーム並べ替え部１７はビットストリームメモリ１４から左目視点と右目視点のビットストリームを読み出し、この２つのビットストリームを適切な順序に並べ替える。

本実施の形態の半導体集積回路１３は、データ保持部１３ａ，１３ｂ、符号化部１３ｃ，１３ｄを有している。
データ保持部１３ａ，１３ｂは、たとえば、ラインバッファメモリなどのメモリである。データ保持部１３ａは撮像部１１から出力される原画像データを一時的に蓄積し保持し、データ保持部１３ｂは撮像部１２から出力される原画像データを一時的に蓄積し保持する。

符号化部１３ｃは、データ保持部１３ａを介して画像メモリ１５に保持された左目視点の撮像部１１から出力される原画像データに対して符号化処理を行う。また、符号化部１３ｃは、後述する再構成画像データを画像メモリ１６に保持させ、動き検出の際に参照画像データとして用いる。

符号化部１３ｄは、データ保持部１３ｂに保持された右目視点の撮像部１２から出力される原画像データに対して符号化処理を行う。ただし、符号化部１３ｄは、動き検出の際に用いる参照画像データとして、左目視点の撮像部１１で撮像され、データ保持部１３ａに保持された原画像データを用いる。これにより、画像メモリ１５，１６は、左目視点の原画像データを符号化する際に限定して使用することができるので、画像メモリに対するデータ転送量を少なくすることができる。

以下、符号化部１３ｃ，１３ｄの一例の構成を説明する。
（左目視点用の符号化部１３ｃの構成）
図２は、左目視点用の符号化部の一例の構成を示す図である。

ここでは一例として、Ｈ．２６４／ＡＶＣ規格に対応した符号化部のブロック図を示している。
符号化部１３ｃは、誤差画像生成部２１、直交変換・量子化部２２、エントロピー符号化部２３、逆量子化・逆直交変換部２４、再構成画像生成部２５、ラインメモリ２６、画面内予測部２７を有している。さらに、符号化部１３ｃは、デブロッキングフィルタ部２８、動き検出部２９、動き補償部３０、予測方式切り替え部３１を有している。

誤差画像生成部２１は、画像メモリ１５に保持されている左目視点の原画像データの着目マクロブロックと、予測画像データとの差分から誤差画像データを生成する。
直交変換・量子化部２２は、誤差画像データに対して直交変換と量子化処理とを実行して、量子化された変換係数を求める。

エントロピー符号化部２３は、量子化後の変換係数をエントロピー符号化し、情報量圧縮された画像情報であるビットストリームを生成する。
逆量子化・逆直交変換部２４は、量子化後の変換係数に対して逆量子化と逆直交変換とを実行し、誤差画像データを復元する。

再構成画像生成部２５は、復元された誤差画像データと誤差画像生成部２１で用いた予測画像データとから、再構成画像データを生成する。
ラインメモリ２６は、再構成画像生成部２５で生成された再構成画像データを記憶する。

画面内予測部２７は、着目マクロブロックが属する画面と同一画面の画像データをラインメモリ２６から読み出して、画面内予測画像を生成する。
デブロッキングフィルタ部２８は、直交変換・量子化処理と逆量子化・逆直交変換処理とにより再構成画像データに生じたブロック歪みを減少させる処理を行い、処理後の再構成画像データを画像メモリ１６に書き込む。

動き検出部２９は、入力された処理対象のマクロブロックと参照画像データに基づいて動きベクトルを検出する。
動き補償部３０は、画像メモリ１６から読み出した参照画像データから、動き検出部２９にて検出された動きベクトルに対応する座標の画像ブロックを抽出し、画面間予測画像データを生成する。

予測方式切り替え部３１は、たとえば、撮像装置１０の図示しない制御部（プロセッサなど）からの制御信号に応じて、予測画像データの生成方式として、画面内予測方式と画面間予測方式との切り替えを行う。
（右目視点用の符号化部１３ｄの構成）
図３は、右目視点用の符号化部の一例の構成を示す図である。

符号化部１３ｄは、誤差画像生成部４１、直交変換・量子化部４２、エントロピー符号化部４３、逆量子化・逆直交変換部４４、再構成画像生成部４５、ラインメモリ４６、画面内予測部４７を有している。さらに、符号化部１３ｄは、動き検出部４８、動き補償部４９、予測方式切り替え部５０を有している。

各部の機能は、前述した左目視点用の符号化部１３ｃとほぼ同じであるが、右目視点用の符号化部１３ｄでは、誤差画像生成部４１と動き検出部４８がデータ保持部１３ｂから処理対象のマクロブロックを入力する点が異なる。また、動き検出部４８と動き補償部４９がデータ保持部１３ａに保持された左目視点の原画像データを参照画像データとして入力する点が異なる。

符号化部１３ｄでは、参照画像データとしてデータ保持部１３ａに保持された左目視点の原画像データを用いることで、左目視点用の符号化部１３ｃとは異なり、画像メモリ１６との間のデータの読み書きが不要になる。

以下、本実施の形態の撮像装置１０の動作を詳細に説明する。
（撮像装置１０の動作）
撮像部１１，１２で撮影され出力される原画像データは、それぞれデータ保持部１３ａ，１３ｂに一時的に蓄積保持される。

図４は、撮像部からの原画像データの読み出しの様子を示す図である。
撮像部１１，１２からは、図４のように、ラスタスキャン順（画面上端のラインから下端のラインまで１ラインずつ、各ラインは左端の画素から右端の画素の順）で原画像データが読み出され、データ保持部１３ａ，１３ｂに蓄積される。

その後、データ保持部１３ａに蓄積された左目視点の原画像データは画像メモリ１５に保持される。左目視点用の符号化部１３ｃは、画像メモリ１５から原画像データを読み出しながら符号化処理を行う。一方の右目視点用の符号化部１３ｄは、データ保持部１３ｂに保持された右目視点の原画像データを読み出しながら符号化処理を行う。

図５は、符号化部の処理単位を示す図である。
符号化部１３ｃ，１３ｄは図５のようなフレーム６０において、たとえば、１６×１６画素で構成されるマクロブロック６１を処理単位として符号化処理を行う。

図６は、あるフレームにおけるｋ行目のマクロブロック群とｋ＋１行目のマクロブロック群を示した図である。
データ保持部１３ｂは、ｋ＋１行目のマクロブロック群６２（ｋ＋１）の原画像データを１ラインずつ右目視点の撮像部１２より取得して保存する。その間に、データ保持部１３ｂは、取得済みのｋ行目のマクロブロック群６２（ｋ＋１）のマクロブロック６１の原画像データを符号化部１３ｄに送出する。データ保持部１３ｂは、同様の処理をフレーム６０の１行目から最後の行まで繰り返す。

これにより、効率のよい符号化処理が可能となる。また、データ保持部１３ｂとして、たとえば、２行分のマクロブロック群の画像データが格納できるだけの小さいメモリを用いることができる。２行分のマクロブロック群の画像データは、マクロブロック６１が１６×１６画素からなる場合には、３２ライン分の画像データに相当する。

他方のデータ保持部１３ａでは、右目視点用の符号化部１３ｄがｋ行目のマクロブロック群６２ｋを処理する間、動き検出の際に用いる参照画像データとして、左目視点のフレームのｋ行目のマクロブロック群の画像データを符号化部１３ｄに送出する。このとき同時に、データ保持部１３ａでは、左目視点の撮像部１１から、ｋ＋１行目のマクロブロック群の画像データを取得し保存する。データ保持部１３ａは、同様の処理をフレーム６０の１行目から最後の行まで繰り返す。

したがって、データ保持部１３ａの容量としても、たとえば、２行分のマクロブロック群の画像データが格納できるだけあればよく、小さなメモリを用いることができる。
なお、符号化部１３ｄが、参照画像データとして右目視点のマクロブロック群６２ｋと同じ行のものを用いる理由については後述する（図１０参照）。

次に、上記のような処理単位で符号化処理を行う符号化部１３ｃ，１３ｄの動作の詳細を説明する。
まず、左目視点用の符号化部１３ｃにおける符号化処理について、図２を用いて説明する。
（左目視点用の符号化部１３ｃによる符号化処理）
画像メモリ１５から処理対象のマクロブロックが入力されると、誤差画像生成部２１は、そのマクロブロックと予測画像データとの差分画像である誤差画像データを生成する。直交変換・量子化部２２は、誤差画像データを入力し、直交変換と量子化処理とを実行して、量子化された変換係数を求める。この量子化後の変換係数は、エントロピー符号化部２３と、逆量子化・逆直交変換部２４に供給される。

エントロピー符号化部２３は、量子化された変換係数をエントロピー符号化し、情報量が圧縮された画像情報であるビットストリームを生成する。また、エントロピー符号化部２３は、量子化後の変換係数とともに動きベクトルに関する情報をエントロピー符号化し、ビットストリーム中に動きベクトルに関する情報を含ませる。動きベクトルの検出方法については後述する。

一方、逆量子化・逆直交変換部２４は、量子化後の変換係数に対して逆量子化と逆直交変換とを実行し、誤差画像データを復元する。そして、再構成画像生成部２５は、復元された誤差画像データと誤差画像生成部２１で用いた予測画像データとから、再構成画像データを生成し、ラインメモリ２６に保持させる。また、デブロッキングフィルタ部２８は、直交変換・量子化処理と、逆量子化・逆直交変換処理とにより再構成画像データに生じたブロック歪みを減少させる処理を行い、処理後の再構成画像データを画像メモリ１６に保持させる。

誤差画像生成部２１及び再構成画像生成部２５で用いられる予測画像データの生成は、以下のように行われる。
画面内予測部２７は、着目マクロブロックが属する画面と同一画面の画像データをラインメモリ２６から読み出して、画面内予測画像データを生成する。この画面内予測画像データは、エントロピー符号化部２３に供給されるとともに、予測方式切り替え部３１にて画面内予測方式が選択された場合に、誤差画像生成部２１及び再構成画像生成部２５に供給される。

一方、画面間予測画像データは以下のように生成される。
図７及び図８は、動き検出を説明する図である。
図７（Ａ）では、ある時刻におけるフレーム７０のマクロブロック７１とその拡大図を示しており、図７（Ｂ）では、参照フレーム８０内における参照領域８１とその拡大図を示している。

また、図８では、参照領域８１とマクロブロックにおける画素の位置をｘ−ｙ座標系で示している。また、マクロブロック７１の左上の角に対応する参照領域８１での位置を原点（０，０）として、動きベクトル８２を示している。

動き検出部２９は、処理対象のマクロブロックと最も類似している画像領域を参照フレームの中から探し出す。たとえば、動き検出部２９は、画像メモリ１５から、図７（Ａ）のような処理対象のマクロブロック７１を取得すると、画像メモリ１６に保持されている図７（Ｂ）のような参照フレーム８０から、参照領域８１の画像データを参照画像データとして取得する。参照領域８１として、たとえば、参照フレーム８０において、処理対象のマクロブロック７１と同じ位置にあるマクロブロックを中心とした矩形領域が選択される。

そして、動き検出部２９は、参照領域８１の中から、処理対象のマクロブロック７１と最も類似している位置を検出する。動き検出部２９は、類似度の基準として、たとえば、差分絶対和（ＳＡＤ）を用いる。処理対象のマクロブロック７１と、図８で示される動きベクトル８２の位置の予測画像８３の間のＳＡＤ（Ｘ，Ｙ）は以下の式（１）で計算される。

ＳＡＤ（Ｘ，Ｙ）＝Σ｜Ｃ（ｉ，ｊ）−Ｒ（Ｘ＋ｉ，Ｙ＋ｊ）｜ （１）
ここで、ｉ＝０，１，２，・・・，１５、ｊ＝０，１，２，・・・，１５であり、Σは２５６画素分の累積加算を表す。Ｃ（ｉ，ｊ）は処理対象のマクロブロック７１の座標（ｉ，ｊ）の画素値、Ｒ（Ｘ＋ｉ，Ｙ＋ｊ）は参照領域８１の座標（Ｘ＋ｉ，Ｙ＋ｊ）の画素値を表す。ＣとＲの差が小さい、すなわち、処理対象のマクロブロック７１の画素値と予測画像８３の画素値が近いときＳＡＤが小さくなるため、小さいＳＡＤをもつ予測画像８３ほど、類似していることになる。動き検出部２９は、参照領域８１中の任意の動きベクトルの中から、最も小さいＳＡＤを持つ動きベクトル８２を検出する。

このように、予測画像８３が処理対象のマクロブロック７１と最も類似した画像となるように動きベクトル８２を選択すれば、誤差画像の情報量が最も小さくなり、最終的にエントロピー符号化後のビットストリームの情報量が最も小さくなる。

動き検出部２９が検出した動きベクトルは、動き補償部３０とエントロピー符号化部２３とに供給される。動きベクトルを取得した動き補償部３０は、画像メモリ１６から読み出した参照画像データから、動きベクトルに対応する座標の画像ブロックを抽出し、画面間予測画像データを生成する。

この画面間予測画像データは、予測方式切り替え部３１により画面間予測方式が選択された場合に、誤差画像生成部２１及び再構成画像生成部２５に供給される。
ところで、左目視点の撮像部１１による撮影で得られた画像データは、一度画像メモリ１５に格納された後、符号化部１３ｃから符号化処理を行う順で読み出されながら処理されるので、任意の参照関係をとることができる。

図９は、左目視点用の符号化部における符号化処理の一例を示す図である。
横軸は時間である。図９では、各撮影時刻で取得されるフレームの例と、各符号化時刻において符号化されるフレームの例を示している。また、図９では、各時刻における画像メモリ１５への原画像データの蓄積状況と、画像メモリ１６への再構成画像データの蓄積状況を示している。

図９において、時刻ｔ０からｔ１にかけて、撮像部１１で撮影された左視点の原画像データ（フレームＩ０）は、データ保持部１３ａを経由して画像メモリ１５に保持される。同様に、時刻ｔ１からｔ２にかけてフレームＢ１が、時刻ｔ２からｔ３にかけてフレームＢ２が、時刻ｔ３からｔ４にかけてフレームＰ３が画像メモリ１５に保持される。後続の左視点の原画像データも同様に画像メモリ１５に格納される。

左目視点用の符号化部１３ｃは、時刻ｔ３からｔ４にかけてフレームＩ０、時刻ｔ４からｔ５にかけてフレームＰ３、時刻ｔ５からｔ６にかけてフレームＢ１、時刻ｔ６からｔ７にかけてフレームＢ２の符号化処理を行う。符号化部１３ｃは後続の左視点の原画像データに対しても同様に符号化処理を行う。

なお、フレームＩ０，Ｉ１５，・・・はイントラフレームを表す。イントラフレームでは、図９に示す符号化処理において、フレーム内のすべてのマクロブロックを画面内予測でのみ符号化処理される。

フレームＰ３，Ｐ６，Ｐ９，・・・は直前のフレームＩｎまたはフレームＰｎを参照領域として用いて符号化されるフレームを表している。たとえば、フレームＰ３はフレームＩ０を、フレームＰ６はフレームＰ３を、フレームＰ９はフレームＰ６を参照フレームとして用いて符号化処理する。

フレームＢ１，Ｂ２，Ｂ４，Ｂ５，・・・は撮影順で直前のフレームＩｎまたはフレームＰｎと、直後のフレームＩｎまたはフレームＰｎの２フレームを参照フレームとして用いて符号化処理される。たとえば、フレームＢ１は、再構成画像データとして画像メモリ１６に保持されているフレームＩ０とフレームＰ３の画像データを参照画像データとして符号化処理される。フレームＢ１は、フレームＰ３よりも撮影時刻は前だが、このような参照関係が可能である。同様に、たとえば、フレームＢ２はフレームＩ０とフレームＰ３、フレームＢ４はフレームＰ３とフレームＰ６、フレームＢ５はフレームＰ３とフレームＰ６を参照フレームとして用いて符号化処理される。

このように、左視点用の符号化部１３ｃでは、フレームＢｎにおいて、任意の２枚の参照フレームの中から参照領域を選択し、動きベクトルを検出することができるので、より小さいＳＡＤを持つ予測画像を選択することができる。

次に、右目視点用の符号化部１３ｄにおける符号化処理について、図３を用いて説明する。
（右目視点用の符号化部１３ｄによる符号化処理）
データ保持部１３ｂから処理対象のマクロブロックが入力されると、誤差画像生成部４１は、そのマクロブロックと予測画像データとの差分画像である誤差画像データを生成する。直交変換・量子化部４２は、誤差画像データを入力し、直交変換と量子化処理とを実行して、量子化された変換係数を求める。この量子化後の変換係数は、エントロピー符号化部４３と、逆量子化・逆直交変換部４４に供給される。

エントロピー符号化部４３は、量子化された変換係数をエントロピー符号化し、情報量が圧縮された画像情報であるビットストリームを生成する。また、エントロピー符号化部４３は、量子化後の変換係数とともに動きベクトルに関する情報をエントロピー符号化し、ビットストリーム中に動きベクトルに関する情報を含ませる。

一方、逆量子化・逆直交変換部４４は、量子化後の変換係数に対して逆量子化と逆直交変換とを実行し、誤差画像データを復元する。そして、再構成画像生成部４５は、復元された誤差画像データと誤差画像生成部４１で用いた予測画像データとから、再構成画像データを生成し、ラインメモリ４６に保持させる。

誤差画像生成部４１及び再構成画像生成部４５で用いられる予測画像データのうち、画面内予測画像データの生成については、前述した左目視点用の符号化部１３ｄの処理と同じである。一方、画面間予測画像データの生成については、前述した左目視点用の符号化部１３ｄの処理とは異なっている。

動き検出部４８は、処理対象のマクロブロックと、同時刻に入力される左目視点の原画像データをデータ保持部１３ａから参照画像データとして入力する。右目視点におけるマクロブロックの動き検出を同時刻の左目視点の原画像データを用いて行う場合、被写体は２つの撮像部１１，１２の設置方向である水平方向に視差をもって撮影されるため、検出すべき動きベクトルは水平方向のベクトルとなる。つまり、動きベクトルの垂直方向成分は０となる。

図１０は、右目視点用の符号化部の動き検出部が読み出す参照領域の一例を示す図である。
右目視点の画像データにおいて、動き検出部４８が、処理対象のマクロブロック９０に対して動き検出を行う場合について図示されている。

前述のように撮像部１１，１２が水平方向に配置されている場合、動き検出部４８は、水平方向にのみ動きベクトルを探索する。したがって、動き検出部４８が参照画像データとしてデータ保持部１３ａから読み出す左目視点の原画像データは、たとえば、処理対象のマクロブロック９０と同位置のマクロブロック９１に対して水平方向に位置する領域９２となる。領域９２は、マクロブロック９１を中心として、たとえば、左右に１６×１６画素分拡張した大きさとする。なお、領域９２の大きさは、撮像部１１，１２間の距離などに応じて適宜変更可能である。

以上のような符号化部１３ｃ，１３ｄで生成されたビットストリームは、ビットストリームメモリに書き込まれ、ビットストリーム並べ替え部１７で適切な順序に並べ替えられたのち、ビットストリームメモリ１４に書き戻される。

その後、各視点のビットストリームは、たとえば、図示しないハードディスクドライブなどの記憶装置やＤＶＤ（Digital Versatile Disc）などの記憶メディアに記憶されたり、３Ｄ対応の表示装置で復号化され３Ｄ表示される。なお、撮像装置１０自体が、記憶装置、復号部または表示部などを内蔵してもよい。復号部は半導体集積回路１３に内蔵するようにしてもよい。

ところで、上記のように符号化した左目視点の画像データを復号する際には、図示しない復号部は、たとえば、符号化されている誤差画像データを復号し、その誤差画像データと１フレーム前の左目視点の復号データとから画像データを生成する。また、復号部は、ある時刻の右目視点の画像データを復号する際には、符号化されている誤差画像データを復号し、その誤差画像データと同時刻の左目視点の復号データとから画像データを復号すればよい。

以上のように本実施の形態の半導体集積回路１３、符号化方法及び撮像装置１０によれば、右目視点の原画像データの符号化で使用する参照画像データとして、左目視点の原画像データを使用する。これにより、画像メモリ１５，１６は、左目視点の原画像データを符号化する際に限定して使用することができるので、複数の視点の原画像データの符号化処理において、画像メモリに対するデータ転送量を削減できる。

また、これにより、単位時間あたりにデータを読み書きするデータ量を削減できるので、画像メモリとして安価な半導体メモリを用いることが可能になり撮像装置１０のコストを削減できる。

以上、実施の形態に基づき、本発明の半導体集積回路、符号化方法及び撮像装置の一観点について説明してきたが、これらは一例にすぎず、上記の記載に限定されるものではない。

たとえば、図２、図３では、Ｈ．２６４／ＡＶＣ規格に対応した符号化部１３ｃ，１３ｄを説明したが、ＭＰＥＧ−２に対応した符号化部であってもよい。その場合も一方の視点の原画像データを符号化する符号化部において、動き検出を行う場合、他方の視点の原画像データを参照画像データとして用いることで、同様の効果を得ることができる。

また、上記では２視点の場合について説明したが、３つ以上の視点の原画像データを符号化する際にも同様に適用可能である。その場合、各視点に対応したデータ保持部及び符号化部が設けられ、ある視点のマクロブロックを符号化する際の動き検出の際に、基準となる視点の原画像データを参照画像データとして用いることで同様の効果を得ることが可能である。

１０ 撮像装置
１１，１２ 撮像部
１３ 半導体集積回路
１３ａ，１３ｂ データ保持部
１３ｃ，１３ｄ 符号化部
１４ ビットストリームメモリ
１５，１６ 画像メモリ
１７ ビットストリーム並べ替え部

Claims (5)

1. 第１の視点の原画像データを符号化処理する第１の符号化部と、
   第２の視点の原画像データを符号化処理する第２の符号化部と、
   を有し、
   前記第２の符号化部は、前記符号化処理を行う際、前記第１の視点の前記原画像データを参照画像データとして、動き検出することを特徴とする半導体集積回路。
2. 水平方向に位置する前記第１の視点及び前記第２の視点のうち前記第１の視点の前記原画像データを保持する第１のデータ保持部を有し、
   前記第１のデータ保持部は、前記第２の符号化部における処理単位の前記原画像データに対して画面上で水平方向に位置する前記第１の視点の前記原画像データを、前記参照画像データとして前記第２の符号化部に送出することを特徴とする請求項１に記載の半導体集積回路。
3. 水平方向に位置する前記第１の視点及び前記第２の視点のうち前記第２の視点の前記原画像データを保持する第２のデータ保持部を有し、
   前記第２のデータ保持部は、前記第２の符号化部における前記符号化処理の処理単位となる前記原画像データを一行分取得して保存する間に、取得済みの他の行の前記処理単位の前記原画像データを前記第２の符号化部に送出することを特徴とする請求項１または２に記載の半導体集積回路。
4. 第１の符号化部は第１の視点の原画像データを符号化処理し、
   第２の視点の原画像データを符号化処理する第２の符号化部は、前記符号化処理を行う際、前記第１の視点の前記原画像データを参照画像データとして、前記第２の視点の原画像データを符号化処理することを特徴とする符号化方法。
5. 第１の視点で撮影を行い、原画像データを出力する第１の撮像部と、
   第２の視点で撮影を行い、原画像データを出力する第２の撮像部と、
   前記第１の視点の前記原画像データを符号化処理する第１の符号化部と、
   前記第２の視点の前記原画像データを符号化処理する第２の符号化部と、
   を有し、
   前記第２の符号化部は、前記符号化処理を行う際、前記第１の視点の前記原画像データを参照画像データとして、動き検出することを特徴とする撮像装置。

Images