JP2011124822A - 半導体集積回路、符号化方法及び撮像装置 - Google Patents
半導体集積回路、符号化方法及び撮像装置 Download PDFInfo
- Publication number
- JP2011124822A JP2011124822A JP2009281207A JP2009281207A JP2011124822A JP 2011124822 A JP2011124822 A JP 2011124822A JP 2009281207 A JP2009281207 A JP 2009281207A JP 2009281207 A JP2009281207 A JP 2009281207A JP 2011124822 A JP2011124822 A JP 2011124822A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- unit
- encoding
- viewpoint
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】複数視点の画像データの符号化処理時に、画像メモリに対するデータ転送量を削減する。
【解決手段】撮像部12から出力される第2の視点の原画像データを符号化処理する符号化部13dは、符号化処理を行う際、撮像部11から出力されデータ保持部13aに保持される第1の視点の原画像データを参照画像データとして、動き検出を行うことで、複数視点の画像データの符号化処理時に、画像メモリに対するデータ転送量が削減される。
【選択図】図1
【解決手段】撮像部12から出力される第2の視点の原画像データを符号化処理する符号化部13dは、符号化処理を行う際、撮像部11から出力されデータ保持部13aに保持される第1の視点の原画像データを参照画像データとして、動き検出を行うことで、複数視点の画像データの符号化処理時に、画像メモリに対するデータ転送量が削減される。
【選択図】図1
Description
本発明は、半導体集積回路、符号化方法及び撮像装置に関する。
近年、デジタル動画像符号化処理技術の発達にともない、動画像を3D(3次元)表示することが可能なディスプレイ(3Dディスプレイ)の開発が進められている。また、このような3Dディスプレイに表示再生させることが可能な3次元動画像データを撮影、圧縮符号化する3次元動画像撮影装置や3次元動画像符号化装置の開発が進められている。3次元動画像符号化の国際標準規格として、MPEG(Moving Picture Experts Group)−2のMVC(Multi-view Video Coding)やH.264のMVCが提案されている。
従来、3次元動画像符号化処理で必要となる動き検出処理の際に、左目視点画像と右目視点画像の間では視差方向にのみ被写体のずれが発生することを利用して、右目視点画像の動き検出処理を左右方向に限定することで計算量を削減する方法が提案されている。
また、符号化処理対象の画像データをフレーム単位ではなく、スライス単位で蓄積保存することで、画像データを一時蓄積するバッファメモリの容量を削減する方法が提案されている。
従来の3次元動画像の符号化処理では、各視点のカメラで撮像された画像データは一旦画像メモリに蓄積され、符号化部はその画像メモリから画像データを読み出しながら随時符号化処理を行い、符号化データを生成している。そのため、符号化処理時における画像メモリに対するデータ転送量が、1視点の場合と比べて増加してしまうという問題があった。
上記の点を鑑みて、本発明は、複数視点の画像データの符号化処理時に、画像メモリに対するデータ転送量を削減可能な半導体集積回路、符号化方法及び撮像装置を提供することを目的とする。
上記目的を達成するために、以下のような半導体集積回路が提供される。
この半導体集積回路は、第1の視点の原画像データを符号化処理する第1の符号化部と、第2の視点の原画像データを符号化処理する第2の符号化部と、を有し、前記第2の符号化部は、前記符号化処理を行う際、前記第1の視点の前記原画像データを参照画像データとして、動き検出する。
この半導体集積回路は、第1の視点の原画像データを符号化処理する第1の符号化部と、第2の視点の原画像データを符号化処理する第2の符号化部と、を有し、前記第2の符号化部は、前記符号化処理を行う際、前記第1の視点の前記原画像データを参照画像データとして、動き検出する。
開示の半導体集積回路、符号化方法及び撮像装置によれば、複数視点の画像データの符号化処理時に、画像メモリに対するデータ転送量を削減することができる。
以下、本発明の半導体集積回路、符号化方法及び撮像装置の実施の形態を、図面を参照しつつ説明する。
図1は、実施の形態の撮像装置及び半導体集積回路の構成を示す図である。
図1は、実施の形態の撮像装置及び半導体集積回路の構成を示す図である。
ここでは、2つの視点において動画像を撮像する撮像装置10の例を示している。
撮像装置10は、撮像部11,12、半導体集積回路13、ビットストリームメモリ14、画像メモリ15,16、ビットストリーム並べ替え部17を有している。
撮像装置10は、撮像部11,12、半導体集積回路13、ビットストリームメモリ14、画像メモリ15,16、ビットストリーム並べ替え部17を有している。
撮像部11,12は、たとえば、水平方向に並べて配置されており、それぞれの視点において撮影を行い、原画像データを出力する。
なお、以下の説明では、撮像部11は左目視点の原画像データを出力し、撮像部12は右目視点の原画像データを出力するとして説明するが、撮像部11が右目視点、撮像部12が左目視点であってもよい。また、撮像部11,12間の距離も、人間の左目と右目との間隔に限定するものではなく、立体感を強調させるために間隔を広げるようにしたり、適宜変更が可能である。
なお、以下の説明では、撮像部11は左目視点の原画像データを出力し、撮像部12は右目視点の原画像データを出力するとして説明するが、撮像部11が右目視点、撮像部12が左目視点であってもよい。また、撮像部11,12間の距離も、人間の左目と右目との間隔に限定するものではなく、立体感を強調させるために間隔を広げるようにしたり、適宜変更が可能である。
なお、撮像部11,12はCCD(Charge Coupled Device)素子もしくはCMOS(Complementary Metal-Oxide Semiconductor)素子などの撮像素子のほか、RGBフォーマットの画像データをYUVフォーマットに変換する変換部などを有している。図1ではこれらの構成については図示を省略している。
半導体集積回路13は、撮像部11,12から出力される原画像データを圧縮符号化する。
ビットストリームメモリ14は、符号化処理で生成された符号化データであるビットストリームを記憶する。
ビットストリームメモリ14は、符号化処理で生成された符号化データであるビットストリームを記憶する。
画像メモリ15,16は、符号化処理時に画像データを保持する。画像メモリ15,16は、たとえば、フレームメモリである。本実施の形態の撮像装置10では、画像メモリ15,16は、撮像部11から出力される原画像データを符号化処理する際に用いられ、撮像部12から出力される原画像データを符号化処理する際には必要としない。
ビットストリームメモリ14、画像メモリ15,16としては、たとえば、DRAM(Dynamic Random Access Memory)などの半導体メモリが適用可能である。たとえば、1つの半導体メモリの領域を分割して、ビットストリームメモリ14及び画像メモリ15,16として用いてもよい。
ビットストリーム並べ替え部17はビットストリームメモリ14から左目視点と右目視点のビットストリームを読み出し、この2つのビットストリームを適切な順序に並べ替える。
本実施の形態の半導体集積回路13は、データ保持部13a,13b、符号化部13c,13dを有している。
データ保持部13a,13bは、たとえば、ラインバッファメモリなどのメモリである。データ保持部13aは撮像部11から出力される原画像データを一時的に蓄積し保持し、データ保持部13bは撮像部12から出力される原画像データを一時的に蓄積し保持する。
データ保持部13a,13bは、たとえば、ラインバッファメモリなどのメモリである。データ保持部13aは撮像部11から出力される原画像データを一時的に蓄積し保持し、データ保持部13bは撮像部12から出力される原画像データを一時的に蓄積し保持する。
符号化部13cは、データ保持部13aを介して画像メモリ15に保持された左目視点の撮像部11から出力される原画像データに対して符号化処理を行う。また、符号化部13cは、後述する再構成画像データを画像メモリ16に保持させ、動き検出の際に参照画像データとして用いる。
符号化部13dは、データ保持部13bに保持された右目視点の撮像部12から出力される原画像データに対して符号化処理を行う。ただし、符号化部13dは、動き検出の際に用いる参照画像データとして、左目視点の撮像部11で撮像され、データ保持部13aに保持された原画像データを用いる。これにより、画像メモリ15,16は、左目視点の原画像データを符号化する際に限定して使用することができるので、画像メモリに対するデータ転送量を少なくすることができる。
以下、符号化部13c,13dの一例の構成を説明する。
(左目視点用の符号化部13cの構成)
図2は、左目視点用の符号化部の一例の構成を示す図である。
(左目視点用の符号化部13cの構成)
図2は、左目視点用の符号化部の一例の構成を示す図である。
ここでは一例として、H.264/AVC規格に対応した符号化部のブロック図を示している。
符号化部13cは、誤差画像生成部21、直交変換・量子化部22、エントロピー符号化部23、逆量子化・逆直交変換部24、再構成画像生成部25、ラインメモリ26、画面内予測部27を有している。さらに、符号化部13cは、デブロッキングフィルタ部28、動き検出部29、動き補償部30、予測方式切り替え部31を有している。
符号化部13cは、誤差画像生成部21、直交変換・量子化部22、エントロピー符号化部23、逆量子化・逆直交変換部24、再構成画像生成部25、ラインメモリ26、画面内予測部27を有している。さらに、符号化部13cは、デブロッキングフィルタ部28、動き検出部29、動き補償部30、予測方式切り替え部31を有している。
誤差画像生成部21は、画像メモリ15に保持されている左目視点の原画像データの着目マクロブロックと、予測画像データとの差分から誤差画像データを生成する。
直交変換・量子化部22は、誤差画像データに対して直交変換と量子化処理とを実行して、量子化された変換係数を求める。
直交変換・量子化部22は、誤差画像データに対して直交変換と量子化処理とを実行して、量子化された変換係数を求める。
エントロピー符号化部23は、量子化後の変換係数をエントロピー符号化し、情報量圧縮された画像情報であるビットストリームを生成する。
逆量子化・逆直交変換部24は、量子化後の変換係数に対して逆量子化と逆直交変換とを実行し、誤差画像データを復元する。
逆量子化・逆直交変換部24は、量子化後の変換係数に対して逆量子化と逆直交変換とを実行し、誤差画像データを復元する。
再構成画像生成部25は、復元された誤差画像データと誤差画像生成部21で用いた予測画像データとから、再構成画像データを生成する。
ラインメモリ26は、再構成画像生成部25で生成された再構成画像データを記憶する。
ラインメモリ26は、再構成画像生成部25で生成された再構成画像データを記憶する。
画面内予測部27は、着目マクロブロックが属する画面と同一画面の画像データをラインメモリ26から読み出して、画面内予測画像を生成する。
デブロッキングフィルタ部28は、直交変換・量子化処理と逆量子化・逆直交変換処理とにより再構成画像データに生じたブロック歪みを減少させる処理を行い、処理後の再構成画像データを画像メモリ16に書き込む。
デブロッキングフィルタ部28は、直交変換・量子化処理と逆量子化・逆直交変換処理とにより再構成画像データに生じたブロック歪みを減少させる処理を行い、処理後の再構成画像データを画像メモリ16に書き込む。
動き検出部29は、入力された処理対象のマクロブロックと参照画像データに基づいて動きベクトルを検出する。
動き補償部30は、画像メモリ16から読み出した参照画像データから、動き検出部29にて検出された動きベクトルに対応する座標の画像ブロックを抽出し、画面間予測画像データを生成する。
動き補償部30は、画像メモリ16から読み出した参照画像データから、動き検出部29にて検出された動きベクトルに対応する座標の画像ブロックを抽出し、画面間予測画像データを生成する。
予測方式切り替え部31は、たとえば、撮像装置10の図示しない制御部(プロセッサなど)からの制御信号に応じて、予測画像データの生成方式として、画面内予測方式と画面間予測方式との切り替えを行う。
(右目視点用の符号化部13dの構成)
図3は、右目視点用の符号化部の一例の構成を示す図である。
(右目視点用の符号化部13dの構成)
図3は、右目視点用の符号化部の一例の構成を示す図である。
符号化部13dは、誤差画像生成部41、直交変換・量子化部42、エントロピー符号化部43、逆量子化・逆直交変換部44、再構成画像生成部45、ラインメモリ46、画面内予測部47を有している。さらに、符号化部13dは、動き検出部48、動き補償部49、予測方式切り替え部50を有している。
各部の機能は、前述した左目視点用の符号化部13cとほぼ同じであるが、右目視点用の符号化部13dでは、誤差画像生成部41と動き検出部48がデータ保持部13bから処理対象のマクロブロックを入力する点が異なる。また、動き検出部48と動き補償部49がデータ保持部13aに保持された左目視点の原画像データを参照画像データとして入力する点が異なる。
符号化部13dでは、参照画像データとしてデータ保持部13aに保持された左目視点の原画像データを用いることで、左目視点用の符号化部13cとは異なり、画像メモリ16との間のデータの読み書きが不要になる。
以下、本実施の形態の撮像装置10の動作を詳細に説明する。
(撮像装置10の動作)
撮像部11,12で撮影され出力される原画像データは、それぞれデータ保持部13a,13bに一時的に蓄積保持される。
(撮像装置10の動作)
撮像部11,12で撮影され出力される原画像データは、それぞれデータ保持部13a,13bに一時的に蓄積保持される。
図4は、撮像部からの原画像データの読み出しの様子を示す図である。
撮像部11,12からは、図4のように、ラスタスキャン順(画面上端のラインから下端のラインまで1ラインずつ、各ラインは左端の画素から右端の画素の順)で原画像データが読み出され、データ保持部13a,13bに蓄積される。
撮像部11,12からは、図4のように、ラスタスキャン順(画面上端のラインから下端のラインまで1ラインずつ、各ラインは左端の画素から右端の画素の順)で原画像データが読み出され、データ保持部13a,13bに蓄積される。
その後、データ保持部13aに蓄積された左目視点の原画像データは画像メモリ15に保持される。左目視点用の符号化部13cは、画像メモリ15から原画像データを読み出しながら符号化処理を行う。一方の右目視点用の符号化部13dは、データ保持部13bに保持された右目視点の原画像データを読み出しながら符号化処理を行う。
図5は、符号化部の処理単位を示す図である。
符号化部13c,13dは図5のようなフレーム60において、たとえば、16×16画素で構成されるマクロブロック61を処理単位として符号化処理を行う。
符号化部13c,13dは図5のようなフレーム60において、たとえば、16×16画素で構成されるマクロブロック61を処理単位として符号化処理を行う。
図6は、あるフレームにおけるk行目のマクロブロック群とk+1行目のマクロブロック群を示した図である。
データ保持部13bは、k+1行目のマクロブロック群62(k+1)の原画像データを1ラインずつ右目視点の撮像部12より取得して保存する。その間に、データ保持部13bは、取得済みのk行目のマクロブロック群62(k+1)のマクロブロック61の原画像データを符号化部13dに送出する。データ保持部13bは、同様の処理をフレーム60の1行目から最後の行まで繰り返す。
データ保持部13bは、k+1行目のマクロブロック群62(k+1)の原画像データを1ラインずつ右目視点の撮像部12より取得して保存する。その間に、データ保持部13bは、取得済みのk行目のマクロブロック群62(k+1)のマクロブロック61の原画像データを符号化部13dに送出する。データ保持部13bは、同様の処理をフレーム60の1行目から最後の行まで繰り返す。
これにより、効率のよい符号化処理が可能となる。また、データ保持部13bとして、たとえば、2行分のマクロブロック群の画像データが格納できるだけの小さいメモリを用いることができる。2行分のマクロブロック群の画像データは、マクロブロック61が16×16画素からなる場合には、32ライン分の画像データに相当する。
他方のデータ保持部13aでは、右目視点用の符号化部13dがk行目のマクロブロック群62kを処理する間、動き検出の際に用いる参照画像データとして、左目視点のフレームのk行目のマクロブロック群の画像データを符号化部13dに送出する。このとき同時に、データ保持部13aでは、左目視点の撮像部11から、k+1行目のマクロブロック群の画像データを取得し保存する。データ保持部13aは、同様の処理をフレーム60の1行目から最後の行まで繰り返す。
したがって、データ保持部13aの容量としても、たとえば、2行分のマクロブロック群の画像データが格納できるだけあればよく、小さなメモリを用いることができる。
なお、符号化部13dが、参照画像データとして右目視点のマクロブロック群62kと同じ行のものを用いる理由については後述する(図10参照)。
なお、符号化部13dが、参照画像データとして右目視点のマクロブロック群62kと同じ行のものを用いる理由については後述する(図10参照)。
次に、上記のような処理単位で符号化処理を行う符号化部13c,13dの動作の詳細を説明する。
まず、左目視点用の符号化部13cにおける符号化処理について、図2を用いて説明する。
(左目視点用の符号化部13cによる符号化処理)
画像メモリ15から処理対象のマクロブロックが入力されると、誤差画像生成部21は、そのマクロブロックと予測画像データとの差分画像である誤差画像データを生成する。直交変換・量子化部22は、誤差画像データを入力し、直交変換と量子化処理とを実行して、量子化された変換係数を求める。この量子化後の変換係数は、エントロピー符号化部23と、逆量子化・逆直交変換部24に供給される。
まず、左目視点用の符号化部13cにおける符号化処理について、図2を用いて説明する。
(左目視点用の符号化部13cによる符号化処理)
画像メモリ15から処理対象のマクロブロックが入力されると、誤差画像生成部21は、そのマクロブロックと予測画像データとの差分画像である誤差画像データを生成する。直交変換・量子化部22は、誤差画像データを入力し、直交変換と量子化処理とを実行して、量子化された変換係数を求める。この量子化後の変換係数は、エントロピー符号化部23と、逆量子化・逆直交変換部24に供給される。
エントロピー符号化部23は、量子化された変換係数をエントロピー符号化し、情報量が圧縮された画像情報であるビットストリームを生成する。また、エントロピー符号化部23は、量子化後の変換係数とともに動きベクトルに関する情報をエントロピー符号化し、ビットストリーム中に動きベクトルに関する情報を含ませる。動きベクトルの検出方法については後述する。
一方、逆量子化・逆直交変換部24は、量子化後の変換係数に対して逆量子化と逆直交変換とを実行し、誤差画像データを復元する。そして、再構成画像生成部25は、復元された誤差画像データと誤差画像生成部21で用いた予測画像データとから、再構成画像データを生成し、ラインメモリ26に保持させる。また、デブロッキングフィルタ部28は、直交変換・量子化処理と、逆量子化・逆直交変換処理とにより再構成画像データに生じたブロック歪みを減少させる処理を行い、処理後の再構成画像データを画像メモリ16に保持させる。
誤差画像生成部21及び再構成画像生成部25で用いられる予測画像データの生成は、以下のように行われる。
画面内予測部27は、着目マクロブロックが属する画面と同一画面の画像データをラインメモリ26から読み出して、画面内予測画像データを生成する。この画面内予測画像データは、エントロピー符号化部23に供給されるとともに、予測方式切り替え部31にて画面内予測方式が選択された場合に、誤差画像生成部21及び再構成画像生成部25に供給される。
画面内予測部27は、着目マクロブロックが属する画面と同一画面の画像データをラインメモリ26から読み出して、画面内予測画像データを生成する。この画面内予測画像データは、エントロピー符号化部23に供給されるとともに、予測方式切り替え部31にて画面内予測方式が選択された場合に、誤差画像生成部21及び再構成画像生成部25に供給される。
一方、画面間予測画像データは以下のように生成される。
図7及び図8は、動き検出を説明する図である。
図7(A)では、ある時刻におけるフレーム70のマクロブロック71とその拡大図を示しており、図7(B)では、参照フレーム80内における参照領域81とその拡大図を示している。
図7及び図8は、動き検出を説明する図である。
図7(A)では、ある時刻におけるフレーム70のマクロブロック71とその拡大図を示しており、図7(B)では、参照フレーム80内における参照領域81とその拡大図を示している。
また、図8では、参照領域81とマクロブロックにおける画素の位置をx−y座標系で示している。また、マクロブロック71の左上の角に対応する参照領域81での位置を原点(0,0)として、動きベクトル82を示している。
動き検出部29は、処理対象のマクロブロックと最も類似している画像領域を参照フレームの中から探し出す。たとえば、動き検出部29は、画像メモリ15から、図7(A)のような処理対象のマクロブロック71を取得すると、画像メモリ16に保持されている図7(B)のような参照フレーム80から、参照領域81の画像データを参照画像データとして取得する。参照領域81として、たとえば、参照フレーム80において、処理対象のマクロブロック71と同じ位置にあるマクロブロックを中心とした矩形領域が選択される。
そして、動き検出部29は、参照領域81の中から、処理対象のマクロブロック71と最も類似している位置を検出する。動き検出部29は、類似度の基準として、たとえば、差分絶対和(SAD)を用いる。処理対象のマクロブロック71と、図8で示される動きベクトル82の位置の予測画像83の間のSAD(X,Y)は以下の式(1)で計算される。
SAD(X,Y)=Σ|C(i,j)−R(X+i,Y+j)| (1)
ここで、i=0,1,2,・・・,15、j=0,1,2,・・・,15であり、Σは256画素分の累積加算を表す。C(i,j)は処理対象のマクロブロック71の座標(i,j)の画素値、R(X+i,Y+j)は参照領域81の座標(X+i,Y+j)の画素値を表す。CとRの差が小さい、すなわち、処理対象のマクロブロック71の画素値と予測画像83の画素値が近いときSADが小さくなるため、小さいSADをもつ予測画像83ほど、類似していることになる。動き検出部29は、参照領域81中の任意の動きベクトルの中から、最も小さいSADを持つ動きベクトル82を検出する。
ここで、i=0,1,2,・・・,15、j=0,1,2,・・・,15であり、Σは256画素分の累積加算を表す。C(i,j)は処理対象のマクロブロック71の座標(i,j)の画素値、R(X+i,Y+j)は参照領域81の座標(X+i,Y+j)の画素値を表す。CとRの差が小さい、すなわち、処理対象のマクロブロック71の画素値と予測画像83の画素値が近いときSADが小さくなるため、小さいSADをもつ予測画像83ほど、類似していることになる。動き検出部29は、参照領域81中の任意の動きベクトルの中から、最も小さいSADを持つ動きベクトル82を検出する。
このように、予測画像83が処理対象のマクロブロック71と最も類似した画像となるように動きベクトル82を選択すれば、誤差画像の情報量が最も小さくなり、最終的にエントロピー符号化後のビットストリームの情報量が最も小さくなる。
動き検出部29が検出した動きベクトルは、動き補償部30とエントロピー符号化部23とに供給される。動きベクトルを取得した動き補償部30は、画像メモリ16から読み出した参照画像データから、動きベクトルに対応する座標の画像ブロックを抽出し、画面間予測画像データを生成する。
この画面間予測画像データは、予測方式切り替え部31により画面間予測方式が選択された場合に、誤差画像生成部21及び再構成画像生成部25に供給される。
ところで、左目視点の撮像部11による撮影で得られた画像データは、一度画像メモリ15に格納された後、符号化部13cから符号化処理を行う順で読み出されながら処理されるので、任意の参照関係をとることができる。
ところで、左目視点の撮像部11による撮影で得られた画像データは、一度画像メモリ15に格納された後、符号化部13cから符号化処理を行う順で読み出されながら処理されるので、任意の参照関係をとることができる。
図9は、左目視点用の符号化部における符号化処理の一例を示す図である。
横軸は時間である。図9では、各撮影時刻で取得されるフレームの例と、各符号化時刻において符号化されるフレームの例を示している。また、図9では、各時刻における画像メモリ15への原画像データの蓄積状況と、画像メモリ16への再構成画像データの蓄積状況を示している。
横軸は時間である。図9では、各撮影時刻で取得されるフレームの例と、各符号化時刻において符号化されるフレームの例を示している。また、図9では、各時刻における画像メモリ15への原画像データの蓄積状況と、画像メモリ16への再構成画像データの蓄積状況を示している。
図9において、時刻t0からt1にかけて、撮像部11で撮影された左視点の原画像データ(フレームI0)は、データ保持部13aを経由して画像メモリ15に保持される。同様に、時刻t1からt2にかけてフレームB1が、時刻t2からt3にかけてフレームB2が、時刻t3からt4にかけてフレームP3が画像メモリ15に保持される。後続の左視点の原画像データも同様に画像メモリ15に格納される。
左目視点用の符号化部13cは、時刻t3からt4にかけてフレームI0、時刻t4からt5にかけてフレームP3、時刻t5からt6にかけてフレームB1、時刻t6からt7にかけてフレームB2の符号化処理を行う。符号化部13cは後続の左視点の原画像データに対しても同様に符号化処理を行う。
なお、フレームI0,I15,・・・はイントラフレームを表す。イントラフレームでは、図9に示す符号化処理において、フレーム内のすべてのマクロブロックを画面内予測でのみ符号化処理される。
フレームP3,P6,P9,・・・は直前のフレームInまたはフレームPnを参照領域として用いて符号化されるフレームを表している。たとえば、フレームP3はフレームI0を、フレームP6はフレームP3を、フレームP9はフレームP6を参照フレームとして用いて符号化処理する。
フレームB1,B2,B4,B5,・・・は撮影順で直前のフレームInまたはフレームPnと、直後のフレームInまたはフレームPnの2フレームを参照フレームとして用いて符号化処理される。たとえば、フレームB1は、再構成画像データとして画像メモリ16に保持されているフレームI0とフレームP3の画像データを参照画像データとして符号化処理される。フレームB1は、フレームP3よりも撮影時刻は前だが、このような参照関係が可能である。同様に、たとえば、フレームB2はフレームI0とフレームP3、フレームB4はフレームP3とフレームP6、フレームB5はフレームP3とフレームP6を参照フレームとして用いて符号化処理される。
このように、左視点用の符号化部13cでは、フレームBnにおいて、任意の2枚の参照フレームの中から参照領域を選択し、動きベクトルを検出することができるので、より小さいSADを持つ予測画像を選択することができる。
次に、右目視点用の符号化部13dにおける符号化処理について、図3を用いて説明する。
(右目視点用の符号化部13dによる符号化処理)
データ保持部13bから処理対象のマクロブロックが入力されると、誤差画像生成部41は、そのマクロブロックと予測画像データとの差分画像である誤差画像データを生成する。直交変換・量子化部42は、誤差画像データを入力し、直交変換と量子化処理とを実行して、量子化された変換係数を求める。この量子化後の変換係数は、エントロピー符号化部43と、逆量子化・逆直交変換部44に供給される。
(右目視点用の符号化部13dによる符号化処理)
データ保持部13bから処理対象のマクロブロックが入力されると、誤差画像生成部41は、そのマクロブロックと予測画像データとの差分画像である誤差画像データを生成する。直交変換・量子化部42は、誤差画像データを入力し、直交変換と量子化処理とを実行して、量子化された変換係数を求める。この量子化後の変換係数は、エントロピー符号化部43と、逆量子化・逆直交変換部44に供給される。
エントロピー符号化部43は、量子化された変換係数をエントロピー符号化し、情報量が圧縮された画像情報であるビットストリームを生成する。また、エントロピー符号化部43は、量子化後の変換係数とともに動きベクトルに関する情報をエントロピー符号化し、ビットストリーム中に動きベクトルに関する情報を含ませる。
一方、逆量子化・逆直交変換部44は、量子化後の変換係数に対して逆量子化と逆直交変換とを実行し、誤差画像データを復元する。そして、再構成画像生成部45は、復元された誤差画像データと誤差画像生成部41で用いた予測画像データとから、再構成画像データを生成し、ラインメモリ46に保持させる。
誤差画像生成部41及び再構成画像生成部45で用いられる予測画像データのうち、画面内予測画像データの生成については、前述した左目視点用の符号化部13dの処理と同じである。一方、画面間予測画像データの生成については、前述した左目視点用の符号化部13dの処理とは異なっている。
動き検出部48は、処理対象のマクロブロックと、同時刻に入力される左目視点の原画像データをデータ保持部13aから参照画像データとして入力する。右目視点におけるマクロブロックの動き検出を同時刻の左目視点の原画像データを用いて行う場合、被写体は2つの撮像部11,12の設置方向である水平方向に視差をもって撮影されるため、検出すべき動きベクトルは水平方向のベクトルとなる。つまり、動きベクトルの垂直方向成分は0となる。
図10は、右目視点用の符号化部の動き検出部が読み出す参照領域の一例を示す図である。
右目視点の画像データにおいて、動き検出部48が、処理対象のマクロブロック90に対して動き検出を行う場合について図示されている。
右目視点の画像データにおいて、動き検出部48が、処理対象のマクロブロック90に対して動き検出を行う場合について図示されている。
前述のように撮像部11,12が水平方向に配置されている場合、動き検出部48は、水平方向にのみ動きベクトルを探索する。したがって、動き検出部48が参照画像データとしてデータ保持部13aから読み出す左目視点の原画像データは、たとえば、処理対象のマクロブロック90と同位置のマクロブロック91に対して水平方向に位置する領域92となる。領域92は、マクロブロック91を中心として、たとえば、左右に16×16画素分拡張した大きさとする。なお、領域92の大きさは、撮像部11,12間の距離などに応じて適宜変更可能である。
以上のような符号化部13c,13dで生成されたビットストリームは、ビットストリームメモリに書き込まれ、ビットストリーム並べ替え部17で適切な順序に並べ替えられたのち、ビットストリームメモリ14に書き戻される。
その後、各視点のビットストリームは、たとえば、図示しないハードディスクドライブなどの記憶装置やDVD(Digital Versatile Disc)などの記憶メディアに記憶されたり、3D対応の表示装置で復号化され3D表示される。なお、撮像装置10自体が、記憶装置、復号部または表示部などを内蔵してもよい。復号部は半導体集積回路13に内蔵するようにしてもよい。
ところで、上記のように符号化した左目視点の画像データを復号する際には、図示しない復号部は、たとえば、符号化されている誤差画像データを復号し、その誤差画像データと1フレーム前の左目視点の復号データとから画像データを生成する。また、復号部は、ある時刻の右目視点の画像データを復号する際には、符号化されている誤差画像データを復号し、その誤差画像データと同時刻の左目視点の復号データとから画像データを復号すればよい。
以上のように本実施の形態の半導体集積回路13、符号化方法及び撮像装置10によれば、右目視点の原画像データの符号化で使用する参照画像データとして、左目視点の原画像データを使用する。これにより、画像メモリ15,16は、左目視点の原画像データを符号化する際に限定して使用することができるので、複数の視点の原画像データの符号化処理において、画像メモリに対するデータ転送量を削減できる。
また、これにより、単位時間あたりにデータを読み書きするデータ量を削減できるので、画像メモリとして安価な半導体メモリを用いることが可能になり撮像装置10のコストを削減できる。
以上、実施の形態に基づき、本発明の半導体集積回路、符号化方法及び撮像装置の一観点について説明してきたが、これらは一例にすぎず、上記の記載に限定されるものではない。
たとえば、図2、図3では、H.264/AVC規格に対応した符号化部13c,13dを説明したが、MPEG−2に対応した符号化部であってもよい。その場合も一方の視点の原画像データを符号化する符号化部において、動き検出を行う場合、他方の視点の原画像データを参照画像データとして用いることで、同様の効果を得ることができる。
また、上記では2視点の場合について説明したが、3つ以上の視点の原画像データを符号化する際にも同様に適用可能である。その場合、各視点に対応したデータ保持部及び符号化部が設けられ、ある視点のマクロブロックを符号化する際の動き検出の際に、基準となる視点の原画像データを参照画像データとして用いることで同様の効果を得ることが可能である。
10 撮像装置
11,12 撮像部
13 半導体集積回路
13a,13b データ保持部
13c,13d 符号化部
14 ビットストリームメモリ
15,16 画像メモリ
17 ビットストリーム並べ替え部
11,12 撮像部
13 半導体集積回路
13a,13b データ保持部
13c,13d 符号化部
14 ビットストリームメモリ
15,16 画像メモリ
17 ビットストリーム並べ替え部
Claims (5)
- 第1の視点の原画像データを符号化処理する第1の符号化部と、
第2の視点の原画像データを符号化処理する第2の符号化部と、
を有し、
前記第2の符号化部は、前記符号化処理を行う際、前記第1の視点の前記原画像データを参照画像データとして、動き検出することを特徴とする半導体集積回路。 - 水平方向に位置する前記第1の視点及び前記第2の視点のうち前記第1の視点の前記原画像データを保持する第1のデータ保持部を有し、
前記第1のデータ保持部は、前記第2の符号化部における処理単位の前記原画像データに対して画面上で水平方向に位置する前記第1の視点の前記原画像データを、前記参照画像データとして前記第2の符号化部に送出することを特徴とする請求項1に記載の半導体集積回路。 - 水平方向に位置する前記第1の視点及び前記第2の視点のうち前記第2の視点の前記原画像データを保持する第2のデータ保持部を有し、
前記第2のデータ保持部は、前記第2の符号化部における前記符号化処理の処理単位となる前記原画像データを一行分取得して保存する間に、取得済みの他の行の前記処理単位の前記原画像データを前記第2の符号化部に送出することを特徴とする請求項1または2に記載の半導体集積回路。 - 第1の符号化部は第1の視点の原画像データを符号化処理し、
第2の視点の原画像データを符号化処理する第2の符号化部は、前記符号化処理を行う際、前記第1の視点の前記原画像データを参照画像データとして、前記第2の視点の原画像データを符号化処理することを特徴とする符号化方法。 - 第1の視点で撮影を行い、原画像データを出力する第1の撮像部と、
第2の視点で撮影を行い、原画像データを出力する第2の撮像部と、
前記第1の視点の前記原画像データを符号化処理する第1の符号化部と、
前記第2の視点の前記原画像データを符号化処理する第2の符号化部と、
を有し、
前記第2の符号化部は、前記符号化処理を行う際、前記第1の視点の前記原画像データを参照画像データとして、動き検出することを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009281207A JP2011124822A (ja) | 2009-12-11 | 2009-12-11 | 半導体集積回路、符号化方法及び撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009281207A JP2011124822A (ja) | 2009-12-11 | 2009-12-11 | 半導体集積回路、符号化方法及び撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011124822A true JP2011124822A (ja) | 2011-06-23 |
Family
ID=44288276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009281207A Pending JP2011124822A (ja) | 2009-12-11 | 2009-12-11 | 半導体集積回路、符号化方法及び撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011124822A (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61206395A (ja) * | 1985-03-11 | 1986-09-12 | Nippon Hoso Kyokai <Nhk> | 立体テレビジョン画像信号の伝送方法 |
JPH04196998A (ja) * | 1990-11-28 | 1992-07-16 | Matsushita Electric Ind Co Ltd | 立体画像符号化装置 |
JPH06113335A (ja) * | 1992-09-29 | 1994-04-22 | Fujitsu Ltd | 画像高能率符号化方式 |
JPH0759115A (ja) * | 1993-07-09 | 1995-03-03 | Rca Thomson Licensing Corp | ステレオビデオ信号処理方法および装置 |
JPH07325924A (ja) * | 1994-06-02 | 1995-12-12 | Canon Inc | 複眼撮像装置 |
JPH0993614A (ja) * | 1995-09-27 | 1997-04-04 | Nec Corp | 3次元画像符号化装置 |
JPH11355583A (ja) * | 1998-06-03 | 1999-12-24 | Hitachi Ltd | 画像信号処理装置 |
-
2009
- 2009-12-11 JP JP2009281207A patent/JP2011124822A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61206395A (ja) * | 1985-03-11 | 1986-09-12 | Nippon Hoso Kyokai <Nhk> | 立体テレビジョン画像信号の伝送方法 |
JPH04196998A (ja) * | 1990-11-28 | 1992-07-16 | Matsushita Electric Ind Co Ltd | 立体画像符号化装置 |
JPH06113335A (ja) * | 1992-09-29 | 1994-04-22 | Fujitsu Ltd | 画像高能率符号化方式 |
JPH0759115A (ja) * | 1993-07-09 | 1995-03-03 | Rca Thomson Licensing Corp | ステレオビデオ信号処理方法および装置 |
JPH07325924A (ja) * | 1994-06-02 | 1995-12-12 | Canon Inc | 複眼撮像装置 |
JPH0993614A (ja) * | 1995-09-27 | 1997-04-04 | Nec Corp | 3次元画像符号化装置 |
JPH11355583A (ja) * | 1998-06-03 | 1999-12-24 | Hitachi Ltd | 画像信号処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10412413B2 (en) | Image processing device and image processing method | |
JP6545672B2 (ja) | マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法 | |
EP2887663B1 (en) | Method, apparatus and system for encoding and decoding video | |
JP6042536B2 (ja) | 3dビデオ符号化におけるビュー間候補導出の方法と装置 | |
AU2013284038B2 (en) | Method and apparatus of disparity vector derivation in 3D video coding | |
US20150172714A1 (en) | METHOD AND APPARATUS of INTER-VIEW SUB-PARTITION PREDICTION in 3D VIDEO CODING | |
US20100215104A1 (en) | Method and System for Motion Estimation | |
US10356417B2 (en) | Method and system of video coding using projected motion vectors | |
JP2015525997A5 (ja) | ||
US20150365649A1 (en) | Method and Apparatus of Disparity Vector Derivation in 3D Video Coding | |
JP4185086B2 (ja) | 画像処理装置 | |
WO2014156648A1 (ja) | 複数の入力画像をエンコーディングする方法、プログラムを格納する記憶媒体および装置 | |
KR20170059902A (ko) | 다시점 비디오의 부호화/복호화 방법 및 장치 | |
JPWO2013031071A1 (ja) | 動画像復号装置、動画像復号方法、及び集積回路 | |
JP4874578B2 (ja) | 画像符号化装置 | |
JP2011130030A (ja) | 画像符号化方法及び画像符号化装置 | |
JP4235209B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
JP2009218965A (ja) | 画像処理装置、それを搭載した撮像装置、および画像再生装置 | |
JP2011124822A (ja) | 半導体集積回路、符号化方法及び撮像装置 | |
JP2009071642A (ja) | 動画像符号化装置 | |
US20180124376A1 (en) | Video decoding device and image display device | |
JP2002300600A (ja) | 立体像符号化装置および立体像復号装置 | |
KR102127212B1 (ko) | 다시점 영상 정보의 복호화 방법 및 장치 | |
JP2007166555A (ja) | 符号化装置及び方法 | |
JP2018166306A (ja) | 符号化装置、撮像装置、符号化方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120815 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130423 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130813 |