<第1の実施形態>
以下、本発明の実施形態について、図面を参照して説明する。図1は、本第1の実施形態における撮像装置の概略構成を示したブロック図である。図1に示した撮像装置10は、イメージセンサ100と、撮像処理部200と、画像処理部300と、表示処理部400と、表示デバイス401と、カードIF(インターフェース)部500と、記録媒体501と、DRAM(Dynamic Random Access Memory)コントローラ600と、DRAM601と、CPU700と、を備えている。また、撮像装置10内の撮像処理部200は、データ抽出部201と、前処理部202と、第1のデータ転送部203と、第2のデータ転送部204と、データ取得部205と、を備えている。
撮像装置10内の撮像処理部200と、画像処理部300と、表示処理部400と、カードIF部500と、DRAMコントローラ600と、CPU700とは、データバス800を介してそれぞれ接続され、例えば、DMA(Direct Memory Access)によってDRAMコントローラ600に接続されたDRAM601からのデータの読み出し、およびDRAM601へのデータの書き込みを行う。
イメージセンサ100は、図示しないレンズによって結像された被写体の光学像を光電変換するCCD(Charge Copled Device:電荷結合素子)イメージセンサや、CMOS(Complementary Metal−Oxide Semiconductor:相補型金属酸化膜半導体)イメージセンサに代表される固体撮像装置である。イメージセンサ100は、画素部において、被写体光が入射される画素が配置された画像領域の端に位置し、黒レベル補正を行うために常に遮光された複数列または複数行のオプティカルブラック領域(OB領域)を備えている。イメージセンサ100は、イメージセンサ100自体に備えたOB領域の画素を含めた全ての画素をラスタスキャンし、画像に対して水平方向(横方向)に順次、遮光された画素の信号(OB画素信号)と被写体光が入射される画素の画素信号とを、画像データとして撮像処理部200に出力する。以下の説明において、遮光された画素のOB画素信号の画像データと被写体光が入射される画素の画素信号の画像データとを区別して表す場合には、OB画素信号に応じた画像データを「OBデータ」といい、被写体光に応じた画素信号を「被写体データ」という。
撮像処理部200は、イメージセンサ100から入力された画像データを取り込み、取り込んだ画像データをOBデータと被写体データとに分けると共に、被写体データに対して、OBデータに基づいた黒レベル補正を含む前処理を施し、前処理した結果の被写体データを、DRAMコントローラ600を介してDRAM601に転送する(書き込む)。
なお、撮像処理部200が前処理を施すことができる画像データのデータ量、すなわち、画像に対する水平方向(横方向)のデータ数は、イメージセンサ100が1行分として出力するOBデータおよび被写体データの合計のデータ数よりも少ない。このため、撮像処理部200は、前処理を施すことができない被写体データをそのまま、つまり、前処理を施さずに、DRAMコントローラ600を介してDRAM601に転送する(書き込む)。その際、撮像処理部200は、前処理を施すことができない被写体データに対応するOBデータも一緒に、DRAM601に転送する(書き込む)。そして、撮像処理部200は、前処理を施すことができるデータ量の前処理が完了した後に、DRAM601にそのまま記憶され、前処理が施されていない被写体データおよび対応するOBデータを取得し、取得した被写体データに対して、対応するOBデータに基づいた黒レベル補正を含む前処理を施して、再度DRAM601に転送する(書き込む)。つまり、撮像処理部200では、前処理を施すことができない水平方向(横方向)のデータ数の画像データが入力された場合には、前処理を施すことができるデータ量の範囲で複数回に分けて、入力された全ての被写体データに対して、対応するOBデータに基づいた黒レベル補正を含む前処理を施す。
データ抽出部201は、入力された画像データをOBデータと被写体データとに分けると共に、被写体データと対応するOBデータとの出力先の構成要素を選択する。より具体的には、データ抽出部201は、イメージセンサ100から入力された画像データ、およびデータ取得部205から入力された画像データからOBデータを抽出することによって、入力された画像データをOBデータと被写体データとに分ける。そして、データ抽出部201は、被写体データの出力先として、前処理部202または第2のデータ転送部204のいずれか一方または両方を選択する。そして、データ抽出部201は、選択した出力先に、被写体データおよび対応するOBデータを出力する。
前処理部202は、データ抽出部201から入力された被写体データに対して、対応するOBデータに基づいて黒レベルの変動を補正する黒レベル補正、キズ補正、シェーディング補正、画素欠陥補正などの様々な前処理を施し、処理した結果の被写体データ(以下、「前処理画像データ」という)を、第1のデータ転送部203に出力する。なお、前処理部202の構成や、前処理部202における黒レベル補正を含む前処理の処理方法および動作は、従来の撮像装置に備えた前処理部の構成や処理方法および動作と同様である。従って、前処理部202の構成や黒レベル補正を含む前処理の処理方法および動作に関する詳細な説明は省略する。
第1のデータ転送部203は、前処理部202から入力された前処理画像データを、例えば、DMAによってDRAMコントローラ600に接続されたDRAM601に格納する(書き込む)。なお、第1のデータ転送部203の構成や、前処理画像データをDMAによってDRAM601に格納する(書き込む)際の動作は、DMAによってデータを格納する通常の構成や動作と同様であるため、詳細な説明は省略する。なお、第1のデータ転送部203が前処理画像データをDRAM601に格納する(書き込む)方法は、DMA以外の方法であってもよい。
第2のデータ転送部204は、データ抽出部201から入力された被写体データ、すなわち、前処理部202によって前処理が施されていない被写体データと、データ抽出部201から入力された前処理が施されていない被写体データに対応するOBデータとを、例えば、DMAによってDRAMコントローラ600に接続されたDRAM601に格納する(書き込む)。以下の説明においては、前処理が施されていない被写体データと対応するOBデータとを併せて、「元画像データ」という。なお、第2のデータ転送部204の構成や、元画像データをDMAによってDRAM601に格納する(書き込む)際の動作は、第1のデータ転送部203と同様に、DMAによってデータを格納する通常の構成や動作と同様であるため、詳細な説明は省略する。なお、第2のデータ転送部204が元画像データをDRAM601に格納する(書き込む)方法は、第1のデータ転送部203と同様に、DMA以外の方法であってもよい。
データ取得部205は、DRAM601に格納されている画像データを、例えば、DMAによってDRAMコントローラ600を介して取得し(読み出し)、取得した画像データをデータ抽出部201に出力する。なお、データ取得部205が取得する画像データは、第2のデータ転送部204によって格納された元画像データのみではなく、例えば、第1のデータ転送部203によって格納された前処理画像データや、画像処理部300によって画像処理された後にDRAM601に格納された画像データであってもよい。
画像処理部300は、DRAM601に格納されている前処理画像データを取得し(読み出し)、取得した前処理画像データに、ノイズ除去処理、歪曲収差補正、YC変換処理、リサイズ処理、JPEG圧縮処理、およびMPEG圧縮処理やH.264圧縮処理等の動画圧縮処理などの各種の画像処理を施して、表示用の画像データや記録用の画像データを生成する。そして、画像処理部300は、生成した表示用の画像データや記録用の画像データを、再びDRAM601に格納する(書き込む)。
また、画像処理部300は、DRAM601に格納されている記録用の画像データを取得し(読み出し)、JPEG伸張処理、MPEG伸張処理やH.264伸張処理等の動画伸張処理などの各種の画像処理を施して、表示用の画像データを生成する。そして、画像処理部300は、生成した表示用の画像データを、再びDRAM601に格納する(書き込む)。
表示処理部400は、DRAM601に格納されている表示用の画像データを取得し(読み出し)、取得した表示用の画像データにOSD(On−Screen Display)表示用のデータを重畳する処理などの表示処理を施す。そして、表示処理後の画像データを、表示デバイス401に出力する。
表示デバイス401は、TFT(薄膜トランジスター:Thin Film Transistor)液晶ディスプレイ(LCD:Liquid Crystal Display)や、有機EL(Electro Luminescence)ディスプレイなどの表示デバイスであり、表示処理部400から出力された表示処理後の画像データに応じた画像を表示する。
なお、表示デバイス401は、EVF(Electronic View Finder:電子ビューファインダ)などの表示デバイスや、テレビなどの外部ディスプレイであってもよい。また、図1においては、表示デバイス401も撮像装置10の構成要素としているが、表示デバイス401は、撮像装置10に着脱可能な構成であってもよい。
カードIF部500は、DRAM601に記録されている記録用の画像データを取得し(読み出し)、取得した記録用の画像データを記録媒体501に記録させる。また、カードIF部500は、記録媒体501に記録している画像データを読み出し、読み出した画像データを、DRAM601に転送する(書き込む)。
記録媒体501は、SDメモリカード(SD Memory Card)やコンパクトフラッシュ(CompactFlash:CF(登録商標))などの記録媒体であり、カードIF部500から出力された記録用の画像データを記録する。また、カードIF部500によって記録している画像データが読み出される。なお、図1においては、記録媒体501も撮像装置10の構成要素としているが、記録媒体501は、撮像装置10に着脱可能な構成である。
DRAMコントローラ600は、データバス800に接続されている撮像装置10内の複数の構成要素からのDRAM601へのアクセス要求、例えば、DMAのアクセス要求に応じて、接続されているDRAM601へのデータの格納(書き込み)、およびDRAM601からのデータの取得(読み出し)の制御を行う。
DRAM601は、DRAMコントローラ600によってアクセス制御されるメモリ(記憶部)である。DRAM601は、撮像装置10内のそれぞれの構成要素の処理過程における様々なデータを一時的に格納(記憶)する。
CPU700は、撮像装置10の構成要素、すなわち、撮像装置10全体を制御する。例えば、CPU700は、撮像装置10における撮影動作や再生動作に応じて、撮像装置10内の各構成要素の動作を制御する。例えば、CPU700は、撮像装置10が撮影動作を行う際に、イメージセンサ100からの画像データの出力の開始、撮像処理部200による画像データの取り込みの開始を制御する。
また、CPU700は、撮像処理部200内のデータ抽出部201による被写体データおよび対応するOBデータの抽出と出力先の選択の制御や、データ抽出部201によるOBデータの抽出や、第1のデータ転送部203および第2のデータ転送部204による画像データの転送の設定や、データ取得部205の設定を行う。
このような構成によって、本第1の実施形態の撮像装置10では、イメージセンサ100から出力される画像データをリアルタイムに取り込みながら、取り込んだ画像データに含まれる被写体データに対して直接的に(ダイレクトに)、OBデータに基づいた黒レベル補正を含む様々な前処理を施すことができる。また、本第1の実施形態の撮像装置10では、データ取得部205によってDRAM601に格納されている元画像データを取得することによって、DRAM601に格納されている元画像データに含まれる被写体データに対して、対応するOBデータに基づいた黒レベル補正を含む様々な前処理を施すことができる。すなわち、本第1の実施形態の撮像装置10では、リアルタイムに入力される被写体データ以外に対しても、対応するOBデータに基づいた適切な黒レベル補正を含む様々な前処理を施すことができる。
次に、撮像装置10において、イメージセンサ100から出力される画像データに含まれる被写体データに対して前処理(OBデータに基づいた黒レベル補正)を施す動作の一例について説明する。なお、以下の説明においては、イメージセンサ100の水平方向(横方向)の画素数が10000画素である、つまり、イメージセンサ100が、横幅が10000画素の画像を撮影し、前処理部202は、水平方向(横方向)に6000画素分の記憶容量のラインメモリを備えている場合について説明する。すなわち、イメージセンサ100が1行毎に出力する水平方向(横方向)の画像データのデータ数が、前処理部202に備えたラインメモリが保持することができる1行分の画像データのデータ数よりも多く、1行分の全ての被写体データをラインメモリに保持することができない構成である場合に、どのように1行分の被写体データに対して黒レベル補正の前処理を施すかの動作について説明する。なお、以下の説明においては、説明を容易にするため、OBデータのデータ数に関しては考慮しないものとする。
前処理部202に備えたラインメモリが対応することができるデータ数よりも、入力される被写体データのデータ数の方が多い場合、つまり、撮像処理部200が前処理を施すことができる被写体データのデータ数が、イメージセンサ100が1行分として出力する被写体データのデータ数よりも少ない場合、撮像装置10は、上述したように、前処理を施すことができるデータ量(ここでは、6000画素)の範囲で複数回に分けて、入力された全ての被写体データに対して前処理を施す。以下の説明においては、説明を容易にするため、イメージセンサ100から入力された被写体データを半分ずつ、2回に分けて前処理を施す場合について説明する。
被写体データに対する黒レベル補正は、画像の水平方向(横方向)に位置する水平方向のOB領域(HOB領域)のOBデータ(以下、「HOBデータ」という)に基づいて行う水平方向の黒レベル補正と、画像の垂直方向(縦方向)に位置する垂直方向のOB領域(VOB領域)のOBデータ(以下、「VOBデータ」という)に基づいて行う垂直方向の黒レベル補正とがある。
ここで、本第1の実施形態の撮像装置10において、水平方向の黒レベル補正と、垂直方向の黒レベル補正とのそれぞれを、2回に分けて施す場合の考え方について説明する。図2は、本第1の実施形態の撮像装置10によって水平方向の黒レベル補正を行う場合の考え方を説明する図である。また、図3は、本第1の実施形態の撮像装置10によって垂直方向の黒レベル補正を行う場合の考え方を説明する図である。
まず、図2を用いて、撮像装置10が水平方向の黒レベル補正を2回に分けて施す場合の考え方を説明する。なお、図2は、イメージセンサ100の画素部において、HOB領域が画像領域の左側の端に位置している場合の一例である。
撮像装置10における水平方向の黒レベル補正では、イメージセンサ100の画素部内の画像領域のみを分割し、同じHOB領域のHOBデータに基づいて、分割したそれぞれの画像領域の被写体データに対して黒レベル補正を施す。つまり、分割したそれぞれの画像領域に共通のHOBデータを用いて、被写体データに対する水平方向の黒レベル補正を行う。
より具体的には、撮像装置10における水平方向の黒レベル補正の1回目の動作では、図2(a)に示したように、HOB領域のHOBデータを抽出し、抽出したHOBデータに基づいて、画像領域を分割した一方(左側)の半分の被写体データに対して水平方向の黒レベル補正を施す。また、撮像装置10における水平方向の黒レベル補正の2回目の動作では、図2(b)に示したように、抽出したHOBデータに基づいて、画像領域を分割した他方(右側)の半分の被写体データに対して水平方向の黒レベル補正を施す。
このように、撮像装置10における水平方向の黒レベル補正では、同じHOB領域のHOBデータを用いて、分割したそれぞれの画像領域の被写体データに対して黒レベル補正を施す。なお、撮像装置10では、データ抽出部201が、イメージセンサ100から入力された画像データからのHOBデータの抽出と画像領域の分割とを行い、前処理部202が、データ抽出部201から入力されたHOBデータに基づいて、分割した画像領域の被写体データに対する水平方向の黒レベル補正を行う。
次に、図3を用いて、撮像装置10が垂直方向の黒レベル補正を2回に分けて施す場合の考え方を説明する。なお、図3は、イメージセンサ100の画素部において、VOB領域が画像領域の上側の端に位置している場合の一例である。
黒レベル補正に限らず、画像領域を複数に分けて前処理を行うと、処理を分けた境界部分に違和感がある画像となってしまうと考えられる。このため、実際に前処理を複数回に分けて行う場合には、それぞれの処理において使用する被写体データを重複させた領域、すなわち、オーバーラップ領域を設けて処理することが一般的に行われている。撮像装置10による垂直方向の黒レベル補正では、このオーバーラップ領域に対応するVOB領域内のVOBデータに基づいて、分割したそれぞれの画像領域の被写体データに対する黒レベル補正を施す。つまり、分割したそれぞれの画像領域に共通のオーバーラップ領域内のVOBデータを用いて、被写体データに対する垂直方向の黒レベル補正を行う。
より具体的には、撮像装置10における垂直方向の黒レベル補正の1回目の動作では、図3(a)に示したように、画像領域の上側の全体に位置するVOB領域の内、オーバーラップ領域内に位置するVOB領域のVOBデータを抽出し、抽出したVOBデータに基づいて、画像領域を分割した一方(左側)の半分の被写体データに対して垂直方向の黒レベル補正を施す。また、撮像装置10における垂直方向の黒レベル補正の2回目の動作では、図3(b)に示したように、抽出したオーバーラップ領域内に位置するVOB領域のVOBデータに基づいて、画像領域を分割した他方(右側)の半分の被写体データに対して垂直方向の黒レベル補正を施す。
このように、撮像装置10における垂直方向の黒レベル補正では、同じオーバーラップ領域内に位置するVOB領域のVOBデータを用いて、分割したそれぞれの画像領域の被写体データに対して黒レベル補正を施す。なお、撮像装置10では、データ抽出部201が、イメージセンサ100から入力された画像データからのVOBデータの抽出と画像領域の分割とを行い、前処理部202が、データ抽出部201から入力されたVOBデータに基づいて、分割した画像領域の被写体データに対する垂直方向の黒レベル補正を行う。
なお、上述した撮像装置10における水平方向の黒レベル補正では説明していないが、水平方向の黒レベル補正を行う場合にも、オーバーラップ領域を、画像領域を分割するそれぞれの境界部分に設けてもよい。このように、画像領域を複数に分けて前処理を行う際にオーバーラップ領域を設けることによって、黒レベル補正に限らず、処理を分けた境界部分における画像の違和感をなくすことができる。
次に、本第1の実施形態の撮像装置10において、水平方向の黒レベル補正と、垂直方向の黒レベル補正とのそれぞれの実際の動作の一例について説明する。まず、撮像装置10が水平方向の黒レベル補正を2回に分けて施す場合の動作の一例について説明する。
図4および図5は、本第1の実施形態の撮像装置10による水平方向の黒レベル補正の動作の一例を模式的に示した図である。図4には、撮像装置10が、イメージセンサ100から入力された一方(左側)の半分の被写体データに対して前処理(HOBデータに基づいた水平方向の黒レベル補正)を施す第1の動作の一例を示している。また、図5には、撮像装置10が、イメージセンサ100から入力された他方(右側)の半分の被写体データに対して前処理(HOBデータに基づいた水平方向の黒レベル補正)を施す第2の動作の一例を示している。
<第1の動作>
第1の動作(1パス目の動作)では、イメージセンサ100の画素部の左側の端に位置するHOB領域のHOBデータに基づいて、イメージセンサ100から出力される被写体データに対してリアルタイムに水平方向の黒レベル補正を施した前処理画像データをDRAM601に転送する(書き込む)。また、1パス目の動作では、水平方向の黒レベル補正を施すことができない被写体データをそのまま、DRAM601に転送する(書き込む)のと共に、この被写体データに対応するHOBデータをDRAM601に転送する(書き込む)。図4には、図1に示した撮像装置10のブロック図上に、第1の動作(1パス目の動作)におけるそれぞれのデータの経路を示している。
まず、1パス目の動作では、図4に示した経路C11の画像データの経路で、被写体データに対して、リアルタイムに水平方向の黒レベル補正を施した前処理画像データをDRAM601に転送する(書き込む)。より具体的には、1パス目の動作において、イメージセンサ100が、横幅が10000画素の1枚の画像P1を撮影し、HOBデータと共に、撮影した画像P1の被写体データを撮像処理部200に出力する。撮像処理部200では、イメージセンサ100から入力されたHOBデータと画像P1の全ての領域の被写体データとを取り込み、取り込んだHOBデータと画像P1の被写体データとが順次、撮像処理部200内のデータ抽出部201に入力される。そして、データ抽出部201は、画像P1の被写体データと共に入力されたHOBデータを抽出し、抽出したHOBデータと、画像P1の左側半分の領域である画像P2の被写体データとを、前処理部202に順次出力する。
前処理部202は、データ抽出部201から入力されたHOBデータに基づいて、データ抽出部201から順次入力された画像P2の被写体データに対して水平方向の黒レベル補正を施し、水平方向の黒レベル補正を施した後の画像P3の前処理画像データを順次、第1のデータ転送部203に出力する。そして、第1のデータ転送部203は、前処理部202から順次入力された画像P3の前処理画像データを、DRAMコントローラ600を介してDRAM601に転送する(書き込む)。これにより、DRAM601には、水平方向の黒レベル補正を施した後の画像P3の前処理画像データが格納される。
また、1パス目の動作では、図4に示した経路C12の画像データの経路で、そのままの被写体データと対応するHOBデータとを、DRAM601に転送する(書き込む)。より具体的には、1パス目の動作において、データ抽出部201は、抽出したHOBデータと、画像P1の右側半分の領域である画像P4の被写体データとを、第2のデータ転送部204に順次出力する。第2のデータ転送部204は、データ抽出部201から順次入力された画像P4の被写体データと対応するHOBデータとをそのまま、画像P4の元画像データとしてDRAMコントローラ600を介してDRAM601に転送する(書き込む)。これにより、DRAM601には、イメージセンサ100が出力した画像P1の右側半分の画像P4の被写体データが、そのまま格納される。また、DRAM601には、イメージセンサ100が出力したHOBデータが、そのまま格納される。
このように、1パス目の動作では、イメージセンサ100が出力した画像P1の左側半分の領域に対して水平方向の黒レベル補正を施した画像P3の前処理画像データと、イメージセンサ100が出力した画像P1の右側半分の領域である画像P4の被写体データおよびHOBデータとを、DRAM601に格納する。
なお、1パス目の動作において、DRAM601に元画像データを格納する際には、イメージセンサ100から入力された画像P1の全ての領域の被写体データとHOBデータとを、画像P1の元画像データとしてDRAM601に格納することもできる。しかし、上述したように、1パス目の動作においては、HOBデータと画像P1の右側半分の画像P4の被写体データとのみを、元画像データとしてDRAM601に格納している。これは、以降の第2の動作(2パス目の動作)において水平方向の黒レベル補正を施すのは、1パス目の動作において水平方向の黒レベル補正を施すことができなかった画像P1の右側半分の領域である画像P4の被写体データのみであるからである。これにより、DRAM601の記憶容量を削減することができると共に、データバス800のバス帯域の必要以上の圧迫を回避することができる。
<第2の動作>
その後、撮像装置10は、第1の動作(1パス目の動作)で水平方向の黒レベル補正を施すことができなかった、イメージセンサ100から入力された画像P1の右側半分の被写体データである画像P4の被写体データに対して、HOBデータに基づいた水平方向の黒レベル補正を施した前処理画像データをDRAM601に転送する(書き込む)。図5には、図1に示した撮像装置10のブロック図上に、第2の動作(2パス目の動作)におけるデータの経路を示している。
2パス目の動作では、図5に示した経路C13の画像データの経路で、DRAM601に格納されている画像P4の被写体データに対して水平方向の黒レベル補正を施した前処理画像データをDRAM601に転送する(書き込む)。より具体的には、2パス目の動作において、データ取得部205が、DRAM601に格納されている画像P4の元画像データを順次取得し(読み出し)、取得した画像P4の元画像データを順次、データ抽出部201に出力する。そして、データ抽出部201は、入力された画像P4の元画像データからHOBデータを抽出し、抽出したHOBデータと、画像P4の被写体データとを、前処理部202に順次出力する。
なお、画像P4の被写体データの全てに対して水平方向の黒レベル補正を施すことができない場合には、第1の動作と同様に、経路C12の画像データの経路で、抽出したHOBデータと水平方向の黒レベル補正を施すことができない被写体データとをそのまま、DRAM601に転送する(書き込む)。これにより、DRAM601には、HOBデータと水平方向の黒レベル補正を施すことができない被写体データが、再度格納される。
前処理部202は、データ抽出部201から入力されたHOBデータに基づいて、データ抽出部201から順次入力された画像P4の被写体データに対して水平方向の黒レベル補正を施し、水平方向の黒レベル補正を施した後の画像P5の前処理画像データを順次、第1のデータ転送部203に出力する。そして、第1のデータ転送部203は、前処理部202から順次入力された画像P5の前処理画像データを、DRAMコントローラ600を介してDRAM601に転送する(書き込む)。これにより、DRAM601には、水平方向の黒レベル補正を施した後の画像P5の前処理画像データが格納される。
このように、2パス目の動作では、DRAM601に格納されている、イメージセンサ100が出力した画像P1の右側半分の画像P4に対して水平方向の黒レベル補正を施した画像P5の前処理画像データを、DRAM601に格納する。これにより、DRAM601には、イメージセンサ100が撮影した横幅が10000画素の1枚の画像P1の全ての領域の被写体データに対して水平方向の黒レベル補正を施した前処理画像データ(画像P3+画像P5の前処理画像データ)が格納される。
このように、本第1の実施形態の撮像装置10による水平方向の黒レベル補正では、イメージセンサ100の画素部内の画像領域のみを分割し、同じHOB領域のHOBデータ、つまり、共通のHOBデータに基づいて、分割したそれぞれの画像領域の被写体データに対して黒レベル補正を施すことができる。
より具体的には、第1の動作(1パス目の動作)において、撮像装置10は、イメージセンサ100から入力された画像P1の左半分の被写体データに対して、リアルタイムに水平方向の黒レベル補正を施した前処理画像データをDRAM601に転送する(書き込む)のと共に、水平方向の黒レベル補正を施すことができない右側半分の被写体データをそのまま、DRAM601に転送する(書き込む)。その後、第2の動作(2パス目の動作)において、撮像装置10は、第1の動作(1パス目の動作)で水平方向の黒レベル補正を施すことができなかった、イメージセンサ100から入力された画像P1の右側半分の被写体データに対して水平方向の黒レベル補正を施した前処理画像データをDRAM601に転送する(書き込む)ことによって、1枚の画像P1の全ての被写体データに対する水平方向の黒レベル補正を施す。
次に、撮像装置10が垂直方向の黒レベル補正を2回に分けて施す場合の動作の一例について説明する。
図6および図7は、本第1の実施形態の撮像装置10による垂直方向の黒レベル補正の動作の一例を模式的に示した図である。図6には、撮像装置10が、イメージセンサ100から入力された一方(左側)の半分の被写体データに対して前処理(VOBデータに基づいた垂直方向の黒レベル補正)を施す第1の動作の一例を示している。また、図7には、撮像装置10が、イメージセンサ100から入力された他方(右側)の半分の被写体データに対して前処理(VOBデータに基づいた垂直方向の黒レベル補正)を施す第2の動作の一例を示している。
<第1の動作>
第1の動作(1パス目の動作)では、イメージセンサ100の画素部の上側の端に位置するVOB領域の内、オーバーラップ領域内に位置するVOB領域のVOBデータに基づいて、イメージセンサ100から出力される被写体データに対してリアルタイムに垂直方向の黒レベル補正を施した前処理画像データをDRAM601に転送する(書き込む)。また、1パス目の動作では、垂直方向の黒レベル補正を施すことができない被写体データをそのまま、DRAM601に転送する(書き込む)のと共に、この被写体データに対応するオーバーラップ領域内に位置するVOB領域のVOBデータをDRAM601に転送する(書き込む)。図6には、図1に示した撮像装置10のブロック図上に、第1の動作(1パス目の動作)におけるそれぞれのデータの経路を示している。
まず、1パス目の動作では、図6に示した経路C16の画像データの経路で、被写体データに対して、リアルタイムに垂直方向の黒レベル補正を施した前処理画像データをDRAM601に転送する(書き込む)。より具体的には、1パス目の動作において、イメージセンサ100が、横幅が10000画素の1枚の画像P1を撮影し、VOBデータと共に、撮影した画像P1の被写体データを撮像処理部200に出力する。撮像処理部200では、イメージセンサ100から入力されたVOBデータと画像P1の全ての領域の被写体データとを取り込み、取り込んだVOBデータと画像P1の被写体データとが順次、撮像処理部200内のデータ抽出部201に入力される。そして、データ抽出部201は、画像P1の被写体データと共に入力されたVOBデータの中から、オーバーラップ領域内のVOB領域のVOBデータを抽出し、抽出したVOBデータと、画像P1の左側半分の領域である画像P2の被写体データとを、前処理部202に順次出力する。
前処理部202は、データ抽出部201から入力されたVOBデータに基づいて、データ抽出部201から順次入力された画像P2の被写体データに対して垂直方向の黒レベル補正を施し、垂直方向の黒レベル補正を施した後の画像P3の前処理画像データを順次、第1のデータ転送部203に出力する。そして、第1のデータ転送部203は、前処理部202から順次入力された画像P3の前処理画像データを、DRAMコントローラ600を介してDRAM601に転送する(書き込む)。これにより、DRAM601には、垂直方向の黒レベル補正を施した後の画像P3の前処理画像データが格納される。
また、1パス目の動作では、図6に示した経路C17の画像データの経路で、そのままの被写体データと対応するVOBデータ、すなわち、オーバーラップ領域内のVOB領域のVOBデータとを、DRAM601に転送する(書き込む)。より具体的には、1パス目の動作において、データ抽出部201は、抽出したVOBデータと、画像P1の右側半分の領域である画像P4の被写体データとを、第2のデータ転送部204に順次出力する。第2のデータ転送部204は、データ抽出部201から順次入力された画像P4の被写体データと対応するVOBデータとをそのまま、画像P4の元画像データとしてDRAMコントローラ600を介してDRAM601に転送する(書き込む)。これにより、DRAM601には、イメージセンサ100が出力した画像P1の右側半分の画像P4の被写体データが、そのまま格納される。また、DRAM601には、イメージセンサ100が出力したVOBデータが、そのまま格納される。
なお、以降の第2の動作(2パス目の動作)において、画像P4の被写体データの全てに対して垂直方向の黒レベル補正を施すことができない場合には、データ抽出部201は、オーバーラップ領域内のVOB領域から抽出したVOBデータのみではなく、オーバーラップ領域の開始位置以降のVOB領域のVOBデータを、画像P4の被写体データに対応したVOBデータとして、第2のデータ転送部204に順次出力する。これにより、以降の第2の動作(2パス目の動作)において、次のオーバーラップ領域内のVOB領域のVOBデータを抽出し、経路C16と同様の経路で、抽出したVOBデータと次の領域の画像の被写体データとを前処理部202に順次出力することができると共に、経路C17と同様の経路で、水平方向の黒レベル補正を施すことができないその次の領域の被写体データと対応するVOBデータとをそのまま、DRAM601に再度格納することができる。
このように、1パス目の動作では、撮像装置10による水平方向の黒レベル補正の1パス目の動作と同様に、イメージセンサ100が出力した画像P1の左側半分の領域に対して垂直方向の黒レベル補正を施した画像P3の前処理画像データと、イメージセンサ100が出力した画像P1の右側半分の領域である画像P4の被写体データおよびVOBデータとを、DRAM601に格納する。
なお、1パス目の動作において、DRAM601に元画像データを格納する際には、イメージセンサ100から入力された画像P1の全ての領域の被写体データとVOBデータとを、画像P1の元画像データとしてDRAM601に格納することもできる。しかし、上述したように、1パス目の動作においては、VOBデータと画像P1の右側半分の画像P4の被写体データとのみを、元画像データとしてDRAM601に格納している。これは、撮像装置10による水平方向の黒レベル補正と同様の理由であり、同様の効果を得ることができる。
<第2の動作>
その後、撮像装置10は、第1の動作(1パス目の動作)で垂直方向の黒レベル補正を施すことができなかった、イメージセンサ100から入力された画像P1の右側半分の被写体データである画像P4の被写体データに対して、VOBデータに基づいた垂直方向の黒レベル補正を施した前処理画像データをDRAM601に転送する(書き込む)。図7には、図1に示した撮像装置10のブロック図上に、第2の動作(2パス目の動作)におけるデータの経路を示している。
2パス目の動作では、図7に示した経路C18の画像データの経路で、DRAM601に格納されている画像P4の被写体データに対して垂直方向の黒レベル補正を施した前処理画像データをDRAM601に転送する(書き込む)。より具体的には、2パス目の動作において、データ取得部205が、DRAM601に格納されている画像P4の元画像データを順次取得し(読み出し)、取得した画像P4の元画像データを順次、データ抽出部201に出力する。そして、データ抽出部201は、入力された画像P4の元画像データからVOBデータを抽出し、抽出したVOBデータと、画像P4の被写体データとを、前処理部202に順次出力する。
なお、画像P4の被写体データの全てに対して垂直方向の黒レベル補正を施すことができない場合には、第1の動作と同様に、経路C17の画像データの経路で、抽出したVOBデータと垂直方向の黒レベル補正を施すことができない被写体データとをそのまま、DRAM601に転送する(書き込む)。これにより、DRAM601には、VOBデータと垂直方向の黒レベル補正を施すことができない被写体データが、再度格納される。
前処理部202は、データ抽出部201から入力されたVOBデータに基づいて、データ抽出部201から順次入力された画像P4の被写体データに対して垂直方向の黒レベル補正を施し、垂直方向の黒レベル補正を施した後の画像P5の前処理画像データを順次、第1のデータ転送部203に出力する。そして、第1のデータ転送部203は、前処理部202から順次入力された画像P5の前処理画像データを、DRAMコントローラ600を介してDRAM601に転送する(書き込む)。これにより、DRAM601には、垂直方向の黒レベル補正を施した後の画像P5の前処理画像データが格納される。
このように、2パス目の動作では、DRAM601に格納されている、イメージセンサ100が出力した画像P1の右側半分の画像P4に対して垂直方向の黒レベル補正を施した画像P5の前処理画像データを、DRAM601に格納する。これにより、DRAM601には、イメージセンサ100が撮影した横幅が10000画素の1枚の画像P1の全ての領域の被写体データに対して垂直方向の黒レベル補正を施した前処理画像データ(画像P3+画像P5の前処理画像データ)が格納される。
このように、本第1の実施形態の撮像装置10による垂直方向の黒レベル補正では、イメージセンサ100の画素部内の画像領域のみを分割し、オーバーラップ領域内に位置する同じVOB領域のVOBデータ、つまり、共通のVOBデータに基づいて、分割したそれぞれの画像領域の被写体データに対して黒レベル補正を施すことができる。
より具体的には、第1の動作(1パス目の動作)において、撮像装置10は、イメージセンサ100から入力された画像P1の左半分の被写体データに対して、リアルタイムに垂直方向の黒レベル補正を施した前処理画像データをDRAM601に転送する(書き込む)のと共に、垂直方向の黒レベル補正を施すことができない右側半分の被写体データをそのまま、DRAM601に転送する(書き込む)。その後、第2の動作(2パス目の動作)において、撮像装置10は、第1の動作(1パス目の動作)で垂直方向の黒レベル補正を施すことができなかった、イメージセンサ100から入力された画像P1の右側半分の被写体データに対して垂直方向の黒レベル補正を施した前処理画像データをDRAM601に転送する(書き込む)ことによって、1枚の画像P1の全ての被写体データに対する垂直方向の黒レベル補正を施す。
上記に述べたとおり、本第1の実施形態の撮像装置10では、イメージセンサ100が出力する水平方向(横方向)の被写体データのデータ数が、撮像処理部200内の前処理部202に備えたラインメモリが保持することができる被写体データのデータ数よりも多い場合に、第1の動作と第2の動作との2回の動作によって、入力された全ての被写体データに対して黒レベル補正を施す。このとき、本第1の実施形態の撮像装置10による水平方向および垂直方向の黒レベル補正では、イメージセンサ100の画素部内の画像領域のみを分割し、同じOB領域のOBデータ(共通のOBデータ)に基づいて、分割したそれぞれの画像領域の被写体データに対して黒レベル補正を施す。これにより本第1の実施形態の撮像装置10では、イメージセンサ100から出力される画像を複数に分割して黒レベル補正を行う場合でも、黒レベル補正を分けた境界部分に違和感がない、良好な黒レベル補正を行うことができる。
すなわち、本第1の実施形態の撮像装置10では、撮像処理部200内の前処理部202に備えたラインメモリが保持することができる1行分の被写体データのデータ数が、イメージセンサ100が1行毎に出力する被写体データのデータ数よりも少ない場合でも、イメージセンサ100から出力される全ての被写体データに対して水平方向および垂直方向に、良好な黒レベル補正を施すことができる。このことにより、撮像装置10の回路規模、特に、ラインメモリの記憶容量を増大させることなく、画素数が増加したイメージセンサ100に対応する水平方向および垂直方向の黒レベル補正を実行することができる。言い換えれば、小さい回路規模で、イメージセンサの多画素化に対応することができる。
なお、図2〜図7に示した本第1の実施形態の撮像装置10による黒レベル補正の動作の一例では、第1の動作(1パス目の動作)で、イメージセンサ100から入力された画像P1の左側半分の領域(画像P2)の被写体データに対して黒レベル補正を施し、第2の動作(2パス目の動作)で、イメージセンサ100から入力された画像P1の右側半分の領域(画像P4)の被写体データに対して黒レベル補正を施す場合の例について説明した。しかし、第1の動作(1パス目の動作)および第2の動作(2パス目の動作)のそれぞれで黒レベル補正を施す画像の領域は、図2および図3に示した順番に限定されるものではない。例えば、第1の動作(1パス目の動作)で画像P1の右側半分の領域の被写体データに対して黒レベル補正を施し、第2の動作(2パス目の動作)で画像P1の左側半分の領域の被写体データに対して黒レベル補正を施す動作にしてもよい。
また、図2〜図7に示した本第1の実施形態の撮像装置10による黒レベル補正の動作の一例では、イメージセンサ100から入力された被写体データを2回に分けて黒レベル補正を施す場合について説明した。しかし、1枚の画像の被写体データに対して実行する黒レベル補正を分ける回数は、上述したような2回に限定されるものではなく、3回であっても、またそれ以上の回数であってもよい。なお、黒レベル補正を分ける回数が異なる場合の動作は、2回に分けて行った場合の動作(図2〜図7に示した本第1の実施形態の撮像装置10の黒レベル補正の動作)と同様に考えることができるため、詳細な説明は省略する。
なお、本第1の実施形態の撮像装置10における黒レベル補正の前処理の動作は、必ずしも2回以上に分ける必要はない。例えば、撮像装置に搭載されたイメージセンサの水平方向(横方向)の画素数が、撮像処理部200内の前処理部202に備えたラインメモリの記憶容量(本第1の実施形態では6000画素)よりも少ない、すなわち、入力される被写体データのデータ数の方が、前処理部202が前処理を施すことができるデータ量よりも少ない場合には、前処理部202は1回で黒レベル補正の前処理を施すことができるため、必ずしも2回以上に分ける必要はない。このように、撮像装置に搭載されたイメージセンサの水平方向(横方向)の画素数に応じて、前処理部202が黒レベル補正の前処理を施す回数を変えることができる。
また、一般的に、イメージセンサは、全ての画素信号を出力する駆動モード(以下、「全画素出力モード」という)や、画素信号を加算して出力する駆動モード(以下、「画素加算モード」という)など、複数の駆動モードで駆動することができる。ここで、全画素出力モードは、静止画などの高解像度の画像を撮影する際に設定され、画素加算モードは、動画の撮影や、撮影する被写体を確認するための動画を表示デバイスに表示させる、いわゆる、ライブビュー機能の撮影を行う際に設定される。このため、例えば、イメージセンサ100が画素加算モードで駆動され、水平方向(横方向)に画素信号が加算されることによって、横幅が1/2となった5000画素の画像を出力する場合には、撮像処理部200内の前処理部202に備えたラインメモリが保持することができる1行分の画像データのデータ数(6000画素)よりも、イメージセンサ100が1行分として出力する画像データのデータ数の方が少なくなる。このような場合にも、前処理部202は1回で黒レベル補正の前処理を施すことができるため、必ずしも2回以上に分ける必要はない。このように、撮像装置に搭載されたイメージセンサの駆動モードに基づいて、例えば、全画素出力モードで駆動しているとき、すなわち、静止画を撮影するモードのときには2回に分けて黒レベル補正の前処理を施し、画素加算モードで駆動しているとき、すなわち、動画やライブビューの撮影を行うモードのときにはリアルタイムに1回で黒レベル補正の前処理を施すなど、撮影する画像に応じて、前処理部202が黒レベル補正の前処理を施す回数を変えることができる。
なお、本第1の実施形態においては、イメージセンサ100が、画像に対して水平方向(横方向)にラスタスキャンした画素信号を、画像データとして出力する場合について説明した。しかし、例えば、イメージセンサが、画像に対して垂直方向(縦方向)にラスタスキャンした画素信号を画像データとして出力する場合には、本第1の実施形態における水平方向を垂直方向として考える、つまり、画像の水平方向と垂直方向とを逆に考えることによって同様に、本発明の考え方を適用することができる。また、本第1の実施形態においては、イメージセンサ100から入力された画像を水平方向に分割することによって、複数回に分けて黒レベル補正の前処理を施す場合について説明したが、イメージセンサ100から入力された画像を垂直方向に分割して複数回に分けて黒レベル補正の前処理を施す場合であっても、画像の水平方向と垂直方向とを逆に考えることによって同様に、本発明の考え方を適用することができる。
また、本第1の実施形態においては、データ抽出部201が、イメージセンサ100から入力された画像データからのOBデータの抽出と画像領域の分割とを行い、前処理部202が、データ抽出部201から入力されたOBデータに基づいて、分割した画像領域の被写体データに対する黒レベル補正を行う構成について説明した。しかし、イメージセンサ100から入力された画像データからのOBデータの抽出と画像領域の分割とを行う構成は、本第1の実施形態の撮像装置10の構成に限定されるものではない。例えば、データ抽出部201が、イメージセンサ100から入力された画像データ、およびデータ取得部205から入力された画像データを、前処理部202または第2のデータ転送部204のいずれか一方または両方に出力する、つまり、画像データの出力先の構成要素を選択する動作のみを行う構成であってもよい。この場合、前処理部202が、黒レベル補正を施すためのOBデータの抽出と、画像領域の分割とを行った後に、黒レベル補正を含む前処理を施す構成となり、第2のデータ転送部204が、黒レベル補正を施すためのOBデータの抽出と、画像領域の分割とを行った後に、黒レベル補正を施すことができない元画像データをDRAM601に格納する構成となる。
なお、撮像装置においては、データバス800に接続された、撮像処理部200と、画像処理部300と、表示処理部400と、カードIF部500と、DRAMコントローラ600と、CPU700とを、1つの信号処理装置として構成することも考えられる。このとき、1つの信号処理装置に備えられるそれぞれの構成要素が対応するイメージセンサの画素数は、最も多くの画素数に対応するものではなく、少ない画素数に対応したものであることが考えられる。これは、例えば、信号処理装置を、画素数が少ないイメージセンサを搭載する撮像装置に採用する場合、必要以上に多くの画素数に対応した信号処理装置では、システム全体のコスト増を招くことになるからである。そして、信号処理装置を、画素数が多いイメージセンサを搭載する撮像装置に採用する場合には、イメージセンサの画素数に応じて、撮像装置に搭載する信号処理装置の個数を増加させることによって対応することが考えられる。この場合、本第1の実施形態の撮像装置10のように、イメージセンサ100から入力された画像データを複数回に分けて黒レベル補正を含む前処理をするのではなく、撮像装置に搭載したそれぞれの信号処理装置が、分割したそれぞれの画像データに対する黒レベル補正を含む前処理を同時に実行することができる。本発明の考え方は、このような信号処理装置を複数搭載した撮像装置においても、同様に適用することができる。
<第2の実施形態>
次に、信号処理装置を複数搭載した第2の実施形態の撮像装置に、本発明の考え方を適用する場合について説明する。なお、以下の説明においては、画像データに対する黒レベル補正を含む前処理を2つ同時に実行する構成の撮像装置について説明する。
図8は、本第2の実施形態における撮像装置の概略構成を示したブロック図である。図8に示した撮像装置11は、イメージセンサ100と、2つの信号処理装置(信号処理装置21および22)と、2つの表示デバイス(表示デバイス411および421)と、2つの記録媒体(記録媒体511および521)と、2つのDRAM(DRAM611および621)と、を備えている。
イメージセンサ100と、表示デバイス411および表示デバイス421と、記録媒体511および記録媒体521と、DRAM611およびDRAM621とのそれぞれは、第1の実施形態の撮像装置10に備えたイメージセンサ100と、表示デバイス401と、記録媒体501と、DRAM601とのそれぞれと同様である。従って、イメージセンサ100と、表示デバイス411および表示デバイス421と、記録媒体511および記録媒体521と、DRAM611およびDRAM621とのそれぞれに関する詳細な説明は省略する。なお、本第2の実施形態における撮像装置11では、イメージセンサ100が、信号処理装置21と信号処理装置22との両方に、同じ画像データを出力する。
信号処理装置21と信号処理装置22とのそれぞれは、第1の実施形態の撮像装置10と同様の画像データに対する処理を分担して行う。信号処理装置21は、撮像処理部210と、画像処理部310と、表示処理部410と、カードIF(インターフェース)部510と、DRAMコントローラ610と、CPU710と、通信部910と、を備えている。撮像処理部210と、画像処理部310と、表示処理部410と、カードIF部510と、DRAMコントローラ610と、CPU710と、通信部910とは、データバス810を介してそれぞれ接続され、例えば、DMAによってDRAMコントローラ610に接続されたDRAM611からのデータの読み出し、およびDRAM611へのデータの書き込みを行う。
信号処理装置21に備えた画像処理部310、表示処理部410、カードIF部510、DRAMコントローラ610、CPU710、およびデータバス810のそれぞれは、第1の実施形態の撮像装置10に備えた画像処理部300、表示処理部400、カードIF部500、DRAMコントローラ600、CPU700、およびデータバス800のそれぞれと同様である。従って、画像処理部310、表示処理部410、カードIF部510、DRAMコントローラ610、CPU710、およびデータバス810のそれぞれに関する詳細な説明は省略する。
撮像処理部210は、第1の実施形態の撮像装置10に備えた撮像処理部200と同様に、イメージセンサ100から入力された画像データを取り込み、取り込んだ画像データをOBデータと被写体データとに分けると共に、被写体データに対して、OBデータに基づいた黒レベル補正を含む前処理を施した結果の前処理画像データを、DRAMコントローラ610を介してDRAM611に転送する(書き込む)。撮像処理部210は、データ抽出部211と、前処理部212と、データ転送部213と、を備えている。
データ抽出部211は、第1の実施形態の撮像装置10に備えた撮像処理部200内のデータ抽出部201と同様に、入力された画像データをOBデータと被写体データとに分ける。より具体的には、データ抽出部211は、イメージセンサ100から入力された画像データからOBデータを抽出することによって、入力された画像データをOBデータと被写体データとに分ける。そして、データ抽出部211は、画像データを分けた被写体データおよび対応するOBデータのそれぞれを、前処理部212に出力する。
撮像処理部210に備えた前処理部212とデータ転送部213とのそれぞれは、第1の実施形態の撮像装置10に備えた撮像処理部200内の前処理部202と第1のデータ転送部203とのそれぞれと同様である。従って、前処理部212とデータ転送部213とのそれぞれに関する詳細な説明は省略する。
通信部910は、信号処理装置22に備えた通信部920との間で通信を行い、信号処理装置21と信号処理装置22との間で、画像データの送受信を行う。より具体的には、信号処理装置22に備えたDRAMコントローラ620に接続されたDRAM621に格納している画像データを取得する場合、通信部910は、信号処理装置22に備えた通信部920に、DRAM621に格納している画像データの送信を要求し、通信部920を介して送信されてきた画像データを受信し、受信した画像データを、DRAMコントローラ610を介してDRAM611に転送する(書き込む)。また、信号処理装置22に備えた通信部920からDRAM611に格納された画像データの送信要求があった場合、通信部910は、DRAMコントローラ610を介してDRAM611に格納している画像データを取得し、取得した画像データを通信部920に送信する。
信号処理装置22は、撮像処理部220と、画像処理部320と、表示処理部420と、カードIF(インターフェース)部520と、DRAMコントローラ620と、CPU720と、通信部920と、を備えている。撮像処理部220と、画像処理部320と、表示処理部420と、カードIF部520と、DRAMコントローラ620と、CPU720と、通信部920とは、データバス820を介してそれぞれ接続され、例えば、DMAによってDRAMコントローラ620に接続されたDRAM621からのデータの読み出し、およびDRAM621へのデータの書き込みを行う。撮像処理部220は、データ抽出部221と、前処理部222と、データ転送部223と、を備えている。
信号処理装置22は、上述したように、画像データに対する処理を信号処理装置21と分担して行うため、信号処理装置21と同様の構成要素を備え、信号処理装置21と同様に動作する。つまり、信号処理装置22内の撮像処理部220、画像処理部320、表示処理部420、カードIF部520、DRAMコントローラ620、CPU720、通信部920、およびデータバス820のそれぞれは、信号処理装置21内の撮像処理部210、画像処理部310、表示処理部410、カードIF部510、DRAMコントローラ610、CPU710、通信部910、およびデータバス810のそれぞれと同様に動作する。また、信号処理装置22に備えた撮像処理部220内のデータ抽出部221と、前処理部222と、データ転送部223とのそれぞれは、信号処理装置21に備えた撮像処理部210内のデータ抽出部211と、前処理部212と、データ転送部213とのそれぞれと同様に動作する。従って、信号処理装置22に備えたそれぞれの構成要素に関する詳細な説明は省略する。
このような構成によって、本第2の実施形態の撮像装置11では、イメージセンサ100から出力される画像データをリアルタイムに取り込みながら、取り込んだ画像データに含まれる被写体データを2つに分割し、信号処理装置21と信号処理装置22とのそれぞれが分担して、分割したそれぞれの被写体データに対して直接的に(ダイレクトに)、OBデータに基づいた黒レベル補正を含む様々な前処理を施す。
次に、撮像装置11において、イメージセンサ100から出力される画像データに含まれる被写体データに対して前処理(OBデータに基づいた黒レベル補正)を施す動作の一例について説明する。なお、以下の説明においては、第1の実施形態の撮像装置10における動作と同様に、イメージセンサ100の水平方向(横方向)の画素数が10000画素であり、前処理部212および前処理部222のそれぞれは、水平方向(横方向)に6000画素分の記憶容量のラインメモリを備えている場合について説明する。すなわち、イメージセンサ100が1行毎に出力する水平方向(横方向)の画像データのデータ数が、前処理部212または前処理部222に備えたラインメモリが保持することができる1行分の画像データのデータ数よりも多く、1行分の全ての被写体データをラインメモリに保持することができない構成である場合に、どのように1行分の被写体データに対して黒レベル補正の前処理を施すかの動作について説明する。なお、以下の説明においては、第1の実施形態の撮像装置10と同様に、説明を容易にするため、OBデータのデータ数に関しては考慮しないものとする。
撮像装置11は、前処理部212および前処理部222に備えたラインメモリが対応することができるデータ数よりも、入力される被写体データのデータ数の方が多い場合、つまり、撮像処理部210または撮像処理部220のいずれか一方が前処理を施すことができる被写体データのデータ数が、イメージセンサ100が1行分として出力する被写体データのデータ数よりも少ない場合、被写体データに対する前処理を分担して行う。より具体的には、撮像装置11は、前処理部212および前処理部222が前処理を施すことができるデータ量(ここでは、6000画素)の範囲でイメージセンサ100の画素部内の画像領域を分割し、分割したそれぞれの画像領域の被写体データに対応する前処理部212と前処理部222とのそれぞれが、入力されたそれぞれの被写体データに対する前処理を同時に施す。以下の説明においては、説明を容易にするため、イメージセンサ100から入力された被写体データを半分ずつ2つに分割して、分割したそれぞれの被写体データに対して同時に前処理を施す場合について説明する。
ここで、本第2の実施形態の撮像装置11において、水平方向の黒レベル補正と、垂直方向の黒レベル補正とのそれぞれを、2つに分割した被写体データに対して同時に施す場合の考え方について説明する。図9は、本第2の実施形態の撮像装置11によって水平方向の黒レベル補正を行う場合の考え方を説明する図である。また、図10は、本第2の実施形態の撮像装置11によって垂直方向の黒レベル補正を行う場合の考え方を説明する図である。
まず、図9を用いて、撮像装置11が水平方向の黒レベル補正を同時に施す場合の考え方を説明する。なお、図9は、イメージセンサ100の画素部において、HOB領域が画像領域の左側の端に位置している場合の一例である。
撮像装置11における水平方向の黒レベル補正では、第1の実施形態の撮像装置10における水平方向の黒レベル補正と同様に、イメージセンサ100の画素部内の画像領域のみを分割する。そして、撮像処理部210と撮像処理部220とが同時に、同じHOB領域のHOBデータに基づいて、分割したそれぞれの画像領域の被写体データに対する水平方向の黒レベル補正を施す。つまり、撮像処理部210と撮像処理部220とが、分割したそれぞれの画像領域に共通のHOBデータを用いて、対応する画像領域の被写体データに対する水平方向の黒レベル補正を行う。
より具体的には、撮像装置11における水平方向の黒レベル補正の撮像処理部210の動作では、図9(a)に示したように、データ抽出部211が、HOB領域のHOBデータを抽出し、抽出したHOBデータと、画像領域を分割した一方(左側)の半分の被写体データとを、前処理部212に出力する。そして、前処理部212が、データ抽出部211から入力されたHOBデータに基づいて、分割した一方(左側)の半分の被写体データに対して水平方向の黒レベル補正を施す。また、撮像装置11における水平方向の黒レベル補正の撮像処理部220の動作では、図9(b)に示したように、データ抽出部221が、HOB領域のHOBデータを抽出し、抽出したHOBデータと、画像領域を分割した他方(右側)の半分の被写体データとを、前処理部222に出力する。そして、前処理部222が、データ抽出部221から入力されたHOBデータに基づいて、分割した他方(右側)の半分の被写体データに対して水平方向の黒レベル補正を施す。
このように、撮像装置11における水平方向の黒レベル補正では、撮像処理部210と撮像処理部220とのそれぞれが、同じHOB領域のHOBデータを用いて、分割したそれぞれの画像領域の被写体データに対する水平方向の黒レベル補正を同時に実行することによって、1枚の画像の全ての領域の被写体データに対して水平方向の黒レベル補正を施す。
次に、図10を用いて、撮像装置11が垂直方向の黒レベル補正を同時に施す場合の考え方を説明する。なお、図10は、イメージセンサ100の画素部において、VOB領域が画像領域の上側の端に位置している場合の一例である。
撮像装置11による垂直方向の黒レベル補正では、第1の実施形態の撮像装置10における垂直方向の黒レベル補正と同様に、オーバーラップ領域に対応するVOB領域内のVOBデータを用いる。そして、撮像処理部210と撮像処理部220とが同時に、同じオーバーラップ領域に対応するVOB領域内のVOBデータに基づいて、分割したそれぞれの画像領域の被写体データに対する垂直方向の黒レベル補正を施す。つまり、撮像処理部210と撮像処理部220とが、分割したそれぞれの画像領域に共通のオーバーラップ領域内のVOBデータを用いて、対応する画像領域の被写体データに対する垂直方向の黒レベル補正を行う。
より具体的には、撮像装置11における垂直方向の黒レベル補正の撮像処理部210の動作では、図10(a)に示したように、画像領域の上側の全体に位置するVOB領域の内、オーバーラップ領域内に位置するVOB領域のVOBデータを抽出し、抽出したVOBデータと、画像領域を分割した一方(左側)の半分の被写体データとを、前処理部212に出力する。そして、前処理部212が、データ抽出部211から入力されたVOBデータに基づいて、分割した一方(左側)の半分の被写体データに対して垂直方向の黒レベル補正を施す。撮像装置11における垂直方向の黒レベル補正の撮像処理部220の動作では、図10(b)に示したように、画像領域の上側の全体に位置するVOB領域の内、オーバーラップ領域内に位置するVOB領域のVOBデータを抽出し、抽出したVOBデータと、画像領域を分割した他方(右側)の半分の被写体データとを、前処理部222に出力する。そして、前処理部222が、データ抽出部221から入力されたVOBデータに基づいて、分割した他方(右側)の半分の被写体データに対して垂直方向の黒レベル補正を施す。
このように、撮像装置11における垂直方向の黒レベル補正では、撮像処理部210と撮像処理部220とのそれぞれが、同じオーバーラップ領域内に位置するVOB領域のVOBデータを用いて、分割したそれぞれの画像領域の被写体データに対する垂直方向の黒レベル補正を同時に実行することによって、1枚の画像の全ての領域の被写体データに対して垂直方向の黒レベル補正を施す。
なお、上述した撮像装置11における水平方向の黒レベル補正でも説明していないが、第1の実施形態の撮像装置10における水平方向の黒レベル補正と同様に、撮像装置11における水平方向の黒レベル補正を行う場合にも、オーバーラップ領域を、画像領域を分割するそれぞれの境界部分に設けてもよい。このように、画像領域を複数に分けて前処理を行う際にオーバーラップ領域を設けることによって、黒レベル補正に限らず、処理を分けた境界部分における画像の違和感をなくすことができる。
次に、本第2の実施形態の撮像装置11において、水平方向の黒レベル補正と、垂直方向の黒レベル補正とのそれぞれの実際の動作の一例について説明する。まず、撮像装置11が水平方向の黒レベル補正を、撮像処理部210と撮像処理部220とで同時に施す場合の動作の一例について説明する。図11は、本第2の実施形態の撮像装置11による水平方向の黒レベル補正における動作の一例を模式的に示した図である。
撮像装置11による水平方向の黒レベル補正の動作では、イメージセンサ100の画素部の左側の端に位置するHOB領域のHOBデータに基づいて、信号処理装置21と信号処理装置22とのそれぞれが同時に、イメージセンサ100から出力される被写体データに対してリアルタイムに水平方向の黒レベル補正を施した前処理画像データを、DRAM611とDRAM621とのそれぞれに転送する(書き込む)。そして、信号処理装置21と信号処理装置22とのそれぞれによる水平方向の黒レベル補正が完了した後、信号処理装置21が、信号処理装置22が水平方向の黒レベル補正を施した前処理画像データを取得し、DRAM611に転送する(書き込む)。図11には、図8に示した撮像装置11のブロック図上に、水平方向の黒レベル補正の動作におけるそれぞれのデータの経路を示している。
信号処理装置21は、図11に示した経路C21の画像データの経路で、イメージセンサ100から入力された一方(左側)の半分の被写体データに対してリアルタイムに前処理(HOBデータに基づいた水平方向の黒レベル補正)を施し、水平方向の黒レベル補正を施した結果の前処理画像データをDRAM611に転送する(書き込む)。より具体的には、イメージセンサ100が、横幅が10000画素の1枚の画像P1を撮影し、HOBデータと共に、撮影した画像P1の被写体データを信号処理装置21と信号処理装置22とに出力する。信号処理装置21では、イメージセンサ100から入力されたHOBデータと画像P1の全ての領域の被写体データとを、撮像処理部210が取り込み、取り込んだHOBデータと画像P1の被写体データとが順次、撮像処理部210内のデータ抽出部211に入力される。データ抽出部211は、画像P1の被写体データと共に入力されたHOBデータを抽出し、画像P1の画像領域を2つに分割する。そして、データ抽出部211は、抽出したHOBデータと、画像P1の左側半分の領域である画像P2の被写体データとを、前処理部212に順次出力する。
前処理部212は、データ抽出部211から入力されたHOBデータに基づいて、データ抽出部211から順次入力された画像P2の被写体データに対して水平方向の黒レベル補正を施し、水平方向の黒レベル補正を施した後の画像P3の前処理画像データを順次、データ転送部213に出力する。そして、データ転送部213は、前処理部212から順次入力された画像P3の前処理画像データを、DRAMコントローラ610を介してDRAM611に転送する(書き込む)。これにより、DRAM611には、水平方向の黒レベル補正を施した後の画像P3の前処理画像データが格納される。
また、同時に、信号処理装置22は、図11に示した経路C22の画像データの経路で、イメージセンサ100から入力された他方(右側)の半分の被写体データに対してリアルタイムに前処理(HOBデータに基づいた水平方向の黒レベル補正)を施し、水平方向の黒レベル補正を施した結果の前処理画像データをDRAM621に転送する(書き込む)。より具体的には、信号処理装置22では、イメージセンサ100から入力されたHOBデータと画像P1の全ての領域の被写体データとを、撮像処理部220が取り込み、取り込んだHOBデータと画像P1の被写体データとが順次、撮像処理部220内のデータ抽出部221に入力される。データ抽出部221は、画像P1の被写体データと共に入力されたHOBデータを抽出し、画像P1の画像領域を2つに分割する。そして、データ抽出部221は、抽出したHOBデータと、画像P1の右側半分の領域である画像P4の被写体データとを、前処理部222に順次出力する。
前処理部222は、データ抽出部221から入力されたHOBデータに基づいて、データ抽出部221から順次入力された画像P4の被写体データに対して水平方向の黒レベル補正を施し、水平方向の黒レベル補正を施した後の画像P5の前処理画像データを順次、データ転送部223に出力する。そして、データ転送部223は、前処理部222から順次入力された画像P5の前処理画像データを、DRAMコントローラ620を介してDRAM621に転送する(書き込む)。これにより、DRAM621には、水平方向の黒レベル補正を施した後の画像P5の前処理画像データが格納される。
このように、信号処理装置21と信号処理装置22とは、イメージセンサ100が出力した画像P1の左側半分の領域に対して水平方向の黒レベル補正を施した画像P3の前処理画像データをDRAM611に、イメージセンサ100が出力した画像P1の右側半分の領域に対して水平方向の黒レベル補正を施した画像P5の前処理画像データをDRAM621に、同じタイミングで格納する。
その後、信号処理装置21は、図11に示した経路C23の画像データの経路で、DRAM621に格納されている画像P5の前処理画像データを取得し、取得した画像P5の前処理画像データをDRAM611に転送する(書き込む)。より具体的には、通信部910が、信号処理装置22に備えた通信部920に、DRAM621に格納している画像P5の前処理画像データの送信を要求する。通信部920は、通信部910からの画像P5の前処理画像データの送信要求に応じて、DRAM621に格納されている画像P5の前処理画像データを、DRAMコントローラ620を介して順次取得し(読み出し)、取得した画像P5の前処理画像データを順次、通信部910に送信する。そして、通信部910は、通信部920から送信されてきた画像P5の前処理画像データを順次受信し、受信した画像P5の前処理画像データを、DRAMコントローラ610を介してDRAM611に転送する(書き込む)。これにより、DRAM611には、水平方向の黒レベル補正を施した後の画像P5の前処理画像データが格納される。
このように、信号処理装置21は、信号処理装置22が水平方向の黒レベル補正を施し、DRAM621に格納されている、イメージセンサ100が出力した画像P1の右側半分の画像P4に対応した画像P5の前処理画像データを、DRAM611に格納する。これにより、DRAM611には、イメージセンサ100が撮影した横幅が10000画素の1枚の画像P1の全ての領域の被写体データに対して水平方向の黒レベル補正を施した前処理画像データ(画像P3+画像P5の前処理画像データ)が格納される。
このように、本第2の実施形態の撮像装置11による水平方向の黒レベル補正では、イメージセンサ100の画素部内の画像領域のみを分割し、同じHOB領域のHOBデータ、つまり、共通のHOBデータに基づいて、イメージセンサ100が撮影した全ての画像領域の被写体データに対して黒レベル補正を施すことができる。
より具体的には、まず、信号処理装置21と信号処理装置22とのそれぞれが同時に、イメージセンサ100から入力された画像P1の左半分の被写体データと右側半分の被写体データとに対して、リアルタイムに水平方向の黒レベル補正を施した前処理画像データを、DRAM611とDRAM621とのそれぞれに転送する(書き込む)。その後、信号処理装置21が、イメージセンサ100から入力された画像P1の右側半分の被写体データに対して信号処理装置22が水平方向の黒レベル補正を施した前処理画像データを取得することによって、1枚の画像P1の全ての被写体データに対して水平方向の黒レベル補正を施した前処理画像データを、DRAM611に格納する。
次に、撮像装置11が垂直方向の黒レベル補正を、撮像処理部210と撮像処理部220とで同時に施す場合の動作の一例について説明する。図12は、本第2の実施形態の撮像装置11による垂直方向の黒レベル補正における動作の一例を模式的に示した図である。
撮像装置11による垂直方向の黒レベル補正では、イメージセンサ100の画素部の上側の端に位置するVOB領域の内、オーバーラップ領域内に位置するVOB領域のVOBデータに基づいて、イメージセンサ100から出力される被写体データに対してリアルタイムに垂直方向の黒レベル補正を施した前処理画像データを、DRAM611とDRAM621とのそれぞれに転送する(書き込む)。そして、信号処理装置21と信号処理装置22とのそれぞれによる垂直方向の黒レベル補正が完了した後、信号処理装置21が、信号処理装置22が垂直方向の黒レベル補正を施した前処理画像データを取得し、DRAM611に転送する(書き込む)。図12には、図8に示した撮像装置11のブロック図上に、垂直方向の黒レベル補正におけるそれぞれのデータの経路を示している。
信号処理装置21は、図12に示した経路C26の画像データの経路で、イメージセンサ100から入力された一方(左側)の半分の被写体データに対してリアルタイムに前処理(VOBデータに基づいた垂直方向の黒レベル補正)を施し、垂直方向の黒レベル補正を施した結果の前処理画像データをDRAM601に転送する(書き込む)。より具体的には、イメージセンサ100が、横幅が10000画素の1枚の画像P1を撮影し、VOBデータと共に、撮影した画像P1の被写体データを信号処理装置21と信号処理装置22とに出力する。信号処理装置21では、イメージセンサ100から入力されたVOBデータと画像P1の全ての領域の被写体データとを、撮像処理部210が取り込み、取り込んだVOBデータと画像P1の被写体データとが順次、撮像処理部210内のデータ抽出部211に入力される。データ抽出部211は、画像P1の被写体データと共に入力されたVOBデータの中から、オーバーラップ領域内のVOB領域のVOBデータを抽出し、画像P1の画像領域を2つに分割する。そして、データ抽出部211は、抽出したVOBデータと、画像P1の左側半分の領域である画像P2の被写体データとを、前処理部212に順次出力する。
前処理部212は、データ抽出部211から入力されたVOBデータに基づいて、データ抽出部211から順次入力された画像P2の被写体データに対して垂直方向の黒レベル補正を施し、垂直方向の黒レベル補正を施した後の画像P3の前処理画像データを順次、データ転送部213に出力する。そして、データ転送部213は、前処理部212から順次入力された画像P3の前処理画像データを、DRAMコントローラ610を介してDRAM611に転送する(書き込む)。これにより、DRAM611には、垂直方向の黒レベル補正を施した後の画像P3の前処理画像データが格納される。
また、同時に、信号処理装置22は、図12に示した経路C27の画像データの経路で、イメージセンサ100から入力された他方(右側)の半分の被写体データに対してリアルタイムに前処理(VOBデータに基づいた垂直方向の黒レベル補正)を施し、垂直方向の黒レベル補正を施した結果の前処理画像データをDRAM621に転送する(書き込む)。より具体的には、信号処理装置22では、イメージセンサ100から入力されたVOBデータと画像P1の全ての領域の被写体データとを、撮像処理部220が取り込み、取り込んだVOBデータと画像P1の被写体データとが順次、撮像処理部220内のデータ抽出部221に入力される。データ抽出部221は、画像P1の被写体データと共に入力されたVOBデータの中から、オーバーラップ領域内のVOB領域のVOBデータを抽出し、画像P1の画像領域を2つに分割する。そして、データ抽出部221は、抽出したVOBデータと、画像P1の右側半分の領域である画像P4の被写体データとを、前処理部222に順次出力する。
前処理部222は、データ抽出部221から入力されたVOBデータに基づいて、データ抽出部221から順次入力された画像P4の被写体データに対して垂直方向の黒レベル補正を施し、垂直方向の黒レベル補正を施した後の画像P5の前処理画像データを順次、データ転送部223に出力する。そして、データ転送部223は、前処理部222から順次入力された画像P5の前処理画像データを、DRAMコントローラ620を介してDRAM621に転送する(書き込む)。これにより、DRAM621には、垂直方向の黒レベル補正を施した後の画像P5の前処理画像データが格納される。
このように、信号処理装置21と信号処理装置22とは、撮像装置11による水平方向の黒レベル補正の動作と同様に、イメージセンサ100が出力した画像P1の左側半分の領域に対して垂直方向の黒レベル補正を施した画像P3の前処理画像データをDRAM611に、イメージセンサ100が出力した画像P1の右側半分の領域に対して垂直方向の黒レベル補正を施した画像P5の前処理画像データをDRAM621に、同じタイミングで格納する。
その後、信号処理装置21は、撮像装置11による水平方向の黒レベル補正の動作と同様に、図12に示した経路C28の画像データの経路で、DRAM621に格納されている画像P5の前処理画像データを取得し、取得した画像P5の前処理画像データをDRAM611に転送する(書き込む)。より具体的には、通信部910が、信号処理装置22に備えた通信部920に、DRAM621に格納している画像P5の前処理画像データの送信を要求する。通信部920は、通信部910からの画像P5の前処理画像データの送信要求に応じて、DRAM621に格納されている画像P5の前処理画像データを、DRAMコントローラ620を介して順次取得し(読み出し)、取得した画像P5の前処理画像データを順次、通信部910に送信する。そして、通信部910は、通信部920から送信されてきた画像P5の前処理画像データを順次受信し、受信した画像P5の前処理画像データを、DRAMコントローラ610を介してDRAM611に転送する(書き込む)。これにより、DRAM611には、垂直方向の黒レベル補正を施した後の画像P5の前処理画像データが格納される。
このように、信号処理装置21は、信号処理装置22が垂直方向の黒レベル補正を施し、DRAM621に格納されている、イメージセンサ100が出力した画像P1の右側半分の画像P4に対応した画像P5の前処理画像データを、DRAM611に格納する。これにより、DRAM611には、イメージセンサ100が撮影した横幅が10000画素の1枚の画像P1の全ての領域の被写体データに対して垂直方向の黒レベル補正を施した前処理画像データ(画像P3+画像P5の前処理画像データ)が格納される。
このように、本第2の実施形態の撮像装置11による垂直方向の黒レベル補正では、イメージセンサ100の画素部内の画像領域のみを分割し、オーバーラップ領域内に位置する同じVOB領域のVOBデータ、つまり、共通のVOBデータに基づいて、イメージセンサ100が撮影した全ての画像領域の被写体データに対して黒レベル補正を施すことができる。
より具体的には、まず、信号処理装置21と信号処理装置22とのそれぞれが同時に、イメージセンサ100から入力された画像P1の左半分の被写体データと右側半分の被写体データとに対して、リアルタイムに垂直方向の黒レベル補正を施した前処理画像データを、DRAM611とDRAM621とのそれぞれに転送する(書き込む)。その後、信号処理装置21が、イメージセンサ100から入力された画像P1の右側半分の被写体データに対して信号処理装置22が垂直方向の黒レベル補正を施した前処理画像データを取得することによって、1枚の画像P1の全ての被写体データに対して垂直方向の黒レベル補正を施した前処理画像データを、DRAM611に格納する。
上記に述べたとおり、本第2の実施形態の撮像装置11では、イメージセンサ100が出力する水平方向(横方向)の被写体データのデータ数が、信号処理装置21に備えた撮像処理部210内の前処理部212、および信号処理装置22に備えた撮像処理部220内の前処理部222のそれぞれに備えたラインメモリが保持することができる被写体データのデータ数よりも多い場合に、入力された全ての被写体データに対して同時に黒レベル補正を施す。このとき、本第2の実施形態の撮像装置11による水平方向および垂直方向の黒レベル補正では、イメージセンサ100の画素部内の画像領域のみを分割し、信号処理装置21と信号処理装置22とのそれぞれが、同じOB領域のOBデータ(共通のOBデータ)に基づいて、分割した対応するそれぞれの画像領域の被写体データに対して黒レベル補正を同時に施す。つまり、撮像装置11では、信号処理装置の個数を、イメージセンサ100の画素数に応じて増加させることによって、多画素化したイメージセンサ100に対応する水平方向および垂直方向の黒レベル補正を実行する。これにより本第2の実施形態の撮像装置11では、イメージセンサ100から出力される画像を複数に分割して、対応する複数の信号処理装置が同時に黒レベル補正を行う場合でも、第1の実施形態の撮像装置10と同様に、黒レベル補正を分けた境界部分に違和感がない、良好な黒レベル補正を行うことができる。
なお、図9〜図12に示した本第2の実施形態の撮像装置11による黒レベル補正の動作の一例では、信号処理装置21が、イメージセンサ100から入力された画像P1の左側半分の領域(画像P2)の被写体データに対して黒レベル補正を施し、信号処理装置22が、イメージセンサ100から入力された画像P1の右側半分の領域(画像P4)の被写体データに対して黒レベル補正を施す場合の例について説明した。しかし、信号処理装置21および信号処理装置22のそれぞれが黒レベル補正を施す画像の領域は、図9および図10に示した領域に限定されるものではない。例えば、信号処理装置21が、画像P1の右側半分の領域の被写体データに対して黒レベル補正を施し、信号処理装置22が、画像P1の左側半分の領域の被写体データに対して黒レベル補正を施す構成にしてもよい。
また、図9〜図12に示した本第2の実施形態の撮像装置11による黒レベル補正の動作の一例では、イメージセンサ100から入力された被写体データを2つに分割し、分割したそれぞれの被写体データに対応する信号処理装置21と信号処理装置22とのそれぞれが分担して、直接的に(ダイレクトに)黒レベル補正を同時に施す場合について説明した。しかし、1枚の画像の被写体データに対して黒レベル補正を実行するために分割する分割数は、上述したような2つに限定されるものではなく、3つであっても、またそれ以上の分割数であってもよい。ただし、この場合には、分割数に応じた数の信号処理装置を、撮像装置に備える必要がある。なお、黒レベル補正を実行するために分割する分割数が異なる場合の動作は、2つに分割して行った場合の動作(図9〜図12に示した本第2の実施形態の撮像装置11の黒レベル補正の動作)と同様に考えることができるため、詳細な説明は省略する。
なお、本第2の実施形態の撮像装置11における黒レベル補正の前処理の動作は、必ずしも信号処理装置21と信号処理装置22とが分担する必要はない。例えば、撮像装置に搭載されたイメージセンサの水平方向(横方向)の画素数が、信号処理装置21に備えた撮像処理部210内の前処理部212に備えたラインメモリの記憶容量(本第2の実施形態では6000画素)よりも少ない、すなわち、入力される被写体データのデータ数の方が、前処理部212が前処理を施すことができるデータ量よりも少ない場合には、前処理部212は1回で黒レベル補正の前処理を施すことができる。このため、信号処理装置22が、必ずしも黒レベル補正の前処理を実行する必要はない。このように、撮像装置に搭載されたイメージセンサの水平方向(横方向)の画素数に応じて、信号処理装置21と信号処理装置22とが黒レベル補正の前処理を分担するか否かを変えることができる。
また、例えば、イメージセンサ100が画素加算モードで駆動され、水平方向(横方向)に画素信号が加算されることによって、横幅が1/2となった5000画素の画像を出力する場合には、信号処理装置21に備えた撮像処理部210内の前処理部212に備えたラインメモリが保持することができる1行分の画像データのデータ数(6000画素)よりも、イメージセンサ100が1行分として出力する画像データのデータ数の方が少なくなる。このような場合にも、前処理部212は1回で黒レベル補正の前処理を施すことができるため、必ずしも信号処理装置22が黒レベル補正の前処理を実行する必要はない。このように、撮像装置に搭載されたイメージセンサの駆動モードに基づいて、例えば、全画素出力モードで駆動しているとき、すなわち、静止画を撮影するモードのときには、信号処理装置21と信号処理装置22とで黒レベル補正の前処理を分担し、画素加算モードで駆動しているとき、すなわち、動画やライブビューの撮影を行うモードのときには信号処理装置21のみで黒レベル補正の前処理を施すなど、撮影する画像に応じて、信号処理装置21と信号処理装置22とが黒レベル補正の前処理を分担するか否かを変えることができる。
なお、本第2の実施形態においても、第1の実施形態と同様に、イメージセンサ100が、画像に対して水平方向(横方向)にラスタスキャンした画素信号を画像データとして出力し、画像を水平方向に分割する場合について説明した。しかし、本第2の実施形態においても、第1の実施形態と同様に、画像の水平方向と垂直方向とを逆に考えることによって、例えば、イメージセンサが、画像に対して垂直方向(縦方向)にラスタスキャンした画素信号を画像データとして出力する場合や、画像を垂直方向に分割する場合にも、本発明の考え方を適用することができる。
また、本第2の実施形態においては、例えば、信号処理装置21において、撮像処理部210に備えたデータ抽出部211が、イメージセンサ100から入力された画像データからのOBデータの抽出と画像領域の分割とを行い、前処理部212が、データ抽出部211から入力されたOBデータに基づいて、分割した画像領域の被写体データに対する黒レベル補正を行う構成について説明した。しかし、イメージセンサ100から入力された画像データからのOBデータの抽出と画像領域の分割とを行う構成は、本第2の実施形態の撮像装置11の構成に限定されるものではない。例えば、前処理部212が、黒レベル補正を施すためのOBデータの抽出と、画像領域の分割とを行った後に、黒レベル補正を含む前処理を施す構成であってもよい。この場合、例えば、信号処理装置21内の撮像処理部210は、データ抽出部211を備えない構成にすることができる。
なお、撮像装置に備える信号処理装置内の撮像処理部の構成は、本第2の実施形態の撮像装置11において示した信号処理装置21に備えた撮像処理部210、および信号処理装置22に備えた撮像処理部220と同様の構成に限定されるものではない。例えば、撮像装置に備える信号処理装置内の撮像処理部の構成を、第1の実施形態の撮像装置10に備えた撮像処理部200と同様の構成にすることもできる。この構成の場合には、撮像装置に備えたそれぞれの信号処理装置が、第1の実施形態の撮像装置10と同様に、黒レベル補正の前処理を複数回に分けて実行することができる。
また、本第2の実施形態においては、撮像装置11に2つの信号処理装置(信号処理装置21および22)を備え、イメージセンサ100から入力された1枚の画像P1の画像領域を2つに分割し、2つの信号処理装置が、分割したそれぞれの画像領域の被写体データに対して同時に黒レベル補正の前処理を施す場合について説明した。つまり、1つの撮像処理部を備えた信号処理装置を複数備えることによって、分割した複数の画像領域の被写体データに対する黒レベル補正を同時に実行する構成について説明した。しかし、1つの信号処理装置内に備える撮像処理部の構成は、本第2の実施形態の撮像装置11において示した構成に限定されるものではない。例えば、1つの信号処理装置内に複数の撮像処理部を備える構成であっても同様に、本発明の考え方を適用することができる。
<第3の実施形態>
次に、1つの信号処理装置内に複数の撮像処理部を備えた第3の実施形態の撮像装置に、本発明の考え方を適用する場合について説明する。なお、以下の説明においては、第2の実施形態の撮像装置11と同様に、画像データに対する黒レベル補正を含む前処理を2つ同時に実行する構成の撮像装置について説明する。なお、本第3の実施形態の撮像装置の説明においては、第1の実施形態の撮像装置10および第2の実施形態の撮像装置11と同様の構成要素には同一の符号を付与し、第1の実施形態の撮像装置10および第2の実施形態の撮像装置11と同様の構成要素および動作に関する詳細な説明は省略する。
図13は、本第3の実施形態における撮像装置の概略構成を示したブロック図である。図13に示した撮像装置12は、イメージセンサ100と、信号処理装置23と、表示デバイス401と、記録媒体501と、DRAM601と、を備えている。
撮像装置12に備えたイメージセンサ100、表示デバイス401、記録媒体501、およびDRAM601のそれぞれは、第1の実施形態の撮像装置10に備えたイメージセンサ100、表示デバイス401、記録媒体501、およびDRAM601のそれぞれと同様である。
信号処理装置23は、第2の実施形態の撮像装置11に備えた信号処理装置21および信号処理装置22が分担した画像データに対するそれぞれの処理を同時に行う。信号処理装置23は、撮像処理部210と、撮像処理部220と、画像処理部300と、表示処理部400と、カードIF(インターフェース)部500と、DRAMコントローラ600と、CPU700と、を備えている。撮像処理部210と、撮像処理部220と、画像処理部300と、表示処理部400と、カードIF部500と、DRAMコントローラ600と、CPU700とは、データバス800を介してそれぞれ接続され、例えば、DMAによってDRAMコントローラ600に接続されたDRAM601からのデータの読み出し、およびDRAM601へのデータの書き込みを行う。
信号処理装置23に備えた画像処理部300、表示処理部400、カードIF部500、DRAMコントローラ600、CPU700、およびデータバス800のそれぞれは、第1の実施形態の撮像装置10に備えた画像処理部300、表示処理部400、カードIF部500、DRAMコントローラ600、CPU700、およびデータバス800のそれぞれと同様である。
撮像処理部210は、第2の実施形態の撮像装置11に備えた信号処理装置21内の撮像処理部210と同様に、イメージセンサ100から入力された画像データを取り込み、取り込んだ画像データをOBデータと被写体データとに分けると共に、被写体データに対して、OBデータに基づいた黒レベル補正を含む前処理を施した結果の前処理画像データを、DRAMコントローラ600を介してDRAM611に転送する(書き込む)。撮像処理部210は、データ抽出部211と、前処理部212と、データ転送部213と、を備えている。
撮像処理部220は、第2の実施形態の撮像装置11に備えた信号処理装置22内の撮像処理部220と同様に、イメージセンサ100から入力された画像データを取り込み、取り込んだ画像データをOBデータと被写体データとに分けると共に、被写体データに対して、OBデータに基づいた黒レベル補正を含む前処理を施した結果の前処理画像データを、DRAMコントローラ600を介してDRAM611に転送する(書き込む)。撮像処理部220は、データ抽出部221と、前処理部222と、データ転送部223と、を備えている。
撮像処理部210および撮像処理部220のそれぞれは、第2の実施形態の撮像装置11内の信号処理装置21および信号処理装置22に備えた撮像処理部210および撮像処理部220のそれぞれと同様である。また、撮像処理部210に備えたデータ抽出部211、前処理部212、およびデータ転送部213は、第2の実施形態の撮像装置11内の信号処理装置21に備えた撮像処理部210内のデータ抽出部211、前処理部212、およびデータ転送部213のそれぞれと同様である。また、撮像処理部220に備えたデータ抽出部221、前処理部222、およびデータ転送部223は、第2の実施形態の撮像装置11内の信号処理装置22に備えた撮像処理部220内のデータ抽出部221、前処理部222、およびデータ転送部223のそれぞれと同様である。
このような構成によって、本第3の実施形態の撮像装置12では、第2の実施形態の撮像装置11と同様に、イメージセンサ100から出力される画像データをリアルタイムに取り込みながら、取り込んだ画像データに含まれる被写体データを2つに分割し、撮像処理部210と撮像処理部220とのそれぞれが同時に、分割したそれぞれの被写体データに対して直接的に(ダイレクトに)、OBデータに基づいた黒レベル補正を含む様々な前処理を施す。
なお、イメージセンサ100から出力される画像データに含まれる被写体データに対して前処理(OBデータに基づいた黒レベル補正)を施す撮像装置12の動作は、第2の実施形態の撮像装置11における動作と同様に考えることができるため、詳細な説明は省略する。
ただし、図13を見てわかるように、本第3の実施形態の撮像装置12では、1つの信号処理装置23内に2つの撮像処理部(撮像処理部210および撮像処理部220)を備えているため、撮像処理部210と撮像処理部220とのそれぞれが黒レベル補正を施した結果の前処理画像データは、1つのDRAM601に転送される(書き込まれる)。このため、本第3の実施形態の撮像装置12における黒レベル補正の動作では、図11および図12に示した第2の実施形態の撮像装置11の動作の内、経路C23および経路C28の画像データの経路で実施した前処理画像データの転送の動作を行わずに、イメージセンサ100が撮影した1枚の画像の全ての領域の被写体データに対して黒レベル補正を施した前処理画像データ(第2の実施形態の撮像装置11の動作における画像P3+画像P5の前処理画像データ)を格納することができる。
上記に述べたとおり、本第3の実施形態の撮像装置12の構成でも、黒レベル補正において、イメージセンサ100から出力される画像データに含まれる被写体データを分割し、撮像処理部210と撮像処理部220とのそれぞれが、分割した対応するそれぞれの被写体データに対して、同じOB領域のOBデータに基づいた黒レベル補正を同時に施すことができる。これにより、本第3の実施形態の撮像装置12でも、第1の実施形態の撮像装置10および第2の実施形態の撮像装置11と同様の効果を得ることができる。
上記に述べたとおり、本発明を実施するための形態では、イメージセンサの画素部内の画像領域のみを分割し、同じOB領域のOBデータ、つまり、共通のOBデータに基づいて、分割したそれぞれの画像領域の被写体データに対して黒レベル補正を施す。これにより、本発明を実施するための形態では、イメージセンサから出力される画像を複数に分割して黒レベル補正を行う場合でも、黒レベル補正を分けた境界部分に違和感がなく、1枚の画像全体に対して良好な黒レベル補正を行うことができる。
また、本発明を実施するための形態では、分割したそれぞれの画像領域の被写体データに対する黒レベル補正を、複数回に分けて実行する、または複数の撮像処理部で同時に実行することによって、イメージセンサから入力された1枚の画像の全ての画像データに対して黒レベル補正を施す。これにより、本発明を実施するための形態では、イメージセンサが出力する被写体データのデータ数が、撮像処理部内の前処理部に備えたラインメモリが保持することができる被写体データのデータ数よりも多い場合でも、入力された全ての被写体データに対して黒レベル補正を施すことができる。このことにより、本発明を実施するための形態では、多画素化したイメージセンサに対応する黒レベル補正を行う構成を、容易に実現することができる。
なお、本実施形態においては、イメージセンサ100の画素部において、HOB領域が画像領域の左側の端に位置し、VOB領域が画像領域の上側の端に位置している場合について説明した。しかし、HOB領域およびVOB領域の位置は、本発明を実施するための形態で説明した位置に限定されるものではなく、例えば、HOB領域が画像領域の右側の端に位置している場合や、VOB領域が画像領域の下側の端に位置している場合であっても、同様に考えることができる。また、例えば、HOB領域が画像領域の左側の端と右側の端との両方に位置している場合や、VOB領域が画像領域の上側の端と下側の端との両方に位置している場合であっても、いずれか一方または両方のOBデータを抽出して、同様に考えることができる。
なお、本実施形態においては、前処理が、OBデータに基づいた黒レベル補正を含む処理である場合について説明した。しかし、前処理の処理内容は、本発明を実施するための形態に限定されるものではなく、分割した画像領域の被写体データに共通するデータを用いる処理であれば、黒レベル補正以外の処理を施す場合であっても同様に、本発明の考え方を適用することができる。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。