JP6280713B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

近年、デジタルカメラなどの撮像装置では、撮影する画像の高解像度化に伴って固体撮像装置の画素数が年々増加している。一般的に、固体撮像装置は、画素をラスタスキャンし、画像に対して水平方向（横方向）に、それぞれの画素の信号（以下、「画素信号」という）を順次出力する。このため、撮像装置に備えられ、固体撮像装置が出力した画像を処理する画像処理装置には、固体撮像装置が出力する水平方向（横方向）の画素信号を、画像処理に必要な行数分だけ一時的に記憶するラインメモリの記憶容量も増加することになる。この画像処理装置におけるラインメモリの記憶容量の増加は、撮像装置の回路規模が増大する要因となってしまう。

そこで、例えば、特許文献１のように、１枚の画像に対する画像処理を複数回に分けて実行する画像処理装置の技術が開示されている。特許文献１で開示された技術では、固体撮像装置から出力された画素信号を、画像処理装置の外部に備えたフレームメモリに一旦格納し、その後、処理に必要な画素信号をフレームメモリから読み出しながら、複数回の画像処理を行って１枚の画像を生成する。例えば、特許文献１で開示された技術では、図１４（ａ）に示したように、１枚の画像の全体の領域を２つの領域に分割し、１回目の画像処理で一方（左側）の半分の領域に対して画像処理を行い、２回目の画像処理で他方（右側）の半分の領域に対して画像処理を行う。

このように、特許文献１で開示された技術では、１枚の画像を複数のブロックに分割し、分割したブロックの数と同じ回数の画像処理を実行することによって、１枚の画像を生成している。これにより、特許文献１で開示された技術では、固体撮像装置が出力する水平方向（横方向）の画素数よりも少ないラインメモリの記憶容量で、１枚の画像を生成することができる。

しかしながら、撮像装置における撮影では、撮像装置に備えた固体撮像装置の画素部において、画像領域の端に配置され、常に遮光された複数列または複数行のオプティカルブラック領域（以下、「ＯＢ領域」という）の画素の信号（以下、「ＯＢ画素信号」という）に基づいて、画像領域内の各画素が出力する画素信号が表す黒レベルの変動を補正する画像処理（以下、「黒レベル補正」という）も行われる。一般的に、ＯＢ領域には、固体撮像装置の画素部において、画像領域の左右のいずれか一方の端に位置し、画像の水平方向（横方向）の黒レベル補正に用いるＯＢ画素信号を出力する画素が配置された水平方向のＯＢ領域（以下、「ＨＯＢ領域」という）と、画像領域の上下のいずれか一方の端に位置し、画像の垂直方向（縦方向）の黒レベル補正に用いるＯＢ画素信号を出力する画素が配置された垂直方向のＯＢ領域（以下、「ＶＯＢ領域」という）とがある。図１４（ｂ）には、画像領域の左側の端にＨＯＢ領域が、画像領域の上側の端にＶＯＢ領域が、それぞれ配置されている固体撮像装置が出力した、ＯＢ画素信号を含む画像の一例を示している。

この画像に対して特許文献１で開示された技術を適用し、１枚の画像の全体の領域を２つの領域に分割して黒レベル補正を行った場合を考える。この場合、図１４（ｂ）に示したように、１回目で黒レベル補正を行う左側半分の領域にはＨＯＢ領域が含まれるが、２回目で黒レベル補正を行う右側半分の領域にはＨＯＢ領域が含まれないことになってしまう。このため、右側半分の領域に対して黒レベル補正を行うことができない。

また、特許文献２で開示されたような、左側半分の画像領域に対応したＨＯＢ領域と右側半分の画像領域に対応したＨＯＢ領域との２つのＨＯＢ領域を備えた固体撮像装置も実現されている。この特許文献２で開示された構成の固体撮像装置では、１枚の画像の全体の領域を２つの領域に分割した場合でも、左側と右側とのそれぞれの領域に対して黒レベル補正を行うことができる。

特許第４１７９７０１号公報 特開２００９−０９４６７５号公報

ところで、黒レベル補正は、画像全体の領域に対して均一に行うことも必要である。特許文献２で開示された構成の固体撮像装置では、左側と右側とのそれぞれの領域に対応したＨＯＢ領域のＯＢ画素信号に基づいて、対応する左側と右側とのそれぞれの領域に対する黒レベル補正を容易に実現することができるが、画像全体の領域に対して均一の黒レベル補正を行う場合には、特許文献２で開示された技術のように、それぞれの領域に共通する補正パラメータを準備する必要がある。しかしながら、特許文献２で開示された技術は、画像領域の左右のいずれか一方の端にのみＨＯＢ領域が配置されている固体撮像装置には適用することができない。

また、ＶＯＢ領域のＯＢ画素信号に基づいて黒レベル補正を行う場合には、ＨＯＢ領域のＯＢ画素信号に基づいて黒レベル補正を行う場合と異なり、特許文献１で開示された技術を適用して、１枚の画像の全体の領域を２つの領域に分割して黒レベル補正を行った場合でも、左側と右側とのそれぞれの領域に対応するＶＯＢ領域のＯＢ画素信号を用いて黒レベル補正を行うことができる。しかしながら、この場合には、１回目で黒レベル補正を行う左側半分の領域に含まれるＶＯＢ領域と、２回目で黒レベル補正を行う右側半分の領域に含まれるＶＯＢ領域とが異なるため、それぞれの黒レベル補正において用いるＶＯＢ領域内のＯＢ画素信号が、１回目（左側半分の領域）と２回目（右側半分の領域）とで異なってしまう。このため、画像全体の領域に対して均一の黒レベル補正を行うことができない。

このように、黒レベル補正を行う際に用いるＯＢ画素信号が、分割した画像の領域毎に異なってしまうと、画像全体の領域に対して均一の黒レベル補正を行うことができないため、例えば、黒レベル補正を分けた境界部分に違和感のある画像に生成されてしまうなど、１枚の画像の全体に対して良好な黒レベルの補正を行うことができない、という問題がある。

本発明は、上記の課題認識に基づいてなされたものであり、固体撮像装置から出力される画像を複数に分割して画像処理を行う場合でも、画像全体に対して良好な黒レベルの補正を行うことができる撮像装置を提供することを目的としている。

上記の課題を解決するため、本発明の撮像装置は、複数の画素を有し、被写体光が入射される画像領域の前記画素が出力する画素信号に応じた被写体データ、および該画像領域の端に位置する複数列または複数行の常に遮光されたオプティカルブラック領域の前記画素が出力する画素信号に応じたＯＢデータを、画像データとして出力する固体撮像装置と、前記固体撮像装置が出力した前記画像データに含まれる同じ前記ＯＢデータを用いて、該画像データに含まれる一部の前記被写体データに対して黒レベル補正を施した前処理画像データを出力する撮像処理部と、を備え、前記撮像処理部は、前記固体撮像装置が出力した前記画像データに含まれる前記被写体データに共通する前記ＯＢデータを抽出ＯＢデータとして抽出し、該画像データに含まれる前記被写体データと該抽出ＯＢデータとのそれぞれを出力するデータ抽出部と、前記画像領域における第１の方向の前記被写体データのデータ数よりも少ない量の前記被写体データを保持するラインメモリを具備し、前記データ抽出部から出力され、該ラインメモリに保持した前記被写体データに対して、前記抽出ＯＢデータに基づいた黒レベル補正を施した前記前処理画像データを出力する前処理部と、を備え、前記データ抽出部は、前記前処理部に具備した前記ラインメモリが保持することができる前記被写体データのデータ数の範囲内で前記画像領域を分割し、該分割した前記画像領域の前記被写体データおよび前記抽出ＯＢデータを前記前処理部に出力し、前記オプティカルブラック領域は、前記画像領域における前記第１の方向と直交する第２の方向のいずれかの一方または両方の端に位置し、前記データ抽出部は、分割した前記画像領域が前記第１の方向に並ぶように前記画像領域を分割し、該分割した前記画像領域が互いに重複しているオーバーラップ領域に対応する、少なくとも一方の端に位置する前記オプティカルブラック領域内の前記ＯＢデータを、前記前処理部が前記被写体データに対して黒レベル補正を施す際に共通して使用する前記抽出ＯＢデータとして抽出する、ことを特徴とする。

また、本発明の撮像装置において、前記オプティカルブラック領域は、前記画像領域における前記第１の方向のいずれかの一方または両方の端に位置し、前記データ抽出部は、分割した前記画像領域が前記第１の方向に並ぶように前記画像領域を分割し、少なくとも一方の端に位置する前記オプティカルブラック領域内の前記ＯＢデータを、前記前処理部が前記被写体データに対して黒レベル補正を施す際に共通して使用する前記抽出ＯＢデータとして抽出する、ことを特徴とする。

また、本発明の撮像装置において、当該撮像装置は、さらに、少なくとも前記前処理画像データを格納する記憶部、を備え、前記データ抽出部は、前記ラインメモリが保持することができる前記被写体データのデータ数の範囲内で前記画像領域を分割した、前記前処理部が黒レベル補正を施すことができる第１の画像領域の前記被写体データおよび前記抽出ＯＢデータを前記前処理部に出力すると共に、前記前処理部が黒レベル補正を施すことができない、前記第１の画像領域と異なる第２の画像領域の前記被写体データおよび抽出した前記ＯＢデータを、元画像データとして出力し、前記前処理部は、前記第１の画像領域の前記被写体データに対して前記抽出ＯＢデータに基づいた黒レベル補正を施した前記前処理画像データを出力し、前記撮像処理部は、さらに、前記記憶部に前記前処理画像データを転送する第１のデータ転送部と、前記記憶部に前記元画像データを転送する第２のデータ転送部と、を備えることを特徴とする。

また、本発明の撮像装置において、前記撮像処理部は、さらに、前記記憶部に格納された元画像データを取得するデータ取得部、を備え、前記データ抽出部は、前記第１の画像領域の前記被写体データおよび前記抽出ＯＢデータ、または前記データ取得部が取得した元画像データに含まれる前記被写体データおよび前記抽出ＯＢデータを、前記前処理部に出力する、ことを特徴とする。

また、本発明の撮像装置において、前記撮像処理部は、第１の動作において、前記前処理部が、前記第１の画像領域の前記被写体データに対して前記抽出ＯＢデータに基づいた黒レベル補正を施した第１の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送すると共に、前記元画像データを前記第２のデータ転送部によって前記記憶部に転送し、前記第１の動作が完了した後の第２の動作において、前記データ取得部が、前記記憶部に格納された前記元画像データを取得し、前記データ抽出部が、該元画像データに含まれる前記第２の画像領域の前記被写体データおよび前記抽出ＯＢデータを前記前処理部に出力し、前記前処理部が、前記第２の画像領域の前記被写体データに対して前記抽出ＯＢデータに基づいた黒レベル補正を施した第２の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送する、ことを特徴とする。

また、本発明の撮像装置において、当該撮像装置は、複数の前記撮像処理部と、複数の前記撮像処理部から出力されたそれぞれの前記前処理画像データを格納する記憶部と、を備え、それぞれの前記撮像処理部は、さらに、前記記憶部に前記前処理画像データを転送するデータ転送部、を備え、それぞれの前記撮像処理部に備えた前記データ抽出部は、前記画像領域を、対応する前処理部が具備した前記ラインメモリが保持することができる前記被写体データのデータ数の範囲内で、他の前記撮像処理部に備えた前記データ抽出部が分割する前記画像領域と異なる領域に分割し、分割した前記画像領域の前記被写体データおよび前記抽出ＯＢデータを、前記前処理部に出力し、それぞれの前記撮像処理部に備えた前記前処理部は、対応する前記データ抽出部が分割した前記画像領域の前記被写体データに対して前記抽出ＯＢデータに基づいた黒レベル補正を施した前記前処理画像データを出力し、それぞれの前記撮像処理部に備えた前記データ転送部は、対応する前処理部から出力された前記前処理画像データを、前記記憶部に転送する、ことを特徴とする。

また、本発明の撮像装置において、それぞれの前記撮像処理部は、前記前処理部によって、対応する前記画像領域の前記被写体データに対する前記抽出ＯＢデータに基づいた黒レベル補正を同時に実行し、前記データ転送部によって、前処理画像データを前記記憶部に転送する、ことを特徴とする。

また、本発明の撮像装置において、前記記憶部は、対応する前記撮像処理部から出力された前記前処理画像データを格納する複数の記憶部であり、それぞれの前記撮像処理部は、さらに、それぞれの前記記憶部に格納された前記前処理画像データの送受信を行う通信部、を備えることを特徴とする。

また、本発明の撮像装置において、いずれか１つの前記通信部は、それぞれの前記撮像処理部が、前記前処理画像データを対応する前記記憶部に転送した後に、それぞれの前記記憶部に格納されている前記前処理画像データを、対応するいずれか１つの前記記憶部に転送する、ことを特徴とする。

本発明によれば、固体撮像装置から出力される画像を複数に分割して画像処理を行う場合でも、画像全体に対して良好な黒レベルの補正を行うことができるという効果が得られる。

本発明の第１の実施形態における撮像装置の概略構成を示したブロック図である。 本第１の実施形態の撮像装置によって水平方向の黒レベル補正を行う場合の考え方を説明する図である。 本第１の実施形態の撮像装置によって垂直方向の黒レベル補正を行う場合の考え方を説明する図である。 本第１の実施形態の撮像装置による水平方向の黒レベル補正における第１の動作の一例を模式的に示した図である。 本第１の実施形態の撮像装置による水平方向の黒レベル補正における第２の動作の一例を模式的に示した図である。 本第１の実施形態の撮像装置による垂直方向の黒レベル補正における第１の動作の一例を模式的に示した図である。 本第１の実施形態の撮像装置による垂直方向の黒レベル補正における第２の動作の一例を模式的に示した図である。 本発明の第２の実施形態における撮像装置の概略構成を示したブロック図である。 本第２の実施形態の撮像装置によって水平方向の黒レベル補正を行う場合の考え方を説明する図である。 本第２の実施形態の撮像装置によって垂直方向の黒レベル補正を行う場合の考え方を説明する図である。 本第２の実施形態の撮像装置による水平方向の黒レベル補正における動作の一例を模式的に示した図である。 本第２の実施形態の撮像装置による垂直方向の黒レベル補正における動作の一例を模式的に示した図である。 本発明の第３の実施形態における撮像装置の概略構成を示したブロック図である。 従来の撮像装置において画像処理および黒レベル補正を実行する画像の一例を説明する図である。

＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態における撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１０は、イメージセンサ１００と、撮像処理部２００と、画像処理部３００と、表示処理部４００と、表示デバイス４０１と、カードＩＦ（インターフェース）部５００と、記録媒体５０１と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）コントローラ６００と、ＤＲＡＭ６０１と、ＣＰＵ７００と、を備えている。また、撮像装置１０内の撮像処理部２００は、データ抽出部２０１と、前処理部２０２と、第１のデータ転送部２０３と、第２のデータ転送部２０４と、データ取得部２０５と、を備えている。

撮像装置１０内の撮像処理部２００と、画像処理部３００と、表示処理部４００と、カードＩＦ部５００と、ＤＲＡＭコントローラ６００と、ＣＰＵ７００とは、データバス８００を介してそれぞれ接続され、例えば、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）によってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１からのデータの読み出し、およびＤＲＡＭ６０１へのデータの書き込みを行う。

イメージセンサ１００は、図示しないレンズによって結像された被写体の光学像を光電変換するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）イメージセンサに代表される固体撮像装置である。イメージセンサ１００は、画素部において、被写体光が入射される画素が配置された画像領域の端に位置し、黒レベル補正を行うために常に遮光された複数列または複数行のオプティカルブラック領域（ＯＢ領域）を備えている。イメージセンサ１００は、イメージセンサ１００自体に備えたＯＢ領域の画素を含めた全ての画素をラスタスキャンし、画像に対して水平方向（横方向）に順次、遮光された画素の信号（ＯＢ画素信号）と被写体光が入射される画素の画素信号とを、画像データとして撮像処理部２００に出力する。以下の説明において、遮光された画素のＯＢ画素信号の画像データと被写体光が入射される画素の画素信号の画像データとを区別して表す場合には、ＯＢ画素信号に応じた画像データを「ＯＢデータ」といい、被写体光に応じた画素信号を「被写体データ」という。

撮像処理部２００は、イメージセンサ１００から入力された画像データを取り込み、取り込んだ画像データをＯＢデータと被写体データとに分けると共に、被写体データに対して、ＯＢデータに基づいた黒レベル補正を含む前処理を施し、前処理した結果の被写体データを、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。

なお、撮像処理部２００が前処理を施すことができる画像データのデータ量、すなわち、画像に対する水平方向（横方向）のデータ数は、イメージセンサ１００が１行分として出力するＯＢデータおよび被写体データの合計のデータ数よりも少ない。このため、撮像処理部２００は、前処理を施すことができない被写体データをそのまま、つまり、前処理を施さずに、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。その際、撮像処理部２００は、前処理を施すことができない被写体データに対応するＯＢデータも一緒に、ＤＲＡＭ６０１に転送する（書き込む）。そして、撮像処理部２００は、前処理を施すことができるデータ量の前処理が完了した後に、ＤＲＡＭ６０１にそのまま記憶され、前処理が施されていない被写体データおよび対応するＯＢデータを取得し、取得した被写体データに対して、対応するＯＢデータに基づいた黒レベル補正を含む前処理を施して、再度ＤＲＡＭ６０１に転送する（書き込む）。つまり、撮像処理部２００では、前処理を施すことができない水平方向（横方向）のデータ数の画像データが入力された場合には、前処理を施すことができるデータ量の範囲で複数回に分けて、入力された全ての被写体データに対して、対応するＯＢデータに基づいた黒レベル補正を含む前処理を施す。

データ抽出部２０１は、入力された画像データをＯＢデータと被写体データとに分けると共に、被写体データと対応するＯＢデータとの出力先の構成要素を選択する。より具体的には、データ抽出部２０１は、イメージセンサ１００から入力された画像データ、およびデータ取得部２０５から入力された画像データからＯＢデータを抽出することによって、入力された画像データをＯＢデータと被写体データとに分ける。そして、データ抽出部２０１は、被写体データの出力先として、前処理部２０２または第２のデータ転送部２０４のいずれか一方または両方を選択する。そして、データ抽出部２０１は、選択した出力先に、被写体データおよび対応するＯＢデータを出力する。

前処理部２０２は、データ抽出部２０１から入力された被写体データに対して、対応するＯＢデータに基づいて黒レベルの変動を補正する黒レベル補正、キズ補正、シェーディング補正、画素欠陥補正などの様々な前処理を施し、処理した結果の被写体データ（以下、「前処理画像データ」という）を、第１のデータ転送部２０３に出力する。なお、前処理部２０２の構成や、前処理部２０２における黒レベル補正を含む前処理の処理方法および動作は、従来の撮像装置に備えた前処理部の構成や処理方法および動作と同様である。従って、前処理部２０２の構成や黒レベル補正を含む前処理の処理方法および動作に関する詳細な説明は省略する。

第１のデータ転送部２０３は、前処理部２０２から入力された前処理画像データを、例えば、ＤＭＡによってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１に格納する（書き込む）。なお、第１のデータ転送部２０３の構成や、前処理画像データをＤＭＡによってＤＲＡＭ６０１に格納する（書き込む）際の動作は、ＤＭＡによってデータを格納する通常の構成や動作と同様であるため、詳細な説明は省略する。なお、第１のデータ転送部２０３が前処理画像データをＤＲＡＭ６０１に格納する（書き込む）方法は、ＤＭＡ以外の方法であってもよい。

第２のデータ転送部２０４は、データ抽出部２０１から入力された被写体データ、すなわち、前処理部２０２によって前処理が施されていない被写体データと、データ抽出部２０１から入力された前処理が施されていない被写体データに対応するＯＢデータとを、例えば、ＤＭＡによってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１に格納する（書き込む）。以下の説明においては、前処理が施されていない被写体データと対応するＯＢデータとを併せて、「元画像データ」という。なお、第２のデータ転送部２０４の構成や、元画像データをＤＭＡによってＤＲＡＭ６０１に格納する（書き込む）際の動作は、第１のデータ転送部２０３と同様に、ＤＭＡによってデータを格納する通常の構成や動作と同様であるため、詳細な説明は省略する。なお、第２のデータ転送部２０４が元画像データをＤＲＡＭ６０１に格納する（書き込む）方法は、第１のデータ転送部２０３と同様に、ＤＭＡ以外の方法であってもよい。

データ取得部２０５は、ＤＲＡＭ６０１に格納されている画像データを、例えば、ＤＭＡによってＤＲＡＭコントローラ６００を介して取得し（読み出し）、取得した画像データをデータ抽出部２０１に出力する。なお、データ取得部２０５が取得する画像データは、第２のデータ転送部２０４によって格納された元画像データのみではなく、例えば、第１のデータ転送部２０３によって格納された前処理画像データや、画像処理部３００によって画像処理された後にＤＲＡＭ６０１に格納された画像データであってもよい。

画像処理部３００は、ＤＲＡＭ６０１に格納されている前処理画像データを取得し（読み出し）、取得した前処理画像データに、ノイズ除去処理、歪曲収差補正、ＹＣ変換処理、リサイズ処理、ＪＰＥＧ圧縮処理、およびＭＰＥＧ圧縮処理やＨ．２６４圧縮処理等の動画圧縮処理などの各種の画像処理を施して、表示用の画像データや記録用の画像データを生成する。そして、画像処理部３００は、生成した表示用の画像データや記録用の画像データを、再びＤＲＡＭ６０１に格納する（書き込む）。

また、画像処理部３００は、ＤＲＡＭ６０１に格納されている記録用の画像データを取得し（読み出し）、ＪＰＥＧ伸張処理、ＭＰＥＧ伸張処理やＨ．２６４伸張処理等の動画伸張処理などの各種の画像処理を施して、表示用の画像データを生成する。そして、画像処理部３００は、生成した表示用の画像データを、再びＤＲＡＭ６０１に格納する（書き込む）。

表示処理部４００は、ＤＲＡＭ６０１に格納されている表示用の画像データを取得し（読み出し）、取得した表示用の画像データにＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示用のデータを重畳する処理などの表示処理を施す。そして、表示処理後の画像データを、表示デバイス４０１に出力する。

表示デバイス４０１は、ＴＦＴ（薄膜トランジスター：Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示デバイスであり、表示処理部４００から出力された表示処理後の画像データに応じた画像を表示する。

なお、表示デバイス４０１は、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ：電子ビューファインダ）などの表示デバイスや、テレビなどの外部ディスプレイであってもよい。また、図１においては、表示デバイス４０１も撮像装置１０の構成要素としているが、表示デバイス４０１は、撮像装置１０に着脱可能な構成であってもよい。

カードＩＦ部５００は、ＤＲＡＭ６０１に記録されている記録用の画像データを取得し（読み出し）、取得した記録用の画像データを記録媒体５０１に記録させる。また、カードＩＦ部５００は、記録媒体５０１に記録している画像データを読み出し、読み出した画像データを、ＤＲＡＭ６０１に転送する（書き込む）。

記録媒体５０１は、ＳＤメモリカード（ＳＤ Ｍｅｍｏｒｙ Ｃａｒｄ）やコンパクトフラッシュ（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ（登録商標））などの記録媒体であり、カードＩＦ部５００から出力された記録用の画像データを記録する。また、カードＩＦ部５００によって記録している画像データが読み出される。なお、図１においては、記録媒体５０１も撮像装置１０の構成要素としているが、記録媒体５０１は、撮像装置１０に着脱可能な構成である。

ＤＲＡＭコントローラ６００は、データバス８００に接続されている撮像装置１０内の複数の構成要素からのＤＲＡＭ６０１へのアクセス要求、例えば、ＤＭＡのアクセス要求に応じて、接続されているＤＲＡＭ６０１へのデータの格納（書き込み）、およびＤＲＡＭ６０１からのデータの取得（読み出し）の制御を行う。

ＤＲＡＭ６０１は、ＤＲＡＭコントローラ６００によってアクセス制御されるメモリ（記憶部）である。ＤＲＡＭ６０１は、撮像装置１０内のそれぞれの構成要素の処理過程における様々なデータを一時的に格納（記憶）する。

ＣＰＵ７００は、撮像装置１０の構成要素、すなわち、撮像装置１０全体を制御する。例えば、ＣＰＵ７００は、撮像装置１０における撮影動作や再生動作に応じて、撮像装置１０内の各構成要素の動作を制御する。例えば、ＣＰＵ７００は、撮像装置１０が撮影動作を行う際に、イメージセンサ１００からの画像データの出力の開始、撮像処理部２００による画像データの取り込みの開始を制御する。

また、ＣＰＵ７００は、撮像処理部２００内のデータ抽出部２０１による被写体データおよび対応するＯＢデータの抽出と出力先の選択の制御や、データ抽出部２０１によるＯＢデータの抽出や、第１のデータ転送部２０３および第２のデータ転送部２０４による画像データの転送の設定や、データ取得部２０５の設定を行う。

このような構成によって、本第１の実施形態の撮像装置１０では、イメージセンサ１００から出力される画像データをリアルタイムに取り込みながら、取り込んだ画像データに含まれる被写体データに対して直接的に（ダイレクトに）、ＯＢデータに基づいた黒レベル補正を含む様々な前処理を施すことができる。また、本第１の実施形態の撮像装置１０では、データ取得部２０５によってＤＲＡＭ６０１に格納されている元画像データを取得することによって、ＤＲＡＭ６０１に格納されている元画像データに含まれる被写体データに対して、対応するＯＢデータに基づいた黒レベル補正を含む様々な前処理を施すことができる。すなわち、本第１の実施形態の撮像装置１０では、リアルタイムに入力される被写体データ以外に対しても、対応するＯＢデータに基づいた適切な黒レベル補正を含む様々な前処理を施すことができる。

次に、撮像装置１０において、イメージセンサ１００から出力される画像データに含まれる被写体データに対して前処理（ＯＢデータに基づいた黒レベル補正）を施す動作の一例について説明する。なお、以下の説明においては、イメージセンサ１００の水平方向（横方向）の画素数が１００００画素である、つまり、イメージセンサ１００が、横幅が１００００画素の画像を撮影し、前処理部２０２は、水平方向（横方向）に６０００画素分の記憶容量のラインメモリを備えている場合について説明する。すなわち、イメージセンサ１００が１行毎に出力する水平方向（横方向）の画像データのデータ数が、前処理部２０２に備えたラインメモリが保持することができる１行分の画像データのデータ数よりも多く、１行分の全ての被写体データをラインメモリに保持することができない構成である場合に、どのように１行分の被写体データに対して黒レベル補正の前処理を施すかの動作について説明する。なお、以下の説明においては、説明を容易にするため、ＯＢデータのデータ数に関しては考慮しないものとする。

前処理部２０２に備えたラインメモリが対応することができるデータ数よりも、入力される被写体データのデータ数の方が多い場合、つまり、撮像処理部２００が前処理を施すことができる被写体データのデータ数が、イメージセンサ１００が１行分として出力する被写体データのデータ数よりも少ない場合、撮像装置１０は、上述したように、前処理を施すことができるデータ量（ここでは、６０００画素）の範囲で複数回に分けて、入力された全ての被写体データに対して前処理を施す。以下の説明においては、説明を容易にするため、イメージセンサ１００から入力された被写体データを半分ずつ、２回に分けて前処理を施す場合について説明する。

被写体データに対する黒レベル補正は、画像の水平方向（横方向）に位置する水平方向のＯＢ領域（ＨＯＢ領域）のＯＢデータ（以下、「ＨＯＢデータ」という）に基づいて行う水平方向の黒レベル補正と、画像の垂直方向（縦方向）に位置する垂直方向のＯＢ領域（ＶＯＢ領域）のＯＢデータ（以下、「ＶＯＢデータ」という）に基づいて行う垂直方向の黒レベル補正とがある。

ここで、本第１の実施形態の撮像装置１０において、水平方向の黒レベル補正と、垂直方向の黒レベル補正とのそれぞれを、２回に分けて施す場合の考え方について説明する。図２は、本第１の実施形態の撮像装置１０によって水平方向の黒レベル補正を行う場合の考え方を説明する図である。また、図３は、本第１の実施形態の撮像装置１０によって垂直方向の黒レベル補正を行う場合の考え方を説明する図である。

まず、図２を用いて、撮像装置１０が水平方向の黒レベル補正を２回に分けて施す場合の考え方を説明する。なお、図２は、イメージセンサ１００の画素部において、ＨＯＢ領域が画像領域の左側の端に位置している場合の一例である。

撮像装置１０における水平方向の黒レベル補正では、イメージセンサ１００の画素部内の画像領域のみを分割し、同じＨＯＢ領域のＨＯＢデータに基づいて、分割したそれぞれの画像領域の被写体データに対して黒レベル補正を施す。つまり、分割したそれぞれの画像領域に共通のＨＯＢデータを用いて、被写体データに対する水平方向の黒レベル補正を行う。

より具体的には、撮像装置１０における水平方向の黒レベル補正の１回目の動作では、図２（ａ）に示したように、ＨＯＢ領域のＨＯＢデータを抽出し、抽出したＨＯＢデータに基づいて、画像領域を分割した一方（左側）の半分の被写体データに対して水平方向の黒レベル補正を施す。また、撮像装置１０における水平方向の黒レベル補正の２回目の動作では、図２（ｂ）に示したように、抽出したＨＯＢデータに基づいて、画像領域を分割した他方（右側）の半分の被写体データに対して水平方向の黒レベル補正を施す。

このように、撮像装置１０における水平方向の黒レベル補正では、同じＨＯＢ領域のＨＯＢデータを用いて、分割したそれぞれの画像領域の被写体データに対して黒レベル補正を施す。なお、撮像装置１０では、データ抽出部２０１が、イメージセンサ１００から入力された画像データからのＨＯＢデータの抽出と画像領域の分割とを行い、前処理部２０２が、データ抽出部２０１から入力されたＨＯＢデータに基づいて、分割した画像領域の被写体データに対する水平方向の黒レベル補正を行う。

次に、図３を用いて、撮像装置１０が垂直方向の黒レベル補正を２回に分けて施す場合の考え方を説明する。なお、図３は、イメージセンサ１００の画素部において、ＶＯＢ領域が画像領域の上側の端に位置している場合の一例である。

黒レベル補正に限らず、画像領域を複数に分けて前処理を行うと、処理を分けた境界部分に違和感がある画像となってしまうと考えられる。このため、実際に前処理を複数回に分けて行う場合には、それぞれの処理において使用する被写体データを重複させた領域、すなわち、オーバーラップ領域を設けて処理することが一般的に行われている。撮像装置１０による垂直方向の黒レベル補正では、このオーバーラップ領域に対応するＶＯＢ領域内のＶＯＢデータに基づいて、分割したそれぞれの画像領域の被写体データに対する黒レベル補正を施す。つまり、分割したそれぞれの画像領域に共通のオーバーラップ領域内のＶＯＢデータを用いて、被写体データに対する垂直方向の黒レベル補正を行う。

より具体的には、撮像装置１０における垂直方向の黒レベル補正の１回目の動作では、図３（ａ）に示したように、画像領域の上側の全体に位置するＶＯＢ領域の内、オーバーラップ領域内に位置するＶＯＢ領域のＶＯＢデータを抽出し、抽出したＶＯＢデータに基づいて、画像領域を分割した一方（左側）の半分の被写体データに対して垂直方向の黒レベル補正を施す。また、撮像装置１０における垂直方向の黒レベル補正の２回目の動作では、図３（ｂ）に示したように、抽出したオーバーラップ領域内に位置するＶＯＢ領域のＶＯＢデータに基づいて、画像領域を分割した他方（右側）の半分の被写体データに対して垂直方向の黒レベル補正を施す。

このように、撮像装置１０における垂直方向の黒レベル補正では、同じオーバーラップ領域内に位置するＶＯＢ領域のＶＯＢデータを用いて、分割したそれぞれの画像領域の被写体データに対して黒レベル補正を施す。なお、撮像装置１０では、データ抽出部２０１が、イメージセンサ１００から入力された画像データからのＶＯＢデータの抽出と画像領域の分割とを行い、前処理部２０２が、データ抽出部２０１から入力されたＶＯＢデータに基づいて、分割した画像領域の被写体データに対する垂直方向の黒レベル補正を行う。

なお、上述した撮像装置１０における水平方向の黒レベル補正では説明していないが、水平方向の黒レベル補正を行う場合にも、オーバーラップ領域を、画像領域を分割するそれぞれの境界部分に設けてもよい。このように、画像領域を複数に分けて前処理を行う際にオーバーラップ領域を設けることによって、黒レベル補正に限らず、処理を分けた境界部分における画像の違和感をなくすことができる。

次に、本第１の実施形態の撮像装置１０において、水平方向の黒レベル補正と、垂直方向の黒レベル補正とのそれぞれの実際の動作の一例について説明する。まず、撮像装置１０が水平方向の黒レベル補正を２回に分けて施す場合の動作の一例について説明する。

図４および図５は、本第１の実施形態の撮像装置１０による水平方向の黒レベル補正の動作の一例を模式的に示した図である。図４には、撮像装置１０が、イメージセンサ１００から入力された一方（左側）の半分の被写体データに対して前処理（ＨＯＢデータに基づいた水平方向の黒レベル補正）を施す第１の動作の一例を示している。また、図５には、撮像装置１０が、イメージセンサ１００から入力された他方（右側）の半分の被写体データに対して前処理（ＨＯＢデータに基づいた水平方向の黒レベル補正）を施す第２の動作の一例を示している。

＜第１の動作＞
第１の動作（１パス目の動作）では、イメージセンサ１００の画素部の左側の端に位置するＨＯＢ領域のＨＯＢデータに基づいて、イメージセンサ１００から出力される被写体データに対してリアルタイムに水平方向の黒レベル補正を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。また、１パス目の動作では、水平方向の黒レベル補正を施すことができない被写体データをそのまま、ＤＲＡＭ６０１に転送する（書き込む）のと共に、この被写体データに対応するＨＯＢデータをＤＲＡＭ６０１に転送する（書き込む）。図４には、図１に示した撮像装置１０のブロック図上に、第１の動作（１パス目の動作）におけるそれぞれのデータの経路を示している。

まず、１パス目の動作では、図４に示した経路Ｃ１１の画像データの経路で、被写体データに対して、リアルタイムに水平方向の黒レベル補正を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。より具体的には、１パス目の動作において、イメージセンサ１００が、横幅が１００００画素の１枚の画像Ｐ１を撮影し、ＨＯＢデータと共に、撮影した画像Ｐ１の被写体データを撮像処理部２００に出力する。撮像処理部２００では、イメージセンサ１００から入力されたＨＯＢデータと画像Ｐ１の全ての領域の被写体データとを取り込み、取り込んだＨＯＢデータと画像Ｐ１の被写体データとが順次、撮像処理部２００内のデータ抽出部２０１に入力される。そして、データ抽出部２０１は、画像Ｐ１の被写体データと共に入力されたＨＯＢデータを抽出し、抽出したＨＯＢデータと、画像Ｐ１の左側半分の領域である画像Ｐ２の被写体データとを、前処理部２０２に順次出力する。

前処理部２０２は、データ抽出部２０１から入力されたＨＯＢデータに基づいて、データ抽出部２０１から順次入力された画像Ｐ２の被写体データに対して水平方向の黒レベル補正を施し、水平方向の黒レベル補正を施した後の画像Ｐ３の前処理画像データを順次、第１のデータ転送部２０３に出力する。そして、第１のデータ転送部２０３は、前処理部２０２から順次入力された画像Ｐ３の前処理画像データを、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、水平方向の黒レベル補正を施した後の画像Ｐ３の前処理画像データが格納される。

また、１パス目の動作では、図４に示した経路Ｃ１２の画像データの経路で、そのままの被写体データと対応するＨＯＢデータとを、ＤＲＡＭ６０１に転送する（書き込む）。より具体的には、１パス目の動作において、データ抽出部２０１は、抽出したＨＯＢデータと、画像Ｐ１の右側半分の領域である画像Ｐ４の被写体データとを、第２のデータ転送部２０４に順次出力する。第２のデータ転送部２０４は、データ抽出部２０１から順次入力された画像Ｐ４の被写体データと対応するＨＯＢデータとをそのまま、画像Ｐ４の元画像データとしてＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、イメージセンサ１００が出力した画像Ｐ１の右側半分の画像Ｐ４の被写体データが、そのまま格納される。また、ＤＲＡＭ６０１には、イメージセンサ１００が出力したＨＯＢデータが、そのまま格納される。

このように、１パス目の動作では、イメージセンサ１００が出力した画像Ｐ１の左側半分の領域に対して水平方向の黒レベル補正を施した画像Ｐ３の前処理画像データと、イメージセンサ１００が出力した画像Ｐ１の右側半分の領域である画像Ｐ４の被写体データおよびＨＯＢデータとを、ＤＲＡＭ６０１に格納する。

なお、１パス目の動作において、ＤＲＡＭ６０１に元画像データを格納する際には、イメージセンサ１００から入力された画像Ｐ１の全ての領域の被写体データとＨＯＢデータとを、画像Ｐ１の元画像データとしてＤＲＡＭ６０１に格納することもできる。しかし、上述したように、１パス目の動作においては、ＨＯＢデータと画像Ｐ１の右側半分の画像Ｐ４の被写体データとのみを、元画像データとしてＤＲＡＭ６０１に格納している。これは、以降の第２の動作（２パス目の動作）において水平方向の黒レベル補正を施すのは、１パス目の動作において水平方向の黒レベル補正を施すことができなかった画像Ｐ１の右側半分の領域である画像Ｐ４の被写体データのみであるからである。これにより、ＤＲＡＭ６０１の記憶容量を削減することができると共に、データバス８００のバス帯域の必要以上の圧迫を回避することができる。

＜第２の動作＞
その後、撮像装置１０は、第１の動作（１パス目の動作）で水平方向の黒レベル補正を施すことができなかった、イメージセンサ１００から入力された画像Ｐ１の右側半分の被写体データである画像Ｐ４の被写体データに対して、ＨＯＢデータに基づいた水平方向の黒レベル補正を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。図５には、図１に示した撮像装置１０のブロック図上に、第２の動作（２パス目の動作）におけるデータの経路を示している。

２パス目の動作では、図５に示した経路Ｃ１３の画像データの経路で、ＤＲＡＭ６０１に格納されている画像Ｐ４の被写体データに対して水平方向の黒レベル補正を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。より具体的には、２パス目の動作において、データ取得部２０５が、ＤＲＡＭ６０１に格納されている画像Ｐ４の元画像データを順次取得し（読み出し）、取得した画像Ｐ４の元画像データを順次、データ抽出部２０１に出力する。そして、データ抽出部２０１は、入力された画像Ｐ４の元画像データからＨＯＢデータを抽出し、抽出したＨＯＢデータと、画像Ｐ４の被写体データとを、前処理部２０２に順次出力する。

なお、画像Ｐ４の被写体データの全てに対して水平方向の黒レベル補正を施すことができない場合には、第１の動作と同様に、経路Ｃ１２の画像データの経路で、抽出したＨＯＢデータと水平方向の黒レベル補正を施すことができない被写体データとをそのまま、ＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、ＨＯＢデータと水平方向の黒レベル補正を施すことができない被写体データが、再度格納される。

前処理部２０２は、データ抽出部２０１から入力されたＨＯＢデータに基づいて、データ抽出部２０１から順次入力された画像Ｐ４の被写体データに対して水平方向の黒レベル補正を施し、水平方向の黒レベル補正を施した後の画像Ｐ５の前処理画像データを順次、第１のデータ転送部２０３に出力する。そして、第１のデータ転送部２０３は、前処理部２０２から順次入力された画像Ｐ５の前処理画像データを、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、水平方向の黒レベル補正を施した後の画像Ｐ５の前処理画像データが格納される。

このように、２パス目の動作では、ＤＲＡＭ６０１に格納されている、イメージセンサ１００が出力した画像Ｐ１の右側半分の画像Ｐ４に対して水平方向の黒レベル補正を施した画像Ｐ５の前処理画像データを、ＤＲＡＭ６０１に格納する。これにより、ＤＲＡＭ６０１には、イメージセンサ１００が撮影した横幅が１００００画素の１枚の画像Ｐ１の全ての領域の被写体データに対して水平方向の黒レベル補正を施した前処理画像データ（画像Ｐ３＋画像Ｐ５の前処理画像データ）が格納される。

このように、本第１の実施形態の撮像装置１０による水平方向の黒レベル補正では、イメージセンサ１００の画素部内の画像領域のみを分割し、同じＨＯＢ領域のＨＯＢデータ、つまり、共通のＨＯＢデータに基づいて、分割したそれぞれの画像領域の被写体データに対して黒レベル補正を施すことができる。

より具体的には、第１の動作（１パス目の動作）において、撮像装置１０は、イメージセンサ１００から入力された画像Ｐ１の左半分の被写体データに対して、リアルタイムに水平方向の黒レベル補正を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）のと共に、水平方向の黒レベル補正を施すことができない右側半分の被写体データをそのまま、ＤＲＡＭ６０１に転送する（書き込む）。その後、第２の動作（２パス目の動作）において、撮像装置１０は、第１の動作（１パス目の動作）で水平方向の黒レベル補正を施すことができなかった、イメージセンサ１００から入力された画像Ｐ１の右側半分の被写体データに対して水平方向の黒レベル補正を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）ことによって、１枚の画像Ｐ１の全ての被写体データに対する水平方向の黒レベル補正を施す。

次に、撮像装置１０が垂直方向の黒レベル補正を２回に分けて施す場合の動作の一例について説明する。

図６および図７は、本第１の実施形態の撮像装置１０による垂直方向の黒レベル補正の動作の一例を模式的に示した図である。図６には、撮像装置１０が、イメージセンサ１００から入力された一方（左側）の半分の被写体データに対して前処理（ＶＯＢデータに基づいた垂直方向の黒レベル補正）を施す第１の動作の一例を示している。また、図７には、撮像装置１０が、イメージセンサ１００から入力された他方（右側）の半分の被写体データに対して前処理（ＶＯＢデータに基づいた垂直方向の黒レベル補正）を施す第２の動作の一例を示している。

＜第１の動作＞
第１の動作（１パス目の動作）では、イメージセンサ１００の画素部の上側の端に位置するＶＯＢ領域の内、オーバーラップ領域内に位置するＶＯＢ領域のＶＯＢデータに基づいて、イメージセンサ１００から出力される被写体データに対してリアルタイムに垂直方向の黒レベル補正を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。また、１パス目の動作では、垂直方向の黒レベル補正を施すことができない被写体データをそのまま、ＤＲＡＭ６０１に転送する（書き込む）のと共に、この被写体データに対応するオーバーラップ領域内に位置するＶＯＢ領域のＶＯＢデータをＤＲＡＭ６０１に転送する（書き込む）。図６には、図１に示した撮像装置１０のブロック図上に、第１の動作（１パス目の動作）におけるそれぞれのデータの経路を示している。

まず、１パス目の動作では、図６に示した経路Ｃ１６の画像データの経路で、被写体データに対して、リアルタイムに垂直方向の黒レベル補正を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。より具体的には、１パス目の動作において、イメージセンサ１００が、横幅が１００００画素の１枚の画像Ｐ１を撮影し、ＶＯＢデータと共に、撮影した画像Ｐ１の被写体データを撮像処理部２００に出力する。撮像処理部２００では、イメージセンサ１００から入力されたＶＯＢデータと画像Ｐ１の全ての領域の被写体データとを取り込み、取り込んだＶＯＢデータと画像Ｐ１の被写体データとが順次、撮像処理部２００内のデータ抽出部２０１に入力される。そして、データ抽出部２０１は、画像Ｐ１の被写体データと共に入力されたＶＯＢデータの中から、オーバーラップ領域内のＶＯＢ領域のＶＯＢデータを抽出し、抽出したＶＯＢデータと、画像Ｐ１の左側半分の領域である画像Ｐ２の被写体データとを、前処理部２０２に順次出力する。

前処理部２０２は、データ抽出部２０１から入力されたＶＯＢデータに基づいて、データ抽出部２０１から順次入力された画像Ｐ２の被写体データに対して垂直方向の黒レベル補正を施し、垂直方向の黒レベル補正を施した後の画像Ｐ３の前処理画像データを順次、第１のデータ転送部２０３に出力する。そして、第１のデータ転送部２０３は、前処理部２０２から順次入力された画像Ｐ３の前処理画像データを、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、垂直方向の黒レベル補正を施した後の画像Ｐ３の前処理画像データが格納される。

また、１パス目の動作では、図６に示した経路Ｃ１７の画像データの経路で、そのままの被写体データと対応するＶＯＢデータ、すなわち、オーバーラップ領域内のＶＯＢ領域のＶＯＢデータとを、ＤＲＡＭ６０１に転送する（書き込む）。より具体的には、１パス目の動作において、データ抽出部２０１は、抽出したＶＯＢデータと、画像Ｐ１の右側半分の領域である画像Ｐ４の被写体データとを、第２のデータ転送部２０４に順次出力する。第２のデータ転送部２０４は、データ抽出部２０１から順次入力された画像Ｐ４の被写体データと対応するＶＯＢデータとをそのまま、画像Ｐ４の元画像データとしてＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、イメージセンサ１００が出力した画像Ｐ１の右側半分の画像Ｐ４の被写体データが、そのまま格納される。また、ＤＲＡＭ６０１には、イメージセンサ１００が出力したＶＯＢデータが、そのまま格納される。

なお、以降の第２の動作（２パス目の動作）において、画像Ｐ４の被写体データの全てに対して垂直方向の黒レベル補正を施すことができない場合には、データ抽出部２０１は、オーバーラップ領域内のＶＯＢ領域から抽出したＶＯＢデータのみではなく、オーバーラップ領域の開始位置以降のＶＯＢ領域のＶＯＢデータを、画像Ｐ４の被写体データに対応したＶＯＢデータとして、第２のデータ転送部２０４に順次出力する。これにより、以降の第２の動作（２パス目の動作）において、次のオーバーラップ領域内のＶＯＢ領域のＶＯＢデータを抽出し、経路Ｃ１６と同様の経路で、抽出したＶＯＢデータと次の領域の画像の被写体データとを前処理部２０２に順次出力することができると共に、経路Ｃ１７と同様の経路で、水平方向の黒レベル補正を施すことができないその次の領域の被写体データと対応するＶＯＢデータとをそのまま、ＤＲＡＭ６０１に再度格納することができる。

このように、１パス目の動作では、撮像装置１０による水平方向の黒レベル補正の１パス目の動作と同様に、イメージセンサ１００が出力した画像Ｐ１の左側半分の領域に対して垂直方向の黒レベル補正を施した画像Ｐ３の前処理画像データと、イメージセンサ１００が出力した画像Ｐ１の右側半分の領域である画像Ｐ４の被写体データおよびＶＯＢデータとを、ＤＲＡＭ６０１に格納する。

なお、１パス目の動作において、ＤＲＡＭ６０１に元画像データを格納する際には、イメージセンサ１００から入力された画像Ｐ１の全ての領域の被写体データとＶＯＢデータとを、画像Ｐ１の元画像データとしてＤＲＡＭ６０１に格納することもできる。しかし、上述したように、１パス目の動作においては、ＶＯＢデータと画像Ｐ１の右側半分の画像Ｐ４の被写体データとのみを、元画像データとしてＤＲＡＭ６０１に格納している。これは、撮像装置１０による水平方向の黒レベル補正と同様の理由であり、同様の効果を得ることができる。

＜第２の動作＞
その後、撮像装置１０は、第１の動作（１パス目の動作）で垂直方向の黒レベル補正を施すことができなかった、イメージセンサ１００から入力された画像Ｐ１の右側半分の被写体データである画像Ｐ４の被写体データに対して、ＶＯＢデータに基づいた垂直方向の黒レベル補正を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。図７には、図１に示した撮像装置１０のブロック図上に、第２の動作（２パス目の動作）におけるデータの経路を示している。

２パス目の動作では、図７に示した経路Ｃ１８の画像データの経路で、ＤＲＡＭ６０１に格納されている画像Ｐ４の被写体データに対して垂直方向の黒レベル補正を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。より具体的には、２パス目の動作において、データ取得部２０５が、ＤＲＡＭ６０１に格納されている画像Ｐ４の元画像データを順次取得し（読み出し）、取得した画像Ｐ４の元画像データを順次、データ抽出部２０１に出力する。そして、データ抽出部２０１は、入力された画像Ｐ４の元画像データからＶＯＢデータを抽出し、抽出したＶＯＢデータと、画像Ｐ４の被写体データとを、前処理部２０２に順次出力する。

なお、画像Ｐ４の被写体データの全てに対して垂直方向の黒レベル補正を施すことができない場合には、第１の動作と同様に、経路Ｃ１７の画像データの経路で、抽出したＶＯＢデータと垂直方向の黒レベル補正を施すことができない被写体データとをそのまま、ＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、ＶＯＢデータと垂直方向の黒レベル補正を施すことができない被写体データが、再度格納される。

前処理部２０２は、データ抽出部２０１から入力されたＶＯＢデータに基づいて、データ抽出部２０１から順次入力された画像Ｐ４の被写体データに対して垂直方向の黒レベル補正を施し、垂直方向の黒レベル補正を施した後の画像Ｐ５の前処理画像データを順次、第１のデータ転送部２０３に出力する。そして、第１のデータ転送部２０３は、前処理部２０２から順次入力された画像Ｐ５の前処理画像データを、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、垂直方向の黒レベル補正を施した後の画像Ｐ５の前処理画像データが格納される。

このように、２パス目の動作では、ＤＲＡＭ６０１に格納されている、イメージセンサ１００が出力した画像Ｐ１の右側半分の画像Ｐ４に対して垂直方向の黒レベル補正を施した画像Ｐ５の前処理画像データを、ＤＲＡＭ６０１に格納する。これにより、ＤＲＡＭ６０１には、イメージセンサ１００が撮影した横幅が１００００画素の１枚の画像Ｐ１の全ての領域の被写体データに対して垂直方向の黒レベル補正を施した前処理画像データ（画像Ｐ３＋画像Ｐ５の前処理画像データ）が格納される。

このように、本第１の実施形態の撮像装置１０による垂直方向の黒レベル補正では、イメージセンサ１００の画素部内の画像領域のみを分割し、オーバーラップ領域内に位置する同じＶＯＢ領域のＶＯＢデータ、つまり、共通のＶＯＢデータに基づいて、分割したそれぞれの画像領域の被写体データに対して黒レベル補正を施すことができる。

より具体的には、第１の動作（１パス目の動作）において、撮像装置１０は、イメージセンサ１００から入力された画像Ｐ１の左半分の被写体データに対して、リアルタイムに垂直方向の黒レベル補正を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）のと共に、垂直方向の黒レベル補正を施すことができない右側半分の被写体データをそのまま、ＤＲＡＭ６０１に転送する（書き込む）。その後、第２の動作（２パス目の動作）において、撮像装置１０は、第１の動作（１パス目の動作）で垂直方向の黒レベル補正を施すことができなかった、イメージセンサ１００から入力された画像Ｐ１の右側半分の被写体データに対して垂直方向の黒レベル補正を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）ことによって、１枚の画像Ｐ１の全ての被写体データに対する垂直方向の黒レベル補正を施す。

上記に述べたとおり、本第１の実施形態の撮像装置１０では、イメージセンサ１００が出力する水平方向（横方向）の被写体データのデータ数が、撮像処理部２００内の前処理部２０２に備えたラインメモリが保持することができる被写体データのデータ数よりも多い場合に、第１の動作と第２の動作との２回の動作によって、入力された全ての被写体データに対して黒レベル補正を施す。このとき、本第１の実施形態の撮像装置１０による水平方向および垂直方向の黒レベル補正では、イメージセンサ１００の画素部内の画像領域のみを分割し、同じＯＢ領域のＯＢデータ（共通のＯＢデータ）に基づいて、分割したそれぞれの画像領域の被写体データに対して黒レベル補正を施す。これにより本第１の実施形態の撮像装置１０では、イメージセンサ１００から出力される画像を複数に分割して黒レベル補正を行う場合でも、黒レベル補正を分けた境界部分に違和感がない、良好な黒レベル補正を行うことができる。

すなわち、本第１の実施形態の撮像装置１０では、撮像処理部２００内の前処理部２０２に備えたラインメモリが保持することができる１行分の被写体データのデータ数が、イメージセンサ１００が１行毎に出力する被写体データのデータ数よりも少ない場合でも、イメージセンサ１００から出力される全ての被写体データに対して水平方向および垂直方向に、良好な黒レベル補正を施すことができる。このことにより、撮像装置１０の回路規模、特に、ラインメモリの記憶容量を増大させることなく、画素数が増加したイメージセンサ１００に対応する水平方向および垂直方向の黒レベル補正を実行することができる。言い換えれば、小さい回路規模で、イメージセンサの多画素化に対応することができる。

なお、図２〜図７に示した本第１の実施形態の撮像装置１０による黒レベル補正の動作の一例では、第１の動作（１パス目の動作）で、イメージセンサ１００から入力された画像Ｐ１の左側半分の領域（画像Ｐ２）の被写体データに対して黒レベル補正を施し、第２の動作（２パス目の動作）で、イメージセンサ１００から入力された画像Ｐ１の右側半分の領域（画像Ｐ４）の被写体データに対して黒レベル補正を施す場合の例について説明した。しかし、第１の動作（１パス目の動作）および第２の動作（２パス目の動作）のそれぞれで黒レベル補正を施す画像の領域は、図２および図３に示した順番に限定されるものではない。例えば、第１の動作（１パス目の動作）で画像Ｐ１の右側半分の領域の被写体データに対して黒レベル補正を施し、第２の動作（２パス目の動作）で画像Ｐ１の左側半分の領域の被写体データに対して黒レベル補正を施す動作にしてもよい。

また、図２〜図７に示した本第１の実施形態の撮像装置１０による黒レベル補正の動作の一例では、イメージセンサ１００から入力された被写体データを２回に分けて黒レベル補正を施す場合について説明した。しかし、１枚の画像の被写体データに対して実行する黒レベル補正を分ける回数は、上述したような２回に限定されるものではなく、３回であっても、またそれ以上の回数であってもよい。なお、黒レベル補正を分ける回数が異なる場合の動作は、２回に分けて行った場合の動作（図２〜図７に示した本第１の実施形態の撮像装置１０の黒レベル補正の動作）と同様に考えることができるため、詳細な説明は省略する。

なお、本第１の実施形態の撮像装置１０における黒レベル補正の前処理の動作は、必ずしも２回以上に分ける必要はない。例えば、撮像装置に搭載されたイメージセンサの水平方向（横方向）の画素数が、撮像処理部２００内の前処理部２０２に備えたラインメモリの記憶容量（本第１の実施形態では６０００画素）よりも少ない、すなわち、入力される被写体データのデータ数の方が、前処理部２０２が前処理を施すことができるデータ量よりも少ない場合には、前処理部２０２は１回で黒レベル補正の前処理を施すことができるため、必ずしも２回以上に分ける必要はない。このように、撮像装置に搭載されたイメージセンサの水平方向（横方向）の画素数に応じて、前処理部２０２が黒レベル補正の前処理を施す回数を変えることができる。

また、一般的に、イメージセンサは、全ての画素信号を出力する駆動モード（以下、「全画素出力モード」という）や、画素信号を加算して出力する駆動モード（以下、「画素加算モード」という）など、複数の駆動モードで駆動することができる。ここで、全画素出力モードは、静止画などの高解像度の画像を撮影する際に設定され、画素加算モードは、動画の撮影や、撮影する被写体を確認するための動画を表示デバイスに表示させる、いわゆる、ライブビュー機能の撮影を行う際に設定される。このため、例えば、イメージセンサ１００が画素加算モードで駆動され、水平方向（横方向）に画素信号が加算されることによって、横幅が１／２となった５０００画素の画像を出力する場合には、撮像処理部２００内の前処理部２０２に備えたラインメモリが保持することができる１行分の画像データのデータ数（６０００画素）よりも、イメージセンサ１００が１行分として出力する画像データのデータ数の方が少なくなる。このような場合にも、前処理部２０２は１回で黒レベル補正の前処理を施すことができるため、必ずしも２回以上に分ける必要はない。このように、撮像装置に搭載されたイメージセンサの駆動モードに基づいて、例えば、全画素出力モードで駆動しているとき、すなわち、静止画を撮影するモードのときには２回に分けて黒レベル補正の前処理を施し、画素加算モードで駆動しているとき、すなわち、動画やライブビューの撮影を行うモードのときにはリアルタイムに１回で黒レベル補正の前処理を施すなど、撮影する画像に応じて、前処理部２０２が黒レベル補正の前処理を施す回数を変えることができる。

なお、本第１の実施形態においては、イメージセンサ１００が、画像に対して水平方向（横方向）にラスタスキャンした画素信号を、画像データとして出力する場合について説明した。しかし、例えば、イメージセンサが、画像に対して垂直方向（縦方向）にラスタスキャンした画素信号を画像データとして出力する場合には、本第１の実施形態における水平方向を垂直方向として考える、つまり、画像の水平方向と垂直方向とを逆に考えることによって同様に、本発明の考え方を適用することができる。また、本第１の実施形態においては、イメージセンサ１００から入力された画像を水平方向に分割することによって、複数回に分けて黒レベル補正の前処理を施す場合について説明したが、イメージセンサ１００から入力された画像を垂直方向に分割して複数回に分けて黒レベル補正の前処理を施す場合であっても、画像の水平方向と垂直方向とを逆に考えることによって同様に、本発明の考え方を適用することができる。

また、本第１の実施形態においては、データ抽出部２０１が、イメージセンサ１００から入力された画像データからのＯＢデータの抽出と画像領域の分割とを行い、前処理部２０２が、データ抽出部２０１から入力されたＯＢデータに基づいて、分割した画像領域の被写体データに対する黒レベル補正を行う構成について説明した。しかし、イメージセンサ１００から入力された画像データからのＯＢデータの抽出と画像領域の分割とを行う構成は、本第１の実施形態の撮像装置１０の構成に限定されるものではない。例えば、データ抽出部２０１が、イメージセンサ１００から入力された画像データ、およびデータ取得部２０５から入力された画像データを、前処理部２０２または第２のデータ転送部２０４のいずれか一方または両方に出力する、つまり、画像データの出力先の構成要素を選択する動作のみを行う構成であってもよい。この場合、前処理部２０２が、黒レベル補正を施すためのＯＢデータの抽出と、画像領域の分割とを行った後に、黒レベル補正を含む前処理を施す構成となり、第２のデータ転送部２０４が、黒レベル補正を施すためのＯＢデータの抽出と、画像領域の分割とを行った後に、黒レベル補正を施すことができない元画像データをＤＲＡＭ６０１に格納する構成となる。

なお、撮像装置においては、データバス８００に接続された、撮像処理部２００と、画像処理部３００と、表示処理部４００と、カードＩＦ部５００と、ＤＲＡＭコントローラ６００と、ＣＰＵ７００とを、１つの信号処理装置として構成することも考えられる。このとき、１つの信号処理装置に備えられるそれぞれの構成要素が対応するイメージセンサの画素数は、最も多くの画素数に対応するものではなく、少ない画素数に対応したものであることが考えられる。これは、例えば、信号処理装置を、画素数が少ないイメージセンサを搭載する撮像装置に採用する場合、必要以上に多くの画素数に対応した信号処理装置では、システム全体のコスト増を招くことになるからである。そして、信号処理装置を、画素数が多いイメージセンサを搭載する撮像装置に採用する場合には、イメージセンサの画素数に応じて、撮像装置に搭載する信号処理装置の個数を増加させることによって対応することが考えられる。この場合、本第１の実施形態の撮像装置１０のように、イメージセンサ１００から入力された画像データを複数回に分けて黒レベル補正を含む前処理をするのではなく、撮像装置に搭載したそれぞれの信号処理装置が、分割したそれぞれの画像データに対する黒レベル補正を含む前処理を同時に実行することができる。本発明の考え方は、このような信号処理装置を複数搭載した撮像装置においても、同様に適用することができる。

＜第２の実施形態＞
次に、信号処理装置を複数搭載した第２の実施形態の撮像装置に、本発明の考え方を適用する場合について説明する。なお、以下の説明においては、画像データに対する黒レベル補正を含む前処理を２つ同時に実行する構成の撮像装置について説明する。

図８は、本第２の実施形態における撮像装置の概略構成を示したブロック図である。図８に示した撮像装置１１は、イメージセンサ１００と、２つの信号処理装置（信号処理装置２１および２２）と、２つの表示デバイス（表示デバイス４１１および４２１）と、２つの記録媒体（記録媒体５１１および５２１）と、２つのＤＲＡＭ（ＤＲＡＭ６１１および６２１）と、を備えている。

イメージセンサ１００と、表示デバイス４１１および表示デバイス４２１と、記録媒体５１１および記録媒体５２１と、ＤＲＡＭ６１１およびＤＲＡＭ６２１とのそれぞれは、第１の実施形態の撮像装置１０に備えたイメージセンサ１００と、表示デバイス４０１と、記録媒体５０１と、ＤＲＡＭ６０１とのそれぞれと同様である。従って、イメージセンサ１００と、表示デバイス４１１および表示デバイス４２１と、記録媒体５１１および記録媒体５２１と、ＤＲＡＭ６１１およびＤＲＡＭ６２１とのそれぞれに関する詳細な説明は省略する。なお、本第２の実施形態における撮像装置１１では、イメージセンサ１００が、信号処理装置２１と信号処理装置２２との両方に、同じ画像データを出力する。

信号処理装置２１と信号処理装置２２とのそれぞれは、第１の実施形態の撮像装置１０と同様の画像データに対する処理を分担して行う。信号処理装置２１は、撮像処理部２１０と、画像処理部３１０と、表示処理部４１０と、カードＩＦ（インターフェース）部５１０と、ＤＲＡＭコントローラ６１０と、ＣＰＵ７１０と、通信部９１０と、を備えている。撮像処理部２１０と、画像処理部３１０と、表示処理部４１０と、カードＩＦ部５１０と、ＤＲＡＭコントローラ６１０と、ＣＰＵ７１０と、通信部９１０とは、データバス８１０を介してそれぞれ接続され、例えば、ＤＭＡによってＤＲＡＭコントローラ６１０に接続されたＤＲＡＭ６１１からのデータの読み出し、およびＤＲＡＭ６１１へのデータの書き込みを行う。

信号処理装置２１に備えた画像処理部３１０、表示処理部４１０、カードＩＦ部５１０、ＤＲＡＭコントローラ６１０、ＣＰＵ７１０、およびデータバス８１０のそれぞれは、第１の実施形態の撮像装置１０に備えた画像処理部３００、表示処理部４００、カードＩＦ部５００、ＤＲＡＭコントローラ６００、ＣＰＵ７００、およびデータバス８００のそれぞれと同様である。従って、画像処理部３１０、表示処理部４１０、カードＩＦ部５１０、ＤＲＡＭコントローラ６１０、ＣＰＵ７１０、およびデータバス８１０のそれぞれに関する詳細な説明は省略する。

撮像処理部２１０は、第１の実施形態の撮像装置１０に備えた撮像処理部２００と同様に、イメージセンサ１００から入力された画像データを取り込み、取り込んだ画像データをＯＢデータと被写体データとに分けると共に、被写体データに対して、ＯＢデータに基づいた黒レベル補正を含む前処理を施した結果の前処理画像データを、ＤＲＡＭコントローラ６１０を介してＤＲＡＭ６１１に転送する（書き込む）。撮像処理部２１０は、データ抽出部２１１と、前処理部２１２と、データ転送部２１３と、を備えている。

データ抽出部２１１は、第１の実施形態の撮像装置１０に備えた撮像処理部２００内のデータ抽出部２０１と同様に、入力された画像データをＯＢデータと被写体データとに分ける。より具体的には、データ抽出部２１１は、イメージセンサ１００から入力された画像データからＯＢデータを抽出することによって、入力された画像データをＯＢデータと被写体データとに分ける。そして、データ抽出部２１１は、画像データを分けた被写体データおよび対応するＯＢデータのそれぞれを、前処理部２１２に出力する。

撮像処理部２１０に備えた前処理部２１２とデータ転送部２１３とのそれぞれは、第１の実施形態の撮像装置１０に備えた撮像処理部２００内の前処理部２０２と第１のデータ転送部２０３とのそれぞれと同様である。従って、前処理部２１２とデータ転送部２１３とのそれぞれに関する詳細な説明は省略する。

通信部９１０は、信号処理装置２２に備えた通信部９２０との間で通信を行い、信号処理装置２１と信号処理装置２２との間で、画像データの送受信を行う。より具体的には、信号処理装置２２に備えたＤＲＡＭコントローラ６２０に接続されたＤＲＡＭ６２１に格納している画像データを取得する場合、通信部９１０は、信号処理装置２２に備えた通信部９２０に、ＤＲＡＭ６２１に格納している画像データの送信を要求し、通信部９２０を介して送信されてきた画像データを受信し、受信した画像データを、ＤＲＡＭコントローラ６１０を介してＤＲＡＭ６１１に転送する（書き込む）。また、信号処理装置２２に備えた通信部９２０からＤＲＡＭ６１１に格納された画像データの送信要求があった場合、通信部９１０は、ＤＲＡＭコントローラ６１０を介してＤＲＡＭ６１１に格納している画像データを取得し、取得した画像データを通信部９２０に送信する。

信号処理装置２２は、撮像処理部２２０と、画像処理部３２０と、表示処理部４２０と、カードＩＦ（インターフェース）部５２０と、ＤＲＡＭコントローラ６２０と、ＣＰＵ７２０と、通信部９２０と、を備えている。撮像処理部２２０と、画像処理部３２０と、表示処理部４２０と、カードＩＦ部５２０と、ＤＲＡＭコントローラ６２０と、ＣＰＵ７２０と、通信部９２０とは、データバス８２０を介してそれぞれ接続され、例えば、ＤＭＡによってＤＲＡＭコントローラ６２０に接続されたＤＲＡＭ６２１からのデータの読み出し、およびＤＲＡＭ６２１へのデータの書き込みを行う。撮像処理部２２０は、データ抽出部２２１と、前処理部２２２と、データ転送部２２３と、を備えている。

信号処理装置２２は、上述したように、画像データに対する処理を信号処理装置２１と分担して行うため、信号処理装置２１と同様の構成要素を備え、信号処理装置２１と同様に動作する。つまり、信号処理装置２２内の撮像処理部２２０、画像処理部３２０、表示処理部４２０、カードＩＦ部５２０、ＤＲＡＭコントローラ６２０、ＣＰＵ７２０、通信部９２０、およびデータバス８２０のそれぞれは、信号処理装置２１内の撮像処理部２１０、画像処理部３１０、表示処理部４１０、カードＩＦ部５１０、ＤＲＡＭコントローラ６１０、ＣＰＵ７１０、通信部９１０、およびデータバス８１０のそれぞれと同様に動作する。また、信号処理装置２２に備えた撮像処理部２２０内のデータ抽出部２２１と、前処理部２２２と、データ転送部２２３とのそれぞれは、信号処理装置２１に備えた撮像処理部２１０内のデータ抽出部２１１と、前処理部２１２と、データ転送部２１３とのそれぞれと同様に動作する。従って、信号処理装置２２に備えたそれぞれの構成要素に関する詳細な説明は省略する。

このような構成によって、本第２の実施形態の撮像装置１１では、イメージセンサ１００から出力される画像データをリアルタイムに取り込みながら、取り込んだ画像データに含まれる被写体データを２つに分割し、信号処理装置２１と信号処理装置２２とのそれぞれが分担して、分割したそれぞれの被写体データに対して直接的に（ダイレクトに）、ＯＢデータに基づいた黒レベル補正を含む様々な前処理を施す。

次に、撮像装置１１において、イメージセンサ１００から出力される画像データに含まれる被写体データに対して前処理（ＯＢデータに基づいた黒レベル補正）を施す動作の一例について説明する。なお、以下の説明においては、第１の実施形態の撮像装置１０における動作と同様に、イメージセンサ１００の水平方向（横方向）の画素数が１００００画素であり、前処理部２１２および前処理部２２２のそれぞれは、水平方向（横方向）に６０００画素分の記憶容量のラインメモリを備えている場合について説明する。すなわち、イメージセンサ１００が１行毎に出力する水平方向（横方向）の画像データのデータ数が、前処理部２１２または前処理部２２２に備えたラインメモリが保持することができる１行分の画像データのデータ数よりも多く、１行分の全ての被写体データをラインメモリに保持することができない構成である場合に、どのように１行分の被写体データに対して黒レベル補正の前処理を施すかの動作について説明する。なお、以下の説明においては、第１の実施形態の撮像装置１０と同様に、説明を容易にするため、ＯＢデータのデータ数に関しては考慮しないものとする。

撮像装置１１は、前処理部２１２および前処理部２２２に備えたラインメモリが対応することができるデータ数よりも、入力される被写体データのデータ数の方が多い場合、つまり、撮像処理部２１０または撮像処理部２２０のいずれか一方が前処理を施すことができる被写体データのデータ数が、イメージセンサ１００が１行分として出力する被写体データのデータ数よりも少ない場合、被写体データに対する前処理を分担して行う。より具体的には、撮像装置１１は、前処理部２１２および前処理部２２２が前処理を施すことができるデータ量（ここでは、６０００画素）の範囲でイメージセンサ１００の画素部内の画像領域を分割し、分割したそれぞれの画像領域の被写体データに対応する前処理部２１２と前処理部２２２とのそれぞれが、入力されたそれぞれの被写体データに対する前処理を同時に施す。以下の説明においては、説明を容易にするため、イメージセンサ１００から入力された被写体データを半分ずつ２つに分割して、分割したそれぞれの被写体データに対して同時に前処理を施す場合について説明する。

ここで、本第２の実施形態の撮像装置１１において、水平方向の黒レベル補正と、垂直方向の黒レベル補正とのそれぞれを、２つに分割した被写体データに対して同時に施す場合の考え方について説明する。図９は、本第２の実施形態の撮像装置１１によって水平方向の黒レベル補正を行う場合の考え方を説明する図である。また、図１０は、本第２の実施形態の撮像装置１１によって垂直方向の黒レベル補正を行う場合の考え方を説明する図である。

まず、図９を用いて、撮像装置１１が水平方向の黒レベル補正を同時に施す場合の考え方を説明する。なお、図９は、イメージセンサ１００の画素部において、ＨＯＢ領域が画像領域の左側の端に位置している場合の一例である。

撮像装置１１における水平方向の黒レベル補正では、第１の実施形態の撮像装置１０における水平方向の黒レベル補正と同様に、イメージセンサ１００の画素部内の画像領域のみを分割する。そして、撮像処理部２１０と撮像処理部２２０とが同時に、同じＨＯＢ領域のＨＯＢデータに基づいて、分割したそれぞれの画像領域の被写体データに対する水平方向の黒レベル補正を施す。つまり、撮像処理部２１０と撮像処理部２２０とが、分割したそれぞれの画像領域に共通のＨＯＢデータを用いて、対応する画像領域の被写体データに対する水平方向の黒レベル補正を行う。

より具体的には、撮像装置１１における水平方向の黒レベル補正の撮像処理部２１０の動作では、図９（ａ）に示したように、データ抽出部２１１が、ＨＯＢ領域のＨＯＢデータを抽出し、抽出したＨＯＢデータと、画像領域を分割した一方（左側）の半分の被写体データとを、前処理部２１２に出力する。そして、前処理部２１２が、データ抽出部２１１から入力されたＨＯＢデータに基づいて、分割した一方（左側）の半分の被写体データに対して水平方向の黒レベル補正を施す。また、撮像装置１１における水平方向の黒レベル補正の撮像処理部２２０の動作では、図９（ｂ）に示したように、データ抽出部２２１が、ＨＯＢ領域のＨＯＢデータを抽出し、抽出したＨＯＢデータと、画像領域を分割した他方（右側）の半分の被写体データとを、前処理部２２２に出力する。そして、前処理部２２２が、データ抽出部２２１から入力されたＨＯＢデータに基づいて、分割した他方（右側）の半分の被写体データに対して水平方向の黒レベル補正を施す。

このように、撮像装置１１における水平方向の黒レベル補正では、撮像処理部２１０と撮像処理部２２０とのそれぞれが、同じＨＯＢ領域のＨＯＢデータを用いて、分割したそれぞれの画像領域の被写体データに対する水平方向の黒レベル補正を同時に実行することによって、１枚の画像の全ての領域の被写体データに対して水平方向の黒レベル補正を施す。

次に、図１０を用いて、撮像装置１１が垂直方向の黒レベル補正を同時に施す場合の考え方を説明する。なお、図１０は、イメージセンサ１００の画素部において、ＶＯＢ領域が画像領域の上側の端に位置している場合の一例である。

撮像装置１１による垂直方向の黒レベル補正では、第１の実施形態の撮像装置１０における垂直方向の黒レベル補正と同様に、オーバーラップ領域に対応するＶＯＢ領域内のＶＯＢデータを用いる。そして、撮像処理部２１０と撮像処理部２２０とが同時に、同じオーバーラップ領域に対応するＶＯＢ領域内のＶＯＢデータに基づいて、分割したそれぞれの画像領域の被写体データに対する垂直方向の黒レベル補正を施す。つまり、撮像処理部２１０と撮像処理部２２０とが、分割したそれぞれの画像領域に共通のオーバーラップ領域内のＶＯＢデータを用いて、対応する画像領域の被写体データに対する垂直方向の黒レベル補正を行う。

より具体的には、撮像装置１１における垂直方向の黒レベル補正の撮像処理部２１０の動作では、図１０（ａ）に示したように、画像領域の上側の全体に位置するＶＯＢ領域の内、オーバーラップ領域内に位置するＶＯＢ領域のＶＯＢデータを抽出し、抽出したＶＯＢデータと、画像領域を分割した一方（左側）の半分の被写体データとを、前処理部２１２に出力する。そして、前処理部２１２が、データ抽出部２１１から入力されたＶＯＢデータに基づいて、分割した一方（左側）の半分の被写体データに対して垂直方向の黒レベル補正を施す。撮像装置１１における垂直方向の黒レベル補正の撮像処理部２２０の動作では、図１０（ｂ）に示したように、画像領域の上側の全体に位置するＶＯＢ領域の内、オーバーラップ領域内に位置するＶＯＢ領域のＶＯＢデータを抽出し、抽出したＶＯＢデータと、画像領域を分割した他方（右側）の半分の被写体データとを、前処理部２２２に出力する。そして、前処理部２２２が、データ抽出部２２１から入力されたＶＯＢデータに基づいて、分割した他方（右側）の半分の被写体データに対して垂直方向の黒レベル補正を施す。

このように、撮像装置１１における垂直方向の黒レベル補正では、撮像処理部２１０と撮像処理部２２０とのそれぞれが、同じオーバーラップ領域内に位置するＶＯＢ領域のＶＯＢデータを用いて、分割したそれぞれの画像領域の被写体データに対する垂直方向の黒レベル補正を同時に実行することによって、１枚の画像の全ての領域の被写体データに対して垂直方向の黒レベル補正を施す。

なお、上述した撮像装置１１における水平方向の黒レベル補正でも説明していないが、第１の実施形態の撮像装置１０における水平方向の黒レベル補正と同様に、撮像装置１１における水平方向の黒レベル補正を行う場合にも、オーバーラップ領域を、画像領域を分割するそれぞれの境界部分に設けてもよい。このように、画像領域を複数に分けて前処理を行う際にオーバーラップ領域を設けることによって、黒レベル補正に限らず、処理を分けた境界部分における画像の違和感をなくすことができる。

次に、本第２の実施形態の撮像装置１１において、水平方向の黒レベル補正と、垂直方向の黒レベル補正とのそれぞれの実際の動作の一例について説明する。まず、撮像装置１１が水平方向の黒レベル補正を、撮像処理部２１０と撮像処理部２２０とで同時に施す場合の動作の一例について説明する。図１１は、本第２の実施形態の撮像装置１１による水平方向の黒レベル補正における動作の一例を模式的に示した図である。

撮像装置１１による水平方向の黒レベル補正の動作では、イメージセンサ１００の画素部の左側の端に位置するＨＯＢ領域のＨＯＢデータに基づいて、信号処理装置２１と信号処理装置２２とのそれぞれが同時に、イメージセンサ１００から出力される被写体データに対してリアルタイムに水平方向の黒レベル補正を施した前処理画像データを、ＤＲＡＭ６１１とＤＲＡＭ６２１とのそれぞれに転送する（書き込む）。そして、信号処理装置２１と信号処理装置２２とのそれぞれによる水平方向の黒レベル補正が完了した後、信号処理装置２１が、信号処理装置２２が水平方向の黒レベル補正を施した前処理画像データを取得し、ＤＲＡＭ６１１に転送する（書き込む）。図１１には、図８に示した撮像装置１１のブロック図上に、水平方向の黒レベル補正の動作におけるそれぞれのデータの経路を示している。

信号処理装置２１は、図１１に示した経路Ｃ２１の画像データの経路で、イメージセンサ１００から入力された一方（左側）の半分の被写体データに対してリアルタイムに前処理（ＨＯＢデータに基づいた水平方向の黒レベル補正）を施し、水平方向の黒レベル補正を施した結果の前処理画像データをＤＲＡＭ６１１に転送する（書き込む）。より具体的には、イメージセンサ１００が、横幅が１００００画素の１枚の画像Ｐ１を撮影し、ＨＯＢデータと共に、撮影した画像Ｐ１の被写体データを信号処理装置２１と信号処理装置２２とに出力する。信号処理装置２１では、イメージセンサ１００から入力されたＨＯＢデータと画像Ｐ１の全ての領域の被写体データとを、撮像処理部２１０が取り込み、取り込んだＨＯＢデータと画像Ｐ１の被写体データとが順次、撮像処理部２１０内のデータ抽出部２１１に入力される。データ抽出部２１１は、画像Ｐ１の被写体データと共に入力されたＨＯＢデータを抽出し、画像Ｐ１の画像領域を２つに分割する。そして、データ抽出部２１１は、抽出したＨＯＢデータと、画像Ｐ１の左側半分の領域である画像Ｐ２の被写体データとを、前処理部２１２に順次出力する。

前処理部２１２は、データ抽出部２１１から入力されたＨＯＢデータに基づいて、データ抽出部２１１から順次入力された画像Ｐ２の被写体データに対して水平方向の黒レベル補正を施し、水平方向の黒レベル補正を施した後の画像Ｐ３の前処理画像データを順次、データ転送部２１３に出力する。そして、データ転送部２１３は、前処理部２１２から順次入力された画像Ｐ３の前処理画像データを、ＤＲＡＭコントローラ６１０を介してＤＲＡＭ６１１に転送する（書き込む）。これにより、ＤＲＡＭ６１１には、水平方向の黒レベル補正を施した後の画像Ｐ３の前処理画像データが格納される。

また、同時に、信号処理装置２２は、図１１に示した経路Ｃ２２の画像データの経路で、イメージセンサ１００から入力された他方（右側）の半分の被写体データに対してリアルタイムに前処理（ＨＯＢデータに基づいた水平方向の黒レベル補正）を施し、水平方向の黒レベル補正を施した結果の前処理画像データをＤＲＡＭ６２１に転送する（書き込む）。より具体的には、信号処理装置２２では、イメージセンサ１００から入力されたＨＯＢデータと画像Ｐ１の全ての領域の被写体データとを、撮像処理部２２０が取り込み、取り込んだＨＯＢデータと画像Ｐ１の被写体データとが順次、撮像処理部２２０内のデータ抽出部２２１に入力される。データ抽出部２２１は、画像Ｐ１の被写体データと共に入力されたＨＯＢデータを抽出し、画像Ｐ１の画像領域を２つに分割する。そして、データ抽出部２２１は、抽出したＨＯＢデータと、画像Ｐ１の右側半分の領域である画像Ｐ４の被写体データとを、前処理部２２２に順次出力する。

前処理部２２２は、データ抽出部２２１から入力されたＨＯＢデータに基づいて、データ抽出部２２１から順次入力された画像Ｐ４の被写体データに対して水平方向の黒レベル補正を施し、水平方向の黒レベル補正を施した後の画像Ｐ５の前処理画像データを順次、データ転送部２２３に出力する。そして、データ転送部２２３は、前処理部２２２から順次入力された画像Ｐ５の前処理画像データを、ＤＲＡＭコントローラ６２０を介してＤＲＡＭ６２１に転送する（書き込む）。これにより、ＤＲＡＭ６２１には、水平方向の黒レベル補正を施した後の画像Ｐ５の前処理画像データが格納される。

このように、信号処理装置２１と信号処理装置２２とは、イメージセンサ１００が出力した画像Ｐ１の左側半分の領域に対して水平方向の黒レベル補正を施した画像Ｐ３の前処理画像データをＤＲＡＭ６１１に、イメージセンサ１００が出力した画像Ｐ１の右側半分の領域に対して水平方向の黒レベル補正を施した画像Ｐ５の前処理画像データをＤＲＡＭ６２１に、同じタイミングで格納する。

その後、信号処理装置２１は、図１１に示した経路Ｃ２３の画像データの経路で、ＤＲＡＭ６２１に格納されている画像Ｐ５の前処理画像データを取得し、取得した画像Ｐ５の前処理画像データをＤＲＡＭ６１１に転送する（書き込む）。より具体的には、通信部９１０が、信号処理装置２２に備えた通信部９２０に、ＤＲＡＭ６２１に格納している画像Ｐ５の前処理画像データの送信を要求する。通信部９２０は、通信部９１０からの画像Ｐ５の前処理画像データの送信要求に応じて、ＤＲＡＭ６２１に格納されている画像Ｐ５の前処理画像データを、ＤＲＡＭコントローラ６２０を介して順次取得し（読み出し）、取得した画像Ｐ５の前処理画像データを順次、通信部９１０に送信する。そして、通信部９１０は、通信部９２０から送信されてきた画像Ｐ５の前処理画像データを順次受信し、受信した画像Ｐ５の前処理画像データを、ＤＲＡＭコントローラ６１０を介してＤＲＡＭ６１１に転送する（書き込む）。これにより、ＤＲＡＭ６１１には、水平方向の黒レベル補正を施した後の画像Ｐ５の前処理画像データが格納される。

このように、信号処理装置２１は、信号処理装置２２が水平方向の黒レベル補正を施し、ＤＲＡＭ６２１に格納されている、イメージセンサ１００が出力した画像Ｐ１の右側半分の画像Ｐ４に対応した画像Ｐ５の前処理画像データを、ＤＲＡＭ６１１に格納する。これにより、ＤＲＡＭ６１１には、イメージセンサ１００が撮影した横幅が１００００画素の１枚の画像Ｐ１の全ての領域の被写体データに対して水平方向の黒レベル補正を施した前処理画像データ（画像Ｐ３＋画像Ｐ５の前処理画像データ）が格納される。

このように、本第２の実施形態の撮像装置１１による水平方向の黒レベル補正では、イメージセンサ１００の画素部内の画像領域のみを分割し、同じＨＯＢ領域のＨＯＢデータ、つまり、共通のＨＯＢデータに基づいて、イメージセンサ１００が撮影した全ての画像領域の被写体データに対して黒レベル補正を施すことができる。

より具体的には、まず、信号処理装置２１と信号処理装置２２とのそれぞれが同時に、イメージセンサ１００から入力された画像Ｐ１の左半分の被写体データと右側半分の被写体データとに対して、リアルタイムに水平方向の黒レベル補正を施した前処理画像データを、ＤＲＡＭ６１１とＤＲＡＭ６２１とのそれぞれに転送する（書き込む）。その後、信号処理装置２１が、イメージセンサ１００から入力された画像Ｐ１の右側半分の被写体データに対して信号処理装置２２が水平方向の黒レベル補正を施した前処理画像データを取得することによって、１枚の画像Ｐ１の全ての被写体データに対して水平方向の黒レベル補正を施した前処理画像データを、ＤＲＡＭ６１１に格納する。

次に、撮像装置１１が垂直方向の黒レベル補正を、撮像処理部２１０と撮像処理部２２０とで同時に施す場合の動作の一例について説明する。図１２は、本第２の実施形態の撮像装置１１による垂直方向の黒レベル補正における動作の一例を模式的に示した図である。

撮像装置１１による垂直方向の黒レベル補正では、イメージセンサ１００の画素部の上側の端に位置するＶＯＢ領域の内、オーバーラップ領域内に位置するＶＯＢ領域のＶＯＢデータに基づいて、イメージセンサ１００から出力される被写体データに対してリアルタイムに垂直方向の黒レベル補正を施した前処理画像データを、ＤＲＡＭ６１１とＤＲＡＭ６２１とのそれぞれに転送する（書き込む）。そして、信号処理装置２１と信号処理装置２２とのそれぞれによる垂直方向の黒レベル補正が完了した後、信号処理装置２１が、信号処理装置２２が垂直方向の黒レベル補正を施した前処理画像データを取得し、ＤＲＡＭ６１１に転送する（書き込む）。図１２には、図８に示した撮像装置１１のブロック図上に、垂直方向の黒レベル補正におけるそれぞれのデータの経路を示している。

信号処理装置２１は、図１２に示した経路Ｃ２６の画像データの経路で、イメージセンサ１００から入力された一方（左側）の半分の被写体データに対してリアルタイムに前処理（ＶＯＢデータに基づいた垂直方向の黒レベル補正）を施し、垂直方向の黒レベル補正を施した結果の前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。より具体的には、イメージセンサ１００が、横幅が１００００画素の１枚の画像Ｐ１を撮影し、ＶＯＢデータと共に、撮影した画像Ｐ１の被写体データを信号処理装置２１と信号処理装置２２とに出力する。信号処理装置２１では、イメージセンサ１００から入力されたＶＯＢデータと画像Ｐ１の全ての領域の被写体データとを、撮像処理部２１０が取り込み、取り込んだＶＯＢデータと画像Ｐ１の被写体データとが順次、撮像処理部２１０内のデータ抽出部２１１に入力される。データ抽出部２１１は、画像Ｐ１の被写体データと共に入力されたＶＯＢデータの中から、オーバーラップ領域内のＶＯＢ領域のＶＯＢデータを抽出し、画像Ｐ１の画像領域を２つに分割する。そして、データ抽出部２１１は、抽出したＶＯＢデータと、画像Ｐ１の左側半分の領域である画像Ｐ２の被写体データとを、前処理部２１２に順次出力する。

前処理部２１２は、データ抽出部２１１から入力されたＶＯＢデータに基づいて、データ抽出部２１１から順次入力された画像Ｐ２の被写体データに対して垂直方向の黒レベル補正を施し、垂直方向の黒レベル補正を施した後の画像Ｐ３の前処理画像データを順次、データ転送部２１３に出力する。そして、データ転送部２１３は、前処理部２１２から順次入力された画像Ｐ３の前処理画像データを、ＤＲＡＭコントローラ６１０を介してＤＲＡＭ６１１に転送する（書き込む）。これにより、ＤＲＡＭ６１１には、垂直方向の黒レベル補正を施した後の画像Ｐ３の前処理画像データが格納される。

また、同時に、信号処理装置２２は、図１２に示した経路Ｃ２７の画像データの経路で、イメージセンサ１００から入力された他方（右側）の半分の被写体データに対してリアルタイムに前処理（ＶＯＢデータに基づいた垂直方向の黒レベル補正）を施し、垂直方向の黒レベル補正を施した結果の前処理画像データをＤＲＡＭ６２１に転送する（書き込む）。より具体的には、信号処理装置２２では、イメージセンサ１００から入力されたＶＯＢデータと画像Ｐ１の全ての領域の被写体データとを、撮像処理部２２０が取り込み、取り込んだＶＯＢデータと画像Ｐ１の被写体データとが順次、撮像処理部２２０内のデータ抽出部２２１に入力される。データ抽出部２２１は、画像Ｐ１の被写体データと共に入力されたＶＯＢデータの中から、オーバーラップ領域内のＶＯＢ領域のＶＯＢデータを抽出し、画像Ｐ１の画像領域を２つに分割する。そして、データ抽出部２２１は、抽出したＶＯＢデータと、画像Ｐ１の右側半分の領域である画像Ｐ４の被写体データとを、前処理部２２２に順次出力する。

前処理部２２２は、データ抽出部２２１から入力されたＶＯＢデータに基づいて、データ抽出部２２１から順次入力された画像Ｐ４の被写体データに対して垂直方向の黒レベル補正を施し、垂直方向の黒レベル補正を施した後の画像Ｐ５の前処理画像データを順次、データ転送部２２３に出力する。そして、データ転送部２２３は、前処理部２２２から順次入力された画像Ｐ５の前処理画像データを、ＤＲＡＭコントローラ６２０を介してＤＲＡＭ６２１に転送する（書き込む）。これにより、ＤＲＡＭ６２１には、垂直方向の黒レベル補正を施した後の画像Ｐ５の前処理画像データが格納される。

このように、信号処理装置２１と信号処理装置２２とは、撮像装置１１による水平方向の黒レベル補正の動作と同様に、イメージセンサ１００が出力した画像Ｐ１の左側半分の領域に対して垂直方向の黒レベル補正を施した画像Ｐ３の前処理画像データをＤＲＡＭ６１１に、イメージセンサ１００が出力した画像Ｐ１の右側半分の領域に対して垂直方向の黒レベル補正を施した画像Ｐ５の前処理画像データをＤＲＡＭ６２１に、同じタイミングで格納する。

その後、信号処理装置２１は、撮像装置１１による水平方向の黒レベル補正の動作と同様に、図１２に示した経路Ｃ２８の画像データの経路で、ＤＲＡＭ６２１に格納されている画像Ｐ５の前処理画像データを取得し、取得した画像Ｐ５の前処理画像データをＤＲＡＭ６１１に転送する（書き込む）。より具体的には、通信部９１０が、信号処理装置２２に備えた通信部９２０に、ＤＲＡＭ６２１に格納している画像Ｐ５の前処理画像データの送信を要求する。通信部９２０は、通信部９１０からの画像Ｐ５の前処理画像データの送信要求に応じて、ＤＲＡＭ６２１に格納されている画像Ｐ５の前処理画像データを、ＤＲＡＭコントローラ６２０を介して順次取得し（読み出し）、取得した画像Ｐ５の前処理画像データを順次、通信部９１０に送信する。そして、通信部９１０は、通信部９２０から送信されてきた画像Ｐ５の前処理画像データを順次受信し、受信した画像Ｐ５の前処理画像データを、ＤＲＡＭコントローラ６１０を介してＤＲＡＭ６１１に転送する（書き込む）。これにより、ＤＲＡＭ６１１には、垂直方向の黒レベル補正を施した後の画像Ｐ５の前処理画像データが格納される。

このように、信号処理装置２１は、信号処理装置２２が垂直方向の黒レベル補正を施し、ＤＲＡＭ６２１に格納されている、イメージセンサ１００が出力した画像Ｐ１の右側半分の画像Ｐ４に対応した画像Ｐ５の前処理画像データを、ＤＲＡＭ６１１に格納する。これにより、ＤＲＡＭ６１１には、イメージセンサ１００が撮影した横幅が１００００画素の１枚の画像Ｐ１の全ての領域の被写体データに対して垂直方向の黒レベル補正を施した前処理画像データ（画像Ｐ３＋画像Ｐ５の前処理画像データ）が格納される。

このように、本第２の実施形態の撮像装置１１による垂直方向の黒レベル補正では、イメージセンサ１００の画素部内の画像領域のみを分割し、オーバーラップ領域内に位置する同じＶＯＢ領域のＶＯＢデータ、つまり、共通のＶＯＢデータに基づいて、イメージセンサ１００が撮影した全ての画像領域の被写体データに対して黒レベル補正を施すことができる。

より具体的には、まず、信号処理装置２１と信号処理装置２２とのそれぞれが同時に、イメージセンサ１００から入力された画像Ｐ１の左半分の被写体データと右側半分の被写体データとに対して、リアルタイムに垂直方向の黒レベル補正を施した前処理画像データを、ＤＲＡＭ６１１とＤＲＡＭ６２１とのそれぞれに転送する（書き込む）。その後、信号処理装置２１が、イメージセンサ１００から入力された画像Ｐ１の右側半分の被写体データに対して信号処理装置２２が垂直方向の黒レベル補正を施した前処理画像データを取得することによって、１枚の画像Ｐ１の全ての被写体データに対して垂直方向の黒レベル補正を施した前処理画像データを、ＤＲＡＭ６１１に格納する。

上記に述べたとおり、本第２の実施形態の撮像装置１１では、イメージセンサ１００が出力する水平方向（横方向）の被写体データのデータ数が、信号処理装置２１に備えた撮像処理部２１０内の前処理部２１２、および信号処理装置２２に備えた撮像処理部２２０内の前処理部２２２のそれぞれに備えたラインメモリが保持することができる被写体データのデータ数よりも多い場合に、入力された全ての被写体データに対して同時に黒レベル補正を施す。このとき、本第２の実施形態の撮像装置１１による水平方向および垂直方向の黒レベル補正では、イメージセンサ１００の画素部内の画像領域のみを分割し、信号処理装置２１と信号処理装置２２とのそれぞれが、同じＯＢ領域のＯＢデータ（共通のＯＢデータ）に基づいて、分割した対応するそれぞれの画像領域の被写体データに対して黒レベル補正を同時に施す。つまり、撮像装置１１では、信号処理装置の個数を、イメージセンサ１００の画素数に応じて増加させることによって、多画素化したイメージセンサ１００に対応する水平方向および垂直方向の黒レベル補正を実行する。これにより本第２の実施形態の撮像装置１１では、イメージセンサ１００から出力される画像を複数に分割して、対応する複数の信号処理装置が同時に黒レベル補正を行う場合でも、第１の実施形態の撮像装置１０と同様に、黒レベル補正を分けた境界部分に違和感がない、良好な黒レベル補正を行うことができる。

なお、図９〜図１２に示した本第２の実施形態の撮像装置１１による黒レベル補正の動作の一例では、信号処理装置２１が、イメージセンサ１００から入力された画像Ｐ１の左側半分の領域（画像Ｐ２）の被写体データに対して黒レベル補正を施し、信号処理装置２２が、イメージセンサ１００から入力された画像Ｐ１の右側半分の領域（画像Ｐ４）の被写体データに対して黒レベル補正を施す場合の例について説明した。しかし、信号処理装置２１および信号処理装置２２のそれぞれが黒レベル補正を施す画像の領域は、図９および図１０に示した領域に限定されるものではない。例えば、信号処理装置２１が、画像Ｐ１の右側半分の領域の被写体データに対して黒レベル補正を施し、信号処理装置２２が、画像Ｐ１の左側半分の領域の被写体データに対して黒レベル補正を施す構成にしてもよい。

また、図９〜図１２に示した本第２の実施形態の撮像装置１１による黒レベル補正の動作の一例では、イメージセンサ１００から入力された被写体データを２つに分割し、分割したそれぞれの被写体データに対応する信号処理装置２１と信号処理装置２２とのそれぞれが分担して、直接的に（ダイレクトに）黒レベル補正を同時に施す場合について説明した。しかし、１枚の画像の被写体データに対して黒レベル補正を実行するために分割する分割数は、上述したような２つに限定されるものではなく、３つであっても、またそれ以上の分割数であってもよい。ただし、この場合には、分割数に応じた数の信号処理装置を、撮像装置に備える必要がある。なお、黒レベル補正を実行するために分割する分割数が異なる場合の動作は、２つに分割して行った場合の動作（図９〜図１２に示した本第２の実施形態の撮像装置１１の黒レベル補正の動作）と同様に考えることができるため、詳細な説明は省略する。

なお、本第２の実施形態の撮像装置１１における黒レベル補正の前処理の動作は、必ずしも信号処理装置２１と信号処理装置２２とが分担する必要はない。例えば、撮像装置に搭載されたイメージセンサの水平方向（横方向）の画素数が、信号処理装置２１に備えた撮像処理部２１０内の前処理部２１２に備えたラインメモリの記憶容量（本第２の実施形態では６０００画素）よりも少ない、すなわち、入力される被写体データのデータ数の方が、前処理部２１２が前処理を施すことができるデータ量よりも少ない場合には、前処理部２１２は１回で黒レベル補正の前処理を施すことができる。このため、信号処理装置２２が、必ずしも黒レベル補正の前処理を実行する必要はない。このように、撮像装置に搭載されたイメージセンサの水平方向（横方向）の画素数に応じて、信号処理装置２１と信号処理装置２２とが黒レベル補正の前処理を分担するか否かを変えることができる。

また、例えば、イメージセンサ１００が画素加算モードで駆動され、水平方向（横方向）に画素信号が加算されることによって、横幅が１／２となった５０００画素の画像を出力する場合には、信号処理装置２１に備えた撮像処理部２１０内の前処理部２１２に備えたラインメモリが保持することができる１行分の画像データのデータ数（６０００画素）よりも、イメージセンサ１００が１行分として出力する画像データのデータ数の方が少なくなる。このような場合にも、前処理部２１２は１回で黒レベル補正の前処理を施すことができるため、必ずしも信号処理装置２２が黒レベル補正の前処理を実行する必要はない。このように、撮像装置に搭載されたイメージセンサの駆動モードに基づいて、例えば、全画素出力モードで駆動しているとき、すなわち、静止画を撮影するモードのときには、信号処理装置２１と信号処理装置２２とで黒レベル補正の前処理を分担し、画素加算モードで駆動しているとき、すなわち、動画やライブビューの撮影を行うモードのときには信号処理装置２１のみで黒レベル補正の前処理を施すなど、撮影する画像に応じて、信号処理装置２１と信号処理装置２２とが黒レベル補正の前処理を分担するか否かを変えることができる。

なお、本第２の実施形態においても、第１の実施形態と同様に、イメージセンサ１００が、画像に対して水平方向（横方向）にラスタスキャンした画素信号を画像データとして出力し、画像を水平方向に分割する場合について説明した。しかし、本第２の実施形態においても、第１の実施形態と同様に、画像の水平方向と垂直方向とを逆に考えることによって、例えば、イメージセンサが、画像に対して垂直方向（縦方向）にラスタスキャンした画素信号を画像データとして出力する場合や、画像を垂直方向に分割する場合にも、本発明の考え方を適用することができる。

また、本第２の実施形態においては、例えば、信号処理装置２１において、撮像処理部２１０に備えたデータ抽出部２１１が、イメージセンサ１００から入力された画像データからのＯＢデータの抽出と画像領域の分割とを行い、前処理部２１２が、データ抽出部２１１から入力されたＯＢデータに基づいて、分割した画像領域の被写体データに対する黒レベル補正を行う構成について説明した。しかし、イメージセンサ１００から入力された画像データからのＯＢデータの抽出と画像領域の分割とを行う構成は、本第２の実施形態の撮像装置１１の構成に限定されるものではない。例えば、前処理部２１２が、黒レベル補正を施すためのＯＢデータの抽出と、画像領域の分割とを行った後に、黒レベル補正を含む前処理を施す構成であってもよい。この場合、例えば、信号処理装置２１内の撮像処理部２１０は、データ抽出部２１１を備えない構成にすることができる。

なお、撮像装置に備える信号処理装置内の撮像処理部の構成は、本第２の実施形態の撮像装置１１において示した信号処理装置２１に備えた撮像処理部２１０、および信号処理装置２２に備えた撮像処理部２２０と同様の構成に限定されるものではない。例えば、撮像装置に備える信号処理装置内の撮像処理部の構成を、第１の実施形態の撮像装置１０に備えた撮像処理部２００と同様の構成にすることもできる。この構成の場合には、撮像装置に備えたそれぞれの信号処理装置が、第１の実施形態の撮像装置１０と同様に、黒レベル補正の前処理を複数回に分けて実行することができる。

また、本第２の実施形態においては、撮像装置１１に２つの信号処理装置（信号処理装置２１および２２）を備え、イメージセンサ１００から入力された１枚の画像Ｐ１の画像領域を２つに分割し、２つの信号処理装置が、分割したそれぞれの画像領域の被写体データに対して同時に黒レベル補正の前処理を施す場合について説明した。つまり、１つの撮像処理部を備えた信号処理装置を複数備えることによって、分割した複数の画像領域の被写体データに対する黒レベル補正を同時に実行する構成について説明した。しかし、１つの信号処理装置内に備える撮像処理部の構成は、本第２の実施形態の撮像装置１１において示した構成に限定されるものではない。例えば、１つの信号処理装置内に複数の撮像処理部を備える構成であっても同様に、本発明の考え方を適用することができる。

＜第３の実施形態＞
次に、１つの信号処理装置内に複数の撮像処理部を備えた第３の実施形態の撮像装置に、本発明の考え方を適用する場合について説明する。なお、以下の説明においては、第２の実施形態の撮像装置１１と同様に、画像データに対する黒レベル補正を含む前処理を２つ同時に実行する構成の撮像装置について説明する。なお、本第３の実施形態の撮像装置の説明においては、第１の実施形態の撮像装置１０および第２の実施形態の撮像装置１１と同様の構成要素には同一の符号を付与し、第１の実施形態の撮像装置１０および第２の実施形態の撮像装置１１と同様の構成要素および動作に関する詳細な説明は省略する。

図１３は、本第３の実施形態における撮像装置の概略構成を示したブロック図である。図１３に示した撮像装置１２は、イメージセンサ１００と、信号処理装置２３と、表示デバイス４０１と、記録媒体５０１と、ＤＲＡＭ６０１と、を備えている。

撮像装置１２に備えたイメージセンサ１００、表示デバイス４０１、記録媒体５０１、およびＤＲＡＭ６０１のそれぞれは、第１の実施形態の撮像装置１０に備えたイメージセンサ１００、表示デバイス４０１、記録媒体５０１、およびＤＲＡＭ６０１のそれぞれと同様である。

信号処理装置２３は、第２の実施形態の撮像装置１１に備えた信号処理装置２１および信号処理装置２２が分担した画像データに対するそれぞれの処理を同時に行う。信号処理装置２３は、撮像処理部２１０と、撮像処理部２２０と、画像処理部３００と、表示処理部４００と、カードＩＦ（インターフェース）部５００と、ＤＲＡＭコントローラ６００と、ＣＰＵ７００と、を備えている。撮像処理部２１０と、撮像処理部２２０と、画像処理部３００と、表示処理部４００と、カードＩＦ部５００と、ＤＲＡＭコントローラ６００と、ＣＰＵ７００とは、データバス８００を介してそれぞれ接続され、例えば、ＤＭＡによってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１からのデータの読み出し、およびＤＲＡＭ６０１へのデータの書き込みを行う。

信号処理装置２３に備えた画像処理部３００、表示処理部４００、カードＩＦ部５００、ＤＲＡＭコントローラ６００、ＣＰＵ７００、およびデータバス８００のそれぞれは、第１の実施形態の撮像装置１０に備えた画像処理部３００、表示処理部４００、カードＩＦ部５００、ＤＲＡＭコントローラ６００、ＣＰＵ７００、およびデータバス８００のそれぞれと同様である。

撮像処理部２１０は、第２の実施形態の撮像装置１１に備えた信号処理装置２１内の撮像処理部２１０と同様に、イメージセンサ１００から入力された画像データを取り込み、取り込んだ画像データをＯＢデータと被写体データとに分けると共に、被写体データに対して、ＯＢデータに基づいた黒レベル補正を含む前処理を施した結果の前処理画像データを、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６１１に転送する（書き込む）。撮像処理部２１０は、データ抽出部２１１と、前処理部２１２と、データ転送部２１３と、を備えている。

撮像処理部２２０は、第２の実施形態の撮像装置１１に備えた信号処理装置２２内の撮像処理部２２０と同様に、イメージセンサ１００から入力された画像データを取り込み、取り込んだ画像データをＯＢデータと被写体データとに分けると共に、被写体データに対して、ＯＢデータに基づいた黒レベル補正を含む前処理を施した結果の前処理画像データを、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６１１に転送する（書き込む）。撮像処理部２２０は、データ抽出部２２１と、前処理部２２２と、データ転送部２２３と、を備えている。

撮像処理部２１０および撮像処理部２２０のそれぞれは、第２の実施形態の撮像装置１１内の信号処理装置２１および信号処理装置２２に備えた撮像処理部２１０および撮像処理部２２０のそれぞれと同様である。また、撮像処理部２１０に備えたデータ抽出部２１１、前処理部２１２、およびデータ転送部２１３は、第２の実施形態の撮像装置１１内の信号処理装置２１に備えた撮像処理部２１０内のデータ抽出部２１１、前処理部２１２、およびデータ転送部２１３のそれぞれと同様である。また、撮像処理部２２０に備えたデータ抽出部２２１、前処理部２２２、およびデータ転送部２２３は、第２の実施形態の撮像装置１１内の信号処理装置２２に備えた撮像処理部２２０内のデータ抽出部２２１、前処理部２２２、およびデータ転送部２２３のそれぞれと同様である。

このような構成によって、本第３の実施形態の撮像装置１２では、第２の実施形態の撮像装置１１と同様に、イメージセンサ１００から出力される画像データをリアルタイムに取り込みながら、取り込んだ画像データに含まれる被写体データを２つに分割し、撮像処理部２１０と撮像処理部２２０とのそれぞれが同時に、分割したそれぞれの被写体データに対して直接的に（ダイレクトに）、ＯＢデータに基づいた黒レベル補正を含む様々な前処理を施す。

なお、イメージセンサ１００から出力される画像データに含まれる被写体データに対して前処理（ＯＢデータに基づいた黒レベル補正）を施す撮像装置１２の動作は、第２の実施形態の撮像装置１１における動作と同様に考えることができるため、詳細な説明は省略する。

ただし、図１３を見てわかるように、本第３の実施形態の撮像装置１２では、１つの信号処理装置２３内に２つの撮像処理部（撮像処理部２１０および撮像処理部２２０）を備えているため、撮像処理部２１０と撮像処理部２２０とのそれぞれが黒レベル補正を施した結果の前処理画像データは、１つのＤＲＡＭ６０１に転送される（書き込まれる）。このため、本第３の実施形態の撮像装置１２における黒レベル補正の動作では、図１１および図１２に示した第２の実施形態の撮像装置１１の動作の内、経路Ｃ２３および経路Ｃ２８の画像データの経路で実施した前処理画像データの転送の動作を行わずに、イメージセンサ１００が撮影した１枚の画像の全ての領域の被写体データに対して黒レベル補正を施した前処理画像データ（第２の実施形態の撮像装置１１の動作における画像Ｐ３＋画像Ｐ５の前処理画像データ）を格納することができる。

上記に述べたとおり、本第３の実施形態の撮像装置１２の構成でも、黒レベル補正において、イメージセンサ１００から出力される画像データに含まれる被写体データを分割し、撮像処理部２１０と撮像処理部２２０とのそれぞれが、分割した対応するそれぞれの被写体データに対して、同じＯＢ領域のＯＢデータに基づいた黒レベル補正を同時に施すことができる。これにより、本第３の実施形態の撮像装置１２でも、第１の実施形態の撮像装置１０および第２の実施形態の撮像装置１１と同様の効果を得ることができる。

上記に述べたとおり、本発明を実施するための形態では、イメージセンサの画素部内の画像領域のみを分割し、同じＯＢ領域のＯＢデータ、つまり、共通のＯＢデータに基づいて、分割したそれぞれの画像領域の被写体データに対して黒レベル補正を施す。これにより、本発明を実施するための形態では、イメージセンサから出力される画像を複数に分割して黒レベル補正を行う場合でも、黒レベル補正を分けた境界部分に違和感がなく、１枚の画像全体に対して良好な黒レベル補正を行うことができる。

また、本発明を実施するための形態では、分割したそれぞれの画像領域の被写体データに対する黒レベル補正を、複数回に分けて実行する、または複数の撮像処理部で同時に実行することによって、イメージセンサから入力された１枚の画像の全ての画像データに対して黒レベル補正を施す。これにより、本発明を実施するための形態では、イメージセンサが出力する被写体データのデータ数が、撮像処理部内の前処理部に備えたラインメモリが保持することができる被写体データのデータ数よりも多い場合でも、入力された全ての被写体データに対して黒レベル補正を施すことができる。このことにより、本発明を実施するための形態では、多画素化したイメージセンサに対応する黒レベル補正を行う構成を、容易に実現することができる。

なお、本実施形態においては、イメージセンサ１００の画素部において、ＨＯＢ領域が画像領域の左側の端に位置し、ＶＯＢ領域が画像領域の上側の端に位置している場合について説明した。しかし、ＨＯＢ領域およびＶＯＢ領域の位置は、本発明を実施するための形態で説明した位置に限定されるものではなく、例えば、ＨＯＢ領域が画像領域の右側の端に位置している場合や、ＶＯＢ領域が画像領域の下側の端に位置している場合であっても、同様に考えることができる。また、例えば、ＨＯＢ領域が画像領域の左側の端と右側の端との両方に位置している場合や、ＶＯＢ領域が画像領域の上側の端と下側の端との両方に位置している場合であっても、いずれか一方または両方のＯＢデータを抽出して、同様に考えることができる。

なお、本実施形態においては、前処理が、ＯＢデータに基づいた黒レベル補正を含む処理である場合について説明した。しかし、前処理の処理内容は、本発明を実施するための形態に限定されるものではなく、分割した画像領域の被写体データに共通するデータを用いる処理であれば、黒レベル補正以外の処理を施す場合であっても同様に、本発明の考え方を適用することができる。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１０，１１，１２・・・撮像装置
２１，２２，２３・・・信号処理装置（撮像処理部）
１００・・・イメージセンサ（固体撮像装置）
２００，２１０，２２０・・・撮像処理部
２０１，２１１，２２１・・・データ抽出部（撮像処理部，データ抽出部）
２０２，２１２，２２２・・・前処理部（撮像処理部，前処理部）
２０３・・・第１のデータ転送部（撮像処理部，第１のデータ転送部）
２０４・・・第２のデータ転送部（撮像処理部，第２のデータ転送部）
２１３，２２３・・・データ転送部（撮像処理部，データ転送部）
２０５・・・データ取得部（撮像処理部，データ取得部）
３００，３１０，３２０・・・画像処理部
４００，４１０，４２０・・・表示処理部
４０１，４１１，４２１・・・表示デバイス
５００，５１０，５２０・・・カードＩＦ部
５０１，５１１，５２１・・・記録媒体
６００，６１０，６２０・・・ＤＲＡＭコントローラ（記憶部）
６０１，６１１，６２１・・・ＤＲＡＭ（記憶部）
７００，７１０，７２０・・・ＣＰＵ
８００，８１０，８２０・・・データバス
９１０，９２０・・・通信部（撮像処理部，通信部）

Claims (9)

1. 複数の画素を有し、被写体光が入射される画像領域の前記画素が出力する画素信号に応じた被写体データ、および該画像領域の端に位置する複数列または複数行の常に遮光されたオプティカルブラック領域の前記画素が出力する画素信号に応じたＯＢデータを、画像データとして出力する固体撮像装置と、
   前記固体撮像装置が出力した前記画像データに含まれる同じ前記ＯＢデータを用いて、該画像データに含まれる一部の前記被写体データに対して黒レベル補正を施した前処理画像データを出力する撮像処理部と、
   を備え、
   前記撮像処理部は、
   前記固体撮像装置が出力した前記画像データに含まれる前記被写体データに共通する前記ＯＢデータを抽出ＯＢデータとして抽出し、該画像データに含まれる前記被写体データと該抽出ＯＢデータとのそれぞれを出力するデータ抽出部と、
   前記画像領域における第１の方向の前記被写体データのデータ数よりも少ない量の前記被写体データを保持するラインメモリを具備し、前記データ抽出部から出力され、該ラインメモリに保持した前記被写体データに対して、前記抽出ＯＢデータに基づいた黒レベル補正を施した前記前処理画像データを出力する前処理部と、
   を備え、
   前記データ抽出部は、
   前記前処理部に具備した前記ラインメモリが保持することができる前記被写体データのデータ数の範囲内で前記画像領域を分割し、該分割した前記画像領域の前記被写体データおよび前記抽出ＯＢデータを前記前処理部に出力し、
   前記オプティカルブラック領域は、
   前記画像領域における前記第１の方向と直交する第２の方向のいずれかの一方または両方の端に位置し、
   前記データ抽出部は、
   分割した前記画像領域が前記第１の方向に並ぶように前記画像領域を分割し、該分割した前記画像領域が互いに重複しているオーバーラップ領域に対応する、少なくとも一方の端に位置する前記オプティカルブラック領域内の前記ＯＢデータを、前記前処理部が前記被写体データに対して黒レベル補正を施す際に共通して使用する前記抽出ＯＢデータとして抽出する、
   ことを特徴とする撮像装置。
2. 前記オプティカルブラック領域は、
   前記画像領域における前記第１の方向のいずれかの一方または両方の端に位置し、
   前記データ抽出部は、
   分割した前記画像領域が前記第１の方向に並ぶように前記画像領域を分割し、少なくとも一方の端に位置する前記オプティカルブラック領域内の前記ＯＢデータを、前記前処理部が前記被写体データに対して黒レベル補正を施す際に共通して使用する前記抽出ＯＢデータとして抽出する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 当該撮像装置は、さらに、
   少なくとも前記前処理画像データを格納する記憶部、
   を備え、
   前記データ抽出部は、
   前記ラインメモリが保持することができる前記被写体データのデータ数の範囲内で前記画像領域を分割した、前記前処理部が黒レベル補正を施すことができる第１の画像領域の前記被写体データおよび前記抽出ＯＢデータを前記前処理部に出力すると共に、前記前処理部が黒レベル補正を施すことができない、前記第１の画像領域と異なる第２の画像領域の前記被写体データおよび抽出した前記ＯＢデータを、元画像データとして出力し、
   前記前処理部は、
   前記第１の画像領域の前記被写体データに対して前記抽出ＯＢデータに基づいた黒レベル補正を施した前記前処理画像データを出力し、
   前記撮像処理部は、さらに、
   前記記憶部に前記前処理画像データを転送する第１のデータ転送部と、
   前記記憶部に前記元画像データを転送する第２のデータ転送部と、
   を備えることを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記撮像処理部は、さらに、
   前記記憶部に格納された元画像データを取得するデータ取得部、
   を備え、
   前記データ抽出部は、
   前記第１の画像領域の前記被写体データおよび前記抽出ＯＢデータ、または前記データ取得部が取得した元画像データに含まれる前記被写体データおよび前記抽出ＯＢデータを、前記前処理部に出力する、
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記撮像処理部は、
   第１の動作において、前記前処理部が、前記第１の画像領域の前記被写体データに対して前記抽出ＯＢデータに基づいた黒レベル補正を施した第１の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送すると共に、前記元画像データを前記第２のデータ転送部によって前記記憶部に転送し、
   前記第１の動作が完了した後の第２の動作において、前記データ取得部が、前記記憶部に格納された前記元画像データを取得し、前記データ抽出部が、該元画像データに含まれる前記第２の画像領域の前記被写体データおよび前記抽出ＯＢデータを前記前処理部に出力し、前記前処理部が、前記第２の画像領域の前記被写体データに対して前記抽出ＯＢデータに基づいた黒レベル補正を施した第２の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送する、
   ことを特徴とする請求項４に記載の撮像装置。
6. 当該撮像装置は、
   複数の前記撮像処理部と、
   複数の前記撮像処理部から出力されたそれぞれの前記前処理画像データを格納する記憶部と、
   を備え、
   それぞれの前記撮像処理部は、さらに、
   前記記憶部に前記前処理画像データを転送するデータ転送部、
   を備え、
   それぞれの前記撮像処理部に備えた前記データ抽出部は、
   前記画像領域を、対応する前処理部が具備した前記ラインメモリが保持することができる前記被写体データのデータ数の範囲内で、他の前記撮像処理部に備えた前記データ抽出部が分割する前記画像領域と異なる領域に分割し、分割した前記画像領域の前記被写体データおよび前記抽出ＯＢデータを、前記前処理部に出力し、
   それぞれの前記撮像処理部に備えた前記前処理部は、
   対応する前記データ抽出部が分割した前記画像領域の前記被写体データに対して前記抽出ＯＢデータに基づいた黒レベル補正を施した前記前処理画像データを出力し、
   それぞれの前記撮像処理部に備えた前記データ転送部は、
   対応する前処理部から出力された前記前処理画像データを、前記記憶部に転送する、
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
7. それぞれの前記撮像処理部は、
   前記前処理部によって、対応する前記画像領域の前記被写体データに対する前記抽出ＯＢデータに基づいた黒レベル補正を同時に実行し、前記データ転送部によって、前処理画像データを前記記憶部に転送する、
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記記憶部は、
   対応する前記撮像処理部から出力された前記前処理画像データを格納する複数の記憶部であり、
   それぞれの前記撮像処理部は、さらに、
   それぞれの前記記憶部に格納された前記前処理画像データの送受信を行う通信部、
   を備えることを特徴とする請求項７に記載の撮像装置。
9. いずれか１つの前記通信部は、
   それぞれの前記撮像処理部が、前記前処理画像データを対応する前記記憶部に転送した後に、それぞれの前記記憶部に格納されている前記前処理画像データを、対応するいずれか１つの前記記憶部に転送する、
   ことを特徴とする請求項８に記載の撮像装置。

Images