JP6014349B2 - 撮像装置、制御方法、及びプログラム - Google Patents

Description

本発明は、撮像装置、制御方法、及びプログラムに関し、特にベイヤ配列を有する撮像素子を備え、ベイヤ配列画像出力と現像画像出力とを行う撮像装置、制御方法、及びプログラムに関する。

デジタルカメラやデジタルビデオカメラ等の撮像装置の中には、撮像素子の出力信号を現像し、特定の色空間の画像データ（通常圧縮データ）に変換して出力するだけでなく、現像前の出力信号を可変長符号化したＲＡＷ圧縮データを出力するものがある。このようなＲＡＷデータは現像を行なっていないため、そのままでは閲覧できない反面、現像した圧縮画像データに比べて情報量を多く有するため、ユーザの好みの画質に高画質に調整できる等、汎用性が高い。

しかしながら、上述の２種類のデータ圧縮処理については、処理手順や処理内容が互いに異なるため、２種類の圧縮処理用の回路を設ける必要があった。これに対して特許文献１には、通常圧縮データとＲＡＷ圧縮モードを簡易に切り替える構成を有する画像処理回路が開示されている。

特開２００３−１２５２０９号公報

一方、地上波テレビジョン放送等には、１９２０（Ｈ）×１０８０（Ｖ）の画像数を有する、所謂フルＨＤに対応した映像の配信が行われている。近年ではフルＨＤを超える画素数を有する所謂オーバーＨＤ（例えば、水平４Ｋ×垂直２Ｋ ： Ｋ＝１０００）等の高精細画像についての需要も高まってきている。撮像装置の中には、高精細画像を出力可能な撮像素子を備えるものもある。例えば、高精細画像を出力撮像素子として、４色のカラーフィルタ（Ｒ、Ｇｒ、Ｇｂ、Ｂ）が市松模様に配置されたベイヤ構造を有する、水平４Ｋ×垂直２Ｋの画素数のＣＣＤやＣＭＯＳセンサ等が採用される。

このようなベイヤ構造を有する撮像素子が採用された撮像装置において、上述の特許文献１のような現像画像出力と非現像画像出力を行う場合、次のような問題が生じうる。

非現像画像は、撮像素子の出力信号に対して、ホワイトバランス補正、キズ補正、あるいは周辺光量落ち補正等が適用されて出力されるのに対し、現像画像はベイヤ配列の画素出力から、各画素について同時化を行う補間処理が適用される。また撮像素子に採用されるカラーフィルタの分光特性のばらつきや、ＣＭＯＳセンサの場合は内部の層間膜にばらつきが存在するため、出力信号そのものを用いて現像された画像では色のばらつきが生じうる。このため、現像画像については特定色空間の画像への変換に加え、色のばらつきを補正するカラーマトリクス補正処理が適用される。

即ち、現像画像出力と非現像画像出力とではカラーマトリクス補正処理の適用有無が異なるため、得られる画像出力について色再現性が異なる。

本発明は、上述の問題点に鑑みてなされたものであり、現像の有無に依らず、均一な色再現性の画像出力を行う撮像装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
ベイヤ配列を有する撮像素子と、撮像素子から読み出された所定数の画素に対応するデータを有するベイヤ配列の画像に対して同時化処理を適用することにより、ベイヤ配列に対応する複数の色のそれぞれについて画素に対応するデータを有する同時化画像を生成する同時化手段と、撮像素子に起因する色のばらつきを補正する色補正手段と、色補正手段により色のばらつきが補正された補正後の同時化画像から、ベイヤ配列の画像と、ＹＣＣ画像とを生成する生成手段と、を有し、生成手段は、同時化手段によって生成された所定数の画素に対応するデータを有する第１の同時化画像から、所定数の画素に対応するデータを有するベイヤ配列の画像を生成することを特徴とする。

このような構成により本発明によれば、現像の有無に依らず、均一な色再現性の画像出力を行うが可能となる。

本発明の撮像装置における一構成例を示す。 本発明の撮像装置におけるカメラ信号処理回路の一構成例を示す。 本発明の撮像装置におけるカメラ信号処理回路内部の各モードにおける画素構造の一構成例を示す。 本発明の撮像装置における動作フローの一実施例を示す。

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、ベイヤ配列を有する画像出力と同時化処理が適用されて得られた現像画像出力が可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、ベイヤ配列を有する画像と同時化処理が適用されて得られた現像画像とを出力することが可能な任意の機器に適用可能である。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、不図示のＲＯＭに格納された後述の撮像処理の動作プログラムを読み出し、不図示のＲＡＭに展開して実行することにより、各ブロックの動作を制御する。

ＣＭＯＳセンサ１０３は、二次元配列された蓄積型光電変換素子（画素）で構成される撮像素子である。ＣＭＯＳセンサ１０３は、各画素の表面に設けられたマイクロレンズの上面に、カラーフィルタとしてのそれぞれ吸収する光の波長が異なるカラー吸収剤が設けられている。ＣＭＯＳセンサ１０３の画素には、Ｒ（６００ｎｍ〜７００ｎｍ）、Ｇｒ（５００ｎｍ〜６００ｎｍ）、Ｇｂ（５００ｎｍ〜６００ｎｍ）、Ｂ（４００ｎｍ〜５００ｎｍ）のカラーフィルタが市松模様状に適用されており、図３（ａ）に示すようなベイヤ構造を示す。ＣＭＯＳセンサ１０３は、光学系１０２を介してセンサ表面に結像された光学像を光電変換及びＡ／Ｄ変換し、ベイヤ配列を有する画像信号を出力する。具体的にはＣＭＯＳセンサ１０３は、制御部１０１より出力されたタイミング信号に同期して、非加算読み出し方式、あるいは垂直加算読み出し方式で光電変換された電荷を画像信号として読み出し、Ａ／Ｄ変換した後、画像信号をカメラ信号処理回路１０４に出力する。

本実施形態ではＣＭＯＳセンサ１０３は、水平方向画素数４Ｋ（４０９６）×垂直方向画素数２Ｋ（２１６０）を有するものとする（Ｒ画素＝Ｇｒ画素＝Ｇｂ画素＝Ｂ画素＝２０４８×１０８０）。なお、本実施形態では撮像素子としてＣＭＯＳセンサを例に説明するが、本発明はこれに限られず、上述のように得られる画像信号を現像した場合に、カラーフィルタの分光特性のばらつきに依存した色のばらつきが生じる撮像素子に適用可能である。

カメラ信号処理回路１０４は、入力された画像信号に対して種々の画像処理を適用し、補正後の画像データをＳＤＲＡＭ１０５に出力する。本実施形態のデジタルカメラ１００は、カメラ信号処理回路１０４にから出力される画像データの形式を出力モードにより切り替え可能であり、カメラ信号処理回路１０４は設定されている出力モードに応じて画像処理を異ならせる。デジタルカメラ１００に設定可能な出力モードには、以下の４つがある。
・ベイヤ出力モード ：ベイヤ配列を有するベイヤ画像（水平４０９６×垂直２１６
０）を出力する
・補間ＲＧＢ出力モード：ＣＭＯＳセンサから出力されたベイヤ配列を有する画像信号
に同時化処理を適用することで現像されたＲＧＢ空間の同時化
画像（ＲＧＢ画像：水平２０４８×垂直１０８０）を出力する
・ＹＣｂＣｒ出力モード：ＲＧＢ空間の同時化画像をＹＣｂＣｒ空間に色変換して得ら
れたＹＣＣ画像（水平２０４８×垂直１０８０）を出力する
・並列出力モード ：ベイヤ画像と、ＲＧＢ画像及びＹＣＣ画像の少なくともいず
れかとを並列して出力する

ビデオ信号処理回路１０６は、ＳＤＲＡＭ１０５に格納された画像データを読み出し、ＳＭＰＴＥ規格に準拠した信号配列に並び替えた後、３Ｇ−ＳＤＩ変換回路１０７に出力する。

３Ｇ−ＳＤＩ変換回路１０７は、入力された画像データを３Ｇ−ＳＤＩ規格であるＳＭＰＴＥ規格フォーマットに対応した映像信号に変換した後、３Ｇ−ＳＤＩ端子１０８ａ乃至ｄを介して変換後の映像信号を出力する。

〈カメラ信号処理回路１０４の内部構成〉
次に、本実施形態のカメラ信号処理回路１０４の内部構成について、図２を用いて詳細を説明する。

ＣＭＯＳセンサ１０３により出力されたベイヤ配列を有する画像信号（画像データ）は、カメラ信号処理回路１０４に入力されると、まずホワイトバランス補正回路２０１でホワイトバランス調整処理が適用される。ホワイトバランス補正回路２０１は、例えば調整用に予め撮影された「白」画像データを参照し、Ｒ、Ｇ、Ｂの強度比率が１：１：１となるように各色信号のゲイン調整を行う。ホワイトバランス補正回路２０１は、ホワイトバランスを調整した画像データをラインメモリ２０２に出力し、格納させる。

ラインメモリ２０２は、入力された画像データについて、特に垂直方向の補間処理を行う。ラインメモリ２０２は、例えば、補間処理が垂直１１タップであれば、１０ライン分のラインメモリが各画素について設けている。ラインメモリ２０２は、補間後の画像データを同時化処理回路２０３に出力する。

同時化処理回路２０３は、入力された画像データの各画素に対して、存在しない色の画素データを生成して現像する同時化処理を行う。具体的には同時化処理回路２０３は、例えばＲ信号の画素については、Ｇ及びＢ信号の画素データを生成する。同時化処理回路２０３では、例えば水平１１画素×垂直１１ライン単位で同時化処理が実行される。同時化処理回路２０３による同時化処理の結果得られる画像データ（同時化画像）は、Ｒ、Ｇ、Ｂの各色について水平４０９６×垂直２１６０の画素数を有する、図３（ｂ）のような構成になる。

また、本実施形態の同時化処理回路２０３は、設定されている出力モードに依らず、水平４０９６×垂直２１６０の画素数を有する同時化画像に加えて、該画像から生成した水平２０４８×垂直１０８０の画素数を有する縮小画像を出力する。具体的には同時化処理回路２０３は、上述した方法で生成された水平４０９６×垂直２１６０の同時化画像から、図３（ｅ）のように画素の１／４間引きを行うことで、水平２０４８×垂直１０８０の画素数を有する縮小画像を生成して出力する。

画像選択部２０４は、設定されている出力モードに応じて、同時化処理回路２０３から出力された画像のうち、カラーマトリクス演算回路２０５に伝送する画像を選択して出力する。具体的には画像選択部２０４は、ベイヤ出力モードが設定されている場合は画像選択部２０４により出力された水平４０９６×垂直２１６０の画素数を有する同時化画像を選択してカラーマトリクス演算回路２０５に出力する。また画像選択部２０４は、補間ＲＧＢ出力モード及びＹＣｂＣｒ出力モードが設定されている場合は画像選択部２０４により出力された水平２０４８×垂直１０８０の画素数を有する縮小画像を選択してカラーマトリクス演算回路２０５に出力する。またカラーマトリクス演算回路２０５は、並列出力モードが設定されている場合は画像選択部２０４により出力された同時化画像及び縮小画像を選択してカラーマトリクス演算回路２０５に出力する。

カラーマトリクス演算回路２０５は、同時化処理回路２０３より出力された同時化画像あるいは縮小画像に対して、ＣＭＯＳセンサ１０３のカラーフィルタのばらつきに起因する色ばらつきを補正する。具体的にはカラーマトリクス演算回路２０４は、入力された画像データに対して３行３列で構成される、次のようなカラーマトリクス演算を適用することで色補正を行う。
ここで、ａ＋ｂ＋ｃ＝ｄ＋ｅ＋ｆ＝ｇ＋ｈ＋ｉ＝１を満たす係数に設定される。

このマトリクス演算を展開すると、補正後の同時化画像の各色信号は、
ｒ＝ａ＊Ｒ＋ｂ＊Ｇ＋ｃ＊Ｂ
ｇ＝ｄ＊Ｒ＋ｅ＊Ｇ＋ｆ＊Ｂ
ｂ＝ｇ＊Ｒ＋ｈ＊Ｇ＋ｉ＊Ｂ
となり、このようなｒ、ｇ、ｂの画素データを有する補正後の同時化画像が画素選択部２０５に出力される。即ち、カラーマトリクス演算回路２０４から出力される補正後の同時化画像は、ベイヤ出力モードが設定されている場合は図３（ｃ）のようになり、その他のモードが設定されている場合は図３（ｆ）のようになる。

ベイヤ生成部２０６は、設定されている出力モードに応じて、入力された画像データの各画素に含める画素データを選択して出力する。具体的にはベイヤ生成部２０６は、補間ＲＧＢ出力モード及びＹＣｂＣｒ出力モードが設定されている場合は、図３（ｇ）に示されるように入力された画像データをそのまま出力する。

一方、ベイヤ出力モードが設定されている場合、ベイヤ生成部２０６は図３（ｄ）に示されるように出力される画像データがベイヤ配列を有するように、各画素位置に応じてｒ、ｇ、ｂ画素データのいずれかを選択する。つまりベイヤ生成部２０６は、Ｒ画素に対応する位置に存在する画素についてはｒの画素データ、Ｇｒ及びＧｂに対応する位置に存在する画素についてはｇの画素データ、Ｂに対応する位置に存在する画素についてはｂの画素データを各画素に選択して出力する。

またベイヤ生成部２０６は、並列出力モードが設定されている場合、上述したベイや配列を有する画像データと、ベイヤ生成部２０６に入力された画像データとを出力する。

ガンマ補正回路２０７は、ベイヤ生成部２０６が出力した画像データに対して、入力信号レベルに対して予め設定されたガンマ補正ゲインを各色の画素データについて乗じることで、ガンマ補正を行なった画像データを出力する。ガンマ補正ゲインは、例えばガンマ補正ゲインカーブに応じて決定されてよく、入力信号レベルに限らず一定のゲインを掛け合わせるリニアガンマや、対数で表されたログガンマゲインカーブが使用されてもよい。

スイッチ２０８及びスイッチ２１０は、ＹＣｂＣｒ出力モードが選択されている場合にのみ、ガンマ補正回路２０７から出力された画像データをＹＣＣ画像生成回路２０９に伝送する。ＹＣＣ画像生成回路２０９は、ガンマ補正回路２０７から出力された画像データ（水平２０４８×垂直１０８０）の同時化画像（縮小画像）を、ＲＧＢ色空間からＹＣｂＣｒ色空間に変換して出力する。具体的にはＹＣＣ画像生成回路２０９は、ｒ、ｇ、ｂの画素データからＹ、Ｃｂ、Ｃｒの画素データを生成した後、Ｃｂ及びＣｒ信号について色差ローパスフィルタ（ＬＰＦ）を適用してサンプリングして画像データを出力する。

このように、本実施形態のカメラ信号処理回路１０４は、設定されている出力モードに応じて内部で実行される画像処理を切り替える。また、一度同時化処理を行なってから色ばらつきを補正し、補正後の画像からベイヤ画像を生成して出力するため、カメラ信号処理回路１０４から出力されるベイヤ画像、ＲＧＢ画像、ＹＣＣ画像について、色再現性を揃えることができる。

また、出力モードがいずれであっても、ベイヤ生成部２０６の処理以外を共通化できるため、出力する画像データの種類のそれぞれについて同様の画像処理回路を複数備える必要がなく、カメラ信号処理回路１０４の回路規模を低減することができる。

なお、本実施形態のカメラ信号処理回路１０４では、カラーマトリクス演算回路２０５におけるマトリクス演算に係る処理負荷を低減するために、伝送レートの制御が行われる。

同時化処理回路２０３に入力されるベイヤ配列を有する画像データは、１クロックあたりＲ、Ｇｒ、Ｇｂ、Ｂの各色に対応した４画素が入力される。このため、例えば各画素の画素値が１６ビットである場合は、伝送レートは１６ビット×４画素＝６４ビット／クロックとなる。

一方、同時化処理回路２０３で行われる処理では、入力された各画素に対して、存在しない色の画素データを補間処理において生成する。このため、ベイヤ出力モードが設定されている場合、画像選択部２０４、カラーマトリクス演算回路２０５間の伝送レートは、１６ビット×３色×４画素＝１９２ビット／クロックになる。

カラーマトリクス演算回路２０５では、伝送レートが増加した状態でマトリクス演算を行うことで処理負荷が高くなることを回避するために、ベイヤ出力モードが設定されている場合は、入力された４画素を分割し、演算処理を４つの回路で並列処理する。これにより、カラーマトリクス演算回路２０５の各回路の処理における伝送レートは４８ビット／クロックになる。そしてガンマ補正回路２０７には、ベイヤ生成部２０６により画素位置に応じた１つの色の画素データが選択されて入力されるため、ガンマ補正回路２０７への伝送レートは１６ビット／クロックになる。

これに対し、補間ＲＧＢ出力モードやＹＣｂＣｒ出力モードが設定されている場合、間引きによって生成された縮小画像が処理対象となる。このため、画像選択部２０４、カラーマトリクス演算回路２０５間の伝送レートは、１６ビット×３色×１画素＝４８ビット／クロックになる。そしてカラーマトリクス演算回路２０５では、４つの回路のうちの１つの回路を使用して４８ビット／クロックでマトリクス演算を行う。またガンマ補正回路２０７についても同様の画素データが入力されるため、ガンマ補正回路２０７への伝送レートは４８ビット／クロックになる。

このようにすることで、カラーマトリクス演算回路２０５の１回路における処理の伝送レートと、ガンマ補正回路２０７への伝送レートを、所定値以下に制御することができる。即ち、伝送レートの増加に伴うカラーマトリクス演算回路２０５の不要な回路規模の増大や、ガンマ補正回路２０７に設けるＲＡＭの容量増大を回避することができる。

また並列出力モードでは、伝送レートを低減することができるため、回路規模を増大させることなく、４Ｋのベイヤ画像と２ＫのＲＧＢ画像とを生成することが可能になる。

なお、本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックにおいて処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は該各ブロックと同様の処理を行うプログラムで実現されてもよい。

《撮像処理》
このような構成をもつ本実施形態のデジタルカメラ１００の撮像処理について、図４のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えば不図示のＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。なお、本撮像処理は、例えばデジタルカメラ１００が撮像を行うモードで起動された際に開始され、毎フレーム繰り返し実行されるものとして説明する。

Ｓ４０１で、制御部１０１は、カメラ信号処理回路１０４の同時化処理回路２０３に同時化画像を生成させ、画像選択部２０４に出力させる。具体的には制御部１０１は、まずＣＭＯＳセンサ１０３に撮像を行わせ、画像信号を非加算読み出しで読み出し、画像データとしてカメラ信号処理回路１０４に出力させる。そして制御部１０１は、カメラ信号処理回路１０４のホワイトバランス補正回路２０１に画像データに対するホワイトバランス調整処理を実行させた後、ラインメモリ２０２でベイヤ配列の画像データに変換させる。制御部１０１は、該ベイや配列の画像データを同時化処理回路２０３に出力させ、同時化処理を適用して水平４０９６×垂直２１６０の画素数を有する同時化画像を生成させる。

Ｓ４０２で、制御部１０１は、カメラ信号処理回路１０４の同時化処理回路２０３に、生成した同時化画像の画素を間引いた水平２０４８×垂直１０８０の画素数を有する縮小画像を生成させ、画像選択部２０４に出力させる。

Ｓ４０３で、制御部１０１は、入力された画像データのうち、現在設定されている出力モードに対応した処理対象の画像データを画像選択部２０４に選択させる。具体的には画像選択部２０４は、制御部１０１から画像選択部２０４に出力モードの情報を受信し、該情報に従って処理対象の画像データを選択する。即ち、画像選択部２０４は、ベイヤ出力モードが設定されていれば同時化画像を、補間ＲＧＢ出力モードあるいはＹＣｂＣｒ出力モードが設定されていれば縮小画像を、並列出力モードが設定されていれば同時化画像及び縮小画像の両方を処理対象として選択する。画像選択部２０４は、選択した処理対象の画像データを、カラーマトリクス演算回路２０５に出力する。

Ｓ４０４で、制御部１０１は、カラーマトリクス演算回路２０５に入力された画像データに対してカラーマトリクス演算を実行させることで色補正を行わせ、補正後の画像データをベイヤ生成部２０６に出力させる。

Ｓ４０５で、制御部１０１は、設定されている出力モードがベイヤ出力モードであるか否かを判断する。制御部１０１は、設定されている出力モードがベイヤ出力モードであると判断した場合、Ｓ４０６でベイヤ生成部２０６に画素位置に応じてｒ、ｇ、ｂのいずれかの画素データを選択させ、生成したベイヤ配列を有するベイヤ画像を出力させる。また制御部１０１は、設定されている出力モードが補間ＲＧＢ出力モードあるいはＹＣｂＣｒ出力モードであると判断した場合、Ｓ４０７でベイヤ生成部２０６に入力された画像データをそのまま出力させる。なお、並列出力モードが設定されている場合は、制御部１０１はベイヤ生成部２０６に、水平４０９６×垂直２１６０の画素数を有する同時化画像をベイヤ画像に変換させ、水平２０４８×垂直１０８０の画素数を有する縮小画像はそのまま出力させる。

Ｓ４０８で、制御部１０１は、ベイヤ生成部２０６から出力された画像に対して、ガンマ補正回路２０７にガンマ補正処理を適用させる。

Ｓ４０９で、制御部１０１は、設定されている出力モードがＹＣｂＣｒ出力モードであるか否かを判断する。制御部１０１は、設定されている出力モードがＹＣｂＣｒ出力モードではないと判断した場合、Ｓ４１０でガンマ補正回路２０７で補正された画像データをＳＤＲＡＭ１０５に出力させて格納させる。また制御部１０１は、設定されている出力モードがＹＣｂＣｒ出力モードであると判断した場合、Ｓ４１１でスイッチ２０８及びスイッチ２１０を切り替え、ガンマ補正回路２０７で補正された画像データをＹＣＣ画像生成回路２０９に出力させる。そして制御部１０１は、ＹＣＣ画像生成回路２０９にガンマ補正後の画像データからＹＣＣ画像を生成させる。またＳ４１２で制御部１０１は、ＹＣＣ画像生成回路２０９に生成させたＹＣＣ画像をＳＤＲＡＭ１０５に出力させ、格納させる。なお、並列出力モードが設定されており、ＹＣＣ画像を出力するように設定されている場合は、Ｓ４１０の処理とＳ４１１及びＳ４１２の処理とを実行させればよい。

以上説明したように、本実施形態の撮像装置は、現像の有無に依らず、均一な色再現性の画像出力を行う。具体的には撮像装置は、ベイヤ配列を有する撮像素子から読み出された画像信号に対して同時化処理を適用して現像した同時化画像を生成する。そして同時化画像に対して、撮像素子に起因する色のばらつきを補正し、補正後の同時化画像からベイヤ配列を有するベイヤ画像を生成する。

［実施形態２］
上述した実施形態では、ＣＭＯＳセンサ１０３は非加算読み出しで画像信号を読み出して出力するものとして説明したが、読み出し方式はこれに限られるものではない。本実施形態では、例えば垂直加算読み出しによりＣＭＯＳセンサ１０３から画像信号を読み出す、高フレームレートの撮像処理が行われる場合に、本発明を適用する方法について説明する。

〈カメラ信号処理回路１０４の内部構成〉
本実施形態のカメラ信号処理回路１０４では、実施形態１の構成に加えて、図において破線で示したスイッチ２１１、レジずれ補正部２１２、及びスイッチ２１３をさらに有する。

スイッチ２１１及びスイッチ２１３は、加算読み出しによりＣＭＯＳセンサ１０３から画像信号が読み出される場合に、画像信号がレジずれ補正部２１２に入力されるように経路を切り替える。レジずれ補正部２１２は、ラインメモリを有しており、垂直方向の画素を用いて、垂直方向に１ライン飛ばしで、ベイヤ構造を生成しながら垂直補間処理を行う。

このようにすることで、加算読み出しにより画像信号がＣＭＯＳセンサ１０３から読み出された場合であっても、カメラ信号処理回路１０４は、該画像をベイヤ配列を有する画像データに変換して、実施形態１と同様に処理することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. ベイヤ配列を有する撮像素子と、
   前記撮像素子から読み出された所定数の画素に対応するデータを有するベイヤ配列の画像に対して同時化処理を適用することにより、ベイヤ配列に対応する複数の色のそれぞれについて画素に対応するデータを有する同時化画像を生成する同時化手段と、
   前記撮像素子に起因する色のばらつきを補正する色補正手段と、
   前記色補正手段により色のばらつきが補正された補正後の前記同時化画像から、ベイヤ配列の画像と、ＹＣＣ画像とを生成する生成手段と、
   を有し、
   前記生成手段は、前記同時化手段によって生成された前記所定数の画素に対応するデータを有する第１の同時化画像から、前記所定数の画素に対応するデータを有する前記ベイヤ配列の画像を生成することを特徴とする撮像装置。
2. 前記同時化手段は、前記第１の同時化画像を出力するとともに、ベイヤ配列に対応する複数の色のそれぞれについて前記所定数よりも少ない画素に対応するデータを有する第２の同時化画像を出力することを特徴とする請求項１に記載の撮像装置。
3. 前記色補正手段は、前記第１の同時化画像及び前記第２の同時化画像の各々に対して、前記撮像素子に起因する色のばらつきを補正することを特徴とする請求項２に記載の撮像装置。
4. 前記第１の同時化画像及び前記第２の同時化画像の各々について、前記色補正手段における処理の伝送レートを制御する制御手段をさらに有し、
   前記制御手段は、前記色補正手段において前記第１の同時化画像を分割して並列処理させることで、該分割した第１の同時化画像それぞれの処理の伝送レートと前記第２の同時化画像の処理の伝送レートとを所定値以下に制御する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記生成手段は、生成した前記ベイヤ配列の画像、及び補正後の前記第２の同時化画像に対して、ガンマ補正処理を行うガンマ補正手段を含むことを特徴とする請求項３または４に記載の撮像装置。
6. 前記ＹＣＣ画像は、前記補正後の第２の同時化画像に対して、前記ガンマ補正手段による前記ガンマ補正処理が行われた結果に基づいて生成されることを特徴とする請求項５に記載の撮像装置。
7. 前記撮像素子はＣＭＯＳセンサであり、
   前記撮像素子から前記データが加算読み出しで読み出される場合に、読み出された信号を補間することでベイヤ配列の画像を生成する補間手段をさらに有する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. ベイヤ配列を有する撮像素子を有する撮像装置の制御方法であって、
   前記撮像装置の同時化手段が、前記撮像素子から読み出された所定数の画素に対応するデータを有するベイヤ配列の画像に対して同時化処理を適用することにより、ベイヤ配列に対応する複数の色のそれぞれについて画素に対応するデータを有する同時化画像を生成する同時化工程と、
   前記撮像装置の色補正手段が、前記撮像素子に起因する色のばらつきを補正する色補正工程と、
   前記撮像装置の生成手段が、前記色補正工程において色のばらつきが補正された補正後の前記同時化画像から、ベイヤ配列の画像と、ＹＣＣ画像とを生成する生成工程と、
   を有し、
   前記生成工程では、前記同時化工程において生成された前記所定数の画素に対応するデータを有する同時化画像から、前記所定数の画素に対応するデータを有する前記ベイヤ配列の画像を生成することを特徴とする撮像装置の制御方法。
9. コンピュータを、請求項１乃至７のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。