JP5503522B2 - 撮像装置、撮像装置の制御方法 - Google Patents

Description

本発明は、単板式ＨＤＲ撮像技術に関するものである。

隣接した画素同士で感度を異ならせ、感度の高い画素の信号と感度の低い画素の信号とを合成することで、ダイナミックレンジを拡大することができる。例えば、特許文献１には、明ＲＧＢＷ暗ｒｇｂｗ全色が全ての行および全ての列に配置された色フィルタ配列が開示されている。また、特許文献２には、ＲＧＢ行とＷ行とが交互に配置されたセンサが開示されている。

しかしながら、特許文献１に開示の技術では、全画素を同一比率で持っているため、例えば、Ｇ（緑）のサンプリング間隔は２ピクセルに１つとなり、通常のbayer配列と比べると、解像度が半分になってしまう。また、高感度画素のＧが飽和した場合、Ｇのサンプリング間隔は４ピクセルに１つとなり、bayer配列と比べて４分の１になってしまう。

また、特許文献２に開示の技術では、低感度画素については輝度情報のみであり、高輝度側のカラー情報を保持することができない。また、縦方向の解像度が半分に低下してしまう。

特開2006-253876号公報 特開2007−258686号公報

上述のように、感度の異なる画素を同一センサ上に配置する場合、解像度の低下が避けられない。また、高感度の画素が飽和した場合には、さらに解像度が低下する。

本発明は以上の問題に鑑みてなされたものであり、感度の異なる固体撮像素子を配したイメージセンサを用いても、撮像画像の解像度低下を抑制する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の撮像装置は以下の構成を備える。即ち、第１の感度で色成分を取得する固体撮像素子と、該第１の感度よりも高い第２の感度で色成分を取得する固体撮像素子と、が２次元的に配されたイメージセンサが搭載された撮像装置であって、
注目画素の前記第１の感度の色成分を、該注目画素の周囲の第１の画素における前記第１の感度で取得した第１の色成分と該注目画素の周囲の第２の画素における前記第１の感度で取得した第２の色成分とを用いた補間計算を行うことで求める第１の計算手段と、
前記注目画素の前記第２の感度の色成分を、該注目画素の周囲の第３の画素における前記第２の感度で取得した第３の色成分と該注目画素の周囲の第４の画素における前記第２の感度で取得した第４の色成分とを用いた補間計算を行うことで求める第２の計算手段と、
前記第１の計算手段と前記第２の計算手段とによって全ての画素の色成分が確定したカラー画像を出力する手段と、
前記注目画素における前記第１の感度で取得した色成分が飽和しているか否かを判断する判断手段と、
前記判断手段により、前記注目画素における前記第１の感度で取得した色成分が飽和していると判断された場合、前記注目画素における前記第１の感度の色成分を、前記第２の感度の色成分から求める第３の計算手段と
を備え、
前記第１の感度で色成分を取得する固体撮像素子は、第１の明るさでＲ成分を取得する固体撮像素子ＤＲと、前記第１の明るさでＧ成分を取得する固体撮像素子ＤＧと、前記第１の明るさでＢ成分を取得する固体撮像素子ＤＢと、からなり、
前記第２の感度で色成分を取得する固体撮像素子は、前記第１の明るさよりも明るい第２の明るさでＲ成分を取得する固体撮像素子ＬＲと、前記第２の明るさでＧ成分を取得する固体撮像素子ＬＧと、前記第２の明るさでＢ成分を取得する固体撮像素子ＬＢと、からなり、
前記イメージセンサには、
前記固体撮像素子ＤＧと前記固体撮像素子ＬＧとから成る固体撮像素子列が１列おきに配されており、
前記固体撮像素子ＤＲ、前記固体撮像素子ＤＧ、前記固体撮像素子ＤＢ、の数の比は１：２：１であり、前記固体撮像素子ＬＲ、前記固体撮像素子ＬＧ、前記固体撮像素子ＬＢの数の比は１：２：１であり、
前記第１の計算手段は、
前記固体撮像素子ＤＧにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第１の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＤＧにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第１の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求め、
前記第２の計算手段は、
前記固体撮像素子ＤＧにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第２の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
前記固体撮像素子ＤＧにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第２の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求める
ことを特徴とする。

本発明の構成によれば、感度の異なる固体撮像素子を配したイメージセンサを用いても、撮像画像の解像度低下を抑制することができる。

第１の実施形態に係る撮像装置の機能構成例を示すブロック図。 イメージセンサ１０３上の固体撮像素子の配置例を示す図。 各画素のＤＧ値を求める処理のフローチャート。 各画素のＤＲ値、ＲＢ値を求める処理のフローチャート。 第２の実施形態に係るデモザイク部１０９の構成例を示すブロック図。 各画素のＤＧ値を求める処理のフローチャート。 第１補間部５０２が行う処理のフローチャート。 各画素のＤＧ値を求める処理のフローチャート。 イメージセンサ１０３上の固体撮像素子の配置例を示す図。 カラー画像を構成する各画素のＤＲ，ＤＢ値を求める為の処理のフローチャート。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態に係る撮像装置の機能構成例について、図１のブロック図を用いて説明する。被写体９０が存在する外界の光は、光学系１０１を介してイメージセンサ１０３に入光するので、イメージセンサ１０３には、この入光した光に応じた電荷が蓄積される。イメージセンサ１０３は、この蓄積した電荷に応じたアナログ画像信号を、後段のＡ／Ｄ変換部１０４に対して出力する。

Ａ／Ｄ変換部１０４は、イメージセンサ１０３から入力されたアナログ画像信号をディジタル画像信号に変換し、変換したディジタル画像信号を、後段の信号処理部１０５及びメディアＩ／Ｆ１０７に対して出力する。

信号処理部１０５は、Ａ／Ｄ変換部１０４から入力されたディジタル画像信号が示すカラー画像に対して、後述の様々な画像処理を施す。そして信号処理部１０５は、この画像処理済みのカラー画像を、後段の表示部１０６及びメディアＩ／Ｆ１０７に対して出力する。

次に、イメージセンサ１０３について説明する。イメージセンサ１０３には図２に示す如く、第１の感度でＲ成分を撮像する為の固体撮像素子ＤＲ、第１の感度でＧ成分を撮像する為の固体撮像素子ＤＧ、第１の感度でＢ成分を撮像する為の固体撮像素子ＤＢが２次元的に配されている。ここで、「ＤＲ」は暗い赤（第１の明るさの赤）、「ＤＧ」は暗い緑（第１の明るさの緑）、「ＤＢ」は暗い青（第１の明るさの青）を示している。更にイメージセンサ１０３には、第１の感度よりも高い第２の感度でＲ成分を撮像するための固体撮像素子ＬＲ、第２の感度でＧ成分を撮像するための固体撮像素子ＬＧ、第２の感度でＢ成分を撮像するための固体撮像素子ＬＢが２次元的に配されている。ここで「ＬＲ」は明るい赤（第１の明るさよりも明るい第２の明るさの赤）、「ＬＧ」は明るい緑（第２の明るさの緑）、「ＬＢ」は明るい青（第２の明るさの青）を示している。

ここで、イメージセンサ１０３上に配されているこれらの固体撮像素子の配置パターンについてより詳細に説明する。イメージセンサ１０３には図２に示す如く、固体撮像素子ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢから成る４×４の２次元固体撮像素子配列が重複することなく繰り返し配置されている。更に、１つの２次元固体撮像素子配列中の固体撮像素子ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢのそれぞれの数については、固体撮像素子ＤＲ、ＤＧ、ＤＢのそれぞれの数の比は１：２：１となっている。また、固体撮像素子ＬＲ、ＬＧ、ＬＢのそれぞれの数の比は１：２：１となっている。更に、固体撮像素子ＤＧと固体撮像素子ＬＧとから成る固体撮像素子列（固体撮像素子行でも良い）が１列（行）おきにイメージセンサ１０３上に配されている。なお、固体撮像素子ＬＲと固体撮像素子ＬＢとはその配置位置は入れ替え可能であり、同様に、固体撮像素子ＤＲと固体撮像素子ＤＢとはその配置位置は入れ替え可能である。

このように、本実施形態に係る撮像装置には、第１の感度で色成分を撮像するための固体撮像素子と、第１の感度よりも高い第２の感度で色成分を撮像する為の固体撮像素子と、が交互に２次元的に配されたイメージセンサが搭載されている。

次に、信号処理部１０５について説明する。カメラ制御部１０８は、ＡＥ／ＡＦ／ＡＷＢ制御を行う。デモザイク部１０９は、Ａ／Ｄ変換部１０４から入力されたディジタル画像信号が示すカラー画像について、第１の感度で撮像された画素に対する補間処理、第２の感度で撮像された画素に対する補間処理を行うことで、ＨＤＲ画像を生成する。

色処理部１１１は、このＨＤＲ画像に対して、カラーバランス処理、γ処理、シャープネス処理、ノイズリダクション処理等の様々な色処理を行う。そして色処理部１１１は、この様々な色処理を施したＨＤＲ画像を、後段の表示部１０６及びメディアＩ／Ｆ１０７に対して出力する。

次に、カラー画像中の各画素のＤＧ値を求めるためにデモザイク部１０９が行う処理について、同処理のフローチャートを示す図３を用いて説明する。なお、カラー画像を構成する各画素のＤＧ値を求めるためにデモザイク部１０９が行う処理は、図３のフローチャートにおいて「ＤＧ」を「ＬＧ」と読み替えた処理となる。

ステップＳ３０１ではデモザイク部１０９は、自身が有する若しくは管理するメモリ内に、後述する処理を行う為のメモリ領域を確保すると共に、上記のカラー画像上の画素位置を示す変数ｉ，ｊを共に０に初期化する。ここで変数ｉはカラー画像上のｘ座標値を示し、変数ｊはカラー画像上のｙ座標値を示すものとする。そしてカラー画像上の左上隅の位置を原点（ｉ、ｊ）＝（０，０）とする。もちろん、カラー画像上の座標系の設定についてはこれに限るものではない。

ステップＳ３０２ではデモザイク部１０９は、図２に示したような、イメージセンサ１０３上の各位置に、ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢの何れの固体撮像素子が配されているのかを示すマップ情報（フィルタ配列）を上記メモリから読み出す。

ステップＳ３０３ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＧであるか否かを、マップ情報を用いて判断する。これは、カラー画像上の画素位置（ｉ、ｊ）における画素が、固体撮像素子ＤＧによって撮像されたか否かを判断していることになる。係る判断は、イメージセンサ１０３上の左上隅の位置を原点とした時に、イメージセンサ１０３上の位置（ｉ、ｊ）における固体撮像素子が固体撮像素子ＤＧであるか否かを判断すればよい。

ステップＳ３０３における判断の結果、固体撮像素子ＤＧであると判断した場合には処理はステップＳ３０９に進み、固体撮像素子ＤＧではないと判断した場合には処理はステップＳ３０４に進む。

ステップＳ３０４では、デモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ−１）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＧであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。

ステップＳ３０４における判断の結果、固体撮像素子ＤＧであると判断した場合には、処理はステップＳ３０５に進み、固体撮像素子ＤＧではないと判断した場合には、処理はステップＳ３１０に進む。

ステップＳ３０５ではデモザイク部１０９は、以下の式１を計算する。これにより、画素位置（ｉ、ｊ）における画素を挟んで左上から右下方向へ並ぶ５つの画素に対する変動評価値ｄｅｆｆ１、画素位置（ｉ、ｊ）における画素を挟んで右上から左下方向へ並ぶ５つの画素に対する変動評価値ｄｅｆｆ２を求める。ここで、Ｐ（ｉ、ｊ）は、カラー画像上の画素位置（ｉ、ｊ）における画素値を示している。

ステップＳ３０６ではデモザイク部１０９は、ｄｅｆｆ１とｄｅｆｆ２との大小比較を行う。この大小比較の結果、ｄｅｆｆ１＜ｄｅｆｆ２の場合には、処理はステップＳ３０７に進み、ｄｅｆｆ１≧ｄｅｆｆ２の場合には、処理はステップＳ３０８に進む。

ステップＳ３０７ではデモザイク部１０９は、画素位置（ｉ、ｊ）における画素の周辺画素の画素値を用いて補間計算を行うことで、画素位置（ｉ、ｊ）における画素のＤＧ値を示すＤＧ（ｉ、ｊ）を求めるべく、以下の式２を計算する。

この補間処理は要は、一次元のローパスフィルタ処理であって、この式２中に登場する、各画素値に対する係数値はフィルタ係数に相当する。一方、ステップＳ３０８ではデモザイク部１０９は、画素位置（ｉ、ｊ）における画素の周辺画素の画素値を用いて補間計算を行うことで、画素位置（ｉ、ｊ）における画素のＤＧ値を示すＤＧ（ｉ、ｊ）を求めるべく、以下の式３を計算する。

ステップＳ３０９ではデモザイク部１０９は、ＤＧ（ｉ、ｊ）に画素値Ｐ（ｉ、ｊ）を代入する。そしてステップＳ３１０ではデモザイク部１０９は変数ｉの値がpel（カラー画像のｘ方向の総画素数）−１と同じか否かを判断する。そして同じと判断した場合には処理はステップＳ３１１に進み、同じではないと判断した場合には、変数ｉの値を１つインクリメントし、ステップＳ３０３以降の処理を繰り返す。

ステップＳ３１１ではデモザイク部１０９は、変数ｊの値がline（カラー画像のｙ方向の総画素数）−１よりも大きいか否かを判断する。そしてｊ＞line−１と判断した場合には処理はステップＳ３１２に進み、ｊ≦line−１と判断した場合には、変数ｉの値を０に初期化すると共に変数ｊの値を１つインクリメントし、ステップＳ３０３以降の処理を繰り返す。

ステップＳ３１２ではデモザイク部１０９は、変数ｉ、ｊを共に０に初期化する。ステップＳ３１３でデモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ）若しくは画素位置（ｉ、ｊ−１）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＧであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。

ステップＳ３１３における判断の結果、固体撮像素子ＤＧであると判断した場合には処理はステップＳ３１４に進み、固体撮像素子ＤＧではないと判断した場合には処理はステップＳ３１８に進む。

ステップＳ３１４ではデモザイク部１０９は以下の式４を計算し、画素位置（ｉ、ｊ）の画素Ｑに隣接する上下（ｙ方向）の画素に対する変動評価値ｄｅｆｆ３、画素Ｑに隣接する左右（ｘ方向）の画素に対する変動評価値ｄｅｆｆ４を求める。

ステップＳ３１５ではデモザイク部１０９は、ｄｅｆｆ３とｄｅｆｆ４との大小比較を行う。この大小比較の結果、ｄｅｆｆ３＜ｄｅｆｆ４の場合には、処理はステップＳ３１６に進み、ｄｅｆｆ３≧ｄｅｆｆ４の場合には、処理はステップＳ３１７に進む。

ステップＳ３１６ではデモザイク部１０９は、画素位置（ｉ、ｊ）における画素の周辺画素の画素値を用いて補間計算を行うことで、画素位置（ｉ、ｊ）における画素のＤＧ値を示すＤＧ（ｉ、ｊ）を求めるべく、以下の式５を計算する。

一方、ステップＳ３１７ではデモザイク部１０９は、画素位置（ｉ、ｊ）における画素の周辺画素の画素値を用いて補間計算を行うことで、画素位置（ｉ、ｊ）における画素のＤＧ値を示すＤＧ（ｉ、ｊ）を求めるべく、以下の式６を計算する。

そしてステップＳ３１８ではデモザイク部１０９は変数ｉの値がpel−１と同じか否かを判断する。そして同じと判断した場合には処理はステップＳ３１９に進み、同じではないと判断した場合には、変数ｉの値を１つインクリメントし、ステップＳ３１３以降の処理を繰り返す。

ステップＳ３１９ではデモザイク部１０９は、変数ｊの値がline−１よりも大きいか否かを判断する。そしてｊ＞line−１と判断した場合には本処理を終了し、図４のフローチャートに従った処理に移行する。一方、ｊ≦line−１と判断した場合には、変数ｉの値を０に初期化すると共に変数ｊの値を１つインクリメントし、ステップＳ３１３以降の処理を繰り返す。

次に、カラー画像を構成する各画素のＤＲ値、ＲＢ値を求めるためにデモザイク部１０９が行う処理について、同処理のフローチャートを示す図４を用いて説明する。なお、カラー画像を構成する各画素のＬＲ値、ＬＢ値を求めるためにデモザイク部１０９が行う処理は、図４のフローチャートにおいて「ＤＲ」を「ＬＲ」と読み替え、「ＤＢ」を「ＬＢ」と読み替えた処理となる。また、図４のフローチャートに従った処理は、図３のフローチャートに従った処理（ＤＧ、ＬＧについての処理）の後に行うものである。

先ずステップＳ４０１ではデモザイク部１０９は、自身が有する若しくは管理するメモリ内に、後述する処理を行う為のメモリ領域を確保すると共に、上記のカラー画像上の画素位置を示す変数ｉ，ｊを共に０に初期化する。

ステップＳ４０２ではデモザイク部１０９は、図２に示したような、イメージセンサ１０３上の各位置に、ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢの何れの固体撮像素子が配されているのかを示すマップ情報（フィルタ配列）を上記メモリから読み出す。

ステップＳ４０３ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＧであるか否かを、マップ情報を用いて判断する。この判断は、上位ステップＳ３０３と同様にして行う。

ステップＳ４０３における判断の結果、固体撮像素子ＤＧであると判断した場合には処理はステップＳ４０４に進み、固体撮像素子ＤＧではないと判断した場合には処理はステップＳ４０７に進む。

ステップＳ４０４では、デモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＢであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。

ステップＳ４０４における判断の結果、固体撮像素子ＬＢであると判断した場合には処理はステップＳ４０５に進み、固体撮像素子ＬＢではないと判断した場合には処理はステップＳ４０６に進む。

ステップＳ４０５では、デモザイク部１０９は、式７に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ値を示すＤＲ（ｉ、ｊ）、ＤＢ値を示すＤＢ（ｉ、ｊ）、ＬＲ値を示すＬＲ（ｉ、ｊ）、ＬＢ値を示すＬＢ（ｉ、ｊ）を、求めることができる。

ステップＳ４０６では、デモザイク部１０９は、式８に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）、ＬＲ（ｉ、ｊ）、ＬＢ（ｉ、ｊ）を、求めることができる。

ステップＳ４０７では、デモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＲであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。

ステップＳ４０７における判断の結果、固体撮像素子ＬＲであると判断した場合には処理はステップＳ４０８に進み、固体撮像素子ＬＲではないと判断した場合には処理はステップＳ４０９に進む。

ステップＳ４０８では、デモザイク部１０９は、式９に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）、ＬＲ（ｉ、ｊ）、ＬＢ（ｉ、ｊ）を、求めることができる。

ステップＳ４０９では、デモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＢであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。

ステップＳ４０９における判断の結果、固体撮像素子ＬＢであると判断した場合には処理はステップＳ４１０に進み、固体撮像素子ＬＢではないと判断した場合には処理はステップＳ４１１に進む。

ステップＳ４１０では、デモザイク部１０９は、式１０に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）、ＬＲ（ｉ、ｊ）、ＬＢ（ｉ、ｊ）を、求めることができる。

ステップＳ４１１では、デモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＧであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。

ステップＳ４１１における判断の結果、固体撮像素子ＬＧであると判断した場合には処理はステップＳ４１２に進み、固体撮像素子ＬＧではないと判断した場合には処理はステップＳ４１５に進む。

ステップＳ４１２では、デモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＲであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。

ステップＳ４１２における判断の結果、固体撮像素子ＤＲであると判断した場合には処理はステップＳ４１３に進み、固体撮像素子ＤＲではないと判断した場合には処理はステップＳ４１４に進む。

ステップＳ４１３では、デモザイク部１０９は、式１１に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）、ＬＲ（ｉ、ｊ）、ＬＢ（ｉ、ｊ）を、求めることができる。

一方、ステップＳ４１４では、デモザイク部１０９は、式１２に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）、ＬＲ（ｉ、ｊ）、ＬＢ（ｉ、ｊ）を、求めることができる。

ステップＳ４１５では、デモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＲであるか否かを、マップ情報を用いて判断する。この判断は、ステップＳ３０３と同様にして行う。

ステップＳ４１５における判断の結果、固体撮像素子ＤＲであると判断した場合には処理はステップＳ４１６に進み、固体撮像素子ＤＲではないと判断した場合、即ち固体撮像素子ＤＢであると判断した場合には処理はステップＳ４１７に進む。

ステップＳ４１６では、デモザイク部１０９は、式１３に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）、ＬＲ（ｉ、ｊ）、ＬＢ（ｉ、ｊ）を、求めることができる。

一方、ステップＳ４１７では、デモザイク部１０９は、式１４に示す補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）、ＬＲ（ｉ、ｊ）、ＬＢ（ｉ、ｊ）を、求めることができる。

そしてステップＳ４１８ではデモザイク部１０９は変数ｉの値がpel−１と同じか否かを判断する。そして同じと判断した場合には処理はステップＳ４１９に進み、同じではないと判断した場合には、変数ｉの値を１つインクリメントし、ステップＳ４０３以降の処理を繰り返す。

ステップＳ４１９ではデモザイク部１０９は、変数ｊの値がline−１よりも大きいか否かを判断する。そしてｊ＞line−１と判断した場合には本処理を終了する。一方、ｊ≦line−１と判断した場合には、変数ｉの値を０に初期化すると共に変数ｊの値を１つインクリメントし、ステップＳ４０３以降の処理を繰り返す。

このように、以上説明した図３，４のフローチャートに従った処理を行うことで、カラー画像を構成する各画素に対する色成分（ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢ）が確定することになる。そして本実施形態ではこの確定処理を、次のような計算処理で実現することを特徴としている。即ち、第１の感度で撮像された画素の色成分は、この画素の周囲の第１の感度で撮像された画素の色成分を用いた補間計算（第１の計算）で求める。そして、第２の感度で撮像された画素の色成分は、この画素の周囲の第２の感度で撮像された画素の色成分を用いた補間計算（第２の計算）で求める。

このように、本実施形態によれば、感度の異なる画素を同一センサ上に配置する場合であっても、最も解像度の高い色フィルタと多色の相関を利用して補間することにより、サンプリングできない部分の解像度を一部復元することができる。また、一つの感度画素からのみデモザイクするため、飽和不飽和に関わらず、安定した解像度を得ることができる。

［第２の実施形態］
本実施形態は、上記のデモザイク部１０９の構成及び動作のみが第１の実施形態と異なる。本実施形態に係るデモザイク部１０９は図５に示すような構成を有する。飽和判定部５０１は、カラー画像を構成する画素毎に画素値が飽和しているか否かを判断する。そして、画素値が飽和している画素については第１補間部５０２が動作し、画素値が飽和していない画素については第２補間部５０３が動作する。

ここで、第２補間部５０３は、第１の実施形態で説明したデモザイク部１０９の動作と同じであるので、以下では第１補間部５０２の動作について触れ、第２補間部５０３の動作については省略する。また、以下の説明では、第１の実施形態との差分についてのみ触れており、以下に説明する点以外は第１の実施形態と同じである。

本実施形態に係るデモザイク部１０９が、カラー画像を構成する各画素のＤＧ値を求める為の処理について、同処理のフローチャートを示す図６を用いて説明する。なお、以下の説明では、ＤＧ（ｉ、ｊ）には予め画素値Ｐ（ｉ、ｊ）が格納されているものとして説明する。

ステップＳ６０１ではデモザイク部１０９は、自身が有する若しくは管理するメモリ内に、後述する処理を行う為のメモリ領域を確保すると共に、上記のカラー画像上の画素位置を示す変数ｉ，ｊを共に０に初期化する。

ステップＳ６０２ではデモザイク部１０９は、図２に示したような、イメージセンサ１０３上の各位置に、ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢの何れの固体撮像素子が配されているのかを示すマップ情報（フィルタ配列）を上記メモリから読み出す。

ステップＳ６０３ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＧであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。

ステップＳ６０３における判断の結果、固体撮像素子ＬＧであると判断した場合には処理はステップＳ６０４に進み、固体撮像素子ＬＧではないと判断した場合には処理はステップＳ６０７に進む。

ステップＳ６０４では、デモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ６０５に進み、飽和していないと判断した場合には処理はステップＳ６０６に進む。画素値が飽和しているか否かの判断は、次のようにして行う。即ち、画素値が所定の値以上であれば飽和していると判断し、所定の値よりも小さければ不飽和と判断する。この「所定の値」は特に限定するものではないが、ここでは便宜上、センサーアナログ値の最大値を用いるものとして説明することにする。

ステップＳ６０５では、デモザイク部１０９は第１補間部５０２を動作させるので、第１補間部５０２は、後述する補間処理を行い、画素位置（ｉ、ｊ）における画素のＤＧ値＝ＤＧ（ｉ、ｊ）を求める。本ステップにおいて第１補間部５０２が行う処理の詳細については後述する。

ステップＳ６０６では、デモザイク部１０９は第２補間部５０３を動作させるので、第２補間部５０３は、第１の実施形態で説明したデモザイク部１０９の動作と同様の動作を行い、画素位置（ｉ、ｊ）における画素のＤＧ値＝ＤＧ（ｉ、ｊ）を求める。

そしてステップＳ６０７ではデモザイク部１０９は変数ｉの値がpel−１と同じか否かを判断する。そして同じと判断した場合には処理はステップＳ６０８に進み、同じではないと判断した場合には、変数ｉの値を１つインクリメントし、ステップＳ６０３以降の処理を繰り返す。

ステップＳ６０８ではデモザイク部１０９は、変数ｊの値がline−１よりも大きいか否かを判断する。そしてｊ＞line−１と判断した場合には処理はステップＳ６０９に進む。一方、ｊ≦line−１と判断した場合には、変数ｉの値を０に初期化すると共に変数ｊの値を１つインクリメントし、ステップＳ６０３以降の処理を繰り返す。

ステップＳ６０９ではデモザイク部１０９は、変数ｉ、ｊの値を共に０に初期化する。ステップＳ６１０ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＲ若しくは固体撮像素子ＤＢであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。

ステップＳ６１０における判断の結果、固体撮像素子ＤＲ若しくは固体撮像素子ＤＢであると判断した場合には処理はステップＳ６１１に進み、固体撮像素子ＤＲでも固体撮像素子ＤＢでもないと判断した場合には処理はステップＳ６１４に進む。

ステップＳ６１１では、デモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ）若しくは画素位置（ｉ＋１、ｊ）の何れかの画素位置における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ６１２に進み、飽和していないと判断した場合には処理はステップＳ６１３に進む。

ステップＳ６１２では、デモザイク部１０９は第１補間部５０２を動作させるので、第１補間部５０２は、後述する補間処理を行い、画素位置（ｉ、ｊ）における画素のＤＧ値＝ＤＧ（ｉ、ｊ）を求める。本ステップにおいて第１補間部５０２が行う処理の詳細については後述する。

ステップＳ６１３では、デモザイク部１０９は第２補間部５０３を動作させるので、第２補間部５０３は、第１の実施形態で説明したデモザイク部１０９の動作と同様の動作を行い、画素位置（ｉ、ｊ）における画素のＤＧ値＝ＤＧ（ｉ、ｊ）を求める。

ステップＳ６１４ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＲ若しくは固体撮像素子ＬＢであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。

ステップＳ６１４における判断の結果、固体撮像素子ＬＲ若しくは固体撮像素子ＬＢであると判断した場合には処理はステップＳ６１５に進み、固体撮像素子ＬＲでも固体撮像素子ＬＢでもないと判断した場合には処理はステップＳ６１８に進む。

ステップＳ６１５では、デモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ−１）、（ｉ−１、ｊ＋１）、（ｉ＋１、ｊ−１）、（ｉ＋１、ｊ＋１）の何れかの画素位置における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ６１６に進み、飽和していないと判断した場合には処理はステップＳ６１７に進む。

ステップＳ６１６では、デモザイク部１０９は第１補間部５０２を動作させるので、第１補間部５０２は、後述する補間処理を行い、画素位置（ｉ、ｊ）における画素のＤＧ値＝ＤＧ（ｉ、ｊ）を求める。本ステップにおいて第１補間部５０２が行う処理の詳細については後述する。

ステップＳ６１７では、デモザイク部１０９は第２補間部５０３を動作させるので、第２補間部５０３は、第１の実施形態で説明したデモザイク部１０９の動作と同様の動作を行い、画素位置（ｉ、ｊ）における画素のＤＧ値＝ＤＧ（ｉ、ｊ）を求める。

そしてステップＳ６１８ではデモザイク部１０９は変数ｉの値がpel−１と同じか否かを判断する。そして同じと判断した場合には処理はステップＳ６１９に進み、同じではないと判断した場合には、変数ｉの値を１つインクリメントし、ステップＳ６１０以降の処理を繰り返す。

ステップＳ６１９ではデモザイク部１０９は、変数ｊの値がline−１よりも大きいか否かを判断する。そしてｊ＞line−１と判断した場合には本処理を終了させる。一方、ｊ≦line−１と判断した場合には、変数ｉの値を０に初期化すると共に変数ｊの値を１つインクリメントし、ステップＳ６１０以降の処理を繰り返す。

次に、第１補間部５０２が行う処理について、同処理のフローチャートを示す図７を用いて説明する。ステップＳ７０３では、第１補間部５０２は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＧであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。

係る判断の結果、固体撮像素子ＬＧである場合には処理はステップＳ７０４に進み、固体撮像素子ＬＧではない場合には処理はステップＳ７０５に進む。ステップＳ７０４では、第１補間部５０２は式１５を計算することで、ＤＧ（ｉ、ｊ）を確定させる。

ここで、αはゲインを表す定数（０＜α≦１）であり、予め設定されているものとする。ステップＳ７０５では、第１補間部５０２は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＲ若しくは固体撮像素子ＤＢであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。

係る判断の結果、固体撮像素子ＤＲ若しくは固体撮像素子ＤＢである場合には処理はステップＳ７０６に進み、ＤＲでもＤＢでもない場合には処理は本処理を終了させる。ステップＳ７０６では第１補間部５０２は、以下の式１６を計算する。この計算により、評価値ｄｅｆｆ５−１、変動評価値ｄｅｆｆ６−１、評価値ｄｅｆｆ７−１を求める。評価値ｄｅｆｆ５−１は、画素位置（ｉ、ｊ）の左上及び右下に隣接する画素に対する評価値である。変動評価値ｄｅｆｆ６−１は、画素位置（ｉ、ｊ）に隣接する左右の画素に対する変動評価値である。評価値ｄｅｆｆ７−１は、画素位置（ｉ、ｊ）の左下及び右上に隣接する画素に対する評価値である。なお、各評価値の算出にて左上、右下の組み合わせのうちいずれか一方が飽和している場合は評価値ｄｅｆｆ５−１の代わりに評価値ｄｅｆｆ５−２を求める。また、左、右の組み合わせのうちいずれか一方が飽和している場合は評価値ｄｅｆｆ６−１の代わりに評価値ｄｅｆｆ６−２を求める。また、左下、右上の組み合わせのうちいずれか一方が飽和している場合は評価値ｄｅｆｆ７−１の代わりに評価値ｄｅｆｆ７−２を求める。ここで、ＭＡＸは最小画素値と最大画素値との差分を表し、画素値が８ビットの場合は２５５、１６ビットの場合は６５５３５となる。

以下では、ｄｅｆｆ５−１、ｄｅｆｆ５−２のうち求めた方をｄｅｆｆ５と表記する。同様に、ｄｅｆｆ６−１、ｄｅｆｆ６−２のうち求めた方をｄｅｆｆ６と表記する。同様に、ｄｅｆｆ７−１、ｄｅｆｆ７−２のうち求めた方をｄｅｆｆ７と表記する。ステップＳ７０６では第１補間部５０２は、ｄｅｆｆ５とｄｅｆｆ６，ｄｅｆｆ７との大小比較を行う。この大小比較の結果、ｄｅｆｆ５＜ｄｅｆｆ６且つｄｅｆｆ５＜ｄｅｆｆ７の条件を満たす場合には、処理はステップＳ７０７に進み、この条件を満たさない場合には、処理はステップＳ７０８に進む。

ステップＳ７０７では第１補間部５０２は、画素位置（ｉ、ｊ）の左上及び右下に隣接する画素の画素値を用いた補間計算を行うことで画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めるべく、以下の式１７を計算する。

ステップＳ７０８では第１補間部５０２は、上記のｄｅｆｆ６とｄｅｆｆ７との大小比較を行う。この大小比較の結果、ｄｅｆｆ６＜ｄｅｆｆ７の場合には処理はステップＳ７０９に進み、ｄｅｆｆ６≧ｄｅｆｆ７の場合には処理はステップＳ７１０に進む。

ステップＳ７０９では第１補間部５０２は、画素位置（ｉ、ｊ）に隣接する左右の画素の画素値を用いた補間計算を行うことで、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めるべく、以下の式１８を計算する。

ステップＳ７１０では第１補間部５０２は、画素位置（ｉ、ｊ）の左下及び右上に隣接する画素の画素値を用いた補間計算を行うことで、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めるべく、以下の式１９を計算する。

ステップＳ７１１では第１補間部５０２は、画素位置（ｉ、ｊ）の左右に隣接する画素の画素値を用いた補間計算を行うことで、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めるべく、以下の式２０を計算する。

このように、本実施形態によれば、感度の異なる画素を同一センサ上に配置する場合であっても、最も解像度の高い色フィルタと多色の相関を利用して補間することにより、サンプリングできない部分の解像度を一部復元することができる。

また、不飽和時には両感度の画素を用いた画素値決定を行うため、より高い解像度を得ることができる。また、片方が飽和している場合でも解像度を向上させる画素補間を行うことができる。

［第３の実施形態］
本実施形態では、第２の実施形態に係るデモザイク部１０９の別の実施形態について説明する。なお、本実施形態では、イメージセンサ１０３上に配置される固体撮像素子は、図９に示した配置分布であることが好ましい。また、以下の説明では、第２の実施形態との差分についてのみ触れており、以下に説明する点以外は第１の実施形態と同じである。

本実施形態に係るデモザイク部１０９が、カラー画像を構成する各画素のＤＧ値を求める為の処理について、同処理のフローチャートを示す図８を用いて説明する。なお、以下の説明では、ＤＧ（ｉ、ｊ）には予め画素値Ｐ（ｉ、ｊ）が格納されているものとして説明する。

ステップＳ８０１ではデモザイク部１０９は、自身が有する若しくは管理するメモリ内に、後述する処理を行う為のメモリ領域を確保すると共に、上記のカラー画像上の画素位置を示す変数ｉ，ｊを共に０に初期化する。

ステップＳ８０２ではデモザイク部１０９は、図９に示したような、イメージセンサ１０３上の各位置に、ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢの何れの固体撮像素子が配されているのかを示すマップ情報（フィルタ配列）を上記メモリから読み出す。

ステップＳ８０３ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＧであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。

ステップＳ８０３における判断の結果、固体撮像素子ＤＧでないと判断した場合には処理はステップＳ８０４に進み、固体撮像素子ＤＧであると判断した場合には処理はステップＳ８１１に進む。

ステップＳ８０４ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＧであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。

ステップＳ８０４における判断の結果、固体撮像素子ＬＧでないと判断した場合には処理はステップＳ８１２に進み、固体撮像素子ＬＧであると判断した場合には処理はステップＳ８０５に進む。

ステップＳ８０５では、デモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ８０６に進み、飽和していないと判断した場合には処理はステップＳ８１０に進む。

ステップＳ８０６では第１補間部５０２は、以下の式２１を計算する。この計算により、画素位置（ｉ、ｊ）の左上及び右下に隣接する画素に対する評価値ｄｅｆｆ８、画素位置（ｉ、ｊ）の左下及び右上に隣接する画素に対する変動評価値ｄｅｆｆ９を求める。

ステップＳ８０７では、ｄｅｆｆ８とｄｅｆｆ９との大小比較を行い、ｄｅｆｆ８＜ｄｅｆｆ９であれば処理はステップＳ８０８に進み、ｄｅｆｆ８≧ｄｅｆｆ９であれば処理はステップＳ８０９に進む。

ステップＳ８０８では第１補間部５０２は、以下の式２２を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を、求めることができる。

ステップＳ８０９では第１補間部５０２は、以下の式２３を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を、求めることができる。

ステップＳ８１０では第１補間部５０２は、以下の式２４を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を、求めることができる。

そしてステップＳ８１１ではデモザイク部１０９は、ＤＧ（ｉ、ｊ）に画素値Ｐ（ｉ、ｊ）を代入する。そしてステップＳ８１２ではデモザイク部１０９は、変数ｉの値がpel−１と同じか否かを判断する。そして同じと判断した場合には処理はステップＳ８１３に進み、同じではないと判断した場合には、変数ｉの値を１つインクリメントし、ステップＳ８０３以降の処理を繰り返す。

ステップＳ８１３ではデモザイク部１０９は、変数ｊの値がline−１よりも大きいか否かを判断する。そしてｊ＞line−１と判断した場合には処理はステップＳ８１４に進む。一方、ｊ≦line−１と判断した場合には、変数ｉの値を０に初期化すると共に変数ｊの値を１つインクリメントし、ステップＳ８０３以降の処理を繰り返す。

ステップＳ８１３ではデモザイク部１０９は、変数ｉ、ｊを共に０に初期化する。ステップＳ８１４ではデモザイク部１０９は、画素位置（ｉ、ｊ）がＤＧかＬＧであるかを判定し、ＤＧあるいはＬＧであると判断されれば、ステップＳ８２５へ進み、そうでないと判断されれば、ステップＳ８１６へ進む
ステップＳ８１６ではデモザイク部１０９は、画素位置（ｉ−２、ｊ）、（ｉ＋２、ｊ）、（ｉ、ｊ）、（ｉ、ｊ−２）、（ｉ、ｊ＋２）の何れかに対応するイメージセンサ１０３上の位置の固体撮像素子が飽和しているか否かを判断する。この判断は、ステップＳ８０５と同様にして行う。そして飽和していると判断した場合には処理はステップＳ８１７に進み、飽和していないと判断した場合には処理はステップＳ８２１に進む。

ステップＳ８１７では第１補間部５０２は、以下の式２５を計算する。この計算により、画素位置（ｉ、ｊ）の上下に隣接する画素に対する評価値ｄｅｆｆ１０、画素位置（ｉ、ｊ）の左右に隣接する画素に対する変動評価値ｄｅｆｆ１１を求める。

ステップＳ８１８ではデモザイク部１０９は、ｄｅｆｆ１０とｄｅｆｆ１１との大小比較を行う。この大小比較の結果、ｄｅｆｆ１０＜ｄｅｆｆ１１の場合には処理はステップＳ８１９に進み、ｄｅｆｆ１０≧ｄｅｆｆ１１の場合には処理はステップＳ８２０に進む。

ステップＳ８１９では第１補間部５０２は、以下の式２６を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めることができる。

ステップＳ８２０では第１補間部５０２は、以下の式２７を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めることができる。

ステップＳ８２１では第２補間部５０３は、以下の式２８を計算する。この計算により、画素位置（ｉ、ｊ）の上下方向に隣接する画素に対する評価値ｄｅｆｆ１２、画素位置（ｉ、ｊ）の左右方向に隣接する画素に対する変動評価値ｄｅｆｆ１３を求める。

ステップＳ８２２ではデモザイク部１０９は、ｄｅｆｆ１２とｄｅｆｆ１３との大小比較を行う。この大小比較の結果、ｄｅｆｆ１２＜ｄｅｆｆ１３の場合には処理はステップＳ８２３に進み、ｄｅｆｆ１２≧ｄｅｆｆ１３の場合には処理はステップＳ８２４に進む。

ステップＳ８２３では第２補間部５０３は、以下の式２９を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めることができる。

ステップＳ８２４では第１補間部５０３は、以下の式３０を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＧ（ｉ、ｊ）を求めることができる。

そしてステップＳ８２５ではデモザイク部１０９は、変数ｉの値がpel−１と同じか否かを判断する。そして同じと判断した場合には処理はステップＳ８２６に進み、同じではないと判断した場合には、変数ｉの値を１つインクリメントし、ステップＳ８１５以降の処理を繰り返す。

ステップＳ８２６ではデモザイク部１０９は、変数ｊの値がline−１よりも大きいか否かを判断する。そしてｊ＞line−１と判断した場合には本処理を終了させる。一方、ｊ≦line−１と判断した場合には、変数ｉの値を０に初期化すると共に変数ｊの値を１つインクリメントし、ステップＳ８１５以降の処理を繰り返す。

次に、本実施形態に係るデモザイク部１０９が、カラー画像を構成する各画素のＤＲ，ＤＢ値を求める為の処理について、同処理のフローチャートを示す図１０を用いて説明する。

ステップＳ１００１ではデモザイク部１０９は、自身が有する若しくは管理するメモリ内に、後述する処理を行う為のメモリ領域を確保すると共に、上記のカラー画像上の画素位置を示す変数ｉ，ｊを共に０に初期化する。

ステップＳ１００２ではデモザイク部１０９は、図９に示したような、イメージセンサ１０３上の各位置に、ＤＲ、ＤＧ、ＤＢ、ＬＲ、ＬＧ、ＬＢの何れの固体撮像素子が配されているのかを示すマップ情報（フィルタ配列）を上記メモリから読み出す。

ステップＳ１００３ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＧであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。画素位置（ｉ、ｊ）がＤＧであれば処理はステップＳ１００４に進み、ＤＧでなければ処理はステップＳ１００７に進む。

ステップＳ１００４では、デモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ）もしくは画素位置（ｉ＋１、ｊ）もしくは画素位置（ｉ、ｊ−１）もしくは画素位置（ｉ、ｊ＋１）における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ１００５に進み、飽和していないと判断した場合には処理はステップＳ１００６に進む。

ステップＳ１００５では第１補間部５０２は、以下の式３１を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。

ステップＳ１００６では第２補間部５０３は、以下の式３２を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。

ステップＳ１００７ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＲであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。画素位置（ｉ、ｊ）がＬＲであれば処理はステップＳ１００８に進み、ＬＲでなければ処理はステップＳ１０１１に進む。

ステップＳ１００８ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ１００９に進み、飽和していないと判断した場合には処理はステップＳ１０１０に進む。

ステップＳ１００９では第１補間部５０２は、以下の式３３を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。

ステップＳ１０１０では第２補間部５０３は、以下の式３４を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。

ステップＳ１０１１ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＢであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。画素位置（ｉ、ｊ）がＬＢであれば処理はステップＳ１０１２に進み、ＬＢでなければ処理はステップＳ１０１５に進む。

ステップＳ１０１２ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ１０１３に進み、飽和していないと判断した場合には処理はステップＳ１０１４に進む。

ステップＳ１０１３では第１補間部５０２は、以下の式３５を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。

ステップＳ１０１４では第２補間部５０３は、以下の式３６を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。

ステップＳ１０１５ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＬＧであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。画素位置（ｉ、ｊ）がＬＧであれば処理はステップＳ１０１６に進み、ＬＧでなければ処理はステップＳ１０１９に進む。

ステップＳ１０１６ではデモザイク部１０９は、カラー画像上の画素位置（ｉ−１、ｊ）もしくは画素位置（ｉ＋１、ｊ）もしくは画素位置（ｉ、ｊ−１）もしくは画素位置（ｉ、ｊ＋１）における画素の画素値が飽和しているか否かを判断する。係る判断の結果、飽和していると判断した場合には処理はステップＳ１０１７に進み、飽和していないと判断した場合には処理はステップＳ１０１８に進む。

ステップＳ１０１７では第１補間部５０２は、以下の式３７を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。

ステップＳ１０１８では第２補間部５０３は、以下の式３８を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。

ステップＳ１０１９ではデモザイク部１０９は、カラー画像上の画素位置（ｉ、ｊ）に対応するイメージセンサ１０３上の位置の固体撮像素子が固体撮像素子ＤＲであるか否かを、マップ情報を用いて判断する。この判断は、上記のステップＳ３０３と同様にして行う。画素位置（ｉ、ｊ）がＤＲであれば処理はステップＳ１０２０に進み、ＤＲでなければ処理はステップＳ１０２１に進む。

ステップＳ１０２０では第１補間部５０２は、以下の式３９を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。

ステップＳ１０２１では第１補間部５０２は、以下の式４０を計算することで補間計算を行う。これにより、画素位置（ｉ、ｊ）における画素のＤＲ（ｉ、ｊ）、ＤＢ（ｉ、ｊ）を求めることができる。

以上の説明により、本実施形態によれば、感度の異なる画素を同一センサ上に配置する場合であっても、最も解像度の高い色フィルタと多色の相関を利用して補関することにより、サンプリングできない部分の解像度を一部復元することができる。

また、不飽和時には両感度の画素を用いた画素値決定を行うため、より高い解像度を得ることができる。また、片方が飽和している場合でも解像度を向上させる画素補間を行うことができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 第１の感度で色成分を取得する固体撮像素子と、該第１の感度よりも高い第２の感度で色成分を取得する固体撮像素子と、が２次元的に配されたイメージセンサが搭載された撮像装置であって、
   注目画素の前記第１の感度の色成分を、該注目画素の周囲の第１の画素における前記第１の感度で取得した第１の色成分と該注目画素の周囲の第２の画素における前記第１の感度で取得した第２の色成分とを用いた補間計算を行うことで求める第１の計算手段と、
   前記注目画素の前記第２の感度の色成分を、該注目画素の周囲の第３の画素における前記第２の感度で取得した第３の色成分と該注目画素の周囲の第４の画素における前記第２の感度で取得した第４の色成分とを用いた補間計算を行うことで求める第２の計算手段と、
   前記第１の計算手段と前記第２の計算手段とによって全ての画素の色成分が確定したカラー画像を出力する手段と、
   前記注目画素における前記第１の感度で取得した色成分が飽和しているか否かを判断する判断手段と、
   前記判断手段により、前記注目画素における前記第１の感度で取得した色成分が飽和していると判断された場合、前記注目画素における前記第１の感度の色成分を、前記第２の感度の色成分から求める第３の計算手段と
   を備え、
   前記第１の感度で色成分を取得する固体撮像素子は、第１の明るさでＲ成分を取得する固体撮像素子ＤＲと、前記第１の明るさでＧ成分を取得する固体撮像素子ＤＧと、前記第１の明るさでＢ成分を取得する固体撮像素子ＤＢと、からなり、
   前記第２の感度で色成分を取得する固体撮像素子は、前記第１の明るさよりも明るい第２の明るさでＲ成分を取得する固体撮像素子ＬＲと、前記第２の明るさでＧ成分を取得する固体撮像素子ＬＧと、前記第２の明るさでＢ成分を取得する固体撮像素子ＬＢと、からなり、
   前記イメージセンサには、
   前記固体撮像素子ＤＧと前記固体撮像素子ＬＧとから成る固体撮像素子列が１列おきに配されており、
   前記固体撮像素子ＤＲ、前記固体撮像素子ＤＧ、前記固体撮像素子ＤＢ、の数の比は１：２：１であり、前記固体撮像素子ＬＲ、前記固体撮像素子ＬＧ、前記固体撮像素子ＬＢの数の比は１：２：１であり、
   前記第１の計算手段は、
   前記固体撮像素子ＤＧにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第１の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記固体撮像素子ＤＧにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第１の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記第２の計算手段は、
   前記固体撮像素子ＤＧにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第２の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記固体撮像素子ＤＧにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第２の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求める
   ことを特徴とする撮像装置。
2. 前記第１の計算手段は、
   前記固体撮像素子ＬＲにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＬＲにより取得された画素の周辺画素の前記第１の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記固体撮像素子ＬＲにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＬＲにより取得された画素の周辺画素の前記第１の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記第２の計算手段は、
   前記固体撮像素子ＬＲにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＤＧにより取得された画素の前記カラー画像上における画素値とし、
   前記固体撮像素子ＬＲにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＬＲにより取得された画素の周辺画素の前記第２の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求める
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の計算手段は、
   前記固体撮像素子ＬＢにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＬＢにより取得された画素の周辺画素の前記第１の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記固体撮像素子ＬＢにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＬＢにより取得された画素の周辺画素の前記第１の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記第２の計算手段は、
   前記固体撮像素子ＬＢにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＬＢにより取得された画素の周辺画素の前記第２の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記固体撮像素子ＬＢにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＬＢにより取得された画素の前記カラー画像上における画素値とする
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第１の計算手段は、
   前記固体撮像素子ＬＧにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＬＧにより取得された画素の周辺画素の前記第１の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記固体撮像素子ＬＧにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＬＧにより取得された画素の周辺画素の前記第１の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記第２の計算手段は、
   前記固体撮像素子ＬＧにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＬＧにより取得された画素の周辺画素の前記第２の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記固体撮像素子ＬＧにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＬＧにより取得された画素の周辺画素の前記第２の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求める
   ことを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記第１の計算手段は、
   前記固体撮像素子ＤＲにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＤＲにより取得された画素の前記カラー画像上における画素値とし、
   前記固体撮像素子ＤＲにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＤＲにより取得された画素の周辺画素の前記第１の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記第２の計算手段は、
   前記固体撮像素子ＤＲにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＤＲにより取得された画素の周辺画素の前記第２の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記固体撮像素子ＤＲにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＤＲにより取得された画素の前記カラー画像上における画素値とする
   ことを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 前記第１の計算手段は、
   前記固体撮像素子ＤＢにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＤＢにより取得された画素の周辺画素の前記第１の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記固体撮像素子ＤＢにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＤＢにより取得された画素の前記カラー画像上における画素値とし、
   前記第２の計算手段は、
   前記固体撮像素子ＤＢにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＤＢにより取得された画素の周辺画素の前記第２の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記固体撮像素子ＤＢにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＤＢにより取得された画素の周辺画素の前記第２の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求める
   ことを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
7. 第１の感度で色成分を取得する固体撮像素子と、該第１の感度よりも高い第２の感度で色成分を取得する固体撮像素子と、が２次元的に配されたイメージセンサが搭載された撮像装置の制御方法であって、
   前記撮像装置の第１の計算手段が、注目画素の前記第１の感度の色成分を、該注目画素の周囲の第１の画素における前記第１の感度で取得した第１の色成分と該注目画素の周囲の第２の画素における前記第１の感度で取得した第２の色成分とを用いた補間計算を行うことで求める第１の計算工程と、
   前記撮像装置の第２の計算手段が、前記注目画素の前記第２の感度の色成分を、該注目画素の周囲の第３の画素における前記第２の感度で取得した第３の色成分と該注目画素の周囲の第４の画素における前記第２の感度で取得した第４の色成分とを用いた補間計算を行うことで求める第２の計算工程と、
   前記撮像装置の出力手段が、前記第１の計算工程と前記第２の計算工程とによって全ての画素の色成分が確定したカラー画像を出力する工程と、
   前記撮像装置の判断手段が、前記注目画素における前記第１の感度で取得した色成分が飽和しているか否かを判断する判断工程と、
   前記撮像装置の第３の計算手段が、前記判断工程で、前記注目画素における前記第１の感度で取得した色成分が飽和していると判断された場合、前記注目画素における前記第１の感度の色成分を、前記第２の感度の色成分から求める第３の計算工程と
   を備え、
   前記第１の感度で色成分を取得する固体撮像素子は、第１の明るさでＲ成分を取得する固体撮像素子ＤＲと、前記第１の明るさでＧ成分を取得する固体撮像素子ＤＧと、前記第１の明るさでＢ成分を取得する固体撮像素子ＤＢと、からなり、
   前記第２の感度で色成分を取得する固体撮像素子は、前記第１の明るさよりも明るい第２の明るさでＲ成分を取得する固体撮像素子ＬＲと、前記第２の明るさでＧ成分を取得する固体撮像素子ＬＧと、前記第２の明るさでＢ成分を取得する固体撮像素子ＬＢと、からなり、
   前記イメージセンサには、
   前記固体撮像素子ＤＧと前記固体撮像素子ＬＧとから成る固体撮像素子列が１列おきに配されており、
   前記固体撮像素子ＤＲ、前記固体撮像素子ＤＧ、前記固体撮像素子ＤＢ、の数の比は１：２：１であり、前記固体撮像素子ＬＲ、前記固体撮像素子ＬＧ、前記固体撮像素子ＬＢの数の比は１：２：１であり、
   前記第１の計算工程では、
   前記固体撮像素子ＤＧにより取得された画素の前記第１の明るさのＲ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第１の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記固体撮像素子ＤＧにより取得された画素の前記第１の明るさのＢ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第１の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記第２の計算工程では、
   前記固体撮像素子ＤＧにより取得された画素の前記第２の明るさのＲ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第２の明るさのＲ成分及びＧ成分を用いた補間計算を行うことで求め、
   前記固体撮像素子ＤＧにより取得された画素の前記第２の明るさのＢ成分を、前記固体撮像素子ＤＧにより取得された画素の周辺画素の前記第２の明るさのＢ成分及びＧ成分を用いた補間計算を行うことで求める
   ことを特徴とする撮像装置の制御方法。

Images