図1は、本発明の一実施の形態であるディジタルスチルカメラの構成例を示している。当該ディジタルスチルカメラは、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
光学系は、被写体の光画像を集光するレンズ1、光画像の光量を調整する絞り2、および、集光された光画像を光電変換して広ダイナミックレンジの電気信号に変換するCCDイメージセンサ4から構成される。
信号処理系は、CCDイメージセンサ4からの電気信号をサンプリングすることによってノイズを低減させる相関2重サンプリング回路(CDS)5、相関2重サンプリング回路5が出力するアナログ信号をディジタル信号に変換するA/Dコンバータ6、A/Dコンバータ6から入力されるディジタル信号に所定の画像処理を施す画像処理部7から構成される。なお、画像処理部7が実行する処理の詳細については後述する。
記録系は、画像処理部7が処理した画像信号を符号化してメモリ9に記録し、また、読み出して復号し、画像処理部7に供給するCODEC(Compression/Decompression)8、および、画像信号を記憶するメモリ9から構成される。
表示系は、画像処理部7が処理した画像信号をアナログ化するD/Aコンバータ10、アナログ化された画像信号を後段のディスプレイ12に適合する形式のビデオ信号にエンコードするビデオエンコーダ11、および、入力されるビデオ信号に対応する画像を表示することによりファインダとして機能するLCD(Liquid Crystal Display)等よりなるディスプレイ12から構成される。
制御系は、CCDイメージセンサ4乃至画像処理部7の動作タイミングを制御するタイミングジェネレータ(TG)3、ユーザがシャッタタイミングやその他のコマンドを入力する操作入力部13、および、ドライブ15を制御して磁気ディスク16、光ディスク17、光磁気ディスク18、または半導体メモリ19に記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、操作入力部13から入力されるユーザからのコマンド等に基づいてディジタルスチルカメラの全体を制御するCPU(Central Processing Unit)などよりなる制御部14から構成される。
当該ディジタルスチルカメラにおいて、被写体の光学画像(入射光)は、レンズ1および絞り2を介してCCDイメージセンサ4に入射され、CCDイメージセンサ4によって光電変換され、得られた電気信号は、相関2重サンプリング回路5によってノイズが除去され、A/Dコンバータ6によってディジタル化された後、画像処理部7が内蔵する画像メモリに一時格納される。
なお、通常の状態では、タイミングジェネレータ3による信号処理系に対する制御により、画像処理部7が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部7が内蔵する画像メモリの画像信号は、D/Aコンバータ10によってアナログ信号に変換され、ビデオエンコーダ11によってビデオ信号に変換されて対応する画像がディスプレイ12に表示される。
ディスプレイ12は、当該ディジタルスチルカメラのファインダの役割も担っている。ユーザが操作入力部13に含まれるシャッタボタンを押下した場合、制御部14は、タイミングジェネレータ3に対し、シャッタボタンが押下された直後の画像信号を取り込み、その後は画像処理部7の画像メモリに画像信号が上書きされないように信号処理系を制御させる。その後、画像処理部7の画像メモリに書き込まれた画像データは、CODEC8によって符号化されてメモリ9に記録される。以上のようなディジタルスチルカメラの動作によって、1枚の画像データの取り込みが完了する。
次に、当該ディジタルスチルカメラの動作の概要について、図2を参照して説明する。当該ディジタルスチルカメラは、CCDイメージセンサ4を中心とする光学系の撮像処理によって、被写体を画素毎に異なる色と感度で撮像し、色と感度がモザイク状になった画像(以下、色・感度モザイク画像と記述し、その詳細は後述する)を得る。その後、画像処理部7を中心とする信号処理系により、撮像処理によって得られた画像が、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換される。以下、色・感度モザイク画像を、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換させる画像処理部7を中心とする信号処理系の処理を、デモザイク処理とも記述する。
例えば、図3に示すような被写体を撮影した場合、撮像処理によって図4に示すような色・感度モザイク画像が得られ、画像処理によって各画素が全ての色成分と均一の感度を有する画像に変換される。すなわち、図4に示す色・感度モザイク画像から図3に示す被写体の元の色を復元する。
次に、色・感度モザイク画像を構成する画素の色成分および感度の配列パターン(以下、色・感度モザイクパターンと記述する)P1乃至14を図5乃至図18に示す。なお、色・感度モザイクパターンを構成する色の組み合わせとしては、R(赤)、G(緑)、およびB(青)からなる3色の組み合わせの他、Y(黄)、M(マゼンタ)、C(シアン)、およびG(緑)からなる4色の組み合わせがある。感度の段階としては、S0およびS1から成る2段階の他、感度S2を追加した3段階や、さらに、感度S3を追加した4段階がある。なお、図5乃至図14においては、各正方形が1画素に対応しており、英文字がその色を示し、英文字の添え字として数字がその感度を示している。例えば、G0と表示された画素は、色がG(緑)であって感度がS0であることを示している。また、感度については数字が大きいほど、より高感度であるとする。
色・感度モザイクパターンP1乃至P14は、以下に示す第1乃至第4の特徴によって分類することができる。
第1の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されていることである。第1の特徴について、図5に示す色・感度モザイクパターンP1を参照して説明する。
図5の色・感度モザイクパターンP1において、感度に拘わらず色がRである画素に注目した場合、図面を右回りに45度だけ回転させた状態で見れば明らかなように、それらは、水平方向には21/2の間隔で、垂直方向には23/2の間隔で格子状の配置されている。また、感度に拘わらず色がBである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色がGである画素に注目した場合、それらは、水平方向および垂直方向に21/2の間隔で格子状の配置されている。
第1の特徴は、図5に示す色・感度モザイクパターンP1の他、色・感度モザイクパターンP2,P4,P6,P8,P9,P10,P11,P13が有している。
第2の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する4画素の合計5画素が有する色の中に、当該色・感度モザイクパターンに含まれる全ての色が含まれることである。
第2の特徴は、図7に示す色・感度モザイクパターンP3の他、色・感度モザイクパターンP5,P7,P8,P9,P12,P14が有している。
第3の特徴は、第1の特徴を有しており、さらに、3種類の色が用いられていて、それらがベイヤ(Bayer)配列をなしていることである。第3の特徴について、図6に示す色・感度モザイクパターンP2を参照して説明する。
図6の色・感度モザイクパターンP2において、感度に拘わらず色がGである画素に注目した場合、それらは1画素おきに市松状に配置されている。感度に拘わらず色がRである画素に注目した場合、それらは1ラインおきに配置されている。また、感度に拘わらず色がBである画素に注目した場合も同様に、1ラインおきに配置されている。したがって、このパターンP2は、画素の色だけに注目すれば、ベイヤ配列であるといえる。
なお、第3の特徴は、図6の色・感度モザイクパターンP2の他、色・感度モザイクパターンP10,P11が有している。
第4の特徴は、第2の特徴を有しており、さらに、同一の感度を有する画素に注目した場合、それらの配列がベイヤ配列をなしていることである。第4の特徴について、図7に示す色・感度モザイクパターンP3を参照して説明する。
図7の色・感度モザイクパターンP3において、感度S0の画素だけに注目した場合、図面を斜め45度だけ傾けて見れば明らかなように、それらは21/2の間隔を空けてベイヤ配列をなしている。また、感度S1の画素だけに注目した場合も同様に、それらはベイヤ配列をなしている。
なお、第4の特徴は、図7の色・感度モザイクパターンP3の他、色・感度モザイクパターンP5,P12が有している。
ところで、以下、図5乃至図18に示した色・感度モザイクパターンP1乃至P14に関連し、画素の感度に拘わらず色だけに注目して「色のモザイク配列」と記述する。また、色に拘わらず感度だけに注目して「感度のモザイク配列」と記述する。
次に、CCDイメージセンサ4において上述した色・感度モザイクパターンを実現する方法について説明する。
色・感度モザイクパターンのうち、色のモザイク配列については、CCDイメージセンサ4の受光素子の上面に、画素毎に異なる色の光だけを透過させるオンチップカラーフィルタを配置することによって実現する。
色・感度モザイクパターンのうち、感度のモザイク配列については、光学的な方法、または電子的な方法によって実現する。
感度のモザイク配列を光学的に実現する方法について説明する。図19は、CCDイメージセンサ4の受光素子の断面を示している。受光素子の上部表面には、オンチップレンズ21が形成されている。オンチップレンズ21は、図面上方からの入射光がフォトダイオード(PD)23に集光されるようになされている。オンチップカラーフィルタ22は、入射光の波長帯域を制限する(特定の波長帯域だけを透過させる)。受光素子の下部には、ウェハ中にフォトダイオード23が形成されている。フォトダイオード23は、入力された光量に対応して電荷を生じる。フォトダイオード23の両脇には、垂直レジスタ26が形成されている。垂直レジスタ26の上部には、垂直レジスタ26を駆動する垂直レジスタ駆動電極25が配線されている。
垂直レジスタ25は、フォトダイオード23で生じた電荷を転送する領域であるので、そこで電荷が生じることがないように、垂直レジスタ26と垂直レジスタ駆動電極25はシールド24によって遮光されている。シールド24は、フォトダイオード23の上部だけが開口しており、その開口部分を入射光が通過してフォトダイオード23に到達するようになされている。
以上説明したように構成されるCCDイメージセンサ4を利用して、各受光素子の感度を変えることができる(フォトダイオード23に対する入射光量を変化させることができる)。
例えば、図20に示すように、オンチップレンズ21の設置の有無により、集光される光量を変化させることができる。また、例えば図21に示すように、オンチップカラーフィルタ22の上方(または下方)にニュートラルデンシティフィルタ31を設置することにより、光の透過率を変えることができる。また、例えば図22に示すように、シールド24の開口部分の面積を変化させることにより、フォトダイオード23に対する入射光量を変化させることができる。
次に、感度のモザイク配列を電子的に実現する2種類の方法について説明する。
例えば、隣接する2つの受光素子(第1および第2の受光素子)に対し、制御のタイミングを違えることにより、2つの受光素子を異なる感度に設定する第1の方法について、図23を参照して説明する。
図23の第1段目は、CCDイメージセンサ4の露光期間を示している。同図の第2段目は、電荷掃き出しを指令するパルス電圧のタイミングを示している。同図の第3段目は、電荷転送を指令する制御電圧が与えられるタイミングを示している。同図の第4段目は、第1の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。同図の第5段目は、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第1の受光素子に蓄積される電荷量の変化を示している。同図の第6段目は、第2の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。同図の第7段目は、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第2の受光素子に蓄積される電荷量の変化を示している。
感度のモザイク配列を電子的に実現する第1の方法において、電荷掃き出しパルス電圧は、第1および第2の受光素子に対し共通して、露光期間以外においては、フォトダイオード23から電荷を掃き出しさせる(リセットさせる)ように供給され、露光期間中においては、所定のタイミングで1回だけ電荷をリセットするために供給される。
電荷転送電圧は、露光期間以外においては、第1および第2の受光素子に対し共通して垂直レジスタ26に電荷を転送させるための波形電圧が供給され、露光期間中においては、垂直レジスタ26からの電荷の転送が停止されるように電荷転送電圧は供給されない。
電荷読み出しパルス電圧は、各受光素子に対して異なるタイミングで供給される。第1の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミング(同図の第2段目)の直前に、1回目の電荷読み出しパルス電圧が供給され、露光期間中の終了の直前に2回目の電荷読み出しパルス電圧が供給される。
その結果、第1の受光素子からは、1回目および2回目の電荷読み出しパルス電圧の供給タイミングのそれぞれにおける第1の受光素子の蓄積電荷量が垂直レジスタ26に読み出される。なお、露光期間中は垂直レジスタ26の電荷の転送は停止されているので、それら2回の読み出し電荷量が垂直レジスタ26内で加算され、露光期間終了後に同じフレームのデータとして垂直レジスタ26から転送されるようになされている。
一方、第2の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミングの直前に1回だけ電荷読み出しパルス電圧が供給される。その結果、第2の受光素子からは、1回だけの電荷読み出しパルス電圧の供給タイミングにおける第2の受光素子の蓄積電荷量が垂直レジスタ26に読み出される。なお、露光期間中は垂直レジスタ26の電荷の転送は停止されているので、第2の受光素子から読み出された蓄積電荷は、露光期間終了後に、第1の受光素子から読み出された蓄積電荷と同じフレームのデータとして垂直レジスタ26から転送されるようになされている。
以上のように、第1の受光素子と第2の受光素子とに対する制御タイミングをそれぞれ違えることにより、同じ露光期間中に第1の受光素子から読み出される蓄積電荷量と、第2の受光素子から読み出される蓄積電荷量、すなわち感度が異なるように設定することができる。
ところで、感度のモザイク配列を電子的に実現する第1の方法では、受光素子によっては露光期間中の全域にわたる被写体の情報を計測できないという点が問題である。
次に、感度のモザイク配列を電子的に実現する第2の方法について、図24を参照して説明する。同図の第1乃至7段目はそれぞれ、図23の第1乃至7段目と同様に、CCDイメージセンサ4の露光期間、電荷掃き出しを指令するパルス電圧のタイミング、電荷転送を指令する制御電圧が与えられるタイミング、第1の受光素子に対して電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第1の受光素子に蓄積される電荷量の変化、第2の受光素子に対する電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第2の受光素子に蓄積される電荷量の変化を示している。
感度のモザイク配列を電子的に実現する第2の方法においては、露光期間中において、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が複数回繰り返して供給される。
すなわち、電荷掃き出しパルス電圧については、第1および第2の受光素子に対し共通して露光期間中において、1回目の電荷掃き出しパルス電圧と2回目の電荷掃き出しパルス電圧の組が複数回供給される。電荷読み出しパルス電圧については、第1の受光素子に対しては、1回目および2回目の電荷掃き出しパルス電圧の組毎に、1回目の電荷掃き出しパルス電圧の直前に1回目の電荷読み出しパルス電圧が供給され、2回目の電荷掃き出しパルス電圧の直前に2回目の電荷読み出しパルス電圧が供給される。一方、第2の受光素子に対しては、電荷掃き出しパルス電圧の組毎に、1回目の電荷掃き出しパルス電圧の直前に1回だけ電荷読み出しパルス電圧が供給される。
その結果、第1の受光素子からは、1回目および2回目の電荷掃き出しパルス電圧の組毎に、1回目の電荷読み出しパルス電圧の供給タイミングにおける第1の受光素子の蓄積電荷量と、2回目の電荷読み出しパルス電圧の供給タイミングにおける第1の受光素子の蓄積電荷量が読み出される。なお、露光期間中は、垂直レジスタ26の電荷の転送が停止されているので、これら組ごとに2回ずつ読み出された電荷量は、垂直レジスタ26で加算される。第2の受光素子からは、1回目および2回目の電荷掃き出しパルス電圧の組毎に1回だけ供給される電荷読み出しパルス電圧の供給タイミングにおける第2の受光素子の蓄積電荷量が読み出される。これら組ごとに1回ずつ読み出された電荷量は、垂直レジスタ26で加算される。
以上説明したような感度のモザイク配列を電子的に実現する第2の方法では、露光期間において電荷の読み出しを複数回繰り返すので、露光期間中の全域にわたる被写体の情報を計測することが可能となる。
なお、上述した感度のモザイク配列を電子的に実現する第1および第2の方法に関連し、一般的に、CCDイメージセンサ4の読み出し制御は、水平ライン毎に配線される垂直レジスタ駆動電極25に印加される。例えば、図5に示した色・感度モザイクパターンP1のように、水平ライン毎に感度が変わるような感度のモザイク配列を実現するためには、その電極構造を利用すればよいので、ラインごとに異なる読み出しパルス電圧がかけられるような若干の改良をおこなえばよい。さらに、3相駆動の垂直レジスタを持つプログレッシブスキャンのCCDイメージセンサにおいては、その電極構造を工夫することによって、2段階感度による任意のモザイク配列を電子的に実現できる。
図25は、2段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第1の電極構造を示している。図26は、図25の図中の線分aa’におけるCCDイメージセンサの断面図を示している。第1相垂直レジスタ駆動電極42および第2相垂直レジスタ駆動電極43は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。一方、第3相垂直レジスタ駆動電極44は、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。また、第2相垂直レジスタ駆動電極43および第3相垂直レジスタ駆動電極44は、対応するフォトダイオ−ド23に隣接する読み出しゲ−ト41上にもかかるようになされている。
したがって、第2相垂直レジスタ駆動電極43、または第3相垂直レジスタ駆動電極44に読み出しパルスを印加した場合、読み出しゲ−ト41のバリアを一時的に取り除き、対応するフォトダイオ−ド23に蓄積されている電荷を垂直レジスタ26に転送することが可能である。以下、図25および図26に示した電極構造をOR型の電極構造と記述する。
図27は、2段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第2の電極構造を示している。図27の図中の線分aa’におけるCCDイメージセンサの断面も、図26に示した断面図と同様である。すなわち、第2の電極構造においても、第1の電極構造と同様に、第1相垂直レジスタ駆動電極42および第2相垂直レジスタ駆動電極43は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。第3相垂直レジスタ駆動電極44は、第1の電極構造と同様に、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。
しかしながら、第3相垂直レジスタ駆動電極44が対応するフォトダイオ−ド23に隣接する読み出しゲート41上において、当該フォトダイオ−ド23の辺縁部分に沿って配置され、次いでそれに隣接するように第2相垂直レジスタ駆動電極43の細長く加工された部分が読み出しゲート41にかかるようになされている点が第1の電極構造と異なる。
したがって、第2相垂直レジスタ駆動電極43および第3相垂直レジスタ駆動電極44のうち、一方だけに読み出しパルスを印加した場合、読み出しゲ−ト41のバリアを取り除くことができない。読み出しゲ−ト41のバリアを取り除き、フォトダイオ−ド23に蓄積されている電荷を垂直レジスタ26に転送するためには、第2相垂直レジスタ駆動電極43と第3相垂直レジスタ駆動電極44に同時に読み出しパルスを印加する必要がある。以下、図27に示した電極構造をAND型の電極構造と記述する。
以上説明したOR型の電極構造とAND型の電極構造を1つのCCDイメージセンサ内で組み合わせて使うことにより、2段階感度による任意のモザイク配列をつくることができる。例えば、図5に示した色・感度モザイクパターンP1のうち、感度のモザイク配列を実現するためには、図28に示すようにOR型の電極構造とAND型の電極構造を組み合わせればよい。
図5と図28を比較すれば明らかなように、2段階の感度S0,S1のうち、低感度S0画素にはAND型の電極構造を採用し、高感度S1の画素にはOR型の電極構造を採用するようにする。このようにOR型とAND型の電極構造を組み合わせて構成したCCDイメージセンサ4に対し、その第2相垂直レジスタ駆動電極43に読み出しパルス電圧を印加すれば、OR型の画素だけで電荷読み出しがおこなわれ、第2相垂直レジスタ駆動電極43および第3相垂直レジスタ駆動電極44に同時に読みだしパルス電圧を印加すれば、OR型とAND型の両方、すなわち全ての画素で電荷読み出しがおこなわれるようになる。
なお、第2相垂直レジスタ駆動電極43、および第3相垂直レジスタ駆動電極44に対するパルス電圧の供給タイミングは、図23(または図24)に示した制御タイミングのうち、同図(D)の1回目の電荷読み出しパルス電圧の供給タイミングと、同図(F)の電荷読み出しパルス電圧の供給タイミングにおいて、第2相および第3相の両方を駆動し、同図(D)の2回目の電荷読み出しパルス電圧の供給タイミングにおいて第2相だけを駆動するようにすれば、OR型の電極構造の画素は高感度S1となり、AND型の電極構造の画素は低感度S0となる。
同様の方法により、その他の2段階の感度を有する感度のモザイク配列をつくることができる。例えば、図6に示した色・感度モザイクパターンP2のうち、感度のモザイクパターンを実現するためには、OR型とAND型を図29に示すように組み合わせる。図7に示した色・感度モザイクパターンP3のうち、感度のモザイクパターンを実現するためには、OR型とAND型を図30に示すように組み合わせる。図8に示した色・感度モザイクパターンP4のうち、感度のモザイクパターンを実現するためには、OR型とAND型を図31に示すように組み合わせる。図9に示した色・感度モザイクパターンP5のうち、感度のモザイクパターンを実現するためには、OR型とAND型を図32に示すように組み合わせる。
次に、画像処理部7を中心とする画像処理系のデモザイク処理について説明するが、その前に、以下の説明において用いる画素の位置座標の定義について、図33を参照して説明する。
図33は、画像上の画素の位置を示す座標系(x,y)を示している。すなわち、画像の左下端を(0,0)とし、画像の右上端を(xmax,ymax)とする。図中に□で表されている各画素は、長さ1の横幅と縦幅を有し、格子上に配列されている。従って、例えば、左下端の画素の中心の座標は、(0.5,0.5)であり、右上端の画素の中心の座標は(xmax−0.5,ymax−0.5)である。また、以下の説明において、□で表されている各画素に対して位相が縦横に半画素ずれた画像データ(図中に●で表される位置の画素データ)を利用する場合があるが、例えば、左下端の画素に対して縦横に半画素だけ位相がずれた画像データの座標は(1,1)である。
次に、図34は、画像処理部7を中心とする画像処理系の第1のデモザイク処理の概要を示している。
第1のデモザイク処理は、図34に示すように、撮像系の処理によって得られた色・感度モザイク画像の画素の色を変更することなく、感度を均一化して色モザイク画像を生成する感度均一化処理と、色・感度モザイク画像Mの各画素のRGB成分を復元する色補正処理から成る。
第1のデモザイク処理における第1の感度均一化処理の概要について、図35乃至図37を参照して説明する。図35乃至図37は、処理される画像の所定の1ラインの画素配列を示している。X0は、色成分がX(例えば、R(赤))であり、感度が2段階S0,S1のうちのS0であることを示し、X1は、色成分がXであり、感度が2段階S0,S1のうちのS1であることを示し、Y0は、色成分がY(例えば、G(緑))であり、感度が2段階S0,S1のうちのS0であることを示し、Y1は、色成分がYであり、感度が2段階S0,S1のうちのS1であることを示している。感度S0の画素は、入射光の強度を所定の割合で減衰させて測光し、感度S1の画素は、入射光の強度を減衰させることなく測光する。また、同図の横軸は画素のライン上の位置を示しており、縦棒の長さは対応する画素の画素値を示している。
第1のデモザイク処理における第1の感度均一化処理は、2段階の処理に分別することができる。図35は、第1の感度均一化処理を施される前の色・感度モザイク画像の所定の1ラインの画素の画素値を示している。なお、曲線Xは、入射光の色Xの強度分布を示し、曲線Yは、色Yの強度分布を示している。
閾値θHは、CCDイメージセンサ4の飽和レベルを示し、入射光の強度が閾値θHを越える場合、その強度を正確に測定することができず、その測定値は閾値θHと等しい値となる。閾値θLは、CCDイメージセンサ4のノイズレベルを示しており、入射光の強度が閾値θLよりも小さい場合も、その強度を正確に測定することができず、その測定値は閾値θLと等しい値となる。
有効性判別結果は、各画素が入射光の強度を正確に測定できたか否かを示す情報、すなわち、測定された各画素の画素値が有効V(Valid)であるか、無効I(Invalid)であるかを示す情報である。
第1の感度均一化処理の1段階目の処理により、感度S0の画素の画素値は、感度S1に対する感度S0の相対的比率を用いてスケーリングされる。感度S1の画素の画素値はスケーリングされない。図36は、第1の感度均一化処理の1段階目の処理を施した結果を示している。1段階目の処理が施された状態では、同図に示すように、有効性判別結果が有効である画素は、スケーリングによって本来の光強度が復元されるが、無効である画素は、本来の光強度が復元されていない。
そこで、第1の感度均一化処理の2段階目の処理では、無効である画素の画素値を、その近傍の同じ色の有効な画素の画素値を用いて補間する。図37は、第1の感度均一化処理の2段階目の処理を施した結果を示している。例えば、図37の中央の無効であって色Yの画素は、近傍の有効な色Yの画素の画素値を用いて生成される補間曲線Y‘に従って補間される。
次に、第1のデモザイク処理における第2の感度均一化処理の概要について、図35、図38、および図39を参照して説明する。第2の感度均一化処理も、2段階の処理に分別することができる。第2の感度均一化処理が施される前の色・感度モザイク画像の所定の1ラインの画素の画素値は、図35と同様であるとする。
第2の感度均一化処理の1段階目の処理により、各画素の色を変更することなく、感度S0での画素値と、感度S1での画素値が推定される。例えば、色Xであって感度S0の画素については、感度S0での画素値はそのまま用いられ、感度S1での推定値が近傍に存在する色Xであって感度S1の画素の画素値を用いて補間される。図38は、第2の感度均一化処理の1段階目の処理を施した結果を示している。同図に示すように、1段階目の処理が施されたことにより、各画素は、元の色の感度S0の画素値と、感度S1の画素値を有している。
第2の感度均一化処理の2段階目の処理では、画素毎に感度S0の画素値と、感度S1の画素値が合成されて感度が均一化される。図39は、第2の感度均一化処理の2段階目の処理を施した結果を示している。
次に、図40は、画像処理部7を中心とする画像処理系の第2のデモザイク処理の概要を示している。
第2のデモザイク処理は、図40に示すように、撮像系の処理によって得られた色・感度モザイク画像の画素の色を、感度均一化のために最適な色に変更して感度を均一化し、色モザイク画像を生成する感度均一化処理と、色・感度モザイク画像Mの各画素のRGB成分を復元する色補正処理から成る。
第2のデモザイク処理における第1の感度均一化処理の概要について、図35、図41および図42を参照して説明する。
第2のデモザイク処理における第1の感度均一化処理も、2段階の処理に分別することができる。第1の感度均一化処理が施される前の色・感度モザイク画像の所定の1ラインの画素の画素値は、図35と同様であるとする。
第2のデモザイク処理における第1の感度均一化処理の1段階目の処理により、感度S0の画素の画素値は、感度S1に対する感度S0の相対的比率を用いてスケーリングされる。感度S1の画素の画素値はスケーリングされない。図41は、第1の感度均一化処理の1段階目の処理を施した結果を示している。1段階目の処理が施された状態では、同図に示すように、有効性判別結果が有効Vである画素は、スケーリングによって本来の光強度が復元されるが、無効Iである画素は、本来の光強度が復元されていない。
そこで、第2のデモザイク処理における第1の感度均一化処理の2段階目の処理では、無効である画素の画素値を、その色に拘わらず近傍の有効な画素の画素値を用いて補間する。図42は、第1の感度均一化処理の2段階目の処理を施した結果を示している。例えば、図41の中央の無効であって色Yの画素は、図42に示すように、当該画素に隣接する有効な色Xの画素の画素値を用いて生成される補間曲線X‘に基づいて色Xの画素値が補間される。
次に、第2のデモザイク処理における第2の感度均一化処理の概要について、図35、図43、および図44を参照して説明する。第2のデモザイク処理における第2の感度均一化処理も、2段階の処理に分別することができる。第2の感度均一化処理が施される前の色・感度モザイク画像の所定の1ラインの画素の画素値は、図35と同様であるとする。
第2のデモザイク処理における第2の感度均一化処理の1段階目の処理では、各画素に対し、色に拘わらずより近くに位置する近傍の画素の画素値が用いられて感度S0での画素値と、感度S1での画素値が推定される。例えば、色Xの画素の推定値として、当該画素に隣接する画素が色Yである場合、色Yの感度S1での推定値と、感度S1での画素値が補間される。図43は、第2の感度均一化処理の1段階目の処理を施した結果を示している。同図に示すように、1段階目の処理が施されたことにより、各画素は、元の色に拘わらず隣接した画素の色に変更されて、感度S0での画素値と、感度S1での画素値を有している。
第2のデモザイク処理における第2の感度均一化処理の2段階目の処理では、画素毎に感度S0の画素値と、感度S1の画素値が合成されて感度が均一化される。図44は、第2の感度均一化処理の2段階目の処理を施した結果を図44に示す。
次に、第1のデモザイク処理を主に実行する画像処理部7の第1の構成例について、図45を参照して説明する。以下、特に断りがある場合を除き、色・感度モザイク画像は、図6の色・感度モザイクパターンP2である、すなわち、画素の色は3原色RGBのうちのいずれかの色であり、感度はS0,S1のうちの一方であるとする。ただし、以下に説明する構成や動作は、RGB以外の3色から成る色・感度モザイク画像や、4色から成る色・感度モザイク画像に適用することも可能である。
画像処理部7の第1の構成例において、撮像系からの色・感度モザイク画像は、感度均一化部51に供給される。色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報は、感度均一化部51、および色補間部52に供給される。色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度均一化部51に供給される。
感度均一化部51は、色モザイクパターン情報および感度モザイクパターン情報に基づき、色・感度モザイク画像に感度均一化処理を施すことによって、各画素の色が変更されずに感度が均一化された色モザイク画像Mを生成し、色補間部52に出力する。
色補間部52は、感度均一化部51からの色モザイク画像Mに対し、色モザイクパターン情報を用いる色補間処理を施すことによって出力画像R,G,Bを生成する。
なお、色モザイクパターン情報は、色・感度モザイク画像の各画素の色の種類(いまの場合、R,G,Bのいずれかの色)を示す情報であり、画素位置をインデックスとして、その画素が有する色成分の情報を取得できるようになされている。
感度モザイクパターン情報は、色・感度モザイク画像の各画素の感度の種類(いまの場合、S0またはS1)を示す情報であり、画素位置をインデックスとして、その画素の感度の情報を取得できるようになされている。
図46は、感度均一化部51の第1の構成例を示している。当該第1の構成例は、図35乃至図37を参照して説明した第1の感度均一化処理を実行する感度均一化部51の構成例である。
感度均一化部51の第1の構成例において、撮像系からの色・感度モザイク画像は、感度補償部61および有効性判別部63に供給される。色モザイクパターン情報は、欠落補間部64に供給される。感度モザイクパターン情報は、感度補償部61および有効性判別部63に供給される。
感度補償部61は、相対感度値LUT62から得られる相対感度値Sに基づき、色・感度モザイク画像に感度補償を施して欠落補間部64に出力する。相対感度値LUT62は、画素の感度をインデックスとして、相対感度値Sを出力するルックアップテーブルである。
有効性判別部63は、色・感度モザイク画像の各画素の画素値を、飽和レベルの閾値θHおよびノイズレベルのθLと比較することによって画素値の有効性を判別し、その結果を判別情報として欠落補間部64に供給する。判別情報には、各画素の画素値について、有効(Valid)、または無効(Invalid)を示す情報が記述されている。
欠落補間部64は、有効性判別部63からの判別情報に基づき、感度補償された色・感度モザイク画像に欠落補間処理を施すことによって色モザイク画像Mを生成し、後段の色補間部52に出力する。
図47は、色補間部52の構成例を示している。色補間部52において、感度均一化部51からの色モザイク画像Mは、階調変換部71に供給される。色モザイクパターン情報は、色差画像生成部72,73、および輝度画像生成部74に供給される。
階調変換部71は、色モザイク画像Mに対して階調変換処理を施し、得られる変調色モザイク画像Mgを色差画像生成部72,73、および輝度画像生成部74に供給する。階調変換処理としては、具体的にはγ乗のべき算関数による変換等を用いる。
色差画像生成部72は、変調色モザイク画像Mgを用い、全ての画素が色差C(=R−G)成分を有する色差画像Cを生成して輝度画像生成部74および色空間変換部75に供給する。色差画像生成部73は、変調色モザイク画像Mgを用い、全ての画素が色差D(=B−G)成分を有する色差画像Dを生成して輝度画像生成部74および色空間変換部75に供給する。輝度画像生成部74は、変調モザイク画像Mg、色差信号C,Dを用いて輝度画像Lを生成し、色空間変換部75に供給する。
色空間変換部75は、色差画像C,D、および輝度画像Lに色空間変換処理を施し、得られる変調画像(各画素がそれぞれRGB成分を有する画像)を階調逆変換部76乃至78に供給する。
階調逆変換部76は、色空間変換部75からのR成分の画素値を(1/γ)乗することにより、階調変換部71における階調変換の逆変換を施して出力画像Rを得る。階調逆変換部77は、色空間変換部75からのG成分の画素値を(1/γ)乗することにより、階調変換部71における階調変換の逆変換を施して出力画像Gを得る。階調逆変換部78は、色空間変換部75からのB成分の画素値を(1/γ)乗することにより、階調変換部71における階調変換の逆変換を施して出力画像Bを得る。
なお、感度均一化部51から供給される色モザイク画像Mがベイヤ配列を成している場合、色補間部52において、例えば、特開昭61−501424号公報等に開示されている従来の方法を用いて色補間処理を実行するようにしてもよい。
図48は、色差画像生成部72の構成例を示している。色差画像生成部72において、階調変換部71からの変調色モザイク画像Mgは平滑化部81,82に供給される。色モザイクパターン情報も平滑化部81,82に供給される。
平滑化部81は、各画素に対し、R成分を有する近傍の画素の画素値を用いて当該画素のR成分を補間することにより、平滑化されたR成分の画像R’を生成して減算器83に供給する。平滑化部82は、各画素に対し、G成分を有する近傍の画素の画素値を用いて当該画素のG成分を補間することにより、平滑化されたG成分の画像G’を生成して減算器83に供給する。
減算器83は、平滑化部81からの平滑化されるR成分の画像R’の画素値から、平滑化部82からの平滑化されるG成分の画像G’の対応する画素の画素値を減算することにより、色差画像Cを生成して色空間変換部75に供給する。
なお、色差画像生成部73の同様に構成されている。
図49は、輝度画像生成部74の構成例を示している。輝度画像生成部74を構成する輝度算出部91は、階調変換部71からの変調色モザイク画像Mg、色差画像生成部72からの色差画像C、色差画像生成部73からの色差画像D、および色モザイクパターン情報に基づいて各画素の輝度候補値を算出し、各画素の輝度候補値からなる輝度候補値画像Lcをノイズ除去部92に出力する。
ノイズ除去部92は、輝度候補値画像Lcの各画素値(輝度候補値)に平滑化成分(後述)を合成することによってノイズを除去し、得られる輝度画像Lを色空間変換部75に出力する。
次に、図45に示した画像処理部7の第1の構成例による第1のデモザイク処理について、図50のフローチャートを参照して説明する。
ステップS1において、感度均一化部51は、色モザイクパターン情報および感度モザイクパターン情報に基づき、色・感度モザイク画像に感度均一化処理を施し、得られた色モザイク画像Mを色補間部52に出力する。
図46に示した感度均一化部51の第1の構成例による第1の感度均一化処理の詳細について、図51のフローチャートを参照して説明する。
ステップS11において、感度補償部61は、入力された色・感度モザイク画像に感度補償処理を施し、感度補償された色・感度モザイク画像を欠落補間部64に供給する。
感度補償処理の詳細について、図52のフローチャートを参照して説明する。ステップS21において、感度補償部61は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップS22に進む。ステップS22において、感度補償部61は、色・感度モザイク画像の左下の画素から右上の画素まで、順次1画素ずつ注目画素に決定する。
ステップS23において、感度補償部61は、感度モザイクパターン情報を参照することにより、注目画素の感度(S0またはS1)を取得し、さらに、相対感度値LUT62を参照することによって注目画素の感度に対応する相対感度値Sを取得する。
ステップS24において、感度補償部61は、色・感度モザイク画像の注目画素の画素値を相対感度値Sで除算することにより、その画素値の感度を補償する。感度が補償された画素値は、感度補償された色・感度モザイク画像の画素値とされる。
処理は、ステップS21に戻り、全ての画素を注目画素としたと判定されるまで、ステップS21乃至S24の処理が繰り返される。ステップS21において、全ての画素を注目画素としたと判定された場合、処理は図51のステップS12にリターンする。
ステップS12において、有効性判別部63は、色・感度モザイク画像に有効性判別処理を施すことにより、各画素の画素値の有効性を示す判別情報を生成して欠落補間部64に供給する。なお、ステップS12の有効判別処理は、ステップS61の感度補償処理を平行して実行するようにしてもよい。
有効性判別処理の詳細について、図53のフローチャートを参照して説明する。ステップS31において、有効性判別部63は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップS32に進む。ステップS32において、有効性判別部63は、色・感度モザイク画像の左下の画素から右上の画素まで、順次1画素ずつ注目画素に決定する。
ステップS33において、有効性判別部63は、色・感度モザイク画像の注目画素の画素値が、ノイズレベルの閾値θLと飽和レベルの閾値θHの範囲内であるか否かを判定し、閾値の範囲内であると判定した場合、ステップS34に進む。
ステップS34において、有効性判別部63は、注目画素の判別情報を有効とする。処理はステップS31に戻る。
ステップS33において、色・感度モザイク画像の注目画素の画素値が閾値の範囲内ではないと判定した場合、ステップS35に進む。ステップS35において、有効性判別部63は、色・感度モザイク画像の注目画素の画素値が、飽和レベルの閾値θH以上であるか否かを判定し、飽和レベルの閾値θH以上であると判定した場合、ステップS36に進む。
ステップS36において、有効性判別部63は、感度モザイクパターン情報を参照することにより、注目画素が感度S0であるか否かを判定し、感度S0であると判定した場合、ステップS34に進み、注目画素が感度S0ではないと判定した場合、ステップS37に進む。
ステップS37において、有効性判別部63は、注目画素の判別情報を無効とする。処理はステップS31に戻る。
ステップS35において、色・感度モザイク画像の注目画素の画素値が飽和レベルの閾値θH以上ではないと判定した場合、ステップS38に進む。ステップS38において、有効性判別部63は、感度モザイクパターン情報を参照することにより、注目画素が感度S1であるか否かを判定し、感度S1であると判定した場合、ステップS34に進み、注目画素が感度S1ではないと判定した場合、ステップS37に進む。
その後、ステップS31において、全ての画素を注目画素としたと判定されるまで、ステップS31乃至38の処理が繰り返される。ステップS31において、全ての画素を注目画素としたと判定された場合、処理は図51のステップS13にリターンする。
ステップS13において、欠落補間部64は、有効性判別部63からの判別情報に基づき、感度補償された色・感度モザイク画像に欠落補間処理を施し、得られた色モザイク画像Mを色補間部52に供給する。
欠落補間処理の詳細について、図54のフローチャートを参照して説明する。ステップS41において、欠落補間部64は、感度補償された色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップS42に進む。ステップS42において、欠落補間部64は、感度補償された色・感度モザイク画像の左下の画素から右上の画素まで、順次1画素ずつ注目画素に決定する。
ステップS43において、欠落補間部64は、注目画素の判別情報が無効であるか否かを判定し、注目画素の判別情報が無効であると判定した場合、ステップS44に進む。
ステップS44において、欠落補間部64は、色モザイクパターン情報を参照することにより、注目画素の色の種類(いまの場合、RGBのうちのいずれかの色)を判別し、注目画素の近傍の画素(例えば、注目画素を中心とする5×5画素)のうち、注目画素と同じ色であって、かつ、判別情報が有効である画素を検出し、検出した画素(以下、参照画素と記述する)の画素値を抽出する。
ステップS45において、欠落補間部64は、参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。ステップS46において、欠落補間部64は、各参照画素の画素値と、対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を色モザイク画像Mの注目画素の画素値とする。
処理は、ステップS41に戻り、全ての画素を注目画素としたと判定されるまで、ステップS41乃至46の処理が繰り返される。ステップS41において、全ての画素を注目画素としたと判定された場合、処理は図50のステップS2にリターンする。
以上説明したステップS1の感度均一化処理によって得られた色モザイク画像Mに対し、ステップS2において、色補間部52は、色モザイクパターン情報に基づいて色補間処理を施すことにより、出力画像R,G,Bを生成する。
色補間処理の詳細について、図55のフローチャートを参照して説明する。ステップS51において、階調変換部71は、色モザイク画像Mに対して階調変換処理を施す(具体的には、変調色モザイク画像Mgの各画素値をγ乗する)ことにより、変調色モザイク画像Mgを生成して色差画像生成部72,73、および輝度画像生成部74に供給する。
ステップS52において、色差画像生成部72は、階調変換部71からの変調色モザイク画像Mgを用いて色差画像Cを生成し、輝度画像生成部74および色空間変換部75に供給する。一方、色差画像生成部73は、階調変換部71からの変調色モザイク画像Mgを用いて色差画像Dを生成し、輝度画像生成部74および色空間変換部75に供給する。
色差画像生成部72が色差画像Cを生成する第1の処理について、図56のフローチャートを参照して説明する。ステップS61において、平滑化部81,82は、変調色モザイク画像Mgの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップS62に進む。ステップS62において、平滑化部81,82は、変調色モザイク画像Mgの左下の画素から右上の画素まで、順次1画素ずつ注目画素に決定する。
ステップS63において、平滑化部81は、色モザイクパターン情報を参照することにより、注目画素の近傍の画素(例えば、注目画素を中心とする5×5画素)のうち、R成分を有する画素を検出し、検出した画素(以下、参照画素と記述する)の画素値を抽出する。一方、平滑化部82も同様に、色モザイクパターン情報を参照することにより、注目画素の近傍の画素のうち、G成分を有する画素を検出し、検出した画素の画素値を抽出する。
ステップS64において、平滑化部81は、R成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。一方、平滑化部82も同様に、G成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。
ステップS65において、平滑化部81は、R成分を有する各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を平滑化されたR成分だけの画像R’の注目画素に対応する画素値とする。一方、平滑化部82も同様に、G成分を有する各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を平滑化されたG成分だけの画像G’の注目画素に対応する画素値とする。
ステップS66において、減算器83は、平滑化部81からの平滑化されたR成分だけの画像R’の注目画素に対応する画素値から、平滑化部82からの平滑化されたG成分だけの画像G’の注目画素に対応する画素値を減算し、その差を色差画像Cの注目画素に対応する画素値とする。
処理は、ステップS61に戻り、全ての画素を注目画素としたと判定されるまで、ステップS61乃至66の処理が繰り返される。ステップS61において、全ての画素を注目画素としたと判定された場合、処理は図55のステップS53にリターンする。
なお、色差画像生成部73が色差画像Dを生成する処理は、上述した色差画像生成部72が色差画像Cを生成する第1の処理と同様であるので、その説明は省略する。
ステップS53において、輝度画像生成部74は、変調色モザイク画像Mg、色差画像C,Dを用いて輝度画像Lを生成し、色空間変換部75に供給する。
輝度画像生成部74の輝度画像生成処理の詳細について、図57のフローチャートを参照して説明する。ステップS71において、輝度算出部91は、変調色モザイク画像Mgの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップS72に進む。ステップS72において、輝度算出部91は、変調色モザイク画像Mgの左下の画素から右上の画素まで、順次1画素ずつ注目画素に決定する。
ステップS73において、輝度算出部91は、色モザイクパターン情報を参照して、注目画素の色の種類(いまの場合、RGBのいずれかの色)を判定する。
ステップS73において、注目画素の色の種類がRであると判定された場合、処理はステップS74に進む。ステップS74において、輝度算出部91は、変調色モザイク画像Mg、および色差画像C,Dの注目画素に対応する画素値を次式(1)に適用して、輝度候補画像Lcの注目画素に対応する画素値を算出する。
Lc=3Mg−2C+D ・・・(1)
ステップS73において、注目画素の色の種類がGであると判定された場合、処理はステップS75に進む。ステップS75において、輝度算出部91は、変調色モザイク画像Mg、および色差画像C,Dの注目画素に対応する画素値を次式(2)に適用して輝度候補画像Lcの注目画素に対応する画素値を算出する。
Lc=3Mg+C+D ・・・(2)
ステップS73において、注目画素の色の種類がBであると判定された場合、処理はステップS76に進む。ステップS76において、輝度算出部91は、変調色モザイク画像Mg、および色差画像C,Dの注目画素に対応する画素値C,Dを次式(3)に適用して輝度候補画像Lcの注目画素に対応する画素値を算出する。
Lc=3Mg+C−2D ・・・(3)
なお、式(1)乃至(3)において、Lc,Mg,C,Dは、それぞれ、注目画素に対応する輝度候補画像Lc、変調色モザイク画像Mg、色差画像C、色差画像Dの画素値である。
処理はステップS71に戻り、全ての画素を注目画素としたと判定されるまで、ステップS71乃至S76の処理が繰り返される。ステップS71において、全ての画素を注目画素としたと判定された場合、処理はステップS77に進む。
以上説明したステップS71乃至S76の処理によって生成された輝度候補画像Lcはノイズ除去部92に供給される。
ステップS77において、ノイズ除去部92は、変調色モザイク画像Mgの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップS78に進む。ステップS78において、ノイズ除去部92は、変調色モザイク画像Mgの左下の画素から右上の画素まで、順次1画素ずつ注目画素に決定する。
ステップS79において、ノイズ除去部92は、注目画素の上下左右に位置する画素の画素値(輝度候補値)を次式(4)に適用して、注目画素に対応する勾配∇(グラディエント)を算出する。なお、勾配∇は、画像の水平方向と垂直方向の1次微係数を要素とするベクトルである。また、注目画素の上下左右に位置する画素の画素値(輝度候補値)を、それぞれLc(U),Lc(D),Lc(L),Lc(R)とする。
勾配∇=(Lc(R)−Lc(L),Lc(U)−Lc(D))・・・ (4)
ステップS80において、ノイズ除去部92は、注目画素の上下左右に位置する画素の画素値(輝度候補値)を次式(5),(6)に適用して、注目画素に対応する水平方向の平滑化成分Hhと垂直方向の平滑化成分Hvを算出する。
Hh=(Lc(L)+Lc(R))/2 ・・・(5)
Hv=(Lc(U)+Lc(D))/2 ・・・(6)
ステップS81において、ノイズ除去部92は、ステップS79で算出した注目画素に対応する勾配∇の絶対値‖∇‖に対応して、水平方向の平滑化寄与率whと垂直方向の平滑化寄与率wvを算出する。
具体的には、勾配∇の絶対値が0よりも大きい場合、次式(7)に示すように、正規化した勾配∇/‖∇‖とベクトル(1,0)との内積の絶対値を1から減算して水平方向の平滑化寄与率whを得る。また、次式(8)に示すように、正規化した勾配∇/‖∇‖とベクトル(0,1)との内積の絶対値を1から減算して垂直方向の平滑化寄与率wvを得る。
wh=1−|(∇/‖∇‖,(1,0))| ・・・(7)
wv=1−|(∇/‖∇‖,(0,1))| ・・・(8)
勾配∇の絶対値が0である場合、水平方向の平滑化寄与率whおよび垂直方向の平滑化寄与率wvを、それぞれ0.5とする。
ステップS82において、ノイズ除去部92は、次式(9)を用いて注目画素に対応する輝度画像Lの画素値(輝度値)を算出する。
L=Lc+(wh・Hh+wv・Hv)/(wh+wv) ・・・(9)
なお、式(9)において、Lc,Lは、それぞれ、注目画素に対応する輝度候補画像Lc、輝度画像Lの画素値である。
処理はステップS77に戻り、全ての画素を注目画素としたと判定されるまで、ステップS77乃至S82の処理が繰り返される。ステップS77において、全ての画素を注目画素としたと判定された場合、処理は図55のステップS54にリターンする。
ステップS54において、色空間変換部75は、色差画像C,D、および輝度画像Lに色空間変換処理を施すことにより、各画素がそれぞれRGB成分を有する変調画像を生成して階調逆変換部76乃至78に供給する。
色空間変換処理の詳細について、図58のフローチャートを参照して説明する。ステップS91において、色空間変換部75は、輝度画像L(色差画像C、または色差画像Dでもよい)の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップS92に進む。ステップS92において、色空間変換部75は、輝度画像Lの左下の画素から右上の画素まで、順次1画素ずつ注目画素に決定する。
ステップS93において、色空間変換部75は、注目画素に対応する輝度画像L、色差画像C、および色差画像Dの画素値を次式(10),(11),(12)に適用して、注目画素に対応する変調画像のR成分の値Rg、G成分の値Gg、B成分の値Bgを算出する。
Rg=(L+2C−D)/3 ・・・(10)
Gg=(L−C−D)/3 ・・・(11)
Bg=(L−C+2D)/3 ・・・(12)
なお、式(10)乃至(12)において、L,C,Dは、それぞれ、注目画素に対応する輝度画像L、色差画像C、色差画像Dの画素値である。
処理はステップS91に戻り、全ての画素を注目画素としたと判定されるまで、ステップS91乃至S93の処理が繰り返される。ステップS91において、全ての画素を注目画素としたと判定された場合、処理は図55のステップS55にリターンする。
ステップS55において、階調逆変換部76は、色空間変換部75から供給された変調画像の各画素のR成分に対し、ステップS51の階調変換処理に対応する階調逆変換処理を施すこと(具体的には、画素値を1/γ乗すること)によって出力画像Rを生成する。同様に、階調逆変換部77は、色空間変換部75から供給された変調画像の各画素のG成分に対し、ステップS51の階調変換処理に対応する階調逆変換処理を施すことによって出力画像Gを生成する。階調逆変換部78は、色空間変換部75から供給された変調画像の各画素のB成分に対し、ステップS51の階調変換処理に対応する階調逆変換処理を施すことによって出力画像Bを生成する。以上説明したような色補間処理によって、出力画像R,G,Bが生成される。
以上により、図45に示した画像処理部7の第1の構成例による第1のデモザイク処理についての説明を終了する。
次に、図46に示した感度均一化部51の第1の構成例の代わりに用いることができる感度均一化部51の第2の構成例について、図59を参照して説明する。
当該第2の構成例は、図35、図38、および図39を参照して説明した第1のデモザイク処理における第2の感度均一化処理を感度均一化部51が実行するための構成例である。以下、色・感度モザイク画像は、図14の色・感度モザイクパターンP10、図15の色・感度モザイクパターンP11等のように、画素の色は3原色RGBのうちのいずれかの色であり、感度は4段階S0,S1,S2,S3のうちのいずれかの感度であるとして説明する。ただし、以下に説明する構成や動作は、RGB以外の3色から成る色・感度モザイク画像や、4色から成る色・感度モザイク画像に適用することも可能である。また、感度が2段階、または3段階である色・感度モザイクパターンに適用することが可能である。
感度均一化部51の第2の構成例において、撮像系からの色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部101−1乃至101−4に供給される。
補間部101−1は、色・感度モザイク画像の各画素の色を変更せずに感度S0の補間処理を施し、得られる感度S0に対応する補間値を加算器102に出力する。補間部101−2は、色・感度モザイク画像の各画素の色を変更せずに感度S1の補間処理を施し、得られる感度S1に対応する補間値を加算器102に出力する。補間部101−3は、色・感度モザイク画像の各画素の色を変更せずに感度S2の補間処理を施し、得られる感度S2に対応する補間値を加算器102に出力する。補間部101−4は、色・感度モザイク画像の各画素の色を変更せずに感度S3の補間処理を施し、得られる感度S3に対応する補間値を加算器102に出力する。
加算器102は、補間部101−1乃至101−4から入力される感度S0乃至S3の補間値を画素毎に加算し、その和を色モザイク候補画像の画素値として合成感度補償部103に供給する。
合成感度補償部103は、加算器102から供給される色モザイク候補画像の画素値を合成感度補償LUT104に照らし合わせ、得られる値を画素値とする色モザイク画像Mを生成して色補間部52に供給する。合成感度補償LUT104は、色モザイク候補画像の画素値をインデックスとして、色モザイク画像Mの画素値を取得できるようになされている。
図59に示した感度均一化部51の第2の構成例による、第1のデモザイク処理における第2の感度均一化処理について、図60のフローチャートを参照して説明する。
ステップS101において、補間部101−1乃至101−4は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップS102に進む。ステップS102において、補間部101−1乃至101−4は、色・感度モザイク画像の左下の画素から右上の画素まで、順次1画素ずつ注目画素に決定する。
ステップS103において、補間部101−1乃至101−4は、色・感度モザイク画像の各画素の色を変更せずに補間処理を施すことにより、それぞれ感度S0,S1,S2、または感度S3に対応する補間値を生成して加算器102に出力する。
補間部101−1による感度S0の補間処理について、図61のフローチャートを参照して説明する。ステップS111において、補間部101−1は、色・感度モザイク画像の注目画素の近傍に位置する画素(例えば、注目画素を中心とする5×5画素)のうち、色が注目画素と同じであり、かつ、感度がS0である画素を検出し、検出した画素(以下、参照画素と記述する)の画素値を抽出する。
ステップS112において、補間部101−1は、検出した参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。ステップS113において、補間部101−1は、各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を注目画素の感度S0に対応する補間値とする。処理は図60のステップS104に戻る。
なお、補間部101−2乃至101−3による感度S1乃至S3の補間処理は、上述した補間部101−1による感度S0の補間処理と同様であるので、その説明は省略する。ステップS104において、加算器102は、補間部101−1乃至101−4から入力される注目画素に対応する感度S0乃至S3の補間値を加算し、その和を、注目画素に対応する色モザイク候補画像の画素値として合成感度補償部103に供給する。
ステップS105は、合成感度補償部103は、加算器102から供給された色モザイク候補画像の画素値を合成感度補償LUT104に照らし合わせ、得られた値を注目画素に対応する色モザイク画像Mの画素値とする。
処理は、ステップS101に戻り、全ての画素を注目画素としたと判定されるまで、ステップS101乃至105の処理が繰り返される。ステップS101において、全ての画素を注目画素としたと判定された場合、第1のデモザイク処理における第2の感度均一化処理は終了される。
なお、第2の感度均一化処理後においては、図55のフローチャートを参照して上述した色補間処理が実行される。
次に、上述した色差画像Cを生成する第1の処理(図56)の代わりに、色差画像生成部72が実行可能な色差画像Cを生成する第2の処理について、図62のフローチャートを参照して説明する。
ステップS121において、平滑化部81,82は、変調色モザイク画像Mgの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップS122に進む。ステップS122において、平滑化部81,82は、変調色モザイク画像Mgの左下の画素から右上の画素まで、順次1画素ずつ注目画素に決定する。
ステップS123において、平滑化部81は、注目画素に対応する画像勾配ベクトルgを演算する。
画像勾配ベクトル演算処理の詳細について、図63のフローチャートを参照して説明する。当該画像勾配ベクトル演算処理においては、変調色モザイク画像Mgの全ての画素のうち、所定の1種類の色の画素だけを用いて画像勾配ベクトルgを演算する。なお、所定の1種類の色の選択は任意であるが、例えば、変調色モザイク画像Mgの色モザイクパターンがベイヤ配列をなしている場合、G成分を有する画素は、R成分を有する画素やB成分を有する画素に比較して2倍存在するので、1種類の色をGとすることが理にかなっている。したがって、以下、色モザイク画像Mgの色モザイクパターンがベイヤ配列をなしており、かつ、所定の1種類の色をGに選択したとして仮定して説明を継続する。
ステップS141において、平滑化部81は、注目画素の色がGであるか否かを判定し、注目画素の色がGであると判定した場合、ステップS142に進む。この場合、注目画素の上下左右に位置する4画素の色はGではなく、かつ、注目画素の斜め方向に隣接する4画素の色がGである。
ステップS142において、平滑化部81は、注目画素の上下左右に位置する4画素にそれぞれ対応するG成分の値G(U),G(D),G(L),G(R)を、注目画素の左上に隣接するG成分を有する画素の画素値G(LU)、注目画素の左下に隣接するG成分を有する画素の画素値G(LD)、注目画素の右上に隣接するG成分を有する画素の画素値G(RU)、および、注目画素の右下に隣接するG成分を有する画素の画素値G(RD)を次式(13)乃至次式(16)に適用して補間する。
G(U)=(G(LU)+G(RU))/2 ・・・(13)
G(D)=(G(LD)+G(RD))/2 ・・・(14)
G(L)=(G(LU)+G(LD))/2 ・・・(15)
G(R)=(G(RU)+G(RD))/2 ・・・(16)
ステップS143において、平滑化部81は、注目画素の上下左右に位置する4画素にそれぞれ対応するG成分の値G(U),G(D),G(L),G(R)を、次式(17)乃至次式(19)に適用してベクトルg’を算出し、次式(20)のように正規化して勾配ベクトルgを算出する。
gh=G(R)−G(L) ・・・(17)
gv=G(U)−G(D) ・・・(18)
g’=(gh,gv) ・・・(19)
g=g’/‖g’‖ ・・・(20)
なお、ステップS141において、注目画素の色がGではないと判定された場合、処理はステップS144に進む。この場合、注目画素の上下左右に位置する4画素の色はGである。
ステップS144において、注目画素の上下左右に位置する4画素の画素値を取得して、それぞれを値G(U),G(D),G(L),G(R)に代入する。
以上のようにして、注目画素に対応する画像勾配ベクトルgを演算する。なお、変調色モザイク画像Mgの色モザイクパターンがベイヤ配列をなしていない場合においても、類似した処理によって画像勾配ベクトルgを演算することができる。
処理は図62のステップS124にリターンする。
ステップS124において、平滑化部81は、色モザイクパターン情報を参照することにより、注目画素の近傍の画素(例えば、注目画素を中心とする5×5画素)のうち、R成分を有する画素を検出し、検出した画素(以下、参照画素と記述する)の画素値を抽出する。一方、平滑化部82も同様に、色モザイクパターン情報を参照することにより、注目画素の近傍の画素のうち、G成分を有する画素を検出し、検出した画素の画素値を抽出する。
ステップS125において、平滑化部81は、注目画素からR成分を有する各参照画素までの位置ベクトルnをそれぞれ算出して正規化する。一方、平滑化部82も同様に、注目画素からG成分を有する各参照画素までの位置ベクトルnをそれぞれ算出して正規化する。
ステップS126において、平滑化部81は、次式(21)に示すように、R成分を有する参照画素毎に、注目画素の勾配ベクトルgと位置ベクトルnとの内積の絶対値を1から減算し、その差のρ乗を演算することにより、当該参照画素に対する重要度ωを算出する。一方、平滑化部82も同様に、G成分を有する参照画素毎に重要度ωを算出する。ここで、ρは、方向選択の先鋭度を調整するための定数であり、予め設定されている。
ω=(1−|(n,g)|)ρ ・・・(21)
ステップS127において、平滑化部81は、R成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。一方、平滑化部82も同様に、G成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。
ステップS128において、平滑化部81は、R成分を有する各参照画素の画素値と、対応するフィルタ係数および重要度ωを乗算し、それらの積の総和を演算する。さらに、各参照画素に対応するフィルタ係数と重要度ωとを乗算し、それらの積の総和を演算する。一方、平滑化部82も同様に、G成分を有する各参照画素の画素値と、対応するフィルタ係数および重要度ωを乗算し、それらの積の総和を演算する。さらに、各参照画素に対応するフィルタ係数と重要度ωとを乗算し、それらの積の総和を演算する。
ステップS129において、平滑化部81は、ステップS128で演算したR成分を有する各参照画素の画素値、対応するフィルタ係数、および重要度ωの積の総和を、各参照画素に対応するフィルタ係数および重要度ωの積の総和で除算して、その商を平滑化されたR成分だけの画像R’の注目画素に対応する画素値とする。一方、平滑化部82も同様に、平滑化部82は、ステップS128で演算したG成分を有する各参照画素の画素値、対応するフィルタ係数、および重要度ωの積の総和を、各参照画素に対応するフィルタ係数および重要度ωの積の総和で除算して、その商を平滑化されたG成分だけの画像G’の注目画素に対応する画素値とする。
ステップS130において、減算器83は、平滑化部81からの平滑化されたR成分だけの画像R’の注目画素に対応する画素値から、平滑化部82からの平滑化されたG成分だけの画像G’の注目画素に対応する画素値を減算し、その差を色差画像Cの注目画素の画素値とする。
処理は、ステップS121に戻り、全ての画素を注目画素としたと判定されるまで、ステップS121乃至130の処理が繰り返される。ステップS121において、全ての画素を注目画素としたと判定された場合、当該色差画像生成処理を終了して、図55のステップS53にリターンする。
なお、色差画像生成部73が色差画像Dを生成する処理は、上述した色差画像生成部72が色差画像Cを生成する第2の処理と同様であるので、その説明は省略する。
色差画像Cを生成する第2の処理では、画像内の物体の輪郭を検出し、輪郭に平行して平滑化を実行するようにしたので、色差画像Cを生成する第1の処理に比較して色モアレの発生を抑止するこができる。
次に、第2のデモザイク処理を主に実行する画像処理部7の第2の構成例について、図64を参照して説明する。画像処理部7の第2の構成例において、撮像系からの色・感度モザイク画像、色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度均一化部111に供給される。
感度均一化部111は、色モザイクパターン情報および感度モザイクパターン情報に基づき、色・感度モザイク画像に感度均一化処理を施し、得られる感度が均一化された色モザイク画像Mを色補間部112に出力する。ただし、得られる色モザイク画像Mの色モザイク配列は、元の色・感度モザイク画像の色モザイク配列とは必ずしも同じではないので、感度均一化部111は、色モザイクパターン情報を更新して色補間部112に供給する。
色補間部112は、感度均一化部111からの色モザイク画像Mに対し、図45の色補間部52と同様に、色モザイクパターン情報を用いる色補間処理を施すことによって出力画像R,G,Bを生成する。
図65は、感度均一化部111の第1の構成例を示している。当該第1の構成例は、図35、図41および図42を参照して説明した第2のデモザイク処理における第1の感度均一化処理を実行する感度均一化部111の構成例である。
感度均一化部111の第1の構成例において、撮像系からの色・感度モザイク画像は、感度補償部121および有効性判別部123に供給される。色モザイクパターン情報は、欠落補間部124に供給される。感度モザイクパターン情報は、感度補償部121および有効性判別部123に供給される。
感度補償部121は、相対感度値LUT122から得られる相対感度値Sに基づき、色・感度モザイク画像に感度補償を施して欠落補間部124に出力する。相対感度値LUT122は、画素の感度をインデックスとして、相対感度値Sを出力するルックアップテーブルである。
有効性判別部123は、色・感度モザイク画像の各画素の画素値を、飽和レベルの閾値θHおよびノイズレベルのθLと比較することによって画素値の有効性を判別し、その結果を判別情報として欠落補間部124に供給する。判別情報には、各画素の画素値について有効または無効を示す情報が記述されている。
欠落補間部124は、有効性判別部123からの判別情報に基づき、感度補償された色・感度モザイク画像の全画素のうち、判別情報が有効である画素の画素値はそのまま用い、判別情報が無効である画素に対しては、感度補償された色・感度モザイク画像のなかに最も多く存在する色を有する画素の画素値を用いて、その色成分の画素値を補間する。このように、最も多く存在する色を有する画素の画素値を用いることによって、より高周波成分が復元し易くなる。さらに、欠落補間部124は、生成した色モザイク画像Mの色モザイク配列に対応して色モザイクパターン情報を更新し、色補間部112に出力する。
次に、図64に示した画像処理部7の第2の構成例が主に実行する第2のデモザイク処理について説明するが、その大部分は、上述した第1のデモザイク処理と同様である。よって、上述した第1のデモザイク処理と異なる処理、すなわち、感度均一化部111を構成する欠落補間部124の欠落補間処理について、図66のフローチャートを参照して説明する。以下、色・感度モザイク画像のなかにはG成分を有する画素が最も多く存在すると仮定する。ただし、他の色成分を有する画素が最も多く存在する場合においても同様に処理することができる。
ステップS151において、欠落補間部124は、感度補償された色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップS152に進む。ステップS152において、欠落補間部124は、感度補償された色・感度モザイク画像の左下の画素から右上の画素まで、順次1画素ずつ注目画素に決定する。
ステップS153において、欠落補間部124は、注目画素の判別情報が無効であるか否かを判定し、注目画素の判別情報が無効であると判定した場合、ステップS154に進む。
ステップS154において、欠落補間部124は、色モザイクパターン情報を参照し、注目画素の近傍の画素(例えば、注目画素を中心とする5×5画素)のうち、G成分を有する画素であって、かつ、判別情報が有効である画素を検出し、検出した画素(以下、参照画素と記述する)の画素値を抽出する。また、欠落補間部124は、参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。さらに、欠落補間部124は、各参照画素の画素値と、対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を色モザイク画像Mの注目画素の画素値とする。
ステップS155において、欠落補間部124は、色モザイクパターン情報における注目画素の色をGに更新する。
なお、ステップS153において、注目画素の判別情報が無効ではないと判定された場合、ステップS154、およびステップS155の処理はスキップされる。
処理は、ステップS151に戻り、全ての画素を注目画素としたと判定されるまで、ステップS151乃至155の処理が繰り返される。ステップS151において、全ての画素を注目画素としたと判定された場合、当該欠落補間処理は終了され、得られた色モザイク画像M、および更新された色モザイクパターン情報は、後段の色補間部112に供給される。
次に、図65に示した感度均一化部111の第1の構成例の代わりに用いることができる感度均一化部111の第2の構成例について、図67を参照して説明する。
当該第2の構成例は、図35、図43、および図44を参照して説明した第2のデモザイク処理における第2の感度均一化処理を感度均一化部111が実行するための構成例である。
以下、色・感度モザイク画像は、図14の色・感度モザイクパターンP10、図15の色・感度モザイクパターンP11等のように、画素の色は3原色RGBのうちのいずれかの色であり、感度は4段階S0,S1,S2,S3のうちのいずれかの感度であるとして説明する。ただし、以下に説明する構成や動作は、RGB以外の3色から成る色・感度モザイク画像や、4色から成る色・感度モザイク画像に適用することも可能である。また、感度が2段階、または3段階である色・感度モザイクパターンに適用することが可能である。
感度均一化部111の第2の構成例において、撮像系からの色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部132−1乃至132−4に供給される。色モザイクパターン情報は、補間色決定部131にも供給される。
補間色決定部131は、色モザイクパターン情報に基づき、補間部132−1乃至132−3で補間する補間値の色(補間色)を指定する。また、補間色決定部131は、補間色の決定に対応して色モザイクパターン情報を更新する。
補間部132−1は、補間色決定部131からの補間色の指定に対応して、色・感度モザイク画像に感度S0の補間処理を施し、得られる感度S0に対応する補間値を加算器133に出力する。補間部132−2は、補間色決定部131からの補間色の指定に対応して、色・感度モザイク画像に感度S1の補間処理を施し、得られる感度S1に対応する補間値を加算器133に出力する。補間部132−3は、補間色決定部131からの補間色の指定に対応して、色・感度モザイク画像に感度S2の補間処理を施し、得られる感度S2に対応する補間値を加算器133に出力する。補間部132−4は、補間色決定部131からの補間色の指定に対応して、色・感度モザイク画像に感度S3の補間処理を施し、得られる感度S3に対応する補間値を加算器133に出力する。
加算器133は、補間部132−1乃至132−4から入力される感度S0乃至S3の補間値を画素毎に加算し、その和を色モザイク候補画像の画素値として合成感度補償部134に供給する。
合成感度補償部134は、加算器133から供給される色モザイク候補画像の画素値を合成感度補償LUT135に照らし合わせ、得られる値を画素値とする色モザイク画像を生成して色補間部112に供給する。合成感度補償LUT135は、色モザイク候補画像の画素値をインデックスとして、色・感度モザイク画像Mの画素値を取得できるようになされている。
図67に示した感度均一化部111の第2の構成例による、第2のデモザイク処理における第2の感度均一化処理について、図68のフローチャートを参照して説明する。
ステップS161において、補間部132−1乃至132−4は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップS162に進む。ステップS162において、補間部132−1乃至132−4は、色・感度モザイク画像の左下の画素から右上の画素まで、順次1画素ずつ注目画素に決定する。
ステップS163において、補間色決定部131は、色モザイクパターン情報に基づく補間色決定処理を実行し、得られた注目画素の補間色を補間部132−1乃至132−4に通知する。
補間色決定部131の補間色決定処理の詳細について、図69のフローチャートを参照して説明する。なお、当該補間色決定処理は、注目画素により近傍の画素を用いて注目画素の画素値を補間することを目的とし、色・感度モザイク画像の色モザイク配列がベイヤ配列をなしていると仮定する。
ステップS171において、補間色決定部131は、色モザイクパターン情報を参照することにより、注目画素の色を判定する。
ステップS171において、注目画素の色がGであると判定された場合、ステップS172に進む。この場合、注目画素の斜め方向に隣接する4画素の色もGである。ステップS172において、補間色決定部131は、注目画素の補間色をGに決定し、補間部132−1乃至132−4に通知する。さらに、補間色決定部131は、注目画素に対応する色モザイクパターン情報をGに更新する。
ステップS171において、注目画素の色がRであると判定された場合、ステップS173に進む。この場合、注目画素の斜め方向に隣接する4画素の色はBである。ステップS173において、補間色決定部131は、注目画素の補間色をBに決定し、補間部132−1乃至132−4に通知する。さらに、補間色決定部131は、注目画素に対応する色モザイクパターン情報をBに更新する。
ステップS171において、注目画素の色がBであると判定された場合、ステップS174に進む。この場合、注目画素の斜め方向に隣接する4画素の色はRである。ステップS174において、補間色決定部131は、注目画素の補間色をRに決定し、補間部132−1乃至132−4に通知する。さらに、補間色決定部131は、注目画素に対応する色モザイクパターン情報をRに更新する。
以上説明した補間色決定処理によれば、色モザイク配列がベイヤ配列をなす色・感度モザイク画像のRとBを入れ替えるように、注目画素の補間色を指定するので、更新された色モザイクパターン情報もベイヤ配列をなすことが維持される。
処理は図68のステップS164にリターンする。ステップS164において、補間部132−1乃至132−4は、補間色決定部131からの補間色の指定に対応し、色・感度モザイク画像に補間処理を施すことにより、それぞれ感度S0,S1,S2、または感度S3に対応する補間値を生成して加算器133に出力する。
具体的には、例えば、補間部132−1は、色・感度モザイク画像の注目画素の近傍に位置する画素(例えば、注目画素を中心とする5×5画素)のうち、補間色指定部131から指定された色を有し、かつ、感度がS0である画素を検出し、検出した画素(以下、参照画素と記述する)の画素値を抽出する。また、補間部132−1は、検出した参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する。さらに、補間部132−1は、各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を注目画素の感度S0に対応する補間値とする。
なお、補間部132−2乃至132−4による感度S1乃至S3の補間処理は、上述した補間部132−1による感度S0の補間処理と同様であるので、その説明は省略する。
ステップS165において、加算器133は、補間部132−1乃至132−4から入力される注目画素に対応する感度S0乃至S3の補間値を加算し、その和を注目画素に対応する色モザイク候補画像の画素値として合成感度補償部134に供給する。
ステップS166は、合成感度補償部134は、加算器133から供給された色モザイク候補画像の画素値を合成感度補償LUT135に照らし合わせ、得られた値を注目画素に対応する色モザイク画像Mの画素値とする。
処理は、ステップS161に戻り、全ての画素を注目画素としたと判定されるまで、ステップS161乃至166の処理が繰り返される。ステップS161において、全ての画素を注目画素としたと判定された場合、第2のデモザイク処理における第2の感度均一化処理は終了される。
なお、第2のデモザイク処理における第2の感度均一化処理により得られた色モザイク画像Mに対しては、色補間部112によって色補間処理が施されるが、その処理は図55のフローチャートを参照して上述した色補間処理と同様であるので説明は省略する。
次に、図70は、画像処理部7を中心とする画像処理系の第3のデモザイク処理の概要を示している。
第3のデモザイク処理は、図70に示すように、撮像部の処理によって得られた色・感度モザイク画像の画素の感度を変更することなく、各画素のRGB成分を補間してR成分の感度モザイク画像MsR、G成分の感度モザイク画像MsG、およびB成分の感度モザイク画像MsBを生成する感度別色補間処理と、R成分の感度モザイク画像、G成分の感度モザイク画像、およびB成分の感度モザイク画像のそれぞれの感度を均一化して出力画像R,G,Bを生成する感度均一化処理から成る。
第3のデモザイク処理における感度別色補間処理は、色・感度モザイク画像から同一の感度の画素だけを抽出する抽出処理と、抽出処理で抽出された画素のRGB成分の画素値を補間する色補間処理と、色補間処理で補間された画素値をRGB成分毎に合成して感度モザイク画像を生成する挿入処理からなる。
例えば、抽出処理では、色・感度モザイク画像から、感度S1の画素だけが抽出されて、画素が市松状に配置された色モザイク画像McS1が生成される。色補間処理では、色モザイク画像McS1から、感度S1であってR成分を有する画素が市松状に配置された画像Rs1、感度S1であってG成分を有する画素が市松状に配置された画像Gs1、および感度S1であってB成分を有する画素が市松状に配置された画像Bs1が生成される。
例えば、挿入処理では、色補間処理によって生成された画像RS0と、画像RS1が組み合わされて、感度モザイク画像MsRが生成される。
次に、第3のデモザイク処理を主に実行する画像処理部7の第3の構成例について、図73を参照して説明する。
画像処理部7の第3の構成例において、撮像系からの色・感度モザイク画像は、感度別色補間部151に供給される。色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報は、感度別色補間部151に供給される。色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度別色補間部151、および感度均一化部152乃至154に供給される。
なお、以下、特に断りがある場合を除き、色・感度モザイク画像は、図7の色・感度モザイクパターンP3であるとする。すなわち、画素の色は3原色RGBのうちのいずれかの色であり、感度はS0,S1のうちの一方であって、さらに、色に拘わらず感度S0の画素だけに注目すれば、それらは格子状(市松状)に配置されている。同様に、感度S1の画素の格子状(市松状)に配置されている。
ただし、以下に説明する構成や動作は、RGB以外の3色から成る色・感度モザイク画像や、4色から成る色・感度モザイク画像に適用することも可能である。
感度別色補間部151は、色・感度モザイク画像に感度別色補間処理を施し、得られるR成分の感度モザイク画像MsR、G成分の感度モザイク画像MsG、およびB成分の感度モザイク画像MsBを、それぞれ対応する感度均一化部152乃至154に供給する。
感度均一化部152は、R成分の感度モザイク画像MsRに感度均一化処理を施すことによって出力画像Rを生成する。感度均一化部153は、G成分の感度モザイク画像MsGに感度均一化処理を施すことによって出力画像Gを生成する。感度均一化部154は、B成分の感度モザイク画像MsBに感度均一化処理を施すことによって出力画像Bを生成する。
図74は、感度別色補間部151の構成例を示している。感度別色補間部151において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、抽出部161に供給される。
抽出部161は、色・感度モザイク画像に対して、感度Si(いまの場合、i=0,1)の抽出処理を施し、得られる感度Siの画素からなる色モザイク画像McSiを色補間部162に供給する。なお、色モザイク画像McSiは、元の色・感度モザイク画像のxy座標系とは異なるst座標系を用いて表現されるで画像である(詳細は図78および図79を参照して後述する)。また、抽出部161は、色モザイク画像McSiの色モザイク配列を示す感度Siの色モザイクパターン情報を生成し、色補間部162に供給する。さらに、抽出部161は、色モザイク画像McSiと元の色・感度モザイク画像との位置関係を保持する感度Siの元位置情報を生成し、挿入部163乃至165に供給する。
色補間部162は、抽出部161からの色モザイク画像McSiの全画素のRGB成分を補間し、得られる画像Rsi,Gsi,Bsiをそれぞれ対応する挿入部163乃至165に供給する。画像Rsiは、色モザイク画像McSiの各画素に対応するR成分の画素値からなる画像である。画像Gsiは、色モザイク画像McSiの各画素に対応するG成分の画素値からなる画像である。画像Bsiは、色モザイク画像McSiの各画素に対応するB成分の画素値からなる画像である。また、画像Rsi,Gsi,Bsiは、色モザイク画像McSiと同じ座標系によって表現される。なお、色補間部162は、図47に示した色補間部52の構成例と同様に構成される。
挿入部163は、抽出部161から供給される感度Siの元位置情報に基づき、色補間部162から感度の種類の数だけ供給されるR成分の画像Rsiを組み合わせて感度モザイク画像MsRを生成し、感度均一化部152に供給する。挿入部164は、抽出部161から供給される感度Siの元位置情報に基づき、色補間部162から感度の種類の数だけ供給されるG成分の画像Gsiを組み合わせて感度モザイク画像MsGを生成し、感度均一化部153に供給する。挿入部165は、抽出部161から供給される感度Siの元位置情報に基づき、色補間部162から感度の種類の数だけ供給されるB成分の画像Bsiを組み合わせて感度モザイク画像MsBを生成し、感度均一化部154に供給する。
図75は、感度均一化部152の構成例を示している。感度均一化部152において、感度別色補間部151の挿入部163から供給される感度モザイク画像MsRは、局所和算出部171に供給される。局所和算出部171は、感度モザイク画像MsRの各画素に対し、その近傍の画素を用いる局所和算出処理を施し、得られる各画素に対応する局所和を合成感度補償部172に供給する。合成感度補償部172は、合成感度補償LUT173に局所和を照らし合わせて対応する補償値を取得し、補償値を画素値として出力画像Rを生成する。合成感度補償LUT173は、局所和をインデックスとして、対応する補償値を供給するようになされている。
なお、感度均一化部153,154の構成例は、図75に示した感度均一化部152の構成例と同様であるので、その説明は省略する。
次に、図73に示した画像処理部7の第3の構成例による第3のデモザイク処理について、図76にフローチャートを参照して説明する。
ステップS181において、感度別色補間部151は、色・感度モザイク画像に感度別色補間処理を施すことにより、R成分の感度モザイク画像MsR、G成分の感度モザイク画像MsG、およびB成分の感度モザイク画像MsBを生成し、それぞれ対応する感度均一化部152乃至154に供給する。
感度別色補間部151の感度別色補間処理の詳細について、図77のフローチャートを参照して説明する。ステップS191において、抽出部161は、感度モザイクパターン情報に含まれる全ての感度(いまの場合、S0およびS1)を指定したか否かを判定し、全ての感度を指定していないと判定した場合、ステップS192に進む。
ステップS192において、抽出部161は、感度モザイクパターン情報に含まれる全ての感度のうちの1種類の感度を指定する。指定された感度をSiとする。
ステップS193において、抽出部161は、色・感度モザイク画像の全ての画素のうち、感度Siの画素だけを抽出し、感度Siの色モザイク画像McSiを生成して色補間部162に供給する。さらに、抽出部161は、色モザイク画像McSiと元の色・感度モザイク画像との位置関係を保持する感度Siの元位置情報を生成し、挿入部163乃至165に供給する。また、抽出部161は、色モザイク画像McSiの色モザイク配列を示す感度Siの色モザイクパターン情報を生成し、色補間部162に供給する。
ステップS193の処理の詳細について、図78および図79を参照して説明する。抽出される感度Siの画素は元の色・感度モザイク画像の画素間隔では抽出されないので、生成される感度Siの色モザイク画像McSiは、元の色・感度モザイク画像とは画素間隔、原点、向きが異なる格子に形成される。そこで、抽出部161は、色モザイク画像McSiを生成すると同時に、元の色・感度モザイク画像の座標系と、色モザイク画像McSiの座標系との対応関係を元に、画素毎に元の位置の情報を参照できる元位置情報を生成する。
元の色・感度モザイク画像と生成する色モザイク画像McSiの座標系の対応関係は、図78または図79に示すとおりである。同図において、元の色・感度モザイク画像はxy座標系で表示され、色モザイク画像McSiはst座標系で表示されている。また、色・感度モザイク画像の■は感度S0の画素を示し、色・感度モザイク画像の□は感度S1の画素を示している。このようにxy座標系に対して斜めに設定したst座標系を用いることにより、元の色・感度モザイク画像において市松状に配置された感度Siの画素を、等間隔格子の画素配置として抽出できるようになされている。
図78を参照して、色・感度モザイク画像の■で示される感度S0の画素を抽出する場合について説明する。例えば、図中の画素Aは、元の色・感度モザイク画像を表現するxy座標系では(xA,yA)であり、生成される色モザイク画像McSiを表現するst座標系では(sA,tA)である。(sA,tA)と(xA,yA)は、次式(22)に示すような対応関係がある。
sA={(xA−1)+yA}/2
tA={(xmax−1−xA)+yA}/2 ・・・(22)
抽出部161は、元の色・感度モザイク画像の感度S0の画素の座標(xA,yA)を式(22)に適用して、色モザイク画像McSiでの座標(sA,tA)を算出し、その座標に当該画素の値を用いて色モザイク画像McSiを生成する。同時に、感度S0の元位置情報には、座標(sA,tA)に対応して座標(xA,yA)を格納する。
図79を参照して、色・感度モザイク画像の□で示される感度S1の画素を抽出する場合について説明する。例えば、図中の画素Bは、元の色・感度モザイク画像を表現するxy座標系では(xB,yB)であり、生成される色モザイク画像McSiを表現するst座標系では(sB,tB)である。(sB,tB)と(xB,yB)は、次式(23)に示すような対応関係がある。
sB=(xB+yB)/2
tB={(xmax−1−xB)+yB}/2 ・・・(23)
抽出部161は、元の色・感度モザイク画像の感度S1の画素の座標(xB,yB)を式(23)に適用して、色モザイク画像McSiでの座標(sB,tB)を算出し、その座標に当該画素の値を用いて色モザイク画像McSiを生成する。同時に、感度S1の元位置情報には、座標(sB,tB)に対応して座標(xB,yB)を格納する。
図77に戻り、ステップS194において、色補間部162は、抽出部161からの色モザイク画像McSiの全画素のRGB成分を補間して、画像Rsi,Gsi,Bsiを生成し、それぞれ対応する挿入部163乃至165に供給する。なお、色補間部162の処理の詳細については、図55を参照して説明した色補間部52の色補間処理と同様であるので、その説明は省略する。
処理はステップS191に戻り、感度モザイクパターン情報に含まれる全ての感度を指定したと判定されるまで、ステップS191乃至S194に処理が繰り返される。ステップS191において、感度モザイクパターン情報に含まれる全ての感度を指定したと判定された場合、処理はステップS195に進む。
ステップS195において、挿入部163は、抽出部161から供給された全ての元位置情報に基づき、色補間部162から感度の種類の数だけ供給されたR成分の画像Rsi(いまの場合、画像Rs0と画像Rs1)を組み合わせて感度モザイク画像MsRを生成し、感度均一化部152に供給する。同様に、挿入部164は、感度モザイク画像MsGを生成して感度均一化部153に供給し、挿入部165は、感度モザイク画像MsBを生成して感度均一化部154に供給する。
処理は図76のステップS182にリターンする。ステップS182において、感度均一化部152は、R成分の感度モザイク画像MsRに感度均一化処理を施すことによって出力画像Rを生成する。感度均一化部153は、G成分の感度モザイク画像MsGに感度均一化処理を施すことによって出力画像Gを生成する。感度均一化部154は、B成分の感度モザイク画像MsBに感度均一化処理を施すことによって出力画像Bを生成する。
感度均一化部152の感度均一化処理について、図80のフローチャートを参照して説明する。ステップS201において、局所和算出部171は、R成分の感度モザイク画像MsRの全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップS202に進む。ステップS202において、局所和算出部171は、感度モザイク画像MsRの左下の画素から右上の画素まで、順次1画素ずつ注目画素に決定する。
ステップS203において、局所和算出部171は、注目画素に対応する局所和を算出し、合成感度補償部172に供給する。具体的には、注目画素を中心とする5×5画素(以下、参照画素と記述する)の画素値が抽出され、それらの画素値と、参照画素の注目画素に対する相対的な位置に対応して予め設定されている図81に示すようなフィルタ係数とがそれぞれ乗算され、それらの積の総和が演算される。さらに、その積の総和が、25個のフィルタ係数の総和で除算されて、その商が注目画素に対応する局所和とされる。
ステップS204において、合成感度補償部172は、合成感度補償LUT173に局所和を照らし合わせて対応する補償値を取得し、補償値を注目画素に対応する出力画像Rの画素値とする。
処理は、ステップS201に戻り、全ての画素を注目画素としたと判定されるまで、ステップS201乃至204の処理が繰り返される。ステップS201において、全ての画素を注目画素としたと判定された場合、感度均一化処理は終了され、図76にリターンする。
なお、感度均一化部153,154も、感度均一化部152の感度均一化処理と平行して同様の感度均一化処理を実行するが、その詳細な説明は省略する。
以上、画像処理部7の第3の構成例による第3のデモザイク処理の説明を終了する。
次に、画像処理部7を中心とする画像処理系の第4のデモザイク処理の概要について説明する。
第4のデモザイク処理は、撮像部の処理によって得られた色・感度モザイク画像から輝度画像を生成する輝度画像生成処理、および、色・感度モザイク画像と輝度画像を用いて出力画像R,G,Bを生成する単色画像処理から成る。
図82は、第4のデモザイク処理を主に実行する画像処理部7の第4の構成例を示している。
画像処理部7の第4の構成例において、撮像系からの色・感度モザイク画像、色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および、色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、輝度画像生成部181、並びに単色画像生成部182乃至184に供給される。
なお、以下、特に断りがある場合を除き、色・感度モザイク画像は、図6の色・感度モザイクパターンP2であるとする。すなわち、画素の色は3原色RGBのうちのいずれかの色であり、感度はS0,S1のうちの一方であって、さらに、感度に拘わらず色だけに注目すれば、それらはベイヤ配列をなしている。
ただし、以下に説明する構成や動作は、RGB以外の3色から成る色・感度モザイク画像や、4色から成る色・感度モザイク画像に適用することも可能である。
輝度画像生成部181は、供給される色・感度モザイク画像に対して輝度画像生成処理を施し、得られる輝度画像を単色画像生成部182乃至184に供給する。
単色画像生成部182は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Rを生成する。単色画像生成部183は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Gを生成する。単色画像生成部184は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Bを生成する。
図83は、輝度画像生成部181の第1の構成例を示している。輝度画像生成部181の第1の構成例において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、推定部191乃至193に供給される。
推定部191は、色・感度モザイク画像に対してR成分推定処理を施し、得られる各画素に対するR成分の推定値R’を乗算器194に供給する。推定部192は、色・感度モザイク画像に対してG成分推定処理を施し、得られる各画素に対するG成分の推定値G’を乗算器195に供給する。推定部193は、色・感度モザイク画像に対してB成分推定処理を施し、得られる各画素に対するB成分の推定値B’を乗算器196に供給する。
乗算器194は、推定部191から供給される推定値R’に、色バランス係数kRを乗算し、その積を加算器197に出力する。乗算器195は、推定部192から供給される推定値G’に、色バランス係数kGを乗算し、その積を加算器197に出力する。乗算器196は、推定部193から供給される推定値B’に、色バランス係数kBを乗算し、その積を加算器197に出力する。
加算器197は、乗算器194から入力される積R’・kR、乗算器195から入力される積G’・kG、および乗算器196から入力される積B’・kBを加算し、その和を画素値とする輝度候補画像を生成してノイズ除去部198に供給する。
ここで、色バランス係数kR,kG,kBは、予め設定されている値であり、例えば、kR=0.3、kG=0.6、kB=0.1である。なお、色バランス係数kR,kG,kBの値は、基本的には輝度候補値として輝度変化に相関がある値を算出することができればよい。したがって、例えば、kR=kG=kBとしてもよい。
ノイズ除去部198は、加算器197から供給される輝度候補画像に対してノイズ除去処理を施し、得られる輝度画像を単色画像生成部182乃至184に供給する。
図84は、単色画像生成部182の構成例を示している。単色画像生成部182において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部201に供給される。輝度画像は、比率算出部202、および乗算器203に供給される。
補間部201は、色・感度モザイク画像に補間処理を施し、得られる全ての画素がR成分の画素値を有するR候補画像を比率値算出部202に出力する。比率値算出部202は、R候補画像と輝度画像の対応する画素間の強度比率の低周波成分(以下、単に強度比率と記述する)を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器203に供給する。
乗算器203は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像Rを生成する。
なお、単色画像生成部183,184の構成例も同様であるので、その説明は省略する。
次に、画像処理部7の第4の構成例による第4のデモザイク処理について、図85のフローチャートを参照して説明する。
ステップS211において、輝度画像生成部181は、色・感度モザイク画像に輝度画像生成処理を施すことによって輝度画像を生成し、単色画像生成部182乃至184に供給する。
輝度画像生成部181の輝度画像生成処理について、図86のフローチャートを参照して説明する。
ステップS221において、推定部191乃至193は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップS222に進む。ステップS222において、推定部191乃至193は、色・感度モザイク画像の左下の画素から右上の画素まで、順次1画素ずつ注目画素に決定する。
ステップS223において、推定部191は、色・感度モザイク画像に対してR成分推定処理を施すことにより、注目画素に対応する推定値R’を推定し、乗算器194に供給する。推定部192は、色・感度モザイク画像に対してG成分推定処理を施すことにより、注目画素に対応する推定値G’を推定し、乗算器194に供給する。推定部193は、色・感度モザイク画像に対してB成分推定処理を施すことにより、注目画素に対応する推定値B’を推定し、乗算器194に供給する。
推定部191のR成分推定処理について、図87のフローチャートを参照して説明する。ステップS231において、推定部191は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素(例えば、注目画素を中心とする15×15画素)のうち、R成分を有し、かつ、感度S0である画素を検出し、検出した画素(以下、参照画素と記述する)の画素値を抽出する。
ステップS232において、推定部191は、参照画素の注目画素に対する相対的な位置に対応し、図88に示すような予め設定されているR成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたR成分用補間フィルタ係数の総和で除算して第1の商を取得する。
ステップS233において、推定部191は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素(例えば、注目画素を中心とする15×15画素)のうち、R成分を有し、かつ、感度S1である画素を検出し、検出した画素(以下、参照画素と記述する)の画素値を抽出する。
ステップS234において、推定部191は、参照画素の注目画素に対する相対的な位置に対応し、R成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いた補間フィルタ係数の総和で除算して第2の商を取得する。
ステップS235において、推定部191は、ステップS232で取得した第1の商と、ステップS234で取得した第2の商を加算する。ステップS236において、推定部191は、ステップS235で演算した第1の商と第2の商の和を、内蔵する合成感度補償LUT(後述)に照らし合わせることにより、感度特性を補償した補償値を取得する。取得した補償値は、注目画素に対応する推定値R’とされる。処理は図86のステップS224にリターンする。
なお、推定部192のG成分推定処理、および推定部193のB成分推定処理は、推定部191のR成分推定処理と同様であるので、その説明は省略する。ただし、推定部192のG成分推定処理においては、注目画素を中心とする7×7画素のなかから参照画素を検出するようにし、さらに、図89に示すG成分用補間フィルタ係数を用いることにする。
ここで、推定部191が用いる合成感度補償LUTについて、図90乃至図92を参照して説明する。図90は、感度S0の画素の特性曲線bと、感度S1の画素の特性曲線aを示しており、横軸は入射光の強度、縦軸は画素値を示す。同図において、高感度の感度S1は、低感度の感度S0に対して4倍の感度を有している。
当該推定処理では、図90の特性曲線bに示すような特性で測定された感度S0の画素から算出された第1の商と、同図の特性曲線aに示すような特性で測定された感度S1の画素を用いて算出された第2の商とが加算されている。従って、第1の商と第2の商の和は、図91の特性曲線cに示すように、感度S0と感度S1の特性が合成された特性を有することになる。
この合成された特性曲線cは、低輝度から高輝度にわたる広ダイナミックレンジの特性となるが、図91に示すように折れ線となっているので、感度特性曲線cの逆特性曲線を用いることにより、元のリニアな特性を復元するようにする。具体的には、図92に示すように、第1の商と第2の商の和を、図91の感度特性曲線cの逆特性曲線dに適用して非線形性を補償するようにする。
すなわち、合成感度補償LUTは、図92の逆特性曲線dをルックアップテーブル化したものである。
図86の説明に戻る。ステップS224において、乗算器194は、推定部191から供給された推定値R’に色バランス係数kRを乗算し、その積を加算器197に出力する。乗算器195は、推定部192から供給された推定値G’に色バランス係数kGを乗算し、その積を加算器197に出力する。乗算器196は、推定部193から供給された推定値B’に色バランス係数kBを乗算し、その積を加算器197に出力する。加算器197は、乗算器194から入力された積R’・kR、乗算器195から入力された積G’・kG、および乗算器196から入力された積B’・kBを加算し、その和を注目画素に対応する輝度候補画像の画素値(輝度候補値)とする。
処理は、ステップS221に戻り、全ての画素を注目画素としたと判定されるまで、ステップS221乃至224の処理が繰り返される。ステップS221において、全ての画素を注目画素としたと判定された場合、ステップS225にすすむ。なお、ステップS221乃至224の処理によって生成された輝度候補画像はノイズ除去部198に供給される。
ステップS225において、ノイズ除去部198は、加算器197から供給される輝度候補画像にノイズ除去処理を施すことによって輝度画像を生成し、単色画像生成部182乃至184に供給する。
ノイズ除去部198のノイズ除去処理について、図93のフローチャートを参照して説明する。ステップS241において、ノイズ除去部198は、輝度候補画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップS242に進む。ステップS242において、ノイズ除去部198は、輝度候補画像の左下の画素から右上の画素まで、順次1画素ずつ注目画素に決定する。
ステップS243において、ノイズ除去部198は、注目画素の上下左右に位置する画素の画素値(輝度候補値)を取得し、取得した注目画素の上下左右に位置する画素輝度候補値を、それぞれ変数a3,a0,a1,a2に代入する。
ステップS244において、ノイズ除去部198は、方向選択的平滑化処理を実行することにより、注目画素に対応する平滑化値を取得する。
ノイズ除去部198の方向選択的平滑化処理について、図94のフローチャートを参照して説明する。ステップS251において、ノイズ除去部198は、次式(24)に適用して、注目画素に対応する輝度勾配ベクトルgを算出する。
輝度勾配ベクトルg=(a2−a1,a3−a0) ・・・(24)
ステップS252において、ノイズ除去部198は、輝度勾配ベクトルgの大きさ(絶対値)‖∇‖を演算する。
ステップS253において、ノイズ除去部198は、変数a0乃至a3を次式(25),(26)に適用して、注目画素に対応する水平方向の平滑化成分Hhと垂直方向の平滑化成分Hvを演算する。
Hh=(a1+a2)/2 ・・・(25)
Hv=(a3+a0)/2 ・・・(26)
ステップS254において、ノイズ除去部198は、輝度勾配ベクトルgの絶対値‖g‖に対応して、水平方向の重要度whと垂直方向の重要度wvを演算する。
具体的には、輝度勾配ベクトルgの絶対値‖g‖が0よりも大きい場合、次式(27)に示すように、正規化した輝度勾配ベクトルg/‖g‖とベクトル(1,0)との内積の絶対値を1から減算して水平方向の重要度whを得る。また、次式(28)に示すように、正規化した輝度勾配ベクトルg/‖g‖とベクトル(0,1)との内積の絶対値を1から減算して垂直方向の重要度wvを得る。
wh=1−|(g/‖g‖,(1,0))| ・・・(27)
wv=1−|(g/‖g‖,(0,1))| ・・・(28)
輝度勾配ベクトルgの絶対値‖g‖が0である場合、水平方向の重要度whおよび垂直方向の重要度wvを、それぞれ0.5とする。
ステップS255において、ノイズ除去部198は、次式(29)を用いて注目画素に対応する平滑化値αを演算する。
α=(wh・Hh+wv・Hv)/(wh+wv) ・・・(29)
処理は図93のステップS245に戻る。ステップS245において、ノイズ除去部198は、注目画素の画素値(輝度候補値)と、ステップS244で演算した注目画素に対応する平滑化値αの平均値を演算し、当該平均値を注目画素に対応する輝度画像の画素値(輝度値)とする。
処理はステップS241に戻り、全ての画素を注目画素としたと判定されるまで、ステップS241乃至S245の処理が繰り返される。ステップS241において、全ての画素を注目画素としたと判定された場合、ノイズ除去処理は終了されて、すなわち、輝度画像生成処理も終了されて、図85のステップS212にリターンする。
ステップS212において、単色画像生成部182乃至184は、供給された色・感度モザイク画像および輝度画像を用い、それぞれ出力画像R,G,Bを生成する。
単色画像生成部182の第1の単色画像生成処理について、図95のフローチャートを参照して説明する。
ステップS261において、補間部201は、色・感度モザイク画像に補間処理を施すことによって、全ての画素がR成分の画素値を有するR候補画像を生成し、比率値算出部202に出力する。
なお、補間部201の補間処理は、図87のフローチャートを参照して上述した輝度画像生成部181を構成する推定部191のR成分推定処理と同様であるので、その説明は省略する。
ステップS262において、比率値算出部202は、比率値算出処理を施すことによって強度比率を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器203に供給する。
比率値算出部202の比率値算出処理について、図96のフローチャートを参照して説明する。ステップS271において、比率値算出部202は、R候補画像の全ての画素を注目画素としたか否かを判定し、全ての画素を注目画素としていないと判定した場合、ステップS272に進む。ステップS272において、比率値算出部202は、R候補画像の左下の画素から右上の画素まで、順次1画素ずつ注目画素に決定する。ステップS273において、比率値算出部202は、注目画素の近傍に位置する画素(例えば、注目画素を中心とする7×7画素)を参照画素とし、それらの画素値(R成分の単色候補値)を取得する。また、比率値算出部202は、参照画素と同じ座標に位置する輝度画像の画素値(輝度値)を抽出する。
ステップS274において、比率値算出部202は、参照画素の注目画素に対する相対的な位置に対応し、図97に示すように予め設定されている平滑化フィルタ係数を参照画素の数だけ取得する。
ステップS275において、比率値算出部202は、各参照画素のR成分の単色候補値に対応する平滑化フィルタ係数を乗算し、その積を対応する輝度値で除算して、それらの商の総和を演算する。さらに、その商の総和を、用いた平滑化フィルタ係数の総和で除算して、その商を注目画素に対応する強度比率として、比率値情報を生成する。
処理はステップS271に戻り、R候補画像の全ての画素を注目画素としたと判定されるまで、ステップS271乃至S275の処理が繰り返される。ステップS271において、R候補画像の全ての画素を注目画素としたと判定された場合、生成された比率値情報が乗算器203に供給されて、処理は図95のステップS263にリターンする。
ステップS263において、乗算器203は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像Rを生成する。
なお、単色画像生成部182の第1の単色画像生成処理と同時に、単色画像生成部183,184も、同様の処理を実行する。
以上、画像処理部7の第4の構成例による第4のデモザイク処理の説明を終了する。
次に、図98は、輝度画像生成部181の第2の構成例を示している。輝度画像生成部181の第2の構成例は、図83に示した輝度画像生成部181の第1の構成例における推定部191乃至193を、推定部211で置換したものである。
輝度画像生成部181の第2の構成例において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、推定部211に供給される。
推定部211は、色・感度モザイク画像に対して成分推定処理を施し、得られる各画素に対するR成分の推定値R’、G成分の推定値G’、およびB成分の推定値B’を、対応する乗算器194乃至196に供給する。
なお、輝度画像生成部181の第2の構成例をなす乗算器194乃至ノイズ除去部198は、同一の番号を附した図83に示した輝度画像生成部181の第1の構成例をなす乗算器194乃至ノイズ除去部198と同様であるので、その説明は省略する。
次に、推定部211によるRGB成分の推定処理について、図99のフローチャートを参照して説明する。なお、当該RGB成分の推定処理は、図86のステップS223における処理として、図87を参照して上述したR成分推定処理に代えて実行可能な処理である。したがって、既に色・感度モザイク画像の注目画素は推定部211によって決定されているとして、ステップS281以降の処理を説明する。
ステップS281において、推定部211は、図100に示すような注目画素を中心とする4画素の画素値を用いる推定画素値C0補間処理によって、注目画素に対応する推定画素値C0を算出する。推定画素値C0補間処理について、図101のフローチャートを参照して説明する。
ステップS291において、推定部211は、図100に示すように、○で表される注目画素に対して1画素分の間隔を空けて上下左右に位置する4画素の画素値を、それぞれ変数a3,a0,a1,a2に代入して、図94を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する。
このように、指定した画素の上下左右方向に位置する4画素の画素値を、それぞれ変数a3,a0,a1,a2に代入して、図94を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する処理を、以下、指定した画素に対応する垂直方向選択的平滑化処理と定義する。
ステップS292において、推定部211は、ステップS291で得た平滑化値αを注目画素の画素値に加算して、その和を注目画素の推定画素値C0とする。処理は図99のステップS282にリターンする。
ステップS282において、推定部211は、図102に示すような注目画素を中心とする12画素を用いる推定画素値C1補間処理によって、注目画素に対応する推定画素値C1を算出する。推定画素値C1補間処理について、図103のフローチャートを参照して説明する。
ステップS301において、推定部211は、注目画素の色がGであるか否かを判定し、注目画素の色がGであると判定した場合、ステップS302に進む。ステップS302において、推定部211は、図102に示すように、○で表される注目画素に対して左下、左上、右下、右上に隣接して位置する4画素の画素値を、それぞれ変数a0,a1,a2,a3に代入して、図94を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する。
このように、指定した画素の左下、左上、右下、右上方向に位置する4画素の画素値を、それぞれ変数a0,a1,a2,a3に代入して、図94を参照して上述した方向選択的平滑化処理に適用することによって平滑化値αを演算する処理を、以下、指定した画素に対応する斜め方向選択的平滑化処理と定義する。
ステップS303にいて、推定部211は、ステップS302で得た平滑化値αに2を乗算して、その積を注目画素の推定画素値C1とする。処理は図99のステップS283にリターンする。
なお、ステップS301において、注目画素の色がGではないと判定された場合、処理はステップS304に進む。
ステップS304において、推定部211は、注目画素の左上に隣接する画素を中心として1画素分の間隔を空けて位置する4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数a1に代入する。ステップS305において、推定部211は、注目画素の右下に隣接する画素を中心として1画素分の間隔を空けて位置する4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数a2に代入する。ステップS306において、推定部211は、注目画素の左下に隣接する画素の画素値を変数a0に代入し、注目画素の右上に隣接する画素の画素値を変数a3に代入する。
ステップS307において、推定部211は、ステップS304乃至S306で値を設定した変数a0,a1,a2,a3を、図94を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’とする。
ステップS308において、推定部211は、注目画素の左下に隣接する画素を中心として1画素分の間隔を空けて位置する4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数a0に代入する。ステップS309において、推定部211は、注目画素の右上に隣接する画素を中心として1画素分の間隔を空けて位置する4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、変数a3に代入する。ステップS310において、推定部211は、注目画素の左上に隣接する画素の画素値を変数a1に代入し、注目画素の右下に隣接する画素の画素値を変数a2に代入する。
ステップS311において、推定部211は、ステップS308乃至S310で値を設定した変数a0,a1,a2,a3を、図94を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’’とする。
ステップS312において、推定部211は、ステップS307で得た平滑化値α’と、ステップS311で得た平滑化値α’’を加算し、その和を注目画素に対応する推定画素値C1とする。処理は図99のステップS283にリターンする。
ステップS283において、推定部211は、図104Aに示すような注目画素を中心とする4画素、または図104Bに示すような注目画素を中心とする8画素を用いる推定画素値C2補間処理によって、注目画素に対応する推定画素値C2を算出する。推定画素値C2補間処理について、図105のフローチャートを参照して説明する。
ステップS321において、推定部211は、注目画素の色がGであるか否かを判定し、注目画素の色がGであると判定した場合、ステップS322に進む。
ステップS322において、推定部211は、注目画素の上に隣接する画素を中心として1画素分の間隔を空けて位置する4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’とする。
ステップS323において、推定部211は、注目画素の下に隣接する画素を中心として1画素分の間隔を空けて位置する4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’’とする。
ステップS324において、推定部211は、注目画素の下に隣接する画素の画素値と、ステップS322で得た平滑化値α’との平均値と、注目画素の上に隣接する画素の画素値と、ステップS323で得た平滑化値α’’との平均値とを加算して、その和を注目画素に対応する推定画素値C2とする。処理は図99のステップS284にリターンする。
なお、ステップS321において、注目画素の色がGではないと判定された場合、処理はステップS325に進む。
ステップS325において、推定部211は、注目画素の左に隣接する画素を中心として斜め方向に隣接して位置する4画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数a1に代入する。ステップS326において、推定部211は、注目画素の右に隣接する画素を中心として斜め方向に隣接して位置する4画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数a2に代入する。ステップS327において、推定部211は、注目画素の下に隣接する画素の画素値を変数a0に代入し、注目画素の上に隣接する画素の画素値を変数a3に代入する。
ステップS328において、推定部211は、ステップS325乃至S327で値を設定した変数a0,a1,a2,a3を、図94を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’とする。
ステップS329において、推定部211は、注目画素の下に隣接する画素を中心として斜め方向に隣接して位置する4画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数a0に代入する。ステップS330において、推定部211は、注目画素の上に隣接する画素を中心として斜め方向に隣接して位置する4画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出し、変数a3に代入する。ステップS331において、推定部211は、注目画素の左に隣接する画素の画素値を変数a1に代入し、注目画素の右に隣接する画素の画素値を変数a2に代入する。
ステップS332において、推定部211は、ステップS329乃至S331で値を設定した変数a0,a1,a2,a3を、図94を参照して上述した方向選択的平滑化処理に適用して平滑化値αを演算し、その値を平滑化値α’’とする。
ステップS333において、推定部211は、ステップS328で得た平滑化値α’と、ステップS332で得た平滑化値α’’を加算し、その和を注目画素に対応する推定画素値C2とする。処理は図99のステップS284にリターンする。
ステップS284において、推定部211は、図106に示すような注目画素を中心とする8画素を用いる推定画素値C3補間処理によって、注目画素に対応する推定画素値C3を算出する。推定画素値C3補間処理について、図107のフローチャートを参照して説明する。
ステップS341において、推定部211は、注目画素の色がGであるか否かを判定し、注目画素の色がGであると判定した場合、ステップS342に進む。
ステップS342において、推定部211は、注目画素の右に隣接する画素を中心として1画素分の間隔を空けて位置する4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’とする。
ステップS343において、推定部211は、注目画素の左に隣接する画素を中心として1画素分の間隔を空けて位置する4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出し、平滑化値α’’とする。
ステップS344において、推定部211は、注目画素の左に隣接する画素の画素値と、ステップS342で得た平滑化値α’との平均値と、注目画素の右に隣接する画素の画素値と、ステップS343で得た平滑化値α’’との平均値とを加算して、その和を注目画素に対応する推定画素値C3とする。処理は図99のステップS285にリターンする。
なお、ステップS341において、注目画素の色がGではないと判定された場合、処理はステップS345に進む。ステップS345において、推定部211は、注目画素に対応する推定画素値C3を0とする。処理は図99のステップS285にリターンする。
ステップS285において、推定部211は、色モザイクパターン情報および感度モザイクパターン情報を参照して、注目画素の色と感度を判別し、その判別結果に対応して、ステップS281乃至S284で得た注目画素に対応する推定画素値C0乃至C3を、内蔵する合成感度補償LUT(図90乃至図92を参照して上述した合成感度補償LUTと同様のもの)に適用して、推定値R’,G’,B’を算出する。
すなわち、注目画素の色がGであって、かつ、感度S0である場合、推定画素値C2を合成感度補償LUTに適用した値LUT(C2)が推定値R’とされ、推定画素値C0+C1の平均値を合成感度補償LUTに適用した値LUT((C0+C1/)2))が推定値G’とされ、推定画素値C3を合成感度補償LUTに適用した値LUT(C3)が推定値B’とされる。
注目画素の色がGであって、かつ、感度S1である場合、推定画素値C3を合成感度補償LUTに適用した値LUT(C3)が推定値R’とされ、推定画素値C0+C1の平均値を合成感度補償LUTに適用した値LUT((C0+C1/)2))が推定値G’とされ、推定画素値C2を合成感度補償LUTに適用した値LUT(C2)が推定値B’とされる。
注目画素の色がRである場合、推定画素値C0を合成感度補償LUTに適用した値LUT(C0)が推定値R’とされ、推定画素値C2の平均値を合成感度補償LUTに適用した値LUT(C2)が推定値G’とされ、推定画素値C1を合成感度補償LUTに適用した値LUT(C1)が推定値B’とされる。
注目画素の色がBである場合、推定画素値C1を合成感度補償LUTに適用した値LUT(C1)が推定値R’とされ、推定画素値C2の平均値を合成感度補償LUTに適用した値LUT(C2)が推定値G’とされ、推定画素値C0を合成感度補償LUTに適用した値LUT(C0)が推定値B’とされる。
以上のように、推定部211によるRGB成分の推定処理では、方向選択的平滑化処理を利用して生成された推定画素値C0乃至C3が用いられるので、画像信号の解像度劣化が抑止される。
以上、推定部211によるRGB成分の推定処理の説明を終了する。
ところで上述した説明においては、画像処理部7の第4の構成例の単色画像生成部183、184は、図84に示した単色画像生成部182の構成例と同様に構成されており、図95を参照して説明した単色画像生成部182の単色画像生成処理(図95)と同様の処理を実行するとしたが、単色画像生成部182乃至184は、単色画像生成処理に含まれる単色候補画像生成処理(図95のステップS261)に代えて、それぞれに最適化された独自の処理を実行することも可能である。
ステップS261の単色候補画像生成処理に代えて単色画像生成部182が実行するR候補画像生成処理について、図108のフローチャートを参照して説明する。なお、説明の便宜上、単色画像生成部182を構成する補間部201を補間部201−Rと記述する。
ステップS351において、補間部201−Rは、色・感度モザイク画像の全ての画素を1回目の注目画素としたか否かを判定し、全ての画素を1回目の注目画素としていないと判定した場合、ステップS352に進む。ステップS352において、補間部201−Rは、色・感度モザイク画像の左下の画素から右上の画素まで、順次1画素ずつ1回目の注目画素に決定する。
ステップS353において、補間部201−Rは、1回目の注目画素の色がRであるか否かを判定し、Rであると判定した場合、ステップS354に進む。ステップS354において、補間部201−Rは、1回目の注目画素を中心として1画素分の間隔を空けて上下左右に位置する4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップS355において、補間部201−Rは、1回目の注目画素の画素値と、ステップS354で算出した平滑化値αとの和を、内蔵する合成感度補償LUT(図90乃至図92を参照して上述した合成感度補償LUTと同様のもの)に適用し、得られた値をR候補画像の1回目の注目画素に対応する画素値とする。処理はステップS351に戻る。
なお、ステップS353において、1回目の注目画素の色がRではないと判定された場合、ステップS354およびステップS355はスキップされ、ステップS351に戻る。
その後、ステップS351において、色・感度モザイク画像の全ての画素を1回目の注目画素としたと判定されるまで、ステップS351乃至S355の処理が繰り返され、ステップS351において、色・感度モザイク画像の全ての画素を1回目の注目画素としたと判定された場合、処理はステップS356に進む。
ステップS356において、補間部201−Rは、色・感度モザイク画像の全ての画素を2回目の注目画素としたか否かを判定し、全ての画素を2回目の注目画素としていないと判定した場合、ステップS357に進む。ステップS357において、補間部201−Rは、色・感度モザイク画像の左下の画素から右上の画素まで、順次1画素ずつ2回目の注目画素に決定する。
ステップS358において、補間部201−Rは、2回目の注目画素の色がBであるか否かを判定し、Bであると判定した場合、ステップS359に進む。ステップS359において、補間部201−Rは、2回目の注目画素を中心として斜め方向に隣接して位置する4画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出する。ステップS360において、補間部201−Rは、ステップS359で算出した平滑化値αをR候補画像の2回目の注目画素に対応する画素値とする。処理はステップS356に戻る。
なお、ステップS358において、2回目の注目画素の色がBではない判定された場合、ステップS359およびステップS360はスキップされ、ステップS356に戻る。
その後、ステップS356において、色・感度モザイク画像の全ての画素を2回目の注目画素としたと判定されるまで、ステップS356乃至S360の処理が繰り返され、ステップS356において、色・感度モザイク画像の全ての画素を2回目の注目画素としたと判定された場合、処理はステップS361に進む。
ステップS361において、色・感度モザイク画像の全ての画素を3回目の注目画素としたか否かを判定し、全ての画素を3回目の注目画素としていないと判定した場合、ステップS362に進む。ステップS362において、補間部201−Rは、色・感度モザイク画像の左下の画素から右上の画素まで、順次1画素ずつ3回目の注目画素に決定する。
ステップS363において、補間部201−Rは、3回目の注目画素の色がGであるか否かを判定し、Gであると判定した場合、ステップS364に進む。ステップS364において、補間部201−Rは、3回目の注目画素を中心として上下左右に隣接して位置する4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップS365において、補間部201−Rは、ステップS364で算出した平滑化値αをR候補画像の3回目の注目画素に対応する画素値とする。処理はステップS361に戻る。
なお、ステップS363において、3回目の注目画素の色がGではないと判定された
合、ステップS364およびステップS365はスキップされ、ステップS361に戻る。
その後、ステップS361において、色・感度モザイク画像の全ての画素を3回目の注目画素としたと判定されるまで、ステップS361乃至S365の処理が繰り返され、ステップS361において、色・感度モザイク画像の全ての画素を3回目の注目画素としたと判定された場合、当該R候補画像生成処理は終了される。
単色画像生成部184が実行するB候補画像生成処理について、図109のフローチャートを参照して説明する。なお、説明の便宜上、単色候補画像生成部182の補間部201に相当する単色画像生成部184の構成要素を補間部201−Bと記述する。
ステップS371において、補間部201−Bは、色・感度モザイク画像の全ての画素を1回目の注目画素としたか否かを判定し、全ての画素を1回目の注目画素としていないと判定した場合、ステップS372に進む。ステップS372において、補間部201−Bは、色・感度モザイク画像の左下の画素から右上の画素まで、順次1画素ずつ1回目の注目画素に決定する。
ステップS373において、補間部201−Bは、1回目の注目画素の色がBであるか否かを判定し、Bであると判定した場合、ステップS374に進む。ステップS374において、補間部201−Bは、1回目の注目画素を中心として1画素分の間隔を空けて上下左右に位置する4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップS375において、補間部201−Bは、1回目の注目画素の画素値と、ステップS374で算出した平滑化値αとの和を、内蔵する合成感度補償LUT(図90乃至図92を参照して上述した合成感度補償LUTと同様のもの)に適用し、得られた値をB候補画像の1回目の注目画素に対応する画素値とする。処理はステップS371に戻る。
なお、ステップS373において、1回目の注目画素の色がBではない判定された場合、ステップS374およびステップS375はスキップされ、ステップS371に戻る。
その後、ステップS371において、色・感度モザイク画像の全ての画素を1回目の注目画素としたと判定されるまで、ステップS371乃至S375の処理が繰り返され、ステップS371において、色・感度モザイク画像の全ての画素を1回目の注目画素としたと判定された場合、処理はステップS376に進む。
ステップS376において、補間部201−Bは、色・感度モザイク画像の全ての画素を2回目の注目画素としたか否かを判定し、全ての画素を2回目の注目画素としていないと判定した場合、ステップS377に進む。ステップS377において、補間部201−Bは、色・感度モザイク画像の左下の画素から右上の画素まで、順次1画素ずつ2回目の注目画素に決定する。
ステップS378において、補間部201−Bは、2回目の注目画素の色がRであるか否かを判定し、Rであると判定した場合、ステップS379に進む。ステップS379において、補間部201−Bは、2回目の注目画素を中心として斜め方向に隣接して位置する4画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出する。ステップS380において、補間部201−Bは、ステップS379で算出した平滑化値αをB候補画像の2回目の注目画素に対応する画素値とする。処理はステップS376に戻る。
なお、ステップS378において、2回目の注目画素の色がRではないと判定された場合、ステップS379およびステップS380はスキップされ、ステップS376に戻る。
その後、ステップS376において、色・感度モザイク画像の全ての画素を2回目の注目画素としたと判定されるまで、ステップS376乃至S380の処理が繰り返され、ステップS376において、色・感度モザイク画像の全ての画素を2回目の注目画素としたと判定された場合、処理はステップS381に進む。
ステップS381において、色・感度モザイク画像の全ての画素を3回目の注目画素としたか否かを判定し、全ての画素を3回目の注目画素としていないと判定した場合、ステップS382に進む。ステップS382において、補間部201−Bは、色・感度モザイク画像の左下の画素から右上の画素まで、順次1画素ずつ3回目の注目画素に決定する。
ステップS383において、補間部201−Bは、3回目の注目画素の色がGであるか否かを判定し、Gであると判定した場合、ステップS384に進む。ステップS384において、補間部201−Bは、3回目の注目画素を中心として上下左右に隣接して位置する4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップS385において、補間部201−Bは、ステップS384で算出した平滑化値αをB候補画像の3回目の注目画素に対応する画素値とする。処理はステップS381に戻る。なお、ステップS383において、3回目の注目画素の色がGではないと判定された場合、ステップS384およびステップS385はスキップされ、ステップS381に戻る。
その後、ステップS381において、色・感度モザイク画像の全ての画素を3回目の注目画素としたと判定されるまで、ステップS381乃至S385の処理が繰り返され、ステップS381において、色・感度モザイク画像の全ての画素を3回目の注目画素としたと判定された場合、当該B候補画像生成処理は終了される。
単色画像生成部183が実行するG候補画像生成処理について、図110のフローチャートを参照して説明する。なお、説明の便宜上、単色候補画像生成部182の補間部201に相当する単色画像生成部183の構成要素を補間部201−Gと記述する。
ステップS391において、補間部201−Gは、色・感度モザイク画像の全ての画素を1回目の注目画素としたか否かを判定し、全ての画素を1回目の注目画素としていないと判定した場合、ステップS392に進む。ステップS392において、補間部201−Gは、色・感度モザイク画像の左下の画素から右上の画素まで、順次1画素ずつ1回目の注目画素に決定する。
ステップS393において、補間部201−Gは、1回目の注目画素の色がGであるか否かを判定し、Gであると判定した場合、ステップS394に進む。ステップS394において、補間部201−Gは、1回目の注目画素を中心として斜め方向に隣接して位置する4画素を用い、斜め方向選択的平滑化処理を実行して平滑化値αを算出する。ステップS395において、補間部201−Gは、1回目の注目画素の画素値と、ステップS394で算出した平滑化値αとの和を、内蔵する合成感度補償LUT(図90乃至図92を参照して上述した合成感度補償LUTと同様のもの)に適用し、得られた値をG候補画像の1回目の注目画素に対応する画素値とする。処理はステップS391に戻る。
なお、ステップS393において、1回目の注目画素の色がGではない判定された場合、ステップS394およびステップS395はスキップされ、ステップS391に戻る。
その後、ステップS391において、色・感度モザイク画像の全ての画素を1回目の注目画素としたと判定されるまで、ステップS391乃至S395の処理が繰り返され、ステップS391において、色・感度モザイク画像の全ての画素を1回目の注目画素としたと判定された場合、処理はステップS396に進む。
ステップS396において、補間部201−Gは、色・感度モザイク画像の全ての画素を2回目の注目画素としたか否かを判定し、全ての画素を2回目の注目画素としていないと判定した場合、ステップS397に進む。ステップS397において、補間部201−Gは、色・感度モザイク画像の左下の画素から右上の画素まで、順次1画素ずつ2回目の注目画素に決定する。
ステップS398において、補間部201−Gは、2回目の注目画素の色がGであるか否かを判定し、Gではないと判定した場合、ステップS399に進む。ステップS399において、補間部201−Gは、2回目の注目画素を中心として上下左右に隣接して位置する4画素を用い、垂直方向選択的平滑化処理を実行して平滑化値αを算出する。ステップS400において、補間部201−Gは、ステップS399で算出した平滑化値αをG候補画像の2回目の注目画素に対応する画素値とする。処理はステップS396に戻る。
なお、ステップS398において、2回目の注目画素の色がGであると判定された場合、ステップS399およびステップS400はスキップされ、ステップS396に戻る。
その後、ステップS396において、色・感度モザイク画像の全ての画素を2回目の注目画素としたと判定されるまで、ステップS396乃至S400の処理が繰り返され、ステップS396において、色・感度モザイク画像の全ての画素を2回目の注目画素としたと判定された場合、当該G候補画像生成処理は終了される。
ところで、上述したように、第4のデモザイク処理では、色・感度モザイク画像像から、輝度画像と単色画像を生成し、その後、輝度と色成分との相関性を利用して、全色を復元することにより、全ての画素が均一の感度で全ての色成分を復元するようにしたが、最初に生成する輝度画像は、復元する色情報に相関があって、高解像度で復元できる信号であれば、偏った分光特性をもっていてもかまわない。例えば、色・感度モザイク画像の色モザイク配列がベイヤ配列のように、Rの画素やBの画素に比較してGの画素が2倍存在する特性を利用して、輝度画像の代わりにG成分の画像を生成し、GとR、またはGとBの相関性を利用して、R成分の画像とB成分の画像を生成するようにしてもよい。
そのような処理を実行するために、図111に示すように、画像処理部7を構成してもよい。輝度画像生成部221は、画像処理部7の第4の構成例における単色画像生成部182の補間部201(図84)の処理と同様の処理を実行することによって出力画像Gを生成する。単色画像生成部222,223は、それぞれ、画像処理部7の第4の構成例における単色画像生成部182,184と同様の処理を実行することによって、出力画像Rまたは出力画像Bを生成する。
以上、第1乃至第4のデモザイク処理を実行する画像処理部7の構成例に関する説明を終了する。
なお、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
この記録媒体は、図1に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク16(フロッピディスクを含む)、光ディスク17(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク18(MD(Mini Disc)を含む)、もしくは半導体メモリ19などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。