JP2009118158A - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP2009118158A
JP2009118158A JP2007288714A JP2007288714A JP2009118158A JP 2009118158 A JP2009118158 A JP 2009118158A JP 2007288714 A JP2007288714 A JP 2007288714A JP 2007288714 A JP2007288714 A JP 2007288714A JP 2009118158 A JP2009118158 A JP 2009118158A
Authority
JP
Japan
Prior art keywords
pixel
output
filter
dynamic range
pixel output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007288714A
Other languages
English (en)
Other versions
JP5145876B2 (ja
Inventor
Kenji Shiraishi
賢二 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2007288714A priority Critical patent/JP5145876B2/ja
Priority to US12/667,974 priority patent/US8269852B2/en
Priority to PCT/JP2008/066916 priority patent/WO2009035148A1/en
Priority to CN2008801011650A priority patent/CN101766032B/zh
Priority to EP08830394.6A priority patent/EP2186345B1/en
Publication of JP2009118158A publication Critical patent/JP2009118158A/ja
Application granted granted Critical
Publication of JP5145876B2 publication Critical patent/JP5145876B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)

Abstract

【課題】露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影でダイナミックレンジを拡大することができる撮像装置および撮像方法を提供する。
【解決手段】ＲＧＢフィルタが配置された各画素からの出力を検出するとともに、各画素からの出力が所定の飽和レベル以上に達しているか否かを判定する輝度レベル判定部６０と、輝度レベル判定部６０によりＧフィルタが配置された画素からの出力が所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していないＲ、Ｂフィルタが配置された画素からの出力に基づいて、飽和レベル以上領域における画素出力を予測補間してダイナミックレンジを拡大する画素出力補正処理部６１と、画素出力補正処理部６１により拡大されるダイナミックレンジに対する拡大率を、メニューボタンの操作により設定された拡大率に基づいて変更制御する制御部を有している。
【選択図】図５

Description

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置および撮像方法に関し、特に撮影画像のダイナミックレンジを拡大することができる機能を備えた撮像装置および撮像方法に関する。
銀塩写真フィルムを用いる従来の銀塩カメラで撮影される画像のダイナミックレンジに比べ、ＣＣＤ等の固体撮像素子を有するデジタルスチルカメラやデジタルビデオカメラ等で撮影される画像のダイナミックレンジは極めて狭い。ダイナミックレンジが狭いと、被写体の暗い部分は「黒つぶれ」といわれる現象が発生し、逆に被写体の明るい部分は「白とび」といわれる現象が発生して画像品質が低下する。
そこで、ＣＣＤ等の固体撮像素子で撮像される画像のダイナミックレンジを拡大するために、例えば、同一被写体に対して露光量を変えて複数回の撮影を行い、露光量の異なる複数の画像を取得し、これらの画像を加算してダイナミックレンジが拡大された合成画像を生成する技術が従来より知られている（例えば、特許文献１参照）。
特開２０００−９２３７８号公報
ところで、ダイナミックレンジを拡大するために、前記特許文献１のように露光量を変えて複数回の撮影を行う方法では、移動物体の被写体を撮影したりすると、被写体が２重にずれた画像になり、正しく画像を合成できないことがある。
そこで、本発明は、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる撮像装置および撮像方法を提供することを目的とする。
前記目的を達成するために請求項１に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して特定色のフィルタが配置された画素が、他の色のフィルタが配置された画素よりも高い輝度感度を有している撮像装置において、前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない前記他の色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間してダイナミックレンジを拡大する画素出力補正処理手段と、ダイナミックレンジの拡大率を設定するダイナミックレンジ拡大率設定手段と、前記画素出力補正処理手段による前記予測補間処理により拡大されるダイナミックレンジに対する拡大率を、前記ダイナミックレンジ拡大率設定手段により設定された拡大率に基づいて変更制御する拡大率変更制御手段と、を有することを特徴としている。
請求項２に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して特定色のフィルタが配置された画素が、他の色のフィルタが配置された画素よりも高い輝度感度を有している撮像装置において、前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない複数の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間してダイナミックレンジを拡大する画素出力補正処理手段と、ダイナミックレンジの拡大率を設定するダイナミックレンジ拡大率設定手段と、前記画素出力補正処理手段による前記予測補間処理により拡大されるダイナミックレンジに対する拡大率を、前記ダイナミックレンジ拡大率設定手段により設定された拡大率に基づいて変更制御する拡大率変更制御手段と、を有することを特徴としている。
請求項３に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して特定色のフィルタが配置された画素が、他の色のフィルタが配置された画素よりも高い輝度感度を有している撮像装置において、前記撮像素子から出力される電気信号から、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない前記他の色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間する第１の画素出力補正処理手段と、前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない複数の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間する第２の画素出力補正処理手段と、前記第１の画素出力補正処理手段と前記第２の画素出力補正処理手段からそれぞれ出力される予測補間情報に基づいて、前記飽和レベル以上領域における画素出力に対して適切な予測補間処理をしてダイナミックレンジを拡大する予測補間処理手段と、ダイナミックレンジの拡大率を設定するダイナミックレンジ拡大率設定手段と、前記予測補間処理手段による前記予測補間処理により拡大されるダイナミックレンジに対する拡大率を、前記ダイナミックレンジ拡大率設定手段により設定された拡大率に基づいて変更制御する拡大率変更制御手段と、を有することを特徴としている。
請求項４,１７に記載の発明は、前記各画素の出力を検出する際の処理単位が、水平・垂直方向に２×２画素の大きさであることを特徴としている。
請求項５に記載の発明は、前記画素出力補正処理手段による前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成手段を備え、前記拡大率変更制御手段は、前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成手段で生成されたヒストグラムに対し最大高輝度側から低輝度側に向けて画素の発生頻度を検出したときの画素の発生頻度情報に基づいて、画素の発生頻度が予め規定された規定値以上になる位置をヒストグラムの新たな最大高輝度位置とするように、前記画素出力補正処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項６に記載の発明は、前記画素出力補正処理手段による前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成手段を備え、前記拡大率変更制御手段は、前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成手段で生成されたヒストグラムに対し最大高輝度側から低輝度側に向けて画素の発生頻度を検出したときの画素の発生頻度情報に基づいて、画素の発生頻度が予め規定された規定値以上になる位置をヒストグラムの新たな最大高輝度位置とするように、前記予測補間処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項７に記載の発明は、前記画素出力補正処理手段による前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成手段を備え、前記拡大率変更制御手段は、前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成手段で生成されたヒストグラムに対し低輝度側から最大高輝度側に向けてカウントしたときの輝度データ数の値が、全輝度データ数の値に対して予め規定した割合になる位置をヒストグラムの新たな最大高輝度位置とするように、前記画素出力補正処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項８に記載の発明は、前記画素出力補正処理手段による前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成手段を備え、前記拡大率変更制御手段は、前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成手段で生成されたヒストグラムに対し低輝度側から最大高輝度側に向けてカウントしたときの輝度データ数の値が、全輝度データ数の値に対して予め規定した割合になる位置をヒストグラムの新たな最大高輝度位置とするように、前記予測補間処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項９に記載の発明は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータを、予め設定したビット圧縮変換特性テーブルに基づいて再度前記第１のビット数に圧縮するビット圧縮変換手段を備え、前記拡大率変更制御手段は、ビット圧縮変換特性を変更した前記ビット圧縮変換特性テーブルに基づいて、前記画素出力補正処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項１０に記載の発明は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータを、予め設定したビット圧縮変換特性テーブルに基づいて再度前記第１のビット数に圧縮するビット圧縮変換手段を備え、前記拡大率変更制御手段は、ビット圧縮変換特性を変更した前記ビット圧縮変換特性テーブルに基づいて、前記予測補間処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項１１に記載の発明においては、前記拡大率変更制御手段は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータに対して所定の係数を乗算することで、前記画素出力補正処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項１２に記載の発明においては、前記拡大率変更制御手段は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータに対して所定の係数を乗算することで、前記予測補間処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項１３に記載の発明は、前記特定色のフィルタが配置された画素の出力に対して、前記所定の飽和レベル以上に達しているときに前記予測補間させる動作を、選択して実行させるための動作選択手段を備えていることを特徴としている。
請求項１４に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して特定色のフィルタが配置された画素が、他の色のフィルタが配置された画素よりも高い輝度感度を有している撮像装置の撮像方法において、前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出工程と、前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない前記他の色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間してダイナミックレンジを拡大する画素出力補正処理工程と、
前記画素出力補正処理工程による前記予測補間処理により拡大されるダイナミックレンジに対する拡大率を、ダイナミックレンジの拡大率を設定するダイナミックレンジ拡大率設定手段により設定された拡大率に基づいて変更制御する拡大率変更制御工程と、を含むことを特徴としている。
請求項１５に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して特定色のフィルタが配置された画素が、他の色のフィルタが配置された画素よりも高い輝度感度を有している撮像装置の撮像方法において、前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出工程と、前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間してダイナミックレンジを拡大する画素出力補正処理工程と、前記画素出力補正処理工程による前記予測補間処理により拡大されるダイナミックレンジに対する拡大率を、ダイナミックレンジの拡大率を設定するダイナミックレンジ拡大率設定手段により設定された拡大率に基づいて変更制御する拡大率変更制御工程と、を含むことを特徴としている。
請求項１６に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して特定色のフィルタが配置された画素が、他の色のフィルタが配置された画素よりも高い輝度感度を有している撮像装置の撮像方法において、前記撮像素子から出力される電気信号から、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出工程と、前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない前記他の色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間する第１の画素出力補正処理工程と、前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間する第２の画素出力補正処理工程と、前記第１の画素出力補正処理工程と前記第２の画素出力補正処理工程からそれぞれ出力される予測補間情報に基づいて、前記飽和レベル以上領域における画素出力に対して適切な予測補間処理をしてダイナミックレンジを拡大する予測補間処理工程と、前記予測補間処理工程による前記予測補間処理により拡大されるダイナミックレンジに対する拡大率を、ダイナミックレンジの拡大率を設定するダイナミックレンジ拡大率設定手段により設定された拡大率に基づいて変更制御する拡大率変更制御工程と、を含むことを特徴としている。
請求項１８に記載の発明は、前記第２ステップによる前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成工程をさらに含み、前記拡大率変更制御工程は、前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成工程で生成されたヒストグラムに対し最大高輝度側から低輝度側に向けて画素の発生頻度を検出したときの画素の発生頻度情報に基づいて、画素の発生頻度が予め規定された規定値以上になる位置をヒストグラムの新たな最大高輝度位置とするように、前記画素出力補正処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項１９に記載の発明は、前記画素出力補正処理工程による前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成工程をさらに含み、前記拡大率変更制御工程は、前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成手段で生成されたヒストグラムに対し最大高輝度側から低輝度側に向けて画素の発生頻度を検出したときの画素の発生頻度情報に基づいて、画素の発生頻度が予め規定された規定値以上になる位置をヒストグラムの新たな最大高輝度位置とするように、前記予測補間処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項２０に記載の発明は、前記画素出力補正処理工程による前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成工程をさらに含み、前記拡大率変更制御工程は、前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成工程で生成されたヒストグラムに対し低輝度側から最大高輝度側に向けてカウントしたときの輝度データ数の値が、全輝度データ数の値に対して予め規定した割合になる位置をヒストグラムの新たな最大高輝度位置とするように、前記画素出力補正処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項２１に記載の発明は、前記画素出力補正処理工程による前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成工程をさらに含み、前記拡大率変更制御工程は、前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成工程で生成されたヒストグラムに対し低輝度側から最大高輝度側に向けてカウントしたときの輝度データ数の値が、全輝度データ数の値に対して予め規定した割合になる位置をヒストグラムの新たな最大高輝度位置とするように、前記予測補間処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項２２に記載の発明は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理工程から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータを、予め設定したビット圧縮変換特性テーブルに基づいて再度前記第１のビット数に圧縮するビット圧縮変換工程をさらに含み、前記拡大率変更制御工程は、ビット圧縮変換特性を変更した前記ビット圧縮変換特性テーブルに基づいて、前記画素出力補正処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項２３に記載の発明は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理工程から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータを、予め設定したビット圧縮変換特性テーブルに基づいて再度前記第１のビット数に圧縮するビット圧縮変換工程をさらに含み、前記拡大率変更制御工程は、ビット圧縮変換特性を変更した前記ビット圧縮変換特性テーブルに基づいて、前記予測補間処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項２４に記載の発明は、前記拡大率変更制御工程は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理工程から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータに対して所定の係数を乗算することで、前記画素出力補正処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項２５に記載の発明は、前記拡大率変更制御工程は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理工程から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータに対して所定の係数を乗算することで、前記予測補間処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御することを特徴としている。
請求項２６に記載の発明は、前記特定色のフィルタが配置された画素の出力に対して、前記所定の飽和レベル以上に達しているときに前記予測補間させる動作は、動作選択手段で動作選択することにより実行されることを特徴としている。
請求項１、１４に記載の発明によれば、特定色のフィルタが配置された画素からの出力が所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない他の色のフィルタが配置された画素からの出力に基づいて、飽和レベル以上領域における画素出力を予測補間してダイナミックレンジを拡大することにより、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる。更に、拡大するダイナミックレンジの拡大率を変更制御することができるので、撮影画像に応じてダイナミックレンジを適切に拡大することができる。
請求項２、１５に記載の発明によれば、特定色のフィルタが配置された画素からの出力が所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない特定色と同じ色のフィルタが配置された画素からの出力に基づいて、飽和レベル以上領域における画素出力を予測補間してダイナミックレンジを拡大することにより、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる。更に、拡大するダイナミックレンジの拡大率を変更制御することができるので、撮影画像に応じてダイナミックレンジを適切に拡大することができる。
請求項３、１６に記載の発明によれば、特定色のフィルタが配置された画素からの出力が所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない他の色のフィルタが配置された画素からの出力に基づいて、飽和レベル以上に達している画素の出力を予測補間し、更に、その周囲の飽和していない特定色と同じ色のフィルタが配置された画素からの出力に基づいて、飽和レベル以上に達している画素の出力を予測補間し、これらの両方の予測補間情報に基づいて適切な予測補間処理を行ってダイナミックレンジを拡大することにより、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる。更に、拡大するダイナミックレンジの拡大率を変更制御することができるので、撮影画像に応じてダイナミックレンジを適切に拡大することができる。
請求項５、６、１８、１９に記載の発明によれば、生成されたヒストグラムに対し最大高輝度側から低輝度側に向けて画素の発生頻度を検出したときの画素の発生頻度情報に基づいて、画素の発生頻度が予め規定された規定値以上になる位置をヒストグラムの新たな最大高輝度位置とするように、拡大されるダイナミックレンジに対する拡大率を変更制御することにより、撮影画像に応じてダイナミックレンジを適切に拡大することができる。
請求項７、８、２０、２１に記載の発明によれば、生成されたヒストグラムに対し低輝度側から最大高輝度側に向けてカウントしたときの輝度データ数の値が、全輝度データ数の値に対して予め規定した割合になる位置をヒストグラムの新たな最大高輝度位置とするように、ダイナミックレンジに対する拡大率を変更制御することにより、撮影画像に応じてダイナミックレンジを適切に拡大することができる。
請求項９、１０、２２、２３に記載の発明によれば、ビット圧縮変換特性を変更したビット圧縮変換特性テーブルに基づいて、拡大されるダイナミックレンジに対する拡大率を変更制御することにより、撮影画像に応じてダイナミックレンジを適切に拡大することができる。
請求項１１、１２、２４、２５に記載の発明によれば、所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータに対して所定の係数を乗算することで、拡大されるダイナミックレンジに対する拡大率を変更制御することにより、撮影画像に応じてダイナミックレンジを適切に拡大することができる。
請求項１３、２６に記載の発明によれば、特定色のフィルタが配置された画素の出力に対して、所定の飽和レベル以上に達しているときに予測補間させる動作を、撮影者が動作選択手段を選択操作することにより行うことができる。
以下、本発明を図示の実施形態に基づいて説明する。
〈実施形態１〉
図１（ａ）は、本発明の実施形態１に係る撮像装置の一例としてのデジタルスチルカメラ（以下、「デジタルカメラ」という）を示す正面図、図１（ｂ）は、その上面図、図１（ｃ）は、その背面図、図２は、図１（ａ），（ｂ），（ｃ）に示したデジタルカメラ内のシステム構成の概要を示すブロック図である。
（デジタルカメラの外観構成）
図１（ａ），（ｂ），（ｃ）に示すように、本実施形態に係るデジタルカメラ１の上面側には、レリーズボタン（シャッタボタン）２、電源ボタン３、撮影・再生切替ダイアル４が設けられており、デジタルカメラ１の正面（前面）側には、撮影レンズ系５を有する鏡胴ユニット６、ストロボ発光部７、光学ファインダ８が設けられている。
デジタルカメラ１の背面側には、液晶モニタ（ＬＣＤ）９、前記光学ファインダ８の接眼レンズ部８ａ、広角側ズーム（Ｗ）スイッチ１０、望遠側ズーム（Ｔ）スイッチ１１、メニュー（ＭＥＮＵ）ボタン１２、確定ボタン（ＯＫボタン）１３等が設けられている。また、デジタルカメラ１の側面内部には、撮影した画像データを保存するためのメモリカード１４（図２参照）を収納するメモリカード収納部１５が設けられている。
（デジタルカメラのシステム構成）
図２に示すように、このデジタルカメラ１内には、鏡胴ユニット６に設置した撮影レンズ系５を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ２０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号に処理するアナログフロントエンド部（以下、「ＡＦＥ部」という）２１、ＡＦＥ部２１から出力されるデジタル信号を処理する信号処理部２２、データを一時的に格納するＳＤＲＡＭ２３、制御プログラム等が記憶されたＲＯＭ２４、モータドライバ２５等が設けられている。
鏡胴ユニット６は、ズームレンズやフォーカスレンズ等を有する撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７を備えており、撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７の各駆動ユニット（不図示）は、モータドライバ２５によって駆動される。モータドライバ２５は、信号処理部２２の制御部（ＣＰＵ）２８からの駆動信号により駆動制御される。
ＣＣＤ２０は、ＣＣＤ２０を構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタ（図７参照：以下、「ＲＧＢフィルタ」という）が配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。
ＡＦＥ部２１は、ＣＣＤ２０を駆動するＴＧ（タイミング信号発生部）３０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）３１、ＣＤＳ３１にてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）３２、ＡＧＣ３２でゲイン調整された画像信号をデジタル信号（以下、「ＲＡＷ−ＲＧＢデータ」という）に変換するＡ／Ｄ変換部３３を備えている。
信号処理部２２は、ＡＦＥ部２１のＴＧ３０へ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、ＡＦＥ部２１のＡ／Ｄ変換部３３から出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（以下、「ＣＣＤＩ／Ｆ」という）３４と、ＳＤＲＡＭ２３を制御するメモリコントローラ３５と、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部３６と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部３７と、画像データの表示出力を制御する表示出力制御部３８と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部３９と、画像データをメモリカード１４へ書き込み、又はメモリカード１４に書き込まれた画像データを読み出すメディアインターフェース（以下、「メディアＩ／Ｆ」という）４０と、操作部４１からの操作入力情報に基づき、ＲＯＭ２４に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う制御部（ＣＰＵ）２８を備えている。
操作部４１は、デジタルカメラ１（図１（ａ），（ｂ），（ｃ）参照）の外観表面に設けられているレリーズボタン２、電源ボタン３、撮影・再生切替ダイアル４、広角側ズームスイッチ１０、望遠側ズームスイッチ１１、メニューボタン１２、確定ボタン１３等であり、撮影者の操作によって所定の動作指示信号が制御部２８に入力される。
ＳＤＲＡＭ２３には、ＣＣＤＩ／Ｆ３４に取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部３６で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、更に、データ圧縮部３９で圧縮処理されたＪＰＥＧ形成などの画像データが保存される。
なお、前記ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分（Ｖ））の情報で色を表現する形式である。
（デジタルカメラ１のモニタリング動作、静止画撮影動作）
次に、前記したデジタルカメラ１のモニタリング動作と静止画撮影動作について説明する。このデジタルカメラ１は、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
先ず、撮影者が電源ボタン３をＯＮし、撮影・再生切替ダイアル４を撮影モード（静止画撮影モード）に設定することで、デジタルカメラ１が記録モードで起動する。電源ボタン３がＯＮされて、撮影・再生切替ダイアル４が撮影モードに設定されたことを制御部２８が検知すると、制御部２８はモータドライバ２５に制御信号を出力して、鏡胴ユニット６を撮影可能位置に移動させ、かつ、ＣＣＤ２０、ＡＦＥ部２１、信号処理部２２、ＳＤＲＡＭ２３、ＲＯＭ２４、液晶モニタ９等を起動させる。
そして、鏡胴ユニット６の撮影レンズ系５を被写体に向けることにより、撮影レンズ系５を通して入射される被写体画像がＣＣＤ２０の各画素の受光面上に結像する。そして、ＣＣＤ２０から出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ３１、ＡＧＣ３２を介してＡ／Ｄ変換部３３に入力され、Ａ／Ｄ変換部３３により１２ビット（bit）のＲＡＷ−ＲＧＢデータに変換する。
このＲＡＷ−ＲＧＢデータは、信号処理部２２のＣＣＤＩ／Ｆ３４に取り込まれてメモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、ＳＤＲＡＭ２３から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部３６に入力されて表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラ３５を介してＳＤＲＡＭ２３にＹＵＶデータが保存される。
そして、ＳＤＲＡＭ２３からメモリコントローラ３５を介して読み出したＹＵＶデータは、表示出力制御部３８を介して液晶モニタ（ＬＣＤ）９へ送られ、撮影画像（動画）が表示される。前記した液晶モニタ（ＬＣＤ）９に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆ３４による画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤ）９に撮影画像（動画）が表示されているだけで、まだレリーズボタン２が押圧（半押も含む）操作されていない状態である。
この撮影画像の液晶モニタ（ＬＣＤ）９への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部３８からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。
そして、信号処理部２２のＣＣＤＩ／Ｆ３４は、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系５内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。
ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤ２０の全画素の受光面に対応した画面を２５６エリアに等分割（水平１６分割、垂直１６分割）し、それぞれのエリアのＲＧＢ積算を算出する。
そして、制御部２８は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリアの輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤ２０の電子シャッタ回数、絞りユニット２６の絞り値等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部３６でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、前記したＡＥ処理とＡＷＢ処理は、前記モニタリング時には連続的に行われている。
そして、前記したモニタリング動作時に、レリーズボタン２が押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。
即ち、レリーズボタン２が押圧（半押しから全押し）操作されると、制御部２８からモータドライバ２５への駆動指令により撮影レンズ系５のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。
ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系５のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆ３４で算出されている各フォーカス位置における前記ＡＦ評価値を制御部２８が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
そして、前記したＡＥ処理が行われ、露光完了時点で、制御部２８からモータドライバ２５への駆動指令によりメカシャッタユニット２７が閉じられ、ＣＣＤ２０から静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部２１のＡ／Ｄ変換部３３によりＲＡＷ−ＲＧＢデータに変換される。
そして、このＲＡＷ−ＲＧＢデータは、信号処理部２２のＣＣＤＩ／Ｆ３４に取り込まれ、ＹＵＶ変換部３６でＹＵＶデータに変換されて、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、このＹＵＶデータはＳＤＲＡＭ２３から読み出されて、リサイズ処理部３７で記録画素数に対応するサイズに変換され、データ圧縮部３９でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４０を介してメモリカード１４に保存される。
（本発明におけるダイナミックレンジの拡大原理）
デジタルカメラ１のＣＣＤ２０を構成する各画素上には、ＲＧＢフィルタが配置されているが、太陽光のように広い波長帯域を持つ光に対して、通常のＲＧＢフィルタが配置されている各画素は各色毎に輝度に対する感度が異なっている。
例えば、図３に示すように、Ｇ（グリーン）フィルタが配置された画素の輝度感度が、Ｒ（レッド）フィルタ、Ｂ（ブルー）フィルタが配置された画素の２倍程度の輝度感度を有するＲＧＢフィルタ（図３のａ、ｂ、ｃ）が各画素上に配置されたＣＣＤ２０の場合、太陽光のように広い波長帯域を持つ光が同じだけＲＧＢフィルタが配置された画素に入射したときに、Ｒ、Ｂフィルタが配置された画素の各出力に対してＧフィルタ（図３のｃの斜線部分）が配置された画素の出力の方が先に飽和レベルＡに達してしまう。なお、図３において、ｆはＧフィルタが配置された画素の輝度感度特性、ｇはＲ、Ｂフィルタが配置された画素の各輝度感度特性であり、Ｇフィルタが配置された画素の輝度感度特性は、Ｒ、Ｂフィルタが配置された画素の各輝度感度特性の２倍程度の感度を有している。
ところで、このような従来のＲＧＢフィルタを有するＣＣＤなどの固体撮像素子を具備したデジタルカメラでは、図３のｃのＲＧＢフィルタが各画素上に配置されたＣＣＤのように、感度の高いＧフィルタが配置された画素の出力（輝度感度）に対応した飽和レベルＡに合わせてダイナミックレンジの範囲を設定している。即ち、図３のｃのＲＧＢフィルタが各画素上に配置されたＣＣＤのように、Ｇフィルタが配置された画素の出力が飽和レベルＡに達している場合でも、Ｒ、Ｂフィルタが配置された画素の出力（輝度感度）は飽和レベルＡの１／２程度である。
これに対して、本発明では、図３のｄ、ｅのＲＧＢフィルタが各画素上に配置されたＣＣＤのように、Ｇフィルタが配置された画素の出力が飽和レベルＡを超えていても、Ｒ、Ｂフィルタが配置された画素の各出力が飽和レベルＡを超えていない範囲内にあるときに、Ｒ、Ｂフィルタが配置された画素の各出力レベルから、Ｒ、Ｂフィルタが配置された画素の各輝度感度特性（図３のｇ）とＧフィルタが配置された画素の輝度感度特性（図３のｆ）とに基づいてＧフィルタが配置された画素の出力レベルを予測補間（一点鎖線部分）し、この予測補間した分だけダイナミックレンジを拡大するようにした。
前記したように本実施形態では、太陽光のように広い波長帯域を持つ光に対して、Ｇフィルタが配置された画素の輝度感度特性は、Ｒ、Ｂフィルタが配置された画素の各輝度感度特性の２倍程度の感度を有している。よって、本実施形態におけるダイナミックレンジの拡大度合の最大値は、ダイナミックレンジの拡大処理動作を行わない通常の撮影時に対して２倍程度である。
なお、本実施形態では、Ｇフィルタが配置された画素の輝度感度特性がＲ、Ｂフィルタが配置された画素の各輝度感度特性の２倍程度の感度を有し、これに基づいてダイナミックレンジの拡大度合の最大値が２倍としたが、Ｒ、Ｇ、Ｂフィルタが配置された画素の各輝度感度特性を変化させることにより、ダイナミックレンジの拡大度合の最大値を２倍以上の所定値、あるいは２倍以下の所定値に設定することができる。
（ＹＵＶ変換部３６によるダイナミックレンジ拡大処理）
本実施形態に係るデジタルカメラ１のＹＵＶ変換部３６は、前記したダイナミックレンジを拡大するためのダイナミックレンジ拡大処理機能を有している。
図４に示すように、ＹＵＶ変換部３６は、後述するダイナミックレンジ拡大予測補間部（以下、「Ｄレンジ拡大予測補間部」という）５０、ビット圧縮変換部５１、ホワイトバランス制御部５２、同時化部５３、トーンカーブ変換部５４、ＲＧＢ−ＹＵＶ変換部５５、画像サイズコンバータ部５６、輝度ヒストグラム生成部５７、およびエッジエンハンス部５８を備えている。
Ｄレンジ拡大予測補間部５０は、図５に示すように、輝度レベル判定部６０、画素出力補正処理部６１、およびビット拡張処理部６２を備えている。
輝度レベル判定部６０は、入力されるＲＡＷ−ＲＧＢデータからＲＧＢフィルタを設けた各画素の画素出力を検出するとともに、感度が一番高いＧフィルタを設けた画素の画素出力（以下、「Ｇフィルタの画素出力」という）が飽和レベル以上に達したか否かを判定する。
画素出力補正処理部６１は、輝度レベル判定部６０で後述する処理単位内におけるＧフィルタの画素出力が飽和レベル以上に達したと判定した場合に、その周囲（画素出力が飽和レベル以上に達しているＧフィルタの周囲）のＲ、Ｂフィルタを設けた画素の画素出力（以下、「Ｒ、Ｂフィルタの画素出力」という）に基づいて、飽和レベル以上に達しているＧフィルタの画素出力を予測補間してダイナミックレンジの拡大処理を行う（詳細は後述する）。
ビット拡張処理部６２は、輝度レベル判定部６０でＧフィルタの画素出力が飽和レベルに達していないと判定された場合に、Ｇフィルタの画素出力、およびＲ、Ｂフィルタの画素出力に対して、出力レベルの変換を行うことなく１２ビットから１４ビットにそれぞれビット拡張のみを行う。
以下、本実施形態におけるダイナミックレンジの拡大処理動作について説明する。
例えば、撮影したい被写体の背景の一部に極端に明るい部分があり、ダイナミックレンジを拡大したいときなどに、撮影者がメニューボタン１２（図１（Ｃ）参照）を押圧操作することにより、例えば、図６（ａ）に示すような撮影設定画面が液晶モニタ（ＬＣＤ）９に表示される。
そして、図６（ａ）に示すように、メニューボタン１２の押圧操作により選択された「ダイナミックレンジ２倍」の項目に対し、確定ボタン（図１（Ｃ）参照）１３を押して「ダイナミックレンジ２倍」を決定する。これにより、ダイナミックレンジ拡大処理動作がＯＮされ、制御部２８から輝度レベル判定部６０へダイナミックレンジの拡大率を２倍とする制御信号が出力される。このように、本実施形態では、「特許請求の範囲」におけるダイナミックレンジ拡大率設定手段および動作選択手段がメニューボタン１２に相当し、また、「特許請求の範囲」におけるダイナミックレンジ拡大率変更制御手段が制御部２８に相当する。
なお、本実施形態におけるダイナミックレンジの拡大率は、前記した２倍を最大値として、１．１〜２倍の範囲で任意に設定することが可能である。本実施形態では、ダイナミックレンジの拡大率を、メニューボタン１２の押圧操作により例えば１．３倍、１．６倍、および２倍に変更可能に設定されている。ダイナミックレンジの拡大率を１．３倍に設定する場合は、図６（ｂ）に示すように、メニューボタン１２の押圧操作により液晶モニタ（ＬＣＤ）９に表示される撮影設定画面から「ダイナミックレンジ１．３倍」の項目を選択し、確定ボタン１３を押して「ダイナミックレンジ１．３倍」を決定する。
同様に、ダイナミックレンジの拡大率を１．６倍に設定する場合は、図６（ｃ）に示すように、メニューボタン１２の押圧操作により液晶モニタ（ＬＣＤ）９に表示される撮影設定画面から「ダイナミックレンジ１．６倍」の項目を選択し、確定ボタン１３を押して「ダイナミックレンジ１．６倍」を決定する。
そして、制御部２８から輝度レベル判定部６０へダイナミックレンジの拡大率を２倍とする制御信号が出力されて、ダイナミックレンジ拡大処理動作が実行されると、Ｄレンジ拡大予測補間部５０の輝度レベル判定部６０は、入力されるＲＡＷ−ＲＧＢデータに基づいてＧフィルタの画素出力が飽和レベル以上に達したか否かを判定処理する。この判定処理を行う場合において、本実施形態では、ＲＧＢフィルタを有するＣＣＤ２０の各画素に対して、図７に示すように、太枠Ａ内の２×２画素（２つのＧフィルタの画素、１つずつのＲ、Ｂフィルタの画素）を処理単位（最小単位）とする。
この処理単位（太枠Ａ）内にある２つのＧフィルタの画素のうちの少なくとも１つの画素出力が飽和レベル以上に達している場合に、Ｇフィルタの感度は、前記したようにＲ、Ｂフィルタの感度の約２倍であるため、Ｇフィルタの画素出力値（Ｇ）は、下記の式（１）から算出する。
Ｇ＝｛（Ｒ＋Ｂ）／２｝×２ …式（１）
画素出力補正処理部６１は、式（１）のように、Ｒ、Ｂフィルタの画素出力の平均値を算出して、それを２倍することでＧフィルタの画素出力値を算出する。算出されたＧフィルタの画素出力値は、処理単位（２×２画素）内にある２つのＧフィルタの画素出力値として置き換えられる。なお、前記Ｇフィルタの画素出力値は１２ビットを超えたデータになるため、ここでは一度１４ビットのデータに置き換える。よって、Ｒ、Ｂフィルタの画素出力の最大値はいずれも４０９５（１２ビット）なので、Ｇフィルタの画素出力の最大値は８１９０（１３ビット）となるので、１４ビットのデータとして扱うことができる。
なお、輝度レベル判定部６０でＧフィルタの画素出力が飽和レベル以上に達しているか否かを判定処理する前に、欠陥画素の補正が完了している必要がある。即ち、Ｇフィルタを設けた画素に欠陥画素があり、常に飽和する値を出力する画素があった場合、同じ処理単位内にあるＧフィルタを設けた画素を大きな値に置き換えてしまうため、新たな欠陥画素を生成してしまうことになる。
また、Ｒ、Ｂフィルタを設けた画素に欠陥画素がある場合、前記式（１）によるＧフィルタを設けた画素の換算が正しくない値になってしまう。このため、本実施形態では、ＣＣＤＩ／Ｆ３４に欠陥画素を取り除く欠陥画素除去処理部（不図示）を備えている。
そして、Ｄレンジ拡大予測補間部５０の画素出力補正処理部６１からＲ、Ｂフィルタの画素出力データ、および飽和レベル以上に達して予測補間処理されたＧフィルタの画素出力データが、ビット圧縮変換部５１に出力される。ビット圧縮変換部５１は、例えば、図８に示すようなビット圧縮変換特性（３箇所の節点を指定し、それらの間を直線で近似する４区間の折れ線近似特性）によって、１４ビットに拡張されたＲ、Ｇ、Ｂフィルタの画素出力のうちのＧフィルタの画素出力を１２ビットに圧縮する。なお、図８において、ａは１２ビットの範囲（点線部分）である。
図８に示すビット圧縮変換特性では、Ｇフィルタの画素出力の最大値は８１９０なので、８１９０が４０９５になるように圧縮する。そして、Ｇフィルタの画素出力のビット圧縮変換特性に合わせて、Ｒ、Ｂフィルタの画素出力の値も圧縮する。
そして、ビット圧縮変換部５１で１４ビットから１２ビットに圧縮変換されたＲ、Ｇ、Ｂフィルタの画素出力データは、ホワイトバランス制御部５２に入力される。ホワイトバランス制御部５２は、入力されるＲ、Ｇ、Ｂフィルタの画素出力データをそれぞれ増幅する。この際、制御部２８は、ＣＣＤＩ／Ｆ３４で算出された前記ＡＷＢ評価値に基づいてホワイトバランスを合わせるための補正値を算出し、算出した補正値をホワイトバランス制御部５２に出力する。ホワイトバランス制御部５２は、入力される前記補正値に基づいてホワイトバランスを合わせる。
そして、ホワイトバランス制御部５２からホワイトバランスが合わされたＲ、Ｇ、Ｂフィルタの画素出力データ（１２ビット）は、同時化部５３に入力される。同時化部５３は、ベイヤ配列等の１画素に１色のデータしか持っていないＲＡＷデータに対して補間演算処理を行い、１画素に対してＲＧＢの全てのデータを生成する。
そして、同時化部５３で生成されたＲＧＢの全てのデータ（１２ビット）は、トーンカーブ変換部５４に入力される。トーンカーブ変換部５４は、図９に示すような変換テーブルによって１２ビットのＲＧＢのデータを８ビットのＲＧＢのデータに変換するγ変換を行って、８ビットのＲＧＢ値を生成し、ＲＧＢ−ＹＵＶ変換部５５に出力する。
ＲＧＢ−ＹＵＶ変換部５５は、入力されるＲＧＢデータ（８ビット）をマトリックス演算によりＹＵＶデータに変換し、画像サイズコンバータ部５６に出力する。画像サイズコンバータ部５６は、入力されるＹＵＶデータ（８ビット）に対して所望の画像サイズに縮小または拡大を行い、輝度ヒストグラム生成部５７およびエッジエンハンス部５８に出力する。
輝度ヒストグラム生成部５７は、入力されるＹＵＶデータにより輝度ヒストグラムを生成する。エッジエンハンス部５８は、入力されるＹＵＶデータに対して画像に合わせたエッジ強調等の処理を行い、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存する。
このように、本実施形態に係るデジタルカメラ１は、処理単位内の感度の高いＧフィルタの画素出力が飽和レベルを超えているような撮影時（撮影画像内の背景等に高輝度部分があるとき）に、メニューボタン１２を押圧操作して、撮影設定画面から例えば「ダイナミックレンジ２倍」の項目を選択し、決定することにより、Ｇフィルタよりも感度の低いＲ、Ｂフィルタの画素出力に基づいて、飽和しているＧフィルタの画素出力を予測補間処理する。これにより、図３に示すように、Ｇフィルタ（図３のｄ、ｅ）の画素出力の予測補間した拡張領域（図３のｄ、ｅのＧフィルタの画素出力の一点鎖線部分）に基づいて、１回の撮影でダイナミックレンジを２倍に拡大することが可能となる。
よって、撮影画像内の背景等に高輝度部分がある場合でも、白とびの発生を防止して良好な階調性を得ることが可能となる。
また、図１０（ａ）は、Ｇフィルタの画素出力が飽和レベルを超えたある撮影画像に対して、前記したようにダイナミックレンジを２倍に拡大処理した場合の、輝度ヒストグラム生成部５７で生成されたヒストグラムの一例である。図１０（ｂ）は、Ｇフィルタの画素出力が飽和レベルを超えた前記撮影画像に対して、前記した本実施形態におけるダイナミックレンジの拡大処理を行わなかった場合の、輝度ヒストグラム生成部５７で生成されたヒストグラムの一例である。なお、図１０（ａ），（ｂ）において、横軸は輝度（０〜２５５の２５６階調（８ビット））、縦軸は画素の発生頻度（０〜１（＝１００％））である。
図１０（ａ）に示すヒストグラムから明らかなように、本実施形態におけるダイナミックレンジの拡大処理を行った場合には、最大輝度部分（２５５）付近では白飛びがほとんど発生していない。これに対し、図１０（ｂ）に示すヒストグラムから明らかなように、本実施形態におけるダイナミックレンジの拡大処理を行わなかった場合には、最大輝度部分（２５５）付近に画素の発生があり、白飛びが発生しているのが分かる。
ところで、前記したダイナミックレンジを２倍に拡大処理した場合における、図１０（ａ）に示したヒストグラムでは、最大輝度部分（２５５）付近に画素が殆どない領域が存在している。これは、この最大輝度部分付近にはもともと画像データが存在しないのに、ダイナミックレンジを必要以上に広く拡大してしまったことによるものであり、ＲＧＢの８ビットで表現可能な全階調（０〜２５５の２５６階調）を有効に利用できていないものである。
そこで、本発明では、Ｇフィルタの画素出力が飽和レベルを超えている撮影画像に対して、ＲＧＢの８ビットで表現可能な全階調の範囲を有効に利用することができるように、ダイナミックレンジの拡大率を、例えば、前記したように２倍以外に１．３倍と１．６倍に変更できるようにした。
即ち、撮影したい被写体の背景の一部等に極端に明るい部分がある場合に、ＲＧＢの８ビットで表現可能な全階調の範囲を有効に利用してダイナミックレンジを拡大したいときには、例えば、図６（ｂ）に示すように、メニューボタン１２の押圧操作により液晶モニタ９に表示される撮影設定画面から「ダイナミックレンジ１．３倍」の項目を選択し、確定ボタン１３を押して「ダイナミックレンジ１．３倍」を決定する。
これにより、ダイナミックレンジ拡大処理動作がＯＮされ、制御部２８から画素出力補正処理部６１へダイナミックレンジの拡大率を１．３倍とする制御信号が出力される。そして、画素出力補正処理部６１は、入力される制御信号に基づいて設定されたダイナミックレンジの拡大率に応じて、前記同様にダイナミックレンジを１．３倍に拡大する処理動作を実行する。
なお、ダイナミックレンジを１．３倍に拡大処理する場合において、画素出力補正処理部６１で１２ビットから１４ビットに置き換えられたＧフィルタの画素出力値を、ビット圧縮変換部５１で１２ビットに圧縮するときは、例えば、図１１に示すようなビット圧縮変換特性（２箇所の節点を指定し、それらの間を直線で近似する３区間の折れ線近似特性）を用いる。図１１において、ａは１２ビットの範囲（点線部分）である。
図１１に示すビット圧縮変換特性では、入力１４ビットデータ（Ｇフィルタの画素出力値）が５４６１になったところで、出力１２ビットデータの最大値である４０９５になるような変換が行われる。なお、Ｇフィルタの画素出力の圧縮特性に合わせて、Ｒ、Ｂフィルタの画素出力の値も圧縮する。
図１２は、Ｇフィルタの画素出力が飽和レベルを超えたある撮影画像に対して、ダイナミックレンジを１．３倍に拡大処理した場合の、輝度ヒストグラム生成部５７で生成されたヒストグラムの一例である。なお、図１２において、横軸は輝度（０〜２５５の２５６階調（８ビット））、縦軸は画素の発生頻度（０〜１（＝１００％））である。
前記したダイナミックレンジの２倍拡大処理時に最大輝度部分（２５５）付近に画素が殆どない領域が存在していたが、図１２に示すヒストグラムから明らかなように、ダイナミックレンジを１．３倍に拡大処理した場合には、ＲＧＢの８ビットで表現可能な全階調の範囲を有効に利用することができ、かつ最大輝度部分（２５５）での白飛び発生を抑制することができた。
なお、ダイナミックレンジを１．３倍に拡大処理する場合に、１４ビットに置き換えられたＧフィルタの画素出力値を図１１に示したビット圧縮変換特性に基づいて１２ビットに圧縮変換したが、これに限らず、前記式（１）で算出したＧフィルタの画素出力値（Ｇ）に対して、例えば、下記の式（２）から上限を設定したＧフィルタの画素出力値（Ｇ′）を算出する処理でも同様の圧縮変換を行うことができる。
Ｇ′＝Ｇ×（２／１．３） …式（２）
式（２）に基づいて上限を設定した場合、入力１４ビットデータ（Ｇフィルタの画素出力値）が５４６１以上になるとＧフィルタの画素出力の最大値は８１９０を超えるため、図８に示したビット圧縮変換特性を用いた場合には、出力１２ビットデータは４０９１になる。
つまり、入力１４ビットデータが５４６０にて上限処理を行ったことと等価になる。そして、この上限処理をした結果に対して、図８に示したビット圧縮変換特性により１２ビットに圧縮を行う。このように、前記式（２）により上限を設定したＧフィルタの画素出力値（Ｇ′）を算出する処理を行うことで、ビット圧縮の変換テーブルは上限値によらずに図８に示したビット圧縮変換特性を用いることができる。
また、同様にダイナミックレンジを１．６倍に拡大処理する場合には、図６（ｃ）に示すように、メニューボタン１２の押圧操作により液晶モニタ９に表示される撮影設定画面から「ダイナミックレンジ１．６倍」の項目を選択し、確定ボタン１３を押して「ダイナミックレンジ１．６倍」を決定する。
これにより、ダイナミックレンジ拡大処理動作がＯＮされ、制御部２８から画素出力補正処理部６１へダイナミックレンジの拡大率を１．６倍とする制御信号が出力される。そして、画素出力補正処理部６１は、入力され制御信号に基づいて前記同様にダイナミックレンジを１．６倍に拡大する処理動作を実行する。
なお、ダイナミックレンジを１．６倍に拡大処理する場合において、画素出力補正処理部６１で１２ビットから１４ビットに置き換えられたＧフィルタの画素出力値を、ビット圧縮変換部５１で１２ビットに圧縮するときは、例えば、図１３に示すようなビット圧縮変換特性（２箇所の節点を指定し、それらの間を直線で近似する３区間の折れ線近似特性）を用いる。図１３において、ａは１２ビットの範囲（点線部分）である。
図１３に示すビット圧縮変換特性では、入力１４ビットデータ（Ｇフィルタの画素出力値）が６８２６になったところで、出力１２ビットデータの最大値である４０９５になるような変換が行われる。なお、Ｇフィルタの画素出力の圧縮特性に合わせて、Ｒ、Ｂフィルタの画素出力の値も圧縮する。
図１４は、Ｇフィルタの画素出力が飽和レベルを超えたある撮影画像に対して、ダイナミックレンジを１．６倍に拡大処理した場合の、輝度ヒストグラム生成部５７で生成されたヒストグラムの一例である。なお、図１４において、横軸は輝度（０〜２５５の２５６階調（８ビット））、縦軸は画素の発生頻度（０〜１（＝１００％））である。
前記したダイナミックレンジの２倍拡大処理時に最大輝度部分（２５５）付近に画素が殆どない領域が存在していたが、図１４に示すヒストグラムから明らかなように、ダイナミックレンジを１．６倍に拡大処理した場合には、ＲＧＢの８ビットで表現可能な全階調の範囲を有効に利用することができ、かつ最大輝度部分（２５５）付近での白飛び発生を抑制することができた。
なお、ダイナミックレンジを１．６倍に拡大処理する場合に、１４ビットに置き換えられたＧフィルタの画素出力値を図１３に示したビット圧縮変換特性に基づいて１２ビットに圧縮変換したが、これに限らず、前記式（１）で算出したＧフィルタの画素出力値（Ｇ）に対して、例えば、下記の式（３）から上限を設定したＧフィルタの画素出力値（Ｇ′）を算出する処理でも同様の圧縮変換を行うことができる。
Ｇ′＝Ｇ×（２／１．６） …式（３）
式（３）に基づいて上限を設定した場合、入力１４ビットデータ（Ｇフィルタの画素出力値）が６８２６以上になるとＧフィルタの画素出力の最大値は８１９２を超えるため、図８に示したビット圧縮変換特性を用いた場合には、出力１２ビットデータは４０９１になる。
つまり、入力１４ビットデータが６８２６にて上限処理を行ったことと等価になる。そして、この上限処理をした結果に対して、図８に示したビット圧縮変換特性により１２ビットに圧縮を行う。このように、前記式（３）により上限を設定したＧフィルタの画素出力値（Ｇ′）を算出する処理を行うことで、ビット圧縮の変換テーブルは上限値によらずに図８に示したビット圧縮変換特性を用いることができる。
なお、本実施形態において、例えば、Ｇフィルタの画素出力とＲフィルタの画素出力の値が飽和レベル以上に達した場合、前記式（１）から算出される予測補間したＧフィルタの画素出力の値が不正確になるとともに、Ｒフィルタの画素出力の値を予測補間しないで、Ｇフィルタの画素出力で用いた圧縮率でビット圧縮するため、色相が変化してしまう可能性がある。
そこで、Ｇフィルタの画素出力とＲフィルタ（またはＢフィルタ）の画素出力の値が少なくとも飽和レベル以上に達している場合には、前記した予測補間によるダイナミックレンジの拡大処理を行わないようにすることが好ましい。あるいは、複数（Ｇフィルタの画素出力とＲフィルタ（またはＢフィルタ））の画素出力の値が飽和レベル以上に達しているということは、その処理単位エリアの明るさは極めて明るいと仮定して、Ｇフィルタの画素出力の値を予め決めた値、例えば、
Ｇフィルタの画素出力＝４０９６×１．８＝７３７２（１４ビット）
などに設定してもよい。
また、本実施形態では、図４に示したように、Ｄレンジ拡大予測補間部５０から出力される１４ビットのＲＡＷ−ＲＧＢデータ（Ｒ、Ｇ、Ｂフィルタの画素出力データ）をビット圧縮変換部５１で１２ビットに圧縮処理し、ホワイトバランス制御部５２、同時化部５３においては１２ビットのデータ処理を行う構成であったが、これ以外にも、同時化部５３の後にビット圧縮変換部５１を設けて、同時化部５３から出力される１４ビットのデータを１２ビットのデータに圧縮処理する構成でもよい。
〈実施形態２〉
前記実施形態１では図７に示したように、ＲＧＢ原色フィルタを有するＣＣＤ２０に対して、２×２画素を処理単位（最小単位）としていたが、本実施形態では、図１５に示すように、太枠Ａ内の５画素（１つのＧフィルタの画素、２つずつのＲ（Ｒ１，Ｒ２）、Ｂ（Ｂ１，Ｂ２）フィルタの画素）を処理単位（最小単位）とし、処理単位を前記実施形態１の場合よりも広い範囲とした例である。なお、デジタルカメラの構成、モニタリング動作、静止画撮影動作、およびダイナミックレンジの拡大処理動作は、前記実施形態１と同様である。
図１５に示した太枠Ａの処理単位内にあるＧフィルタの画素出力が飽和レベル以上に達している場合、Ｇフィルタの感度は、前記したようにＲ、Ｂフィルタの感度の約２倍であるため、Ｇフィルタの画素出力値は、下記の式（４）から算出する。
Ｇ＝［｛（Ｒ１＋Ｒ２）／２＋（Ｂ１＋Ｂ２）／２｝／２］×２ …式（４）
そして、図５に示したＤレンジ拡大予測補間部５０の画素出力補正処理部６１は、前記式（４）より算出されたＧフィルタの画素出力値を、前記処理単位（図１５参照）内にあるＧフィルタの画素出力値として置き換え、以下、前記実施形態１と同様の処理を行う。
このように、処理単位を広くすることで、処理単位内の他のＲ１，Ｒ２フィルタの画素、Ｂ１，Ｂ２フィルタの画素が持っている感度差による影響を緩和することができ、Ｇフィルタの画素出力に対して、より正確なダイナミックレンジ拡大予測補間が可能となる。
〈実施形態３〉
本実施形態では、図１６に示すように、ＲＧＢフィルタを有するＣＣＤ２０に対して、前記実施形態２の場合よりも更に処理単位（太枠Ａ）を広くした例である。なお、デジタルカメラの構成、モニタリング動作、静止画撮影動作、およびダイナミックレンジの拡大処理動作は、前記実施形態１と同様である。
処理単位を広くすると、広い範囲の輝度情報に基づいて処理することになるため、ローパスフィルタをかけたことと等価になってしまう。そのため、輝度変化のエッジ部分がなまってしまう。そこで、本実施形態では、広くした処理単位の大きさを、例えば、前記ＡＦ評価値を利用して部分的に変更するものとする。
即ち、図２に示した信号処理部２２のＣＣＤＩ／Ｆ３４では、前記したようにＡＦを行うためのＡＦ評価値を算出している。これは、ハイパスフィルタ（ＨＰＦ）の出力であり、撮影画像の画面内に輝度の変化がある部分では大きな値が出力される。そして、制御部２８は、静止画撮影時のＡＦ評価値を読み出し、画面内の輝度変化がある部分とない部分を判別する。そして、制御部２８は、この判別データを基にＤレンジ拡大予測補間部５０に対して、輝度変化がある部分には処理単位が狭くなるような設定を行い、輝度変化がない部分には図１６に示したように処理単位が広い範囲になるように設定を行う。
このように、処理単位を更に広くした場合でも、輝度変化がある部分には処理単位が狭くなるような設定を行うことで、解像度を落とすことなく、正確なダイナミックレンジ拡大予測補間が可能となる。
〈実施形態４〉
本実施形態では、ＲＧＢフィルタを有するＣＣＤ２０に対して、図１７に示すように、太枠Ａ内の水平方向５画素、垂直方向５画素の５×５画素を処理単位とし、この処理単位の中心部のＧフィルタに対して、対角線方向（図１７のａ方向、ｂ方向）にも複数のＧフィルタの画素が配置されている。処理単位（太枠Ａ内）の中心部のＧフィルタの画素出力に対して、飽和レベル以上に達したか否かの判定が行われる。
また、本実施形態におけるＹＵＶ変換部３６のＤレンジ拡大予測補間部５０は、図１８に示すように、輝度レベル判定部６０、画素出力補正処理部６１ａ、およびビット拡張処理部６２を備えている。なお、デジタルカメラの他の構成、モニタリング動作、静止画撮影動作は、前記実施形態１と同様である。
輝度レベル判定部６０は、入力される処理単位（図１７参照：太枠Ａ）の中心部のＧフィルタの画素出力が飽和レベル以上に達したか否かを判定する。画素出力補正処理部６１ａは、輝度レベル判定部６０で中心部のＧフィルタの画素出力が飽和レベル以上に達したと判定した場合に、輝度レベル判定部６０から出力される中心部のＧフィルタの画素出力に対して、処理単位（太枠Ａ）の対角線方向（図１７のａ方向、ｂ方向）に配置されている他の複数のＧフィルタの画素出力によって飽和レベル以上に達している中心部のＧフィルタの画素出力の予測補間処理を行う。
ビット拡張処理部６２は、輝度レベル判定部６０でＧフィルタの画素出力が飽和レベルに達していないと判定された場合に、Ｇフィルタの画素出力、およびＲ、Ｂフィルタの画素出力に対して、出力レベルの変換を行うことなく１２ビットから１４ビットにそれぞれビット拡張のみを行う。
本実施形態では、ダイナミックレンジの拡大処理時において、Ｄレンジ拡大予測補間部５０の輝度レベル判定部６０により、図１７に示した処理単位（太枠Ａ）の中心部のＧフィルタの画素出力が飽和レベル以上に達していると判定した場合、画素出力補正処理部６１ａは、輝度レベル判定部６０から出力される中心部のＧフィルタの画素出力に対して、図１９（ａ），（ｂ）に示すように、処理単位の各対角線方向（図１７のａ方向、ｂ方向）に配置されている複数のＧフィルタの画素出力の値の分布から、飽和しているＧフィルタの画素出力を予測するようにした。
図１９（ａ）は、ａ方向の対角線における各Ｇフィルタの画素出力の値であり、これらの出力値から中心部のＧフィルタの画素出力の予測値ａ１は６０００（１４ビット）程度になることが予測できる。また、図１９（ｂ）は、ｂ方向の対角線における各Ｇフィルタの画素出力の値であり、これらの出力値から中心部のＧフィルタの画素出力の予測値ｂ１は５０００（１４ビット）程度になることが予測できる。なお、図１９（ａ），（ｂ）において、４０９５（１２ビット）が中心部のＧフィルタの画素出力の飽和レベルである。
そして、これらの予測結果から、処理単位（図１７参照：太枠Ａ）の中心部の飽和レベル以上に達しているＧフィルタの画素出力の値は５０００〜６０００程度であることが予測できる。このＧフィルタの画素出力の値を決定する場合は、例えば、この２つの予測値の平均をとって５５００とする。
このように、処理単位内で中心部のＧフィルタの画素出力が飽和レベル以上に達した場合に、処理単位内の他のＧフィルタの画素出力の値の分布から飽和したＧフィルタの画素出力の値を予測することにより、正確なダイナミックレンジ拡大予測補間が可能となる。
なお、本実施形態では、飽和レベル以上に達しているＧフィルタの画素出力の値を予測する際に、処理単位内の対角線方向に配置されている複数のＧフィルタの画素出力の値から予測する構成であったが、更に処理単位内の水平方向および垂直方向に配置されている複数のＧフィルタの画素出力の値も同時に併せて考慮して、飽和レベル以上に達しているＧフィルタの画素出力の値を予測するようにしてもよい。これにより、より正確なダイナミックレンジ拡大予測補間が可能となる。
また、本実施形態では、処理単位内のＧフィルタの画素についてのみ説明したが、Ｒ、Ｂフィルタの画素についても同様に処理することが可能である。
〈実施形態５〉
本実施形態におけるＹＵＶ変換部３６のＤレンジ拡大予測補間部５０は、図２０に示すように、輝度レベル判定部６０、ビット拡張処理部６２、第１画素出力補正処理部６３、第２画素出力補正処理部６４、および補正データ合成部６５を備えている。輝度レベル判定部６０、ビット拡張処理部６２は、図５に示した実施形態１と同様である。なお、デジタルカメラの他の構成、モニタリング動作、静止画撮影動作は、前記実施形態１と同様である。
第１画素出力補正処理部６３（図５に示した実施形態１における「画素出力補正処理部６１」に相当）は、輝度レベル判定部６０で処理単位内のＧフィルタの画素出力が飽和レベル以上に達していると判定した場合に、前記実施形態１（実施形態２、３も含む）と同様に、処理単位内のＲ、Ｂフィルタの画素出力から、飽和レベル以上に達しているＧフィルタの画素出力を予測補間する。
第２画素出力補正処理部６４（図１８に示した実施形態４における「画素出力補正処理部６１ａ」に相当）は、輝度レベル判定部６０で処理単位内のＧフィルタの画素出力が飽和レベル以上に達していると判定した場合に、前記実施形態４と同様に、処理単位内の他の複数のＧフィルタの画素出力の値の分布から、飽和レベル以上に達しているＧフィルタの画素出力を予測補間する。
補正データ合成部６５は、以下のような各処理条件（第１〜第４の処理条件）に基づいて、適切な予測補間処理を行う。
（第１の処理条件）
第１の処理条件では、第１、第２画素出力補正処理部６３、６４からそれぞれ出力される予測補間情報を平均する。
即ち、補正データ合成部６５は、第１、第２画素出力補正処理部６３、６４からＧフィルタの画素出力に対する各予測補間情報が入力された場合に、両方の予測補間情報を平均し、平均した予測補間情報に基づいて飽和レベル以上に達しているＧフィルタの画素出力を予測補間する。
（第２の処理条件）
第２の処理条件では、第１、第２画素出力補正処理部６３、６４からそれぞれ出力される予測補間値情報に対して、第１画素出力補正処理部６３側の予測補間値情報を優先する。
例えば、主被写体が緑色の背景領域にある場合には、Ｒ、Ｂフィルタの画素出力は非常に低い値となってしまう。そして、前記緑色の背景領域において、Ｇフィルタの画素出力が飽和レベル以上に達していて、第１画素出力補正処理部６３でＧフィルタの画素出力に対して予測補間を行った場合における画素出力の予測値は、元の飽和レベル以上に達しているＧフィルタの画素出力の値よりも低くなってしまうことがある。
そして、補正データ合成部６５は、第１画素出力補正処理部６３からの飽和レベル以上に達しているＧフィルタの画素出力に対する予測補間値と輝度レベル判定部６０で飽和レベルの判定に用いた値との比較を行い、第１画素出力補正処理部６３からの予測補間値が飽和レベルよりも高い値になっている場合は、第１画素出力補正処理部６３からの予測補間値を最終の予測補間値として採用し、第１画素出力補正処理部６３からの予測補間値が飽和レベルよりも低い値になっている場合は、第２画素出力補正処理部６４からの予測補間値を最終の予測補間値として採用する。
（第３の処理条件）
第３の処理条件では、第１、第２画素出力補正処理部６３、６４からそれぞれ出力される予測補間値情報に対して、第２画素出力補正処理部６４側の予測補間値情報を優先する。
処理単位内のＧフィルタの画素出力が飽和レベルに達している場合、その周辺のＧフィルタの画素出力は飽和レベル近くに達している可能性がある。そのため、前記したように第２画素出力補正処理部６４は、輝度レベル判定部６０で処理単位内のＧフィルタの画素出力が飽和レベル以上に達していると判定した場合に、処理単位内の他の複数のＧフィルタの画素出力の値の分布から、飽和レベル以上に達しているＧフィルタの画素出力を予測補間する。
この際、第２画素出力補正処理部６４が、処理単位内の他の複数のＧフィルタの画素出力の値の分布から、飽和レベル以上に達しているＧフィルタの画素出力を正しく予測補間処理できなかった場合は、第２画素出力補正処理部６４からの出力値を「０」とする。
そして、補正データ合成部６５は、第２画素出力補正処理部６４からの飽和レベル以上に達しているＧフィルタの画素出力に対する予測補間値と輝度レベル判定部６０で飽和レベルの判定に用いた値との比較を行い、第２画素出力補正処理部６４からの予測補間値が飽和レベルよりも小さい値になっている場合は、第１画素出力補正処理部６３からの予測補間値を最終の予測補間値として採用し、第２画素出力補正処理部６４からの予測補間値が飽和レベルよりも高い値になっている場合は、第２画素出力補正処理部６４からの予測補間値を最終の予測補間値として採用する。
（第４の処理条件）
第４の処理条件では、第１、第２画素出力補正処理部６３、６４からそれぞれ出力される予測補間値情報に応じて、前記第１〜第３の処理条件を適切に選択する。
即ち、補正データ合成部６５は、第１、第２画素出力補正処理部６３、６４から飽和レベルに達しているＧフィルタの画素出力の各予測補間値情報が入力された場合には、前記第１の処理条件を選択して両方の予測補間値を加重平均し、平均した予測補間値を最終の予測補間値として採用する。
そして、第１画素出力補正処理部６３からの出力が飽和レベルよりも高い値になっている場合、補正データ合成部６５は、前記第２の処理条件を選択して第１画素出力補正処理部６３からの予測補間値を最終の予測補間値として採用する。また、第２画素出力補正処理部６４からの出力が飽和レベルよりも高い値になっている場合、補正データ合成部６５は、前記第３の処理条件を選択して第２画素出力補正処理部６４からの予測補間値を最終の予測補間値として採用する。
このように、補正データ合成部６５は、第１、第２画素出力補正処理部６３、６４からそれぞれ出力される予測補間値情報に応じて、飽和レベル以上に達しているＧフィルタの画素出力の値を適切に予測補正することができるので、正確なダイナミックレンジ拡大予測補間が可能となる。
〈実施形態６〉
本実施形態に係るデジタルカメラでは、適切なダイナミックレンジの拡大率を制御部２８（図２参照）によって自動的に設定できるようにした。以下、本実施形態におけるダイナミックレンジの拡大率設定処理について説明する。
本実施形態におけるダイナミックレンジの拡大率設定処理では、最初に前記実施形態１（又は、前記実施形態２、３、４、５のいずれかの実施形態）と同様にして、ダイナミックレンジの拡大率を２倍に設定してダイナミックレンジの拡大処理を行う。図２１（ａ）は、Ｇフィルタの画素出力が飽和レベルを超えたある撮影画像に対して、ダイナミックレンジを２倍に拡大処理した場合の、輝度ヒストグラム生成部５７（図４参照）で生成されたヒストグラムの一例である。なお、図２１（ａ）において、横軸は輝度（０〜２５５の２５６階調（８ビット））、縦軸は画素の発生頻度（０〜１（＝１００％））である。
そして、信号処理部２２の制御部２８（図２参照）は、輝度ヒストグラム生成部５７から入力されるヒストグラムデータに基づいて生成されたヒストグラム（図２１（ａ）参照）に対して、最大高輝度（２５５）側から低輝度側に向けて発生している画素の発生頻度をカウントする。そして、制御部２８は、カウントした最大高輝度（２５５）付近での画素の発生頻度が予め規定している規定値以上になる位置（ポイント）を、ダイナミックレンジ拡大後の新たな輝度の最大値（最大高輝度）となるようにダイナミックレンジの拡大率を決定する。
即ち、生成された図２１（ａ）のヒストグラムに対して、最大高輝度（２５５）側から低輝度側に向けて画素の発生頻度をカウントしたときに、画素の発生頻度が予め規定した規定値（例えば、０．０１）以上になるところまでを、ヒストグラムの拡大範囲として設定する。図２１（ａ）のヒストグラムでは、最大高輝度（２５５）付近の矢印ａで示した箇所が前記規定値以上になる位置（ポイント）である。
そして、前記規定値が、図１１や図１３に示したビット圧縮変換特性と同様に、入力１４ビットデータを出力１２ビットデータへ圧縮変換するときの最大値（４０９５）に変換するポイントとなるようなビット圧縮変換特性を生成する。あるいは、前記式（２）や式（３）に示したように、入力１４ビットデータに対して上限処理したときの上限値となる。
このような処理を行うことにより、図２１（ｂ）に示すような適切なヒストグラムが生成されるダイナミックレンジの拡大率を、制御部２８により自動的に設定することができる。これにより、ＲＧＢの８ビットで表現可能な全階調の範囲を有効に利用することができ、かつ最大高輝度部分（２５５）付近での白飛び発生を抑制することができる。
なお、前記規定値として、本実施形態では例として０．０１を挙げたが、この数値に限定されることなく、０（ゼロ）以上としてもよい。０（ゼロ）以上ということは、ダイナミックレンジの拡大率を２倍としたときの輝度の最大値（最大輝度部分（２５５））を検出し、その検出値が最終手的なダイナミックレンジの最大値となることを意味している。
〈実施形態７〉
本実施形態に係るデジタルカメラおいても、実施形態７と同様に適切なダイナミックレンジの拡大率を制御部２８（図２参照）によって自動的に設定できるようにした。以下、本実施形態におけるダイナミックレンジの拡大率設定処理について説明する。
本実施形態におけるダイナミックレンジの拡大率設定処理においても、最初に前記実施形態１（又は、前記実施形態２、３、４、５のいずれかの実施形態）と同様にして、ダイナミックレンジの拡大率を２倍に設定してダイナミックレンジの拡大処理を行う。図２２（ａ）は、Ｇフィルタの画素出力が飽和レベルを超えたある撮影画像（例えば、撮影画像内の極めて狭いエリアに高輝度の発光体がある）に対して、ダイナミックレンジを２倍に拡大処理した場合の、輝度ヒストグラム生成部５７（図４参照）で生成されたヒストグラムの一例である。
このヒストグラムでは、最大高輝度（２５５）付近（図２２（ａ）の矢印ａで示した箇所）に前記高輝度の発光体に対応した画素がある。なお、図２２（ａ）において、横軸は輝度（０〜２５５の２５６階調（８ビット））、縦軸は画素の発生頻度（０〜１（＝１００％））である。
そして、信号処理部２２の制御部２８（図２参照）は、輝度ヒストグラム生成部５７から入力されるヒストグラムデータに基づいて生成されたヒストグラム（図２２（ａ）参照）に対して、低輝度側から最大高輝度（２５５）側に向けて発生している画素の発生頻度をカウントする。そして、制御部２８は、低輝度から最大高輝度（２５５）までの全カウント値に対して、例えば最大高輝度（２５５）手前の９８％程度に達したポイント（図２２（ａ）の矢印ｂで示した箇所）を、ダイナミックレンジ拡大後の新たな輝度の最大値（最大高輝度）となるようにダイナミックレンジの拡大率を決定する。
そして、前記した低輝度から最大高輝度（２５５）側の９８％程度手前のまでの範囲が、図１１や図１３に示したビット圧縮変換特性と同様に、入力１４ビットデータを出力１２ビットデータへ圧縮変換するときの最大値（４０９５）に変換するポイントとなるようなビット圧縮変換特性を生成する。あるいは、前記式（２）や式（３）に示したように、入力１４ビットデータに対して上限処理したときの上限値となる。
このような処理を行うことにより、図２２（ｂ）に示すような適切なヒストグラムが生成されるダイナミックレンジの拡大率を、制御部２８により自動的に設定することができる。これにより、撮影画像内の極めて狭いエリアに高輝度の発光体がある場合でも、その影響を抑え、飽和しても不自然にならない光源のような高輝度部分は飽和させて（図２２（ｂ）の矢印ｂで示した箇所）、撮影画像の高輝度光源以外の範囲においてダイナミックレンジの拡大を行うことができる。
なお、前記した各実施形態では、色分解フィルタとしてＲＧＢの３原色系フィルタを配置した構成であったが、色分解フィルタとして補色系フィルタを配置した構成においても、同様に本発明を適用することができる。
（ａ）は、本発明の実施形態１〜７に係る撮像装置の一例としてのデジタルカメラを示す正面図、（ｂ）は、その上面図、（ｃ）は、その背面図。 本発明の実施形態１〜７に係る撮像装置の一例としてのデジタルカメラ内のシステム構成の概要を示すブロック図。 本発明の実施形態１におけるダイナミックレンジ拡大の原理を説明するための図。 本発明の実施形態１におけるＹＵＶ変換部の構成を示すブロック図。 本発明の実施形態１におけるＤレンジ拡大予測補間部の構成を示すブロック図。 （ａ），（ｂ），（ｃ）は、液晶モニタに表示された撮影設定画面の一例を示す図。 本発明の実施形態１におけるＲＧＢフィルタを有するＣＣＤの画素配置位置と処理単位を示す図。 本発明の実施形態１における、ダイナミックレンジを２倍に拡大処理する場合での拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに圧縮するビット圧縮変換特性を示す図。 １２ビットのＲＧＢのデータを８ビットのＲＧＢのデータに変換（γ変換）する変換テーブルを示す図。 （ａ）は、本発明の実施形態１におけるダイナミックレンジの拡大処理を行った場合のヒストグラムを示す図、（ｂ）は、本実施形態におけるダイナミックレンジの拡大処理を行わなかった場合のヒストグラムを示す図。 本発明の実施形態１における、ダイナミックレンジを１．３倍に拡大処理する場合での拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに圧縮するビット圧縮変換特性を示す図。 ダイナミックレンジを１．３倍に拡大処理した場合におけるヒストグラムを示す図。 本発明の実施形態１における、ダイナミックレンジを１．６倍に拡大処理する場合での拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに圧縮するビット圧縮変換特性を示す図。 ダイナミックレンジを１．６倍に拡大処理した場合におけるヒストグラムを示す図。 本発明の実施形態２におけるＲＧＢフィルタを有するＣＣＤの画素配置位置と処理単位を示す図。 本発明の実施形態３におけるＲＧＢフィルタを有するＣＣＤの画素配置位置と処理単位を示す図。 本発明の実施形態４におけるＲＧＢフィルタを有するＣＣＤの画素配置位置と処理単位を示す図。 本発明の実施形態４におけるＤレンジ拡大予測補間部の構成を示すブロック図。 （ａ）は、ａ方向の対角線における各Ｇフィルタの画素出力の値と中心部のＧフィルタの画素出力の予測値を示す図、（ｂ）は、ｂ方向の対角線における各Ｇフィルタの画素出力の値と中心部のＧフィルタの画素出力の予測値を示す図。 本発明の実施形態５におけるＤレンジ拡大予測補間部の構成を示すブロック図。 （ａ）は、ダイナミックレンジを２倍に拡大処理した場合におけるヒストグラムを示す図、（ｂ）は、実施形態６におけるダイナミックレンジの拡大率を自動的に設定した場合のヒストグラムを示す図。 （ａ）は、ダイナミックレンジを２倍に拡大処理した場合におけるヒストグラムを示す図、（ｂ）は、実施形態７におけるダイナミックレンジの拡大率を自動的に設定した場合のヒストグラムを示す図。
符号の説明
１ デジタルカメラ（撮像装置）
５ 撮影レンズ系（光学系）
６ 鏡胴ユニット
９ 液晶モニタ
１２ メニューボタン（ダイナミックレンジ拡大率設定手段、動作選択手段）
２０ ＣＣＤ（撮像素子）
２１ アナログフロントエンド部
２２ 信号処理部
２３ ＳＤＲＡＭ
２８ 制御部（拡大率変更制御手段）
３４ ＣＣＤインターフェース
３５ メモリコントローラ
３６ ＹＵＶ変換部
５０ Ｄレンジ拡大予測補間部
５１ ビット圧縮変換部（ビット圧縮変換手段）
５７ 輝度ヒストグラム生成部（ヒストグラム生成手段）
６０ 輝度レベル判定部（画素出力検出手段）
６１、６１ａ 画素出力補正処理部（画素出力補正処理手段）
６２ ビット拡張処理部
６３ 第１画素出力補正処理部（第１の画素出力補正処理手段）
６４ 第２画素出力補正処理部（第２の画素出力補正処理手段）
６５ 補正データ合成部（予測補間処理手段）

Claims (26)

  1. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して特定色のフィルタが配置された画素が、他の色のフィルタが配置された画素よりも高い輝度感度を有している撮像装置において、
    前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、
    前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない前記他の色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間してダイナミックレンジを拡大する画素出力補正処理手段と、
    ダイナミックレンジの拡大率を設定するダイナミックレンジ拡大率設定手段と、
    前記画素出力補正処理手段による前記予測補間処理により拡大されるダイナミックレンジに対する拡大率を、前記ダイナミックレンジ拡大率設定手段により設定された拡大率に基づいて変更制御する拡大率変更制御手段と、を有する、
    ことを特徴とする撮像装置。
  2. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して特定色のフィルタが配置された画素が、他の色のフィルタが配置された画素よりも高い輝度感度を有している撮像装置において、
    前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、
    前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間してダイナミックレンジを拡大する画素出力補正処理手段と、
    ダイナミックレンジの拡大率を設定するダイナミックレンジ拡大率設定手段と、
    前記画素出力補正処理手段による前記予測補間処理により拡大されるダイナミックレンジに対する拡大率を、前記ダイナミックレンジ拡大率設定手段により設定された拡大率に基づいて変更制御する拡大率変更制御手段と、を有する、
    ことを特徴とする撮像装置。
  3. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して特定色のフィルタが配置された画素が、他の色のフィルタが配置された画素よりも高い輝度感度を有している撮像装置において、
    前記撮像素子から出力される電気信号から、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、
    前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない前記他の色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間する第１の画素出力補正処理手段と、
    前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間する第２の画素出力補正処理手段と、
    前記第１の画素出力補正処理手段と前記第２の画素出力補正処理手段からそれぞれ出力される予測補間情報に基づいて、前記飽和レベル以上領域における画素出力に対して適切な予測補間処理をしてダイナミックレンジを拡大する予測補間処理手段と、
    ダイナミックレンジの拡大率を設定するダイナミックレンジ拡大率設定手段と、
    前記予測補間処理手段による前記予測補間処理により拡大されるダイナミックレンジに対する拡大率を、前記ダイナミックレンジ拡大率設定手段により設定された拡大率に基づいて変更制御する拡大率変更制御手段と、を有する、
    ことを特徴とする撮像装置。
  4. 前記画素出力検出手段が各画素の出力を検出する際の処理単位は、水平・垂直方向に２×２画素の大きさである、
    ことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
  5. 前記画素出力補正処理手段による前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成手段を備え、
    前記拡大率変更制御手段は、前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成手段で生成されたヒストグラムに対し最大高輝度側から低輝度側に向けて画素の発生頻度を検出したときの画素の発生頻度情報に基づいて、画素の発生頻度が予め規定された規定値以上になる位置をヒストグラムの新たな最大高輝度位置とするように、前記画素出力補正処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項１または２に記載の撮像装置。
  6. 前記画素出力補正処理手段による前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成手段を備え、
    前記拡大率変更制御手段は、前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成手段で生成されたヒストグラムに対し最大高輝度側から低輝度側に向けて画素の発生頻度を検出したときの画素の発生頻度情報に基づいて、画素の発生頻度が予め規定された規定値以上になる位置をヒストグラムの新たな最大高輝度位置とするように、前記予測補間処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項３に記載の撮像装置。
  7. 前記画素出力補正処理手段による前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成手段を備え、
    前記拡大率変更制御手段は、前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成手段で生成されたヒストグラムに対し低輝度側から最大高輝度側に向けてカウントしたときの輝度データ数の値が、全輝度データ数の値に対して予め規定した割合になる位置をヒストグラムの新たな最大高輝度位置とするように、前記画素出力補正処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項１または２に記載の撮像装置。
  8. 前記画素出力補正処理手段による前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成手段を備え、
    前記拡大率変更制御手段は、前記画素出力検出手段により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成手段で生成されたヒストグラムに対し低輝度側から最大高輝度側に向けてカウントしたときの輝度データ数の値が、全輝度データ数の値に対して予め規定した割合になる位置をヒストグラムの新たな最大高輝度位置とするように、前記予測補間処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項３に記載の撮像装置。
  9. 前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータを、予め設定したビット圧縮変換特性テーブルに基づいて再度前記第１のビット数に圧縮するビット圧縮変換手段を備え、
    前記拡大率変更制御手段は、ビット圧縮変換特性を変更した前記ビット圧縮変換特性テーブルに基づいて、前記画素出力補正処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項１または２に記載の撮像装置。
  10. 前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータを、予め設定したビット圧縮変換特性テーブルに基づいて再度前記第１のビット数に圧縮するビット圧縮変換手段を備え、
    前記拡大率変更制御手段は、ビット圧縮変換特性を変更した前記ビット圧縮変換特性テーブルに基づいて、前記予測補間処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項３に記載の撮像装置。
  11. 前記拡大率変更制御手段は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータに対して所定の係数を乗算することで、前記画素出力補正処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項１または２に記載の撮像装置。
  12. 前記拡大率変更制御手段は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータに対して所定の係数を乗算することで、前記予測補間処理手段により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項３に記載の撮像装置。
  13. 前記特定色のフィルタが配置された画素の出力に対して、前記所定の飽和レベル以上に達しているときに前記予測補間させる動作を、選択して実行させるための動作選択手段を備えている、
    ことを特徴とする請求項１乃至１２のいずれか一項に記載の撮像装置。
  14. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して特定色のフィルタが配置された画素が、他の色のフィルタが配置された画素よりも高い輝度感度を有している撮像装置の撮像方法において、
    前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出工程と、
    前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない前記他の色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間してダイナミックレンジを拡大する画素出力補正処理工程と、
    前記画素出力補正処理工程による前記予測補間処理により拡大されるダイナミックレンジに対する拡大率を、ダイナミックレンジの拡大率を設定するダイナミックレンジ拡大率設定手段により設定された拡大率に基づいて変更制御する拡大率変更制御工程と、を含む、
    ことを特徴とする撮像装置の撮像方法。
  15. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して特定色のフィルタが配置された画素が、他の色のフィルタが配置された画素よりも高い輝度感度を有している撮像装置の撮像方法において、
    前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出工程と、
    前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間してダイナミックレンジを拡大する画素出力補正処理工程と、
    前記画素出力補正処理工程による前記予測補間処理により拡大されるダイナミックレンジに対する拡大率を、ダイナミックレンジの拡大率を設定するダイナミックレンジ拡大率設定手段により設定された拡大率に基づいて変更制御する拡大率変更制御工程と、を含む、
    ことを特徴とする撮像装置の撮像方法。
  16. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して特定色のフィルタが配置された画素が、他の色のフィルタが配置された画素よりも高い輝度感度を有している撮像装置の撮像方法において、
    前記撮像素子から出力される電気信号から、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出工程と、
    前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない前記他の色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間する第１の画素出力補正処理工程と、
    前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記飽和レベル以上領域における画素出力を予測補間する第２の画素出力補正処理工程と、
    前記第１の画素出力補正処理工程と前記第２の画素出力補正処理工程からそれぞれ出力される予測補間情報に基づいて、前記飽和レベル以上領域における画素出力に対して適切な予測補間処理をしてダイナミックレンジを拡大する予測補間処理工程と、
    前記予測補間処理工程による前記予測補間処理により拡大されるダイナミックレンジに対する拡大率を、ダイナミックレンジの拡大率を設定するダイナミックレンジ拡大率設定手段により設定された拡大率に基づいて変更制御する拡大率変更制御工程と、を含む、
    ことを特徴とする撮像装置の撮像方法。
  17. 前記各画素の出力を検出する際の処理単位は、水平・垂直方向に２×２画素の大きさである、
    ことを特徴とする請求項１４乃至１６のいずれか一項に記載の撮像装置の撮像方法。
  18. 前記画素出力補正処理工程による前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成工程をさらに含み、
    前記拡大率変更制御工程は、前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成工程で生成されたヒストグラムに対し最大高輝度側から低輝度側に向けて画素の発生頻度を検出したときの画素の発生頻度情報に基づいて、画素の発生頻度が予め規定された規定値以上になる位置をヒストグラムの新たな最大高輝度位置とするように、前記画素出力補正処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項１４または１５に記載の撮像装置の撮像方法。
  19. 前記画素出力補正処理工程による前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成工程をさらに含み、
    前記拡大率変更制御工程は、前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成手段で生成されたヒストグラムに対し最大高輝度側から低輝度側に向けて画素の発生頻度を検出したときの画素の発生頻度情報に基づいて、画素の発生頻度が予め規定された規定値以上になる位置をヒストグラムの新たな最大高輝度位置とするように、前記予測補間処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項１６に記載の撮像装置の撮像方法。
  20. 前記画素出力補正処理工程による前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成工程をさらに含み、
    前記拡大率変更制御工程は、前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成工程で生成されたヒストグラムに対し低輝度側から最大高輝度側に向けてカウントしたときの輝度データ数の値が、全輝度データ数の値に対して予め規定した割合になる位置をヒストグラムの新たな最大高輝度位置とするように、前記画素出力補正処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項１４または１５に記載の撮像装置の撮像方法。
  21. 前記画素出力補正処理工程による前記予測補間処理により拡大されるダイナミックレンジに対応して、低輝度から最大高輝度間における画素の発生頻度を算出するヒストグラム生成工程をさらに含み、
    前記拡大率変更制御工程は、前記画素出力検出工程により前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定されているときに、前記ヒストグラム生成工程で生成されたヒストグラムに対し低輝度側から最大高輝度側に向けてカウントしたときの輝度データ数の値が、全輝度データ数の値に対して予め規定した割合になる位置をヒストグラムの新たな最大高輝度位置とするように、前記予測補間処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項１６に記載の撮像装置の撮像方法。
  22. 前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理工程から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータを、予め設定したビット圧縮変換特性テーブルに基づいて再度前記第１のビット数に圧縮するビット圧縮変換工程をさらに含み、
    前記拡大率変更制御工程は、ビット圧縮変換特性を変更した前記ビット圧縮変換特性テーブルに基づいて、前記画素出力補正処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項１４または１５に記載の撮像装置の撮像方法。
  23. 前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理工程から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータを、予め設定したビット圧縮変換特性テーブルに基づいて再度前記第１のビット数に圧縮するビット圧縮変換工程をさらに含み、
    前記拡大率変更制御工程は、ビット圧縮変換特性を変更した前記ビット圧縮変換特性テーブルに基づいて、前記予測補間処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項１６に記載の撮像装置の撮像方法。
  24. 前記拡大率変更制御工程は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理工程から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータに対して所定の係数を乗算することで、前記画素出力補正処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項１４または１５に記載の撮像装置の撮像方法。
  25. 前記拡大率変更制御工程は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理工程から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータに対して所定の係数を乗算することで、前記予測補間処理工程により拡大されるダイナミックレンジに対する拡大率を変更制御する、
    ことを特徴とする請求項１６に記載の撮像装置の撮像方法。
  26. 前記特定色のフィルタが配置された画素の出力に対して、前記所定の飽和レベル以上に達しているときに前記予測補間させる動作は、動作選択手段で動作選択することにより実行される、
    ことを特徴とする請求項１４至２５のいずれか一項に記載の撮像装置の撮像方法。
JP2007288714A 2007-09-14 2007-11-06 撮像装置および撮像方法 Expired - Fee Related JP5145876B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007288714A JP5145876B2 (ja) 2007-11-06 2007-11-06 撮像装置および撮像方法
US12/667,974 US8269852B2 (en) 2007-09-14 2008-09-12 Imaging apparatus and imaging method
PCT/JP2008/066916 WO2009035148A1 (en) 2007-09-14 2008-09-12 Imaging apparatus and imaging method
CN2008801011650A CN101766032B (zh) 2007-09-14 2008-09-12 成像装置和成像方法
EP08830394.6A EP2186345B1 (en) 2007-09-14 2008-09-12 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007288714A JP5145876B2 (ja) 2007-11-06 2007-11-06 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JP2009118158A true JP2009118158A (ja) 2009-05-28
JP5145876B2 JP5145876B2 (ja) 2013-02-20

Family

ID=40784791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007288714A Expired - Fee Related JP5145876B2 (ja) 2007-09-14 2007-11-06 撮像装置および撮像方法

Country Status (1)

Country Link
JP (1) JP5145876B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020136890A (ja) * 2019-02-19 2020-08-31 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、記憶媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001112010A (ja) * 1999-10-05 2001-04-20 Sony Corp カラー撮像装置
JP2003199117A (ja) * 2001-12-25 2003-07-11 Sony Corp 撮像装置及び固体撮像素子の信号処理方法
JP2004328564A (ja) * 2003-04-28 2004-11-18 Olympus Corp カラー補正装置、カラー補正方法及びカラー補正プログラム、並びにカラー補正装置を用いたデジタルカメラ
JP2008022521A (ja) * 2006-06-14 2008-01-31 Toshiba Corp 固体撮像素子

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001112010A (ja) * 1999-10-05 2001-04-20 Sony Corp カラー撮像装置
JP2003199117A (ja) * 2001-12-25 2003-07-11 Sony Corp 撮像装置及び固体撮像素子の信号処理方法
JP2004328564A (ja) * 2003-04-28 2004-11-18 Olympus Corp カラー補正装置、カラー補正方法及びカラー補正プログラム、並びにカラー補正装置を用いたデジタルカメラ
JP2008022521A (ja) * 2006-06-14 2008-01-31 Toshiba Corp 固体撮像素子

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020136890A (ja) * 2019-02-19 2020-08-31 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、記憶媒体
JP7344648B2 (ja) 2019-02-19 2023-09-14 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、記憶媒体

Also Published As

Publication number Publication date
JP5145876B2 (ja) 2013-02-20

Similar Documents

Publication Publication Date Title
JP5347707B2 (ja) 撮像装置および撮像方法
JP5123137B2 (ja) 撮像装置および撮像方法
EP2186345B1 (en) Imaging apparatus and imaging method
JP4567593B2 (ja) 撮像装置および撮影方法
JP5660341B2 (ja) 撮像装置、撮像方法
US7884866B2 (en) Imaging apparatus and imaging method
US8319864B2 (en) Imaging apparatus and imaging method
JP5223686B2 (ja) 撮像装置および撮像方法
JP2017022610A (ja) 画像処理装置、画像処理方法
JP5343588B2 (ja) 撮像装置
JP5458937B2 (ja) 撮像装置及び撮像方法及びこの撮像方法を実行するためのプログラムが記録されたコンピュータが読み取り可能な記録媒体
JP5256947B2 (ja) 撮像装置、撮像方法およびその方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2012222469A (ja) 撮像装置及びその制御方法
JP2008053931A (ja) 撮像装置
JP5277863B2 (ja) 撮像装置および撮像方法
JP5091781B2 (ja) 撮像装置および撮像方法
JP5948997B2 (ja) 撮像装置及び撮像方法
JP5310331B2 (ja) 撮像装置および撮像方法
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP2010068331A (ja) 撮像装置および撮像方法
EP2515543B1 (en) Image capturing apparatus and image capturing method
JP5145876B2 (ja) 撮像装置および撮像方法
JP5169540B2 (ja) 撮像装置および撮像方法
JP5091734B2 (ja) 撮像装置および撮像方法
JP2010068064A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121112

R151 Written notification of patent or utility model registration

Ref document number: 5145876

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees