JP2009225252A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影でダイナミックレンジを拡大することができる撮像装置および撮像方法を提供する。
【解決手段】輝度レベル判定部６０により所定の規定値以上の出力の画素が有ると判定した場合に、その周辺の画素からの出力に基づいて所定の規定値以上の画素の出力を補正する飽和画素補正処理部６１と、飽和画素補正処理部６１によって補正を行う際の補正係数を設定する補正係数設定部６３と、被写体に対する撮影シーンを判定する撮影シーン判定部と、人物の顔部を検出する顔検出部を備え、補正係数設定部６３は、撮影シーン判定部により判定した撮影シーン情報及び顔検出部による顔部検出情報を入力し、入力したこれらの情報に基づいて、飽和画素補正処理部６１によって補正を行う際の補正係数を設定する。
【選択図】図７

Description

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置および撮像方法に関し、特に撮影画像のダイナミックレンジを拡大することができる撮像装置および撮像方法に関する。

銀塩写真フィルムを用いる従来の銀塩カメラで撮影される画像のダイナミックレンジに比べ、ＣＣＤ等の固体撮像素子を有するデジタルスチルカメラやデジタルビデオカメラ等で撮影される画像のダイナミックレンジは極めて狭い。ダイナミックレンジが狭いと、被写体の暗い部分は「黒つぶれ」といわれる現象が発生し、逆に被写体の明るい部分は「白とび」といわれる現象が発生して画像品質が低下する。

そこで、ＣＣＤ等の固体撮像素子で撮像される画像のダイナミックレンジを拡大するために、例えば、同一被写体に対して露光量を変えて複数回の撮影を行い、露光量の異なる複数の画像を取得し、これらの画像を加算してダイナミックレンジが拡大された合成画像を生成する技術が従来より知られている（例えば、特許文献１参照）。
特開２０００−９２３７８号公報

ところで、ダイナミックレンジを拡大するために、前記特許文献１のように露光量を変えて複数回の撮影を行う方法では、移動物体の被写体を撮影したりすると、被写体が２重にずれた画像になり、正しく画像を合成できないことがある。

そこで、本発明は、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる撮像装置および撮像方法を提供することを目的とする。

前記目的を達成するために請求項１に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して前記色分解フィルタのうちの特定色のフィルタが他の色のフィルタよりも高い輝度感度を有している撮像装置において、前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素のいずれかの画素からの出力が所定の規定値以上に達しているか否かを判定する画素出力検出手段と、前記画素出力検出手段により前記所定の規定値以上の出力の画素が有ると判定した場合に、その周辺の画素からの出力に基づいて前記所定の規定値以上の画素の出力を補正する画素出力補正手段と、前記画素出力補正手段によって前記補正を行う際の補正係数を設定する補正係数設定手段と、被写体に対する撮影シーンを判定する撮影シーン判定手段と、前記撮像素子から出力される電気信号から、人物の顔部を検出する顔検出手段と、を備え、前記補正係数設定手段は、前記撮影シーン判定手段により判定した撮影シーン情報及び前記顔検出手段による顔部検出情報を入力し、入力したこれらの情報に基づいて、前記画素出力補正手段によって前記補正を行う際の補正係数を設定することを特徴としている。

請求項２に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して前記色分解フィルタのうちの特定色のフィルタが他の色のフィルタよりも高い輝度感度を有している撮像装置において、前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素のいずれかの画素からの出力が所定の規定値以上に達しているか否かを判定する画素出力検出手段と、前記画素出力検出手段により前記所定の規定値以上の出力の画素が有ると判定した場合に、その周辺の画素からの出力に基づいて前記所定の規定値以上の画素の出力を補正する画素出力補正手段と、前記画素出力補正手段によって前記補正を行う際の補正係数を設定する補正係数設定手段と、被写体に対する撮影シーンを判定する撮影シーン判定手段と、を備え、前記補正係数設定手段は、前記撮影シーン判定手段により判定した撮影シーン情報を入力し、入力した撮影シーン情報に基づいて、前記画素出力補正手段によって前記補正を行う際の補正係数を設定することを特徴としている。

請求項３に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して前記色分解フィルタのうちの特定色のフィルタが他の色のフィルタよりも高い輝度感度を有している撮像装置において、前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素のいずれかの画素からの出力が所定の規定値以上に達しているか否かを判定する画素出力検出手段と、前記画素出力検出手段により前記所定の規定値以上の出力の画素が有ると判定した場合に、その周辺の画素からの出力に基づいて前記所定の規定値以上の画素の出力を補正する画素出力補正手段と、前記画素出力補正手段によって前記補正を行う際の補正係数を設定する補正係数設定手段と、前記撮像素子から出力される電気信号から、人物の顔部を検出する顔検出手段と、を備え、前記補正係数設定手段は、前記顔検出手段による顔部検出情報を入力し、入力した顔部検出情報に基づいて、前記画素出力補正手段によって前記補正を行う際の補正係数を設定することを特徴としている。

請求項４に記載の発明は、前記撮像素子から出力される電気信号から被写体までの距離を検出する距離検出手段と、前記撮像素子から出力される電気信号から被写体の色分布を検出する色分布検出手段と、前記撮像素子から出力される電気信号から被写体の輝度の分布を検出する輝度分布検出手段を更に備え、前記撮影シーン判定手段は、前記距離検出手段で検出される距離情報、前記色分布検出手段で検出される色分布情報、前記輝度分布検出手段で検出される輝度分布情報のうちのいずれか１つ以上の情報に基づいて、撮影シーンを判定することを特徴としている。

請求項５に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して前記色分解フィルタのうちの特定色のフィルタが他の色のフィルタよりも高い輝度感度を有している撮像装置の撮像方法において、前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素のいずれかの画素からの出力が所定の規定値以上に達しているか否かを判定する画素出力検出工程と、前記画素出力検出工程により前記所定の規定値以上の出力の画素が有ると判定した場合に、その周辺の画素からの出力に基づいて前記所定の規定値以上の画素の出力を補正する画素出力補正工程と、前記画素出力補正工程によって前記補正を行う際の補正係数を設定する補正係数設定工程と、被写体に対する撮影シーンを判定する撮影シーン判定工程と、前記撮像素子から出力される電気信号から、人物の顔部を検出する顔検出工程と、を含み、前記補正係数設定工程は、前記撮影シーン判定工程により判定した撮影シーン情報及び前記顔検出工程による顔部検出情報を入力し、入力したこれらの情報に基づいて、前記画素出力補正工程によって前記補正を行う際の補正係数を設定することを特徴としている。

請求項６に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して前記色分解フィルタのうちの特定色のフィルタが他の色のフィルタよりも高い輝度感度を有している撮像装置の撮像方法において、前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素のいずれかの画素からの出力が所定の規定値以上に達しているか否かを判定する画素出力検出工程と、前記画素出力検出工程により前記所定の規定値以上の出力の画素が有ると判定した場合に、その周辺の画素からの出力に基づいて前記所定の規定値以上の画素の出力を補正する画素出力補正工程と、前記画素出力補正工程によって前記補正を行う際の補正係数を設定する補正係数設定工程と、被写体に対する撮影シーンを判定する撮影シーン判定工程と、を含み、前記補正係数設定工程は、前記撮影シーン判定工程により判定した撮影シーン情報を入力し、入力した撮影シーン情報に基づいて、前記画素出力補正工程によって前記補正を行う際の補正係数を設定することを特徴としている。

請求項７に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して前記色分解フィルタのうちの特定色のフィルタが他の色のフィルタよりも高い輝度感度を有している撮像装置の撮像方法において、前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素のいずれかの画素からの出力が所定の規定値以上に達しているか否かを判定する画素出力検出工程と、前記画素出力検出工程により前記所定の規定値以上の出力の画素が有ると判定した場合に、その周辺の画素からの出力に基づいて前記所定の規定値以上の画素の出力を補正する画素出力補正工程と、前記画素出力補正工程によって前記補正を行う際の補正係数を設定する補正係数設定工程と、前記撮像素子から出力される電気信号から、人物の顔部を検出する顔検出工程と、を含み、前記補正係数設定工程は、前記顔検出工程による顔部検出情報を入力し、入力した顔部検出情報に基づいて、前記画素出力補正工程によって前記補正を行う際の補正係数を設定することを特徴としている。

請求項８に記載の発明は、前記撮像素子から出力される電気信号から被写体までの距離を検出する距離検出工程と、前記撮像素子から出力される電気信号から被写体の色分布を検出する色分布検出工程と、前記撮像素子から出力される電気信号から被写体の輝度の分布を検出する輝度分布検出工程を更に含み、前記撮影シーン判定工程は、前記距離検出工程で検出された距離情報、前記色分布検工程で検出した色分布情報、前記輝度分布検出工程で検出した輝度分布情報のうちのいずれか１つ以上の情報に基づいて、撮影シーンを判定することを特徴としている。

本発明によれば、各画素のいずれかの画素からの出力が所定の規定値以上に達していると判定した場合に、その周辺の画素からの出力に基づいて所定の規定値以上の画素の出力を補正してダイナミックレンジを拡大することにより、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる。

更に、本発明によれば、顔検出手段（顔検出工程）による顔検出情報及び撮影シーン判別手段（撮影シーン判別工程）による撮影シーンの判別情報、あるいはいずれか一方の情報に基づいて、入力したこれらの情報に基づいて、画素出力補正手段（画素出力補正工程）によって補正を行う際の補正係数を設定することにより、撮影シーンの状況や、撮影シーン内に人物の顔の有無に応じて、適切な拡大幅のダイナミックレンジを設定することができる。

以下、本発明を図示の実施形態に基づいて説明する。
〈実施形態１〉

図１（ａ）は、本発明の実施形態１に係る撮像装置の一例としてのデジタルスチルカメラ（以下、「デジタルカメラ」という）を示す正面図、図１（ｂ）は、その上面図、図１（ｃ）は、その背面図、図２は、図１（ａ），（ｂ），（ｃ）に示したデジタルカメラ内のシステム構成の概要を示すブロック図である。

（デジタルカメラの外観構成）
図１（ａ），（ｂ），（ｃ）に示すように、本実施形態に係るデジタルカメラ１の上面側には、レリーズボタン（シャッタボタン）２、電源ボタン３、撮影・再生切替ダイアル４が設けられており、デジタルカメラ１の正面（前面）側には、撮影レンズ系５を有する鏡胴ユニット６、ストロボ発光部（フラッシュ）７、光学ファインダ８が設けられている。

デジタルカメラ１の背面側には、液晶モニタ（ＬＣＤ）９、前記光学ファインダ８の接眼レンズ部８ａ、広角側ズーム（Ｗ）スイッチ１０、望遠側ズーム（Ｔ）スイッチ１１、メニュー（ＭＥＮＵ）ボタン１２、確定ボタン（ＯＫボタン）１３等が設けられている。また、デジタルカメラ１の側面内部には、撮影した画像データを保存するためのメモリカード１４（図２参照）を収納するメモリカード収納部１５が設けられている。

（デジタルカメラのシステム構成）
図２に示すように、このデジタルカメラ１は、鏡胴ユニット６の撮影レンズ系５を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ２０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号に処理するアナログフロントエンド部（以下、「ＡＦＥ部」という）２１、ＡＦＥ部２１から出力されるデジタル信号を処理する信号処理部２２、データを一時的に格納するＳＤＲＡＭ２３、制御プログラム等が記憶されたＲＯＭ２４、鏡胴ユニット６を駆動するモータドライバ２５等を有している。

鏡胴ユニット６は、ズームレンズやフォーカスレンズ等を有する撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７を備えており、撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７の各駆動ユニットは、モータドライバ２５によって駆動される。モータドライバ２５は、信号処理部２２の制御部（ＣＰＵ）２８からの駆動信号により駆動制御される。

ＣＣＤ２０は、図３に示すように、ＣＣＤ２０を構成する複数の画素２０ａ上にベイヤ配列のＲＧＢ原色フィルタ（以下、「ＲＧＢフィルタ」という）が配置されており、各画素からＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。

ＡＦＥ部２１は、ＣＣＤ２０を駆動するＴＧ（タイミング信号発生部）３０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）３１、ＣＤＳ３１にてサンプリングされた信号のゲインを調整するＡＧＣ（アナログ利得制御部）３２、ＡＧＣ３２でゲイン調整された信号をデジタル信号（以下、「ＲＡＷ−ＲＧＢデータ」という）に変換するＡ／Ｄ変換部３３を備えている。

信号処理部２２は、ＡＦＥ部２１のＴＧ３０へ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、ＡＦＥ部２１のＡ／Ｄ変換部３３から出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（以下、「ＣＣＤＩ／Ｆ」という）３４と、ＳＤＲＡＭ２３を制御するメモリコントローラ３５と、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部３６と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部３７と、画像表示に必要な処理を行う表示出力制御部３８と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部３９と、画像データをメモリカード１４へ書き込み、又はメモリカード１４に書き込まれた画像データを読み出すメディアインターフェース（以下、「メディアＩ／Ｆ」という）４０と、操作部４１からの操作入力情報に基づき、ＲＯＭ２４に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う制御部（ＣＰＵ）２８を備えている。

操作部４１は、デジタルカメラ１（図１（ａ），（ｂ），（ｃ）参照）の外観表面に設けられているレリーズボタン２、電源ボタン３、撮影・再生切替ダイアル４、広角側ズームスイッチ１０、望遠側ズームスイッチ１１、メニューボタン１２、確定ボタン１３等であり、撮影者の操作によって所定の動作指示信号が制御部２８に入力される。ＳＤＲＡＭ２３には、ＣＣＤＩ／Ｆ３４に取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部３６で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、更に、データ圧縮部３９で圧縮処理されたＪＰＥＧ形成などの画像データが保存される。なお、前記ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分（Ｖ））の情報で色を表現する形式である。

（デジタルカメラのモニタリング動作、静止画撮影動作）
次に、前記したデジタルカメラ１のモニタリング動作と静止画撮影動作について説明する。このデジタルカメラ１は、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。

先ず、撮影者が電源ボタン３をＯＮし、撮影・再生切替ダイアル４を撮影モードに設定することで、デジタルカメラ１が記録モードで起動する。電源ボタン３がＯＮされて、撮影・再生切替ダイアル４が撮影モードに設定されたことを制御部２８が検知すると、制御部２８はモータドライバ２５に制御信号を出力して、鏡胴ユニット６を撮影可能位置に移動させ、かつ、ＣＣＤ２０、ＡＦＥ部２１、信号処理部２２、ＳＤＲＡＭ２３、ＲＯＭ２４、液晶モニタ９等を起動させる。

そして、鏡胴ユニット６の撮影レンズ系５を被写体に向けることにより、撮影レンズ系５を通して入射される被写体画像がＣＣＤ２０の各画素の受光面上に結像する。そして、ＣＣＤ２０から出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ３１、ＡＧＣ３２を介してＡ／Ｄ変換部３３に入力され、Ａ／Ｄ変換部３３により１２ビット（bit）のＲＡＷ−ＲＧＢデータに変換する。

このＲＡＷ−ＲＧＢデータは、信号処理部２２のＣＣＤＩ／Ｆ３４に取り込まれてメモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、ＳＤＲＡＭ２３から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部３６で表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラ３５を介してＳＤＲＡＭ２３にＹＵＶデータが保存される。

そして、ＳＤＲＡＭ２３からメモリコントローラ３５を介して読み出したＹＵＶデータは、表示出力制御部３８を介して液晶モニタ（ＬＣＤ）９へ送られ、撮影画像が表示される。前記した液晶モニタ（ＬＣＤ）９に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆ３４による画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。

なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤ）９に撮影画像が表示されているだけで、まだレリーズボタン２が押圧操作されていない状態である。

この撮影画像の液晶モニタ（ＬＣＤ）９への表示によって、静止画を撮影するための構図の確認等を撮影者が行うことができる。なお、表示出力制御部３８からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像を表示することもできる。

そして、信号処理部２２のＣＣＤＩ／Ｆ３４は、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。

ＡＦ評価値は、例えば、高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系５内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。

ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤ２０の全画素の受光面に対応した画面を１０２４エリアに等分割（水平３２分割、垂直３２分割）し、それぞれのエリアのＲＧＢ積算を算出する。

そして、制御部２８は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリアの輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤ２０の電子シャッタ回数、絞りユニット２６の絞り値等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体色や光源色を判定し、光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部３６でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、前記したＡＥ処理とＡＷＢ処理は、前記モニタリング時には連続的に行われている。

そして、前記したモニタリング動作時に、レリーズボタン２が押圧（半押しから全押し）操作されて静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。

即ち、レリーズボタン２が押圧（半押しから全押し）操作されると、制御部２８からモータドライバ２５への駆動指令により撮影レンズ系５のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。

ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系５のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆ３４で算出されている各フォーカス位置における前記ＡＦ評価値を制御部２８が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。

そして、前記したＡＥ処理が行われ、露光完了時点で、制御部２８からモータドライバ２５への駆動指令によりメカシャッタユニット２７が閉じられ、ＣＣＤ２０から静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部２１のＡ／Ｄ変換部３３によりＲＡＷ−ＲＧＢデータに変換される。

そして、このＲＡＷ−ＲＧＢデータは、信号処理部２２のＣＣＤＩ／Ｆ３４に取り込まれ、後述するＹＵＶ変換部３６でＹＵＶデータに変換されて、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、このＹＵＶデータはＳＤＲＡＭ２３から読み出されて、リサイズ処理部３７で記録画素数に対応するサイズに変換され、データ圧縮部３９でＪＰＥＧ形式等の画像データへと圧縮される。

圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４０を介してメモリカード１４に保存される。

また、本実施形態では、図４に示すように、制御部２８内に顔検出部４２と、撮影シーン判定部４３を有している。

顔検出部４２は、例えば、ＳＤＲＡＭ２３に書き込まれたＹＵＶデータの輝度データ（Ｙ）を読み出し、予め記憶されている人物の顔の目と鼻の輝度パターンテンプレートとのマッチングを行うことで、人物の顔を検出する。前記輝度パターンテンプレートは、複数種類の大きさのものが予めＲＯＭ２４に記憶されており、それぞれの大きさの輝度パターンテンプレートで画面内の各点においてパターンマッチングすることで人物の顔部の検出を行う。なお、顔検出部４２による顔部の検出動作は、モニタリング動作時に連続的に行われており、ＡＥ（自動露出）において適正輝度を決める基準位置として利用される。また、ＡＦ（自動合焦）時は、合焦位置を決定するピーク検出位置としても利用される。

撮影シーン判定部４３は、ＡＦ時に取得としたＡＦ評価値から算出される被写体画面内の各位置の距離情報、前記ＡＥ評価値による画面内での輝度分布情報、及び前記ＡＷＢ評価値による画面内での色分布情報を入力し、入力したこれらの情報に基づいて撮影シーンを判定する。

例えば、撮影シーン判定部４３は、入力される距離情報、輝度分布情報、色分布情報に基づいて、被写体までの距離が近くでなく、画面全体の輝度が高く、画面上部に青色が分布していると判断した場合には、屋外の昼間の風景シーンと判定する。同様に、入力される距離情報、輝度分布情報、色分布情報に基づいて、被写体までの距離が近くでなく、画面全体の輝度が低く、画面の一部に高輝度が点在していると判断した場合には、夜景シーンと判定する。

更に、顔検出部４２によって前記したように画面内に人物の顔部を検出し、かつ撮影シーン判定部４３により被写体である人物の顔部までの距離が近く、それ以外の部分が遠距離であると判断している場合は、風景を背景とした人物撮影シーンと判定する。また、同様に、顔検出部４２によって前記したように画面内に人物の顔部を検出し、かつ撮影シーン判定部４３により被写体である人物の顔部までの距離が近く、それ以外の部分が遠距離であると判断し、更に、撮影シーン判定部４３により画面全体の輝度が低く、画面の一部に高輝度が点在していると判断している場合には、夜景を背景とした人物撮影シーンと判定する。

（本発明におけるダイナミックレンジの拡大原理）
デジタルカメラ１のＣＣＤ２０を構成する各画素上には、ベイヤ配列のＲＧＢフィルタ（図３参照）が配置されているが、太陽光のように広い波長帯域を持つ光に対して、通常のＲＧＢフィルタは各色ごとに輝度に対する感度が異なっている。

例えば、図５に示すように、Ｇ（グリーン）フィルタの感度が、Ｒ（レッド）フィルタ、Ｂ（ブルー）フィルタの２倍程度の感度を有するＲＧＢフィルタ（図５のａ、ｂ、ｃ）を有するＣＣＤ２０の場合、太陽光のように広い波長帯域を持つ光が同じだけＲＧＢフィルタに入射したときに、Ｒ、Ｂフィルタの各画素出力に対してＧフィルタ（図５のｃの斜線部分）の画素出力の方が先に飽和レベルＡに達してしまう。なお、図５において、ｆはＧフィルタの画素感度特性、ｇはＲ、Ｂフィルタの各画素感度特性であり、Ｇフィルタの画素感度特性は、Ｒ、Ｂフィルタの各画素感度特性の２倍程度の感度を有している。

ところで、ＲＧＢフィルタが配置されたＣＣＤなどの固体撮像素子を有する従来のデジタルカメラでは、図５のａ、ｂ、ｃのＲＧＢフィルタのように、感度の高いＧフィルタの画素出力に応じた飽和レベルＡに合わせてダイナミックレンジの範囲を設定している。このため、Ｇフィルタの画素出力が飽和レベルＡに達している場合でも、Ｒ、Ｂフィルタの画素出力は飽和レベルＡの１／２程度である。

これに対して、本発明では、図５のｄ、ｅのＲＧＢフィルタのように、Ｇフィルタの画素出力が飽和レベルＡを超えていても、Ｒ、Ｂフィルタの各画素出力が飽和レベルＡを超えていない範囲内にあるときに、Ｒ、Ｂフィルタの各画素出力レベルから、Ｒ、Ｂフィルタの各画素感度特性（図５のｇ）とＧフィルタの画素感度特性（図５のｆ）とに基づいてＧフィルタの画素出力レベルを予測補間補正（一点鎖線部分）し、この予測補間した分だけダイナミックレンジを拡大するようにした。

前記したように本実施形態では、太陽光のように広い波長帯域を持つ光に対して、Ｇフィルタの画素感度特性は、Ｒ、Ｂフィルタの各画素感度特性の２倍程度の感度を有している。よって、本実施形態におけるダイナミックレンジの拡大幅の最大値は、ダイナミックレンジの拡大処理動作を行わない通常の撮影時に対して２倍程度である。

なお、本実施形態では、Ｇフィルタの画素感度特性がＲ、Ｂフィルタの各画素感度特性の２倍程度の感度を有し、これに基づいてダイナミックレンジの拡大幅の最大値が２倍としたが、Ｒ、Ｇ、Ｂフィルタの各画素感度特性を変化させることにより、ダイナミックレンジの拡大幅の最大値を２倍以上の所定値、あるいは２倍以下の所定値に設定することができる。

（ＹＵＶ変換部３６によるダイナミックレンジ拡大処理）
本実施形態に係るデジタルカメラ１のＹＵＶ変換部３６は、前記したダイナミックレンジを拡大するためのダイナミックレンジ拡大処理機能を有している。

図６に示すように、ＹＵＶ変換部３６は、後述するダイナミックレンジ拡大予測補間部（以下、「Ｄレンジ拡大予測補間部」という）５０、ビット圧縮変換部５１、ホワイトバランス制御部５２、同時化部５３、トーンカーブ変換部５４、ＲＧＢ−ＹＵＶ変換部５５、画像サイズコンバータ部５６、輝度ヒストグラム生成部５７、およびエッジエンハンス部５８を備えている。

Ｄレンジ拡大予測補間部５０は、図７に示すように、輝度レベル判定部６０、飽和画素補正処理部６１、非飽和画素補正処理部６２、補正係数設定部６３、およびビット拡張処理部６４を備えている。

輝度レベル判定部６０は、入力されるＲＡＷ−ＲＧＢデータからＲＧＢフィルタを設けた各画素の画素出力を検出するとともに、感度が一番高いＧフィルタを設けた画素の画素出力（以下、「Ｇフィルタの画素出力」という）が飽和レベル以上に達したか否かを判定する。

飽和画素補正処理部６１は、輝度レベル判定部６０でＧフィルタの画素出力が飽和レベル以上に達したと判定した場合に、その周囲のＲ、Ｂフィルタを設けた画素の画素出力（以下、「Ｒ、Ｂフィルタの画素出力」という）によって飽和レベル以上に達しているＧフィルタの画素出力の補正（予測補間処理）を行う。なお、飽和画素補正処理部６１は、飽和レベル以上に達しているＧフィルタの画素出力を補正する際に、補正係数設定部６３から入力される補正係数に基づいて補正処理を行う（詳細は後述する）。非飽和画素補正処理部６２は、飽和画素補正処理部６１で補正されたＧフィルタの画素出力の値に基づいて、Ｒ、Ｂフィルタの画素出力を補正する。

補正係数設定部６３は、撮影シーン判定部４３により判定した撮影シーン情報及び前記顔検出部４２による顔部検出情報を入力し、入力したこれらの情報に基づいて、飽和画素補正処理部６１によってＧフィルタの画素出力の補正を行う際の補正係数を設定する（詳細は後述する）。

ビット拡張処理部６４は、輝度レベル判定部６０でＧフィルタの画素出力が飽和レベルに達していないと判定された場合に、Ｇフィルタの画素出力、およびＲ、Ｂフィルタの画素出力に対して、出力レベルの補正を行うことなく１２ビットから１４ビットにそれぞれビット拡張のみを行う。

以下、本実施形態におけるダイナミックレンジの拡大処理動作について説明する。

例えば、撮影したい被写体の背景の一部にその周囲よりも極端に明るい部分が有る場合や、夜景を背景にして人物をフラッシュ発光で撮影するときに人物の顔部分が白飛びするおそれがある場合などにおいて、ダイナミックレンジを拡大して高い輝度部分に対して良好な階調を有する画像を得たいことがある。このように、通常の撮影時よりもダイナミックレンジを拡大して撮影したいときには、メニューボタン１２（図１（Ｃ）参照）を撮影者が押圧操作することにより、例えば、図８に示すような撮影設定画面が液晶モニタ（ＬＣＤ）９に表示される。

そして、図８に示すように、メニューボタン１２の押圧操作により選択された「ダイナミックレンジ２倍」の項目に対し、確定ボタン（図１（Ｃ）参照）１３を押して「ダイナミックレンジ２倍」を決定する。これにより、ダイナミックレンジ拡大処理動作がＯＮされ、制御部２８から輝度レベル判定部６０へダイナミックレンジの拡大幅を２倍とする信号が出力される。

そして、制御部２８から輝度レベル判定部６０へダイナミックレンジの拡大幅を２倍とする信号が出力されて、ダイナミックレンジ拡大処理動作が実行されると、Ｄレンジ拡大予測補間部５０の輝度レベル判定部６０は、入力されるＲＡＷ−ＲＧＢデータに基づいてＧフィルタの画素出力が飽和レベル以上に達したか否かを判定処理する。

この判定処理を行う場合において、本実施形態では、ＲＧＢフィルタが設置されたＣＣＤ２０の各画素に対して、図３に示したように、太枠Ａ内の２×２画素（Ｇフィルタが２画素、Ｒ、Ｂフィルタがそれぞれ１画素）を処理単位（最小単位）とする。

この処理単位（太枠Ａ）内にある２つのＧフィルタの画素のうちの少なくとも１つの画素出力が飽和レベル以上に達している場合に、Ｇフィルタの感度は、前記したようにＲ、Ｂフィルタの感度の約２倍であるため、Ｇフィルタの画素出力値（Ｇ）は、下記の式（１）から算出する。

Ｇ＝｛（Ｒ＋Ｂ）／２｝×２ …式（１）

飽和画素補正処理部６１は、式（１）のように、Ｒ、Ｂフィルタの画素出力の平均値を算出して、それを２倍することでＧフィルタの画素出力値を算出する。算出されたＧフィルタの画素出力値は、処理単位（２×２画素）内にある２つのＧフィルタの画素出力値として置き換えられる。なお、前記Ｇフィルタの画素出力値は１２ビットを超えたデータになるため、ここでは一度１４ビットのデータに置き換える。よって、Ｒ、Ｂフィルタの画素出力の最大値はいずれも４０９５（１２ビット）なので、Ｇフィルタの画素出力の最大値は８１９０（１３ビット）となることによって、１４ビットのデータとして扱うことができる。

なお、前記式（１）では、Ｇフィルタの画素出力値の算出を２×２画素で行っているが、これに限定するものではなく、補正対象のＧフィルタの画素周辺のＲ、Ｂフィルタの画素をそれぞれｎ（２以上）個用いて、式（１）と同様にその平均値を算出し、それを２倍するようにしてもよい。

この際、補正係数設定部６３は、撮影シーン判定部４３により判定した撮影シーン情報及び顔検出部４２による顔部検出情報を入力し、入力したこれらの情報に基づいて、飽和画素補正処理部６１によってＧフィルタの画素出力の補正を行う際の補正係数を設定する。飽和画素補正処理部６１は、補正係数設定部６３で設定された補正係数に基づいて、飽和レベル以上に達しているＧフィルタの画素出力の補正を行う。

具体的には、撮影シーン判定部４３及び顔検出部４２により、例えば、前記のように夜景を背景としたフラッシュ発光による人物撮影シーンと判定した場合、フラッシュ発光により人物の顔部が少し露出オーバーになり易い。これは、通常のフラッシュ発光による撮影時には撮影直前に弱い発光であるプレ発光を行い、その反射光で必要な発光量を算出し、算出した露光量に応じたフラッシュ発光を行って撮影を行う。この際、背景が遠景のときは人物からの反射光によって発光量算出を行うが、相対的に面積が広い人物の胴体部の服や髪の毛の反射率が発光量の算出に影響を与え、人物の顔部よりも反射率の低い服を着ていた場合、顔部が少し露出オーバーになってしまうことが多い。このような場合は顔部が白飛びとなってしまう。

そこで、補正係数設定部６３は、撮影シーン判定部４３及び顔検出部４２から入力される情報（前記した夜景を背景としたフラッシュ発光による人物撮影シーン）に基づいて、ダイナミックレンジの拡大幅が最大（本実施形態では、通常時の約２倍）となるような補正係数（この場合の補正係数は、１．０）を設定して、この補正係数を飽和画素補正処理部６１に出力する。飽和画素補正処理部６１は、この補正係数に基づいて飽和レベル以上に達しているＧフィルタの画素出力を補正する。この場合は、ダイナミックレンジの拡大幅が最大となるような補正処理である。

また、撮影シーン判定部４３及び顔検出部４２により、例えば、前記のように人物がいない夜景シーンと判定した場合、夜景シーンにおいては、画面内の高輝度部は電灯等の光源である可能性が高い。よって、夜景シーンの場合には、この光源（高輝度部）が白くキラキラと光っている画像の方が好まれるため、この光源（高輝度部）が飽和レベルを超えたままの方が好まれる画像となる。

そこで、補正係数設定部６３は、撮影シーン判定部４３及び顔検出部４２から入力される情報（前記した夜景シーン）に基づいて、ダイナミックレンジの拡大幅を最大（本実施形態では、通常時の約２倍）よりも制限するような補正係数（この場合の補正係数は、例えば、０．７）を設定して、この補正係数を飽和画素補正処理部６１に出力する。飽和画素補正処理部６１は、この補正係数に基づいて飽和レベル以上に達しているＧフィルタの画素出力を補正する。この場合は、ダイナミックレンジの拡大幅が補正係数（この場合の補正係数は、例えば０．７）に応じて低減されるような補正処理である。

このように、補正係数設定部６３は、予め撮影シーン判定部４３及び顔検出部４２からそれぞれ入力される情報に対応した複数の補正係数が格納されており、撮影シーン判定部４３及び顔検出部４２からそれぞれ入力される情報に基づいて適切な補正係数を飽和画素補正処理部６１に出力する。

ところで、輝度レベル判定部６０でＧフィルタの画素出力が飽和レベル以上に達しているか否かを判定処理する前に、欠陥画素の補正が完了している必要がある。即ち、Ｇフィルタを設けた画素に欠陥画素があり、常に飽和する値を出力する画素があった場合、同じ処理単位内にあるＧフィルタを設けた画素を大きな値に置き換えてしまうため、新たな欠陥画素を生成してしまうことになる。

また、Ｒ、Ｂフィルタが配置された画素に欠陥画素がある場合、前記式（１）によるＧフィルタを設けた画素の換算が正しくない値になってしまう。このため、本実施形態では、ＣＣＤＩ／Ｆ３４に欠陥画素を取り除く欠陥画素除去処理部（不図示）を備えている。

ところで、前記したように補正係数設定部６３から入力される補正係数に基づいて、飽和画素補正処理部６１で飽和レベル以上に達しているＧフィルタの画素出力の補正を行うと、その周囲の飽和していないＲ、Ｂフィルタの画素出力とのバランスがくずれて、色相（色合い）がずれてしまう場合がある。そこで、非飽和画素補正処理部６２は、飽和画素補正処理部６１で補正されたＧフィルタの画素出力に応じて、以下のようにＲ、Ｂフィルタの画素出力を補正するようにした。

図９は、光源の色温度（２０００Ｋ（ケルビン）以下〜９０００Ｋ（ケルビン）以上）の違いに対するＲＧＢフィルタの各画素出力の比率の一例を示した特性図である。図９から明らかなように、Ｇフィルタの画素出力は色温度が変化しても殆ど変化しないが、Ｒフィルタの画素出力は色温度が低い（赤っぽい光源）ほど大きくなり、Ｂフィルタの画素出力は色温度が高い（青っぽい光源）ほど大きくなる。

図９に示したような色温度とＲＧＢフィルタの各画素出力値の比率関係は、ＲＧＢフィルタが配置されたＣＣＤに依存している。そこで、デジタルカメラ１に前記ＲＧＢフィルタが配置されたＣＣＤ２０を組み込む際に、このＲＧＢフィルタが配置されたＣＣＤ２０に応じた図９のような異なる色温度に対するＲＧＢフィルタの各画素出力値の比率関係を示したテーブル（以下、「ＲＧＢ出力比率テーブル」という）を、ＲＯＭ２４に保存しておく。

そして、制御部２８は、ＣＣＤＩ／Ｆ３４から取得したＡＷＢ評価値であるＲＧＢの分布から被写体の光源の色温度を決定した後、ＲＯＭ２４から前記ＲＧＢ出力比率テーブルを読み出し、非飽和画素補正処理部６２に出力する。非飽和画素補正処理部６２は、撮影時における光源の色温度に対する、飽和画素補正処理部６１で補正されたＧフィルタの画素出力値と該Ｇフィルタの画素周囲のＲ、Ｂフィルタの画素出力値との比率が、前記ＲＧＢ出力比率テーブルの画素出力比率と同じになるように、Ｒ、Ｂフィルタの画素出力値を補正する。補正されたＲ、Ｂフィルタの画素出力は１４ビットに拡張されて、ビット圧縮変換部５１に出力される。

そして、ビット圧縮変換部５１は、例えば、図１０（ａ）に示すような変換特性（３箇所の節点を指定し、それらの間を直線で近似する４区間の折れ線近似特性）によって、１４ビットに拡張されたＲ、Ｇ、Ｂフィルタの画素出力のうちのＧフィルタの画素出力を１２ビットに圧縮する。なお、図１０（ａ）において、ａは１２ビットの範囲であり、ｂは最大値８１９０のデータを１ビットシフト（１／２倍）する単純な線形変換特性（一点鎖線部分）である。

図１０（ａ）に示す変換特性では、Ｇフィルタの画素出力の最大値は８１９０なので、ダイナミックレンジを最大に拡大する場合には、８１９０が４０９５になるように圧縮する。そして、Ｇフィルタの画素出力の圧縮倍率に合わせて、Ｒ、Ｂフィルタの画素出力の値も圧縮する。

また、前記のようにダイナミックレンジを最大（本実施形態では、通常時の約２倍）に拡大するのではなく、ダイナミックレンジの拡大幅を最大よりも制限する場合には、図１０（ｂ）に示すように、８１９０よりも小さい値、例えば、５４６１が４０９５になるように圧縮する。なお、図１０（ｂ）のような設定とした場合には、ダイナミックレンジの拡大幅は通常時の約４／３倍になっている。

図１０（ｂ）のように、ダイナミックレンジの拡大幅を最大よりも制限する場合としては、例えば、前記した人物がいない夜景シーンがある。この場合には、前記したようにダイナミックレンジの拡大幅を最大よりも制限するような補正係数を設定することにより、前記補正（予測補間処理）されたＧフィルタの画素出力値を低減させて、ビット圧縮変換部５１に出力される。これにより、例えば、図１０（ｂ）に示すように、８１９０よりも小さい値、例えば、５４６１が４０９５になるように圧縮される。

前記したように本実施形態では、最大値が８１９０に拡張されたＧフィルタの画素出力を最大値が４０９５に圧縮する場合の一例として、図１０（ａ）の実線で示したような３つの節点を有する変換特性を用いた。本実施形態では、単純な節点のない線形変換特性（図１０（ａ）のｂ）では得られない以下のような２つの効果が得られる。

第１の効果としては、データの信頼性が高いデータにより多くのビット数を割り当てることができる。即ち、飽和レベル以上に達しているＧフィルタの画素出力に対して予測補間処理する場合、前記したようにＧフィルタの画素出力の飽和レベル付近の規定値以上の値になった範囲について予測補間を行い、この規定値以下の範囲では予測補間は行われない。よって、予測補間を行う範囲と行わない範囲とでは、データの精度が異なっている。

即ち、例えば、前記式（１）によって飽和しているＧフィルタの画素出力値を予測補間（補正）する場合、主被写体の色によっては、予測補間を行う範囲においては被写体の輝度レベルが正確に再現できていない場合がある。これに対して予測補間を行っていない範囲は、ＲＧＢフィルタが配置されたＣＣＤ２０から出力される実際のデータ（アナログＲＧＢ画像信号）をＡ／Ｄ変換したデータであるので、このデータの信頼性は高いものとなる。

即ち、図１０（ａ）に示した本実施形態における変換特性（実線で示した部分）では、例えば、入力１４ビットデータが１０２４ときに出力１２ビットデータは１０２４になっており、元のデータがそのまま使われている。これに対し、例えば、入力１４ビットデータが３０７２ときに出力１２ビットデータは２５６０になっており、この範囲では予測補間前のビット割付よりも少ない割付となることによって、多少のビット誤差が発生する。

このように、単純な節点のない線形変換を行う特性（一点鎖線で示した部分）ではなく、本実施形態のように３つの節点を有する変換特性（実線で示した部分）を採用することにより、ビット割付をだんだんと少なくしていくことができるので、データの信頼性が高いデータにより多くのビット数を割り当てることができる。

そして、第２の効果としては、低・中輝度における階調を正確に保存することができる。即ち、単純な線形変換特性（図１０（ａ）のｂ）でビット圧縮を行った場合、低輝度側の予測補間が行われていない範囲では、ビット割付が１／４になってしまう。このため、階調感のない画像になってしまう。これに対し、図１０（ａ）に示したような本実施形態における変換特性（実線部分）でビット圧縮を行った場合には、飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮変換部５１でビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることにより、低・中輝度レベルにおける階調性を良好に保持することができる。

なお、本実施形態では、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに縮小するときに、図１０（ａ）のように３つの節点を指定し、それらの間を直線で近似する４区間の折れ線近似特性（変換特性）でビット圧縮を行う構成であったが、この区間数は特に限定されるものではない。例えば、１つの節点を指定する２区間の折れ線近似特性としてもよいが、節点付近でビット割付が大きく変わることにより、前記した２つの効果が小さくなる。よって、３区間以上の区間数を有する折れ線近似特性（変換特性）が好ましい。

また、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに縮小する変換特性を、複数の節点を有していない曲線による変換特性としてもよい。即ち、区間数を８１９２にすれば、入力１４ビットのデータにおいては分解能が８１９２なので、滑らかな曲線による変換と同等に考えることができる。よって、ビット圧縮変換部５１で、入力８１９２のルックアップテーブルを持つことができれば、曲線による変換も可能になり、節点付近でビット割付量が変わってしまうという不具合を防止することができる。

そして、ビット圧縮変換部５１で１４ビットから１２ビットに圧縮変換されたＲ、Ｇ、Ｂフィルタの画素出力データは、ホワイトバランス制御部５２に入力される。

ホワイトバランス制御部５２は、入力されるＲ、Ｇ、Ｂフィルタの画素出力値データに対してホワイトバランスを合わせるための補正係数を乗算する。この補正係数は、ＣＣＤＩ／Ｆ３４で生成された前記ＡＷＢ評価値に基づいて制御部２８で算出される。なお、この補正係数は、光源色を白くするような係数である。

具体的には、図９に示したような異なる色温度に対するＲＧＢフィルタの画素出力値の比率に基づいて、Ｒフィルタの画素出力値には、補正係数としてのＧ／Ｒ（Ｇフィルタの画素出力値／Ｒフィルタの画素出力値）を乗算し、Ｂフィルタの画素出力値には、補正係数としてのＧ／Ｂ（Ｇフィルタの画素出力値／Ｂフィルタの画素出力値）を乗算することによって、Ｒ、Ｇ、Ｂフィルタの画素出力値のレベルを合わせる。

ところで、前記したＤレンジ拡大予測補間部５０の飽和画素補正処理部６１、非飽和画素補正処理部６２での補正処理により、Ｒ、Ｇ、Ｂフィルタの画素出力値の比率は、光源色より決定したＲ、Ｇ、Ｂフィルタの画素出力値の比率になっている。

よって、Ｄレンジ拡大予測補間部５０からの出力にホワイトバランス制御部５２で前記補正係数が乗算された出力は、Ｒ、Ｇ、Ｂフィルタのレベルが略同じになり、無彩色に近い値となる。なお、Ｒ、Ｇ、Ｂフィルタのすべての画素出力値が飽和している画像領域は白とびが生じ、白く飛んでしまう。また、感度の高いＧフィルタの画素出力値のみが飽和している画像領域も、輝度が高く入射している光量が大きい可能性が高いため、画素出力の補正対象となる画像領域が無彩色でも違和感は少なくなる。

そして、ホワイトバランス制御部５２からホワイトバランスが合わされたＲ、Ｇ、Ｂフィルタの画素出力値データ（１２ビット）は、同時化部５３に入力される。同時化部５３は、ベイヤ配列の１画素に１色のデータしか持っていないＲＡＷデータに対して補間演算処理を行い、１画素に対してＲＧＢの全てのデータを生成する。

そして、同時化部５３で生成されたＲＧＢの全てのデータ（１２ビット）は、トーンカーブ変換部５４に入力される。トーンカーブ変換部５４は、例えば、図１１に示すような変換テーブルによって１２ビットのＲＧＢのデータを８ビットのＲＧＢのデータに変換するγ変換を行って、８ビットのＲＧＢ値を生成し、ＲＧＢ−ＹＵＶ変換部５５に出力する。ＲＧＢ−ＹＵＶ変換部５５は、入力されるＲＧＢデータ（８ビット）をマトリックス演算によりＹＵＶデータに変換し、画像サイズコンバータ部５６に出力する。画像サイズコンバータ部５６は、入力されるＹＵＶデータ（８ビット）に対して所望の画像サイズに縮小または拡大を行い、輝度ヒストグラム生成部５７およびエッジエンハンス部５８に出力する。

輝度ヒストグラム生成部５７は、入力されるＹＵＶデータにより輝度ヒストグラムを生成する。エッジエンハンス部５８は、入力されるＹＵＶデータに対して画像に合わせたエッジ強調等の処理を行い、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存する。

このように、本実施形態では、処理単位内の感度の高いＧフィルタの画素出力が飽和レベルを超えているような場合においても、その周囲の飽和レベルに達していないＲ、Ｂフィルタの画素出力に基づいて、飽和しているＧフィルタの画素出力を補正（予測補間処理）することにより、図５に示したように、Ｇフィルタ（図５のｄ、ｅ）の画素出力の予測補間した拡張領域（図５のｄ、ｅのＧフィルタの画素出力の一点鎖線部分）に基づいて、１回の撮影でダイナミックレンジを２倍に拡大することが可能となる。

よって、撮影画像内の背景等に高輝度部分がある場合でも、白とびの発生を防止して良好な階調性を得ることが可能となる。

更に、本実施形態では、前記したように補正係数設定部６３は、撮影シーン判定部４３により判定した撮影シーン情報及び顔検出部４２による顔部検出情報を入力し、入力したこれらの情報に基づいて、飽和画素補正処理部６１によってＧフィルタの画素出力の補正を行う際の補正係数を設定し、飽和画素補正処理部６１は、補正係数設定部６３で設定された補正係数に基づいて、飽和レベル以上に達しているＧフィルタの画素出力の補正を行う。これにより、撮影シーンの状況や、撮影シーン内に人物の顔の有無に応じて、適切な拡大幅のダイナミックレンジを設定することができる。

図１２（ａ）は、Ｇフィルタの画素出力が飽和レベルを超えたときに、前記した本実施形態におけるダイナミックレンジを最大に拡大処理した場合の、輝度ヒストグラム生成部５７で生成されたヒストグラムの一例である。このヒストグラムは、前記した夜景を背景としたフラッシュ発光による人物撮影シーンの例であり、人物の顔部（図１２（ａ）の領域ａ）付近での白飛びがほとんど発生していなく、良好な階調で再現されている。

これに対し、図１２（ｂ）は、同様の撮影シーンで前記した本実施形態におけるダイナミックレンジの拡大処理を行わなかった場合の、輝度ヒストグラム生成部５７で生成されたヒストグラムの一例である。このヒストグラムから明らかなように、ダイナミックレンジの拡大処理を行わなかったことにより、人物の顔部（図１２（ｂ）の領域ａ）付近が白飛びに近い状態となっている。

〈実施形態２〉
前記実施形態１では、被写体の光源の色温度に合わせて、補正されたＧフィルタの画素出力値と該Ｇフィルタの画素周囲のＲ、Ｂフィルタの画素出力値との比率が、前記ＲＧＢ出力比率テーブルの画素出力比率と同じになるように、Ｒ、Ｂフィルタの画素出力値を補正するようにしたが、簡易的な構成として、特定の光源下におけるＲ、Ｇ、Ｂフィルタの画素出力の感度差に応じた比率を予め測定してＲＯＭ２４（図２参照）に記憶しておき、この予め測定されている比率と同じになるようにＲ、Ｂフィルタの画素出力値を補正するようにしてもよい。他の構成は、前記した実施形態１のデジタルカメラと同様である。

例えば、図１３（ａ），（ｂ）は、特定の光源下においてそれぞれ感度特性が異なる２つのＲ、Ｇ、Ｂフィルタの画素出力の一例を示したものである。

図１３（ａ）のＲ、Ｇ、Ｂフィルタの画素出力特性を有するデジタルカメラ（撮像装置）では、このＲ、Ｇ、Ｂフィルタの画素出力の比率が予め記憶されることになる。また、図１３（ｂ）のＲ、Ｇ、Ｂフィルタの画素出力特性を有するデジタルカメラ（撮像装置）では、このＲ、Ｇ、Ｂフィルタの画素出力の比率が予め記憶されることになる。

そして、例えば、図１３（ａ）に示したようなＲ、Ｇ、Ｂフィルタの画素出力の比率が予め記憶されているデジタルカメラ（撮像装置）では、この予め測定されている比率と同じになるようにＲ、Ｂフィルタの画素出力値を補正する。

なお、本実施形態では、通常のホワイトバランスの制御範囲が２０００〜８０００Ｋ（ケルビン）程度なので、その中心付近の４０００〜５０００Ｋ（ケルビン）程度の色温度を有する光源下で測定したＲ、Ｇ、Ｂフィルタの画素出力の比率を予め記憶しておくことが望ましい。

このように、本実施形態では、特定の光源下におけるＲ、Ｇ、Ｂフィルタの画素出力の感度差に応じた比率を予め測定して記憶しておき、この予め測定されている比率と同じになるようにＲ、Ｂフィルタの画素出力値を補正する構成なので、実施形態１の場合よりも簡易な構成とすることができる。

〈実施形態３〉
前記実施形態１では、補正係数設定部６３は、撮影シーン判定部４３により判定した撮影シーン情報及び顔検出部４２による顔部検出情報を入力し、入力したこれらの情報に基づいて、飽和画素補正処理部６１によってＧフィルタの画素出力の補正を行う際の補正係数を設定する構成であったが、撮影シーン判定部４３により判定した撮影シーン情報、もしくは顔検出部４２による顔部検出情報のいずれか一方の情報に基づいて、飽和画素補正処理部６１によってＧフィルタの画素出力の補正を行う際の補正係数を設定する構成でもよい。

〈実施形態４〉
前記実施形態１、２では、一番感度の高いＧフィルタの画素出力が飽和レベル以上に達したか否かを判定する構成であったが、Ｒフィルタの画素出力又はＢフィルタの画素出力によって飽和レベル以上に達したか否かを判定することも可能である。

Ｒフィルタの画素及びＢフィルタの画素が、図９のような特性を持っている場合には、Ｒフィルタの画素又はＢフィルタの画素のいずれか一方が、例えば、飽和レベルの７０％以上になったらＧフィルタの画素は飽和していると判断することができる。つまり、規定値を飽和レベルの７０％として、Ｒフィルタの画素又はＢフィルタの画素出力を検出対象とすることが可能である。

ここでＲフィルタの画素出力とＢフィルタの画素出力のいずれかが規定以上と判断された場合には、Ｒフィルタの画素出力とＢフィルタの画素出力の比率より光源の色温度を判定し、図９のＲＧＢ出力比率テーブルの選択を行い、選択された出力比率とＲフィルタの画素出力または又はＢフィルタの画素出力に基づいて、ＲＧＢフィルタの各画素出力値が決定される。

更には、Ｒフィルタの画素出力とＢフィルタの画素出力の平均値による高輝度検出としてもよい。Ｒフィルタの画素出力とＢフィルタの画素出力が図９のような関係があるので、例えば、規定値を飽和レベルの７０％として、平均値に対して高輝度判定を行う。補正に関しては、前記同様にＲフィルタの画素出力とＢフィルタの画素出力の出力比率から図９の光源色温度を判定し、Ｒフィルタの画素出力または又はＢフィルタの画素出力の少なくとも一方の出力レベルより全体の出力レベルを決定し、ＲＧＢフィルタの各画素出力を決定する。

なお、前記実施形態１では、ＣＣＤ２０の全画素の受光面に対応した画面を１０２４エリアに等分割（水平３２分割、垂直３２分割）し、飽和レベル以上に達しているＧフィルタの画素が前記１０２４エリア（水平３２分割、垂直３２分割）のどのエリアに含まれるかを判定するようにしたが、ＣＣＤ２０の全画素の受光面に対応した画面を、例えば１画素単位等のようにさらに細かいエリアに分割しない方がよい。

これは、Ｒ、Ｇ、Ｂフィルタの画素出力は、画素ごとに多少の感度差があり、また欠陥画素のように、入射光によらずに特定の出力を出してしまうものがあるためである。このため、例えば、ＡＷＢ評価値の生成時の積分対象が１０画素以上あれば、平均化により画素ごとの特性ばらつきを吸収できるようなばらつきを有しているＲＧＢフィルタが設置されたＣＣＤを用いるようにすることが望ましい。

なお、前記した各実施形態では、色分解フィルタとしてＲＧＢの３原色系フィルタを配置した構成であったが、色分解フィルタとして補色系フィルタを配置した構成においても、同様に本発明を適用することができる。

また、前記した各実施形態では、撮影レンズ系とＣＣＤ等の固体撮像素子を有するデジタルカメラなどの撮像装置についての説明であったが、画像処理装置においも同様に本発明を適用することが可能である。例えば、単板式カラー撮像素子からのアナログ出力をデジタル信号に変換して保存したＲＡＷデータを入力して、ＲＧＢデータやＹＣｂＣｒデータを出力するような画像処理装置においても、同様に本発明を適用することが可能である。

（ａ）は、本発明の実施形態１に係る撮像装置の一例としてのデジタルカメラを示す正面図、（ｂ）は、その上面図、（ｃ）は、その背面図。 本発明の実施形態１に係る撮像装置の一例としてのデジタルカメラ内のシステム構成の概要を示すブロック図。 本発明の実施形態１におけるＲＧＢフィルタが配置されたＣＣＤの画素配置位置と処理単位を示す図。 顔検出部と撮影シーン判定部を有する制御部を示す図。 本発明の実施形態１におけるダイナミックレンジ拡大の原理を説明するための図。 本発明の実施形態１におけるＹＵＶ変換部の構成を示すブロック図。 本発明の実施形態１におけるＤレンジ拡大予測補間部の構成を示すブロック図。 液晶モニタに表示された撮影設定画面の一例を示す図。 色温度とＲＧＢフィルタの画素出力との関係を示す図。 （ａ）は、本発明の実施形態１における、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに圧縮する変換特性を示す図、（ｂ）は、ダイナミックレンジの拡大幅を制限した場合における、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに圧縮する変換特性を示す図。 １２ビットのＲＧＢのデータを８ビットのＲＧＢのデータに変換（γ変換）する変換テーブルを示す図。 （ａ）は、本発明の実施形態１におけるダイナミックレンジの拡大処理を行った場合のヒストグラムを示す図、（ｂ）は、本実施形態におけるダイナミックレンジの拡大処理を行わなかった場合のヒストグラムを示す図。 （ａ），（ｂ）は、本発明の実施形態２における特定の光源下においてそれぞれ感度特性が異なるＲ、Ｇ、Ｂフィルタの画素出力の一例を示す図。

符号の説明

１ デジタルカメラ（撮像装置）
５ 撮影レンズ系（光学系）
６ 鏡胴ユニット
９ 液晶モニタ
１２ メニューボタン
２０ ＣＣＤ（撮像素子）
２１ アナログフロントエンド部
２２ 信号処理部
２３ ＳＤＲＡＭ
２８ 制御部
３４ ＣＣＤインターフェース
３５ メモリコントローラ
３６ ＹＵＶ変換部
４２ 顔検出部（顔検出手段）
４３ 撮影シーン判定部（撮影シーン判定手段）
５０ Ｄレンジ拡大予測補間部
５１ ビット圧縮変換部
６０ 輝度レベル判定部（画素出力検出手段）
６１ 飽和画素補正処理部（画素出力補正処理手段）
６２ 非飽和画素補正処理部
６３ 補正係数設定部（補正係数設定手段）
６４ ビット拡張処理部

Claims (8)

1. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して前記色分解フィルタのうちの特定色のフィルタが他の色のフィルタよりも高い輝度感度を有している撮像装置において、
   前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素のいずれかの画素からの出力が所定の規定値以上に達しているか否かを判定する画素出力検出手段と、
   前記画素出力検出手段により前記所定の規定値以上の出力の画素が有ると判定した場合に、その周辺の画素からの出力に基づいて前記所定の規定値以上の画素の出力を補正する画素出力補正手段と、
   前記画素出力補正手段によって前記補正を行う際の補正係数を設定する補正係数設定手段と、
   被写体に対する撮影シーンを判定する撮影シーン判定手段と、
   前記撮像素子から出力される電気信号から、人物の顔部を検出する顔検出手段と、を備え、
   前記補正係数設定手段は、前記撮影シーン判定手段により判定した撮影シーン情報及び前記顔検出手段による顔部検出情報を入力し、入力したこれらの情報に基づいて、前記画素出力補正手段によって前記補正を行う際の補正係数を設定する、
   ことを特徴とする撮像装置。
2. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して前記色分解フィルタのうちの特定色のフィルタが他の色のフィルタよりも高い輝度感度を有している撮像装置において、
   前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素のいずれかの画素からの出力が所定の規定値以上に達しているか否かを判定する画素出力検出手段と、
   前記画素出力検出手段により前記所定の規定値以上の出力の画素が有ると判定した場合に、その周辺の画素からの出力に基づいて前記所定の規定値以上の画素の出力を補正する画素出力補正手段と、
   前記画素出力補正手段によって前記補正を行う際の補正係数を設定する補正係数設定手段と、
   被写体に対する撮影シーンを判定する撮影シーン判定手段と、を備え、
   前記補正係数設定手段は、前記撮影シーン判定手段により判定した撮影シーン情報を入力し、入力した撮影シーン情報に基づいて、前記画素出力補正手段によって前記補正を行う際の補正係数を設定する、
   ことを特徴とする撮像装置。
3. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して前記色分解フィルタのうちの特定色のフィルタが他の色のフィルタよりも高い輝度感度を有している撮像装置において、
   前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素のいずれかの画素からの出力が所定の規定値以上に達しているか否かを判定する画素出力検出手段と、
   前記画素出力検出手段により前記所定の規定値以上の出力の画素が有ると判定した場合に、その周辺の画素からの出力に基づいて前記所定の規定値以上の画素の出力を補正する画素出力補正手段と、
   前記画素出力補正手段によって前記補正を行う際の補正係数を設定する補正係数設定手段と、
   前記撮像素子から出力される電気信号から、人物の顔部を検出する顔検出手段と、を備え、
   前記補正係数設定手段は、前記顔検出手段による顔部検出情報を入力し、入力した顔部検出情報に基づいて、前記画素出力補正手段によって前記補正を行う際の補正係数を設定する、
   ことを特徴とする撮像装置。
4. 前記撮像素子から出力される電気信号から被写体までの距離を検出する距離検出手段と、前記撮像素子から出力される電気信号から被写体の色分布を検出する色分布検出手段と、前記撮像素子から出力される電気信号から被写体の輝度の分布を検出する輝度分布検出手段を更に備え、
   前記撮影シーン判定手段は、前記距離検出手段で検出される距離情報、前記色分布検出手段で検出される色分布情報、前記輝度分布検出手段で検出される輝度分布情報のうちのいずれか１つ以上の情報に基づいて、撮影シーンを判定する、
   ことを特徴とする請求項１又は請求項２に記載の撮像装置。
5. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して前記色分解フィルタのうちの特定色のフィルタが他の色のフィルタよりも高い輝度感度を有している撮像装置の撮像方法において、
   前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素のいずれかの画素からの出力が所定の規定値以上に達しているか否かを判定する画素出力検出工程と、
   前記画素出力検出工程により前記所定の規定値以上の出力の画素が有ると判定した場合に、その周辺の画素からの出力に基づいて前記所定の規定値以上の画素の出力を補正する画素出力補正工程と、
   前記画素出力補正工程によって前記補正を行う際の補正係数を設定する補正係数設定工程と、
   被写体に対する撮影シーンを判定する撮影シーン判定工程と、
   前記撮像素子から出力される電気信号から、人物の顔部を検出する顔検出工程と、を含み、
   前記補正係数設定工程は、前記撮影シーン判定工程により判定した撮影シーン情報及び前記顔検出工程による顔部検出情報を入力し、入力したこれらの情報に基づいて、前記画素出力補正工程によって前記補正を行う際の補正係数を設定する、
   ことを特徴とする撮像方法。
6. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して前記色分解フィルタのうちの特定色のフィルタが他の色のフィルタよりも高い輝度感度を有している撮像装置の撮像方法において、
   前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素のいずれかの画素からの出力が所定の規定値以上に達しているか否かを判定する画素出力検出工程と、
   前記画素出力検出工程により前記所定の規定値以上の出力の画素が有ると判定した場合に、その周辺の画素からの出力に基づいて前記所定の規定値以上の画素の出力を補正する画素出力補正工程と、
   前記画素出力補正工程によって前記補正を行う際の補正係数を設定する補正係数設定工程と、
   被写体に対する撮影シーンを判定する撮影シーン判定工程と、を含み、
   前記補正係数設定工程は、前記撮影シーン判定工程により判定した撮影シーン情報を入力し、入力した撮影シーン情報に基づいて、前記画素出力補正工程によって前記補正を行う際の補正係数を設定する、
   ことを特徴とする撮像方法。
7. 光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に３原色系フィルタまたは補色系フィルタの色分解フィルタが配置された撮像素子を備え、広い波長帯域を持つ光に対して前記色分解フィルタのうちの特定色のフィルタが他の色のフィルタよりも高い輝度感度を有している撮像装置の撮像方法において、
   前記撮像素子から出力される電気信号に基づいて、前記色分解フィルタが配置された前記各画素からの出力を検出するとともに、前記各画素のいずれかの画素からの出力が所定の規定値以上に達しているか否かを判定する画素出力検出工程と、
   前記画素出力検出工程により前記所定の規定値以上の出力の画素が有ると判定した場合に、その周辺の画素からの出力に基づいて前記所定の規定値以上の画素の出力を補正する画素出力補正工程と、
   前記画素出力補正工程によって前記補正を行う際の補正係数を設定する補正係数設定工程と、
   前記撮像素子から出力される電気信号から、人物の顔部を検出する顔検出工程と、を含み、
   前記補正係数設定工程は、前記顔検出工程による顔部検出情報を入力し、入力した顔部検出情報に基づいて、前記画素出力補正工程によって前記補正を行う際の補正係数を設定する、
   ことを特徴とする撮像方法。
8. 前記撮像素子から出力される電気信号から被写体までの距離を検出する距離検出工程と、前記撮像素子から出力される電気信号から被写体の色分布を検出する色分布検出工程と、前記撮像素子から出力される電気信号から被写体の輝度の分布を検出する輝度分布検出工程を更に含み、
   前記撮影シーン判定工程は、前記距離検出工程で検出される距離情報、前記色分布検出工程で検出される色分布情報、前記輝度分布検出工程で検出される輝度分布情報のうちのいずれか１つ以上の情報に基づいて、撮影シーンを判定する、
   ことを特徴とする請求項５又は請求項６に記載の撮像方法。

Images