JP4028396B2 - 画像合成方法及びデジタルカメラ - Google Patents
画像合成方法及びデジタルカメラ Download PDFInfo
- Publication number
- JP4028396B2 JP4028396B2 JP2003009807A JP2003009807A JP4028396B2 JP 4028396 B2 JP4028396 B2 JP 4028396B2 JP 2003009807 A JP2003009807 A JP 2003009807A JP 2003009807 A JP2003009807 A JP 2003009807A JP 4028396 B2 JP4028396 B2 JP 4028396B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- ratio
- image
- sensitivity
- maximum value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000000203 mixture Substances 0.000 title claims description 43
- 238000000034 method Methods 0.000 title claims description 42
- 239000002131 composite material Substances 0.000 claims description 43
- 230000015572 biosynthetic process Effects 0.000 claims description 42
- 238000003786 synthesis reaction Methods 0.000 claims description 42
- 230000035945 sensitivity Effects 0.000 claims description 24
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 description 29
- 238000006243 chemical reaction Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 14
- 230000010354 integration Effects 0.000 description 10
- SPCMQFLNOVTUBM-UHFFFAOYSA-N [7-(dimethylazaniumyl)-10h-phenothiazin-3-yl]-dimethylazanium;methanesulfonate Chemical compound CS([O-])(=O)=O.CS([O-])(=O)=O.C1=C([NH+](C)C)C=C2SC3=CC([NH+](C)C)=CC=C3NC2=C1 SPCMQFLNOVTUBM-UHFFFAOYSA-N 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000001308 synthesis method Methods 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得る画像合成方法、及び相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得る機能を有するデジタルカメラに関する。
【０００２】
【従来の技術】
ＣＣＤ撮像素子等の固体撮像素子のダイナミックレンジは、一般に狭く、ハイコントラストの被写体を撮影する場合は、固体撮像素子の受光量がダイナミックレンジを超えて固体撮像素子の出力が飽和してしまい、被写体の情報が欠落する場合がある。
【０００３】
このような問題を解決するため、相対的に高感度の第１の画像データ（以下、単に「高感度画像データ」と記述する場合もある。）と相対的に低感度の第２の画像データ（以下、単に「低感度画像データ」と記述する場合もある。）との合成処理を行うことにより、ダイナミックレンジの拡大を図る技術が提案されている（特許文献１、２参照）
【０００４】
特許文献１に記載された技術は、異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号（高感度画像データ）と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号（低感度画像データ）を加算して、広ダイナミックレンジ映像信号を得るものである。そして、その際、高輝度映像信号のピーク値を検出し、このピーク値に基づき、標準輝度映像信号と高輝度映像信号にそれぞれ乗算する乗算係数を算出し、それぞれに乗算した後、加算するものである。
【０００５】
特許文献２に記載された技術は、被写界を撮像して該被写界を表わす高感度の映像信号及び低感度の映像信号を生成する撮像手段と、高感度の映像信号を第１の量子化分解能で量子化して、対応する高感度の映像信号データを出力する第１の信号変換手段と、低感度の映像信号を第１の量子化分解能より低い第２の量子化分解能で量子化して、対応する低感度の映像信号データを出力する第２の信号変換手段とを含み、高感度の映像信号データ及び対応する低感度の映像信号データを加算合成して、広いダイナミックレンジの映像信号を形成するものである。
【０００６】
しかし、被写体の輝度レンジが大きい場合に、高感度画像データと低感度画像データを加算合成するだけでは、必ずしも最適な合成画像データが得られない。輝度レンジによって、高感度画像データと低感度画像データの合成ゲインを変化させた場合でも、同様である。例えば、キャッチライトシーンは、被写体の輝度レンジが大きいが、広いダイナミックレンジで画像を構成すると、ハイライト部の階調が軟調になり、いわゆる眠い画像になる。一方、結婚式のようなハイコントラストシーンも同様に被写体の輝度レンジの幅が大きいが、この場合は、広いダイナミックレンジで画像を構成する方が、階調再現が豊かで好ましい。
【０００７】
また、画像合成によってダイナミックレンジを広げようとすると、ハイライト側の見かけ上のゲインが低下することになり、彩度が低下するという問題もある。
【０００８】
【特許文献１】
特開２００１−９４８７０号公報
【特許文献２】
特開２００１−８１０４号公報
【０００９】
【発明が解決しようとする課題】
本発明は、上記事情に鑑みなされたもので、撮影シーンに応じて、より好ましい合成画像データを得ることが可能な画像合成方法、及びそのような画像合成方法を利用して合成処理を行うデジタルカメラを提供することを目的とするものである。
【００１０】
【課題を解決するための手段】
本発明の画像合成方法は、相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得るものであって、前記第２の画像データが示す被写体輝度の最大値と、前記第１の画像データがとり得る最大値が示す輝度値との比ｘと求める工程と、ストロボのオンオフ情報、被写体の平均輝度情報、逆光情報の少なくとも１つに基づいて、前記比ｘを補正する工程と、前記補正された比ｘ’に基づいて、前記合成処理パラメータを決定する工程と、前記合成処理パラメータに基づいて前記第１の画像データと前記第２の画像データとの合成処理を行う工程とを含むものである。この合成方法によれば、被写体のシーン及び輝度レンジに応じて、必要部分の明るさの範囲を効率的に再現できるレンジで合成することができる。
【００１１】
本発明の画像合成方法は、さらに、前記補正された比ｘ’に基づいて、前記第２の画像データのガンマ補正パラメータを決定する工程と、前記ガンマ補正パラメータに基づいて前記第２の画像データを補正する工程とを含む。この合成方法によれば、被写体のシーン及び輝度レンジに応じて、さらに好ましい階調の合成画像を得ることができる。
【００１２】
本発明の画像合成方法は、さらに、前記補正された比ｘ’に基づいて、合成画像データの彩度補正パラメータを決定する工程と、前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含む。この合成方法に寄れば、ハイライト側の見かけ上のゲイン低下による彩度低下を補正することができる。
【００１３】
本発明の画像合成方法における前記比ｘを補正する工程は、ストロボのオンオフ情報、被写体の平均輝度情報、逆光情報の少なくとも１つに基づいて、前記比ｘの値を制限する工程であるものを含む。
【００１４】
本発明の画像合成方法は、相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得るものであって、前記第２の画像データが示す被写体輝度の最大値と、前記第１の画像データがとり得る最大値が示す輝度値との比ｘと求める工程と、前記比ｘに基づいて、前記第２の画像データのガンマ補正パラメータ、及び前記合成処理パラメータを決定する工程と、前記ガンマ補正パラメータに基づいて前記第２の画像データを補正する工程と、前記合成処理パラメータに基づいて前記第１の画像データと前記第２の画像データとの合成処理を行う工程とを含むものである。この合成方法によれば、被写体の輝度レンジに応じて、好ましい階調の合成画像を得ることができる。
【００１５】
本発明の画像合成方法は、相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得るものであって、前記第２の画像データが示す被写体輝度の最大値と、前記第１の画像データがとり得る最大値が示す輝度値との比ｘと求める工程と、前記比ｘに基づいて、前記合成処理パラメータ、及び合成画像データの彩度補正パラメータを決定する工程と、前記合成処理パラメータに基づいて前記第１の画像データと前記第２の画像データとの合成処理を行う工程と、前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含むものである。この合成方法によれば、ハイライト側の見かけ上のゲイン低下による彩度低下を補正することができる。
【００１６】
本発明の画像合成方法は、相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得るものであって、前記第２の画像データが示す被写体輝度の最大値と、前記第１の画像データがとり得る最大値が示す輝度値との比ｘと求める工程と、前記比ｘに基づいて、前記第２の画像データのガンマ補正パラメータ、前記合成処理パラメータ、及び合成画像データの彩度補正パラメータを決定する工程と、前記ガンマ補正パラメータに基づいて前記第２の画像データを補正する工程と、前記合成処理パラメータに基づいて前記第１の画像データと前記第２の画像データとの合成処理を行う工程と、前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含むものである。
【００１７】
本発明の画像合成方法における電子ズーム撮影時における前記比ｘを求める工程は、ズーム倍率に応じて異なる領域の前記第２の画像データが示す被写体輝度の最大値を利用するものを含む。この合成方法によれば、再現領域に対応した範囲の被写体輝度に基づいて合成処理を行うことができるので、例えば天井から照明されるようなキャッチライトシーンでも、ズーム倍率に応じて良好な合成画像を得ることができる。
【００１８】
本発明のデジタルカメラは、相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得る機能を有するものであって、前記合成処理は、上記した画像合成方法を利用して行うものである。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。図１２は、本発明の実施の形態のデジタルカメラの概略構成を示す図である。図１２のデジタルカメラは、撮像部１、アナログ信号処理部２、Ａ／Ｄ変換部３、駆動部４、ストロボ５、デジタル信号処理部６、圧縮／伸張処理部７、表示部８、システム制御部９、内部メモリ１０、メディアインタフェース１１、記録メディア１２、操作部１３を含んで構成される。デジタル信号処理部６、圧縮／伸張処理部７、表示部８、システム制御部９、内部メモリ１０、及びメディアインタフェース１１は、システムバス２０に接続されている。
【００２０】
撮像部１は、撮影レンズ等の光学系及びＣＣＤイメージセンサ等の撮像素子を含み、被写体の撮影を行うものであって、アナログの撮像信号を出力する。撮像部１で得られた撮像信号は、アナログ信号処理部２に送られ、所定のアナログ信号処理が施され、Ａ／Ｄ変換部３でデジタル信号に変換された後、いわゆるＲＡＷ画像データとしてデジタル信号処理部６に送られる。ＲＡＷ画像データは、撮像部１からの撮像信号の形式のままデジタル化したデジタル画像データである。
【００２１】
撮影に際しては、駆動部４を介して撮像部１が制御される。撮像素子として利用されるＣＣＤイメージセンサ等の固体撮像素子は、半導体基板表面に行方向とこれに直交する列方向に配設された複数の光電変換領域（例えばフォトダイオード）を有し、入射光に対応して発生し、蓄積された信号電荷に基づいたアナログ電圧信号を出力するものである。固体撮像素子は、操作部１３の一部であるレリーズボタン（図示せず）の操作によるレリーズスイッチ（図示せず）オンを契機として、所定のタイミングで、駆動部４に含まれるタイミングジェネレータ（図１２ではＴＧと記載）からの駆動信号によって駆動される。駆動部４は、システム制御部９の制御に基づいて所定の駆動信号を出力するものであり、アナログ信号処理部２及びＡ／Ｄ変換部３に対する駆動信号も出力する。
【００２２】
撮像部１は、相対的に高感度の撮像信号と相対的に低感度の撮像信号を出力するものであり、撮像信号は、共にアナログ信号処理部２、Ａ／Ｄ変換部３を経てデジタル画像データに変換され、デジタル信号処理部６に送られる。
【００２３】
感度の異なる撮像信号は、特許文献１に示すように露光条件又はアナログゲインを変更することによって取得してもよいし、特許文献２に示すように高感度撮像セルと低感度撮像セルを有する固体撮像素子を利用することによって取得してもよい。また、図１３に示すような固体撮像素子を用いてもよい。
【００２４】
図１３は、高感度撮像信号と低感度撮像信号を出力可能な固体撮像素子の概略構成を示す図である。図１３は、いわゆるハニカム構造の固体撮像素子の部分拡大平面図であって、半導体基板表面に行方向（矢印Ｘで示す方向）とこれに直交する列方向（矢印Ｙで示す方向）に配設された複数の光電変換領域１１１〜１５７（図では一部のみに番号を付してある）、垂直転送部２０１〜２０８、水平転送部３００、及び出力部４００を含む。複数の光電変換領域１１１〜１５７の内の奇数列のものは、偶数列のものに対して光電変換領域同士の列方向ピッチの略１／２だけ列方向にずれており、また、奇数行の光電変換領域は、偶数行の光電変換領域対して光電変換領域同士の行方向ピッチの略１／２だけ行方向にずれて配置される。なお、図１３では、５行８列の光電変換領域を示してあるが、実際には、さらに多くの光電変換領域が設けられる。
【００２５】
光電変換領域１１１〜１５７は、入射光量に対応した信号電荷を発生し、蓄積するもので、例えばフォトダイオードである。光電変換領域１１１〜１５７は、相対的に広い受光面積を有する主領域ｍと相対的に狭い受光面積を有する副領域ｓに分割され（図１３では、光電変換領域１５１のみについて符号を付してある。）、それぞれ所定の分光感度の光に対応する信号電荷を発生し、蓄積する。図１３の固体撮像素子においては、赤（Ｒで示す。）、緑（Ｇで示す。）、又は青（Ｂで示す。）のフィルタ（図示せず）が、それぞれの光電変換領域１１１〜１５７の上方に設けられ、それぞれの色の光に対応する信号電荷を発生し、蓄積する。
【００２６】
垂直転送部２０１〜２０８は、光電変換領域１１１〜１５７からの信号電荷を読み出し、列方向に転送するものであり、光電変換領域１１１〜１５７の各列に対応してその側方に設けられる。列方向の転送は、主領域ｍの信号電荷と副領域ｓの信号電荷を、それぞれ独立に垂直転送部２０１〜２０８に読み出して行う。水平転送部３００は、複数の垂直転送部２０１〜２０８からの信号電荷が転送され、転送された信号電荷を行方向に転送するものである。出力部４００は、転送された信号電荷量に応じた電圧信号を出力するものである。
【００２７】
ストロボ５は、被写体の輝度が所定値以下の場合等に動作するものであり、システム制御部９によって制御される。
【００２８】
デジタル信号処理部６では、Ａ／Ｄ変換部３からのデジタル画像データに対して、操作部１３によって設定された動作モードに応じたデジタル信号処理を行うものである。デジタル信号処理部６が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理（撮像部からの原色信号に対して、撮像素子の光電変換特性に起因する混食成分を除去する補正を行う処理。ＲＢＧ入力に対する３×３のマトリクス演算による。）、ホワイトバランス調整処理（ゲイン調整）、ガンマ補正処理、画像合成処理、同時化処理、Ｙ／Ｃ変換処理等が含まれる。デジタル信号処理部６の画像合成処理については、後述する。
【００２９】
デジタル信号処理部６は、例えばＤＳＰで構成される。圧縮／伸張処理部７は、デジタル信号処理部６で得られたＹ／Ｃデータに対して圧縮処理を施すとともに、記録メディア１２から得られた圧縮画像データに対して伸張処理を施すものである。
【００３０】
表示部８は、例えばＬＣＤ表示装置を含んで構成され、撮影され、デジタル信号処理を経た画像データに基づく画像を表示する。記録メディアに記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。
【００３１】
内部メモリ１０は、例えばＤＲＡＭであり、デジタル信号処理部６、システム処理部９のワークメモリとして利用される他、記録メディアに１２に記録される撮影画像データを一時的に記憶するバッファメモリ、表示部８への表示画像データのバッファメモリとしても利用される。メディアインタフェース１１は、メモリカード等の記録メディア１２との間のデータの入出力を行うものである。
【００３２】
システム制御部９は、撮影動作を含むデジタルカメラ全体の制御を行う。システム制御部９は、具体的には所定のプログラムによって動作するプロセッサを主体に構成される。
【００３３】
操作部１３は、デジタルカメラ使用時の各種操作を行うもので、デジタルカメラの動作モード（撮影モード、再生モード等）、撮影時の撮影方法、撮影条件、設定等を行う。操作部１３は、それぞれの機能に対応する操作部材を設けてもよいが、表示部８の表示と連動して操作部材を共用してもよい。また、操作部１３には、撮影動作を起動するためのレリーズボタンも含まれる。
【００３４】
次に、デジタル信号処理部６の機能を、画像合成処理を中心に説明する。図１は、デジタル信号処理部６の概略機能ブロック図である。デジタル信号処理部６は、ＯＢ（オプティカルブラック）処理部６１ａ、６１ｂ、ＬＭＴＸ（リニアマトリクス）６２ａ、６２ｂ、ＷＢ（ホワイトバランス）処理部６３ａ、６３ｂ、ガンマ補正部６４ａ、６４ｂ、合成ゲインＬＵＴ（ルックアップテーブル）６５、乗算部６６ａ、６６ｂ、加算部６７、リミッタ６８、同時化及びＹ／Ｃ処理部６９、ＣＭＴＸ（色差マトリクス）７０、積算処理部７１、合成レンジ演算部７２を含む。
【００３５】
ＯＢ処理部６１ａ、６１ｂは、画像データの黒レベルを補正するものであり、ＬＭＴＸ６２ａ、６２ｂは、例えば３×３のマトリクス演算を行うことにより、色相を調整するものである。ＷＢ処理部６３ａ、６３ｂは、ホワイトバランス補正用のゲインをそれぞれの色を示す画像データに乗算するものであり、ガンマ補正部６４ａ、６４ｂは、それぞれの画像データが所望のガンマ特性になるように入出力特性を変更するものである。
【００３６】
合成ゲインＬＵＴ６５は、高感度画像データと低感度画像データとを加算合成する際のそれぞれのゲインデータを高感度画像データに応じて出力するものである。合成ゲインについては、後述する。
【００３７】
デジタル処理部６に入力される高感度画像データHighは、ＯＢ処理部６１ａ、ＬＭＴＸ６２ａ、ＷＢ処理部６３ａ、ガンマ補正部６４ａによる処理を経て乗算部６６ａに入力される。また、同様に低感度画像データLowは、ＯＢ処理部６１ｂ、ＬＭＴＸ６２ｂ、ＷＢ処理部６３ｂ、ガンマ補正部６４ｂによる処理を経て、乗算部６６ｂに入力される。そして、それぞれ合成ゲインＬＵＴ６５からのゲインデータと乗算され、乗算結果は加算部６７で加算される。
【００３８】
加算部６７からの画像データは、リミッタ６８で予め定めたビット数（例えば８ビット）で表現できる範囲に収まるように制限され、同時化及びＹ／Ｃ処理部６９に入力される。同時化及びＹ／Ｃ処理部６９は、点順次のＲＧＢ信号を補間し、各撮像位置毎にＲＧＢ信号を求め、さらにＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂに変換する。そして、ＣＭＴＸ７０によって彩度補正を行い、合成画像データとして出力する。
【００３９】
積算処理部７１は、ＬＭＴＸ６２ｂを経た低感度画像データを積算するのものであり、具体的には、画像の全領域又は画像の周辺部を除く領域を１６×１６分割し、各分割領域における緑データＧを積算するものである。合成レンジ演算部７２は、画像合成を行う場合の合成レンジを求めるものである。合成レンジは、低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比ｘを基に定められる。合成レンジの求め方については後述する。
【００４０】
合成レンジ演算部７２の出力は、合成ゲインＬＵＴ６５に送られ、合成レンジに応じたゲインデータを出力する。また、ガンマ補正部６４ｂに送られ、低感度画像データのガンマ補正特性が合成レンジに応じたものとなる。さらに、ＣＭＴＸ７０にも送られ、同時化及びＹ／Ｃ処理部６９で得られた色差データが、合成レンジに応じたゲインで補正され、出力される合成画像データの彩度が補正される。
【００４１】
なお、合成レンジ演算部７２からの合成レンジに基づく低感度画像データのガンマ特性の補正、及び彩度補正は必須ではなく、適宜省略してもよい。
【００４２】
図２に、撮影時の合成演算処理までのデジタル信号処理の概略シーケンスを示す。期間ｔ１において露光がされた後、期間ｔ２で高感度画像データの取り込みが行われる。期間ｔ３では、低感度画像データの取り込みと同時に高感度画像データに対する信号処理が行われる。ここでは、ホワイトバランスゲイン決定処理（ＡＷＢ）、キズ補正処理（キズ）、及び前処理が行われる。前処理には、ＯＢ処理、ＬＭＴＸ演算、ＷＢ処理、ガンマ補正処理が含まれる。
【００４３】
低感度画像データの取り込みが終了すると、期間ｔ４で合成レンジの演算処理が行われる。ここでの合成レンジの演算処理には、低感度画像データのＯＢ処理、ＬＭＴＸ演算、積算処理も含まれる。合成レンジが決定すると、期間ｔ５で低感度画像データの前処理（ＷＢ処理、ガンマ補正処理が含まれる）が行われる。そして、期間ｔ６で、ガンマ補正後の高感度画像データ及び低感度画像データの合成演算が行われる。
【００４４】
次いで、合成ゲインＬＵＴ６５に記憶されるゲインデータについて説明する。ゲインデータは、合成データdataを求める式（１）に基づいて作成される。
【００４５】
data＝[high＋MIN(high/th,1)×low]×MAX[(−lg×high/th)＋1,ｐ] （１）
ここで、
highは、ガンマ補正後の高感度画像データ
lowは、ガンマ補正後の低感度画像データ
thは、低感度画像データの加算比率を変更する閾値
ｐは、トータルゲイン
lgは、高感度画像データと低感度画像データの飽和出力の比に依存する値（例えば、飽和比が４：１とするとｐ＝０．２）である。
【００４６】
式（１）を展開し、
h_gain＝MAX[(−lg×high/th)＋1,ｐ] （２）
l_gain＝MAX[(−lg×high/th)＋1,ｐ]×MIN(high/th,1)＝h_gain×wl （３）
とすると、
data＝h_gain×high＋l_gain×low
となる。
【００４７】
h_gainは、高感度画像データ用のゲインであり、図３に示す特性を有する。また、l_gainは、低感度画像データ用のゲインであって、h_gain×wlであり、wlは、図４に示す特性を有する。
【００４８】
合成ゲインＬＵＴ６５には、上記式（２）及び（３）によって求められる高感度画像データ用のゲインh_gain、及び低感度画像データ用のゲインl_gainが、高感度画像データhighに対応するテーブル形式のデータとして記憶される。この記憶されるゲインデータは、合成レンジ演算部７２から出力される合成レンジに応じた数だけ記憶される。
【００４９】
続いて、合成レンジ演算部７２による合成レンジの求め方について説明する。まず、低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比ｘを、積算処理部７１からの積算データに基づいて求める。積算データを積算画像数で除算した値は、被写体の分割領域毎のＧデータの平均値であり、被写体輝度は、Ｇデータの１．２５（８０／６４）倍と考えることができるので、その平均値の最大値Ｇmaxは、低感度画像データが示す被写体輝度の最大値に対応するものとなる。
【００５０】
今、図５に示すように、高感度画像データがとり得る最大値が４０９５、低感度画像データがとり得る最大値が１０２３、低感度画像データの輝度レンジが高感度画像データの輝度レンジに対して４００％、輝度が緑データＧの１．２５（８０／６４）倍であるとすると、低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比ｘは、次の式（４）で表される。
【００５１】
ｘ＝Ｇmax×８０×４００／１０２３×６４（％） （４）
【００５２】
合成レンジ演算部７２は、このようにして求めた比ｘに基づいて合成レンジを求める。合成レンジは、例えば図６のように、比ｘの大きさによって決められる。
【００５３】
このように決定された合成レンジに基づいて、高感度画像データ及び低感度画像データに乗算するゲインデータが選択される。図７に、合成画像データの合成レンジに応じた階調特性の一例を示す。図７に示すように、合成レンジが大きくなる（被写体の輝度範囲が広くなる）につれて、合成画像データの再現範囲を広くすることができる。図７の例は、低感度画像データのガンマ特性を変化させていない例を示しているが、合成レンジに応じて低感度画像データのガンマ特性をさらに好ましい階調特性にすることができる。
【００５４】
次に、撮影シーンに応じて合成レンジを変更する実施の形態について説明する。撮影シーンは、ストロボのオンオフ情報、被写体の平均輝度情報、逆光情報の少なくとも１つに基づいて判断する。そして、撮影シーンに応じて低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比ｘを補正し、補正された比ｘ’に基づいて合成レンジを決定する。補正された比ｘ’と合成レンジとの対応は、図６に示す比ｘについてのものと同様としてよいし、変更してもよい。比ｘの補正は、比ｘの値を一定値以下に制限することで行う。
【００５５】
（補正例ａ）低輝度ストロボオンの場合
比ｘをサチュレーションポイントｓｐ(ＥＶ)で制限した値を補正された比ｘ’とする。図８に、比ｘと補正された比ｘ’の関係を示す。この場合、サチュレーションポイントｓｐ(ＥＶ)は、被写体の平均輝度値によって変化させる。平均輝度値が大きい場合は、相対的に低い値で制限し、平均輝度が低い場合は、相対的に高い値で制限する。図９に、平均輝度値とサチュレーションポイントｓｐ(ＥＶ)との関係を示す。
【００５６】
（補正例ｂ）スローシンクロ、日中シンクロの場合、
被写体輝度の大小にかかわらず、比ｘを予め定められた値で制限する。図１０に、その場合の比ｘと補正された比ｘ’の関係を示す。図１０の例では、比ｘが２２０％で制限している。
【００５７】
（補正例ｃ）ストロボオフの場合（逆光シーン時の補正）
低輝度ストロボオン時と同様、比ｘをサチュレーションポイントｓｐ(ＥＶ)で制限した値を補正された比ｘ’とする。サチュレーションポイントｓｐ(ＥＶ)は、図１１に示すように、分割ＥＶ（中央重点の重み付け平均をとった分割測光値）と周辺ＥＶ（周辺部分の測光値）との差によって変化させる。横軸の負側になるにつれて逆光シーンであると判断されるので、サチュレーションポイントｓｐ(ＥＶ)を小さくして、合成レンジを小さくする。また、横軸の右側は順光シーンであるので、サチュレーションポイントｓｐ(ＥＶ)をほぼ最大にする。
【００５８】
次に、電子ズーム時の画像合成処理について説明する。電子ズーム時には、低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比ｘを求めるための積算領域を、ズームエリアに応じて変更する。その場合、図１の積算処理部７１は、操作部１３によって変更されたズームステップ情報を基に、積算領域の大きさを決定し、さらにその領域を１６×１６に分割した領域の画像データを積算する。
【００５９】
このように比ｘを求めると、より正確に合成レンジを決定できる。例えば天井から照明されるようなキャッチライトシーンでも、ズーム倍率に応じて良好な合成画像を得ることができる。
【００６０】
【発明の効果】
以上の説明から明らかなように、本発明によれば、撮影シーンに応じて、より好ましい合成画像データを得ることが可能な画像合成方法、及びそのような画像合成方法を利用して合成処理を行うデジタルカメラを提供することができる。
【図面の簡単な説明】
【図１】デジタル信号処理部の概略機能ブロック図
【図２】撮影時の合成演算処理までのデジタル信号処理の概略シーケンスを示す図
【図３】高感度画像データ用のゲインの特性を示す図
【図４】低感度画像データ用のゲインと高感度画像データ用ゲインの比wlの特性を示す図
【図５】高感度画像データと低感度画像データの関係の一例を示す図
【図６】低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比ｘと合成レンジとの関係の一例を示す図
【図７】合成レンジに応じて合成画像データの階調特性が変化する様子を示す図
【図８】低輝度ストロボオンの場合の比ｘと補正された比ｘ’の関係を示す図
【図９】低輝度ストロボオンの場合の平均輝度値とサチュレーションポイントｓｐ(ＥＶ)との関係を示す図
【図１０】スローシンクロ、日中シンクロの場合の比ｘと補正された比ｘ’の関係を示す図
【図１１】ストロボオフの場合のサチュレーションポイントｓｐ(ＥＶ)の決定方法を示す図
【図１２】本発明の実施の形態のデジタルカメラの概略構成を示す図
【図１３】高感度撮像信号と低感度撮像信号を出力可能な固体撮像素子の概略構成を示す図
【符号の説明】
１・・・撮像部
２・・・アナログ信号処理部
３・・・Ａ／Ｄ変換部
４・・・駆動部
５・・・ストロボ
６・・・デジタル信号処理部
７・・・圧縮／伸張処理部
８・・・表示部
９・・・システム制御部
１０・・・内部メモリ
１１・・・メディアインタフェース
１２・・・記録メディア
１３・・・操作部
２０・・・システムバス
６１ａ、６１ｂ・・・ＯＢ（オプティカルブラック）処理部
６２ａ、６２ｂ・・・ＬＭＴＸ（リニアマトリクス）
６３ａ、６３ｂ・・・ＷＢ（ホワイトバランス）処理部
６４ａ、６４ｂ・・・ガンマ補正部
６５・・・合成ゲインＬＵＴ（ルックアップテーブル）
６６ａ、６６ｂ・・・乗算部
６７・・・加算部
６８・・・リミッタ
６９・・・同時化及びＹ／Ｃ処理部
７０・・・ＣＭＴＸ（色差マトリクス）
７１・・・積算処理部
７２・・・合成レンジ演算部
【発明の属する技術分野】
本発明は、相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得る画像合成方法、及び相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得る機能を有するデジタルカメラに関する。
【０００２】
【従来の技術】
ＣＣＤ撮像素子等の固体撮像素子のダイナミックレンジは、一般に狭く、ハイコントラストの被写体を撮影する場合は、固体撮像素子の受光量がダイナミックレンジを超えて固体撮像素子の出力が飽和してしまい、被写体の情報が欠落する場合がある。
【０００３】
このような問題を解決するため、相対的に高感度の第１の画像データ（以下、単に「高感度画像データ」と記述する場合もある。）と相対的に低感度の第２の画像データ（以下、単に「低感度画像データ」と記述する場合もある。）との合成処理を行うことにより、ダイナミックレンジの拡大を図る技術が提案されている（特許文献１、２参照）
【０００４】
特許文献１に記載された技術は、異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号（高感度画像データ）と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号（低感度画像データ）を加算して、広ダイナミックレンジ映像信号を得るものである。そして、その際、高輝度映像信号のピーク値を検出し、このピーク値に基づき、標準輝度映像信号と高輝度映像信号にそれぞれ乗算する乗算係数を算出し、それぞれに乗算した後、加算するものである。
【０００５】
特許文献２に記載された技術は、被写界を撮像して該被写界を表わす高感度の映像信号及び低感度の映像信号を生成する撮像手段と、高感度の映像信号を第１の量子化分解能で量子化して、対応する高感度の映像信号データを出力する第１の信号変換手段と、低感度の映像信号を第１の量子化分解能より低い第２の量子化分解能で量子化して、対応する低感度の映像信号データを出力する第２の信号変換手段とを含み、高感度の映像信号データ及び対応する低感度の映像信号データを加算合成して、広いダイナミックレンジの映像信号を形成するものである。
【０００６】
しかし、被写体の輝度レンジが大きい場合に、高感度画像データと低感度画像データを加算合成するだけでは、必ずしも最適な合成画像データが得られない。輝度レンジによって、高感度画像データと低感度画像データの合成ゲインを変化させた場合でも、同様である。例えば、キャッチライトシーンは、被写体の輝度レンジが大きいが、広いダイナミックレンジで画像を構成すると、ハイライト部の階調が軟調になり、いわゆる眠い画像になる。一方、結婚式のようなハイコントラストシーンも同様に被写体の輝度レンジの幅が大きいが、この場合は、広いダイナミックレンジで画像を構成する方が、階調再現が豊かで好ましい。
【０００７】
また、画像合成によってダイナミックレンジを広げようとすると、ハイライト側の見かけ上のゲインが低下することになり、彩度が低下するという問題もある。
【０００８】
【特許文献１】
特開２００１−９４８７０号公報
【特許文献２】
特開２００１−８１０４号公報
【０００９】
【発明が解決しようとする課題】
本発明は、上記事情に鑑みなされたもので、撮影シーンに応じて、より好ましい合成画像データを得ることが可能な画像合成方法、及びそのような画像合成方法を利用して合成処理を行うデジタルカメラを提供することを目的とするものである。
【００１０】
【課題を解決するための手段】
本発明の画像合成方法は、相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得るものであって、前記第２の画像データが示す被写体輝度の最大値と、前記第１の画像データがとり得る最大値が示す輝度値との比ｘと求める工程と、ストロボのオンオフ情報、被写体の平均輝度情報、逆光情報の少なくとも１つに基づいて、前記比ｘを補正する工程と、前記補正された比ｘ’に基づいて、前記合成処理パラメータを決定する工程と、前記合成処理パラメータに基づいて前記第１の画像データと前記第２の画像データとの合成処理を行う工程とを含むものである。この合成方法によれば、被写体のシーン及び輝度レンジに応じて、必要部分の明るさの範囲を効率的に再現できるレンジで合成することができる。
【００１１】
本発明の画像合成方法は、さらに、前記補正された比ｘ’に基づいて、前記第２の画像データのガンマ補正パラメータを決定する工程と、前記ガンマ補正パラメータに基づいて前記第２の画像データを補正する工程とを含む。この合成方法によれば、被写体のシーン及び輝度レンジに応じて、さらに好ましい階調の合成画像を得ることができる。
【００１２】
本発明の画像合成方法は、さらに、前記補正された比ｘ’に基づいて、合成画像データの彩度補正パラメータを決定する工程と、前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含む。この合成方法に寄れば、ハイライト側の見かけ上のゲイン低下による彩度低下を補正することができる。
【００１３】
本発明の画像合成方法における前記比ｘを補正する工程は、ストロボのオンオフ情報、被写体の平均輝度情報、逆光情報の少なくとも１つに基づいて、前記比ｘの値を制限する工程であるものを含む。
【００１４】
本発明の画像合成方法は、相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得るものであって、前記第２の画像データが示す被写体輝度の最大値と、前記第１の画像データがとり得る最大値が示す輝度値との比ｘと求める工程と、前記比ｘに基づいて、前記第２の画像データのガンマ補正パラメータ、及び前記合成処理パラメータを決定する工程と、前記ガンマ補正パラメータに基づいて前記第２の画像データを補正する工程と、前記合成処理パラメータに基づいて前記第１の画像データと前記第２の画像データとの合成処理を行う工程とを含むものである。この合成方法によれば、被写体の輝度レンジに応じて、好ましい階調の合成画像を得ることができる。
【００１５】
本発明の画像合成方法は、相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得るものであって、前記第２の画像データが示す被写体輝度の最大値と、前記第１の画像データがとり得る最大値が示す輝度値との比ｘと求める工程と、前記比ｘに基づいて、前記合成処理パラメータ、及び合成画像データの彩度補正パラメータを決定する工程と、前記合成処理パラメータに基づいて前記第１の画像データと前記第２の画像データとの合成処理を行う工程と、前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含むものである。この合成方法によれば、ハイライト側の見かけ上のゲイン低下による彩度低下を補正することができる。
【００１６】
本発明の画像合成方法は、相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得るものであって、前記第２の画像データが示す被写体輝度の最大値と、前記第１の画像データがとり得る最大値が示す輝度値との比ｘと求める工程と、前記比ｘに基づいて、前記第２の画像データのガンマ補正パラメータ、前記合成処理パラメータ、及び合成画像データの彩度補正パラメータを決定する工程と、前記ガンマ補正パラメータに基づいて前記第２の画像データを補正する工程と、前記合成処理パラメータに基づいて前記第１の画像データと前記第２の画像データとの合成処理を行う工程と、前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含むものである。
【００１７】
本発明の画像合成方法における電子ズーム撮影時における前記比ｘを求める工程は、ズーム倍率に応じて異なる領域の前記第２の画像データが示す被写体輝度の最大値を利用するものを含む。この合成方法によれば、再現領域に対応した範囲の被写体輝度に基づいて合成処理を行うことができるので、例えば天井から照明されるようなキャッチライトシーンでも、ズーム倍率に応じて良好な合成画像を得ることができる。
【００１８】
本発明のデジタルカメラは、相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得る機能を有するものであって、前記合成処理は、上記した画像合成方法を利用して行うものである。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。図１２は、本発明の実施の形態のデジタルカメラの概略構成を示す図である。図１２のデジタルカメラは、撮像部１、アナログ信号処理部２、Ａ／Ｄ変換部３、駆動部４、ストロボ５、デジタル信号処理部６、圧縮／伸張処理部７、表示部８、システム制御部９、内部メモリ１０、メディアインタフェース１１、記録メディア１２、操作部１３を含んで構成される。デジタル信号処理部６、圧縮／伸張処理部７、表示部８、システム制御部９、内部メモリ１０、及びメディアインタフェース１１は、システムバス２０に接続されている。
【００２０】
撮像部１は、撮影レンズ等の光学系及びＣＣＤイメージセンサ等の撮像素子を含み、被写体の撮影を行うものであって、アナログの撮像信号を出力する。撮像部１で得られた撮像信号は、アナログ信号処理部２に送られ、所定のアナログ信号処理が施され、Ａ／Ｄ変換部３でデジタル信号に変換された後、いわゆるＲＡＷ画像データとしてデジタル信号処理部６に送られる。ＲＡＷ画像データは、撮像部１からの撮像信号の形式のままデジタル化したデジタル画像データである。
【００２１】
撮影に際しては、駆動部４を介して撮像部１が制御される。撮像素子として利用されるＣＣＤイメージセンサ等の固体撮像素子は、半導体基板表面に行方向とこれに直交する列方向に配設された複数の光電変換領域（例えばフォトダイオード）を有し、入射光に対応して発生し、蓄積された信号電荷に基づいたアナログ電圧信号を出力するものである。固体撮像素子は、操作部１３の一部であるレリーズボタン（図示せず）の操作によるレリーズスイッチ（図示せず）オンを契機として、所定のタイミングで、駆動部４に含まれるタイミングジェネレータ（図１２ではＴＧと記載）からの駆動信号によって駆動される。駆動部４は、システム制御部９の制御に基づいて所定の駆動信号を出力するものであり、アナログ信号処理部２及びＡ／Ｄ変換部３に対する駆動信号も出力する。
【００２２】
撮像部１は、相対的に高感度の撮像信号と相対的に低感度の撮像信号を出力するものであり、撮像信号は、共にアナログ信号処理部２、Ａ／Ｄ変換部３を経てデジタル画像データに変換され、デジタル信号処理部６に送られる。
【００２３】
感度の異なる撮像信号は、特許文献１に示すように露光条件又はアナログゲインを変更することによって取得してもよいし、特許文献２に示すように高感度撮像セルと低感度撮像セルを有する固体撮像素子を利用することによって取得してもよい。また、図１３に示すような固体撮像素子を用いてもよい。
【００２４】
図１３は、高感度撮像信号と低感度撮像信号を出力可能な固体撮像素子の概略構成を示す図である。図１３は、いわゆるハニカム構造の固体撮像素子の部分拡大平面図であって、半導体基板表面に行方向（矢印Ｘで示す方向）とこれに直交する列方向（矢印Ｙで示す方向）に配設された複数の光電変換領域１１１〜１５７（図では一部のみに番号を付してある）、垂直転送部２０１〜２０８、水平転送部３００、及び出力部４００を含む。複数の光電変換領域１１１〜１５７の内の奇数列のものは、偶数列のものに対して光電変換領域同士の列方向ピッチの略１／２だけ列方向にずれており、また、奇数行の光電変換領域は、偶数行の光電変換領域対して光電変換領域同士の行方向ピッチの略１／２だけ行方向にずれて配置される。なお、図１３では、５行８列の光電変換領域を示してあるが、実際には、さらに多くの光電変換領域が設けられる。
【００２５】
光電変換領域１１１〜１５７は、入射光量に対応した信号電荷を発生し、蓄積するもので、例えばフォトダイオードである。光電変換領域１１１〜１５７は、相対的に広い受光面積を有する主領域ｍと相対的に狭い受光面積を有する副領域ｓに分割され（図１３では、光電変換領域１５１のみについて符号を付してある。）、それぞれ所定の分光感度の光に対応する信号電荷を発生し、蓄積する。図１３の固体撮像素子においては、赤（Ｒで示す。）、緑（Ｇで示す。）、又は青（Ｂで示す。）のフィルタ（図示せず）が、それぞれの光電変換領域１１１〜１５７の上方に設けられ、それぞれの色の光に対応する信号電荷を発生し、蓄積する。
【００２６】
垂直転送部２０１〜２０８は、光電変換領域１１１〜１５７からの信号電荷を読み出し、列方向に転送するものであり、光電変換領域１１１〜１５７の各列に対応してその側方に設けられる。列方向の転送は、主領域ｍの信号電荷と副領域ｓの信号電荷を、それぞれ独立に垂直転送部２０１〜２０８に読み出して行う。水平転送部３００は、複数の垂直転送部２０１〜２０８からの信号電荷が転送され、転送された信号電荷を行方向に転送するものである。出力部４００は、転送された信号電荷量に応じた電圧信号を出力するものである。
【００２７】
ストロボ５は、被写体の輝度が所定値以下の場合等に動作するものであり、システム制御部９によって制御される。
【００２８】
デジタル信号処理部６では、Ａ／Ｄ変換部３からのデジタル画像データに対して、操作部１３によって設定された動作モードに応じたデジタル信号処理を行うものである。デジタル信号処理部６が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理（撮像部からの原色信号に対して、撮像素子の光電変換特性に起因する混食成分を除去する補正を行う処理。ＲＢＧ入力に対する３×３のマトリクス演算による。）、ホワイトバランス調整処理（ゲイン調整）、ガンマ補正処理、画像合成処理、同時化処理、Ｙ／Ｃ変換処理等が含まれる。デジタル信号処理部６の画像合成処理については、後述する。
【００２９】
デジタル信号処理部６は、例えばＤＳＰで構成される。圧縮／伸張処理部７は、デジタル信号処理部６で得られたＹ／Ｃデータに対して圧縮処理を施すとともに、記録メディア１２から得られた圧縮画像データに対して伸張処理を施すものである。
【００３０】
表示部８は、例えばＬＣＤ表示装置を含んで構成され、撮影され、デジタル信号処理を経た画像データに基づく画像を表示する。記録メディアに記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。
【００３１】
内部メモリ１０は、例えばＤＲＡＭであり、デジタル信号処理部６、システム処理部９のワークメモリとして利用される他、記録メディアに１２に記録される撮影画像データを一時的に記憶するバッファメモリ、表示部８への表示画像データのバッファメモリとしても利用される。メディアインタフェース１１は、メモリカード等の記録メディア１２との間のデータの入出力を行うものである。
【００３２】
システム制御部９は、撮影動作を含むデジタルカメラ全体の制御を行う。システム制御部９は、具体的には所定のプログラムによって動作するプロセッサを主体に構成される。
【００３３】
操作部１３は、デジタルカメラ使用時の各種操作を行うもので、デジタルカメラの動作モード（撮影モード、再生モード等）、撮影時の撮影方法、撮影条件、設定等を行う。操作部１３は、それぞれの機能に対応する操作部材を設けてもよいが、表示部８の表示と連動して操作部材を共用してもよい。また、操作部１３には、撮影動作を起動するためのレリーズボタンも含まれる。
【００３４】
次に、デジタル信号処理部６の機能を、画像合成処理を中心に説明する。図１は、デジタル信号処理部６の概略機能ブロック図である。デジタル信号処理部６は、ＯＢ（オプティカルブラック）処理部６１ａ、６１ｂ、ＬＭＴＸ（リニアマトリクス）６２ａ、６２ｂ、ＷＢ（ホワイトバランス）処理部６３ａ、６３ｂ、ガンマ補正部６４ａ、６４ｂ、合成ゲインＬＵＴ（ルックアップテーブル）６５、乗算部６６ａ、６６ｂ、加算部６７、リミッタ６８、同時化及びＹ／Ｃ処理部６９、ＣＭＴＸ（色差マトリクス）７０、積算処理部７１、合成レンジ演算部７２を含む。
【００３５】
ＯＢ処理部６１ａ、６１ｂは、画像データの黒レベルを補正するものであり、ＬＭＴＸ６２ａ、６２ｂは、例えば３×３のマトリクス演算を行うことにより、色相を調整するものである。ＷＢ処理部６３ａ、６３ｂは、ホワイトバランス補正用のゲインをそれぞれの色を示す画像データに乗算するものであり、ガンマ補正部６４ａ、６４ｂは、それぞれの画像データが所望のガンマ特性になるように入出力特性を変更するものである。
【００３６】
合成ゲインＬＵＴ６５は、高感度画像データと低感度画像データとを加算合成する際のそれぞれのゲインデータを高感度画像データに応じて出力するものである。合成ゲインについては、後述する。
【００３７】
デジタル処理部６に入力される高感度画像データHighは、ＯＢ処理部６１ａ、ＬＭＴＸ６２ａ、ＷＢ処理部６３ａ、ガンマ補正部６４ａによる処理を経て乗算部６６ａに入力される。また、同様に低感度画像データLowは、ＯＢ処理部６１ｂ、ＬＭＴＸ６２ｂ、ＷＢ処理部６３ｂ、ガンマ補正部６４ｂによる処理を経て、乗算部６６ｂに入力される。そして、それぞれ合成ゲインＬＵＴ６５からのゲインデータと乗算され、乗算結果は加算部６７で加算される。
【００３８】
加算部６７からの画像データは、リミッタ６８で予め定めたビット数（例えば８ビット）で表現できる範囲に収まるように制限され、同時化及びＹ／Ｃ処理部６９に入力される。同時化及びＹ／Ｃ処理部６９は、点順次のＲＧＢ信号を補間し、各撮像位置毎にＲＧＢ信号を求め、さらにＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂに変換する。そして、ＣＭＴＸ７０によって彩度補正を行い、合成画像データとして出力する。
【００３９】
積算処理部７１は、ＬＭＴＸ６２ｂを経た低感度画像データを積算するのものであり、具体的には、画像の全領域又は画像の周辺部を除く領域を１６×１６分割し、各分割領域における緑データＧを積算するものである。合成レンジ演算部７２は、画像合成を行う場合の合成レンジを求めるものである。合成レンジは、低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比ｘを基に定められる。合成レンジの求め方については後述する。
【００４０】
合成レンジ演算部７２の出力は、合成ゲインＬＵＴ６５に送られ、合成レンジに応じたゲインデータを出力する。また、ガンマ補正部６４ｂに送られ、低感度画像データのガンマ補正特性が合成レンジに応じたものとなる。さらに、ＣＭＴＸ７０にも送られ、同時化及びＹ／Ｃ処理部６９で得られた色差データが、合成レンジに応じたゲインで補正され、出力される合成画像データの彩度が補正される。
【００４１】
なお、合成レンジ演算部７２からの合成レンジに基づく低感度画像データのガンマ特性の補正、及び彩度補正は必須ではなく、適宜省略してもよい。
【００４２】
図２に、撮影時の合成演算処理までのデジタル信号処理の概略シーケンスを示す。期間ｔ１において露光がされた後、期間ｔ２で高感度画像データの取り込みが行われる。期間ｔ３では、低感度画像データの取り込みと同時に高感度画像データに対する信号処理が行われる。ここでは、ホワイトバランスゲイン決定処理（ＡＷＢ）、キズ補正処理（キズ）、及び前処理が行われる。前処理には、ＯＢ処理、ＬＭＴＸ演算、ＷＢ処理、ガンマ補正処理が含まれる。
【００４３】
低感度画像データの取り込みが終了すると、期間ｔ４で合成レンジの演算処理が行われる。ここでの合成レンジの演算処理には、低感度画像データのＯＢ処理、ＬＭＴＸ演算、積算処理も含まれる。合成レンジが決定すると、期間ｔ５で低感度画像データの前処理（ＷＢ処理、ガンマ補正処理が含まれる）が行われる。そして、期間ｔ６で、ガンマ補正後の高感度画像データ及び低感度画像データの合成演算が行われる。
【００４４】
次いで、合成ゲインＬＵＴ６５に記憶されるゲインデータについて説明する。ゲインデータは、合成データdataを求める式（１）に基づいて作成される。
【００４５】
data＝[high＋MIN(high/th,1)×low]×MAX[(−lg×high/th)＋1,ｐ] （１）
ここで、
highは、ガンマ補正後の高感度画像データ
lowは、ガンマ補正後の低感度画像データ
thは、低感度画像データの加算比率を変更する閾値
ｐは、トータルゲイン
lgは、高感度画像データと低感度画像データの飽和出力の比に依存する値（例えば、飽和比が４：１とするとｐ＝０．２）である。
【００４６】
式（１）を展開し、
h_gain＝MAX[(−lg×high/th)＋1,ｐ] （２）
l_gain＝MAX[(−lg×high/th)＋1,ｐ]×MIN(high/th,1)＝h_gain×wl （３）
とすると、
data＝h_gain×high＋l_gain×low
となる。
【００４７】
h_gainは、高感度画像データ用のゲインであり、図３に示す特性を有する。また、l_gainは、低感度画像データ用のゲインであって、h_gain×wlであり、wlは、図４に示す特性を有する。
【００４８】
合成ゲインＬＵＴ６５には、上記式（２）及び（３）によって求められる高感度画像データ用のゲインh_gain、及び低感度画像データ用のゲインl_gainが、高感度画像データhighに対応するテーブル形式のデータとして記憶される。この記憶されるゲインデータは、合成レンジ演算部７２から出力される合成レンジに応じた数だけ記憶される。
【００４９】
続いて、合成レンジ演算部７２による合成レンジの求め方について説明する。まず、低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比ｘを、積算処理部７１からの積算データに基づいて求める。積算データを積算画像数で除算した値は、被写体の分割領域毎のＧデータの平均値であり、被写体輝度は、Ｇデータの１．２５（８０／６４）倍と考えることができるので、その平均値の最大値Ｇmaxは、低感度画像データが示す被写体輝度の最大値に対応するものとなる。
【００５０】
今、図５に示すように、高感度画像データがとり得る最大値が４０９５、低感度画像データがとり得る最大値が１０２３、低感度画像データの輝度レンジが高感度画像データの輝度レンジに対して４００％、輝度が緑データＧの１．２５（８０／６４）倍であるとすると、低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比ｘは、次の式（４）で表される。
【００５１】
ｘ＝Ｇmax×８０×４００／１０２３×６４（％） （４）
【００５２】
合成レンジ演算部７２は、このようにして求めた比ｘに基づいて合成レンジを求める。合成レンジは、例えば図６のように、比ｘの大きさによって決められる。
【００５３】
このように決定された合成レンジに基づいて、高感度画像データ及び低感度画像データに乗算するゲインデータが選択される。図７に、合成画像データの合成レンジに応じた階調特性の一例を示す。図７に示すように、合成レンジが大きくなる（被写体の輝度範囲が広くなる）につれて、合成画像データの再現範囲を広くすることができる。図７の例は、低感度画像データのガンマ特性を変化させていない例を示しているが、合成レンジに応じて低感度画像データのガンマ特性をさらに好ましい階調特性にすることができる。
【００５４】
次に、撮影シーンに応じて合成レンジを変更する実施の形態について説明する。撮影シーンは、ストロボのオンオフ情報、被写体の平均輝度情報、逆光情報の少なくとも１つに基づいて判断する。そして、撮影シーンに応じて低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比ｘを補正し、補正された比ｘ’に基づいて合成レンジを決定する。補正された比ｘ’と合成レンジとの対応は、図６に示す比ｘについてのものと同様としてよいし、変更してもよい。比ｘの補正は、比ｘの値を一定値以下に制限することで行う。
【００５５】
（補正例ａ）低輝度ストロボオンの場合
比ｘをサチュレーションポイントｓｐ(ＥＶ)で制限した値を補正された比ｘ’とする。図８に、比ｘと補正された比ｘ’の関係を示す。この場合、サチュレーションポイントｓｐ(ＥＶ)は、被写体の平均輝度値によって変化させる。平均輝度値が大きい場合は、相対的に低い値で制限し、平均輝度が低い場合は、相対的に高い値で制限する。図９に、平均輝度値とサチュレーションポイントｓｐ(ＥＶ)との関係を示す。
【００５６】
（補正例ｂ）スローシンクロ、日中シンクロの場合、
被写体輝度の大小にかかわらず、比ｘを予め定められた値で制限する。図１０に、その場合の比ｘと補正された比ｘ’の関係を示す。図１０の例では、比ｘが２２０％で制限している。
【００５７】
（補正例ｃ）ストロボオフの場合（逆光シーン時の補正）
低輝度ストロボオン時と同様、比ｘをサチュレーションポイントｓｐ(ＥＶ)で制限した値を補正された比ｘ’とする。サチュレーションポイントｓｐ(ＥＶ)は、図１１に示すように、分割ＥＶ（中央重点の重み付け平均をとった分割測光値）と周辺ＥＶ（周辺部分の測光値）との差によって変化させる。横軸の負側になるにつれて逆光シーンであると判断されるので、サチュレーションポイントｓｐ(ＥＶ)を小さくして、合成レンジを小さくする。また、横軸の右側は順光シーンであるので、サチュレーションポイントｓｐ(ＥＶ)をほぼ最大にする。
【００５８】
次に、電子ズーム時の画像合成処理について説明する。電子ズーム時には、低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比ｘを求めるための積算領域を、ズームエリアに応じて変更する。その場合、図１の積算処理部７１は、操作部１３によって変更されたズームステップ情報を基に、積算領域の大きさを決定し、さらにその領域を１６×１６に分割した領域の画像データを積算する。
【００５９】
このように比ｘを求めると、より正確に合成レンジを決定できる。例えば天井から照明されるようなキャッチライトシーンでも、ズーム倍率に応じて良好な合成画像を得ることができる。
【００６０】
【発明の効果】
以上の説明から明らかなように、本発明によれば、撮影シーンに応じて、より好ましい合成画像データを得ることが可能な画像合成方法、及びそのような画像合成方法を利用して合成処理を行うデジタルカメラを提供することができる。
【図面の簡単な説明】
【図１】デジタル信号処理部の概略機能ブロック図
【図２】撮影時の合成演算処理までのデジタル信号処理の概略シーケンスを示す図
【図３】高感度画像データ用のゲインの特性を示す図
【図４】低感度画像データ用のゲインと高感度画像データ用ゲインの比wlの特性を示す図
【図５】高感度画像データと低感度画像データの関係の一例を示す図
【図６】低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比ｘと合成レンジとの関係の一例を示す図
【図７】合成レンジに応じて合成画像データの階調特性が変化する様子を示す図
【図８】低輝度ストロボオンの場合の比ｘと補正された比ｘ’の関係を示す図
【図９】低輝度ストロボオンの場合の平均輝度値とサチュレーションポイントｓｐ(ＥＶ)との関係を示す図
【図１０】スローシンクロ、日中シンクロの場合の比ｘと補正された比ｘ’の関係を示す図
【図１１】ストロボオフの場合のサチュレーションポイントｓｐ(ＥＶ)の決定方法を示す図
【図１２】本発明の実施の形態のデジタルカメラの概略構成を示す図
【図１３】高感度撮像信号と低感度撮像信号を出力可能な固体撮像素子の概略構成を示す図
【符号の説明】
１・・・撮像部
２・・・アナログ信号処理部
３・・・Ａ／Ｄ変換部
４・・・駆動部
５・・・ストロボ
６・・・デジタル信号処理部
７・・・圧縮／伸張処理部
８・・・表示部
９・・・システム制御部
１０・・・内部メモリ
１１・・・メディアインタフェース
１２・・・記録メディア
１３・・・操作部
２０・・・システムバス
６１ａ、６１ｂ・・・ＯＢ（オプティカルブラック）処理部
６２ａ、６２ｂ・・・ＬＭＴＸ（リニアマトリクス）
６３ａ、６３ｂ・・・ＷＢ（ホワイトバランス）処理部
６４ａ、６４ｂ・・・ガンマ補正部
６５・・・合成ゲインＬＵＴ（ルックアップテーブル）
６６ａ、６６ｂ・・・乗算部
６７・・・加算部
６８・・・リミッタ
６９・・・同時化及びＹ／Ｃ処理部
７０・・・ＣＭＴＸ（色差マトリクス）
７１・・・積算処理部
７２・・・合成レンジ演算部
Claims (9)
- 相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得る画像合成方法であって、
前記第２の画像データが示す被写体輝度の最大値と、前記第１の画像データがとり得る最大値が示す輝度値との比ｘと求める工程と、
ストロボのオンオフ情報、被写体の平均輝度情報、逆光情報の少なくとも１つに基づいて、前記比ｘを補正する工程と、
前記補正された比ｘ’に基づいて、前記合成処理パラメータを決定する工程と、
前記合成処理パラメータに基づいて前記第１の画像データと前記第２の画像データとの合成処理を行う工程とを含む画像合成方法。 - 請求項１記載の画像合成方法であって、
さらに、前記補正された比ｘ’に基づいて、前記第２の画像データのガンマ補正パラメータを決定する工程と、
前記ガンマ補正パラメータに基づいて前記第２の画像データを補正する工程とを含む画像合成方法。 - 請求項１又は２記載の画像合成方法であって、
さらに、前記補正された比ｘ’に基づいて、合成画像データの彩度補正パラメータを決定する工程と、
前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含む画像合成方法。 - 請求項１ないし３のいずれか１項記載の画像合成方法であって、
前記比ｘを補正する工程は、ストロボのオンオフ情報、被写体の平均輝度情報、逆光情報の少なくとも１つに基づいて、前記比ｘの値を制限する工程である画像合成方法。 - 相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得る画像合成方法であって、
前記第２の画像データが示す被写体輝度の最大値と、前記第１の画像データがとり得る最大値が示す輝度値との比ｘと求める工程と、
前記比ｘに基づいて、前記第２の画像データのガンマ補正パラメータ、及び前記合成処理パラメータを決定する工程と、
前記ガンマ補正パラメータに基づいて前記第２の画像データを補正する工程と、
前記合成処理パラメータに基づいて前記第１の画像データと前記第２の画像データとの合成処理を行う工程とを含む画像合成方法。 - 相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得る画像合成方法であって、
前記第２の画像データが示す被写体輝度の最大値と、前記第１の画像データがとり得る最大値が示す輝度値との比ｘと求める工程と、
前記比ｘに基づいて、前記合成処理パラメータ、及び合成画像データの彩度補正パラメータを決定する工程と、
前記合成処理パラメータに基づいて前記第１の画像データと前記第２の画像データとの合成処理を行う工程と、
前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含む画像合成方法。 - 相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得る画像合成方法であって、
前記第２の画像データが示す被写体輝度の最大値と、前記第１の画像データがとり得る最大値が示す輝度値との比ｘと求める工程と、
前記比ｘに基づいて、前記第２の画像データのガンマ補正パラメータ、前記合成処理パラメータ、及び合成画像データの彩度補正パラメータを決定する工程と、
前記ガンマ補正パラメータに基づいて前記第２の画像データを補正する工程と、
前記合成処理パラメータに基づいて前記第１の画像データと前記第２の画像データとの合成処理を行う工程と、
前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含む画像合成方法。 - 請求項１ないし７のいずれか１項記載の画像合成方法であって、
電子ズーム撮影時における前記比ｘを求める工程は、ズーム倍率に応じて異なる領域の前記第２の画像データが示す被写体輝度の最大値を利用するものである画像合成方法。 - 相対的に高感度の第１の画像データと相対的に低感度の第２の画像データとの合成処理を行って合成画像データを得る機能を有するデジタルカメラであって、
前記合成処理は、請求項１ないし８のいずれか１項記載の画像合成方法を利用して行うものであるデジタルカメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003009807A JP4028396B2 (ja) | 2003-01-17 | 2003-01-17 | 画像合成方法及びデジタルカメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003009807A JP4028396B2 (ja) | 2003-01-17 | 2003-01-17 | 画像合成方法及びデジタルカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004222162A JP2004222162A (ja) | 2004-08-05 |
| JP4028396B2 true JP4028396B2 (ja) | 2007-12-26 |
Family
ID=32899189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003009807A Expired - Fee Related JP4028396B2 (ja) | 2003-01-17 | 2003-01-17 | 画像合成方法及びデジタルカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4028396B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009049547A (ja) * | 2007-08-15 | 2009-03-05 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理プログラム |
| JP6108854B2 (ja) * | 2013-02-07 | 2017-04-05 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP5543636B2 (ja) * | 2013-05-21 | 2014-07-09 | キヤノン株式会社 | 撮像装置 |
-
2003
- 2003-01-17 JP JP2003009807A patent/JP4028396B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004222162A (ja) | 2004-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7382403B2 (en) | Apparatus and method for synthesizing image signals into a wide dynamic range image that has been processed with saturation correction | |
| JP5347707B2 (ja) | 撮像装置および撮像方法 | |
| US7884866B2 (en) | Imaging apparatus and imaging method | |
| JP2007067815A (ja) | 画像処理装置及び画像処理方法 | |
| JP4433883B2 (ja) | ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 | |
| JP2002084449A (ja) | 固体撮像素子を用いた撮像装置 | |
| JP2000316163A (ja) | カラー撮像素子及び撮像装置 | |
| JP2004363726A (ja) | 画像処理方法及びデジタルカメラ | |
| US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
| JP4028395B2 (ja) | デジタルカメラ | |
| JP4812282B2 (ja) | 画像処理方法及び装置並びに撮像装置 | |
| JP4028396B2 (ja) | 画像合成方法及びデジタルカメラ | |
| JP4279562B2 (ja) | 固体撮像装置の制御方法 | |
| JP2010068331A (ja) | 撮像装置および撮像方法 | |
| JP2009038818A (ja) | 画像処理方法及びデジタルカメラ | |
| JP5310331B2 (ja) | 撮像装置および撮像方法 | |
| JP4732795B2 (ja) | 固体撮像装置および画像補正方法 | |
| JP4307862B2 (ja) | 信号処理方法、信号処理回路、及び撮像装置 | |
| JP2004222161A (ja) | デジタルカメラ | |
| JP4276847B2 (ja) | 撮像装置 | |
| JP4229234B2 (ja) | デジタルカメラ | |
| JP2012080297A (ja) | 撮像装置及びその撮像制御方法 | |
| JP5169540B2 (ja) | 撮像装置および撮像方法 | |
| JP4769851B2 (ja) | 撮像装置 | |
| JP2000278704A (ja) | デジタルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20040930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040930 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050215 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060424 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20060621 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070706 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070815 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071011 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4028396 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121019 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121019 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131019 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |