JP3977260B2 - デジタルカメラと撮像画像データ記録方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は低感度画像と高感度画像の両方を撮像するデジタルカメラとその撮像画像データ記録方法に係り、特に、撮像画像データをＲＡＷデータ（固体撮像素子から出力された撮像画像データで未加工のままの生データ）でメモリに記録するデジタルカメラ及び撮像画像データ記録方法に関する。
【０００２】
【従来の技術】
デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラでは、固体撮像素子の各画素を構成するフォトダイオードに蓄積される電荷の飽和量が高画素化すなわちフォトダイオードの微細化に伴って小さくなり、撮像画像のダイナミックレンジが狭くなってしまうという欠点を有している。
【０００３】
この欠点を克服するため、例えば特開２００１―８１０４号公報記載の従来技術では、固体撮像素子に、高感度画素と低感度画素の２種類の画素を設け、高感度画素から得られた撮像画像データと、低感度画素から得られた撮像画像データとを合成することで、撮像画像のダイナミックレンジを広げるようにしている。
【０００４】
また、その一方で、近年の様に固体撮像素子の高画素化が進展してくると、銀塩カメラと同等の画像が撮像されるようになり、このため、固体撮像素子から出力される撮像画像データを、ホワイトバランス補正やガンマ補正，ＪＰＥＧ圧縮などせずに未加工のままＲＡＷデータでメモリに保存し、パーソナルコンピュータ等でこの画像データを読み取り、ホワイトバランス補正やガンマ補正，色調補正などを自分の好みに応じて行いたいというユーザの要望が高くなってきている。このため、デジタルカメラには、特開平１１―２６１９３３号公報（特許文献２）や特開２００１―２２３９７９号公報（特許文献３）に記載されている様に、ＲＡＷデータで画像データを記録するものが増えてきている。
【０００５】
【特許文献１】
特開２００１―８１０４号公報
【特許文献２】
特開平１１―２６１９３３号公報
【特許文献３】
特開２００１―２２３９７９号公報
【０００６】
【発明が解決しようとする課題】
上述したように低感度画像と高感度画像の両方を撮像するデジタルカメラでは、撮像画像データをＲＡＷデータでメモリに記録する場合、低感度画像の撮像画像データと高感度画像の撮像画像データの両方を記録することになる。しかし、ユーザがメモリから低感度画像データと高感度画像データのＲＡＷデータを読み出してパソコン上のアプリケーションソフトウェアにて画像合成しても、なかなか合成処理がうまく行かず、希望する画質の合成画像が得られないという問題がある。
【０００７】
本発明の目的は、低感度画像データと高感度画像データのＲＡＷデータをカメラ外で画像合成するときでも容易に且つ迅速に希望する画質の合成画像を得ることができるデジタルカメラとその撮像画像データ記録方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するデジタルカメラとその撮像画像データ記録方法は、高感度画素と低感度画素を有する固体撮像素子の前記高感度画素から得られた高感度画像データと前記低感度画素から得られた低感度画像データとをＲＡＷデータで記録媒体に記録すると共に、高感度画像データと低感度画像データとを合成するときの画素単位の各データｄを
ｄ＝〔high＋MIN(high/th,1）×low〕×MAX〔（−ｋ×high/th）＋α,ｐ〕
ここで、high：高感度（高出力）画像信号のガンマ補正後のデータ
low：低感度（低出力）画像信号のガンマ補正後のデータ
ｐ：total gain（トータルゲイン）
ｋ：係数
th：閾値
α：シーンにより決める値（≒１）
としたときカメラが撮影シーンに応じて自動設定した上記ｐ，αの各値及び前記高感度画素と前記低感度画素の信号電荷飽和量比から求まる上記ｋの値を画像補正用パラメータとして前記記録媒体に記録することで、達成される。
【０００９】
この構成により、記録媒体に記録されたｋ，ｐ，αの値をユーザが参考にして画像合成を行うパラメータ値の範囲を調整でき、容易且つ迅速にユーザが希望する画質の合成画像を生成可能となる。
【００１０】
【発明の実施の形態】
以下、本発明の一実施形態を図面を参照して説明する。
【００１１】
図１は、本発明の一実施形態に係るデジタルスチルカメラの構成図である。この実施形態ではデジタルスチルカメラを例に説明するが、デジタルビデオカメラや携帯電話機等の小型電子機器に搭載されたカメラ等の他の種類のデジタルカメラにも本発明を適用可能である。また、本実施形態の画像合成処理は、後述するデジタル信号処理部２６がソフトウェアにて実行処理するが、これをハードウェア回路にて実現することも可能である。
【００１２】
図１に示すデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００１３】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。
【００１４】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００１５】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、測光データを積算してホワイトバランスのゲインを調整させる積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００１６】
図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。
【００１７】
図２は、本実施形態で使用する固体撮像素子１１の画素配置図である。広ダイナミックレンジの画像を撮像するＣＣＤ部分の画素１は、例えば特開平１０―１３６３９１号公報に記載されている画素配置をとり、偶数行の各画素に対して奇数行の各画素が水平方向に１／２ピッチずらして配置され、各画素から読み出された信号電荷を垂直方向に転送する垂直転送路（図示せず）が、垂直方向の各画素を避けるように蛇行配置される構成をとっている。
【００１８】
そして、本実施形態に係る各画素１は、図示する例では、画素１の面積の約１／５を占める低感度画素（副画素）２と、残りの約４／５を占める高感度画素（主画素）３とに分割して設けられ、各低感度画素２の信号電荷と、各高感度画素３の信号電荷とを区別して上記垂直転送路に読み出し転送することができるようになっている。尚、画素１をどのような割合、どの様な位置で分割するかは設計的に決められるものであり、図２は単なる例示に過ぎない。
【００１９】
本実施形態の撮像装置では、１回の撮像で、低感度画像（低感度画素２で得られた画像）と高感度画像（高感度画素３で得られた画像）を同時に取得し、各画像を各画素２，３から順次読み出し、詳細は後述する様に合成し、あるいはそのままＲＡＷデータとして記録媒体２９に記録する様になっている。
【００２０】
尚、固体撮像素子１１は、図２に示す様なハニカム画素配置のＣＣＤを例に説明したが、ベイヤー方式のＣＣＤやＣＭＯＳセンサでも良い。
【００２１】
図３は、上述したデジタルスチルカメラの動作説明図である。固体撮像素子１１の高感度画素３から出力されるアナログの高感度画像信号Ｈは、Ａ／Ｄ変換器２３によって例えば１０ビットのデジタルデータに変換され、固体撮像素子１１の低感度画素２から出力されるアナログの低感度画像信号Ｌは、Ａ／Ｄ変換器２３によって例えば８ビットのデジタルデータに変換される。
【００２２】
ユーザが操作部２１で完成画像記録モードを設定しておくと、Ａ／Ｄ変換器２３から出力される１０ビットの高感度画像データと８ビットの低感度画像データをデジタル信号処理部２６が取り込んで合成処理その他の画像処理を行い、外部メモリ制御部（記録回路）３０は、デジタル信号処理部２６から図１の圧縮伸張処理部２７（図３では図示省略）を介して渡された例えばＪＰＥＧ圧縮された完成画像データを記録媒体２９に記録する。
【００２３】
ユーザが操作部２１でＲＡＷデータ記録モードを設定しておくと、Ａ／Ｄ変換器２３から出力される１０ビットの高感度画像データと８ビットの低感度画像データを、外部メモリ制御部３０がそのまま記録媒体２９に記録する。このとき、外部メモリ制御部３０は、ＲＡＷデータの他に、後述する画像補正用パラメータの値も一緒に記録する。
【００２４】
図４は、完成画像記録モードのときに動作するデジタル信号処理部２６の処理構成図である。このデジタル信号処理部２６は、高感度画像信号と低感度画像信号とを夫々ガンマ補正した後に加算処理する対数加算方式を採用しており、Ａ／Ｄ変換回路２３から出力される高感度画像のデジタル信号でなるＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１ａと、オフセット補正回路４１ａの出力信号のホワイトバランスをとるゲイン補正回路４２ａと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ａと、図１に示すＡ／Ｄ変換回路２３から出力される低感度画像のデジタル信号でなるＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１ｂと、オフセット補正回路４１ｂの出力信号のホワイトバランスをとるゲイン補正回路４２ｂと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ｂとを備える。オフセット補正後の信号に対してリニアマトリクス処理などを行う場合には、ゲイン補正回路４２ａ，４２ｂとガンマ補正回路４３ａ，４３ｂとの間で行う。
【００２５】
デジタル信号処理部２６は、更に、各ガンマ補正回路４３ａ，４３ｂの両出力信号を取り込んで画像合成処理を行う画像合成処理回路４４と、画像合成後のＲＧＢ色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４５と、ＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４６と、輝度信号Ｙや色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４８と、色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４９とを備える。
【００２６】
上述した画像合成処理回路４４は、ガンマ補正回路４３ａから出力される高感度画像信号と、ガンマ補正回路４３ｂから出力される低感度画像信号とを次の数１に基づいて画素単位に合成し、出力する。
【数１】
data＝〔high＋MIN(high/th,1）×low〕×MAX〔（−ｋ×high/th）＋α,ｐ〕
ここで、high：高感度（高出力）画像信号のガンマ補正後のデータ
low：低感度（低出力）画像信号のガンマ補正後のデータ
ｐ：total gain（トータルゲイン）
ｋ：係数
th：閾値
α：シーンにより決める値（≒１）
である。
【００２７】
閾値thとは、ガンマ補正後のデータが８ビットデータ（２５６階調）であれば、例えば値０〜２５５のうちの“２１９”とデジタルスチルカメラの使用者あるいはデジタルスチルカメラの設計者が指定する値である。
【００２８】
数１の第１項は、高感度画像データhighが閾値thを越えているとき高感度画像データhighにそのまま低感度画像データlowを加算し、高感度画像データhighが閾値th以下のときは、高感度画像データhighの閾値thに対する割合に対し低感度画像データlowを乗算した値を高感度画像データhighに加算することを示している。
【００２９】
本実施形態では、この第１項で求めた加算データをそのまま合成画像データとするのではなく、この第１項に、第２項（MAX〔（−ｋ×high/th）＋α,ｐ〕）を乗算した値を合成画像のデータとすることを特徴とする。
【００３０】
この第２項において、係数ｋは、図２に示す実施形態の固体撮像素子１１では、値“０．２”を用いるのが良い。図２に示す固体撮像素子１１の様に、高感度画素３と低感度画素２の信号電荷の飽和比が異なる場合、係数ｋは、次の数２で便宜的に求めることができる。
【数２】
係数ｋ＝１−Ｓh／（Ｓh＋Ｓl）
ここで、Ｓh：高感度画素の信号電荷飽和量
Ｓl：低感度画素の信号電荷飽和量
【００３１】
図２に示す例で、フォトダイオードの面積比がそのまま飽和比になるわけではないが、便宜的に面積比と見ることができ、上記例を当てはめると、
ｋ＝１−４／（４＋１）＝１−０．８
＝０．２
となる。
【００３２】
高感度画素と低感度画素とを合わせ持つ固体撮像素子は、図２に例示するものに限らず、例えば、図５に示す様に、同一寸法形状に形成された多数のフォトダイオード（図示せず）の上に設けるマイクロレンズの開口面積を変え、高感度画素３と低感度画素２とを設けるものが考えられる。この場合には、高感度画素と低感度画素の信号電荷の飽和量は同じになるため数２は適用できないが、係数ｋの値を実験的に求めたり、あるいはマイクロレンズ等の開口面積などから係数値を求めることで、数１を適用することができる。この係数ｋの値は、固体撮像素子の構成によって決まってしまう値であり、使用者が任意に変更するものではなく、撮像装置の出荷時に固定値に設定されるものである。
【００３３】
数１において、トータルゲインｐの値として、本実施形態では、実験的に定めた値を採用する。ｐは、合成画像データの全体に対するゲインであり、本実施形態では、このｐの値を制御することで、画像のダイナミックレンジの制御を行う。このトータルゲインｐの値が小さいほどダイナミックレンジは広く、ｐの値が大きいほどダイナミックレンジは狭くなる。具体的には、コントラストの高いシーン（真夏の晴天など）では、ｐ＝０．８、曇りや日陰ではｐ＝０．８６、室内蛍光灯下ではｐ＝０．９というように、シーンに応じてｐの値を変化させる。これにより、ガンマ補正後のデータが８ビットデータである場合、８ビット階調値をより有効に使用することが可能となる。
【００３４】
ｐの値は、ユーザが図１に示す操作部２１でシーンの種類を指定することでｐの値を設定することでも、デジタルスチルカメラ自体が各種センサの検出値に基づいて撮像画像のシーンを自動判定し自動設定することでもよい。例えば、積算部２８による測光データの積算値からホワイトバランスのゲイン量を求めるが、このホワイトバランスの値から如何なるシーンであるかを自動判別可能であるため、ｐの値の自動設定は可能である。
【００３５】
図６は、ｐの値を変えたときのダイナミックレンジの変化の様子を示す図である。トータルゲインｐの値を大きくしたときの特性線イはダイナミックレンジが小さく、トータルゲインｐの値を小さくしていくとダイナミックレンジが大きい特性線ロまで変化する。
【００３６】
このように、本実施形態の完成画像記録モードでは、高感度画像データと低感度画像データとを加算した後にシーンに応じたトータルゲインを乗算するため、ホワイトバランスのとれたダイナミックレンジの広い画像を生成可能となる。また、対数加算方式を採用して高感度画像データと低感度画像データの夫々のビット数を落としてから画像合成するため、回路規模が小さくて済み、低コスト化を図ることが可能となる。
【００３７】
以上が完成画像記録モード時におけるデジタル信号処理部の動作であるが、ＲＡＷデータ記録モードでは、Ａ／Ｄ変換器２３から出力される高感度画像データと低感度画像データがそのまま記録媒体２９に記録されることになり、ユーザがパーソナルコンピュータにＲＡＷデータを読み出し、様々な画像合成パラメータを調整して所望の画質の合成画像が得られる様に試行錯誤を繰り返すことになる。
【００３８】
ユーザが画像合成作業を行うとき、そのＲＡＷデータが如何なる状況の下で撮影されたデータなのかを知らないと、画像合成パラメータをどのように調整して良いのか分からず、試行錯誤の回数が増えてしまう。ユーザが画像合成作業を行うときの画像合成用ソフトウェア処理は、完成画像記録モード時にデジタル信号処理部２６が行った処理と必ずしも同じである必要はないが、デジタル信号処理部２６と同じ処理をより精度良く手作業で行いたい場合には、上述した数１の係数ｋ，トータルゲインｐ，シーンにより決める値αを手作業で一々調整することになる。
【００３９】
このとき、その撮影時にカメラが最適な値として自動判定したｋ，ｐ，αの値が分かれば、ユーザはこのｋ，ｐ，αの値を参考にして各値の調整範囲を絞ることができ、より迅速且つ容易に希望する画質の合成画像を得ることができることになる。
【００４０】
そこで、本実施形態に係るデジタルスチルカメラでは、図３で述べた画像補正用パラメータとして、このｋ，ｐ，αの値をＲＡＷデータと共に記録媒体２９に記録することとしている。
【００４１】
図７は、ＲＡＷデータを記録媒体２９に記録するときの画像ファイルのフォーマット図である。画像ファイルは、ヘッダ部と画像データ部とから成り、ヘッダ部は、ファイル番号等のファイル情報５１と、撮影に使用したデジタルスチルカメラや使用レンズの機種情報５２と、画像補正用パラメータ５３と、撮像したときの露光量やシャッタ速度等の撮影情報５４とを含む。画像データ部は、高感度画像のＲＡＷデータ５５と、低感度画像のＲＡＷデータ５６とから成り、上記のｋ，ｐ，αの値が画像補正用パラメータ５３として記録される。
【００４２】
尚、数１において、αの値は、撮像画像のシーンに応じた値とすることも可能であるが、固定値“１”を採用することでもよい。
【００４３】
尚、上述した実施形態では、ＲＡＷデータ記録モードと完成画像記録モードの２つのモードを持つデジタルスチルカメラについて述べたが、完成画像記録モードを搭載していないデジタルカメラであっても、本発明を適用可能である。
【００４４】
【発明の効果】
本発明によれば、高感度画像データと低感度画像データを出力する固体撮像素子を搭載したデジタルスチルカメラの撮像画像データをＲＡＷデータで記録媒体に記録するときカメラが自動判定した画像補正用パラメータも一緒に記録するため、ユーザが画像合成作業を行うときに画像補正用パラメータの値を参考にして合成処理を行うことができ、良好な画質の合成画像を容易に且つ迅速に得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係るデジタルスチルカメラのブロック構成図である。
【図２】図１に示す固体撮像素子の表面模式図である。
【図３】図１に示すデジタルスチルカメラの動作説明図である。
【図４】図３に示すデジタル信号処理部の処理構成図である。
【図５】固体撮像素子の別実施形態に係る画素配置図である。
【図６】ダイナミックレンジの変化の様子を示す図である。
【図７】図１に示すデジタルスチルカメラで撮像画像データをＲＡＷデータで記録媒体に記録するときの画像ファイルのフォーマット図である。
【符号の説明】
１ 画素
２ 低感度画素（副画素）
３ 高感度画素（主画素）
１０ レンズ
１１ 固体撮像素子
２３ Ａ／Ｄ変換器
２６ デジタル信号処理部
２９ 記録媒体
４４ 画像合成処理回路
５３ 画像補正用パラメータ

Claims (2)

1. 高感度画素と低感度画素を有する固体撮像素子と、前記高感度画素から得られた高感度画像データと前記低感度画素から得られた低感度画像データとをＲＡＷデータで記録媒体に記録すると共に、高感度画像データと低感度画像データとを合成する場合の画素単位の各データｄを
   ｄ＝〔high＋MIN(high/th,1）×low〕×MAX〔（−ｋ×high/th）＋α,ｐ〕
   ここで、high：高感度（高出力）画像信号のガンマ補正後のデータ
   low：低感度（低出力）画像信号のガンマ補正後のデータ
   ｐ：total gain（トータルゲイン）
   ｋ：係数
   th：閾値
   α：シーンにより決める値（≒１）
   としたときカメラが撮影シーンに応じて自動設定した上記ｐ，αの各値及び前記高感度画素と前記低感度画素の信号電荷飽和量比から求まる上記ｋの値を画像補正用パラメータとして前記記録媒体に記録する記録手段とを備えることを特徴とするデジタルカメラ。
2. 高感度画素と低感度画素を有する固体撮像素子を搭載したデジタルカメラの撮像画像データ記録方法において、前記高感度画素から得られた高感度画像データと前記低感度画素から得られた低感度画像データとをＲＡＷデータで記録媒体に記録すると共に、高感度画像データと低感度画像データとを合成する場合の画素単位の各データｄを
   ｄ＝〔high＋MIN(high/th,1）×low〕×MAX〔（−ｋ×high/th）＋α,ｐ〕
   ここで、high：高感度（高出力）画像信号のガンマ補正後のデータ
   low：低感度（低出力）画像信号のガンマ補正後のデータ
   ｐ：total gain（トータルゲイン）
   ｋ：係数
   th：閾値
   α：シーンにより決める値（≒１）
   としたときカメラが撮影シーンに応じて自動設定した上記ｐ，αの各値及び前記高感度画素と前記低感度画素の信号電荷飽和量比から求まる上記ｋの値を画像補正用パラメータとして前記記録媒体に記録することを特徴とするデジタルカメラの撮像画像データ記録方法。

Images