JP4178046B2 - デジタルカメラ - Google Patents
デジタルカメラ Download PDFInfo
- Publication number
- JP4178046B2 JP4178046B2 JP2003009988A JP2003009988A JP4178046B2 JP 4178046 B2 JP4178046 B2 JP 4178046B2 JP 2003009988 A JP2003009988 A JP 2003009988A JP 2003009988 A JP2003009988 A JP 2003009988A JP 4178046 B2 JP4178046 B2 JP 4178046B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- sensitivity
- low
- sensitivity image
- exposure time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は低感度画素と高感度画素の両方を有する固体撮像素子を搭載したデジタルカメラに関する。
【0002】
【従来の技術】
デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラでは、固体撮像素子の各画素を構成するフォトダイオードに蓄積される電荷の飽和量が高画素化すなわちフォトダイオードの微細化に伴って小さくなり、撮像画像のダイナミックレンジが狭くなってしまうという欠点を有している。
【0003】
この欠点を克服するため、例えば特開2001―8104号公報記載の従来技術では、固体撮像素子に、高感度画素と低感度画素の2種類の画素を設け、高感度画素から得られた撮像画像データと、低感度画素から得られた撮像画像データとを合成することで、撮像画像のダイナミックレンジを広げるようにしている。
【0004】
また、近年の様に固体撮像素子の高画素化が進展してくると、銀塩カメラと同等の画像が撮像されるようになり、このため、固体撮像素子から出力される撮像画像データを、ホワイトバランス補正やガンマ補正,JPEG圧縮などせずに未加工のままRAWデータ(固体撮像素子から出力された撮像画像データの生データ)でメモリに保存し、パーソナルコンピュータ等でこの画像データを読み取り、ホワイトバランス補正やガンマ補正,色調補正などを自分の好みに応じて行いたいというユーザの要望が高くなってきている。このため、デジタルカメラには、特開平11―261933号公報(特許文献2)や特開2001―223979号公報(特許文献3)に記載されている様に、RAWデータで画像データを記録するものが増えてきている。
【0005】
【特許文献1】
特開2001―8104号公報
【特許文献2】
特開平11―261933号公報
【特許文献3】
特開2001―223979号公報
【0006】
【発明が解決しようとする課題】
低感度画素で低感度の画像データを撮像し、高感度画素で高感度の画像データを撮像する従来のデジタルカメラでは、低感度の画像データと高感度の画像データとを一律に合成し出力してしまう。このため、例えば夜間に長時間露光撮影を行う撮影状況の場合、即ち、高感度画素ですら信号電荷の蓄積量が少ない撮影状況の場合には、低感度画素には殆ど信号電荷の蓄積量は無く、その殆どがノイズによる電荷量となる場合がある。斯かる場合でも高感度画素による画像データと低感度画素による画像データとを合成して出力すると、その合成画像は非常にノイズの多い画像になってしまうという問題がある。
【0007】
また、撮像画像データをRAWデータでメモリに出力し記録する場合、低感度の画像データと高感度の画像データの両方を記録することになり、あるいは、デジタルカメラで低感度の撮像画像データと高感度の撮像画像データを合成し合成後の撮像画像データをメモリに出力し記録することになるが、RAWデータで撮像画像データをメモリに出力し記録する場合、上述した様に低感度画素の蓄積電荷が殆どノイズである蓋然性が高いときに低感度の撮像画像データまでメモリに記録するとメモリ容量が無駄になり、また、合成した撮像画像データでメモリに記録すると、画像中のノイズが多くなってしまうという問題がある。
【0008】
本発明の目的は、低感度画素による画像データと高感度画素による画像データの両方を撮像したとき撮影状況によらずに常に良好な画質の画像データを出力することができるデジタルカメラを提供することにある。
【0009】
【課題を解決するための手段】
上記目的を達成するデジタルカメラは、低感度画素と高感度画素を有する固体撮像素子と、撮影の露光時間が所定値以上であるか否かを判定する露光時間判定手段と、前記高感度画素から読み出された高感度画像データに前記低感度画素から読み出された低感度画像データを合成するか否かを前記露光時間判定手段の判定結果に応じて決定し前記所定値以上の露光時間で撮影が行われると判定された場合には前記低感度画像データを合成せずに前記高感度画像データを出力し前記所定値に満たない露光時間で撮影が行われると判定された場合には前記高感度画像データに前記低感度画像データを合成して出力する制御手段とを備えるデジタルカメラであって、前記制御手段は、前記高感度画像データ (high) が閾値 (th) を越えているときは該高感度画像データ (high) にそのまま前記低感度画像データ (low) を加算した値を合成画像データとし、前記高感度画像データ (high) が前記閾値 (th) に達していないときは該高感度画像データ (high) の前記閾値 (th) に対する割合に対し前記低感度画像データ (low) を乗算した値と前記高感度画像データ (high) とを加算した値を合成画像データとすることを特徴とする。
【0010】
この構成により、低感度画素の蓄積電荷量が微小となる撮影のときには低感度画素による撮像画像データを不使用とするため、暗いシーンを撮影しても画像中のノイズを低減することができる。
【0011】
上記目的を達成するデジタルカメラは、低感度画素と高感度画素を有する固体撮像素子と、撮影の露光時間が所定値以上であるか否かを判定する露光時間判定手段と、前記高感度画素から読み出された高感度画像データに前記低感度画素から読み出された低感度画像データを合成するか否かを前記露光時間判定手段の判定結果に応じて決定し前記所定値以上の露光時間で撮影が行われると判定された場合には前記低感度画像データを出力せずに前記高感度画像データをRAWデータで出力し前記所定値に満たない露光時間で撮影が行われると判定された場合には、
前記高感度画像データ (high) が閾値 (th) を越えているときは該高感度画像データ (high) にそのまま前記低感度画像データ (low) を加算した値を合成画像データとし、
前記高感度画像データ (high) が前記閾値 (th) に達していないときは該高感度画像データ (high) の前記閾値 (th) に対する割合に対し前記低感度画像データ (low) を乗算した値と前記高感度画像データ (high) とを加算した値を合成画像データとして、
前記合成を行わせるための前記高感度画像データと前記低感度画像データとを夫々RAWデータで出力する制御手段を備えることを特徴とする。
【0012】
この構成により、低感度画素から得られる画像データ中にノイズの混入量が多いと推定される場合には、高感度画素から得られた画像データのみがRAWデータとして出力されるため、暗いシーンを撮影しても画像中のノイズを低減することができる。
【0013】
上記デジタルカメラの制御手段は、前記露光時間判定手段が前記所定閾値以上の露光時間で撮影が行われると判定したとき前記低感度画素から読み出した低感度画像データを破棄しあるいは前記低感度画素からの低感度画像データの読み出しを停止することを特徴とする。
【0014】
この構成により、露光時間が所定閾値以上のとき、使用しない低感度画素の撮像画像データを、読み出した後に破棄しても、読み出さなくてもよい。
【0015】
上記デジタルカメラの前記露光時間判定手段の代わりに、感度設定が所定感度以上であるか否かの判定を行う設定感度判定手段を設けたことを特徴とする。
【0016】
この構成により、低感度画素による撮像画像データの使用,不使用を感度設定(マニュアル設定、オート設定のいずれでもよい。)によっても選択可能となる。
【0017】
【発明の実施の形態】
以下、本発明の一実施形態を図面を参照して説明する。
【0018】
図1は、本発明の一実施形態に係るデジタルスチルカメラの構成図である。この実施形態ではデジタルスチルカメラを例に説明するが、デジタルビデオカメラや携帯電話機等の小型電子機器に搭載されたカメラ等の他の種類のデジタルカメラにも本発明を適用可能である。
【0019】
図1に示すデジタルスチルカメラは、撮影レンズ10と、固体撮像素子11と、この両者の間に設けられた絞り12と、赤外線カットフィルタ13と、光学ローパスフィルタ14とを備える。デジタルスチルカメラの全体を制御するCPU15は、フラッシュ用の発光部16及び受光部17を制御し、また、レンズ駆動部18を制御して撮影レンズ10の位置をフォーカス位置に調整し、絞り駆動部19を介し絞り12の開口量を制御して露光量が適正露光量となるように調整する。
【0020】
また、CPU15は、撮像素子駆動部20を介して固体撮像素子11を駆動し、撮影レンズ10を通して撮像した被写体画像を色信号として出力させる。また、CPU15には、操作部21を通してユーザの指示信号が入力され、CPU15はこの指示に従って各種制御を行う。
【0021】
デジタルスチルカメラの電気制御系は、固体撮像素子11の出力に接続されたアナログ信号処理部22と、このアナログ信号処理部22から出力されたRGBの色信号をデジタル信号に変換するA/D変換回路23とを備え、これらはCPU15によって制御される。
【0022】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ24に接続されたメモリ制御部25と、詳細は後述するデジタル信号処理部26と、撮像画像をJPEG画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部27と、測光データを積算してホワイトバランスのゲインを調整させる積算部28と、着脱自在の記録媒体29が接続される外部メモリ制御部30と、カメラ背面等に搭載された液晶表示部31が接続される表示制御部32とを備え、これらは、制御バス33及びデータバス34によって相互に接続され、CPU15からの指令によって制御される。
【0023】
図1に示すデジタル信号処理部26や、アナログ信号処理部22,A/D変換回路23等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子11と同一半導体基板上にLSI製造技術を用いて製造し、1つの固体撮像装置とするのがよい。
【0024】
図2は、本実施形態で使用する固体撮像素子11の画素配置図である。広ダイナミックレンジの画像を撮像するCCD部分の画素1は、例えば特開平10―136391号公報に記載されている画素配置をとり、偶数行の各画素に対して奇数行の各画素が水平方向に1/2ピッチずらして配置され、各画素から読み出された信号電荷を垂直方向に転送する垂直転送路(図示せず)が、垂直方向の各画素を避けるように蛇行配置される構成をとっている。
【0025】
そして、本実施形態に係る各画素1は、図示する例では、画素1の面積の約1/5を占める低感度画素(副画素)2と、残りの約4/5を占める高感度画素(主画素)3とに分割して設けられ、各低感度画素2の信号電荷と、各高感度画素3の信号電荷とを区別して上記垂直転送路に読み出し転送することができるようになっている。尚、画素1をどのような割合、どの様な位置で分割するかは設計的に決められるものであり、図2は単なる例示に過ぎない。
【0026】
尚、固体撮像素子11は、図2に示す様なハニカム画素配置のCCDを例に説明したが、ベイヤー方式のCCDやCMOSセンサでも良い。
【0027】
本実施形態のデジタルカメラには、撮像画像データの出力モードして、完成画像出力モードとRAWデータ出力モードがあり、更に、完成画像出力モードには、合成画像出力モードと非合成画像出力モードがあり、RAWデータ出力モードには低感度画像データ出力モードと低感度画像データ非出力モードとがある。
【0028】
完成画像出力モードの合成画像出力モードとは、1回の撮像で得られた低感度画像データ(低感度画素2で得られた画像データ)と高感度画像データ(高感度画素3で得られた画像データ)を詳細は後述するように合成して完成画像を生成し、これを出力して記録媒体29に記録するモードである。
【0029】
完成画像出力モードの非合成画像出力モードとは、低感度画素から読み出した低感度画像データは破棄してしまいあるいは低感度画素から画像データの読み出しをせずに(以下の実施形態の説明では、破棄する例について述べる。)、高感度画像データのみから完成画像を生成して出力し、記録媒体29に記録するモードである。
【0030】
RAWデータ出力モードの低感度画像データ出力モードとは、低感度画像データと高感度画像データの両方をRAWデータで出力し記録媒体29に記録するモードである。
【0031】
RAWデータ出力モードの低感度画像データ非出力モードとは、低感度画素から読み出した低感度画像データは破棄してしまいあるいは低感度画素から画像データの読み出しをせずに(以下の実施形態の説明では、破棄する例について述べる。)、高感度画像データのみをRAWデータで出力し記録媒体29に記録するモードである。
【0032】
画像データの出力モードを完成画像出力モードとするかRAWデータ出力モードとするかは、ユーザが操作部21から指示入力することで行い、合成画像出力モードとするか非合成画像出力モードとするかは、あるいは、低感度画像データ出力モードとするか低感度画像データ非出力モードとするかは、CPU15がシャッタースピードや露光量,撮影モード等の撮影状況に応じて判断し選択する。
【0033】
図3は、上述したデジタルスチルカメラの動作説明図である。固体撮像素子11の高感度画素3から出力されるアナログの高感度画像信号Hは、A/D変換器23によって例えば10ビットのデジタルデータに変換され、固体撮像素子11の低感度画素2から出力されるアナログの低感度画像信号Lは、A/D変換器23によって例えば8ビットのデジタルデータに変換される。
【0034】
ユーザが操作部21で完成画像出力モードを設定しておくと、A/D変換器23から出力される10ビットの高感度画像データと8ビットの低感度画像データをデジタル信号処理部26が取り込み、合成画像出力モードのときは両画像データの合成処理その他の画像処理を行って完成画像データを生成し、非合成画像出力モードのときは低感度画像データを破棄し高感度画像データから完成画像データを生成し、外部メモリ制御部(記録回路)30は、デジタル信号処理部26から図1の圧縮伸張処理部27(図3では図示省略)を介して渡された例えばJPEG圧縮された完成画像データを記録媒体29に出力し記録する。
【0035】
ユーザが操作部21でRAWデータ出力モードを設定しておくと、A/D変換器23から出力される10ビットの高感度画像データと8ビットの低感度画像データを、低感度画像データ出力モードのときは両方ともに外部メモリ制御部30がそのまま記録媒体29に出力して記録し、低感度画像データ非出力モードのときは低感度画像データを破棄し高感度画像データのみをそのまま記録媒体29に出力して記録する。
【0036】
図4は、完成画像出力モードのときに動作するデジタル信号処理部26の処理構成図である。尚、以下、合成画像出力モードの場合を例に説明するが、非合成画像出力モードのときは、低感度画像データを入力時に破棄して高感度画像データのみで完成画像を生成し出力する。
【0037】
このデジタル信号処理部26は、高感度画像データと低感度画像データとを夫々ガンマ補正した後に加算処理する対数加算方式を採用しており、A/D変換回路23から出力される高感度画像のデジタル信号でなるRGB色信号を取り込んでオフセット処理を行うオフセット補正回路41aと、オフセット補正回路41aの出力信号のホワイトバランスをとるゲイン補正回路42aと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路43aと、図1に示すA/D変換回路23から出力される低感度画像のデジタル信号でなるRGB色信号を取り込んでオフセット処理を行うオフセット補正回路41bと、オフセット補正回路41bの出力信号のホワイトバランスをとるゲイン補正回路42bと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路43bとを備える。オフセット補正後の信号に対してリニアマトリクス処理などを行う場合には、ゲイン補正回路42a,42bとガンマ補正回路43a,43bとの間で行う。
【0038】
デジタル信号処理部26は、更に、各ガンマ補正回路43a,43bの両出力信号を取り込んで画像合成処理を行う画像合成処理回路44と、画像合成後のRGB色信号を補間演算して各画素位置におけるRGB3色の信号を求めるRGB補間演算部45と、RGB信号から輝度信号Yと色差信号Cr,Cbとを求めるRGB/YC変換回路46と、輝度信号Yや色差信号Cr,Cbからノイズを低減するノイズフィルタ47と、ノイズ低減後の輝度信号Yに対して輪郭補正を行う輪郭補正回路48と、色差信号Cr,Cbに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路49とを備える。
【0039】
上述した画像合成処理回路44は、ガンマ補正回路43aから出力される高感度画像データと、ガンマ補正回路43bから出力される低感度画像データとを次の数1に基づいて画素単位に合成し、出力する。
【0040】
【数1】
data=〔high+MIN(high/th,1)×low〕×MAX〔(−k×high/th)+α,p〕
ここで、high:高感度(高出力)画像信号のガンマ補正後のデータ
low:低感度(低出力)画像信号のガンマ補正後のデータ
p:total gain(トータルゲイン)
k:係数
th:閾値
α:シーンにより決める値(≒1)
である。尚、α=1と固定してもよい。
【0041】
閾値thとは、ガンマ補正後のデータが8ビットデータ(256階調)であれば、例えば値0〜255のうちの“219”とデジタルスチルカメラの使用者あるいはデジタルスチルカメラの設計者が指定する値である。
【0042】
図5は、数1のMIN(high/th,1)の変化の様子を示すグラフである。この図5に示されるように、数1の第1項は、高感度画像データhighが閾値thを越えているとき高感度画像データhighにそのまま低感度画像データlowを加算し、高感度画像データhighが閾値thに達していないときは、高感度画像データhighの閾値thに対する割合に対し低感度画像データlowを乗算した値を高感度画像データhighに加算することを示している。
【0043】
本実施形態では、この第1項で求めた加算データをそのまま合成画像データとするのではなく、この第1項に、第2項(MAX〔(−k×high/th)+α,p〕)を乗算した値を合成画像のデータとしている。図6は、このMAX〔(−k×high/th)+α,p〕で、k=0.2としたときの変化の様子を示す図である。
【0044】
この第2項において、係数kは、図2に示す実施形態の固体撮像素子11では、値“0.2”を用いるのが良い。図2に示す固体撮像素子11の様に、高感度画素3と低感度画素2の信号電荷の飽和比が異なる場合、係数kは、次の数2で便宜的に求めることができる。
【0045】
【数2】
係数k=1−Sh/(Sh+Sl)
ここで、Sh:高感度画素の信号電荷飽和量
Sl:低感度画素の信号電荷飽和量
【0046】
図2に示す例で、フォトダイオードの面積比がそのまま飽和比になるわけではないが、便宜的に面積比と見ることができ、上記例を当てはめると、
k=1−4/(4+1)=1−0.8
=0.2
となる。
【0047】
高感度画素と低感度画素とを合わせ持つ固体撮像素子は、図2に例示するものに限らず、例えば、図7に示す様に、同一寸法形状に形成された多数のフォトダイオード(図示せず)の上に設けるマイクロレンズの開口面積を変え、高感度画素3と低感度画素2とを設けるものが考えられる。この場合には、高感度画素と低感度画素の信号電荷の飽和量は同じになるため数2は適用できないが、係数kの値を実験的に求めたり、あるいはマイクロレンズ等の開口面積などから係数値を求めることで、数1を適用することができる。この係数kの値は、固体撮像素子の構成によって決まってしまう値であり、使用者が任意に変更するものではなく、撮像装置の出荷時に固定値に設定されるものである。
【0048】
数1において、トータルゲインpの値として、本実施形態では、実験的に定めた値を採用する。pは、合成画像データの全体に対するゲインであり、このpの値を制御することで、画像のダイナミックレンジの制御を行うことができる。
【0049】
pのパラメータ値は可変であるが、その下限値pminも次の数3により決定される。
【0050】
【数3】
pmin=Sh/(Sh+Sl)
【0051】
高感度画像データが最大値で出力されたときに最終出力が最大値となるようなデジタルカメラでは、高感度画像データと低感度画像データとの合成値が最大値となるように高感度画像データと低感度画像データに対してゲイン操作が必要となる。つまり、飽和量分の高感度画像データと低感度画像データが固体撮像素子から出力されたとき、その出力値に対してpmin(<1)分のゲインを掛けて、最終出力値が最大値となるように画像データを変換する必要がある。
【0052】
例えば、高感度画素と低感度画素の飽和比が4対1であった場合には
pmin=4/(4+1)=0.8
となり、コントラストの高い撮影シーンではp=pminにすればよく、また、あまりコントラストが高くない撮影シーンではトータルゲインpの値をpminより大きな値に設定する。
【0053】
トータルゲインpの値は小さいほどダイナミックレンジが広く、大きいほどダイナミックレンジは狭くなる。具体的には、コントラストの高い撮影シーン(真夏の晴天など)では、p=0.8、曇りや日陰ではp=0.86、室内蛍光灯下ではp=0.9というように、撮影シーンに応じてpの値を変化させる。これにより、ガンマ補正後のデータが8ビットデータである場合、8ビット階調値をより有効に使用することが可能となる。
【0054】
pの値は、ユーザが図1に示す操作部21でシーンの種類を指定することでpの値を設定することでも、デジタルスチルカメラ自体が各種センサの検出値に基づいて撮像画像のシーンを自動判定し自動設定することでもよい。例えば、積算部28による測光データの積算値からホワイトバランスのゲイン量を求めるが、このホワイトバランスの値から如何なるシーンであるかを自動判別可能であるため、pの値の自動設定は可能である。
【0055】
図8は、pの値を変えたときのダイナミックレンジの変化の様子を示す図である。トータルゲインpの値を大きくしたときの特性線イはダイナミックレンジが小さく、トータルゲインpの値を小さくしていくとダイナミックレンジが大きい特性線ロまで変化する。
【0056】
このように、本実施形態の完成画像出力モードの合成画像出力モードでは、高感度画像データと低感度画像データとを加算した後に撮影シーンに応じたトータルゲインを乗算するため、ホワイトバランスのとれたダイナミックレンジの広い画像を生成可能となる。また、対数加算方式を採用して高感度画像データと低感度画像データの夫々のビット数を落としてから画像合成するため、回路規模が小さくて済み、低コスト化を図ることが可能となる。
【0057】
以上、完成画像出力モードにおける合成画像出力モードを詳細に説明したが、完成画像出力モードにおける非合成画像出力モードでは、低感度画像データは破棄してしまい、高感度画像データに対してのみ図4のオフセット補正、ゲイン補正、ガンマ補正、RGB補間処理を行い、RGB/YC変換処理、ノイズ低減処理、輪郭補正、色差マトリクス処理を施し、得られた輝度信号Y,色差信号Cr,Cbを、合成画像出力モードと同様に図1の圧縮伸張処理部27にてJPEGデータに変換し、記録媒体29に出力する。
【0058】
図9は、完成画像出力モードのときに、合成画像出力モードで画像データを出力するか、非合成画像モードで画像データを出力するかの判定を行ってデジタル信号処理部26に指示するCPU15の判定手順を示すフローチャートである。
【0059】
先ず、デジタルスチルカメラのユーザは、図1の操作部21で銀塩フィルムカメラのISO感度ど同様のISO感度を設定する(ステップS1)。CPU15は、この入力設定データを取り込み、設定されたISO感度が所定の閾値感度以上であるか否かを判定する。例えば、設定されたISO感度がISO1600以上であるか否かを判定する(ステップS2)。
【0060】
このステップS2における判定結果が肯定(YES)すなわちISO感度が高く低感度画素2の蓄積電荷が微小でノイズ成分の割合が大きいと判定される場合には、ステップS3に進み、デジタル信号処理部26に非合成画像出力モードを実行させて、低感度画像データを高感度画像データに合成させることはしない。
【0061】
ステップS2における判定結果が否定(NO)すなわちISO感度が高くなく低感度画素2の蓄積電荷のノイズ成分の割合が小さいと判定される場合には、ステップS4に進み、デジタル信号処理部26に合成画像出力モードを実行させて、低感度画像データを高感度画像データに合成させる。
【0062】
尚、上述したステップS1では、ユーザが感度設定を行ったが、デジタルスチルカメラ自身が自動で感度設定をすることでもよい。
【0063】
図10は、CPU15が完成画像出力モードのときに行う図9に代わる処理手順を示すフローチャートである。デジタルスチルカメラのユーザは、図1の操作部21で、撮影モードの設定を行う(ステップS11)。CPU15は、この設定が為されたとき、撮影モードが夜景モードであるか否かを判定する(ステップS12)。そして、判定結果が否定(NO)となり夜景モードでない場合には、ステップS13に進み、デジタル信号処理部26に合成画像出力モードを実行させ、低感度画像データを高感度画像データに合成させる。
【0064】
ステップS12の判定結果が肯定(YES)の場合、即ち、夜景モードの場合には、シャッタースピードを遅くまで使用できるため、次にステップS14に進んで測光を行い、この測光結果に基づいて決定されたシャッタースピードが所定の閾値よりも大きいか否かを判定する(ステップS15)。例えば、シャッタースピードが1秒以上であるか否かを判定する。
【0065】
このステップS15における判定結果が否定(NO)の場合、即ち、測光結果により露光量がある程度とれる場合には低感度画素の蓄積電荷が有意であることが期待されるため、ステップS13に進んでデジタル信号処理部26に合成画像出力モードを実行させる。
【0066】
ステップS15における判定結果が肯定(YES)の場合、即ち、シャッタースピードが1秒以上あり、長時間露光しなければ信号電荷の蓄積が期待できない場合には、低感度画素の蓄積電荷のノイズ成分量が多いと判断されるため、ステップS16に進み、デジタル信号処理部26に非合成画像出力モードを実行させ、低感度画像データを高感度画像データに合成させることはしない。
【0067】
このように、本実施形態では、低感度画像データと高感度画像データの合成処理を行うか否かの判断を、夜景モードのときだけ測光結果に応じて行う構成としている。即ち、本実施形態のステップS14の測光作業は、夜景モード時のシャッタースピードを求めるために行うものであり、測光作業自体は、夜景モード以外の他の撮影モードでも行う。
【0068】
図11は、CPU15が完成画像出力モードのときに行う図10に代わる処理手順を示すフローチャートである。先ず、デジタルスチルカメラのユーザは、図1の操作部21から撮影モードの設定を行う(ステップS21)。CPU15は、次のステップS22で、ユーザ設定の撮影モードがマニュアルモードまたはシャッター優先モードであるか否かを判定する。ロングシャッターの領域(シャッタースピードが閾値より遅い領域)は、シャッタースピードを意図的に操作できる系でのみ設定可能であり、そのため、シャッター優先では、ロングシャッターは可能であるが、絞り優先では、ロングシャッター撮影はできないため、ステップS22での判定を行う。そして、判定結果が、マニュアルモードでなくしかもシャッター優先モードでない場合には、ステップS23に進み、デジタル信号処理部26に合成画像出力モードを実行させる。
【0069】
ステップS22の判定の結果、マニュアルモードまたはシャッター優先モードの場合には次にステップS24に進み、今度はシャッタースピードが所定の閾値例えば1秒より大であるか否かを判定する。この判定結果が否定(NO)の場合にはステップS23に進み、デジタル信号処理部26に合成画像出力モードを実行させる。
【0070】
ステップS24の判定結果が肯定(YES)の場合には、シャッター速度を大きくして露光時間を長時間とらないと有意な信号電荷の蓄積が期待できない撮影状況であると判断でき、ステップS25に進み、デジタル信号処理部26に非合成画像出力モードを実行させる。
【0071】
尚、デジタルカメラの撮影モードとして、夜景モードと、マニュアル撮影モードと、シャッタ優先撮影モードとが混在する場合には、図11の処理手順を実行し、ステップS23の前で、図10の処理手順を実行することになる。
【0072】
以上、図9,図10,図11で説明したように、CPU15は、撮影状況を判断して低感度画素に有意な信号電荷の蓄積が期待できる場合には低感度画素による撮像画像データを高感度画像データに合成し、低感度画素に有意な信号電荷の蓄積が期待できずノイズ成分が多いと判断される場合には、低感度画素による撮像画像データを完成画像生成に使用しないようにしたため、撮影状況にかかわらず、ノイズ成分の少ない良好な画像を得ることが可能となる。
【0073】
CPU15は、RAWデータ出力モードの場合にも、低感度画像データ出力モードと低感度画像データ非出力モードとを撮影状況に基づいて選択する。この選択の判定処理は、上述した図9,図10,図11と同様であり、ステップS3,ステップS16,ステップS25に進んだとき低感度画像非出力モードが実行されて、高感度画像データのみがRAWデータとして出力され、記録媒体29に記録される。そして、ステップS4,ステップS13,ステップS23に進んだとき低感度画像データ出力モードが実行されて、高感度画像データと低感度画像データの両方がRAWデータとして出力され、記録媒体29に記録される。
【0074】
この低感度画像データ非出力モードを設けたことにより、記録媒体29に格納するデータ量を削減でき、記録の高速化を図ることが可能となる。尚、RAWデータ読み出し装置が記録媒体29上に低感度画像データが無いということを容易に判断して高感度画像データのみから完成画像をアプリケーションソフトで生成できるように、低感度画像データが記録されないモードであることをタグ情報として記録媒体29に記録するのがよい。これにより、対応アプリケーションソフトのエラーが回避可能となる。
【0075】
【発明の効果】
本発明によれば、低感度画素による画像データと高感度画素による画像データの両方を撮像したとき撮影状況によらずに常に良好な画質の画像データを出力することが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係るデジタルスチルカメラのブロック構成図である。
【図2】図1に示す固体撮像素子の表面模式図である。
【図3】図1に示すデジタルスチルカメラの動作説明図である。
【図4】図3に示すデジタル信号処理部の処理構成図である。
【図5】本発明の一実施形態に係る合成画像出力モードで演算処理される数式の説明図である。
【図6】本発明の一実施形態に係る合成画像出力モードで演算処理される数式の説明図である。
【図7】固体撮像素子の別実施形態に係る画素配置図である。
【図8】ダイナミックレンジの変化の様子を示す図である。
【図9】本発明の一実施形態で合成画像出力モードと非合成画像出力モードを選択判定する処理手順を示すフローチャートである。
【図10】図9のフローチャートに代わる別実施形態に係る処理手順を示すフローチャートである。
【図11】図10のフローチャートに代わる更に別実施形態に係る処理手順を示すフローチャートである。
【符号の説明】
1 画素
2 低感度画素(副画素)
3 高感度画素(主画素)
10 レンズ
11 固体撮像素子
15 CPU
23 A/D変換器
26 デジタル信号処理部
29 記録媒体
44 画像合成処理回路
Claims (4)
- 低感度画素と高感度画素を有する固体撮像素子と、撮影の露光時間が所定値以上であるか否かを判定する露光時間判定手段と、前記高感度画素から読み出された高感度画像データに前記低感度画素から読み出された低感度画像データを合成するか否かを前記露光時間判定手段の判定結果に応じて決定し前記所定値以上の露光時間で撮影が行われると判定された場合には前記低感度画像データを合成せずに前記高感度画像データを出力し前記所定値に満たない露光時間で撮影が行われると判定された場合には前記高感度画像データに前記低感度画像データを合成して出力する制御手段とを備えるデジタルカメラであって、
前記制御手段は、前記高感度画像データ (high) が閾値 (th) を越えているときは該高感度画像データ (high) にそのまま前記低感度画像データ (low) を加算した値を合成画像データとし、
前記高感度画像データ (high) が前記閾値 (th) に達していないときは該高感度画像データ (high) の前記閾値 (th) に対する割合に対し前記低感度画像データ (low) を乗算した値と前記高感度画像データ (high) とを加算した値を合成画像データとする
ことを特徴とするデジタルカメラ。 - 低感度画素と高感度画素を有する固体撮像素子と、撮影の露光時間が所定値以上であるか否かを判定する露光時間判定手段と、前記高感度画素から読み出された高感度画像データに前記低感度画素から読み出された低感度画像データを合成するか否かを前記露光時間判定手段の判定結果に応じて決定し前記所定値以上の露光時間で撮影が行われると判定された場合には前記低感度画像データを出力せずに前記高感度画像データをRAWデータで出力し前記所定値に満たない露光時間で撮影が行われると判定された場合には、
前記高感度画像データ (high) が閾値 (th) を越えているときは該高感度画像データ (high) にそのまま前記低感度画像データ (low) を加算した値を合成画像データとし、
前記高感度画像データ (high) が前記閾値 (th) に達していないときは該高感度画像データ (high) の前記閾値 (th) に対する割合に対し前記低感度画像データ (low) を乗算した値と前記高感度画像データ (high) とを加算した値を合成画像データとして、
前記合成を行わせるための前記高感度画像データと前記低感度画像データとを夫々RAWデータで出力する制御手段を備えることを特徴とするデジタルカメラ。 - 前記制御手段は、前記露光時間判定手段が前記所定値以上の露光時間で撮影が行われると判定したとき前記低感度画素から読み出した低感度画像データを破棄しあるいは前記低感度画素からの低感度画像データの読み出しを停止することを特徴とする請求項1または請求項2に記載のデジタルカメラ。
- 前記露光時間判定手段の代わりに、感度設定が所定感度以上であるか否かの判定を行う設定感度判定手段を設けたことを特徴とする請求項1乃至請求項3のいずれかに記載のデジタルカメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003009988A JP4178046B2 (ja) | 2003-01-17 | 2003-01-17 | デジタルカメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003009988A JP4178046B2 (ja) | 2003-01-17 | 2003-01-17 | デジタルカメラ |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008064115A Division JP4604098B2 (ja) | 2008-03-13 | 2008-03-13 | デジタルカメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004222182A JP2004222182A (ja) | 2004-08-05 |
JP4178046B2 true JP4178046B2 (ja) | 2008-11-12 |
Family
ID=32899323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003009988A Expired - Fee Related JP4178046B2 (ja) | 2003-01-17 | 2003-01-17 | デジタルカメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4178046B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4720130B2 (ja) * | 2003-09-09 | 2011-07-13 | コニカミノルタホールディングス株式会社 | 撮像装置 |
KR100769561B1 (ko) | 2005-12-29 | 2007-10-23 | 엠텍비젼 주식회사 | 노이즈 제거에 사용되는 임계값 결정 장치 및 방법 |
JP4783252B2 (ja) | 2006-04-18 | 2011-09-28 | 富士通株式会社 | 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、手ぶれ補正処理の前処理プログラム、および、保存画像決定プログラム |
JP5138521B2 (ja) * | 2008-09-19 | 2013-02-06 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
JP2011254125A (ja) | 2010-05-31 | 2011-12-15 | Sony Corp | 画像処理装置、カメラシステム、画像処理方法、およびプログラム |
JP6519625B2 (ja) * | 2017-10-05 | 2019-05-29 | 株式会社ニコン | 撮像装置 |
JP6769519B2 (ja) * | 2019-04-25 | 2020-10-14 | 株式会社ニコン | 撮像装置 |
-
2003
- 2003-01-17 JP JP2003009988A patent/JP4178046B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004222182A (ja) | 2004-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4004943B2 (ja) | 画像合成方法および撮像装置 | |
JP4025207B2 (ja) | 固体撮像素子及びデジタルカメラ | |
JP4679685B2 (ja) | デジタルカメラの構図補助フレーム選択方法及びデジタルカメラ | |
JP2017022610A (ja) | 画像処理装置、画像処理方法 | |
JP4717720B2 (ja) | 画像処理装置および方法並びにプログラム | |
JP5223686B2 (ja) | 撮像装置および撮像方法 | |
US20050206750A1 (en) | Digital still camera and image processing program, imaging device and method and program for same | |
JP4178046B2 (ja) | デジタルカメラ | |
JP4150599B2 (ja) | 露出補正機能付きデジタルカメラ | |
JP2001189890A (ja) | ディジタルカメラ | |
JP4235408B2 (ja) | ノイズ低減回路及び撮像装置 | |
JP4015492B2 (ja) | 画像合成方法および撮像装置 | |
JP4604098B2 (ja) | デジタルカメラ | |
JP4307862B2 (ja) | 信号処理方法、信号処理回路、及び撮像装置 | |
JP3977260B2 (ja) | デジタルカメラと撮像画像データ記録方法 | |
JP2000050160A (ja) | 画像合成装置,画像合成方法及び画像合成方法を記憶した記憶媒体 | |
JP2004274473A (ja) | デジタルカメラ | |
JP4105556B2 (ja) | デジタルカメラと撮像画像データ記録方法 | |
JP4276847B2 (ja) | 撮像装置 | |
JP2006109046A (ja) | 撮像装置 | |
JP2003087802A (ja) | カラー撮像装置 | |
JP4769851B2 (ja) | 撮像装置 | |
JP2000278590A (ja) | デジタルカメラ | |
JP2004242015A (ja) | ヒストグラム算出方法、ヒストグラム算出回路、及び撮像装置 | |
JP2004221740A (ja) | 撮像装置及びホワイトバランス制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050215 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060325 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071003 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071108 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071115 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071203 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080313 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080806 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080825 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |