JP4360011B2 - 画像処理装置および画像処理方法、並びに記録媒体 - Google Patents
画像処理装置および画像処理方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4360011B2 JP4360011B2 JP2000176724A JP2000176724A JP4360011B2 JP 4360011 B2 JP4360011 B2 JP 4360011B2 JP 2000176724 A JP2000176724 A JP 2000176724A JP 2000176724 A JP2000176724 A JP 2000176724A JP 4360011 B2 JP4360011 B2 JP 4360011B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- light
- subject
- luminance value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Cameras In General (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに記録媒体に関し、特に、ストロボの光が発光されない状態で、例えば、街灯などの光が照射されている状態の被写体から反射された反射光と、ストロボ光が照射された被写体から反射された反射光とを予め測定し、それぞれの反射光の強度の比に応じて、重み付け係数を算出し、算出された重み付け係数を、撮像された画像データに乗算することにより、例えば、夜景をバックに被写体を撮影する場合においても、夜景および被写体それぞれに最適なホワイトバランス調整がなされた撮像データを得ることができる画像処理装置および画像処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
デジタルカメラ等を用いて人工光の下で撮影すると、撮影された画像と人間の眼で見た被写体とでは色調が異なっている場合がある。これは、人工光源には色温度により赤色が強い光源や緑色が強い光源が存在し、人工光源を受けた被写体からの反射光の色バランスが崩れているからであり、人間は白色に感じても、受光素子を使用するデジタルカメラでは人工光源の色を感知してしまう。その結果、全体的に赤色を帯びた画像や、緑色を帯びた画像となってしまう。
【０００３】
従来の銀塩カメラによる撮影では、ネガフィルムの場合は焼き付けの段階で色調を調整し、ポジフィルムの場合は撮影時に色補正用のレンズフィルタを使用するなどして色調を調整している。
【０００４】
デジタルカメラでは受光素子に取り込まれた被写体画像の色調を調整して、人間の眼で見た被写体と同じ色調になるように、色バランスを調整する機能を有している。このような色バランスの調整は、色バランスが適正な白色光源下での色を再現するという意味で、一般にホワイトバランスの調整と称されており、ホワイトバランスの調整は、適正な白色光源下でのＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色の強度比である、Ｒ／Ｇ、Ｂ／Ｇで規定される値（ホワイトバランス値と称される）を用いて行われる。
【０００５】
従来のデジタルカメラにおいては、ホワイトバランス値は、例えば、室内灯だけでの撮影では室内灯の反射光に合わせるようになされ、フラッシュ光を使用する撮影ではフラッシュ光の反射光に合わせるようになされている。すなわち、ホワイトバランス値は、最も強い光源からの光の反射光に合わせて算出される構成となっている。
【０００６】
デジタルカメラの露出（露光）は、ＡＥ（Auto Exposure：自動露出機構）で決められる。ＡＥは、撮影する画面各部分の明るさを計測して、その平均が所定の明るさになるように露出を設定する。また、デジタルカメラには、ユーザが考えている明るさで撮影するために、その露出を補正する、露出補正機能を有するものもある。
【０００７】
明るさが十分でない照明光下で、被写体を撮像する場合、ストロボを発光させて撮影したり、あるいは、撮像に十分な光量を得るために、露光時間を通常以上に長くする、一般にスローシャッタと称される撮像モードが用いられる。照明が暗く、被写体が近距離である場合、ストロボを発光させて撮像することにより、自然な画像を得ることができるが、例えば、ストロボから発光された光が十分に届かない、遠い被写体を撮像する場合や、例えば、夜景などを撮像するような場合においては、ストロボ発光を行っても、撮像のために十分な光量を得ることはできず、スローシャッタを用いて撮像することにより、より自然な画像を得ることができる。
【０００８】
例えば、従来のデジタルカメラを用いて、夜景をバックに被写体を撮影する場合、ピントを被写体、例えば人物に合わせてフラッシュ撮影すると、ホワイトバランスは、フラッシュ光が人物にあたって反射した反射光に合わせて調整されるので、得られた画像の夜景のホワイトバランスが適正ではないという問題があった。
【０００９】
このような問題点を解消するための技術として、特開平１１−２９８９０８がある。
【００１０】
図1は、特開平１１−２９８９０８において開示されているデジタルカメラの構成を示すブロック図である。
【００１１】
メインマイコン１１は、デジタルカメラ１の各部を制御する。測距モジュール１２は、被写体からの反射光を受光し、被写体の距離情報を出力する。スイッチ群１３は、ユーザがデジタルカメラ１を用いて各種操作を行う場合に操作され、例えば、露光開始用スイッチ（レリーズスイッチ）、電源スイッチなどを含む。EEPROM１４は、デジタルカメラ１ごとの機種差に関する工場出荷時の検査値、および電源オフ直前の各種設定値等を記録する、電気的に書き換え可能なメモリである。表示部材１５は、例えば、液晶ディスプレイ（ＬＣＤ（Liquid Crystal Display）等からなり、被写体画像および撮影のための設定値を表示する。外部インターフェース１６は、図示しないパーソナルコンピュータや外部モニターに対して画像情報等を入出力する。記録媒体１７は、着脱可能になされており、撮影した画像情報を記録する。ＲＡＭ１８は、撮影された画像データを演算処理するためのプログラム等が記録されている。
【００１２】
固体撮像素子１９は、フォーカスレンズ群２４および固定レンズ群２８を通過して入力された被写体の像に対応する光（被写体像）を撮像する。撮像素子ドライバ（タイミングジェネレータ：ＴＧとも称される）２０は、固体撮像素子１９を駆動させるためのパルスを発生させる。アナログアンプ２１は、固体撮像素子１９から出力された画像のアナログ信号を増幅する。Ａ／Ｄコンバータ２２は、アナログアンプ２１によって増幅されたアナログ画像信号をデジタル変換し、メインマイコン１１に出力する。
【００１３】
フォーカスドライバ・位置検出センサ２３は、フォーカスレンズ群２４を光軸方向に駆動させるとともに、フォーカスレンズ群２４の位置を検出する。Ｘｅ管２６は、撮影補助光であるフラッシュ光を発光する発光部である。充電・発光回路２５は、Ｘｅ管２６に対する充電と発光を制御する。調光素子２７は、フラッシュ光の被写体からの反射光をモニターし、適正なフラッシュ光量に達したかどうかを検出する。フォーカスレンズ群２４は撮像光学系である撮像レンズ群の一部を構成しており、撮像レンズ群はフォーカスレンズ群２４の他に固定された固定レンズ群２８を有している。
【００１４】
フォーカスレンズ群２４および固定レンズ群２８を通過して入力された被写体の像に対応する光は、固体撮像素子１９に供給される。固体撮像素子１９は、メインマイコン１１に制御された撮像素子ドライバ２０から供給されるパルス信号に従って駆動され、アナログ画像信号を、アナログアンプ２１に供給する。アナログアンプ２１は、メインマイコン１１の制御に基づき、入力されたアナログ画像信号を増幅してＡ／Ｄコンバータ２２に供給する。Ａ／Ｄコンバータ２２は、入力されたアナログ画像信号をデジタル画像信号に変換して、メインマイコン１１に供給する。
【００１５】
メインマイコン１１は、供給されたデジタル画像信号を、表示部材１５に出力して表示させたり、外部インターフェース１６を介して、図示しないパーソナルコンピュータや外部モニターに出力したり、記録媒体１７に出力して、記録させたりする。
【００１６】
また、メインマイコン１１は、測距モジュール１２、もしくは調光素子２７から入力された信号に基づいて、画像合成などの各種処理を実行する。画像合成などの処理については、図２乃至図５を用いて後述する。
【００１７】
次に、図２乃至図５のフローチャートを参照して、図1を用いて説明したデジタルカメラの処理について説明する。
【００１８】
メインマイコン１１は、ステップＳ１において、スイッチ群１３から入力される信号により、電源スイッチがオン状態になったことを検知し、ステップＳ２において、自分自身をリセットする。リセットによりメインマイコン１１の各ポートはデフォルト状態になっているので、ステップＳ３において、メインマイコン１１は、使用すべきポートを設定するなど、自分自身の初期設定を行う。
【００１９】
メインマイコン１１は、ステップＳ４において、種差に関する工場出荷時の検査値、および前回電源オフ直前の各種設定値（例えばフラッシュモードの種類あるいは画像圧縮モードの種類等）をEEPROM１４から読み出し、ステップＳ５において、記録媒体１７の有無、種類および種類に基づく記録可能容量を確認する。
【００２０】
ステップＳ６において、フォーカスドライバ・位置検出センサ２３は、レンズの位置をモニターしながら、フォーカスレンズ群２４をEEPROM１４に設定された初期位置に移動させる。ステップＳ７において、メインマイコン１１は、表示部材１５を起動させる。この段階では固体撮像素子１９は動作しておらず、ユーザに表示部材１５の起動を知らせるために表示部材１５を点灯させるだけである。
【００２１】
ステップＳ８において、メインマイコン１１は、撮像動作の予備として撮像素子ドライバ２０に対して、例えば露光時間を１／３０秒に設定するなどの初期設定を行う。ここで、露光時間とは、固体撮像素子１９内の、図示しない受光セルに電荷を蓄積する時間であり、いわゆるシャッタスピードである。
【００２２】
ステップＳ９において、メインマイコン１１は、アナログアンプ２１のゲインも所定の初期値、例えば１倍に設定する。このようにして、撮像素子ドライバ２０の初期設定が完了し、撮像素子ドライバ２０が動作することで固体撮像素子１９から画像信号が出力され、表示部材１５に画像が表示される。
【００２３】
ステップＳ１０において、メインマイコン１１は、表示部材１５に画像を表示しながら、スイッチ群１３のスイッチ操作の監視（スイッチスキャン）を実行し、次のカメラ操作のために待機する。なお、メインマイコン１１内部のタイマー機能によって一定時間、ユーザがスイッチ群１３によるカメラ操作を行わなければ消費電力の節約のため電源をオフ状態にする。通常、この一定時間は数分程度に設定されている。
【００２４】
メインマイコン１１は、ステップＳ１１において、スイッチ群１３から入力される信号により、ユーザが、スイッチ群１３のうちの所定のスイッチを操作することにより、夜景シンクロモードが設定されたか否かを判断する。ここで、夜景シンクロモードとは、夜景を背景にした被写体をフラッシュ撮影する撮影モードである。
【００２５】
ステップＳ１１において、夜景シンクロモードが設定されていないと判断された場合、ステップＳ１２において、非夜景シンクロモードとなり通常の動作モードで被写体の撮像が実行され、処理は、ステップＳ１０に戻り、それ以降の処理が繰り返される。
【００２６】
ステップＳ１１において、夜景シンクロモードが設定されていると判断された場合、ステップＳ１３において、メインマイコン１１は、フラッシュ発光のために、充電・発光回路２５を制御して内部回路のコンデンサーに電荷を貯める。このとき、内部回路のコンデンサーの電圧がモニターされ、所定の電圧になった時点で充電が停止するようになされる。
【００２７】
ステップＳ１４において、メインマイコン１１は、スイッチ群１３から入力される信号に基づいて、ユーザにより、スイッチ群１３のうちのレリーズスイッチが半押しされているか否かを判断する。ステップＳ１４において、リレーズスイッチが半押しされていないと判断された場合、処理は、ステップＳ１０に戻り、それ以降の処理が繰り返される。
【００２８】
ステップＳ１４において、リレーズスイッチが半押しされていると判断された場合、ステップＳ１５において、メインマイコン１１は、測距モジュール１２を駆動させてカメラから被写体（例えば、人物など）までの距離情報を得る。ユーザが、リレーズスイッチを半押しする際に、図示しない光学ファインダー中に被写体を捕捉することで、測距モジュール１２は被写体からの反射光を受光することになり、カメラから被写体までの距離についての情報を得ることができる。
【００２９】
ここで、測距モジュール１２には、例えば、外光パッシブモジュール等が利用される。ただし、夜景シンクロモードを使う条件下では、被写体からの反射光の光量が、測距のためには十分でないことが多いので、その場合はメインマイコン１１が充電・発光回路２５を制御し、測距動作中にフラッシュを発光させることで、被写体からの反射光量が十分得られるようにする。
【００３０】
なお、測距モジュール１２の出力は距離に対応した値として与えられ、その対応関係の情報がEEPROM１４に出荷前の検査値として記録されている。従って、ステップＳ１６において、メインマイコン１１は、測距モジュール１２の出力から被写体距離を求め、EEPROM１４に予め記録されている撮影レンズの焦点距離情報と照合することにより、被写体に合焦すべきフォーカスレンズ群２４の繰り出し量（繰り出し情報）を算出する。
【００３１】
先に説明したように、デジタルカメラ１が撮影モード状態にある場合は、固体撮像素子１９は常に画像信号を出力しているので、図示しない光学ファインダー中に被写体が捕捉されている場合、ステップＳ１７において、固体撮像素子１９は、被写体およびその背景を撮像し、ステップＳ１８において、メインマイコン１１は、アナログアンプ２１およびＡ／Ｄコンバータ２２を介して、ステップＳ１７において撮像された、被写体の画像データおよびその背景の画像データを取り込む。
【００３２】
ステップＳ１９において、メインマイコン１１は、背景の画像データについて演算処理を実施し、背景に対する適正な露光制御値および適正なホワイトバランス値を算出し、ＲＡＭ１８に記憶する。
【００３３】
なお、露光制御値としては、固体撮像素子１９の図示しない受光セルに電荷を蓄積する時間（露光時間）を規定する、いわゆるシャッタスピード値、図示しない絞り（アイリス）の開口径、あるいは、アナログアンプ２１のゲイン等がある。ここで、シャッタスピードとは、受光セルの電荷を排出する、図示しない転送ゲートが閉じ、次に開くまでの時間で定義される。
【００３４】
適正な露光制御値および適正なホワイトバランス値の算出処理は、膨大な画像データを対象とするため、メモリ容量の大きなＲＡＭ１８において行うことが一般的である。
【００３５】
なお、適正なホワイトバランス値の算出処理は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のそれぞれの出力比を演算処理で変えることで達成される。例えば、Ｇの画像データに対して、ＲおよびＢの画像データが突出している場合には、ＲおよびＢの画像データに所定の値を乗ずることで出力比を変更する。この値が先に説明したホワイトバランス値（Ｒ／Ｇ，Ｂ／Ｇ）である。
【００３６】
ステップＳ２０において、メインマイコン１１は、レリーズスイッチの半押しが解除されたか否かを判断する。ステップＳ２０において、リレーズスイッチの半押しが解除されていないと判断された場合、処理は、ステップＳ１０に戻り、それ以降の処理が繰り返される。
【００３７】
ステップＳ２０において、レリーズスイッチの半押しが解除されたと判断された場合、ステップＳ２１において、メインマイコン１１は、リレーズスイッチが全押しされたか否かを判断する。ステップＳ２１において、リレーズスイッチが全押しされていないと判断された場合、処理は、ステップＳ２０に戻り、それ以降の処理が繰り返される。
【００３８】
ステップＳ２１において、リレーズスイッチが全押しされたと判断された場合、ステップＳ２２において、メインマイコン１１は、ステップＳ１６において算出されたフォーカスレンズ群２４の繰り出し量に基づいて、フォーカシングを行う。すなわち、メインマイコン１１は、フォーカスドライバ・位置検出センサ２３を制御して、フォーカスレンズ群２４を駆動し、その位置を位置検出センサでモニターすることで目標位置まで移動させる。そのフォーカス位置では、被写体である人物にピントが合っている。
【００３９】
メインマイコン１１は、ステップＳ２３において、フラッシュ撮影用のシャッタスピードが、被写体までの距離および発光部の種類に合った適正値、例えば１／３０秒となるように撮像素子ドライバ２０を制御することで、固体撮像素子１９は１／３０秒間の露光を開始し、ステップＳ２４において、充電・発光回路２５を制御して、Ｘｅ管２６にフラッシュ発光を行わせ、調光素子２７によって被写体からのフラッシュ光の反射光量をモニターすることで、フラッシュ光の発光停止タイミングを決定し、発光停止を制御する。なお、露光時間内に、発光の停止は完了される。
【００４０】
なお、被写体までの距離および発光部の種類に合ったシャッタスピードの適正値は、EEPROM１４に予め記憶されているので、ステップＳ１５で得られた被写体までの距離情報から容易に設定することができる。
【００４１】
ステップＳ２５において、メインマイコン１１は、露光終了後、固体撮像素子１９からの画像信号をアナログアンプ２１によって増幅させ、Ａ／Ｄコンバータ２２によってデジタル出力に変換させて、画像データとして取り込む。
【００４２】
ＥＥＰＲＯＭ９には、Ｘｅ管２６からのフラッシュ光を使用した場合に、被写体画像が適正な色合いとなるようなホワイトバランス値が予め記憶されており、メインマイコン１１は、ステップＳ２６において、ホワイトバランス値をＥＥＰＲＯＭ９から読み出し、ステップＳ２７において、ＲＡＭ１８上で適正な色バランスにする処理を含む演算処理を施す。演算処理を施された画像データは、調整済み被写体データとしてＲＡＭ１８上に仮保存される。
【００４３】
ステップＳ２２乃至ステップＳ２７において説明した被写体露光において、被写体にはフラッシュ光が届くので、その画像データは適正な値となっているが、被写体よりも遠い背景の画像データは、フラッシュ光が届かず、更に露光時間も適正ではない（短い）ため、黒レベル（画像データの最低値）以下であり、被写体、例えば人物の周囲は黒くなっている。
【００４４】
次に背景に対する露光を行う。背景は被写界深度を考慮しても無限遠の被写体と考えることができ、無限遠付近にピントを合わせることで被写界深度内に背景が入る。
【００４５】
ステップＳ２８において、メインマイコン１１は、フォーカスドライバ・位置検出センサ２３を制御して、無限遠付近にピントが合うようにフォーカスレンズ群２４を移動させる。
【００４６】
ステップＳ２９において、メインマイコン１１は、ステップＳ１９において算出した、背景に対する適正な露光制御値（シャッタスピード、ゲイン）をEEPROM１４から読み出し、適正シャッタスピードとなるように撮像素子ドライバ２０を制御し、また、適正ゲインをアナログアンプ２１に設定する。
【００４７】
ステップＳ３０において、メインマイコン１１は、適正シャッタスピードとなるように撮像素子ドライバ２０を制御して、固体撮像素子１９により背景を撮像する。
【００４８】
ステップＳ３１において、適正シャッタスピードで背景の露光を行った固体撮像素子１９からの画像信号は、アナログアンプ２１によって適正ゲインで増幅され、Ａ／Ｄコンバータ２２によってデジタル出力に変換され、画像データとしてメインマイコン１１に取り込まれる。
【００４９】
メインマイコン１１は、ステップＳ３２において、ステップＳ１９において算出した、背景に対する適正ホワイトバランス値をEEPROM１４から読み出し、ステップＳ３３において、読み出した適正ホワイトバランス値に基づいてＲＡＭ１８上で適正な色バランスにする処理を含む演算処理を施す。演算処理が施された画像データは、調整済み背景データとしてＲＡＭ上に仮保存される。
【００５０】
なお、夜景シンクロモードを使用するような撮影においては、被写体、例えば人物は背景に比べてはるかに暗いことが多い。すなわち、背景は街灯や電飾などで比較的明るいが、そこから離れた人物は暗いという状況が多い。このような状況下で、背景が適正露光となるような露光制御を行うと、人物は、画像データとしては黒レベル（画像データの最低値）以下であり、人物は黒くなっている。
【００５１】
ステップＳ３４において、メインマイコン１１は、ステップＳ２７およびステップＳ３３において得られ、ＲＡＭ１８上に仮保存された調整済み被写体データおよび調整済み背景データを合成する。
【００５２】
上述したように、調整済み被写体データにおいては、被写体部分については適正（ピント、ホワイトバランスが適正）な画像データとなっている。一方、背景部分についてはフラッシュ光が届かないため黒レベル以下の画像データとなっており、調整済み背景データにおいては、被写体部分については黒レベル以下の画像データとなっており、背景部分については適正（ピント、ホワイトバランスが適正）な画像データとなっているので、調整済み被写体データと調整済み背景データとを合成して得られる最終画像データは、被写体部分および背景部分ともに適正（ピント、ホワイトバランスが適正）な画像データとなる。
【００５３】
メインマイコン１１は、ステップＳ３５において、記録媒体１７に記録するため、ＲＡＭ１８上で最終画像データを圧縮し、ステップＳ３６において、圧縮された最終画像データを、記録媒体１７に記録する。画像データは一般的にデータサイズが大きいので、記録媒体１７により多く記録するためにデータ圧縮が行われる。一般的な圧縮方式としてＪＰＥＧ方式を用いる。
【００５４】
ステップＳ３７において、メインマイコン１１は、スイッチ群１３から入力される信号に基づいて、リレーズスイッチが押されていない状態か否かを判断する。ステップＳ３７において、リレーズスイッチが押されている状態であると判断された場合、リレーズスイッチが押されていない状態であると判断されるまで、ステップＳ３７の処理が繰り返される。ステップＳ３７において、リレーズスイッチが押されていない状態であると判断された場合、処理は、ステップＳ１０に戻り、それ以降の処理が繰り返される。
【００５５】
【発明が解決しようとする課題】
しかしながら、特開平１１−２９８９０８に開示されている技術では、ストロボ発光を行わずに撮影した調整済み背景データにおいては、背景が適正露光となるような露光制御を行うと、人物は画像データとしては黒レベル（画像データの最低値）以下であると仮定しているため、例えば、被写体に、ストロボと街灯などの異なる光源から光が照射されているような場合（すなわち、ストロボ発光を行わずに撮影した背景が適正露光であるときに、人物の画像データが黒レベルでない場合）に、最終的に得られる合成画像の色調は、実際と異なったものになってしまう。
【００５６】
本発明はこのような状況に鑑みてなされたものであり、ストロボ光が発光されない状態で、例えば、街灯などの光が照射されている状態の被写体から反射される反射光と、ストロボ光が照射された被写体から反射される反射光とを予め測定し、それぞれの反射光の強度の比に応じて、ホワイトバランス係数を算出し、算出されたホワイトバランス係数を、撮像された画像データに乗算することにより、例えば、夜景をバックに被写体を撮影する場合においても、夜景および被写体それぞれに最適なホワイトバランス調整がなされた撮像データを得ることができるようにするものである。
【００５７】
【課題を解決するための手段】
本発明の画像処理装置は、被写体に対しての光の照射を制御する照射制御手段と、被写体を撮像して得られた画像信号を取り込む取り込み手段と、取り込み手段により取り込まれた画像信号の輝度値を検出する検出手段と、周辺の明るさを測定し、照射制御手段により被写体に対する光の発光を実行するか否かを判断する判断手段と、照射制御手段により、被写体に光が照射されなかった場合に、検出手段によって検出された第１の輝度値と、照射制御手段により、被写体に光が照射された場合に、検出手段によって検出された第２の輝度値に基づいて、被写体に光が照射されなかった場合に撮像された第１の画像信号に対する第１の重み付け係数、および、被写体に光が照射された場合に撮像された第２の画像信号に対する第２の重み付け係数を算出する第１の算出手段と、第１の画像信号に対して、第１の重み付け係数を乗算し、かつ、第２の画像信号に対して、第２の重み付け係数を乗算する乗算手段と、乗算手段により第１の重み付け係数が乗算された第１の画像信号と、乗算手段により第２の重み付け係数が乗算された第２の画像信号とを合成して第３の画像信号を生成する生成手段とを備えることを特徴とする。
【００５８】
検出手段には、取り込み手段により取り込まれた画像信号を、所定の数の領域に分割して、領域毎に、画像信号の輝度値を検出させるようにすることができる。
【００５９】
算出手段には、第１の輝度値および第２の輝度値を、それぞれ隣接する領域毎に補間して、第１の重み付け係数および第２の重み付け係数を算出させるようにすることができる。
【００６０】
第２の輝度値と、所定の輝度値とを比較する比較手段と、第２の画像信号のうち、比較手段により第２の輝度値が所定の輝度値よりも大きいと判断された領域を選択する選択手段とを更に備えさせることができ、生成手段には、第１の重み付け係数が乗算された第１の画像信号と、選択手段により選択され、第２の重み付け係数が乗算された第２の画像信号を合成し、第３の画像信号を生成させるようにすることができる。
【００６１】
判断手段による判断結果にかかわらず、照射制御手段による被写体への光の照射を実行する撮像モードを設定する設定手段と、検出手段により検出された、領域ごとの輝度値と、所定の輝度値とを比較する第１の比較手段と、第１の比較手段により、所定の輝度値より輝度が低いと判断された領域の数を算出する第２の算出手段と、第２の算出手段により算出された領域の数を、第１の領域数、および第１の領域数より大きな第２の領域数と、それぞれ比較する第２の比較手段と、を更に備えさせることができ、設定手段により、撮像モードが設定された場合、照射制御手段により被写体に光が照射されたとき、取り込み手段により取り込まれた第２の画像信号を、撮像された画像データとすることができ、設定手段により、撮像モードが設定されず、かつ、第２の比較手段により、第２の算出手段により算出された領域の数が第１の領域数より小さいと判断された場合、照射制御手段により被写体に光が照射されたとき、取り込み手段により取り込まれた第２の画像信号を、撮像された画像データとすることができ、設定手段により、撮像モードが設定されず、かつ、第２の比較手段により、第２の算出手段により算出された領域の数が第２の領域数より大きいと判断された場合、照射制御手段により被写体に光が照射されないとき、取り込み手段により取り込まれた第１の画像信号を、撮像された画像データとすることができ、設定手段により、撮像モードが設定されず、第２の比較手段により、第２の算出手段により算出された領域の数が第１の領域数より大きく、かつ、第２の領域数より小さいと判断された場合、生成手段により生成された第３の画像信号を、撮像された画像データとすることができる。
【００６２】
本発明の画像処理方法は、被写体に対しての光の照射を制御する照射制御ステップと、被写体を撮像して得られた画像信号を取り込む取り込みステップと、取り込みステップの処理により取り込まれた画像信号の輝度値を検出する検出ステップと、周辺の明るさを測定し、照射制御ステップの処理により被写体に対する光の発光を実行するか否かを判断する判断ステップと、照射制御ステップの処理により、被写体に光が照射されなかった場合に、検出ステップの処理によって検出された第１の輝度値と、照射制御ステップの処理により、被写体に光が照射された場合に、検出ステップの処理によって検出された第２の輝度値に基づいて、被写体に光が照射されなかった場合に撮像された第１の画像信号に対する第１の重み付け係数、および、被写体に光が照射された場合に撮像された第２の画像信号に対する第２の重み付け係数を算出する算出ステップと、第１の画像信号に対して、第１の重み付け係数を乗算し、かつ、第２の画像信号に対して、第２の重み付け係数を乗算する乗算ステップと、乗算ステップの処理により第１の重み付け係数が乗算された第１の画像信号と、乗算ステップの処理により第２の重み付け係数が乗算された第２の画像信号とを合成して第３の画像信号を生成する生成ステップとを含むことを特徴とする。
【００６３】
本発明の記録媒体に記録されているプログラムは、被写体に対しての光の照射を制御する照射制御ステップと、被写体を撮像して得られた画像信号を取り込む取り込みステップと、取り込みステップの処理により取り込まれた画像信号の輝度値を検出する検出ステップと、周辺の明るさを測定し、照射制御ステップの処理により被写体に対する光の発光を実行するか否かを判断する判断ステップと、照射制御ステップの処理により、被写体に光が照射されなかった場合に、検出ステップの処理によって検出された第１の輝度値と、照射制御ステップの処理により、被写体に光が照射された場合に、検出ステップの処理によって検出された第２の輝度値に基づいて、被写体に光が照射されなかった場合に撮像された第１の画像信号に対する第１の重み付け係数、および、被写体に光が照射された場合に撮像された第２の画像信号に対する第２の重み付け係数を算出する算出ステップと、第１の画像信号に対して、第１の重み付け係数を乗算し、かつ、第２の画像信号に対して、第２の重み付け係数を乗算する乗算ステップと、乗算ステップの処理により第１の重み付け係数が乗算された第１の画像信号と、乗算ステップの処理により第２の重み付け係数が乗算された第２の画像信号とを合成して第３の画像信号を生成する生成ステップとを含むことを特徴とする。
【００６４】
本発明の画像処理装置、画像処理方法、および記録媒体に記録されているプログラムにおいては、被写体に対しての光の照射が制御され、被写体を撮像して得られた画像信号が取り込まれ、取り込まれた画像信号の輝度値が検出され、周辺の明るさが測定されて、被写体に対する光の発光を実行するか否かが判断され、被写体に光が照射されなかった場合に検出された第１の輝度値と、被写体に光が照射された場合に検出された第２の輝度値に基づいて、被写体に光が照射されなかった場合に撮像された第１の画像信号に対する第１の重み付け係数、および、被写体に光が照射された場合に撮像された第２の画像信号に対する第２の重み付け係数が算出され、第１の画像信号に対して、第１の重み付け係数が乗算され、第２の画像信号に対して、第２の重み付け係数が乗算され、第１の重み付け係数が乗算された第１の画像信号と、第２の重み付け係数が乗算された第２の画像信号とが合成されて第３の画像信号が生成される。
【００６５】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００６６】
図６は、本発明を適応した、デジタルスチルカメラの構成を示すブロック図である。
【００６７】
光（すなわち、被写体の映像）は、レンズ制御部４２の制御により位置が制御されるレンズ４１、制御部５２から入力される制御信号に従って、その開口径が制御されるアイリス４３、および、ＣＣＤ（Charge Coupled Devices）４６に光が入射されるタイミングを制御するために、制御部５２から入力される制御信号に従って、その開閉タイミングが制御されるシャッタ４５を介して、ＣＣＤ４６に入射する。ＣＣＤ４６は、受光した光の強度を電気信号に変換する。
【００６８】
ＣＣＤ４６は、タイミングジェネレータ４７から供給されるタイミング信号に従って、蓄積された電気信号をＣＤＳ（Correlated Double Sampling（相関二重サンプリング））４６に出力する。ＣＣＤ４６の出力信号に含まれる雑音は、リセット雑音（ＣＣＤ４６が内部に有する、図示しない電荷検出用差動アンプのリセット時に発生）がほとんどであり、ＣＤＳ４６は、このリセット雑音を低減するものである。ＣＣＤ４６の出力波形は、リセット期間、フィールドスルー 期間、信号期間の３つの期間に分けられ、信号期間には映像信号とリセット雑音が、フィールドスルー期間にはリセット雑音のみが存在する。従って、ＣＤＳ４６は、この２つの期間の信号を異なる２つのパルスを用いて各々サンプリングし、その後、両信号を減算することにより、リセット雑音が低減された映像信号を得て、Ａ／Ｄ（Analog to digital）変換部４９に出力する。
【００６９】
Ａ／Ｄ変換部４９は、入力されたＲＧＢのカラーアナログ信号を、デジタル信号に変換して、検波部５０に出力する。ＣＣＤ４６の出力信号はアナログ信号であり、信号処理をデジタルで行う場合、前段にこのＡ／Ｄ変換部４９が必要である。
【００７０】
検波部５０は、制御部５２から入力された制御信号に従って、入力されたＲＧＢのカラーデジタル信号から、図８を用いて後述する検波領域毎に、レンズ４１の制御に必要なデータを検出し、ＲＧＢそれぞれの信号の輝度値や積分値などを算出する。
【００７１】
ＷＢ（White Balance）アンプ５１は、制御部５２から入力された制御信号に従って、入力された画像信号に、ホワイトバランス係数を乗算し、制御部５２に出力する。
【００７２】
制御部５２は、操作部５３を用いてユーザが指令した内容を示す信号や、検波部５０からの、図８を用いて後述する検波領域における検波結果を入力され、各種処理を実行する。例えば、操作部５３に備えられるシャッタボタンが半押しされていることが検出された場合、制御部５２は、図２のステップＳ２乃至ステップＳ９を用いて説明したような、デジタルスチルカメラ３１内部の初期設定を実行し、更に、シャッタスピード、アイリス値、およびホワイトバランス値の最適化、並びに被写体に焦点を合わせるフォーカシングなどを実行する。また、操作部５３に備えられるシャッタボタンが全押しされていることが検出された場合、制御部５２は、図７もしくは図９を用いて後述する処理を実行する。
【００７３】
操作部５３は、例えば、シャッタボタン、その他の操作ボタン、あるいはタッチパネルなどから構成されており、ユーザによって操作され、その操作内容を示す信号を、制御部５２に出力する。測光素子５４は、例えば、フォトダイオードなどからなり、外光の強度を測定し、制御部５２に出力する。
【００７４】
充電・発光制御部５５は、ストロボ５６の発光に必要な電源を充電し、制御部５２から入力される制御信号に基づいて、ストロボ５６の発光を制御する。ストロボ５６は、充電・発光制御部５５から供給された電源により、充電・発光制御部５５の制御に従い、発光する。
【００７５】
記録部５７は、図示しない記録媒体を装着され、制御部５２から供給された画像データを記録媒体に記録する。表示部５８は、例えば、ＬＣＤなどからなり、制御部５２から供給された画像データを表示する。
【００７６】
プログラムＲＯＭ５９には、制御部５２が実行するプログラムが格納されている。外部インターフェース６０は、例えば、ＵＳＢ（Universal Serial Bus）入出力端子などを備え、外部機器とのデータの授受が可能なようになされている。ＲＡＭ６１は、制御部５２の処理において生成されたデータなどを一時保存する。EEPROM６２は、制御部５２が実施する、例えば、レンズ制御部４２、アイリス４３、シャッタ４５、タイミングジェネレータ４７などに対する制御に必要なパラメータを記録している。
【００７７】
また、制御部５２には、ドライブ６３も接続されており、必要に応じて挿入される磁気ディスク７１、光ディスク７２、光磁気ディスク７３、および半導体メモリ７４などとデータの授受を行う。
【００７８】
次に、図７のフローチャートを参照して、図６のデジタルスチルカメラ３１の処理について説明する。なお、図７のステップＳ１以前に、例えば、図２のステップＳ２乃至ステップＳ９を用いて説明したような、デジタルスチルカメラ３１内部の初期設定が実行され、更に、制御部５２によって、シャッタスピード、アイリス値、およびホワイトバランス値の最適化、並びに被写体に焦点を合わせるフォーカシングなどが実行されるが、ここでは、それらの処理は、従来の技術と同様であるため、その説明は省略する。
【００７９】
ステップＳ５１において、制御部５２は、操作部５３から入力される信号に基づいて、シャッタボタンが全押しされたか否かを判断する。ステップＳ５１において、シャッタボタンが全押しされていないと判断された場合、シャッタボタンが全押しされたと判断されるまで、ステップＳ５１の処理が繰り返される。
【００８０】
ステップＳ５１において、シャッタボタンが全押しされたと判断された場合、ステップＳ５２において、測光素子５４は、外光の検波データを取得して、制御部５２に出力する。更に、被写体から照射された、ストロボ５６の発光なしの状態における、例えば、街灯などのストロボ５６以外の光源を反射した反射光は、レンズ４１、アイリス４３、シャッタ４５を介して、ＣＣＤ４６に照射され、ＣＣＤ４６において、電気信号に変換され、ＣＤＳ４６においてノイズが除去され、Ａ／Ｄ変換部４９においてデジタル信号に変換され、検波部５０に入力されるので、検波部５０は、入力されたデジタル画像データから、ストロボ５６の発光なしの状態における検波データを取得する。検波データの取得は、図８を用いて後述する検波領域毎に実行され、検波領域は、所定の数の画素により構成される。ここでは、例えば、縦４画素、横４画素の１６画素で、１検波領域が構成されるものとする。検波領域に含まれる画素数は、１６画素以外の画素数でもよいことは言うまでもない。このようにして測定された、各検波領域の輝度値は、制御部５２に入力され、ＲＡＭ６１に保存される。ここで、検波領域（ｎ，ｍ）の、ストロボ５６が発光されていない場合における輝度値を、Ｙｏ（ｍ，ｎ）とする。
【００８１】
ステップＳ５３において、制御部５２は、ストロボ５６の発光がユーザから指示されているか否か、あるいは、ステップＳ５２における外光の検波データに基づいて、ストロボ５６の発光が必要か否かを判断する。
【００８２】
ステップＳ５３において、ストロボ５６の発光が必要ではないと判断された場合、ステップＳ５４において、制御部５２は、ストロボ５６の発光なし撮像用のパラメータを、EEPROM６２から読み出し、例えば、アイリス４３の絞り値、シャッタ４５の開閉のタイミング、タイミングジェネレータ４７によるＣＣＤ４６の露光時間の設定値、およびＷＢアンプ５１において乗算されるホワイトバランス係数などの各パラメータを設定し、ステップＳ５５において、ストロボ５６の発光なしで撮像し、画像データを取り込み、処理はステップＳ６３に進む。
【００８３】
ステップＳ５３において、ストロボ５６の発光が必要であると判断された場合、ステップＳ５６において、制御部５２は、充電・発光制御部５５を制御し、ストロボ５６にプリ発光を行わせる。ここで、プリ発光直後に、ストロボ５６のフル発光が行われることを考慮し、プリ発光は、フル発光に必要な電源の再充電が必要ないレベルの光量に設定される。ストロボ５６のプリ発光により、被写体から反射された反射光は、レンズ４１、アイリス４３、シャッタ４５を介して、ＣＣＤ４６に照射され、ＣＣＤ４６において、電気信号に変換され、ＣＤＳ４６においてノイズが除去され、Ａ／Ｄ変換部４９においてデジタル信号に変換され、検波部５０に入力される。
【００８４】
ステップＳ５７において、検波部５０は、入力されたデジタル画像データから、プリ発光時の検波データを取得する。また、上述したように、プリ発光は、フル発光よりも低いレベルの光量であるので、得られる輝度値は、プリ発光とフル発光との光量差によって補正される。この補正に用いられる輝度値変換テーブルは、例えば、実験などにより予め測定された値を基に、EEPROM６２に保存させておくようにしてもよい。このようにして測定された、各検波領域の輝度値は、制御部５２に入力され、ＲＡＭ６１に保存される。ここで、検波領域（ｎ，ｍ）の、ストロボ５６が発光された場合の輝度値に変換された値を、Ｙｓ（ｍ，ｎ）とする。
【００８５】
制御部５２は、ステップＳ５８において、ストロボ発光撮像用のパラメータを、EEPROM６２から読み出し、例えば、アイリス４３の絞り値、シャッタ４５の開閉のタイミング、タイミングジェネレータ４７によるＣＣＤ４６の露光時間の設定値、およびＷＢアンプ５１において乗算されるホワイトバランス係数などの各パラメータを設定し、ステップＳ５９において、ストロボ５６を発光させて撮像し、画像データを取り込む。ここで取り込まれたストロボ５６の発光時に撮像された画像データの、座標（ｉ，ｊ）における画素を、Ｇｓ（ｉ，ｊ）とする。
【００８６】
ステップＳ６０およびステップＳ６１において、ステップＳ５４およびステップＳ５５と同様の処理がなされ、ストロボ５６の発光なしで撮像された画像データが取り込まれる。ここで取り込まれたストロボ５６の発光なしで撮像された画像データの、座標（ｉ，ｊ）における画素を、Ｇｏ（ｉ，ｊ）とする。
【００８７】
ステップＳ６２において、制御部５２は、ステップＳ５９およびステップＳ６１において取り込まれた画像データを、ストロボ５６の光と外光の反射光の強度の比に応じた重み付けを行った後に合成する。検波領域（ｎ，ｍ）の画素（Ｉ，Ｊ）における合成画像の画素をＧ（ｉ，ｊ）とすると、画素Ｇ（ｉ，ｊ）は、次の式（１）で表される。
Ｇ（ｉ，ｊ）＝α×Ｇｏ（ｉ，ｊ）＋β×Ｇｓ（ｉ，ｊ）・・・（１）
ただし、式（１）におけるαおよびベータの値は、次の式（２）および式（３）で表される。
α＝Ｙｓ（ｎ，ｍ）／（Ｙｏ（ｍ，ｎ）＋ｙｓ（ｎ，ｍ））・・・（２）
β＝Ｙｏ（ｎ，ｍ）／（Ｙｏ（ｍ，ｎ）＋ｙｓ（ｎ，ｍ））・・・（３）
【００８８】
図８（Ａ）に、ストロボ５６を発光させて撮像した画像データの、重み付け後の画像データの例を示す。検波部５０は、検波領域毎に、その輝度値を検出する。検波領域は、所定の数の画素により構成される。ここでは、縦４画素、横４画素の１６画素で、１検波領域が構成されるものとする。図８（Ａ）の画素Ｇｓ（ｉ，ｊ）は、式（１）の第２項目（β×Ｇｓ（ｉ，ｊ））である。
【００８９】
図８（Ｂ）に、外光のみで撮像した画像の、重み付け後のデータの例を示す。図８（Ａ）の画素Ｇｏ（ｉ，ｊ）は、式（１）の第１項目（α×Ｇｏ（ｉ，ｊ））である。図８（Ｂ）の画像データと、図８（Ａ）の画像データとが合成され、図８（Ｃ）に示される合成画像が得られる。
【００９０】
このようにして合成された画像データは、ストロボ５６の光と外光のそれぞれが照射されている部分に対応する画素が、それぞれ最適なホワイトバランスで処理されているので、全ての撮像領域において、最適な色調を有する画像データとなる。また、ストロボ５６の光が照射されている領域と、外光のみが照射されている領域のそれぞれが、最適な露光値で撮像されるので、撮像された画像データに、暗すぎて、画像が鮮明でない部分や、明るすぎて、サチュレーション（明度が高すぎるため、画像が真っ白になってしまい、鮮明でなくなってしまった状態）を生じることがない。
【００９１】
制御部５２は、ステップＳ５５の処理終了後、もしくはステップＳ６２の処理の終了後、ステップＳ６３において、ステップＳ５５の処理において取り込まれた画像データ、もしくはステップＳ６２の処理により合成された画像データを圧縮し、ステップＳ６４において、圧縮された画像データを記録部５７に出力して、図示しない記録媒体に記録させ、処理が終了される。
【００９２】
また、図８を用いて説明した、隣り合う検波領域において、その輝度値の差が大きい場合、図７を用いて説明した処理によって作成される画像には、検波領域の境界において、色調の変化が発生してしまう場合が考えられる。そこで、隣接する検波領域の輝度値を考慮することにより、撮像された画像データ全域において色調の変化が滑らかになるように、図７のステップＳ６２において演算される重み係数（式（１））を設定するようにしてもよい。
【００９３】
検波領域のサイズ（縦横の画素数）を（Ｓｎ，Ｓｍ）とし、検波領域（ｎ，ｍ）における中心画素の位置を（ｉｃ（ｎ），Ｊｃ（ｍ））とすると、画素（ｉ、Ｊ）における重み係数は、例えば、線形補間を用いた場合、以下の式（４）乃至式（７）を用いて算出することが可能である。
【００９４】
【００９５】
ただし、式（４）および式（５）においては、画素位置（ｉ、Ｊ）において、次の式（８）および式（９）が成り立つ。
ｉｃ（ｎ）≦ｉ＜ｉｃ（ｎ＋１）・・・（８）
ｊｃ（ｎ）≦ｊ＜ｊｃ（ｎ＋１）・・・（９）
【００９６】
そして、式（６）および式（７）を、上述した式（１）に代入して、合成画像を算出することにより、撮像された画像データ全域において、色調の変化が滑らかになる。
【００９７】
また、図７のステップＳ５６において実行されるプリ発光によって得られる輝度値に所定の閾値を設け、図７のステップＳ５９において、ＲＡＭ６１に保存するデータを、画像全体とせず、各検波領域の輝度地が閾値以上である検波領域（すなわち、フラッシュが届いた部分の画像データに対応する検波領域）に対応する画像データのみとするようにしてもよい。このことにより、ＲＡＭ６１の記憶容量を下げることが可能となるため、コストを削減することができ、更に、ステップＳ６２において、合成処理を実行する画像データ量が減少するため、合成処理に要する時間を短縮化することができる。
【００９８】
次に、図９のフローチャートを参照して、本発明を適応したデジタルスチルカメラ３１が実行する処理の、異なる実施の形態について説明する。
【００９９】
ここで、制御部５２には、プリ発光時に得られる検波データの輝度値の閾値Ｙｔと、閾値Ｙｔ以下の輝度値を有する検波領域の数の閾値Ｃｔおよび閾値C’tが設定されている。ここで、検波領域の数の閾値Ｃｔは、例えば、全検波領域数の２割程度とされ、検波領域の数の閾値C’tは、例えば、全検波領域数の８割程度とされるものとする。
【０１００】
ステップＳ８１乃至ステップＳ８３において、図７のステップＳ５１乃至ステップＳ５３と同様の処理が実行され、ステップＳ８３において、ストロボ５６の発光が必要でないと判断された場合、処理は、ステップＳ８７に進む。
【０１０１】
ステップＳ８３において、ストロボ５６の発光が必要であると判断された場合、ステップＳ８４およびステップＳ８５において、図７のステップＳ５６およびステップＳ５７と同様の処理が実行される。
【０１０２】
制御部５２は、ステップＳ８５において、取得された検波データと、閾値Ｙｔを比較する。すなわち、輝度値の閾値Ｙｔ以下の輝度値を有する検波領域は、ストロボ５６の光が届かない領域である。そして、制御部５２は、閾値Ｙｔ以下の輝度値を有する検波領域の数C'sをカウントする。検波領域の数C'sが多い場合、多くの領域にストロボ５６の光が届かないということであり、検波領域の数C'sが少ない場合、多くの領域にストロボ５６の光が届いているということである。
【０１０３】
ステップＳ８６において、制御部５２は、ストロボ５６の発光方法の設定はストロボオートであり、かつ、輝度値の閾値Ｙｔ以下の輝度値を有する検波領域数は、C'sは、C's＞C'tであるか否かを判断する。
【０１０４】
ステップＳ８６において、設定はストロボオート、かつ、輝度値の閾値以下の輝度値を有する検波領域数C's＞C'tであると判断された場合、ストロボ５６を発光させて撮像を行ったとしても、多くの領域にストロボ５６の光が届かないということであるから、ストロボ５６を発光した状態での撮像は行われない。すなわち、ステップＳ８７およびステップＳ８８において、図７のステップＳ５４およびステップＳ５５と同様の処理が実行され、処理は、ステップＳ９５に進む。
【０１０５】
ステップＳ８６において、設定はストロボオート、かつ、輝度値の閾値以下の輝度値を有する検波領域数C's＞C'tではないと判断された場合、多くの領域にストロボ５６の光が届いているか、もしくは、ストロボ５６の強制発光が設定されているかのいずれかであるため、ステップＳ８９およびステップＳ９０において、図７のステップＳ５８およびステップＳ５９と同様の処理が実行される。
【０１０６】
ステップＳ９１において、制御部５２は、設定がストロボ５６の強制発光、もしくは、輝度値の閾値を超えた検波領域数C'sは、C's＜Ｃｔであるか否かを判断する。
【０１０７】
設定はストロボ５６の強制発光、もしくは、輝度値の閾値以下の輝度値を有する検波領域数C's＜Ｃｔであると判断された場合、被写体のほとんどの部分に、ストロボ５６の光が到達している、すなわち、多くの領域（この場合８割以上）の画像データは、ストロボ５６の反射光によって得られた画像データであるか、ユーザによって、ストロボ５６の強制発光による撮像が指示されているので、ストロボ５６の発光なしの状態においての撮像は行われない。すなわち、ステップＳ９１において、設定はストロボ５６の強制発光、もしくは、輝度値の閾値以下の輝度値を有する検波領域数C's＜Ｃｔであると判断された場合、処理は、ステップＳ９５に進む。
【０１０８】
設定はストロボ５６の強制発光、もしくは、輝度値の閾値以下の輝度値を有する検波領域数C's＜Ｃｔのいずれでもないと判断された場合、ストロボ５６の設定は、ストロボオートであり、被写体に対して、ストロボ５６の光が照射される部分と、照射されない部分が混在しているということであるので、ステップＳ９０において撮像し、取り込んだ、ストロボ５６の発光状態における撮像データに加えて、ストロボ５６を発光していない状態における撮像データを得、合成する必要がある。
【０１０９】
従って、ステップＳ９１において、設定はストロボ５６の強制発光、もしくは、輝度値の閾値以下の輝度値を有する検波領域数C's＜Ｃｔのいずれでもないと判断された場合、ステップＳ９２乃至ステップＳ９４において、図７のステップＳ６０乃至ステップＳ６２と同様の処理が実行され、処理は、ステップＳ９５に進む。
【０１１０】
ステップＳ９５およびステップＳ９６において、図７のステップＳ６３およびステップＳ６４と同様の処理が実行され、処理が終了される。
【０１１１】
図９を用いて説明した処理により、ストロボ５６の発光モード、および、撮像される被写体にストロボ５６が照射されるか否かに基づいて、ストロボ５６の発光による撮像ステップ、もしくは、ストロボ５６の発光なしの状態における撮像ステップを実施するか否かを判断することが可能であるため、撮像時間を減少することが可能となる。
【０１１２】
また、図７および図９を用いて説明した処理を、繰り返して実行することにより、同様の効果を有する動画像データを得ることができるようにしてもよい。
【０１１３】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１１４】
この記録媒体は、図６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク７１（フロッピーディスクを含む）、光ディスク７２（CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク７３（ＭＤ(Mini-Disk)を含む）、もしくは半導体メモリ７４などよりなるパッケージメディアなどにより構成される。
【０１１５】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１６】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１１７】
【発明の効果】
本発明の画像処理装置、画像処理方法、および記録媒体に記録されているプログラムによれば、被写体に対しての光の照射を制御し、被写体を撮像して得られた画像信号を取り込み、取り込まれた画像信号の輝度値を検出し、周辺の明るさを測定して、被写体に対する光の発光を実行するか否かを判断し、被写体に光が照射されなかった場合に検出された第１の輝度値と、被写体に光が照射された場合に検出された第２の輝度値に基づいて、被写体に光が照射されなかった場合に撮像された第１の画像信号に対する第１の重み付け係数、および、被写体に光が照射された場合に撮像された第２の画像信号に対する第２の重み付け係数を算出し、第１の画像信号に対して、第１の重み付け係数を乗算し、第２の画像信号に対して、第２の重み付け係数を乗算し、第１の重み付け係数を乗算された第１の画像信号と、第２の重み付け係数が乗算された第２の画像信号とを合成して第３の画像信号を生成するようにしたので、例えば、夜景をバックに被写体を撮影する場合において、被写体に、例えば街灯などの、ストロボ光以外の光源が照射されている場合においても、夜景および被写体それぞれに最適なホワイトバランス調整がなされた撮像データを得ることができる。
【図面の簡単な説明】
【図１】従来のデジタルカメラの構成を示すブロック図である。
【図２】図１のデジタルカメラの処理を説明するためのフローチャートである。
【図３】図１のデジタルカメラの処理を説明するためのフローチャートである。
【図４】図１のデジタルカメラの処理を説明するためのフローチャートである。
【図５】図１のデジタルカメラの処理を説明するためのフローチャートである。
【図６】本発明を適応したデジタルスチルカメラの構成を示すブロック図である。
【図７】図６のデジタルスチルカメラの処理を説明するためのフローチャートである。
【図８】ストロボ撮像時の画像データ、外光のみで撮像した画像データ、および合成された画像データを説明するための図である。
【図９】図６のデジタルスチルカメラの処理を説明するためのフローチャートである。
【符号の説明】
３１ デジタルスチルカメラ， ５０ 検波部， ５１ ＷＢアンプ， ５２制御部， ５５ 充電・発光制御部， ５６ ストロボ，６１ ＲＡＭ， ６２ EEPROM
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに記録媒体に関し、特に、ストロボの光が発光されない状態で、例えば、街灯などの光が照射されている状態の被写体から反射された反射光と、ストロボ光が照射された被写体から反射された反射光とを予め測定し、それぞれの反射光の強度の比に応じて、重み付け係数を算出し、算出された重み付け係数を、撮像された画像データに乗算することにより、例えば、夜景をバックに被写体を撮影する場合においても、夜景および被写体それぞれに最適なホワイトバランス調整がなされた撮像データを得ることができる画像処理装置および画像処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
デジタルカメラ等を用いて人工光の下で撮影すると、撮影された画像と人間の眼で見た被写体とでは色調が異なっている場合がある。これは、人工光源には色温度により赤色が強い光源や緑色が強い光源が存在し、人工光源を受けた被写体からの反射光の色バランスが崩れているからであり、人間は白色に感じても、受光素子を使用するデジタルカメラでは人工光源の色を感知してしまう。その結果、全体的に赤色を帯びた画像や、緑色を帯びた画像となってしまう。
【０００３】
従来の銀塩カメラによる撮影では、ネガフィルムの場合は焼き付けの段階で色調を調整し、ポジフィルムの場合は撮影時に色補正用のレンズフィルタを使用するなどして色調を調整している。
【０００４】
デジタルカメラでは受光素子に取り込まれた被写体画像の色調を調整して、人間の眼で見た被写体と同じ色調になるように、色バランスを調整する機能を有している。このような色バランスの調整は、色バランスが適正な白色光源下での色を再現するという意味で、一般にホワイトバランスの調整と称されており、ホワイトバランスの調整は、適正な白色光源下でのＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色の強度比である、Ｒ／Ｇ、Ｂ／Ｇで規定される値（ホワイトバランス値と称される）を用いて行われる。
【０００５】
従来のデジタルカメラにおいては、ホワイトバランス値は、例えば、室内灯だけでの撮影では室内灯の反射光に合わせるようになされ、フラッシュ光を使用する撮影ではフラッシュ光の反射光に合わせるようになされている。すなわち、ホワイトバランス値は、最も強い光源からの光の反射光に合わせて算出される構成となっている。
【０００６】
デジタルカメラの露出（露光）は、ＡＥ（Auto Exposure：自動露出機構）で決められる。ＡＥは、撮影する画面各部分の明るさを計測して、その平均が所定の明るさになるように露出を設定する。また、デジタルカメラには、ユーザが考えている明るさで撮影するために、その露出を補正する、露出補正機能を有するものもある。
【０００７】
明るさが十分でない照明光下で、被写体を撮像する場合、ストロボを発光させて撮影したり、あるいは、撮像に十分な光量を得るために、露光時間を通常以上に長くする、一般にスローシャッタと称される撮像モードが用いられる。照明が暗く、被写体が近距離である場合、ストロボを発光させて撮像することにより、自然な画像を得ることができるが、例えば、ストロボから発光された光が十分に届かない、遠い被写体を撮像する場合や、例えば、夜景などを撮像するような場合においては、ストロボ発光を行っても、撮像のために十分な光量を得ることはできず、スローシャッタを用いて撮像することにより、より自然な画像を得ることができる。
【０００８】
例えば、従来のデジタルカメラを用いて、夜景をバックに被写体を撮影する場合、ピントを被写体、例えば人物に合わせてフラッシュ撮影すると、ホワイトバランスは、フラッシュ光が人物にあたって反射した反射光に合わせて調整されるので、得られた画像の夜景のホワイトバランスが適正ではないという問題があった。
【０００９】
このような問題点を解消するための技術として、特開平１１−２９８９０８がある。
【００１０】
図1は、特開平１１−２９８９０８において開示されているデジタルカメラの構成を示すブロック図である。
【００１１】
メインマイコン１１は、デジタルカメラ１の各部を制御する。測距モジュール１２は、被写体からの反射光を受光し、被写体の距離情報を出力する。スイッチ群１３は、ユーザがデジタルカメラ１を用いて各種操作を行う場合に操作され、例えば、露光開始用スイッチ（レリーズスイッチ）、電源スイッチなどを含む。EEPROM１４は、デジタルカメラ１ごとの機種差に関する工場出荷時の検査値、および電源オフ直前の各種設定値等を記録する、電気的に書き換え可能なメモリである。表示部材１５は、例えば、液晶ディスプレイ（ＬＣＤ（Liquid Crystal Display）等からなり、被写体画像および撮影のための設定値を表示する。外部インターフェース１６は、図示しないパーソナルコンピュータや外部モニターに対して画像情報等を入出力する。記録媒体１７は、着脱可能になされており、撮影した画像情報を記録する。ＲＡＭ１８は、撮影された画像データを演算処理するためのプログラム等が記録されている。
【００１２】
固体撮像素子１９は、フォーカスレンズ群２４および固定レンズ群２８を通過して入力された被写体の像に対応する光（被写体像）を撮像する。撮像素子ドライバ（タイミングジェネレータ：ＴＧとも称される）２０は、固体撮像素子１９を駆動させるためのパルスを発生させる。アナログアンプ２１は、固体撮像素子１９から出力された画像のアナログ信号を増幅する。Ａ／Ｄコンバータ２２は、アナログアンプ２１によって増幅されたアナログ画像信号をデジタル変換し、メインマイコン１１に出力する。
【００１３】
フォーカスドライバ・位置検出センサ２３は、フォーカスレンズ群２４を光軸方向に駆動させるとともに、フォーカスレンズ群２４の位置を検出する。Ｘｅ管２６は、撮影補助光であるフラッシュ光を発光する発光部である。充電・発光回路２５は、Ｘｅ管２６に対する充電と発光を制御する。調光素子２７は、フラッシュ光の被写体からの反射光をモニターし、適正なフラッシュ光量に達したかどうかを検出する。フォーカスレンズ群２４は撮像光学系である撮像レンズ群の一部を構成しており、撮像レンズ群はフォーカスレンズ群２４の他に固定された固定レンズ群２８を有している。
【００１４】
フォーカスレンズ群２４および固定レンズ群２８を通過して入力された被写体の像に対応する光は、固体撮像素子１９に供給される。固体撮像素子１９は、メインマイコン１１に制御された撮像素子ドライバ２０から供給されるパルス信号に従って駆動され、アナログ画像信号を、アナログアンプ２１に供給する。アナログアンプ２１は、メインマイコン１１の制御に基づき、入力されたアナログ画像信号を増幅してＡ／Ｄコンバータ２２に供給する。Ａ／Ｄコンバータ２２は、入力されたアナログ画像信号をデジタル画像信号に変換して、メインマイコン１１に供給する。
【００１５】
メインマイコン１１は、供給されたデジタル画像信号を、表示部材１５に出力して表示させたり、外部インターフェース１６を介して、図示しないパーソナルコンピュータや外部モニターに出力したり、記録媒体１７に出力して、記録させたりする。
【００１６】
また、メインマイコン１１は、測距モジュール１２、もしくは調光素子２７から入力された信号に基づいて、画像合成などの各種処理を実行する。画像合成などの処理については、図２乃至図５を用いて後述する。
【００１７】
次に、図２乃至図５のフローチャートを参照して、図1を用いて説明したデジタルカメラの処理について説明する。
【００１８】
メインマイコン１１は、ステップＳ１において、スイッチ群１３から入力される信号により、電源スイッチがオン状態になったことを検知し、ステップＳ２において、自分自身をリセットする。リセットによりメインマイコン１１の各ポートはデフォルト状態になっているので、ステップＳ３において、メインマイコン１１は、使用すべきポートを設定するなど、自分自身の初期設定を行う。
【００１９】
メインマイコン１１は、ステップＳ４において、種差に関する工場出荷時の検査値、および前回電源オフ直前の各種設定値（例えばフラッシュモードの種類あるいは画像圧縮モードの種類等）をEEPROM１４から読み出し、ステップＳ５において、記録媒体１７の有無、種類および種類に基づく記録可能容量を確認する。
【００２０】
ステップＳ６において、フォーカスドライバ・位置検出センサ２３は、レンズの位置をモニターしながら、フォーカスレンズ群２４をEEPROM１４に設定された初期位置に移動させる。ステップＳ７において、メインマイコン１１は、表示部材１５を起動させる。この段階では固体撮像素子１９は動作しておらず、ユーザに表示部材１５の起動を知らせるために表示部材１５を点灯させるだけである。
【００２１】
ステップＳ８において、メインマイコン１１は、撮像動作の予備として撮像素子ドライバ２０に対して、例えば露光時間を１／３０秒に設定するなどの初期設定を行う。ここで、露光時間とは、固体撮像素子１９内の、図示しない受光セルに電荷を蓄積する時間であり、いわゆるシャッタスピードである。
【００２２】
ステップＳ９において、メインマイコン１１は、アナログアンプ２１のゲインも所定の初期値、例えば１倍に設定する。このようにして、撮像素子ドライバ２０の初期設定が完了し、撮像素子ドライバ２０が動作することで固体撮像素子１９から画像信号が出力され、表示部材１５に画像が表示される。
【００２３】
ステップＳ１０において、メインマイコン１１は、表示部材１５に画像を表示しながら、スイッチ群１３のスイッチ操作の監視（スイッチスキャン）を実行し、次のカメラ操作のために待機する。なお、メインマイコン１１内部のタイマー機能によって一定時間、ユーザがスイッチ群１３によるカメラ操作を行わなければ消費電力の節約のため電源をオフ状態にする。通常、この一定時間は数分程度に設定されている。
【００２４】
メインマイコン１１は、ステップＳ１１において、スイッチ群１３から入力される信号により、ユーザが、スイッチ群１３のうちの所定のスイッチを操作することにより、夜景シンクロモードが設定されたか否かを判断する。ここで、夜景シンクロモードとは、夜景を背景にした被写体をフラッシュ撮影する撮影モードである。
【００２５】
ステップＳ１１において、夜景シンクロモードが設定されていないと判断された場合、ステップＳ１２において、非夜景シンクロモードとなり通常の動作モードで被写体の撮像が実行され、処理は、ステップＳ１０に戻り、それ以降の処理が繰り返される。
【００２６】
ステップＳ１１において、夜景シンクロモードが設定されていると判断された場合、ステップＳ１３において、メインマイコン１１は、フラッシュ発光のために、充電・発光回路２５を制御して内部回路のコンデンサーに電荷を貯める。このとき、内部回路のコンデンサーの電圧がモニターされ、所定の電圧になった時点で充電が停止するようになされる。
【００２７】
ステップＳ１４において、メインマイコン１１は、スイッチ群１３から入力される信号に基づいて、ユーザにより、スイッチ群１３のうちのレリーズスイッチが半押しされているか否かを判断する。ステップＳ１４において、リレーズスイッチが半押しされていないと判断された場合、処理は、ステップＳ１０に戻り、それ以降の処理が繰り返される。
【００２８】
ステップＳ１４において、リレーズスイッチが半押しされていると判断された場合、ステップＳ１５において、メインマイコン１１は、測距モジュール１２を駆動させてカメラから被写体（例えば、人物など）までの距離情報を得る。ユーザが、リレーズスイッチを半押しする際に、図示しない光学ファインダー中に被写体を捕捉することで、測距モジュール１２は被写体からの反射光を受光することになり、カメラから被写体までの距離についての情報を得ることができる。
【００２９】
ここで、測距モジュール１２には、例えば、外光パッシブモジュール等が利用される。ただし、夜景シンクロモードを使う条件下では、被写体からの反射光の光量が、測距のためには十分でないことが多いので、その場合はメインマイコン１１が充電・発光回路２５を制御し、測距動作中にフラッシュを発光させることで、被写体からの反射光量が十分得られるようにする。
【００３０】
なお、測距モジュール１２の出力は距離に対応した値として与えられ、その対応関係の情報がEEPROM１４に出荷前の検査値として記録されている。従って、ステップＳ１６において、メインマイコン１１は、測距モジュール１２の出力から被写体距離を求め、EEPROM１４に予め記録されている撮影レンズの焦点距離情報と照合することにより、被写体に合焦すべきフォーカスレンズ群２４の繰り出し量（繰り出し情報）を算出する。
【００３１】
先に説明したように、デジタルカメラ１が撮影モード状態にある場合は、固体撮像素子１９は常に画像信号を出力しているので、図示しない光学ファインダー中に被写体が捕捉されている場合、ステップＳ１７において、固体撮像素子１９は、被写体およびその背景を撮像し、ステップＳ１８において、メインマイコン１１は、アナログアンプ２１およびＡ／Ｄコンバータ２２を介して、ステップＳ１７において撮像された、被写体の画像データおよびその背景の画像データを取り込む。
【００３２】
ステップＳ１９において、メインマイコン１１は、背景の画像データについて演算処理を実施し、背景に対する適正な露光制御値および適正なホワイトバランス値を算出し、ＲＡＭ１８に記憶する。
【００３３】
なお、露光制御値としては、固体撮像素子１９の図示しない受光セルに電荷を蓄積する時間（露光時間）を規定する、いわゆるシャッタスピード値、図示しない絞り（アイリス）の開口径、あるいは、アナログアンプ２１のゲイン等がある。ここで、シャッタスピードとは、受光セルの電荷を排出する、図示しない転送ゲートが閉じ、次に開くまでの時間で定義される。
【００３４】
適正な露光制御値および適正なホワイトバランス値の算出処理は、膨大な画像データを対象とするため、メモリ容量の大きなＲＡＭ１８において行うことが一般的である。
【００３５】
なお、適正なホワイトバランス値の算出処理は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のそれぞれの出力比を演算処理で変えることで達成される。例えば、Ｇの画像データに対して、ＲおよびＢの画像データが突出している場合には、ＲおよびＢの画像データに所定の値を乗ずることで出力比を変更する。この値が先に説明したホワイトバランス値（Ｒ／Ｇ，Ｂ／Ｇ）である。
【００３６】
ステップＳ２０において、メインマイコン１１は、レリーズスイッチの半押しが解除されたか否かを判断する。ステップＳ２０において、リレーズスイッチの半押しが解除されていないと判断された場合、処理は、ステップＳ１０に戻り、それ以降の処理が繰り返される。
【００３７】
ステップＳ２０において、レリーズスイッチの半押しが解除されたと判断された場合、ステップＳ２１において、メインマイコン１１は、リレーズスイッチが全押しされたか否かを判断する。ステップＳ２１において、リレーズスイッチが全押しされていないと判断された場合、処理は、ステップＳ２０に戻り、それ以降の処理が繰り返される。
【００３８】
ステップＳ２１において、リレーズスイッチが全押しされたと判断された場合、ステップＳ２２において、メインマイコン１１は、ステップＳ１６において算出されたフォーカスレンズ群２４の繰り出し量に基づいて、フォーカシングを行う。すなわち、メインマイコン１１は、フォーカスドライバ・位置検出センサ２３を制御して、フォーカスレンズ群２４を駆動し、その位置を位置検出センサでモニターすることで目標位置まで移動させる。そのフォーカス位置では、被写体である人物にピントが合っている。
【００３９】
メインマイコン１１は、ステップＳ２３において、フラッシュ撮影用のシャッタスピードが、被写体までの距離および発光部の種類に合った適正値、例えば１／３０秒となるように撮像素子ドライバ２０を制御することで、固体撮像素子１９は１／３０秒間の露光を開始し、ステップＳ２４において、充電・発光回路２５を制御して、Ｘｅ管２６にフラッシュ発光を行わせ、調光素子２７によって被写体からのフラッシュ光の反射光量をモニターすることで、フラッシュ光の発光停止タイミングを決定し、発光停止を制御する。なお、露光時間内に、発光の停止は完了される。
【００４０】
なお、被写体までの距離および発光部の種類に合ったシャッタスピードの適正値は、EEPROM１４に予め記憶されているので、ステップＳ１５で得られた被写体までの距離情報から容易に設定することができる。
【００４１】
ステップＳ２５において、メインマイコン１１は、露光終了後、固体撮像素子１９からの画像信号をアナログアンプ２１によって増幅させ、Ａ／Ｄコンバータ２２によってデジタル出力に変換させて、画像データとして取り込む。
【００４２】
ＥＥＰＲＯＭ９には、Ｘｅ管２６からのフラッシュ光を使用した場合に、被写体画像が適正な色合いとなるようなホワイトバランス値が予め記憶されており、メインマイコン１１は、ステップＳ２６において、ホワイトバランス値をＥＥＰＲＯＭ９から読み出し、ステップＳ２７において、ＲＡＭ１８上で適正な色バランスにする処理を含む演算処理を施す。演算処理を施された画像データは、調整済み被写体データとしてＲＡＭ１８上に仮保存される。
【００４３】
ステップＳ２２乃至ステップＳ２７において説明した被写体露光において、被写体にはフラッシュ光が届くので、その画像データは適正な値となっているが、被写体よりも遠い背景の画像データは、フラッシュ光が届かず、更に露光時間も適正ではない（短い）ため、黒レベル（画像データの最低値）以下であり、被写体、例えば人物の周囲は黒くなっている。
【００４４】
次に背景に対する露光を行う。背景は被写界深度を考慮しても無限遠の被写体と考えることができ、無限遠付近にピントを合わせることで被写界深度内に背景が入る。
【００４５】
ステップＳ２８において、メインマイコン１１は、フォーカスドライバ・位置検出センサ２３を制御して、無限遠付近にピントが合うようにフォーカスレンズ群２４を移動させる。
【００４６】
ステップＳ２９において、メインマイコン１１は、ステップＳ１９において算出した、背景に対する適正な露光制御値（シャッタスピード、ゲイン）をEEPROM１４から読み出し、適正シャッタスピードとなるように撮像素子ドライバ２０を制御し、また、適正ゲインをアナログアンプ２１に設定する。
【００４７】
ステップＳ３０において、メインマイコン１１は、適正シャッタスピードとなるように撮像素子ドライバ２０を制御して、固体撮像素子１９により背景を撮像する。
【００４８】
ステップＳ３１において、適正シャッタスピードで背景の露光を行った固体撮像素子１９からの画像信号は、アナログアンプ２１によって適正ゲインで増幅され、Ａ／Ｄコンバータ２２によってデジタル出力に変換され、画像データとしてメインマイコン１１に取り込まれる。
【００４９】
メインマイコン１１は、ステップＳ３２において、ステップＳ１９において算出した、背景に対する適正ホワイトバランス値をEEPROM１４から読み出し、ステップＳ３３において、読み出した適正ホワイトバランス値に基づいてＲＡＭ１８上で適正な色バランスにする処理を含む演算処理を施す。演算処理が施された画像データは、調整済み背景データとしてＲＡＭ上に仮保存される。
【００５０】
なお、夜景シンクロモードを使用するような撮影においては、被写体、例えば人物は背景に比べてはるかに暗いことが多い。すなわち、背景は街灯や電飾などで比較的明るいが、そこから離れた人物は暗いという状況が多い。このような状況下で、背景が適正露光となるような露光制御を行うと、人物は、画像データとしては黒レベル（画像データの最低値）以下であり、人物は黒くなっている。
【００５１】
ステップＳ３４において、メインマイコン１１は、ステップＳ２７およびステップＳ３３において得られ、ＲＡＭ１８上に仮保存された調整済み被写体データおよび調整済み背景データを合成する。
【００５２】
上述したように、調整済み被写体データにおいては、被写体部分については適正（ピント、ホワイトバランスが適正）な画像データとなっている。一方、背景部分についてはフラッシュ光が届かないため黒レベル以下の画像データとなっており、調整済み背景データにおいては、被写体部分については黒レベル以下の画像データとなっており、背景部分については適正（ピント、ホワイトバランスが適正）な画像データとなっているので、調整済み被写体データと調整済み背景データとを合成して得られる最終画像データは、被写体部分および背景部分ともに適正（ピント、ホワイトバランスが適正）な画像データとなる。
【００５３】
メインマイコン１１は、ステップＳ３５において、記録媒体１７に記録するため、ＲＡＭ１８上で最終画像データを圧縮し、ステップＳ３６において、圧縮された最終画像データを、記録媒体１７に記録する。画像データは一般的にデータサイズが大きいので、記録媒体１７により多く記録するためにデータ圧縮が行われる。一般的な圧縮方式としてＪＰＥＧ方式を用いる。
【００５４】
ステップＳ３７において、メインマイコン１１は、スイッチ群１３から入力される信号に基づいて、リレーズスイッチが押されていない状態か否かを判断する。ステップＳ３７において、リレーズスイッチが押されている状態であると判断された場合、リレーズスイッチが押されていない状態であると判断されるまで、ステップＳ３７の処理が繰り返される。ステップＳ３７において、リレーズスイッチが押されていない状態であると判断された場合、処理は、ステップＳ１０に戻り、それ以降の処理が繰り返される。
【００５５】
【発明が解決しようとする課題】
しかしながら、特開平１１−２９８９０８に開示されている技術では、ストロボ発光を行わずに撮影した調整済み背景データにおいては、背景が適正露光となるような露光制御を行うと、人物は画像データとしては黒レベル（画像データの最低値）以下であると仮定しているため、例えば、被写体に、ストロボと街灯などの異なる光源から光が照射されているような場合（すなわち、ストロボ発光を行わずに撮影した背景が適正露光であるときに、人物の画像データが黒レベルでない場合）に、最終的に得られる合成画像の色調は、実際と異なったものになってしまう。
【００５６】
本発明はこのような状況に鑑みてなされたものであり、ストロボ光が発光されない状態で、例えば、街灯などの光が照射されている状態の被写体から反射される反射光と、ストロボ光が照射された被写体から反射される反射光とを予め測定し、それぞれの反射光の強度の比に応じて、ホワイトバランス係数を算出し、算出されたホワイトバランス係数を、撮像された画像データに乗算することにより、例えば、夜景をバックに被写体を撮影する場合においても、夜景および被写体それぞれに最適なホワイトバランス調整がなされた撮像データを得ることができるようにするものである。
【００５７】
【課題を解決するための手段】
本発明の画像処理装置は、被写体に対しての光の照射を制御する照射制御手段と、被写体を撮像して得られた画像信号を取り込む取り込み手段と、取り込み手段により取り込まれた画像信号の輝度値を検出する検出手段と、周辺の明るさを測定し、照射制御手段により被写体に対する光の発光を実行するか否かを判断する判断手段と、照射制御手段により、被写体に光が照射されなかった場合に、検出手段によって検出された第１の輝度値と、照射制御手段により、被写体に光が照射された場合に、検出手段によって検出された第２の輝度値に基づいて、被写体に光が照射されなかった場合に撮像された第１の画像信号に対する第１の重み付け係数、および、被写体に光が照射された場合に撮像された第２の画像信号に対する第２の重み付け係数を算出する第１の算出手段と、第１の画像信号に対して、第１の重み付け係数を乗算し、かつ、第２の画像信号に対して、第２の重み付け係数を乗算する乗算手段と、乗算手段により第１の重み付け係数が乗算された第１の画像信号と、乗算手段により第２の重み付け係数が乗算された第２の画像信号とを合成して第３の画像信号を生成する生成手段とを備えることを特徴とする。
【００５８】
検出手段には、取り込み手段により取り込まれた画像信号を、所定の数の領域に分割して、領域毎に、画像信号の輝度値を検出させるようにすることができる。
【００５９】
算出手段には、第１の輝度値および第２の輝度値を、それぞれ隣接する領域毎に補間して、第１の重み付け係数および第２の重み付け係数を算出させるようにすることができる。
【００６０】
第２の輝度値と、所定の輝度値とを比較する比較手段と、第２の画像信号のうち、比較手段により第２の輝度値が所定の輝度値よりも大きいと判断された領域を選択する選択手段とを更に備えさせることができ、生成手段には、第１の重み付け係数が乗算された第１の画像信号と、選択手段により選択され、第２の重み付け係数が乗算された第２の画像信号を合成し、第３の画像信号を生成させるようにすることができる。
【００６１】
判断手段による判断結果にかかわらず、照射制御手段による被写体への光の照射を実行する撮像モードを設定する設定手段と、検出手段により検出された、領域ごとの輝度値と、所定の輝度値とを比較する第１の比較手段と、第１の比較手段により、所定の輝度値より輝度が低いと判断された領域の数を算出する第２の算出手段と、第２の算出手段により算出された領域の数を、第１の領域数、および第１の領域数より大きな第２の領域数と、それぞれ比較する第２の比較手段と、を更に備えさせることができ、設定手段により、撮像モードが設定された場合、照射制御手段により被写体に光が照射されたとき、取り込み手段により取り込まれた第２の画像信号を、撮像された画像データとすることができ、設定手段により、撮像モードが設定されず、かつ、第２の比較手段により、第２の算出手段により算出された領域の数が第１の領域数より小さいと判断された場合、照射制御手段により被写体に光が照射されたとき、取り込み手段により取り込まれた第２の画像信号を、撮像された画像データとすることができ、設定手段により、撮像モードが設定されず、かつ、第２の比較手段により、第２の算出手段により算出された領域の数が第２の領域数より大きいと判断された場合、照射制御手段により被写体に光が照射されないとき、取り込み手段により取り込まれた第１の画像信号を、撮像された画像データとすることができ、設定手段により、撮像モードが設定されず、第２の比較手段により、第２の算出手段により算出された領域の数が第１の領域数より大きく、かつ、第２の領域数より小さいと判断された場合、生成手段により生成された第３の画像信号を、撮像された画像データとすることができる。
【００６２】
本発明の画像処理方法は、被写体に対しての光の照射を制御する照射制御ステップと、被写体を撮像して得られた画像信号を取り込む取り込みステップと、取り込みステップの処理により取り込まれた画像信号の輝度値を検出する検出ステップと、周辺の明るさを測定し、照射制御ステップの処理により被写体に対する光の発光を実行するか否かを判断する判断ステップと、照射制御ステップの処理により、被写体に光が照射されなかった場合に、検出ステップの処理によって検出された第１の輝度値と、照射制御ステップの処理により、被写体に光が照射された場合に、検出ステップの処理によって検出された第２の輝度値に基づいて、被写体に光が照射されなかった場合に撮像された第１の画像信号に対する第１の重み付け係数、および、被写体に光が照射された場合に撮像された第２の画像信号に対する第２の重み付け係数を算出する算出ステップと、第１の画像信号に対して、第１の重み付け係数を乗算し、かつ、第２の画像信号に対して、第２の重み付け係数を乗算する乗算ステップと、乗算ステップの処理により第１の重み付け係数が乗算された第１の画像信号と、乗算ステップの処理により第２の重み付け係数が乗算された第２の画像信号とを合成して第３の画像信号を生成する生成ステップとを含むことを特徴とする。
【００６３】
本発明の記録媒体に記録されているプログラムは、被写体に対しての光の照射を制御する照射制御ステップと、被写体を撮像して得られた画像信号を取り込む取り込みステップと、取り込みステップの処理により取り込まれた画像信号の輝度値を検出する検出ステップと、周辺の明るさを測定し、照射制御ステップの処理により被写体に対する光の発光を実行するか否かを判断する判断ステップと、照射制御ステップの処理により、被写体に光が照射されなかった場合に、検出ステップの処理によって検出された第１の輝度値と、照射制御ステップの処理により、被写体に光が照射された場合に、検出ステップの処理によって検出された第２の輝度値に基づいて、被写体に光が照射されなかった場合に撮像された第１の画像信号に対する第１の重み付け係数、および、被写体に光が照射された場合に撮像された第２の画像信号に対する第２の重み付け係数を算出する算出ステップと、第１の画像信号に対して、第１の重み付け係数を乗算し、かつ、第２の画像信号に対して、第２の重み付け係数を乗算する乗算ステップと、乗算ステップの処理により第１の重み付け係数が乗算された第１の画像信号と、乗算ステップの処理により第２の重み付け係数が乗算された第２の画像信号とを合成して第３の画像信号を生成する生成ステップとを含むことを特徴とする。
【００６４】
本発明の画像処理装置、画像処理方法、および記録媒体に記録されているプログラムにおいては、被写体に対しての光の照射が制御され、被写体を撮像して得られた画像信号が取り込まれ、取り込まれた画像信号の輝度値が検出され、周辺の明るさが測定されて、被写体に対する光の発光を実行するか否かが判断され、被写体に光が照射されなかった場合に検出された第１の輝度値と、被写体に光が照射された場合に検出された第２の輝度値に基づいて、被写体に光が照射されなかった場合に撮像された第１の画像信号に対する第１の重み付け係数、および、被写体に光が照射された場合に撮像された第２の画像信号に対する第２の重み付け係数が算出され、第１の画像信号に対して、第１の重み付け係数が乗算され、第２の画像信号に対して、第２の重み付け係数が乗算され、第１の重み付け係数が乗算された第１の画像信号と、第２の重み付け係数が乗算された第２の画像信号とが合成されて第３の画像信号が生成される。
【００６５】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００６６】
図６は、本発明を適応した、デジタルスチルカメラの構成を示すブロック図である。
【００６７】
光（すなわち、被写体の映像）は、レンズ制御部４２の制御により位置が制御されるレンズ４１、制御部５２から入力される制御信号に従って、その開口径が制御されるアイリス４３、および、ＣＣＤ（Charge Coupled Devices）４６に光が入射されるタイミングを制御するために、制御部５２から入力される制御信号に従って、その開閉タイミングが制御されるシャッタ４５を介して、ＣＣＤ４６に入射する。ＣＣＤ４６は、受光した光の強度を電気信号に変換する。
【００６８】
ＣＣＤ４６は、タイミングジェネレータ４７から供給されるタイミング信号に従って、蓄積された電気信号をＣＤＳ（Correlated Double Sampling（相関二重サンプリング））４６に出力する。ＣＣＤ４６の出力信号に含まれる雑音は、リセット雑音（ＣＣＤ４６が内部に有する、図示しない電荷検出用差動アンプのリセット時に発生）がほとんどであり、ＣＤＳ４６は、このリセット雑音を低減するものである。ＣＣＤ４６の出力波形は、リセット期間、フィールドスルー 期間、信号期間の３つの期間に分けられ、信号期間には映像信号とリセット雑音が、フィールドスルー期間にはリセット雑音のみが存在する。従って、ＣＤＳ４６は、この２つの期間の信号を異なる２つのパルスを用いて各々サンプリングし、その後、両信号を減算することにより、リセット雑音が低減された映像信号を得て、Ａ／Ｄ（Analog to digital）変換部４９に出力する。
【００６９】
Ａ／Ｄ変換部４９は、入力されたＲＧＢのカラーアナログ信号を、デジタル信号に変換して、検波部５０に出力する。ＣＣＤ４６の出力信号はアナログ信号であり、信号処理をデジタルで行う場合、前段にこのＡ／Ｄ変換部４９が必要である。
【００７０】
検波部５０は、制御部５２から入力された制御信号に従って、入力されたＲＧＢのカラーデジタル信号から、図８を用いて後述する検波領域毎に、レンズ４１の制御に必要なデータを検出し、ＲＧＢそれぞれの信号の輝度値や積分値などを算出する。
【００７１】
ＷＢ（White Balance）アンプ５１は、制御部５２から入力された制御信号に従って、入力された画像信号に、ホワイトバランス係数を乗算し、制御部５２に出力する。
【００７２】
制御部５２は、操作部５３を用いてユーザが指令した内容を示す信号や、検波部５０からの、図８を用いて後述する検波領域における検波結果を入力され、各種処理を実行する。例えば、操作部５３に備えられるシャッタボタンが半押しされていることが検出された場合、制御部５２は、図２のステップＳ２乃至ステップＳ９を用いて説明したような、デジタルスチルカメラ３１内部の初期設定を実行し、更に、シャッタスピード、アイリス値、およびホワイトバランス値の最適化、並びに被写体に焦点を合わせるフォーカシングなどを実行する。また、操作部５３に備えられるシャッタボタンが全押しされていることが検出された場合、制御部５２は、図７もしくは図９を用いて後述する処理を実行する。
【００７３】
操作部５３は、例えば、シャッタボタン、その他の操作ボタン、あるいはタッチパネルなどから構成されており、ユーザによって操作され、その操作内容を示す信号を、制御部５２に出力する。測光素子５４は、例えば、フォトダイオードなどからなり、外光の強度を測定し、制御部５２に出力する。
【００７４】
充電・発光制御部５５は、ストロボ５６の発光に必要な電源を充電し、制御部５２から入力される制御信号に基づいて、ストロボ５６の発光を制御する。ストロボ５６は、充電・発光制御部５５から供給された電源により、充電・発光制御部５５の制御に従い、発光する。
【００７５】
記録部５７は、図示しない記録媒体を装着され、制御部５２から供給された画像データを記録媒体に記録する。表示部５８は、例えば、ＬＣＤなどからなり、制御部５２から供給された画像データを表示する。
【００７６】
プログラムＲＯＭ５９には、制御部５２が実行するプログラムが格納されている。外部インターフェース６０は、例えば、ＵＳＢ（Universal Serial Bus）入出力端子などを備え、外部機器とのデータの授受が可能なようになされている。ＲＡＭ６１は、制御部５２の処理において生成されたデータなどを一時保存する。EEPROM６２は、制御部５２が実施する、例えば、レンズ制御部４２、アイリス４３、シャッタ４５、タイミングジェネレータ４７などに対する制御に必要なパラメータを記録している。
【００７７】
また、制御部５２には、ドライブ６３も接続されており、必要に応じて挿入される磁気ディスク７１、光ディスク７２、光磁気ディスク７３、および半導体メモリ７４などとデータの授受を行う。
【００７８】
次に、図７のフローチャートを参照して、図６のデジタルスチルカメラ３１の処理について説明する。なお、図７のステップＳ１以前に、例えば、図２のステップＳ２乃至ステップＳ９を用いて説明したような、デジタルスチルカメラ３１内部の初期設定が実行され、更に、制御部５２によって、シャッタスピード、アイリス値、およびホワイトバランス値の最適化、並びに被写体に焦点を合わせるフォーカシングなどが実行されるが、ここでは、それらの処理は、従来の技術と同様であるため、その説明は省略する。
【００７９】
ステップＳ５１において、制御部５２は、操作部５３から入力される信号に基づいて、シャッタボタンが全押しされたか否かを判断する。ステップＳ５１において、シャッタボタンが全押しされていないと判断された場合、シャッタボタンが全押しされたと判断されるまで、ステップＳ５１の処理が繰り返される。
【００８０】
ステップＳ５１において、シャッタボタンが全押しされたと判断された場合、ステップＳ５２において、測光素子５４は、外光の検波データを取得して、制御部５２に出力する。更に、被写体から照射された、ストロボ５６の発光なしの状態における、例えば、街灯などのストロボ５６以外の光源を反射した反射光は、レンズ４１、アイリス４３、シャッタ４５を介して、ＣＣＤ４６に照射され、ＣＣＤ４６において、電気信号に変換され、ＣＤＳ４６においてノイズが除去され、Ａ／Ｄ変換部４９においてデジタル信号に変換され、検波部５０に入力されるので、検波部５０は、入力されたデジタル画像データから、ストロボ５６の発光なしの状態における検波データを取得する。検波データの取得は、図８を用いて後述する検波領域毎に実行され、検波領域は、所定の数の画素により構成される。ここでは、例えば、縦４画素、横４画素の１６画素で、１検波領域が構成されるものとする。検波領域に含まれる画素数は、１６画素以外の画素数でもよいことは言うまでもない。このようにして測定された、各検波領域の輝度値は、制御部５２に入力され、ＲＡＭ６１に保存される。ここで、検波領域（ｎ，ｍ）の、ストロボ５６が発光されていない場合における輝度値を、Ｙｏ（ｍ，ｎ）とする。
【００８１】
ステップＳ５３において、制御部５２は、ストロボ５６の発光がユーザから指示されているか否か、あるいは、ステップＳ５２における外光の検波データに基づいて、ストロボ５６の発光が必要か否かを判断する。
【００８２】
ステップＳ５３において、ストロボ５６の発光が必要ではないと判断された場合、ステップＳ５４において、制御部５２は、ストロボ５６の発光なし撮像用のパラメータを、EEPROM６２から読み出し、例えば、アイリス４３の絞り値、シャッタ４５の開閉のタイミング、タイミングジェネレータ４７によるＣＣＤ４６の露光時間の設定値、およびＷＢアンプ５１において乗算されるホワイトバランス係数などの各パラメータを設定し、ステップＳ５５において、ストロボ５６の発光なしで撮像し、画像データを取り込み、処理はステップＳ６３に進む。
【００８３】
ステップＳ５３において、ストロボ５６の発光が必要であると判断された場合、ステップＳ５６において、制御部５２は、充電・発光制御部５５を制御し、ストロボ５６にプリ発光を行わせる。ここで、プリ発光直後に、ストロボ５６のフル発光が行われることを考慮し、プリ発光は、フル発光に必要な電源の再充電が必要ないレベルの光量に設定される。ストロボ５６のプリ発光により、被写体から反射された反射光は、レンズ４１、アイリス４３、シャッタ４５を介して、ＣＣＤ４６に照射され、ＣＣＤ４６において、電気信号に変換され、ＣＤＳ４６においてノイズが除去され、Ａ／Ｄ変換部４９においてデジタル信号に変換され、検波部５０に入力される。
【００８４】
ステップＳ５７において、検波部５０は、入力されたデジタル画像データから、プリ発光時の検波データを取得する。また、上述したように、プリ発光は、フル発光よりも低いレベルの光量であるので、得られる輝度値は、プリ発光とフル発光との光量差によって補正される。この補正に用いられる輝度値変換テーブルは、例えば、実験などにより予め測定された値を基に、EEPROM６２に保存させておくようにしてもよい。このようにして測定された、各検波領域の輝度値は、制御部５２に入力され、ＲＡＭ６１に保存される。ここで、検波領域（ｎ，ｍ）の、ストロボ５６が発光された場合の輝度値に変換された値を、Ｙｓ（ｍ，ｎ）とする。
【００８５】
制御部５２は、ステップＳ５８において、ストロボ発光撮像用のパラメータを、EEPROM６２から読み出し、例えば、アイリス４３の絞り値、シャッタ４５の開閉のタイミング、タイミングジェネレータ４７によるＣＣＤ４６の露光時間の設定値、およびＷＢアンプ５１において乗算されるホワイトバランス係数などの各パラメータを設定し、ステップＳ５９において、ストロボ５６を発光させて撮像し、画像データを取り込む。ここで取り込まれたストロボ５６の発光時に撮像された画像データの、座標（ｉ，ｊ）における画素を、Ｇｓ（ｉ，ｊ）とする。
【００８６】
ステップＳ６０およびステップＳ６１において、ステップＳ５４およびステップＳ５５と同様の処理がなされ、ストロボ５６の発光なしで撮像された画像データが取り込まれる。ここで取り込まれたストロボ５６の発光なしで撮像された画像データの、座標（ｉ，ｊ）における画素を、Ｇｏ（ｉ，ｊ）とする。
【００８７】
ステップＳ６２において、制御部５２は、ステップＳ５９およびステップＳ６１において取り込まれた画像データを、ストロボ５６の光と外光の反射光の強度の比に応じた重み付けを行った後に合成する。検波領域（ｎ，ｍ）の画素（Ｉ，Ｊ）における合成画像の画素をＧ（ｉ，ｊ）とすると、画素Ｇ（ｉ，ｊ）は、次の式（１）で表される。
Ｇ（ｉ，ｊ）＝α×Ｇｏ（ｉ，ｊ）＋β×Ｇｓ（ｉ，ｊ）・・・（１）
ただし、式（１）におけるαおよびベータの値は、次の式（２）および式（３）で表される。
α＝Ｙｓ（ｎ，ｍ）／（Ｙｏ（ｍ，ｎ）＋ｙｓ（ｎ，ｍ））・・・（２）
β＝Ｙｏ（ｎ，ｍ）／（Ｙｏ（ｍ，ｎ）＋ｙｓ（ｎ，ｍ））・・・（３）
【００８８】
図８（Ａ）に、ストロボ５６を発光させて撮像した画像データの、重み付け後の画像データの例を示す。検波部５０は、検波領域毎に、その輝度値を検出する。検波領域は、所定の数の画素により構成される。ここでは、縦４画素、横４画素の１６画素で、１検波領域が構成されるものとする。図８（Ａ）の画素Ｇｓ（ｉ，ｊ）は、式（１）の第２項目（β×Ｇｓ（ｉ，ｊ））である。
【００８９】
図８（Ｂ）に、外光のみで撮像した画像の、重み付け後のデータの例を示す。図８（Ａ）の画素Ｇｏ（ｉ，ｊ）は、式（１）の第１項目（α×Ｇｏ（ｉ，ｊ））である。図８（Ｂ）の画像データと、図８（Ａ）の画像データとが合成され、図８（Ｃ）に示される合成画像が得られる。
【００９０】
このようにして合成された画像データは、ストロボ５６の光と外光のそれぞれが照射されている部分に対応する画素が、それぞれ最適なホワイトバランスで処理されているので、全ての撮像領域において、最適な色調を有する画像データとなる。また、ストロボ５６の光が照射されている領域と、外光のみが照射されている領域のそれぞれが、最適な露光値で撮像されるので、撮像された画像データに、暗すぎて、画像が鮮明でない部分や、明るすぎて、サチュレーション（明度が高すぎるため、画像が真っ白になってしまい、鮮明でなくなってしまった状態）を生じることがない。
【００９１】
制御部５２は、ステップＳ５５の処理終了後、もしくはステップＳ６２の処理の終了後、ステップＳ６３において、ステップＳ５５の処理において取り込まれた画像データ、もしくはステップＳ６２の処理により合成された画像データを圧縮し、ステップＳ６４において、圧縮された画像データを記録部５７に出力して、図示しない記録媒体に記録させ、処理が終了される。
【００９２】
また、図８を用いて説明した、隣り合う検波領域において、その輝度値の差が大きい場合、図７を用いて説明した処理によって作成される画像には、検波領域の境界において、色調の変化が発生してしまう場合が考えられる。そこで、隣接する検波領域の輝度値を考慮することにより、撮像された画像データ全域において色調の変化が滑らかになるように、図７のステップＳ６２において演算される重み係数（式（１））を設定するようにしてもよい。
【００９３】
検波領域のサイズ（縦横の画素数）を（Ｓｎ，Ｓｍ）とし、検波領域（ｎ，ｍ）における中心画素の位置を（ｉｃ（ｎ），Ｊｃ（ｍ））とすると、画素（ｉ、Ｊ）における重み係数は、例えば、線形補間を用いた場合、以下の式（４）乃至式（７）を用いて算出することが可能である。
【００９４】
ただし、式（４）および式（５）においては、画素位置（ｉ、Ｊ）において、次の式（８）および式（９）が成り立つ。
ｉｃ（ｎ）≦ｉ＜ｉｃ（ｎ＋１）・・・（８）
ｊｃ（ｎ）≦ｊ＜ｊｃ（ｎ＋１）・・・（９）
【００９６】
そして、式（６）および式（７）を、上述した式（１）に代入して、合成画像を算出することにより、撮像された画像データ全域において、色調の変化が滑らかになる。
【００９７】
また、図７のステップＳ５６において実行されるプリ発光によって得られる輝度値に所定の閾値を設け、図７のステップＳ５９において、ＲＡＭ６１に保存するデータを、画像全体とせず、各検波領域の輝度地が閾値以上である検波領域（すなわち、フラッシュが届いた部分の画像データに対応する検波領域）に対応する画像データのみとするようにしてもよい。このことにより、ＲＡＭ６１の記憶容量を下げることが可能となるため、コストを削減することができ、更に、ステップＳ６２において、合成処理を実行する画像データ量が減少するため、合成処理に要する時間を短縮化することができる。
【００９８】
次に、図９のフローチャートを参照して、本発明を適応したデジタルスチルカメラ３１が実行する処理の、異なる実施の形態について説明する。
【００９９】
ここで、制御部５２には、プリ発光時に得られる検波データの輝度値の閾値Ｙｔと、閾値Ｙｔ以下の輝度値を有する検波領域の数の閾値Ｃｔおよび閾値C’tが設定されている。ここで、検波領域の数の閾値Ｃｔは、例えば、全検波領域数の２割程度とされ、検波領域の数の閾値C’tは、例えば、全検波領域数の８割程度とされるものとする。
【０１００】
ステップＳ８１乃至ステップＳ８３において、図７のステップＳ５１乃至ステップＳ５３と同様の処理が実行され、ステップＳ８３において、ストロボ５６の発光が必要でないと判断された場合、処理は、ステップＳ８７に進む。
【０１０１】
ステップＳ８３において、ストロボ５６の発光が必要であると判断された場合、ステップＳ８４およびステップＳ８５において、図７のステップＳ５６およびステップＳ５７と同様の処理が実行される。
【０１０２】
制御部５２は、ステップＳ８５において、取得された検波データと、閾値Ｙｔを比較する。すなわち、輝度値の閾値Ｙｔ以下の輝度値を有する検波領域は、ストロボ５６の光が届かない領域である。そして、制御部５２は、閾値Ｙｔ以下の輝度値を有する検波領域の数C'sをカウントする。検波領域の数C'sが多い場合、多くの領域にストロボ５６の光が届かないということであり、検波領域の数C'sが少ない場合、多くの領域にストロボ５６の光が届いているということである。
【０１０３】
ステップＳ８６において、制御部５２は、ストロボ５６の発光方法の設定はストロボオートであり、かつ、輝度値の閾値Ｙｔ以下の輝度値を有する検波領域数は、C'sは、C's＞C'tであるか否かを判断する。
【０１０４】
ステップＳ８６において、設定はストロボオート、かつ、輝度値の閾値以下の輝度値を有する検波領域数C's＞C'tであると判断された場合、ストロボ５６を発光させて撮像を行ったとしても、多くの領域にストロボ５６の光が届かないということであるから、ストロボ５６を発光した状態での撮像は行われない。すなわち、ステップＳ８７およびステップＳ８８において、図７のステップＳ５４およびステップＳ５５と同様の処理が実行され、処理は、ステップＳ９５に進む。
【０１０５】
ステップＳ８６において、設定はストロボオート、かつ、輝度値の閾値以下の輝度値を有する検波領域数C's＞C'tではないと判断された場合、多くの領域にストロボ５６の光が届いているか、もしくは、ストロボ５６の強制発光が設定されているかのいずれかであるため、ステップＳ８９およびステップＳ９０において、図７のステップＳ５８およびステップＳ５９と同様の処理が実行される。
【０１０６】
ステップＳ９１において、制御部５２は、設定がストロボ５６の強制発光、もしくは、輝度値の閾値を超えた検波領域数C'sは、C's＜Ｃｔであるか否かを判断する。
【０１０７】
設定はストロボ５６の強制発光、もしくは、輝度値の閾値以下の輝度値を有する検波領域数C's＜Ｃｔであると判断された場合、被写体のほとんどの部分に、ストロボ５６の光が到達している、すなわち、多くの領域（この場合８割以上）の画像データは、ストロボ５６の反射光によって得られた画像データであるか、ユーザによって、ストロボ５６の強制発光による撮像が指示されているので、ストロボ５６の発光なしの状態においての撮像は行われない。すなわち、ステップＳ９１において、設定はストロボ５６の強制発光、もしくは、輝度値の閾値以下の輝度値を有する検波領域数C's＜Ｃｔであると判断された場合、処理は、ステップＳ９５に進む。
【０１０８】
設定はストロボ５６の強制発光、もしくは、輝度値の閾値以下の輝度値を有する検波領域数C's＜Ｃｔのいずれでもないと判断された場合、ストロボ５６の設定は、ストロボオートであり、被写体に対して、ストロボ５６の光が照射される部分と、照射されない部分が混在しているということであるので、ステップＳ９０において撮像し、取り込んだ、ストロボ５６の発光状態における撮像データに加えて、ストロボ５６を発光していない状態における撮像データを得、合成する必要がある。
【０１０９】
従って、ステップＳ９１において、設定はストロボ５６の強制発光、もしくは、輝度値の閾値以下の輝度値を有する検波領域数C's＜Ｃｔのいずれでもないと判断された場合、ステップＳ９２乃至ステップＳ９４において、図７のステップＳ６０乃至ステップＳ６２と同様の処理が実行され、処理は、ステップＳ９５に進む。
【０１１０】
ステップＳ９５およびステップＳ９６において、図７のステップＳ６３およびステップＳ６４と同様の処理が実行され、処理が終了される。
【０１１１】
図９を用いて説明した処理により、ストロボ５６の発光モード、および、撮像される被写体にストロボ５６が照射されるか否かに基づいて、ストロボ５６の発光による撮像ステップ、もしくは、ストロボ５６の発光なしの状態における撮像ステップを実施するか否かを判断することが可能であるため、撮像時間を減少することが可能となる。
【０１１２】
また、図７および図９を用いて説明した処理を、繰り返して実行することにより、同様の効果を有する動画像データを得ることができるようにしてもよい。
【０１１３】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１１４】
この記録媒体は、図６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク７１（フロッピーディスクを含む）、光ディスク７２（CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク７３（ＭＤ(Mini-Disk)を含む）、もしくは半導体メモリ７４などよりなるパッケージメディアなどにより構成される。
【０１１５】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１６】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１１７】
【発明の効果】
本発明の画像処理装置、画像処理方法、および記録媒体に記録されているプログラムによれば、被写体に対しての光の照射を制御し、被写体を撮像して得られた画像信号を取り込み、取り込まれた画像信号の輝度値を検出し、周辺の明るさを測定して、被写体に対する光の発光を実行するか否かを判断し、被写体に光が照射されなかった場合に検出された第１の輝度値と、被写体に光が照射された場合に検出された第２の輝度値に基づいて、被写体に光が照射されなかった場合に撮像された第１の画像信号に対する第１の重み付け係数、および、被写体に光が照射された場合に撮像された第２の画像信号に対する第２の重み付け係数を算出し、第１の画像信号に対して、第１の重み付け係数を乗算し、第２の画像信号に対して、第２の重み付け係数を乗算し、第１の重み付け係数を乗算された第１の画像信号と、第２の重み付け係数が乗算された第２の画像信号とを合成して第３の画像信号を生成するようにしたので、例えば、夜景をバックに被写体を撮影する場合において、被写体に、例えば街灯などの、ストロボ光以外の光源が照射されている場合においても、夜景および被写体それぞれに最適なホワイトバランス調整がなされた撮像データを得ることができる。
【図面の簡単な説明】
【図１】従来のデジタルカメラの構成を示すブロック図である。
【図２】図１のデジタルカメラの処理を説明するためのフローチャートである。
【図３】図１のデジタルカメラの処理を説明するためのフローチャートである。
【図４】図１のデジタルカメラの処理を説明するためのフローチャートである。
【図５】図１のデジタルカメラの処理を説明するためのフローチャートである。
【図６】本発明を適応したデジタルスチルカメラの構成を示すブロック図である。
【図７】図６のデジタルスチルカメラの処理を説明するためのフローチャートである。
【図８】ストロボ撮像時の画像データ、外光のみで撮像した画像データ、および合成された画像データを説明するための図である。
【図９】図６のデジタルスチルカメラの処理を説明するためのフローチャートである。
【符号の説明】
３１ デジタルスチルカメラ， ５０ 検波部， ５１ ＷＢアンプ， ５２制御部， ５５ 充電・発光制御部， ５６ ストロボ，６１ ＲＡＭ， ６２ EEPROM
Claims (7)
- 被写体を撮像して、撮像された画像データを得るにおいて、
前記被写体に対しての光の照射を制御する照射制御手段と、
前記被写体を撮像して得られた画像信号を取り込む取り込み手段と、
前記取り込み手段により取り込まれた前記画像信号の輝度値を検出する検出手段と、
周辺の明るさを測定し、前記照射制御手段により前記被写体に対する光の発光を実行するか否かを判断する判断手段と、
前記照射制御手段により、前記被写体に光が照射されなかった場合に、前記検出手段によって検出された第１の輝度値と、前記照射制御手段により、前記被写体に光が照射された場合に、前記検出手段によって検出された第２の輝度値に基づいて、前記被写体に光が照射されなかった場合に撮像された第１の画像信号に対する第１の重み付け係数、および、前記被写体に光が照射された場合に撮像された第２の画像信号に対する第２の重み付け係数を算出する第１の算出手段と、
前記第１の画像信号に対して、前記第１の重み付け係数を乗算し、かつ、前記第２の画像信号に対して、前記第２の重み付け係数を乗算する乗算手段と、
前記乗算手段により前記第１の重み付け係数が乗算された前記第１の画像信号と、前記乗算手段により前記第２の重み付け係数が乗算された前記第２の画像信号とを合成して第３の画像信号を生成する生成手段と
を備えることを特徴とする画像処理装置。 - 前記検出手段は、前記取り込み手段により取り込まれた前記画像信号を、所定の数の領域に分割して、前記領域毎に、前記画像信号の輝度値を検出する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記算出手段は、前記第１の輝度値および前記第２の輝度値を、それぞれ隣接する前記領域毎に補間して、前記第１の重み付け係数および前記第２の重み付け係数を算出する
ことを特徴とする請求項２に記載の画像処理装置。 - 前記第２の輝度値と、所定の輝度値とを比較する比較手段と、
前記第２の画像信号のうち、前記比較手段により前記第２の輝度値が前記所定の輝度値よりも大きいと判断された前記領域を選択する選択手段と
を更に備え、
前記生成手段は、前記第１の重み付け係数が乗算された前記第１の画像信号と、前記選択手段により選択され、前記第２の重み付け係数が乗算された前記第２の画像信号を合成し、前記第３の画像信号を生成する
ことを特徴とする請求項２に記載の画像処理装置。 - 前記判断手段による判断結果にかかわらず、前記照射制御手段による前記被写体への光の照射を実行する撮像モードを設定する設定手段と、
前記検出手段により検出された、前記領域ごとの輝度値と、所定の輝度値とを比較する第１の比較手段と、
前記第１の比較手段により、前記所定の輝度値より輝度が低いと判断された前記領域の数を算出する第２の算出手段と、
前記第２の算出手段により算出された前記領域の数を、第１の領域数、および前記第１の領域数より大きな第２の領域数と、それぞれ比較する第２の比較手段と、
を更に備え、
前記設定手段により、前記撮像モードが設定された場合、前記照射制御手段により前記被写体に光が照射されたとき、前記取り込み手段により取り込まれた前記第２の画像信号を、撮像された画像データとし、
前記設定手段により、前記撮像モードが設定されず、かつ、前記第２の比較手段により、前記第２の算出手段により算出された前記領域の数が前記第１の領域数より小さいと判断された場合、前記照射制御手段により前記被写体に光が照射されたとき、前記取り込み手段により取り込まれた前記第２の画像信号を、撮像された画像データとし、
前記設定手段により、前記撮像モードが設定されず、かつ、前記第２の比較手段により、前記第２の算出手段により算出された前記領域の数が前記第２の領域数より大きいと判断された場合、前記照射制御手段により前記被写体に光が照射されないとき、前記取り込み手段により取り込まれた前記第１の画像信号を、撮像された画像データとし、
前記設定手段により、前記撮像モードが設定されず、前記第２の比較手段により、前記第２の算出手段により算出された前記領域の数が前記第１の領域数より大きく、かつ、前記第２の領域数より小さいと判断された場合、前記生成手段により生成された前記第３の画像信号を、撮像された画像データとする
ことを特徴とする請求項２に記載の画像処理装置。 - 被写体を撮像して、撮像された画像データを得るの画像処理方法において、
前記被写体に対しての光の照射を制御する照射制御ステップと、
前記被写体を撮像して得られた画像信号を取り込む取り込みステップと、
前記取り込みステップの処理により取り込まれた前記画像信号の輝度値を検出する検出ステップと、
周辺の明るさを測定し、前記照射制御ステップの処理により前記被写体に対する光の発光を実行するか否かを判断する判断ステップと、
前記照射制御ステップの処理により、前記被写体に光が照射されなかった場合に、前記検出ステップの処理によって検出された第１の輝度値と、前記照射制御ステップの処理により、前記被写体に光が照射された場合に、前記検出ステップの処理によって検出された第２の輝度値に基づいて、前記被写体に光が照射されなかった場合に撮像された第１の画像信号に対する第１の重み付け係数、および、前記被写体に光が照射された場合に撮像された第２の画像信号に対する第２の重み付け係数を算出する算出ステップと、
前記第１の画像信号に対して、前記第１の重み付け係数を乗算し、かつ、前記第２の画像信号に対して、前記第２の重み付け係数を乗算する乗算ステップと、
前記乗算ステップの処理により前記第１の重み付け係数が乗算された前記第１の画像信号と、前記乗算ステップの処理により前記第２の重み付け係数が乗算された前記第２の画像信号とを合成して第３の画像信号を生成する生成ステップと
を含むことを特徴とする画像処理方法。 - 被写体を撮像して、撮像された画像データを得るの用のプログラムであって、
前記被写体に対しての光の照射を制御する照射制御ステップと、
前記被写体を撮像して得られた画像信号を取り込む取り込みステップと、
前記取り込みステップの処理により取り込まれた前記画像信号の輝度値を検出する検出ステップと、
周辺の明るさを測定し、前記照射制御ステップの処理により前記被写体に対する光の発光を実行するか否かを判断する判断ステップと、
前記照射制御ステップの処理により、前記被写体に光が照射されなかった場合に、前記検出ステップの処理によって検出された第１の輝度値と、前記照射制御ステップの処理により、前記被写体に光が照射された場合に、前記検出ステップの処理によって検出された第２の輝度値に基づいて、前記被写体に光が照射されなかった場合に撮像された第１の画像信号に対する第１の重み付け係数、および、前記被写体に光が照射された場合に撮像された第２の画像信号に対する第２の重み付け係数を算出する算出ステップと、
前記第１の画像信号に対して、前記第１の重み付け係数を乗算し、かつ、前記第２の画像信号に対して、前記第２の重み付け係数を乗算する乗算ステップと、
前記乗算ステップの処理により前記第１の重み付け係数が乗算された前記第１の画像信号と、前記乗算ステップの処理により前記第２の重み付け係数が乗算された前記第２の画像信号とを合成して第３の画像信号を生成する生成ステップとを含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000176724A JP4360011B2 (ja) | 2000-06-13 | 2000-06-13 | 画像処理装置および画像処理方法、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000176724A JP4360011B2 (ja) | 2000-06-13 | 2000-06-13 | 画像処理装置および画像処理方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001358986A JP2001358986A (ja) | 2001-12-26 |
| JP4360011B2 true JP4360011B2 (ja) | 2009-11-11 |
Family
ID=18678416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000176724A Expired - Fee Related JP4360011B2 (ja) | 2000-06-13 | 2000-06-13 | 画像処理装置および画像処理方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4360011B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4136793B2 (ja) * | 2003-05-29 | 2008-08-20 | キヤノン株式会社 | 撮像装置および撮像装置の制御方法 |
| JP3838243B2 (ja) | 2003-09-04 | 2006-10-25 | ソニー株式会社 | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム |
| JP4735039B2 (ja) * | 2005-05-18 | 2011-07-27 | カシオ計算機株式会社 | ホワイトバランス調整装置、ホワイトバランス調整方法及びプログラム |
| JP4761066B2 (ja) * | 2006-09-22 | 2011-08-31 | 富士フイルム株式会社 | ホワイトバランス補正方法及び撮像装置 |
| JP5665436B2 (ja) * | 2010-09-02 | 2015-02-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5743696B2 (ja) * | 2011-05-06 | 2015-07-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5804857B2 (ja) * | 2011-09-07 | 2015-11-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5854716B2 (ja) * | 2011-09-07 | 2016-02-09 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5804856B2 (ja) * | 2011-09-07 | 2015-11-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5962076B2 (ja) * | 2012-03-06 | 2016-08-03 | カシオ計算機株式会社 | 撮像装置、画像処理方法及びプログラム |
| JP6049343B2 (ja) * | 2012-08-01 | 2016-12-21 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP6021885B2 (ja) * | 2014-12-02 | 2016-11-09 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2000
- 2000-06-13 JP JP2000176724A patent/JP4360011B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001358986A (ja) | 2001-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100868595B1 (ko) | 촬상 장치, 노출 제어 방법, 및 촬상 장치에 저장된 컴퓨터 판독가능한 매체 | |
| TWI331280B (en) | Imaging apparatus and imagine method | |
| US7570883B2 (en) | Image pickup method and apparatus with ISO sensitivity setting variable | |
| JP4761066B2 (ja) | ホワイトバランス補正方法及び撮像装置 | |
| US7813637B2 (en) | Digital camera | |
| US7847859B2 (en) | Exposure control method and imaging apparatus | |
| US7808546B2 (en) | Image processing system, image capturing apparatus and system and method for detecting backlight status | |
| JP3368041B2 (ja) | 撮像装置 | |
| JPH08340542A (ja) | 電子スチルカメラ | |
| US8208804B2 (en) | Imaging apparatus and control method therefor | |
| JP3896438B2 (ja) | デジタルカメラ及びオートホワイトバランス制御方法 | |
| JP4360011B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JPWO2005027510A1 (ja) | 画像処理装置 | |
| US8351779B2 (en) | Image pickup apparatus using light emitting device and method of controlling the same | |
| JP2004157417A (ja) | デジタルカメラ及びそのａｆ制御時の露出設定方法 | |
| JP5048599B2 (ja) | 撮像装置 | |
| JP3967510B2 (ja) | ディジタルカメラ | |
| JP4285668B2 (ja) | 撮像装置及びその露出制御方法並びに記録媒体 | |
| JP4458194B2 (ja) | 撮像装置及びその露出制御方法並びに記録媒体 | |
| JP5316923B2 (ja) | 撮像装置及びそのプログラム | |
| JP3994721B2 (ja) | 画像撮像装置及び方法 | |
| JP2817820B2 (ja) | ビデオカメラ用露出制御装置 | |
| JP2002223386A (ja) | 撮影装置 | |
| JP2005109999A (ja) | ホワイトバランス調整方法およびカメラ | |
| JP2003015179A (ja) | デジタルスチルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090721 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090803 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120821 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130821 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |