JP2008271227A - 撮像装置 - Google Patents

Abstract

【課題】 本発明の目的は、高精度な被写体分離を可能とする撮像装置を提供することである。
【解決手段】 本発明の撮像装置（１１〜２６）は、画像の被写体領域と非被写体領域とを分離するために、閃光条件を変えながら複数の撮影を連続して行い、それによって得られた複数の撮影画像の間の輝度の変化量を求める特定の撮影モードを搭載した撮像装置において、制御手段（２０）を備える。この制御手段（２０）は、複数の撮影画像間における被写体領域の輝度の変化量と非被写体領域の輝度の変化量との乖離量が自動露出撮影モードと同じ露出条件で撮影したときよりも大きくなるように特定の撮影モードの露出条件を制御する。
【選択図】 図１

Description

本発明は、撮影で取得した画像から被写体と非被写体とを分離するための機能を有した撮像装置に関する。以下、画像から被写体と非被写体とを分離することを「被写体分離」と称す。

被写体分離の技術が従来から数多く提案されている。従来技術の一例として、例えば特許文献１には、ストロボ発光撮影とストロボ非発光撮影とを連続して行い、取得した２つの画像の中から輝度が変化する領域を被写体領域として抽出する技術が開示されている。
特開平１０−２１０３４０号公報

しかし、従来技術では、被写体と非被写体（背景など）とが比較的接近している場合などには、前述した２つの画像間における輝度の変化が小さく、被写体領域を正しく抽出できないことがあった。

本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、高精度な被写体分離を可能とする撮像装置を提供することである。

第１の発明の撮像装置は、画像の被写体領域と非被写体領域とを分離するために、閃光条件を変えながら複数の撮影を連続して行い、それによって得られた複数の撮影画像の間の輝度の変化量を求める特定の撮影モードを搭載した撮像装置において、制御手段を備える。この制御手段は、複数の撮影画像間における被写体領域の輝度の変化量と非被写体領域の輝度の変化量との乖離量が自動露出撮影モードと同じ露出条件で撮影したときよりも大きくなるように特定の撮影モードの露出条件を制御する。なお、本明細書でいう露出条件は、絞りと、シャッター速度と、撮影感度との組み合わせを指すものとする。

第２の発明は、第１の発明において、制御手段が、変化量を、複数の撮影画像の間の輝度の差分または比率で求める。

第３の発明は、第１または第２の発明において、制御手段が、特定の撮影モードの絞りを強制的に最大に設定する。

第４の発明は、第１または第２の発明において、制御手段が、特定の撮影モードの絞りを自動露出撮影モードの絞りよりも強制的に大きく設定する。

第５の発明は、第３または第４の発明において、制御手段が、特定の撮影モードで撮影される画像の輝度が自動露出撮影モードで撮影される画像の輝度と同等になるように特定の撮影モードのシャッター速度を絞りと併わせて制御する。

第６の発明は、第１〜第５の発明の何れか一の発明において、制御手段が、特定の撮影モードの撮影感度を、自動露出撮影モードの撮影感度よりも強制的に高く設定する。

第７の発明は、第６の発明において、制御手段が、特定の撮影モードで撮影される画像の輝度が自動露出撮影モードで撮影される画像の輝度と同等になるように特定の撮影モードのシャッター速度を撮影感度と併わせて制御する。

第８の発明は、第１〜第７の発明の何れか一の発明において、制御手段が、前記制御の対象を、複数の撮影のうち最大強度の閃光を伴う撮影に限定する。

第９の発明は、第１〜第８の発明の何れか一の発明において、画像処理手段を更に備える。この画像処理手段は、特定の撮影モードで取得された情報に基づいて画像から被写体領域と非被写体領域とを分離すると共に、分離された被写体領域と非被写体領域とに対して異なる画像処理を施す。

第１０の発明は、第９の発明において、画像処理手段が、分離された非被写体領域に対してボカシ処理を施す。

本発明では、被写体分離を行う際に、閃光条件を変えながら撮影した複数の撮影画像間における被写体領域の輝度の変化量と非被写体領域の輝度の変化量との乖離量が自動露出撮影モードと同じ露出条件で撮影したときよりも大きくなるように露出条件を制御して撮影を行う。従って、本発明を利用すれば、被写体と非被写体（背景など）とが比較的接近している場合でも被写体分離精度を高くすることができ、高精度な被写体分離が可能になる。

図１は、本発明の撮像装置を適用した電子カメラのブロック図である。

電子カメラは、撮像レンズ１１およびレンズ駆動部１２と、絞り１３と、撮像素子１４と、信号処理部１５と、タイミングジェネレータ（ＴＧ）１６と、バッファメモリ１７と、データ処理部１８と、圧縮／復号部１９と、制御部２０と、測光部２１と、モニタ２２と、記録媒体２３と、発光部２４と、操作部２５と、バス２６とを有している。ここで、バッファメモリ１７、データ処理部１８、圧縮／復号部１９、制御部２０、測光部２１、モニタ２２、記録媒体２３は、バス２６を介して接続されている。また、レンズ駆動部１２、絞り１３、信号処理部１５、ＴＧ１６、発光部２４、操作部２５は、それぞれ制御部２０に接続されている。

撮像レンズ１１は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図１では撮像レンズ１１を１枚のレンズとして図示している。

レンズ駆動部１２は、制御部２０の指示に応じてレンズ駆動信号を発生し、撮像レンズ１１を光軸方向に移動させてフォーカス調整やズーム調整を行うと共に、撮像レンズ１１を通過した光束による被写体像を撮像素子１４の受光面に形成する。

絞り１３は、制御部２０の指示に応じてその開口量を調整することで、撮像素子１４の受光面に到達する光束の光量を調整する。

撮像素子１４は、ＣＣＤ型やＣＭＯＳ型の撮像素子であり、撮像レンズ１１の像空間側に配置されている。撮像素子１４は、受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。この撮像素子１４の出力は信号処理部１５に接続されている。

信号処理部１５は、制御部２０の指示に応じて、撮像素子１４から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換、ホワイトバランス調整、色分離（補間）およびガンマ変換などの信号処理を施すと共に、処理後の画像信号を出力する。また、信号処理部１５は、制御部２０の指示に基づいてゲイン調整の調整量を設定し、それによってＩＳＯ感度に相当する撮影感度の調整を行う。なお、信号処理部１５の出力はバッファメモリ１７に接続されている。

ＴＧ１６は、制御部２０の指示に基づき撮像素子１４および信号処理部１５に対してタイミングパルスを供給する。撮像素子１４および信号処理部１５の駆動タイミングはそのタイミングパルスによって制御される。

バッファメモリ１７は、撮影時に信号処理部１５から出力される画像信号を画像データとして一時的に記憶する。また、バッファメモリ１７は、制御部２０による処理の過程で作成された画像データを一時的に記憶する。

データ処理部１８は、制御部２０の指示に応じて、画像データにボカシ処理等の画像処理を施す。

圧縮／復号部１９は、制御部２０の指示に応じて、画像データに圧縮処理を施す。なお、圧縮処理は、ＪＰＥＧ（Joint Photographic Experts Group）形式などによって行われる。

測光部２１は、制御部２０の指示に応じて、バッファメモリ１７に記録された画像データに基づき、多分割測光（マルチパターン測光）、中央部重点測光、スポット測光などの公知の測光方式により被写体や撮影シーン全体の明るさや撮影シーンの明るさ分布を示す評価値を算出する（後述するＥＶ値など）。

モニタ２２は、電子カメラ筐体の背面などに設けられたＬＣＤモニタや、接眼部を備えた電子ファインダなどであり、制御部２０の指示に応じて各種の画像を表示する。

記録媒体２３には、制御部２０によって、圧縮処理後の画像データが記録される。なお、記録媒体２３は、半導体メモリを内蔵したメモリカードや、小型のハードディスクなどである。

発光部２４は、制御部２０の指示に基づき、電子カメラ筐体に設けられたエレクトロニックフラッシュ等を駆動して、被写体を照明するためのストロボ光を被写界に向けて発光する。

操作部２５は、レリーズ釦、撮影モード切替釦などの操作部材を含み、ユーザーによる部材操作の内容に応じた操作信号を制御部２０に送る。

制御部２０は、操作部２５から送られた操作信号に応じて電子カメラの各部を統括制御する。例えば、制御部２０は、電子カメラが撮影モードに設定されると、レンズ駆動部１２、絞り１３およびＴＧ１６を駆動させてスルー画像の撮影を開始する。このとき、撮像素子１４はドラフトモードで駆動され、スルー画像の画像データが信号処理部１５を介してバッファメモリ１７へ順次記録される。制御部２０は、そのスルー画像の画像データを基に、レンズ駆動部１２と協働して撮像レンズ１１の焦点調節制御（ＡＦ）を行う。また制御部２０は、測光部２１を駆動させて、バッファメモリ１７のスルー画像の画像データを基に撮影シーンの評価値を算出させると、その評価値に基づき信号処理部１５などの設定内容を調節する。

撮影時、制御部２０は、測光部２１が算出した評価値に基づきストロボ発光の有無および露出条件を決定すると共に、その決定した条件の下でレンズ駆動部１２、絞り１３、信号処理部１５、ＴＧ１６および発光部２４を駆動させて撮影を行う。シャッター速度の設定は、不図示のメカニカルシャッターの開放時間、撮像素子１４の電荷蓄積時間の少なくとも一方の設定によって行われる。このとき、撮像素子１４はフレームモードで駆動され、撮影された画像の画像データが信号処理部１５を介してバッファメモリ１７へ記録される。制御部２０は、データ処理部１８および圧縮／復号部１９を駆動させて、バッファメモリ１７に記録された画像の画像データに対し画像処理および圧縮処理を施すと共に、それら処理後の画像データを記録媒体２３へ記録する。

以下、本実施形態の電子カメラの被写体分離の動作を、図２の流れ図および図３を参照して説明する。図２のフローは、例えば、電子カメラの動作モードが被写体分離用の撮影モード（以下、「被写体分離モード」と称す）の時に実行される。なお、ここでいう「被写体」は、カメラに近い位置に存在する、ユーザーが撮影したい対象のことであり、「背景」は、被写体よりもカメラから離れた位置に存在し、被写体に比べてストロボ光が届きにくい対象のことである。

（ストロボ発光が不要な撮影シーンの場合のフローの説明）
先ず、撮影シーンがストロボ発光の不要なシーン（例えば、明るいシーンなど）である場合の動作を説明する。図２では、ステップ１０１（Ｓ１０１）〜ステップ１１０（Ｓ１１０）のフローがこれに当る。

ステップ１０１：ユーザーが操作部２５のレリーズ釦を半押しすると、操作部２５が半押し操作信号を制御部２０に送る。制御部２０は、この半押し操作信号を受けると、撮影に先立ち、その時点で測光部２１が算出した評価値に基づき、ストロボ発光が不要な撮影シーンであるか否かを判定する。ストロボ発光が不要な撮影シーンである場合（Ｙｅｓ側）には、制御部２０はステップ１０２に移行し、一方、ストロボ発光が必要な撮影シーンである場合（Ｎｏ側）には、制御部２０はステップ１１１に移行する。

ステップ１０２：制御部２０は、現在の撮影シーンがストロボ発光の不要なシーンであるとの前提で適当な露出条件を決定する。具体的には、自動露出撮影モード用に予め用意されたプログラム線図に基づいて、適正露出に近づけるような露出条件（絞り値およびシャッター速度）を決定する。例えば、撮影シーンが日中の屋外で、かつ電子カメラの撮影感度がＩＳＯ１００に設定されていた場合には、撮影感度「ＩＳＯ１００」に対応したプログラム線図から、測光部２１が算出したＥＶ値（例えば「１２」）に対応する露出条件「絞り値”Ｆ５．６”、シャッター速度”１／１２５秒”」を見出し、これを適当な露出条件とする（図３では、この露出条件を●で示す）。

ステップ１０３：制御部２０は、上記ステップ１０２で決定した露出条件を基に、被写体分離モード用の露出条件として、本撮影の露出条件（本露出条件）と予備撮影の露出条件（予備露出条件）とを決定する。本撮影はストロボ非発光撮影、予備撮影はストロボ発光撮影であり、両者の閃光条件は異なるが、両者の露出条件は基本的に同じである。

ここで、被写体分離モード用の露出条件を決定する原理について、図４を参照しながら説明する。ここでは簡単のため、被写体と背景の反射率が等しく、環境光は被写体と背景とを等強度で照らしていると仮定する。

図４［ａ］は、上記ステップ１０２で決定した露出条件をそのまま被写体分離モード用の露出条件に採用した場合に、撮像素子１４へ入射する各光による露光量を表している。ここで、縦軸で示す光量とは、明るさ即ち単位時間あたりの光量である。図４［ａ］において、（１）は、被写体で反射したストロボ光の光量Ｐs0と、このＰs0をストロボ光の発光時間Ｔs0に亘って積分した露光量Ｓs0とを示している。（２）は、背景で反射したストロボ光の光量Ｐsb0と、これをＴs0に亘って積分した露光量Ｓsb0とを示している。（３）は、被写体または背景で反射した環境光の光量Ｐe0と、これをシャッター速度Ｔe0に亘って積分した露光量Ｓe0とを示している。

ここで、前述したとおり、被写体分離モードの本撮影はストロボ非発光撮影であり、予備撮影はストロボ発光撮影である。この場合、本撮影で得られる画像（本撮影画像）中の被写体の輝度は、環境光による露光量Ｓe0（図４［ａ］（３））で表わされ、予備撮影で得られる画像（予備撮影画像）中の被写体の輝度は、環境光による露光量Ｓe0（図４［ａ］（３））と、被写体で反射したストロボ光による露光量Ｓs0（図４［ａ］（１））との和（Ｓe0＋Ｓs0）で表わされる。したがって、本撮影画像と予備撮影画像との間の被写体の輝度差は、（Ｓe0＋Ｓs0）−Ｓe0＝Ｓs0となる。ここで、輝度とは、画像の明るさを示す。

また、本撮影画像中の背景の輝度は、環境光による露光量Ｓe0（図４［ａ］（３））で表わされ、予備撮影画像中の背景の輝度は、環境光による露光量Ｓe0（図４［ａ］（３））と、背景で反射したストロボ光による露光量Ｓsb0（図４［ａ］（２））との和（Ｓe0＋Ｓsb0）で表わされる。したがって、本撮影画像と予備撮影画像との間の背景の輝度差は、（Ｓe0＋Ｓsb0）−Ｓe0＝Ｓsb0となる。

以上のことから、本撮影画像と予備撮影画像における被写体の輝度差Ｓs0と背景の輝度差Ｓsb0の乖離量は、(Ｓs0−Ｓsb0)で表され、乖離量が大きいほど被写体分離の精度が高まる。

図４［ｂ］は、上記ステップ１０２で決定した露出条件のうち絞りを最大に変更したものを被写体分離モード用の露出条件に採用した場合に、撮像素子１４へ入射する各光の光量を示している。絞りを最大に変更することで、撮像素子１４へ入射する単位時間当たりの光量が、ストロボ光、環境光ともに同じ比率α（α：定数，α＞１）で増加することとなる（Ｐs1＝αＰs0，Ｐsb1＝αＰsb0，Ｐe1＝αＰe0）。このため、被写体で反射したストロボ光による露光量（図４［ｂ］（１））は、α倍に増加してαＳs0となる。これと同様に、背景で反射したストロボ光による露光量（図４［ｂ］（２））および環境光による露光量（図４［ｂ］（３））についても、絞り変更前の量からα倍に増加してαＳsb0、αＳe0となる。

したがって、本撮影画像と予備撮影画像との間の被写体の輝度差および背景の輝度差は、それぞれαＳs0およびαＳsb0で表される。

以上のことから、本撮影画像と予備撮影画像における被写体の輝度差αＳs0と背景の輝度差αＳsb0の乖離量は、α（Ｓs0−Ｓsb0）＝α｛（Ｓs0−Ｓsb0）｝＝α×（絞り変更前の乖離量）で表される。前述したとおりα＞１のため、絞り変更後の乖離量は、絞り変更前の乖離量よりも大きい。よって、絞りを大きくすると、被写体分離の精度は高まる。

但し、絞りを大きくすると露光量が全体的に増加してしまうので、露出オーバーで飽和する画素が増加する可能性がある。そこで、図４［ｃ］に示すように、被写体分離モードの露出条件のシャッター速度を、上記ステップ１０２で決定した露出条件における本撮影画像の輝度と同等になるように、Ｔe1まで速める。本実施例では、シャッター速度を速めることで、環境光による露光量（図４［ｃ］（３））が、図４［ａ］（３）の露光量Ｓe0と等しくなる例を示す。一方、ストロボ光による露光量（図４［ｃ］（１）、（２））は、ストロボ光の発光時間Ｔs0がシャッター速度Ｔe1の時間に比べて短いため、αＳs0およびαＳsb0のままであり減少しない。したがって、シャッター速度を速くしても、本撮影画像と予備撮影画像との間の被写体の輝度差および背景の輝度差は変化することなく、それらの乖離量も変化しない。よって、絞りと共にシャッター速度を制御しても、被写体分離の精度を高めることができる。

以上をまとめると、上記ステップ１０２で決定した露出条件の絞りを大きく変更すれば、撮像素子１４へ単位時間当たりに入射する光量を増やすことができる。この場合、被写体で反射したストロボ光による露光量と、背景で反射したストロボ光による露光量とはそれぞれ同じ比率で大きくなるが、両者の差は拡大する。その結果、２つの撮影画像間の被写体の輝度差と、２つの撮影画像間の背景の輝度差との乖離量は大きくなり、被写体分離の精度が高まる。また、上記ステップ１０２で決定した露出条件における本撮影画像の輝度と同等になるように、絞りを大きくすると共にシャッター速度を速めても、被写体分離の精度を高めることができる。

以上の原理に従い、本ステップでは、上記ステップ１０２で決定した露出条件「絞り値”Ｆ５．６”、シャッター速度”１／１２５秒”」を変更し、被写体分離モード用の露出条件の本露出条件と予備露出条件とを共に「絞り値”最大（Ｆ１．４）”、シャッター速度”１／２０００秒”」に決定する（図３では、この露出条件を○で示す）。

ステップ１０４：ユーザーが、操作部２５のレリーズ釦を、上記ステップ１０１での半押しに続けて全押しすると、操作部２５が全押し操作信号を制御部２０に送る。制御部２０は、この全押し操作信号を受けると、上記ステップ１０３において決定した予備露出条件の下で予備撮影を実施する。但し、この予備撮影では、発光部２４を駆動させて強制的にストロボ光を発光させる。この予備撮影で取得された予備撮影画像の画像データは、バッファメモリ１７に記録される。

ステップ１０５：制御部２０は、上記ステップ１０３において決定した本露出条件の下で本撮影を実施する。この本撮影ではストロボ光は発光させない。この本撮影で取得された本撮影画像の画像データは、バッファメモリ１７の予備撮影画像とは別の領域に記録される。

ステップ１０６：制御部２０は、バッファメモリ１７に記録されている予備撮影画像と本撮影画像の輝度比較を行い、画像間の輝度値の差が所定の閾値を超える領域を被写体領域として抽出し、被写体と背景とを分離するための分離情報を作成する。

ステップ１０７：制御部２０は、上記ステップ１０６で作成した分離情報に基づき、上記バッファメモリ１７の本撮影画像から被写体と背景を分離する。

ステップ１０８：データ処理部１８は、制御部２０からの指示により、背景に対してボカシ処理を施す。ここで、ボカシ処理は、例えば、点拡がり関数のフィルタ演算（畳み込み演算）によって行えるほか、平均化フィルタやガウシアンフィルタなど種々のデジタルフィルタを用いても行える。なお、データ処理部１８は、ボカシ処理が終了すると、制御部２０に割り込み信号を送ってボカシ処理が終了したことを通知する。

ステップ１０９：制御部２０は、データ処理部１８からボカシ処理の終了通知を受けた後、ボカシ処理後の画像をモニタ２２に表示させる。

ステップ１１０：制御部２０は、圧縮／復号部１９を駆動して、ボカシ処理後の画像に対して圧縮処理を施させると共に、圧縮された画像を記録媒体２３に記録する。

（ストロボ発光が必要な撮影シーンの場合のフローの説明）
次に、撮影シーンがストロボ発光の必要なシーン（例えば、暗いシーンなど）である場合の動作を説明する。図２では、ステップ１０１、ステップ１１１〜ステップ１１４およびステップ１０６〜ステップ１１０のフローがこれに当たる。なお、ステップ１１１〜ステップ１１４以外のフローについては、上述したストロボ発光が不要な撮影シーンの場合のフローと同一であるため説明を省略する。

ステップ１１１：制御部２０は、現在の撮影シーンがストロボ発光の必要なシーンであるとの前提でストロボ撮影用の露出条件を決定する。例えば、暗い室内の撮影の場合には、制御部２０は、電子カメラの撮影感度がＩＳＯ１００であれば、露出条件を「絞り値”Ｆ２．８”、シャッター速度”１／３０秒”」に決定する。

ステップ１１２：制御部２０は、上記ステップ１１１で決定した露出条件を基に、被写体分離モード用の露出条件を決定する。本撮影はストロボ発光撮影、予備撮影はストロボ非発光撮影であり、両者の露出条件は基本的に同じである。その決定の原理は、上記ステップ１０３におけるそれと同様である。その結果、本露出条件と予備露出条件とを共に「絞り値”最大（Ｆ１．４）”、シャッター速度”１／１２５秒”」に決定する。

ステップ１１３：ユーザーが、操作部２５のレリーズ釦を、上記ステップ１０１での半押しに続けて全押しすると、操作部２５が全押し操作信号を制御部２０に送る。制御部２０は、この全押し操作信号を受けると、上記ステップ１１２において決定した予備露出条件の下で予備撮影を実施する。この予備撮影ではストロボ光は発光させない。

ステップ１１４：制御部２０は、上記ステップ１１２において決定した本露出条件の下で本撮影を実施する。但し、この本撮影では、発光部２４を駆動させストロボ光を発光させる。この本撮影で取得された本撮影画像の画像データは、バッファメモリ１７の予備撮影画像とは別の領域に記録される。

以上、本実施形態の電子カメラの被写体分離の動作を説明した。

なお、上記での被写体分離モードの絞りを大きくする代わりに、撮影感度を高くしてもよい。撮影感度を高くすると、画像信号の増幅率が大きくなるため、同じ露光量に対する画像の輝度が高くなる。従って、上記ステップ１０２で決定した露出条件のうち、撮影感度を高くするように変更したものを被写体分離モード用の露出条件に採用した場合に、画像中の被写体および背景の輝度が同じ比率β（β：定数，β＞１）で高くなる。

すなわち、前述したステップ１０２で決定した露出条件における、本撮影画像中の被写体の輝度Ｓe0および予備撮影画像中の被写体の輝度（Ｓe0＋Ｓs0）は、撮影感度を高くすることにより、それぞれβＳe0およびβ（Ｓe0＋Ｓs0）となる。同様に、前述したステップ１０２で決定した露出条件における、本撮影画像中の背景の輝度Ｓe0および予備撮影画像中の背景の輝度（Ｓe0＋Ｓsb0）は、撮影感度を高くすることにより、それぞれβＳe0およびβ（Ｓe0＋Ｓsb0）となる。従って、撮影感度変更後の本撮影画像と予備撮影画像との間の被写体の輝度差は、β（Ｓe0＋Ｓs0）−βＳe0＝βＳs0となり、撮影感度変更後の本撮影画像と予備撮影画像との間の背景の輝度差は、β（Ｓe0＋Ｓsb0）−βＳe0＝βＳsb0となる。

以上のことから、撮影感度変更後の本撮影画像と予備撮影画像における被写体の輝度差と背景の輝度差の乖離量は、β（Ｓs0−Ｓsb0）＝β×（撮影感度変更前の乖離量）で表される。前述したとおりβ＞１のため、撮影感度変更後の乖離量は、撮影感度変更前の乖離量よりも大きくなる。従って、撮影感度を高くすると、被写体分離の精度は高まる。ただし、絞りを大きくした場合と同様に、撮影感度を高くしても本撮影画像が露出オーバーになる可能性がある。そこで、絞りを大きくした場合と同様に、上記ステップ１０２で決定した露出条件における本撮影画像の輝度と同等になるようにシャッター速度を速めても、被写体分離の精度を高めることができる。

この撮影感度を高くする方法と絞りを大きくする方法は、それぞれを単独で用いてもよいし、２つを併用してもよい。また、撮影感度を高くする方法と絞りを大きくする方法を併用した場合に、更にシャッター速度を速める方法を組み合わせて使用してもよい。また、通常は絞りを大きくする方法を用いるようにし、絞りの拡大のみでは被写体分離精度を高められなくなった場合に撮影感度を高くする方法を組み合わせて用いるようにしてもよい。

また、上記では、予備撮影と本撮影との２つの撮影の双方で、絞りを大きくする方法または撮影感度を高くする方法を実施するように説明したが、これらの方法の実施は、２つの撮影のうちストロボ発光撮影の方のみに限定してもよい。

また、上記では、撮像素子１４への入射光量の調整を絞り１３の開口量を調節することにより行ったが、絞り１３の開口量を調節する代わりにＮＤフィルタを光路へ挿脱させてもよい。そうした場合、撮像素子１４への入射光量を増やすにはＮＤフィルタを離脱させるか透過率の高いＮＤフィルタを挿入し、絞りを小さくするには透過率の低いＮＤフィルタを挿入するとよい。

また、上記では、被写体分離モード用の露出条件を決定する原理の説明において、ストロボ発光画像とストロボ非発光画像との輝度比較を、輝度の差分に基づいて行ったが、この輝度比較は輝度の比率を用いて行うこともできる。輝度の差分値に基づいて被写体分離を行うと、反射率の高い部分と低い部分とが混在するような被写体では、分離精度が低下する場合がある。そのような場合に輝度の比率に基づいて被写体分離を行うと、比較演算の過程で被写体の反射率が相殺されるため、被写体の反射率に依存しない高精度の分離が可能になる（輝度の比率に基づく輝度比較により被写体を抽出する技術については、特開２００５−１３０２６８号公報で提案がされている）。

以下に、輝度の比率に基づく輝度比較を行う場合の、被写体分離モード用の露出条件を決定する原理について、本撮影がストロボ非発光画像で予備撮影がストロボ発光画像であるような明るいシーンの場合を想定して、図４を参照しながら説明する。

前述したように、上記ステップ１０２で決定した露出条件をそのまま被写体分離モードの露出条件として採用した場合（図４［ａ］参照）、本撮影画像中の被写体の輝度はＳe0，予備撮影画像中の被写体の輝度はＳe0＋Ｓs0，本撮影画像中の背景の輝度はＳe0，予備撮影画像中の背景の輝度はＳe0＋Ｓsb0と、それぞれ表すことができる。従って、本撮影画像と予備撮影画像との間の被写体の輝度比は（Ｓe0＋Ｓs0）／Ｓe0となり、本撮影画像と予備撮影画像との間の背景の輝度比は（Ｓe0＋Ｓsb0）／Ｓe0となる。よって、本撮影画像と予備撮影画像における被写体の輝度比（Ｓe0＋Ｓs0）／Ｓe0と背景の輝度比（Ｓe0＋Ｓsb0）／Ｓe0の乖離量は、｛（Ｓe0＋Ｓs0）／Ｓe0｝−｛（Ｓe0＋Ｓsb0）／Ｓe0｝＝（Ｓs0−Ｓsb0）／Ｓe0で表され、乖離量が大きいほど被写体分離の精度が高まる。

ここで前述したように、上記ステップ１０２で決定した露出条件のうち絞りを最大に変更すると、被写体で反射したストロボ光による露光量，背景で反射したストロボ光による露光量，および環境光による露光量は、共にα（α：定数，α＞１）倍されるため（図４［ｂ］参照）、本撮影画像中の被写体の輝度はαＳe0，予備撮影画像中の被写体の輝度はα（Ｓe0＋Ｓs0），本撮影画像中の背景の輝度はαＳe0，予備撮影画像中の背景の輝度はα（Ｓe0＋Ｓsb0）と、それぞれ表すことができる。ただし前述したように、絞りを大きくすると本撮影画像が露出オーバーになる可能性があるため、上記ステップ１０２で決定した露出条件における本撮影画像の輝度と同等になるように、被写体分離モードのシャッター速度を速める（図４［ｃ］（３）では、シャッター速度をＴe0からＴe1に速めることで、環境光による露光量が、図４［ａ］（３）の露光量Ｓe0と等しくなる例を示す）。その場合、環境光による露光量は、シャッター速度を速めることによりＴe1／Ｔe0（＝1／α）に減少するが、ストロボ光による露光量（図４［ｃ］（１），（２）参照）は、ストロボ光の発光時間Ｔs0がシャッター速度Ｔe1に比べて短いため、図４［ｂ］（１），（２）から変化しない。

すなわち、図４［ｃ］の状況では、本撮影画像中の被写体の輝度はＳe0，予備撮影画像中の被写体の輝度はＳe0＋αＳs0，本撮影画像中の背景の輝度はＳe0，予備撮影画像中の背景の輝度はＳe0＋αＳsb0と、それぞれ表すことができる。従って、本撮影画像と予備撮影画像との間の被写体の輝度比は（Ｓe0＋αＳs0）／Ｓe0となり、本撮影画像と予備撮影画像との間の背景の輝度比は（Ｓe0＋αＳsb0）／Ｓe0となる。

以上のことから、本撮影画像と予備撮影画像における被写体の輝度比（Ｓe0＋αＳs0）／Ｓe0と背景の輝度比（Ｓe0＋αＳsb0）／Ｓe0の乖離量は、｛（Ｓe0＋αＳs0）／Ｓe0｝−｛（Ｓe0＋αＳsb0）／Ｓe0｝＝α×｛（Ｓs0−Ｓsb0）／Ｓe0｝＝α×（図４［ａ］の露出条件における乖離量）で表される。ここで、前述したようにα＞１のため、絞りおよびシャッター速度変更後の乖離量は、絞りおよびシャッター速度変更前の乖離量よりも大きくなり、被写体分離の精度を高めることができる。

（本実施形態の作用効果）
以上、本実施形態の電子カメラでは、被写体分離を行う時に、撮影条件の絞りが、自動露出撮影モードの露出条件の絞りよりも大きくなるように変更されるので、撮像素子へ単位時間当たりに入射するストロボ光の光量が増加し、被写体が反射したストロボ光による露光量と背景が反射したストロボ光による露光量との差が拡大する。これにより、ストロボ発光画像とストロボ非発光画像との間における被写体領域の輝度差と背景領域の輝度差との乖離量が拡大されるため、被写体分離の精度が高められる。この被写体分離の精度は、変更後の絞りが最大（開放）の場合に最も高くなるが、少なくとも自動露出撮影モードの露出条件の絞りよりも大きくすることで、改善効果が得られる。

また、本実施形態の電子カメラでは、被写体分離を行う時の撮影感度が、自動露出撮影モードの露出条件の撮影感度よりも高くなるように変更されるので、画像信号が増幅され、結果としてストロボ発光画像とストロボ非発光画像との間における被写体領域の輝度差と背景領域の輝度差との乖離量が拡大されて、被写体分離の精度が高められる。

また、本実施形態の電子カメラでは、自動露出撮影モードで撮影される画像の輝度と同等になるように、絞りの変更および／又は撮影感度の変更に併せてシャッター速度が制御される。これにより、露出オーバーとならず、飽和画素が増加しない為、被写体分離の精度が高められる。

また、本実施形態の電子カメラでは、輝度の差分に基づいてストロボ発光画像とストロボ非発光画像との輝度比較を行い、被写体を分離する場合のみでなく、輝度の比率に基づいてストロボ発光画像とストロボ非発光画像との輝度比較を行い、被写体を分離する場合においても、その分離精度を高めることができる。

したがって、本実施形態の電子カメラでは、被写体分離が高精度に行われる。

（その他）
なお、上記ステップ１０３で決定する被写体分離モード用の予備露出条件についてはシャッター速度の変更は行わなくてもよい。なぜなら、予備撮影画像は観賞用の本撮影画像とは異なり、被写体分離での輝度比較以外には用いられないため、露出オーバーの画像となっても構わないからである。

また、上記では、先ずステップ１０４およびステップ１１３で予備撮影を、次にステップ１０５およびステップ１１４で本撮影を実施する例を説明したが、これらの撮影の実施順序は逆であってもよい。

また、上記ステップ１０４での予備撮影は、ストロボ光の強度を変えながら複数回実施してもよい。そして予備撮影を複数回実施した場合には、上記ステップ１０６での輝度比較は、本撮影画像は用いずに、ストロボ光の強度がそれぞれ異なる複数枚の予備撮影画像だけを用いて行ってもよい。

また、上記ステップ１０６での予備撮影画像と本撮影画像の輝度比較は、画素単位で行ってもよく、また複数画素から成る領域の単位で行ってもよい。

また、上記ステップ１０７では、被写体と背景を分離した後に、その分離状況をモニタ２２に表示してユーザーに確認させる処理を実行するようにしてもよい。そして、分離状況の確認の際にユーザーが分離処理のやり直しを指示した場合には、被写体の領域を抽出するための閾値を別の値に変更して再度ステップ１０６〜ステップ１０７の被写体分離の処理を実行するようにしてもよい。さらに、これら一連の処理は、ユーザーが望む結果が得られるまで繰り返して実行してもよい。

また、上記ステップ１０６において、輝度比較によって得られる被写体と背景の分離情報を、本撮影画像とともに記録媒体２３に記録するようにし、上記ステップ１０７〜ステップ１１０の処理は実行せずに終了してもよい。そして、そのようにした場合には、電子カメラの動作モードが画像再生モードなどの非撮影モードの時に、記録媒体２３の分離情報と本撮影画像とを用いて上記ステップ１０７〜ステップ１１０の処理を実行するようにしてもよい。

また、上記ステップ１０６〜ステップ１１０の処理の一部または全部については、電子カメラに実行させるかわりにコンピュータ等の外部処理装置に実行させてもよい。

また、上記ステップ１０８では、画像処理の一例として背景にボカシ処理を施す例を示したが、画像処理はこれに限定されず、ボカシ処理以外に、明るさ補正処理，コントラスト強調処理，鮮鋭化処理など、様々な処理を適用することができる。

また、前述の画像処理は、被写体のみに施してもよく、また背景のみに施してもよく、更には被写体と背景の双方に施してもよい。被写体と背景の双方に画像処理を施す場合は、被写体と背景にそれぞれ異なる画像処理を施すことが望ましい。例えば、被写体には鮮鋭化処理を、背景にはボカシ処理をそれぞれ施したり、被写体には背景より弱いボカシ処理を施したり、被写体には背景より強いコントラスト強調処理や鮮鋭化処理を施すことが望ましい。

また、上記ステップ１０９では、画像処理後の画像をＬＣＤモニタ等に表示させた後に、ユーザーから画像処理のやり直しの指示を受け付けるようにしてもよい。そしてユーザーがやり直しを指示した場合には、画像処理の条件（例えば、ボカシ処理の場合には、ボカシ処理の強弱など）を変更して上記ステップ１０８〜ステップ１０９の処理を再度実行するようにしてもよい。さらに、これら一連の処理は、ユーザーが望む結果が得られるまで繰り返して実行してもよい。

なお、上記では、撮影画像から被写体と背景を分離する例を示したが、被写体と前景を分離したり、被写体，背景，及び前景を同時に分離してもよい。

本発明の撮像装置を適用した電子カメラのブロック図である。 本実施形態の電子カメラの被写体分離の動作を示す流れ図である。 日中屋外シーンにおける、自動露出撮影モードの適正露出条件と、被写体分離モードの露出条件との関係の一例を説明する図である。 被写体分離モード用の露出条件を決定する原理を説明する図である。

符号の説明

１１…撮像レンズ，１２…レンズ駆動部，１３…絞り，１４…撮像素子，１５…信号処理部，１６…タイミングジェネレータ（ＴＧ），１７…バッファメモリ，１８…データ処理部，１９…圧縮／復号部，２０…制御部，２１…測光部，２２…モニタ，２３…記録媒体，２４…発光部，２５…操作部，２６…バス

Claims (10)

1. 画像の被写体領域と非被写体領域とを分離するために、閃光条件を変えながら複数の撮影を連続して行い、それによって得られた複数の撮影画像の間の輝度の変化量を求める特定の撮影モードを搭載した撮像装置において、
   前記被写体領域の前記変化量と前記非被写体領域の前記変化量との乖離量が自動露出撮影モードと同じ露出条件で撮影したときよりも大きくなるように前記特定の撮影モードの露出条件を制御する制御手段を備える
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記制御手段は、前記変化量を、前記複数の撮影画像の間の輝度の差分または比率で求める
   ことを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記制御手段は、前記特定の撮影モードの絞りを強制的に最大に設定する
   ことを特徴とする撮像装置。
4. 請求項１または請求項２に記載の撮像装置において、
   前記制御手段は、前記特定の撮影モードの絞りを前記自動露出撮影モードの絞りよりも強制的に大きく設定する
   ことを特徴とする撮像装置。
5. 請求項３または請求項４に記載の撮像装置において、
   前記制御手段は、前記特定の撮影モードで撮影される画像の輝度が前記自動露出撮影モードで撮影される画像の輝度と同等になるように前記特定の撮影モードのシャッター速度を前記絞りと併わせて制御する
   ことを特徴とする撮像装置。
6. 請求項１〜請求項５の何れか一項に記載の撮像装置において、
   前記制御手段は、前記特定の撮影モードの撮影感度を、前記自動露出撮影モードの撮影感度よりも強制的に高く設定する
   ことを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記制御手段は、前記特定の撮影モードで撮影される画像の輝度が前記自動露出撮影モードで撮影される画像の輝度と同等になるように前記特定の撮影モードのシャッター速度を前記撮影感度と併わせて制御する
   ことを特徴とする撮像装置。
8. 請求項１〜請求項７の何れか一項に記載の撮像装置において、
   前記制御手段は、前記制御の対象を、前記複数の撮影のうち最大強度の閃光を伴う撮影に限定する
   ことを特徴とする撮像装置。
9. 請求項１〜請求項８の何れか一項に記載の撮像装置において、
   前記特定の撮影モードで取得された情報に基づき、前記画像から前記被写体領域と前記非被写体領域とを分離すると共に、前記被写体領域と前記非被写体領域とに対して異なる画像処理を施す画像処理手段を更に備える
   ことを特徴とする撮像装置。
10. 請求項９に記載の撮像装置において、
    前記画像処理手段は、前記非被写体領域に対してボカシ処理を施す
    ことを特徴とする撮像装置。
    
    

Images