JP4270638B2 - 撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画像処理機能を備えた撮像装置に関する。
【０００２】
【従来の技術】
いわゆるビデオカメラは言うまでもなく、近年普及するに至ったメモリカード等を記録媒体としたディジタルカメラに代表される、主として静止画の記録装置として構成された電子スチルカメラなど、撮像素子を用いて被写体像を撮影し電気信号の形で記録する電子撮像装置は広く知られている。
【０００３】
電子撮像装置は、その信号が電気回路によって処理可能であることから、その記録画像の生成に際しては画質向上のための様々な画像処理が行われているが、通常は旧来の銀塩フィルムカメラシステムの画質に対して未だ劣ることの多いその画質を補うに留まっている。
【０００４】
これに対して、画質向上のための画像処理を行うに際して、領域によって異なる処理を施せば様々な可能性が広がる。このような観点から試みられている技術もいくつかは存在している。例えば特開平８−５１６３２号公報には、ストロボ撮影画像と外光のみでの撮影画像との輝度比較に基づいて、ストロボ撮影画像のホワイトバランス制御をブロック単位で処理する、領域対応型ホワイトバランス処理技術が開示されている。また、特開平５−２９２５２４号公報には肌色部分を検出し、輪郭強調度を他の部分よりも下げて肌を滑らかに表現する方法が開示されている。また、特開平７−４６６２１号公報には同様に肌色部分を検出し、その部分の輝度を向上させてくすみを改善する階調補正手段について開示がなされている。これらの公報開示の技術は、それぞれ個別の技術課題を解決するためのものであり、その解決に当たっては必要に応じて領域対応型処理が施されている。
【０００５】
【発明が解決しようとする課題】
ところで、一般にストロボ撮影を行うと、照明による被写体照度は被写体までの距離の２乗に反比例するため、人物などの主要被写体に対して背景が暗くなり、被写体輝度分布のダイナミックレンジすなわち画像の要求ダイナミックレンジが極端に大きくなる。画像の要求ダイナミックレンジが大きいということは、暗部の黒潰れや明部の白飛びが多く生じるということであり好ましくない。これは階調特性を寝かせると改善されるが、画像のコントラストが弱くなり好ましくない。主要な被写体を含むと思われる輝度域の階調は保ち、他の輝度域の階調だけを寝かせるという方法も知られているが、いずれにせよ全画面領域に対して一様な階調補正を行うのみでは、上記のような画質劣化は本質的には救いきれない。
【０００６】
この問題に対して、画面の領域毎に異なる画像処理を許容すれば補正の可能性が生じるが、具体化された提案はなされていない。僅かに関連するものとして、上記特開平７−４６６２１号公報には領域適応的に階調特性を異ならしめる処理方法が提案されているが、その提案技術における課題、構成並びに効果は、上記ストロボ撮影時における課題とは全く異なっており、この公報開示の技術によって上記問題点を解決することはできない。
【０００７】
なお、上記問題点に対して別の面から解決をはかった撮影術として、いわゆる日中シンクロ撮影すなわち外光を併用したストロボ撮影があるが、これについても外光照度が比較的低いときには露光時間を長くせざるを得ず（これはマクロ撮影のような、被写界深度をかせぐために特に絞り込みが必要になるような場合、特に顕著である）、手ぶれに起因する画像ぶれを生じるため、使用可能な撮影状況が限られるといった問題点を有していた。
【０００８】
本発明は、従来の撮像装置における上記問題点を解消するためになされたもので、ストロボ撮影において主要被写体と背景との双方に適正な階調補正を行うことにより、より高画質の画像が記録できるようにした撮像装置を提供することを目的とする。請求項毎の目的を述べると、請求項１〜３に係る発明は、主要被写体領域と背景領域とを弁別し各領域毎に異なる階調補正を行うことが可能で、背景領域に対してのみコントラストを減じる一律な階調処理を行えるようにした撮像装置を提供することを目的とする。また請求項４に係る発明は、異なる階調補正を行った主要被写体領域と背景領域による一つの画像を生成できるようにした撮像装置を提供することを目的とする。また請求項５に係る発明は、請求項４に係る発明において画像生成に際して画像合成等の処理を必要としない撮像装置を提供することを目的とする。また請求項６に係る発明は、請求項４又は５に係る発明において照明装置による照射と外光の寄与がどの程度かを考慮して主要被写体領域と背景領域とを弁別できるようにした撮像装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、撮像した画像の情報に基づいて、記録等の利用対象画像の画像領域全体から主要被写体領域と背景領域とを弁別して領域設定する領域設定手段と、該領域設定手段により設定された前記主要被写体領域と背景領域に対して異なる階調特性を付与する領域対応型階調補正手段とを備え、該領域対応型階調補正手段は、前記主要被写体領域と背景領域のうち背景領域に対してのみコントラストを減じる一律な階調処理を行うようにして撮像装置を構成するものである。
【００１０】
請求項２に係る発明は、請求項１に係る撮像装置において、前記背景領域に対して行うコントラストを減じる階調処理は、所定のオフセットを加算するのみの処理であることを特徴とするものである。
【００１１】
請求項３に係る発明は、請求項１又は２に係る撮像装置において、被写体照明装置を含む露出手段と、該露出手段を制御する露出制御手段とを更に有し、前記領域設定手段による主要被写体領域と背景領域との弁別は、少なくとも前記照明装置による照射を行って撮像した画像の情報に基づいて行うように構成されていることを特徴とするものである。
【００１２】
このように構成した請求項１及び３に係る発明によれば、主要被写体領域と背景領域とを弁別して各領域を設定し、各領域毎に異なる階調補正を行うことができ、高画質の画像を記録することが可能な撮像装置を実現することができ、また背景領域に対してのみコントラストを減じる一律な階調処理を行うことにより、記録等の利用対象画像は、明るく霞んだような背景中に主要被写体がくっきり浮かび上がる、例えばポートレート等に好適な画像とすることが可能となり、更にコントラスト拡大処理に伴う問題であるノイズの増幅による画像劣化が生じない等の効果が得られる。また、請求項２に係る発明によれば、請求項１に係る発明の奏する効果に加えて階調補正処理を簡易に行うことができるという効果が得られる。
【００１３】
請求項４に係る発明は、請求項３に係る撮像装置において、前記照明装置による照射を行って撮像した画像である第１の画像と、該第１の画像とは別の外光に起因する露光成分を実質的に含む露出条件で撮像した第２の画像との２画像のうちの一つを選択することによって、又はこれらの２画像を合成することによって、前記記録等の利用対象画像である第３の画像を生成する記録画像生成手段を更に備え、前記領域対応型階調補正手段は、前記記録画像生成手段による前記第３の画像の生成過程において、前記主要被写体領域と背景領域に対して異なる階調特性の付与を行うように構成されていることを特徴とするものである。
【００１４】
このように構成することにより、異なる階調補正を行った主要被写体領域と背景領域による一つの画像を生成することができ、したがって例えばストロボ撮影においても主要被写体と背景との双方がそれぞれ充分なコントラストを有する一つの画像を得ることや、領域によって異なる階調補正を積極的に応用した従来のフィルムカメラでは達成できなかった進展した映像表現を可能とする撮像装置を実現することができる。
【００１５】
請求項５に係る発明は、請求項４に係る撮像装置において、前記露出制御手段は、前記第１の画像の撮像に当たっては外光の影響を排除するために、実質露光時間を前記第２の画像の撮像時よりも小さくし、前記記録画像生成手段は前記第２の画像を選択することにより前記第３の画像を生成するように構成されていることを特徴とするものである。このように構成することにより、利用対象の画像生成に際して画像合成等の処理を必要としないので、回路や制御等を簡単にすることができる。
【００１６】
請求項６に係る発明は、請求項４又は５に係る撮像装置において、前記露出制御手段は、前記第１の画像の撮像と前記第２の画像の撮像とが同じ露出値になるように前記露出手段を制御し、前記領域設定手段は前記第１の画像と前記照明装置による照射を伴わずに撮像した第２の画像との比較に基づいて前記主要被写体領域の弁別設定を行うように構成されていることを特徴とするものである。このように構成することにより、照明装置による照射と外光の寄与がどの程度かを具体的に考慮して主要被写体領域と背景領域とを弁別することが可能となり、背景が主要被写体に比較的近い場合にも対応させることができる。
【００１７】
【発明の実施の形態】
次に実施の形態について説明する。図１は、本発明に係る撮像装置（ディジタルカメラ）の実施の形態を示すブロック構成図である。図１において、１はレンズ系、２はレンズ駆動機構、３は露出制御機構、４はフィルタ系、５はＣＣＤ撮像素子、６はＣＣＤドライバ、７はＡ／Ｄ変換器を含むプリプロセス回路、８はディジタルプロセス回路で、ハードとしてメモリを含み、全てのディジタルプロセス処理を行うものである。９はメモリカードインターフェース、10はメモリカード、11はＬＣＤ画像表示系、12は主たる構成としてマイコンを含むシステムコントローラ、13は操作スイッチ系、14は表示用ＬＣＤ及び発音ブザーを含む操作表示系、15はストロボ、16はレンズドライバ、17は露出制御ドライバである。なお、撮像装置には、この他に図示しないレリーズボタンなどが設けられている。
【００１８】
このように構成されているディジタルカメラにおいて、主要な動作である領域の弁別設定、階調補正処理、画像の選択又は合成による利用対象画像である記録画像の生成等は、全てディジタルプロセス回路８をシステムコントローラ12が制御することによって行い、また必要に応じてシステムコントローラ12は露出制御ドライバ17を制御することで、ストロボ発光も含めた露出動作を行うようになっている。また本実施の形態に係るディジタルカメラは、撮影モードとして従来の撮影に相当するノーマルモードと、本発明の実施の形態独自の階調補正モードとを切り換え可能に有しており、操作スイッチ13によって撮影に先立ち、これを切り換え選択することができるようになっている。また、以下の説明におけるカメラ制御は、全てシステムコントローラ12が各部を適宜制御することによって実行される。
【００１９】
次に、このように構成されている実施の形態の動作について説明する。階調補正モードにおいて撮影者がレリーズボタンを操作すると、まず１回目の露光がストロボ照射を伴って行われる。このとき絞り及びシャッタの制御については、領域判別処理の方法によっていくつか態様が考えられるが、本実施の形態においては、本撮影の露出値にかかわらず絞りは開放、露出時間はストロボ発光時間を下回らない範囲で最短時間に設定される。そして、ストロボ発光光量は公知のフラッシュマチックや測光等の技術により適正に調光させるようになっている。絞りを開放にすることで、ストロボ光の到達限界をより長くすることができ、また露出時間を短くすることで外光の影響を低下させることができる。このとき得られた画像を第１画像とする。なお、以下において背景は主要被写体より充分遠方にあるものと仮定する。したがって、背景に到達するストロボ光は主要被写体に比して充分小さい。
【００２０】
上記１回目の露光に引き続き２回目の露光を、本来意図した露出条件で直ちに行う。ただし、この際ストロボ発光は行わない。このとき得られた画像を第２画像とする。通常の撮影においては、この２回の露光間の時間差を充分小さく設定すれば被写体の変化は無視し得るから、以下の説明においては第１，第２画像は実用上全く同じ構図の画像が得られたものとして説明する。また本実施の形態のカメラの階調補正モードにおいては、本露光時の露出時間の設定については、いわゆる手ぶれ限界シャッタ速以上の高速（短時間）になるようにリミッタがかけられており、これによって手ぶれに起因する画像ぶれが生じないようにされている。このため、通常の室内程度の照度下での撮影では、背景の輝度レベルはあまり大きくなり得ない。
【００２１】
ここで、第２画像が図２の（Ａ）に示すような画像であるとすれば、第１画像は図２の（Ｂ）に示すように背景部がほぼ暗黒になった画像のようになる。なお、図２の（Ａ）において背景の斜線は、レベルが低いことを表現している。すなわち、上記した如く第１画像においては露出時間が最短に設定されているから、外光による露光はほとんど無視できる。また背景は遠方にあるから、ストロボによる露光レベルは小さい。この第１画像に対して、画素単位で所定レベルに対するレベル比較を行い、所定レベル以上である画素位置を主要被写体領域として登録し、他の所定レベル未満の画素位置を背景領域として登録する。先に外光による露光はほとんど無視できると述べたが、現実には若干の露光はあり得るし、ストロボによる背景露光も存在するから、このレベル比較処理によって、この影響を確実に除去するものである。なお、上記１回目の露出の際のストロボ調光レベルを、通常撮影におけるそれよりも高めに設定すれば、主要被写体における低反射率部分に対する誤判別の可能性を低減することができ、この比較処理における領域設定をより確実なものにすることができる。
【００２２】
次に、記録画像を生成するための画像合成を行う。すなわち、上記第１画像の主要被写体領域の画像と、上記第２画像の背景領域の画像とを組み合わせて、最終的な一つの記録画像とする。この合成の過程で、それぞれの領域抜き出し画像に対して独立に階調補正を行う。第１画像の主要被写体領域抜き出し画像については、ストロボ光のみによる適正露光（外光かぶりがないから白飛びが生じにくい、あるいは生じないように制御することも可能である）が与えられているはずなので本来補正は不要であるが、必要に応じて後記第２画像と同様の処理を施してもよい。
【００２３】
第２画像の背景領域抜き出し画像については、他の条件が許す範囲の外光と比較的小さいストロボ光の合成照明による露光となっているから、その輝度ヒストグラムは多くの場合低輝度側に集中しており、低輝度低コントラスト状態になっている。したがって、これに例えばヒストグラムの分布が記録系の輝度レンジに対して充分に広がった分布を持つような、〔例えば振幅＝最大値−最小値が輝度レンジにほぼ等しくなるような１次補正：ｙ＝ａｘ−ｂ（ｘ：補正前の入力輝度信号レベル、ｙ：補正後の出力輝度信号レベル）を一律に施すなど〕、それ自体は公知のコントラスト拡大補正を施す。
【００２４】
この結果生成された記録画像は、主要被写体と背景との双方がそれぞれ充分なコントラストを有する一つのストロボ撮影画像となる。そして最後に、生成された記録画像が適宜圧縮等の処理を受けて、メモリカード10に記録される。このように本実施の形態によれば、ストロボ撮影において主要被写体と背景との双方に適正な階調補正が行われ、より高画質な画像が記録できる撮像装置が得られる。
【００２５】
以上本発明について上記実施の形態に基づいて説明を行ったが、上記実施の形態には様々な変形例が考えられる。第１の変形例としては、露光の処理に関するものが挙げられる。上記実施の形態では、第１の画像の露光に際して外光を排除すべく設定したが、背景が上記で仮定したよりも近くに存在するような場合は、誤動作を生じる可能性がある。これに対処するには、第１露光と第２露光で外光に対する露出レベルを等しくし、領域設定の場合の条件として、２画像のレベル比較を行うことが考えられる。このようにすることにより、ストロボ光と外光の寄与がどの程度かを具体的に考慮して主要被写体と背景とを弁別することが可能になる。具体例として、ストロボ光の寄与度が外光のそれ以上である領域を主要被写体とするケースを挙げておく。この際に重要なのは、あくまでも露出レベルであるから、絞り値・露光時間個別の値自体は、露出値ＥＶ（Exposure Value）一定の条件のもとであれば、任意に設定可能である。ストロボ発光の無駄を押さえ到達距離を伸ばす観点からは、より絞りを開く制御が一つの好適例となる。
【００２６】
第２の変形例としては、第１露光及び領域設定処理は、上記実施の形態と同様に行い、第２露光に際してもストロボを発光させて、本来目的とする本露光の露出条件で行うものが挙げられる。この場合、記録画像の生成にあたっては、第１の画像を用いず、第２の画像に対して主要被写体と背景で領域毎に異なる上記実施の形態と同様の階調補正を行うことが可能であるため、画像合成等の処理を必要としない。
【００２７】
第３の変形例としては、露光は１回のみ、ストロボを発光させて本来目的とする本露光の露出条件で行うものが挙げられる。この場合は、本露光における外光の利用をある程度以下に制限するなどカメラの使用制限は生じるが、上記実施の形態と同様の領域設定方法を用いて領域を設定し、上記第２の変形例で示したような当該一つの撮影画像に対して上記実施の形態と同様の階調補正を行うことが可能である。この変形例は、特にマクロ撮影機能を有するカメラにおけるマクロモード等に利用価値が高い。
【００２８】
第４の変形例としては、上記ストロボ撮影時の画質劣化の防止のみならず、更に積極的に一般撮影も含めた新規な映像表現に適用可能な次に示すような例が挙げられる。すなわち、露光の処理に関しては上記実施の形態又は第１の変形例と同様に行うが、本露光としての撮影目的画像はストロボを使用しない第２画像を選択する場合である。すなわち、通常の外光のみでの撮影による画像は、先に述べたような「ストロボ撮影に伴う画質劣化」を生じてはいないが、設定された領域毎の階調補正を施すことで、従来は得られなかった効果的な画像を生成しうる。
【００２９】
すなわち、ここで示す第４の変形例は、背景のコントラストを減じる階調処理を行うものである。第２画像の主要被写体領域抜き出し画像については、外光による適正露光が与えられているはずなので本来補正は不要であるが、必要に応じて上記実施の形態のようなコントラスト拡大補正を施してもよい。これに対して第２画像の背景領域抜き出し画像については、絵柄的な要素を別にすれば主要被写体領域と同様のコントラスト状態が撮像時点で得られている。これを、例えばヒストグラムの分布が記録系の輝度レンジの特定の一部分、具体的には中輝度〜やや高輝度の部分に集中するような分布になるように（例えば最大値が最大輝度レベルの３／５，最小値が最大輝度レベルの４／５にほぼ等しくなるような１次補正：ｙ＝ａｘ＋ｂを一律に施すなど）、それ自体は公知のコントラスト低下補正を施す。この結果生成された記録画像は、明るく霞んだような背景中にくっきり浮かび上がる主要被写体といった例えばポートレート等に好適な画像となる。勿論この第４の変形例のような処理手法は、ストロボを用いた本撮影に対しても同様に有効であることは言うまでもない。
【００３０】
次に第５の変形例としては、次のような例が挙げられる。すなわち、上記実施の形態における第２画像の背景領域抜き出し画像についての階調補正処理に、上記第４の変形例のような階調処理（簡易的には適当なオフセットを加えるだけの処理も採用しうる）を施せば、第４の変形例と同様の効果を有するものが得られる。このとき上記実施の形態のようなコントラスト拡大処理に伴う問題であるノイズの増幅による画質劣化が生じないという見逃せない効果も得られる。
【００３１】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、ストロボ等の被写体照明装置を用いた撮影において主要被写体と背景との双方に適正な階調補正を行うことにより、より高画質な画像が記録できる撮像装置を実現することができる。特に請求項１及び３に係る発明によれば、主要被写体領域と背景領域とを弁別して各領域を設定し、各領域毎に異なる階調補正を行うことができるので、高画質の画像を記録することが可能な撮像装置を実現することができ、また背景領域に対してのみコントラストを減じる一律な階調処理を行うことにより、記録等の利用対象画像は、明るく霞んだような背景中に主要被写体がくっきり浮かび上がる、例えばポートレート等に好適な画像とすることが可能となり、更にコントラスト拡大処理に伴う問題であるノイズの増幅による画像劣化が生じない等の効果が得られる。また、請求項２に係る発明によれば、請求項１に係る発明の奏する効果に加えて階調補正処理を簡易に行うことができるという効果が得られる。また請求項４に係る発明によれば、異なる階調補正を行った主要被写体領域と背景領域による一つの画像を生成することができるので、ストロボ撮影においても主要被写体と背景との双方がそれぞれ充分なコントラストを有する一つの画像を得ることや、領域によって異なる階調補正を積極的に応用した従来のフィルムカメラでは達成できなかった進展した映像表現が可能となる。また請求項５に係る発明によれば、画像生成に際して画像合成等の処理を必要としないから、回路や制御等を簡単にすることができる。また請求項６に係る発明によれば、照明装置による照射と外光の寄与がどの程度かを具体的に考慮して主要被写体領域と背景領域とを弁別することが可能となるので、背景が主要被写体に近い場合においても適切に対応させることができる。
【図面の簡単な説明】
【図１】 本発明に係る撮像装置の実施の形態を示すブロック構成図である。
【図２】 ストロボ照射（発光）を伴わない露光による第２画像とストロボ照射を伴う露光による第１画像を示す概略図である。
【符号の説明】
１ レンズ系
２ レンズ駆動機構
３ 露出制御機構
４ フィルタ系
５ ＣＣＤ撮像素子
６ ＣＣＤドライバ
７ プリプロセス回路
８ ディジタルプロセス回路
９ メモリカードインターフェース
10 メモリカード
11 ＬＣＤ画像表示系
12 システムコントローラ
13 操作スイッチ系
14 操作表示系
15 ストロボ
16 レンズドライバ
17 露出制御ドライバ

Claims (6)

1. 撮像した画像の情報に基づいて、記録等の利用対象画像の画像領域全体から主要被写体領域と背景領域とを弁別して領域設定する領域設定手段と、該領域設定手段により設定された前記主要被写体領域と背景領域に対して異なる階調特性を付与する領域対応型階調補正手段とを備え、
   該領域対応型階調補正手段は、前記主要被写体領域と背景領域のうち背景領域に対してのみコントラストを減じる一律な階調処理を行うように構成されていることを特徴とする撮像装置。
2. 前記背景領域に対して行うコントラストを減じる階調処理は、所定のオフセットを加算するのみの処理であることを特徴とする請求項１に係る撮像装置。
3. 被写体照明装置を含む露出手段と、該露出手段を制御する露出制御手段とを更に有し、前記領域設定手段による主要被写体領域と背景領域との弁別は、少なくとも前記照明装置による照射を行って撮像した画像の情報に基づいて行うように構成されていることを特徴とする請求項１又は２に係る撮像装置。
4. 前記照明装置による照射を行って撮像した画像である第１の画像と、該第１の画像とは別の外光に起因する露光成分を実質的に含む露出条件で撮像した第２の画像との２画像のうちの一つを選択することによって、又はこれらの２画像を合成することによって、前記記録等の利用対象画像である第３の画像を生成する記録画像生成手段を更に備え、前記領域対応型階調補正手段は、前記記録画像生成手段による前記第３の画像の生成過程において、前記主要被写体領域と背景領域に対して異なる階調特性の付与を行うように構成されていることを特徴とする請求項３に係る撮像装置。
5. 前記露出制御手段は、前記第１の画像の撮像に当たっては外光の影響を排除するために、実質露光時間を前記第２の画像の撮像時よりも小さくし、前記記録画像生成手段は前記第２の画像を選択することにより前記第３の画像を生成するように構成されていることを特徴とする請求項４に係る撮像装置。
6. 前記露出制御手段は、前記第１の画像の撮像と前記第２の画像の撮像とが同じ露出値になるように前記露出手段を制御し、前記領域設定手段は前記第１の画像と前記照明装置による照射を伴わずに撮像した第２の画像との比較に基づいて前記主要被写体領域の弁別設定を行うように構成されていることを特徴とする請求項４又は５に係る撮像装置。

Images