JP4142199B2 - 撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画像処理機能を備えた撮像装置に関する。
【０００２】
【従来の技術】
いわゆるビデオカメラは言うまでもなく、近年普及するに至ったメモリカード等を記録媒体としたディジタルカメラに代表される、主として静止画の記録装置として構成された電子スチルカメラなど、撮像素子を用いて被写体像を撮影し電気信号の形で記録する電子撮像装置は広く知られている。
【０００３】
電子撮像装置は、その信号が電気回路によって処理可能であることから、その記録画像の生成に際しては画質向上のための様々な画像処理が行われているが、通常は旧来の銀塩フィルムカメラシステムの画質に対して未だ劣ることの多いその画質を補うに留まっている。
【０００４】
これに対して、画質向上のための画像処理を行うに際して、領域によって異なる処理を施せば様々な可能性が広がる。このような観点から試みられている技術もいくつかは存在している。例えば特開平８−５１６３２号公報には、ストロボ撮影画像と外光のみでの撮影画像との輝度比較に基づいて、ストロボ撮影画像のホワイトバランス制御をブロック単位で処理する、領域対応型ホワイトバランス処理技術が開示されている。また、特開平５−２９２５２４号公報には肌色部分を検出し、輪郭強調度を他の部分よりも下げて肌を滑らかに表現する方法が開示されている。また、特開平７−４６６２１号公報には同様に肌色部分を検出し、その部分の輝度を向上させてくすみを改善する階調補正手段について開示がなされている。これらの公報開示の技術は、それぞれ個別の技術課題を解決するためのものであり、その解決に当たっては必要に応じて領域対応型処理が施されている。
【０００５】
【発明が解決しようとする課題】
ところで、電子撮像装置が使用する撮像素子のイメージエリアは、銀塩フィルムの代表的フレームフォーマットであるライカ版（ダブルフレーム）は勿論、ハーフサイズ（シングルフレーム）やＡＰＳ（Advanced Photo System)に比して極めて小さいのが通例である。これは半導体製造における歩留まり向上の要請から生じる必然的な状況である。そして、撮像光学系の縦倍率は横倍率の２乗に比例するため、同画角における被写界深度は、他の条件が同じときにはイメージエリアサイズが小さければ小さいほど深くなる。このため、電子撮像装置によって得られた画像は、銀塩カメラによって得られた画像に比して極めてパンフォーカス的印象の画像になり、いわゆるポートレート撮影等には不向きとなり易いという問題があった。
【０００６】
この問題に対処するために、画像処理技術を利用することが考えられる。すなわち、フィルムカメラにおけるポートレート撮影は、中望遠レンズを使用し人物に対して背景を大きくぼかすことによって達成されるから、被写体領域によって異なる処理を行って背景だけをぼかすことができれば、フィルムカメラ類似のポートレート効果を持つ画像が得られる可能性がある。
【０００７】
しかし、従来このような手法を具体的に実現し得る技術は提案されていなかった。僅かに関連するものとして、上記特開平５−２９２５２４号公報には領域適応的に周波数特性を異ならしめる処理について記載がなされているが、該公報開示の技術の課題、構成、効果は上記ポートレート効果を得るという課題とは全く異なっており、この公報開示の技術によっては上述のようなフィルムカメラ類似のポートレート効果を得ることはできない。
【０００８】
本発明は、従来の撮像装置における上記問題点を解消するためになされたもので、撮像画像の見掛け上の被写界深度を画像処理によって調節し、例えばフィルムカメラ類似のポートレート効果などを簡単に得ることが可能な撮像装置を提供することを目的とする。各請求項毎の目的を述べると、請求項１に係る発明は、光学系では生じ得ない画像となってしまう不具合の発生を阻止しながら記録画像の見掛け上の被写界深度を画像処理によって調節することの可能な撮像装置を提供することを目的とする。請求項２に係る発明は、光学系では生じ得ない画像となってしまう不具合の発生を阻止することができると共に、処理や操作が極めて簡単な撮像装置を提供することを目的とする。また請求項３に係る発明は、請求項２に係る撮像装置において、主要被写体領域と背景領域の設定を容易に行えるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、撮像画像に対して設定された画像全体領域の一部分たる各部分領域に関して、該各部分領域相互の処理の優先関係を判断する優先関係判断手段と、被写体撮像によって得られた一つ又は複数の撮影画像について、前記優先関係判断手段の判断に基づいて前記各部分領域に対してそれぞれ異なるフィルタ処理を行い、また前記優先関係判断手段の判断に基づいて最終的な記録対象たる記録画像を生成することにより、当該記録画像の見かけ上の被写界深度を調節する被写界深度調節手段を備えて撮像装置を構成するものである。
【００１０】
このように構成することにより、画像の処理に際して、各部分領域の処理の優先関係に基づいてフィルタ処理を行い、また最終的な記録対象たる記録画像が生成されるので、光学系では生じ得ない画像となってしまう不具合の発生を阻止しながら、記録画像の見掛け上の被写界深度を画像処理によって調節することができる。すなわち、上記のような構成をとることによって、被写体の任意の部分に対して異なるぼけを撮影後に付与することができ、例えば主要被写体である人物はそのままにして背景だけを大きくぼかすことができる。その際、単純にこれを実行すると、ぼかすことにより画像が広がるため、背景画像のぼけが人物画像に重なる現象が生じ、光学系では生じ得ない画像となってしまうが、本発明においては各部分領域の優先関係に基づいてフィルタ処理を行い、また記録画像を生成するようにしているので、主要被写体領域以外の背景領域だけにぼけ画像を配置させることにより、このような不具合の発生を防止することができる。
【００１１】
請求項２に係る発明は、撮像画像に設定された画像全体領域に対して主要被写体領域と背景領域とを弁別して領域設定する領域設定手段と、被写体撮像によって得られた一つ又は複数の撮影画像から最終的な記録対象たる一つの画像を生成する記録画像生成手段とを備え、該記録画像生成手段は、前記撮像画像から前記主要被写体領域の画像を主要被写体画像として抜き出す主要被写体画像抜き出し手段と、前記撮像画像から前記背景領域の画像を背景画像として抜き出した後に所定のデフォーカス処理を施してデフォーカス背景画像として出力する画像処理手段とを有していて、前記主要被写体領域には前記主要被写体画像を、前記背景領域にはデフォーカス背景画像を配置したものを前記記録画像として生成するようにして撮像装置を構成するものである。
【００１２】
このように構成した撮像装置においては、主要被写体領域と背景領域とを弁別して領域設定処理を行うようにしているので、請求項１に係る発明と同様に光学系では生じ得ない画像となってしまう不具合を生じることがなく、且つ処理や操作が極めて簡単な撮像装置を実現することができる。
【００１３】
請求項３に係る発明は、請求項２に係る撮像装置において、前記領域設定手段は、被写体に対する照明装置による照明を行って撮像した撮影画像の情報に基づいて前記領域設定を行うように構成されていることを特徴とするものである。このように照明装置を利用して被写体領域の弁別設定を行うようにしているので、極めて簡単に領域設定が可能となる。
【００１４】
【発明の実施の形態】
次に実施の形態について説明する。図１は、本発明に係る撮像装置（ディジタルカメラ）の実施の形態を示すブロック構成図である。図１において、１はレンズ系、２はレンズ駆動機構、３は露出制御機構、４はフィルタ系、５はＣＣＤ撮像素子、６はＣＣＤドライバ、７はＡ／Ｄ変換器を含むプリプロセス回路、８はディジタルプロセス回路で、ハードとしてメモリを含み、全てのディジタルプロセス処理を行うものである。９はメモリカードインターフェース、10はメモリカード、11はＬＣＤ画像表示系、12は主たる構成としてマイコンを含むシステムコントローラ、13は操作スイッチ系、14は表示用ＬＣＤ及び発音ブザーを含む操作表示系、15はストロボ、16はレンズドライバ、17は露出制御ドライバである。なお、撮像装置には、この他に図示しないレリーズボタンなどが設けられている。
【００１５】
このように構成されているディジタルカメラにおいて、主要な動作である優先領域の判別、フィルタ処理、画像の切り出し、記録画像の生成等は、全てディジタルプロセス回路８をシステムコントローラ12が制御することによって行い、また必要に応じてシステムコントローラ12は露出制御ドライバ17を制御することで、ストロボ発光も含めた露出動作を行うようになっている。また本実施の形態に係るディジタルカメラは、撮影モードとして従来の撮影に相当するノーマルモードと、本発明の実施の形態独自のポートレートモードとを切り換え可能に有しており、操作スイッチ13によって撮影に先立ち、これを切り換え選択することができるようになっている。また、以下の説明におけるカメラ制御は、全てシステムコントローラ12が各部を適宜制御することによって実行される。
【００１６】
次に、このように構成されている実施の形態の動作について説明する。図２の（Ａ）は、撮影によって取り込まれた撮影画像の例であって、主要被写体である人物と、背景として後方に位置する家屋及び草花がいずれもほぼ鮮明に捕らえられている。これに対して、図２の（Ｂ）は本実施の形態に係るディジタルカメラのポートレートモードにおいて画像処理された最終目標画像の一例であり、従来のフィルムカメラにおいて中望遠レンズを使用して撮影した画像と同じく、背景が大きくボケているものである。
【００１７】
ポートレートモードにおいて撮影者がレリーズボタンを操作すると、まず１回目の露光がストロボ照射を伴って行われる。このとき絞り及びシャッタの制御については、領域判別処理の方法によっていくつか態様が考えられるが、本実施の形態においては、本撮影の露出値にかかわらず絞りは開放、露出時間はストロボ発光時間を下回らない範囲で最短時間に設定される。そして、ストロボ発光光量は公知のフラッシュマチックや測光等の技術により適正に調光させるようになっている。絞りを開放にすることで、ストロボ光の到達限界をより長くすることができ、また露出時間を短くすることで外光の影響を低下させることができる。このとき得られた画像を第１画像とする。なお、以下において背景は主要被写体より充分遠方にあるものと仮定する。したがって、背景に到達するストロボ光は主要被写体に比して充分小さい。
【００１８】
上記１回目の露光に引き続き２回目の露光を、本来意図した露出条件（ストロボ使用の有無も含めた露出条件）で直ちに行う。このとき得られた画像を第２画像とする。通常のポートレート撮影においては、この２回の露光間の時間差を充分小さく設定すれば被写体の変化は無視し得るから、以下の説明においては第１，第２画像は実用上全く同じ構図の画像が得られたものとして説明する。
【００１９】
ここで、第２画像が図２の（Ａ）に示すような画像であるとすれば、第１画像は図２の（Ｃ）に示すように背景部がほぼ暗黒になった画像のようになる。なお、図２の（Ｃ）においては図示の都合で背景部が明部的に表現されている。すなわち、上記した如く第１画像においては露出時間が最短に設定されているから、外光による露光はほとんど無視できる。また背景は遠方にあるから、ストロボによる露光レベルは小さい。この第１画像に対して、画素単位で所定レベルに対するレベル比較を行い、所定レベル以上である画素位置を主要被写体領域として登録し、他の所定レベル未満の画素位置を背景領域として登録する。先に外光による露光はほとんど無視できると述べたが、現実には若干の露光はあり得るし、ストロボによる背景露光も存在するから、このレベル比較処理によって、この影響を確実に除去するものである。なお、上記１回目の露出の際のストロボ調光レベルを、通常撮影におけるそれよりも高めに設定すれば、主要被写体における低反射率部分に対する誤判別の可能性を低減することができ、この比較処理における領域設定をより確実なものにすることができる。
【００２０】
続いて第２画像のうち、上記背景領域の画像だけを抜き出して所定量のデフォーカス処理を行う。デフォーカス処理は、具体的には２次元ガウス型ローパスフィルタ処理を公知のディジタルフィルタリングによって行うものである。光学系のボケに近づける意味で上記フィルタ処理を採用しているが、処理系の負担を考慮して、任意のフィルタ処理を採用することができる。簡易的には１次元処理でもよい。このデフォーカス処理時点で得られる中間的な画像を示したのが図２の（Ｄ）（図示の都合で主要被写体部が明部的に表現されている）である。ここで、上記背景画像だけを抜き出したことには大きな意味があり、全体画像に対してデフォーカス処理を行うと、主要被写体の画像のボケが広がって一部が背景領域に重なってしまう。このような画像を用いて後述の記録画像生成を行うと、光学系ではあり得ない画像となる（図示は省略）ためポートレート画像としては成り立たない。
【００２１】
次に、記録画像生成としての画像合成を行う。すなわち、第１画像の主要被写体領域の画像と、上記デフォーカス処理を施した中間的な背景画像のうち背景領域のみを抜き取った画像とを組み合わせて、最終的な一つの記録画像とする。この結果、上記図２の（Ｂ）に示すような画像が得られる。この画像合成の際も、単に主要被写体領域の画像と上記中間的な背景画像とを加算するなどの方法では、背景画像のボケが主要被写体領域に広がった図２の（Ｅ）に示すような光学系ではあり得ない画像となるため、ポートレート画像としては成り立たない。（なお、本願発明とは課題の異なる従来例（特開平５−２９２５２４号公報）に記載の領域適応的に周波数特性を異ならしめる処理技術を、本発明の課題解決のために単純に適用した場合にも、得られる画像はこの図２の（Ｅ）に示すようなものとなる。）
【００２２】
そして最後に、生成された記録画像が、適宜圧縮等の処理を受けてメモリカード10に記録される。このように本実施の形態によれば、ストロボを効果的に利用してごく簡単な方法で確実に主要被写体領域と背景領域とを設定することができ、撮影者は従来のカメラ操作と同じくレリーズボタンを操作するだけで、所望の銀塩カメラ類似のポートレート撮影に適した画像を記録することができる。
【００２３】
以上本発明について上記実施の形態に基づいて説明を行ったが、上記実施の形態には様々な変形例が考えられる。例えば、上記実施の形態のようにストロボを用いるのではなく、例えば被写体領域全体に対する個別測距を行い、その距離データによって主要被写体領域と背景領域を設定することも可能である。
【００２４】
また、被写体領域は主要被写体領域と背景領域に２分するのみではなく、任意の数の領域に拡張することが可能である。例えば、上記個別測距によって３つ以上の適当な領域を設定することが可能であり、仮に前景、中景、後景の３つの領域を設定した場合は、「前景に対しては他の２景は背景、中景に対しては後景が背景」という見做しで、上記実施の形態と同様の各処理を施して、且つ中景よりも後景のデフォーカス度合いをより大きくすれば、前景を主要被写体としたポートレートにおいて更に好適な画像が得られる。すなわち、上記主要被写体と背景の関係は、上記実施の形態の処理において考慮される優先関係の一例となっているものである。
【００２５】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、撮影画像の見掛け上の被写界深度を画像処理によって調節し、例えばフィルムカメラ類似のポートレート効果などを簡単に得ることが可能な撮像装置を実現することができる。特に請求項１に係る発明によれば、光学系では生じ得ない画像となってしまう不具合の発生を阻止しながら、記録画像の見掛け上の被写界深度を画像処理によって調節することができる。また請求項２に係る発明によれば、光学系では生じ得ない画像となってしまう不具合の発生を阻止することができると共に処理や操作が極めて簡単な撮像装置を実現することができる。また請求項３に係る発明によれば、照明装置を利用して被写体領域の弁別設定を行うように構成しているので、極めて簡単に領域設定が可能となる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の実施の形態を示すブロック構成図である。
【図２】図１に示した実施の形態による撮影画像、処理画像及び参照画像を示す概略図である。
【符号の説明】
１ レンズ系
２ レンズ駆動機構
３ 露出制御機構
４ フィルタ系
５ ＣＣＤ撮像素子
６ ＣＣＤドライバ
７ プリプロセス回路
８ ディジタルプロセス回路
９ メモリカードインターフェース
10 メモリカード
11 ＬＣＤ画像表示系
12 システムコントローラ
13 操作スイッチ系
14 操作表示系
15 ストロボ
16 レンズドライバ
17 露出制御ドライバ

Claims (3)

1. 撮像画像に対して設定された画像全体領域の一部分たる各部分領域に関して、該各部分領域相互の処理の優先関係を判断する優先関係判断手段と、被写体撮像によって得られた一つ又は複数の撮影画像について、前記優先関係判断手段の判断に基づいて前記各部分領域に対してそれぞれ異なるフィルタ処理を行い、また前記優先関係判断手段の判断に基づいて最終的な記録対象たる記録画像を生成することにより、当該記録画像の見かけ上の被写界深度を調節する被写界深度調節手段を備えていることを特徴とする撮像装置。
2. 撮像画像に設定された画像全体領域に対して主要被写体領域と背景領域とを弁別して領域設定する領域設定手段と、被写体撮像によって得られた一つ又は複数の撮影画像から最終的な記録対象たる一つの画像を生成する記録画像生成手段とを備え、該記録画像生成手段は、前記撮像画像から前記主要被写体領域の画像を主要被写体画像として抜き出す主要被写体画像抜き出し手段と、前記撮像画像から前記背景領域の画像を背景画像として抜き出した後に所定のデフォーカス処理を施してデフォーカス背景画像として出力する画像処理手段とを有していて、前記主要被写体領域には前記主要被写体画像を、前記背景領域にはデフォーカス背景画像を配置したものを前記記録画像として生成するように構成されていることを特徴とする撮像装置。
3. 前記領域設定手段は、被写体に対する照明装置による照明を行って撮像した撮影画像の情報に基づいて前記領域設定を行うように構成されていることを特徴とする請求項２に係る撮像装置。

Images