JP2011109492A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】主被写体に焦点を合わせて背景をぼかす撮影の操作性を向上する。
【解決手段】光学像を光電変換する撮像素子１０４と、操作部１１３と、撮像素子からの画像信号にローパスフィルタリング処理を施す信号処理部１０７と、操作部が操作された際の主被写体と背景の距離に対応する情報を取得する距離取得部１０１ａと、操作部が操作された後に距離が変化したとき、距離の変化による背景のボケ量の変化が抑制されるように、光量を調節する絞り１０３ｂの絞り値と信号処理部によるローパスフィルタリング処理に使用されるローパスフィルタリング特性を設定する制御部１０１と、を有する。
【選択図】図２

Description

本発明は、撮像装置及び画像処理方法に関する。

主被写体に焦点を合わせて背景をぼかす撮影手法において、背景をぼかすためには絞りの開口径を大きくする必要がある。しかし、絞りの開口径は撮像素子の大きさにより決定される有限値であるため、ある一定以上ぼかすことができない。これ以上ぼかす手法として、画像データの距離情報を取得して、距離に応じて画像処理でローパスフィルタリング処理を行い、被写界深度の浅い画像を生成する方法が提案されている（特許文献１及び２）。

特開２００７−１５８５７５号公報 特開２００８−２６３４１３号公報

しかしながら、ユーザーがカメラを操作したり、主被写体が動いたりすると背景のボケの状態は変化するため、ユーザーは撮影するたびにボケの状態を調節する作業が必要となる。

そこで、本発明は、主被写体に焦点を合わせて背景をぼかす撮影の操作性を向上することができる撮像装置及び画像処理方法を提供することを例示的な目的とする。

本発明の撮像装置は、光学像を光電変換する撮像素子と、操作部と、前記撮像素子からの画像信号にローパスフィルタリング処理を施す信号処理部と、前記操作部が操作された際の主被写体と背景の距離に対応する情報を取得する取得部と、前記操作部が操作された後に前記距離が変化したとき、当該距離の変化による前記背景のボケ量の変化が抑制されるように、光量を調節する絞りの絞り値と前記信号処理部によるローパスフィルタリング処理に使用されるローパスフィルタリング特性を設定する制御部と、を有することを特徴とする。

本発明によれば、主被写体に焦点を合わせて背景をぼかす撮影の操作性を向上する撮像装置及び画像処理方法を提供することができる。

本実施例のデジタルビデオカメラ（撮像装置）のブロック図である 背景のボケ量を固定する方法を説明するためのフローチャートである。 主被写体と背景被写体と錯乱円の関係を示す図である。

図１は、本実施例のデジタルビデオカメラ（撮像装置）のブロック図である。デジタルビデオカメラは、システム制御部１０１、光学系制御回路１０２、光学系１０３、撮像素子１０４、ＴＧ１０５、ＡＦＥ１０６、信号処理部１０７、その他の構成要素を有する。

システム制御部１０１は、ＣＰＵ（プロセッサ）、メモリ等で構成され、信号処理部１０７が出力する画像データなどに基づいてアイリスやズーム等の値を定める。

システム制御部１０１は、距離取得部１０１ａ、領域判定部１０１ｂ、絞り径演算部１０１ｃ及びローパスフィルタリング（ＬＰＦ）演算部１０１ｄを有する。

距離取得部１０１ａは、信号処理部１０７より得られた画像データより領域ごとの被写体の距離を算出する。領域判定部１０１ｂは、主被写体と背景（被写体）の領域を判定する。領域判定部１０１ｂは顔認識機能を有する。絞り径演算部１０１ｃは絞り１０３ｂの絞り径を決定する。

ＬＰＦ演算部１０１ｄは信号処理部１０７のＬＰＦ処理部１０７ｂが行なうローパスフィルタリング処理（ＬＰＦ処理）に使用されるローパスフィルタリング特性（ＬＰＦ特性）を取得（演算）及び設定する。水平及び垂直の二次元ＬＰＦ処理によって被写体の境界付近での高域成分を除去して境界付近での画像のチラツキを抑制することができる。なお、ＬＰＦ処理は特許文献１及び２に開示されているため、その詳細な説明は省略する。

光学系制御回路１０２はシステム制御部１０１が設定した絞り値、アイリス、ズーム等に基づいて、光学系１０３を制御する。

光学系１０３は、被写体像を形成する撮影レンズ１０３ａや光量を調節する（露出調節用の）絞り１０３ｂを有する。絞り１０３ｂの絞り値又はＦ値は、撮影レンズ１０３ａの有効口径（即ち、入射瞳の直径Ｄ）を焦点距離ｆで割った数の逆数（即ち、ｆ／Ｄ）である。

光学系１０３を通った光学像はＣＭＯＳやＣＣＤなどの撮像素子１０４で光電変換される。光電変換された信号はＴＧ（タイミングジェネレータ）１０５で制御され、システム制御部１０１で定められたシャッタースピード、フレームレートで撮像素子１０４より出力される。

撮像素子１０４より出力された画像信号はＡＦＥ（アナログフロントエンド）１０６でＡ／Ｄ変換を行われ、信号処理部１０７に送られる。

信号処理部１０７ではガンマ補正、色ゲイン補正などの画像信号処理を行なうプロセッサであり、映像の中で主被写体と背景被写体を判定する領域判定部１０７ａと、背景被写体にローパスフィルタリング処理を施すＬＰＦ処理部１０７ｂを有する。

通常撮影時の静止画や、動画静止画同時撮影時の静止画は、静止画用の圧縮等の信号処理が行われた後、静止画記録媒体１０８に信号が送られ記録される。動画映像はビデオ信号処理部１０９に送られる。

ビデオ信号処理部１０９で記録用のフォーマットに信号処理された信号はメモリーカードやＤＶＤ等の動画記録媒体１１０に送られ、書き込まれる。また、信号はビデオ信号処理部１０９より表示回路１１１にも送られ、表示用の信号に変換された後、ＬＣＤ等の表示部１１２で表示される。

ユーザーの操作による信号は操作部１１３よりシステム制御部１０１に送られる。操作部１１３は、主被写体の背景（背景被写体）のボケの状態を固定するための固定信号と固定信号による固定を解除するための固定解除信号を生成する。

図２は、背景のボケ量を固定（一定に維持）する方法を説明するためのフローチャートである。図２において、「Ｓ」はステップの略である。

まず、ユーザーが不図示の電源スイッチを操作することによってデジタルビデオカメラの電源が投入され、通常の撮影モードがデジタルビデオカメラに設定される（Ｓ２０１）。

ユーザーは被写体を撮影している際に、絞り１０３ｂの操作や自動露光制御中に気に入った背景のボケの状態になったときに、操作部１１３よりシステム制御部１０１に固定信号を生成して出力する（Ｓ２０２）。

次に、システム制御部１０１の距離取得部１０１ａは固定信号の生成時（操作部１１３が操作された際）の撮影レンズ１０３ａと主被写体と背景（背景被写体）の距離（後述する図３に示すｌ及びΔｌ）に対応する情報を取得する（Ｓ２０３）。

本実施例では撮像素子内部に瞳分割した焦点検出用画素を埋め込み、位相差を検出し、撮像面の各焦点検出領域との被写体距離を求める方式を使用するが、通常の位相差方式や測距センサを利用するなど測距方法は限定されない。

また、主被写体は領域判定部１０１ｂによって顔認識された被写体とする。主被写体までの距離は、得られた被写体距離のうち、顔認識された領域を含む領域の被写体距離とする。背景被写体の距離は得られた被写体距離のうち、主被写体の距離以外のデータの平均値とする。

次に、システム制御部１０１は、固定信号の生成時の撮像素子１０４の撮像面Ａに形成される背景被写体３０３の錯乱円の直径δ_Ａを算出する（Ｓ２０４）。

図３は、主被写体と背景と錯乱円の関係を示す図である。Ａは撮像面を表す。撮影レンズ１０３ａを通った光はＡで結像する。主被写体３０２に対して背景被写体３０３は焦点が外れており、Ｂで結像するため、錯乱円となる。錯乱円の直径δは次式で定められる。ｆは焦点距離、Ｄは入射瞳の直径、ｌは撮影レンズ１０３ａの中心から主被写体３０２までの距離、Δｌは主被写体３０２から背景被写体３０３までの距離である。

ユーザーがカメラを動かしたり、主被写体や背景が動いたりすると、ｌやΔｌやｆが変化する。Ｓ２０２で固定信号が生成された時の背景被写体３０３の錯乱円の直径δがδ_Ａである。

システム制御部１０１の距離取得部１０１ａは、直径δ_Ａを維持するために現在の距離ｌとΔｌを取得する（Ｓ２０５）。これによって、システム制御部１０１は、固定信号の生成後に距離ｌ及びΔｌが変化したかどうかを判断することができる。

次に、システム制御部１０１の絞り径演算部１０１ｃは、固定信号の生成後に距離ｌ及びΔｌが変化した時に背景被写体３０３の錯乱円の直径δ_Ａを維持するのに必要な絞り値を取得（算出）する（Ｓ２０６）。絞り径演算部１０１ｃは数式１に直径δ_Ａを代入し、入射瞳の直径Ｄを求める。

システム制御部１０１の絞り径演算部１０１ｃは数式２に従って入射瞳の直径Ｄを求め、直径Ｄと焦点距離ｆから対応する絞り値（＝ｆ／Ｄ＝ｆ^２／（δ_Ａ・ｌ・（１＋ｌ／Δｌ））を決定する。これにより、距離ｌやΔｌが変化した場合でも入射瞳の直径Ｄを変更することによって直径δ_Ａを維持することができる。なお、Ｓ２０６では、数式２に基づいて入射瞳の直径Ｄを算出しているが、数式によらずに数式２に規定する関係を示したテーブルやグラフからシステム制御部１０１が直径Ｄを読み取ってもよい。また、直径Ｄと絞り値の関係を予め記憶しておき、直径Ｄを求めずに直接的に絞り値を取得してもよい。即ち、Ｓ２０６ではシステム制御部１０１が対応する絞り値を取得できれば足りる。

次に、システム制御部１０１は、Ｓ２０６で取得した絞り値が、絞り１０３ｂの設定可能な最大絞り値を超えているかどうかを判断する（Ｓ２０７）。

システム制御部１０１は、Ｓ２０６で取得した絞り値が絞り１０３ｂに設定可能な最大絞り値を超えていないと判断した場合は（Ｓ２０７のＮｏ）、Ｓ２０６で取得した絞り値を光学系制御回路１０２を介して光学系１０３の絞り１０３ｂに設定する（Ｓ２０８）。このときは、システム制御部１０１のＬＰＦ演算部１０１ｄは画像データにＬＰＦ処理を加えない（Ｓ２０９）。

一方、システム制御部１０１は、Ｓ２０６で取得した絞り値が設定可能な最大絞り値を超えていると判断した場合は（Ｓ２０７のＹｅｓ）、システム制御部１０１は光学系制御回路１０２を介して絞り１０３ｂに設定可能な最大絞り値を設定する（Ｓ２１０）。

しかし、このままでは、背景被写体３０３のボケ量は算出した絞り値では得られないため、画像処理によってボケ量を維持する。そこで、システム制御部１０１は、最大絞り値で不足する分を補うＬＰＦ特性を取得し、取得したＬＰＦ特性で信号処理部１０７のＬＰＦ処理部１０７ｂにＬＰＦ処理を行なわせる（Ｓ２１２）。

なお、Ｓ２１２において、システム制御部１０１は、数式を利用してＬＰＦ特性を算出する代わりにテーブルやグラフを利用してＬＰＦ特性を取得すれば足りる。

画像処理にあたっては、本実施例では、Ｓ２０３で得た距離の背景映像の周波数特性（ＭＴＦ）を維持する。ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）はδに応じて次式で定められる。ここで、Ｊ_１（ｘ）は第一種一次ベッセル関数、νは空間周波数［ｍｍ／本］である。

背景のボケ量を決定した時のδはδ_Ａであるため、維持したい背景被写体３０３のＭＴＦは次式で表現される。

最大絞り値のときのＤをＤ_ｍａｘとすると、この時のδは次式で表される。

Ｓ２１０で設定可能な最大絞り値が設定された時の背景被写体３０３のＭＴＦ_ｍａｘは次式で表現される。

数式６のＭＴＦを数式４のＭＴＦにＬＰＦ処理で変更したいので、ＬＰＦ特性は次式で表される。

システム制御部１０１のＬＰＦ演算部１０１ｄは、数式７に従ってＬＰＦ特性を決定し、信号処理部１０７のＬＰＦ処理部１０７ｂのＬＰＦ特性を変更する（Ｓ２１１）。ＬＰＦ処理部１０７ｂは背景被写体３０３の映像のみ通過する。システム制御部１０１のＬＰＦ演算部１０１ｄが主被写体距離や背景被写体距離に応じてＬＰＦ特性を変更するため、これらが変動しても背景のＭＴＦは数式４で定められた特性を自動的に維持することができるため、操作性は向上している。

次に、システム制御部１０１は、背景のボケの状態の固定を解除する固定解除信号が操作部１１３から生成されたかどうかを判断する（Ｓ２１２）。ユーザーの操作部１１３の操作によって固定解除信号がシステム制御部１０１に入力されれば、フローはＳ２０１に戻る。ボケ量の固定を維持する場合には、フローはＳ２０５に戻る。

以上、本実施例は、操作部１１３を介してボケ量の固定が指示された後で主被写体３０２や背景被写体３０３の距離が変化した場合、光学系制御回路１０２を介して光学系１０３の絞り１０３ｂを変更する。この結果、背景被写体３０３の錯乱円を一定に維持することができるので、背景のボケ量を一定に維持することができる。また、システム制御部１０１は、絞り１０３ｂの絞り値が最大値となった後も背景被写体３０３のＭＴＦ特性を一定に保つように背景の映像にＬＰＦ処理を加えることによって、背景のボケ量を一定に維持することができる。

なお、撮像装置は、デジタルビデオカメラに限定されず、デジタルカメラ、レンズ交換式のデジタル一眼レフカメラであってもよい。また、図２に示す画像生成方法はプログラムとして不図示のメモリに格納可能である。

また、本実施例では、Ｓ２１０で最大絞り値に設定して残りをＬＰＦ処理で対応しているが、Ｓ２１０で設定される絞り値は最大絞り値でなくてもよく残りをＬＰＦ処理してもよい。

このように、システム制御部１０１は、固定信号の生成後に距離ｌとΔｌが変化した時、背景の錯乱円の直径δ_Ａが維持されるように、絞り１０３ｂの絞り値とＬＰＦ処理部１０７ｂによるＬＰＦ処理に使用されるＬＰＦ特性を取得して設定する。本実施例によれば、固定信号の生成時の背景のボケの状態に対応した錯乱円の直径が自動的に維持されるために、主被写体に焦点を合わせて背景をぼかす撮影の操作性を向上する。

また、Ｓ２０８では、システム制御部１０１は、錯乱円の直径δ_Ａに対応する絞り１０３ｂの絞り値が絞り１０３ｂに設定可能な最大絞り値を超えていない場合には対応する絞り１０３ｂの絞り値を設定している。しかし、この場合もシステム制御部１０１はＬＰＦ処理を併用して背景のボケ量を維持してもよい。

更に、本実施例は、固定された背景のボケ量に対応する錯乱円の直径δ_Ａが完全に維持されるように絞り値又は絞り値とＬＰＦ特性を調節しているが、ユーザーに違和感を与えない範囲では、錯乱円の直径δ_Ａが完全に維持されなくてもよい。かかる範囲は、例えば、直径δ_Ａの±１０％である。即ち、操作部１１３が操作された後に距離が変化したとき、距離の変化による背景のボケ量の変化が抑制されるように絞り値とＬＰＦ特性が調節されれば足りる。

撮像装置は、被写体の撮像に適用することができる。

１０１ システム制御部
１０１ａ 距離取得部
１０３ 光学系
１０４ 撮像素子
１０７ 信号処理部
１１３ 操作部

Claims (4)

1. 光学像を光電変換する撮像素子と、
   操作部と、
   前記撮像素子からの画像信号にローパスフィルタリング処理を施す信号処理部と、
   前記操作部が操作された際の主被写体と背景の距離に対応する情報を取得する取得部と、
   前記操作部が操作された後に前記距離が変化したとき、当該距離の変化による前記背景のボケ量の変化が抑制されるように、光量を調節する絞りの絞り値と前記信号処理部によるローパスフィルタリング処理に使用されるローパスフィルタリング特性を設定する制御部と、
   を有することを特徴とする撮像装置。
2. 前記操作部が操作された後に前記距離が変化したときに前記絞りの絞り値が前記絞りに設定可能な最大絞り値を超えていない場合には、前記制御部は、前記距離が変化したときの前記絞りの絞り値を前記絞りに設定することを特徴とする請求項１に記載の撮像装置。
3. 前記操作部が操作された後に前記距離が変化したときに前記絞りの絞り値が前記絞りに設定可能な最大絞り値を超えている場合には、前記制御部は、前記絞りに前記最大絞り値を設定し、前記信号処理部に前記最大絞り値で不足する分を補うローパスフィルタリング特性でローパスフィルタリング処理を行なわせることを特徴とする請求項１又は２に記載の撮像装置。
4. 光学像を光電変換する撮像素子と、操作部と、前記撮像素子からの画像信号にローパスフィルタリング処理を施す信号処理部と、前記操作部が操作された際の主被写体と背景の距離に対応する情報を取得する取得部と、プロセッサと、を有する撮像装置の前記プロセッサが、
   前記操作部が操作された後に前記距離が変化したときに、当該距離の変化による前記背景のボケ量の変化が抑制されるように、光量を調節する絞りの絞り値が前記絞りに設定可能な最大絞り値を超えているかどうかを判断するステップと、
   前記プロセッサが超えていないと判断した場合には、前記プロセッサは、前記距離が変化したときの前記絞りの絞り値を前記絞りに設定するステップと、
   前記プロセッサが超えていると判断した場合には、前記プロセッサは、前記絞りに前記最大絞り値を設定し、前記信号処理部に前記最大絞り値で不足する分を補うローパスフィルタリング特性でローパスフィルタリング処理を行なわせるステップと、
   を有することを特徴とする画像生成方法。