JP2011109492A - 撮像装置及び画像処理方法 - Google Patents
撮像装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2011109492A JP2011109492A JP2009263547A JP2009263547A JP2011109492A JP 2011109492 A JP2011109492 A JP 2011109492A JP 2009263547 A JP2009263547 A JP 2009263547A JP 2009263547 A JP2009263547 A JP 2009263547A JP 2011109492 A JP2011109492 A JP 2011109492A
- Authority
- JP
- Japan
- Prior art keywords
- aperture
- distance
- aperture value
- background
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
【課題】主被写体に焦点を合わせて背景をぼかす撮影の操作性を向上する。
【解決手段】光学像を光電変換する撮像素子104と、操作部113と、撮像素子からの画像信号にローパスフィルタリング処理を施す信号処理部107と、操作部が操作された際の主被写体と背景の距離に対応する情報を取得する距離取得部101aと、操作部が操作された後に距離が変化したとき、距離の変化による背景のボケ量の変化が抑制されるように、光量を調節する絞り103bの絞り値と信号処理部によるローパスフィルタリング処理に使用されるローパスフィルタリング特性を設定する制御部101と、を有する。
【選択図】図2
【解決手段】光学像を光電変換する撮像素子104と、操作部113と、撮像素子からの画像信号にローパスフィルタリング処理を施す信号処理部107と、操作部が操作された際の主被写体と背景の距離に対応する情報を取得する距離取得部101aと、操作部が操作された後に距離が変化したとき、距離の変化による背景のボケ量の変化が抑制されるように、光量を調節する絞り103bの絞り値と信号処理部によるローパスフィルタリング処理に使用されるローパスフィルタリング特性を設定する制御部101と、を有する。
【選択図】図2
Description
本発明は、撮像装置及び画像処理方法に関する。
主被写体に焦点を合わせて背景をぼかす撮影手法において、背景をぼかすためには絞りの開口径を大きくする必要がある。しかし、絞りの開口径は撮像素子の大きさにより決定される有限値であるため、ある一定以上ぼかすことができない。これ以上ぼかす手法として、画像データの距離情報を取得して、距離に応じて画像処理でローパスフィルタリング処理を行い、被写界深度の浅い画像を生成する方法が提案されている(特許文献1及び2)。
しかしながら、ユーザーがカメラを操作したり、主被写体が動いたりすると背景のボケの状態は変化するため、ユーザーは撮影するたびにボケの状態を調節する作業が必要となる。
そこで、本発明は、主被写体に焦点を合わせて背景をぼかす撮影の操作性を向上することができる撮像装置及び画像処理方法を提供することを例示的な目的とする。
本発明の撮像装置は、光学像を光電変換する撮像素子と、操作部と、前記撮像素子からの画像信号にローパスフィルタリング処理を施す信号処理部と、前記操作部が操作された際の主被写体と背景の距離に対応する情報を取得する取得部と、前記操作部が操作された後に前記距離が変化したとき、当該距離の変化による前記背景のボケ量の変化が抑制されるように、光量を調節する絞りの絞り値と前記信号処理部によるローパスフィルタリング処理に使用されるローパスフィルタリング特性を設定する制御部と、を有することを特徴とする。
本発明によれば、主被写体に焦点を合わせて背景をぼかす撮影の操作性を向上する撮像装置及び画像処理方法を提供することができる。
図1は、本実施例のデジタルビデオカメラ(撮像装置)のブロック図である。デジタルビデオカメラは、システム制御部101、光学系制御回路102、光学系103、撮像素子104、TG105、AFE106、信号処理部107、その他の構成要素を有する。
システム制御部101は、CPU(プロセッサ)、メモリ等で構成され、信号処理部107が出力する画像データなどに基づいてアイリスやズーム等の値を定める。
システム制御部101は、距離取得部101a、領域判定部101b、絞り径演算部101c及びローパスフィルタリング(LPF)演算部101dを有する。
距離取得部101aは、信号処理部107より得られた画像データより領域ごとの被写体の距離を算出する。領域判定部101bは、主被写体と背景(被写体)の領域を判定する。領域判定部101bは顔認識機能を有する。絞り径演算部101cは絞り103bの絞り径を決定する。
LPF演算部101dは信号処理部107のLPF処理部107bが行なうローパスフィルタリング処理(LPF処理)に使用されるローパスフィルタリング特性(LPF特性)を取得(演算)及び設定する。水平及び垂直の二次元LPF処理によって被写体の境界付近での高域成分を除去して境界付近での画像のチラツキを抑制することができる。なお、LPF処理は特許文献1及び2に開示されているため、その詳細な説明は省略する。
光学系制御回路102はシステム制御部101が設定した絞り値、アイリス、ズーム等に基づいて、光学系103を制御する。
光学系103は、被写体像を形成する撮影レンズ103aや光量を調節する(露出調節用の)絞り103bを有する。絞り103bの絞り値又はF値は、撮影レンズ103aの有効口径(即ち、入射瞳の直径D)を焦点距離fで割った数の逆数(即ち、f/D)である。
光学系103を通った光学像はCMOSやCCDなどの撮像素子104で光電変換される。光電変換された信号はTG(タイミングジェネレータ)105で制御され、システム制御部101で定められたシャッタースピード、フレームレートで撮像素子104より出力される。
撮像素子104より出力された画像信号はAFE(アナログフロントエンド)106でA/D変換を行われ、信号処理部107に送られる。
信号処理部107ではガンマ補正、色ゲイン補正などの画像信号処理を行なうプロセッサであり、映像の中で主被写体と背景被写体を判定する領域判定部107aと、背景被写体にローパスフィルタリング処理を施すLPF処理部107bを有する。
通常撮影時の静止画や、動画静止画同時撮影時の静止画は、静止画用の圧縮等の信号処理が行われた後、静止画記録媒体108に信号が送られ記録される。動画映像はビデオ信号処理部109に送られる。
ビデオ信号処理部109で記録用のフォーマットに信号処理された信号はメモリーカードやDVD等の動画記録媒体110に送られ、書き込まれる。また、信号はビデオ信号処理部109より表示回路111にも送られ、表示用の信号に変換された後、LCD等の表示部112で表示される。
ユーザーの操作による信号は操作部113よりシステム制御部101に送られる。操作部113は、主被写体の背景(背景被写体)のボケの状態を固定するための固定信号と固定信号による固定を解除するための固定解除信号を生成する。
図2は、背景のボケ量を固定(一定に維持)する方法を説明するためのフローチャートである。図2において、「S」はステップの略である。
まず、ユーザーが不図示の電源スイッチを操作することによってデジタルビデオカメラの電源が投入され、通常の撮影モードがデジタルビデオカメラに設定される(S201)。
ユーザーは被写体を撮影している際に、絞り103bの操作や自動露光制御中に気に入った背景のボケの状態になったときに、操作部113よりシステム制御部101に固定信号を生成して出力する(S202)。
次に、システム制御部101の距離取得部101aは固定信号の生成時(操作部113が操作された際)の撮影レンズ103aと主被写体と背景(背景被写体)の距離(後述する図3に示すl及びΔl)に対応する情報を取得する(S203)。
本実施例では撮像素子内部に瞳分割した焦点検出用画素を埋め込み、位相差を検出し、撮像面の各焦点検出領域との被写体距離を求める方式を使用するが、通常の位相差方式や測距センサを利用するなど測距方法は限定されない。
また、主被写体は領域判定部101bによって顔認識された被写体とする。主被写体までの距離は、得られた被写体距離のうち、顔認識された領域を含む領域の被写体距離とする。背景被写体の距離は得られた被写体距離のうち、主被写体の距離以外のデータの平均値とする。
次に、システム制御部101は、固定信号の生成時の撮像素子104の撮像面Aに形成される背景被写体303の錯乱円の直径δAを算出する(S204)。
図3は、主被写体と背景と錯乱円の関係を示す図である。Aは撮像面を表す。撮影レンズ103aを通った光はAで結像する。主被写体302に対して背景被写体303は焦点が外れており、Bで結像するため、錯乱円となる。錯乱円の直径δは次式で定められる。fは焦点距離、Dは入射瞳の直径、lは撮影レンズ103aの中心から主被写体302までの距離、Δlは主被写体302から背景被写体303までの距離である。
ユーザーがカメラを動かしたり、主被写体や背景が動いたりすると、lやΔlやfが変化する。S202で固定信号が生成された時の背景被写体303の錯乱円の直径δがδAである。
システム制御部101の距離取得部101aは、直径δAを維持するために現在の距離lとΔlを取得する(S205)。これによって、システム制御部101は、固定信号の生成後に距離l及びΔlが変化したかどうかを判断することができる。
次に、システム制御部101の絞り径演算部101cは、固定信号の生成後に距離l及びΔlが変化した時に背景被写体303の錯乱円の直径δAを維持するのに必要な絞り値を取得(算出)する(S206)。絞り径演算部101cは数式1に直径δAを代入し、入射瞳の直径Dを求める。
システム制御部101の絞り径演算部101cは数式2に従って入射瞳の直径Dを求め、直径Dと焦点距離fから対応する絞り値(=f/D=f2/(δA・l・(1+l/Δl))を決定する。これにより、距離lやΔlが変化した場合でも入射瞳の直径Dを変更することによって直径δAを維持することができる。なお、S206では、数式2に基づいて入射瞳の直径Dを算出しているが、数式によらずに数式2に規定する関係を示したテーブルやグラフからシステム制御部101が直径Dを読み取ってもよい。また、直径Dと絞り値の関係を予め記憶しておき、直径Dを求めずに直接的に絞り値を取得してもよい。即ち、S206ではシステム制御部101が対応する絞り値を取得できれば足りる。
次に、システム制御部101は、S206で取得した絞り値が、絞り103bの設定可能な最大絞り値を超えているかどうかを判断する(S207)。
システム制御部101は、S206で取得した絞り値が絞り103bに設定可能な最大絞り値を超えていないと判断した場合は(S207のNo)、S206で取得した絞り値を光学系制御回路102を介して光学系103の絞り103bに設定する(S208)。このときは、システム制御部101のLPF演算部101dは画像データにLPF処理を加えない(S209)。
一方、システム制御部101は、S206で取得した絞り値が設定可能な最大絞り値を超えていると判断した場合は(S207のYes)、システム制御部101は光学系制御回路102を介して絞り103bに設定可能な最大絞り値を設定する(S210)。
しかし、このままでは、背景被写体303のボケ量は算出した絞り値では得られないため、画像処理によってボケ量を維持する。そこで、システム制御部101は、最大絞り値で不足する分を補うLPF特性を取得し、取得したLPF特性で信号処理部107のLPF処理部107bにLPF処理を行なわせる(S212)。
なお、S212において、システム制御部101は、数式を利用してLPF特性を算出する代わりにテーブルやグラフを利用してLPF特性を取得すれば足りる。
画像処理にあたっては、本実施例では、S203で得た距離の背景映像の周波数特性(MTF)を維持する。MTF(Modulation Transfer Function)はδに応じて次式で定められる。ここで、J1(x)は第一種一次ベッセル関数、νは空間周波数[mm/本]である。
背景のボケ量を決定した時のδはδAであるため、維持したい背景被写体303のMTFは次式で表現される。
最大絞り値のときのDをDmaxとすると、この時のδは次式で表される。
S210で設定可能な最大絞り値が設定された時の背景被写体303のMTFmaxは次式で表現される。
数式6のMTFを数式4のMTFにLPF処理で変更したいので、LPF特性は次式で表される。
システム制御部101のLPF演算部101dは、数式7に従ってLPF特性を決定し、信号処理部107のLPF処理部107bのLPF特性を変更する(S211)。LPF処理部107bは背景被写体303の映像のみ通過する。システム制御部101のLPF演算部101dが主被写体距離や背景被写体距離に応じてLPF特性を変更するため、これらが変動しても背景のMTFは数式4で定められた特性を自動的に維持することができるため、操作性は向上している。
次に、システム制御部101は、背景のボケの状態の固定を解除する固定解除信号が操作部113から生成されたかどうかを判断する(S212)。ユーザーの操作部113の操作によって固定解除信号がシステム制御部101に入力されれば、フローはS201に戻る。ボケ量の固定を維持する場合には、フローはS205に戻る。
以上、本実施例は、操作部113を介してボケ量の固定が指示された後で主被写体302や背景被写体303の距離が変化した場合、光学系制御回路102を介して光学系103の絞り103bを変更する。この結果、背景被写体303の錯乱円を一定に維持することができるので、背景のボケ量を一定に維持することができる。また、システム制御部101は、絞り103bの絞り値が最大値となった後も背景被写体303のMTF特性を一定に保つように背景の映像にLPF処理を加えることによって、背景のボケ量を一定に維持することができる。
なお、撮像装置は、デジタルビデオカメラに限定されず、デジタルカメラ、レンズ交換式のデジタル一眼レフカメラであってもよい。また、図2に示す画像生成方法はプログラムとして不図示のメモリに格納可能である。
また、本実施例では、S210で最大絞り値に設定して残りをLPF処理で対応しているが、S210で設定される絞り値は最大絞り値でなくてもよく残りをLPF処理してもよい。
このように、システム制御部101は、固定信号の生成後に距離lとΔlが変化した時、背景の錯乱円の直径δAが維持されるように、絞り103bの絞り値とLPF処理部107bによるLPF処理に使用されるLPF特性を取得して設定する。本実施例によれば、固定信号の生成時の背景のボケの状態に対応した錯乱円の直径が自動的に維持されるために、主被写体に焦点を合わせて背景をぼかす撮影の操作性を向上する。
また、S208では、システム制御部101は、錯乱円の直径δAに対応する絞り103bの絞り値が絞り103bに設定可能な最大絞り値を超えていない場合には対応する絞り103bの絞り値を設定している。しかし、この場合もシステム制御部101はLPF処理を併用して背景のボケ量を維持してもよい。
更に、本実施例は、固定された背景のボケ量に対応する錯乱円の直径δAが完全に維持されるように絞り値又は絞り値とLPF特性を調節しているが、ユーザーに違和感を与えない範囲では、錯乱円の直径δAが完全に維持されなくてもよい。かかる範囲は、例えば、直径δAの±10%である。即ち、操作部113が操作された後に距離が変化したとき、距離の変化による背景のボケ量の変化が抑制されるように絞り値とLPF特性が調節されれば足りる。
撮像装置は、被写体の撮像に適用することができる。
101 システム制御部
101a 距離取得部
103 光学系
104 撮像素子
107 信号処理部
113 操作部
101a 距離取得部
103 光学系
104 撮像素子
107 信号処理部
113 操作部
Claims (4)
- 光学像を光電変換する撮像素子と、
操作部と、
前記撮像素子からの画像信号にローパスフィルタリング処理を施す信号処理部と、
前記操作部が操作された際の主被写体と背景の距離に対応する情報を取得する取得部と、
前記操作部が操作された後に前記距離が変化したとき、当該距離の変化による前記背景のボケ量の変化が抑制されるように、光量を調節する絞りの絞り値と前記信号処理部によるローパスフィルタリング処理に使用されるローパスフィルタリング特性を設定する制御部と、
を有することを特徴とする撮像装置。 - 前記操作部が操作された後に前記距離が変化したときに前記絞りの絞り値が前記絞りに設定可能な最大絞り値を超えていない場合には、前記制御部は、前記距離が変化したときの前記絞りの絞り値を前記絞りに設定することを特徴とする請求項1に記載の撮像装置。
- 前記操作部が操作された後に前記距離が変化したときに前記絞りの絞り値が前記絞りに設定可能な最大絞り値を超えている場合には、前記制御部は、前記絞りに前記最大絞り値を設定し、前記信号処理部に前記最大絞り値で不足する分を補うローパスフィルタリング特性でローパスフィルタリング処理を行なわせることを特徴とする請求項1又は2に記載の撮像装置。
- 光学像を光電変換する撮像素子と、操作部と、前記撮像素子からの画像信号にローパスフィルタリング処理を施す信号処理部と、前記操作部が操作された際の主被写体と背景の距離に対応する情報を取得する取得部と、プロセッサと、を有する撮像装置の前記プロセッサが、
前記操作部が操作された後に前記距離が変化したときに、当該距離の変化による前記背景のボケ量の変化が抑制されるように、光量を調節する絞りの絞り値が前記絞りに設定可能な最大絞り値を超えているかどうかを判断するステップと、
前記プロセッサが超えていないと判断した場合には、前記プロセッサは、前記距離が変化したときの前記絞りの絞り値を前記絞りに設定するステップと、
前記プロセッサが超えていると判断した場合には、前記プロセッサは、前記絞りに前記最大絞り値を設定し、前記信号処理部に前記最大絞り値で不足する分を補うローパスフィルタリング特性でローパスフィルタリング処理を行なわせるステップと、
を有することを特徴とする画像生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009263547A JP2011109492A (ja) | 2009-11-19 | 2009-11-19 | 撮像装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009263547A JP2011109492A (ja) | 2009-11-19 | 2009-11-19 | 撮像装置及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011109492A true JP2011109492A (ja) | 2011-06-02 |
Family
ID=44232478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009263547A Pending JP2011109492A (ja) | 2009-11-19 | 2009-11-19 | 撮像装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011109492A (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04349436A (ja) * | 1991-05-27 | 1992-12-03 | Minolta Camera Co Ltd | カメラ |
JP2005338614A (ja) * | 2004-05-28 | 2005-12-08 | Casio Comput Co Ltd | 撮影装置及びそのプログラム |
JP2007158575A (ja) * | 2005-12-02 | 2007-06-21 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2008263413A (ja) * | 2007-04-12 | 2008-10-30 | Matsushita Electric Ind Co Ltd | 撮像装置 |
-
2009
- 2009-11-19 JP JP2009263547A patent/JP2011109492A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04349436A (ja) * | 1991-05-27 | 1992-12-03 | Minolta Camera Co Ltd | カメラ |
JP2005338614A (ja) * | 2004-05-28 | 2005-12-08 | Casio Comput Co Ltd | 撮影装置及びそのプログラム |
JP2007158575A (ja) * | 2005-12-02 | 2007-06-21 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2008263413A (ja) * | 2007-04-12 | 2008-10-30 | Matsushita Electric Ind Co Ltd | 撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008288975A (ja) | 撮像装置、撮像方法および撮像プログラム | |
JP2010160311A (ja) | 撮像装置 | |
JP2019092119A (ja) | 撮像装置、レンズ装置およびこれらの制御方法 | |
JP2016171460A (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP2016143022A (ja) | 撮像装置及び撮像方法 | |
JP2018036445A (ja) | 制御装置、撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体 | |
JP7210185B2 (ja) | 撮像装置及びその制御方法 | |
JP2016032181A (ja) | 画像処理装置、撮像装置および画像処理方法 | |
JP2011013645A (ja) | 撮像装置 | |
JP6393091B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6168827B2 (ja) | 像振れ補正装置および光学機器 | |
JP6429497B2 (ja) | 撮像装置、制御方法、及びプログラム | |
JP2009232348A (ja) | 撮像装置、距離情報取得方法、画像処理方法及び光学系の駆動制御方法 | |
JP6257186B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP2011109492A (ja) | 撮像装置及び画像処理方法 | |
JP2020187244A (ja) | 制御装置、レンズ装置、撮像装置、制御方法、および、プログラム | |
JP2020017851A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP2014179937A (ja) | 撮像装置、撮像方法および撮像プログラム | |
JP2014131187A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP7166903B2 (ja) | 画像処理装置、その制御方法、プログラム | |
JP2011172266A (ja) | 撮像装置、撮像方法および撮像プログラム | |
JP2018006804A (ja) | 撮像装置、その制御方法、及びプログラム | |
JP2017125985A (ja) | 撮像装置 | |
JP2010183299A (ja) | 撮像装置 | |
JP2017103589A (ja) | 撮像装置、その制御方法、および制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140527 |