JP4606486B2 - 画像処理装置および撮影装置 - Google Patents

Description

本発明は、撮影者が焦点を合わせた被写体が強調された撮影画像を取得できる、画像処理装置および撮影装置に関する。

現在、CCD（Charge Coupled Device）センサやCMOS（Conplimentary Mental Oxide Semiconductor）センサ等の固体撮像素子を用いたデジタルカメラやデジタルビデオ等の撮影装置が広く普及している。

ところで、撮影対象のうち、特定の被写体が鮮明に撮影され、特定の被写体を除く他の被写体がいわゆるピントがぼけたように撮影され、この結果、全体として特定の被写体が強調されて浮き立ったような、いわゆる“ぼけ味”のある撮影画像を取得するためには、例えば、固体撮像素子のサイズやこの固体撮像素子に撮影画像を結像させるためのレンズの口径が大きいタイプの撮影装置を用いる必要がある。このようなタイプの撮影装置によると、被写界深度を十分に浅くして撮影することができるため、特定の被写体を浮き立たせた、いわゆる“ぼけ味”のある撮影画像を取得することができる。

しかしながら、固体撮像素子のサイズやレンズの口径の小さい、いわゆるコンパクトタイプのデジタルカメラのような撮影装置を用いた場合には、被写界深度を十分に浅くして撮影ができないため“ぼけ味”のある撮像画像を取得することが困難であった。また、どちらのタイプの撮影装置であっても、特定の被写体と他の被写体との間に輝度差や彩度差等を付与することによって特定の被写体が強調された撮影画像を取得することは困難であった。

尚、下記特許文献１には、画像処理によりぼけ味のある画像を取得する発明が開示されている。かかる画像処理によると、まず、１つの基準画像データを被写体領域の画像データと背景領域の画像データという別個独立した２つの画像データに分離して出力する。そして、分離された背景画像データにぼかし処理を施した後、ぼかし処理後の背景画像データと基準画像データとを合成する。合成後、背景領域と被写体領域の境界線がギザギザとなり違和感が生じることを防ぐためにアンチエイリアジング処理を施す。かかる一連の処理により”ぼけ味”の或る画像を取得することができる。このように、下記特許文献１では、”ぼけ味”の或る画像を取得できるものの、上記した一連の複雑な処理を必要とするものである。
特開2005-229198号

そこで本発明は、上記課題に鑑みてなされたものであり、撮像素子やレンズの口径の大きさに依存することなく、特定の被写体が強調された撮影画像を比較的簡易に取得できる、画像処理装置、画像処理プログラム、画像処理方法、および撮影装置を提供することを目的とする。

この発明に従う画像処理装置(1：実施例で相当する参照符号。以下同じ)は、フォーカスレンズ(31)および絞り機構(32)を通して被写界を捉える撮像手段(2)から出力された被写界像を処理する画像処理装置(1)であって、被写界内の特定物体に適合するようにフォーカスを調整するフォーカス調整手段(S107, S305)、互いに異なる複数の絞り量をフォーカス調整手段の調整処理に関連して絞り機構に設定する絞り量設定手段(S110, S112, S311, S312)、絞り量設定手段によって設定された複数の絞り量に対応して撮像手段から出力された複数の被写界像の間の鮮鋭度の相違の大きさを検出する検出手段(104~107, S201~S203, S403~S404)、およびフォーカス調整手段によって調整されたフォーカスに対応して撮像手段から出力された被写界像に検出手段の検出結果を参照した画質調整処理を施す画質調整手段(108~110, 113, 116, 119, 122, 125a~125c, 126~128, S204~S205, S313,
S406~S407)を備える。

撮像手段は、フォーカスレンズおよび絞り機構を通して被写界を捉え、被写界像を出力する。フォーカス調整手段は、被写界内の特定物体に適合するようにフォーカスを調整する。絞り量設定手段は、互いに異なる複数の絞り量をフォーカス調整手段の調整処理に関連して絞り機構に設定する。検出手段は、絞り量設定手段によって設定された複数の絞り量に対応して撮像手段から出力された複数の被写界像の間の鮮鋭度の相違の大きさを検出する。画質調整手段は、フォーカス調整手段によって調整されたフォーカスに対応して撮像手段から出力された被写界像に、検出手段の検出結果を参照した画質調整処理を施す。

互いに異なる複数の絞り量にそれぞれ対応する複数の被写界像の間の鮮鋭度の相違の大きさは、光軸方向における特定物体から他の物体までの距離の大きさに対応する。特定物体に適合するフォーカスに対応して撮像手段から出力された被写界像は、このような相違の大きさを参照した画質調整処理を施される。これによって、特定物体が強調された被写界像を作成することができる。

好ましくは、検出手段は、複数の被写界像から複数の高周波成分をそれぞれ抽出する高周波成分抽出手段(105, 106, S202, S404)、および高周波成分抽出手段によって抽出された複数の高周波成分の間の差分を算出する差分算出手段(107, S203, S404)を含む。

さらに好ましくは、検出手段は、複数の被写界像から複数の輝度成分をそれぞれ抽出する輝度成分抽出手段(201)、および輝度成分抽出手段によって抽出された複数の輝度成分に基づいて複数の被写界像の間の位置ずれを補正する補正手段(202, 203, S201, S403)をさらに含む。

好ましくは、画質調整手段は相違が増大するほど被写界像の特定パラメータを大きく低減させる特定パラメータ制御手段(109, 126)を含む。

ある局面では、画質調整手段は、被写界像の特定パラメータを低減させる低減手段(108, 113, 116, 125a~125c, S204, S313)、および低減手段の出力と被写界像とを合成する合成手段(110, S205,
S407)をさらに含み、特定パラメータ制御手段は相違が増大するほど被写界像の特定パラメータが大きく低減されるように合成手段の合成比率を制御する。

他の局面では、画質調整手段は、被写界像の特定パラメータを低減させる低減手段(113, 116, S204)、被写界像の特定パラメータを低減手段の低減処理と並列して増大させる増大手段(119, 122)、および低減手段の出力と増大手段の出力とを合成する合成手段(110, S205)をさらに含み、特定パラメータ制御手段は相違が増大するほど被写界像の特定パラメータが大きく低減されるように合成手段の合成比率を制御する。

その他の局面では、画質調整手段は被写界像の特定パラメータを低減させる低減手段(127)をさらに含み、特定パラメータ制御手段は相違が増大するほど低減手段の低減量を増大させる。

ある実施例では、特定パラメータは鮮鋭度を含む。

他の実施例では、特定パラメータは輝度を含む。

その他の実施例では、特定パラメータは彩度を含む。

好ましくは、絞り量設定手段によって設定された複数の絞り量に対応して撮像手段から出力された複数の被写界像を記録する第１記録手段(10, S115)、および記録手段によって記録された複数の被写界像を再生する第１再生手段(10, S117)をさらに備え、検出手段は第１再生手段によって再生された複数の被写界像に注目し、画質調整手段は第１再生手段によって再生された複数の被写界像の１つに注目する。

さらに好ましくは、第１記録手段は複数の被写界像を共通のファイルに格納する。

好ましくは、画質調整手段は、フォーカスをデフォーカス状態に設定するデフォーカス設定手段(S313)、デフォーカス設定手段によって設定されたデフォーカスに対応して撮像手段から出力された被写界像とフォーカス調整手段によって調整されたフォーカスに対応して撮像手段から出力された被写界像とを合成する合成手段(127, 110, S407)を含む。

さらに好ましくは、絞り量設定手段によって設定された複数の絞り量に対応して撮像手段から出力された複数の被写界像とデフォーカス設定手段によって設定されたデフォーカスに対応して撮像手段から出力された被写界像とを記録する第２記録手段(10, S314)、および記録手段によって記録された複数の被写界像を再生する第２再生手段(10, S402)をさらに備え、検出手段および画質調整手段は第２再生手段によって再生された複数の被写界像に注目する。

より好ましくは、第２記録手段は複数の被写界像を共通のファイルに格納する。

この発明に従う画像処理プログラムは、フォーカスレンズ(31)および絞り機構(32)を通して被写界を捉える撮像手段(2)から出力された被写界像を処理する画像処理装置(1)のプロセッサ(17)に、被写界内の特定物体に適合するようにフォーカスを調整するフォーカス調整ステップ(S107, S305)、互いに異なる複数の絞り量をフォーカス調整ステップの調整処理に関連して絞り機構に設定する絞り量設定手段(S110, S112, S311, S312)、絞り量設定ステップによって設定された複数の絞り量に対応して撮像手段から出力された複数の被写界像の間の鮮鋭度の相違の大きさを検出する検出ステップ(S201~S203, S403~S404)、およびフォーカス調整手段によって調整されたフォーカスに対応して撮像手段から出力された被写界像に検出ステップの検出結果を参照した画質調整処理を施す画質調整ステップ(S204~S205, S313, S406~S407)を実行させるための、画像処理プログラムである。

この発明に従う画像処理方法は、フォーカスレンズ(31)および絞り機構(32)を通して被写界を捉える撮像手段(2)から出力された被写界像を処理する画像処理方法であって、被写界内の特定物体に適合するようにフォーカスを調整するフォーカス調整ステップ(S107, S305)、互いに異なる複数の絞り量をフォーカス調整ステップの調整処理に関連して絞り機構に設定する絞り量設定手段(S110, S112, S311, S312)、絞り量設定ステップによって設定された複数の絞り量に対応して撮像手段から出力された複数の被写界像の間の鮮鋭度の相違の大きさを検出する検出ステップ(S201~S203, S403~S404)、およびフォーカス調整手段によって調整されたフォーカスに対応して撮像手段から出力された被写界像に検出ステップの検出結果を参照した画質調整処理を施す画質調整ステップ(S204~S205, S313, S406~S407)を備える。

本願発明によると、特定被写体が強調された撮影画像を比較的簡易に取得することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。

ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

＜第１の実施形態＞

本発明の第１実施形態について、図面を参照して説明する。以下では、本発明における撮影方法を行うデジタルカメラやデジタルビデオカメラなどの撮影装置を例に挙げて説明する。撮影装置は静止画を撮影できるものであれば、動画撮影が可能なものであっても構わない。

以下では、「撮像」と「撮影」を同義で使用する。さらに、「画像信号」を単に「画像」と記載する場合があるが、両者は同義である。

（撮像装置の構成）

図１は、第１実施形態に係る撮像装置１の内部構成を示すブロック図である。

図１において、撮像装置１は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどのイメージセンサ(固体撮像素子)２と、被写体の光学像をイメージセンサ２に結像させるレンズ部３と、イメージセンサ２から出力されるアナログ電気信号である画像信号を増幅する増幅回路（図示せず）及び当該画像信号をデジタルの画像信号に変換するＡ/Ｄ（Analog/Digital）変換回路（図示せず）を備えたＡＦＥ（Analog Front End）４と、ＡＦＥ４から出力される複数フレーム分のデジタル画像信号をフレーム単位で一時的に格納するフレームメモリ５と、外部から入力された音声信号を電気信号に変換するマイクロフォン（以下、マイクと記載する。）６と、ＡＦＥ４からの画像信号に対して画像処理を施す画像処理部７と、マイク６からのアナログの音声信号をデジタル信号に変換し、音声処理を施す音声処理部８と、静止画を撮影する場合は画像処理部７からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部７からの画像信号と音声処理部８からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部９を備える。

また、撮像装置１は、圧縮処理部９で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部１０と、ドライバ部１０で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸張処理部１１と、伸長処理部１１で復号されて得られた画像信号をアナログ信号に変換する画像信号出力部１２と、画像信号出力部１２で変換された画像信号に基づく画像の表示を行うＬＣＤ等を有する表示部１３と、伸張処理部１１からのデジタルの音声信号をアナログの音声信号に変換して出力する音声信号出力部１３と、音声信号出力部１３からのアナログの音声信号を再生するスピーカ部１５と、を備える。

また、撮像装置１は、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するＴＧ(Timing Generator)１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、静止画撮影用のシャッタボタンを含むユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス２１と、を備える。

図２は、レンズ部３の内部構成図である。レンズ部３は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される光学系３５と、絞り３２と、ドライバ３４を有している。ドライバ３４は、ズームレンズ３０及びフォーカスレンズ３１の移動並びに絞り３２の開口量（換言すると、開口部の大きさである。）の調節を実現するためのモータ等から構成される。

撮像装置１は、「自動的にフォーカスレンズ３１の位置を制御することにより、被写体を表す光学像をイメージセンサ２の撮像面（受光面と呼ぶこともできる。）に結像させる」いわゆるＡＦ（Auto Focus）機能を備えている。この機能により、理想的には、被写体を表す光学像が結像する点がイメージセンサ２の撮像面上の点と一致する。

ＡＦ機能は、例えば、次のようにして実現される。即ち、画像処理部７が備えるＡＦ評価値検出部（図示せず）が画像信号中の輝度信号から所定の高域周波数成分を抽出する。ＣＰＵ１７が、その高域周波数成分のレベル（換言すると大きさである）に応じてドライバ３４を介してフォーカスレンズ３１の位置を制御することにより、被写体を表す光学像をイメージセンサ２の撮像面に結像させる。

以下では、被写体を表す光学像をイメージセンサ２の撮像面に結像させることを被写体にピントを合わせると記載する。

そして、被写体を表す光学像が結像する点（焦点と呼ぶこともできる）がイメージセンサ２の撮像面上の点と一致している状態をピントが合っていると記載する。ただし、一致していない状態であっても、被写体が鮮明に撮影される範囲にある場合（換言すると、イメージセンサ２の撮像面が焦点深度内に位置する場合）は、ピントが合っていると記載する。逆に、ピントが合っていない場合をピントがぼけていると記載する。

撮像装置１は、いわゆるマニュアル操作によっても被写体にピントを合わせることができる。即ち、撮影者から操作部１９に対してピント合わせの操作が行なわれた場合に、ＣＰＵ１７が当該操作に従ってドライバ３４を介してフォーカスレンズ３１の位置を調節する。これにより、撮影者は所望の被写体にピントを合わせることができる。

撮像装置１は、「自動的に絞り３２の開口量、イメージセンサ２の露光時間及びＡＦＥ４の増幅率を制御することにより、撮影画像の明るさを略一定に保つ」いわゆるＡＥ(Automatic Exposure)機能を備えている。

ＡＥ機能は、例えば、次のようにして実現される。即ち、画像処理部７が備えるＡＥ評価値検出部（図示せず）が、ＡＦＥ４から出力される画像信号中の全画素における輝度信号を積算する。次に、ＣＰＵ１７が、かかる積算値（ＡＥ評価値という。）が予め定められた目標値に保たれるように、ドライバ３４を介して絞り３２の開口量及びイメージセンサ２の露光時間を制御するか、或いはＡＦＥ４による画像信号の増幅率を制御する。こうしてＡＥ機能が実現される。

イメージセンサ２に入射する光学像が同じである場合、絞り３２の開口量が大きくなるに従って、イメージセンサ２への単位時間当たりの入射光量は増大し、輝度信号の値は増大する。尚、絞り３２の開口量を最大にしてもＡＥ評価値が上記目標値未満にしかならない場合は、ＣＰＵ１７はＡＦＥ１２の増幅回路の増幅率を調整してＡＥ評価値を目標値に保つ。

撮像装置１は、いわゆるマニュアル操作によっても絞り３２の開口量を調節することができる。即ち、撮影者から操作部１９に対して絞り３２の開口量を変更する操作（換言すると、被写界深度を変更する操作）が行なわれた場合に、ＣＰＵ１７が、当該操作に従ってドライバ３４を介して絞り３２の開口量を調節する。これにより、撮影者は所望の被写界深度で撮影することができる。

開口量を変更する操作が開口量を大きくする操作の場合は被写界深度が浅くなり、開口量を変更する操作が開口量を小さくする操作の場合は被写界深度が深くなる。

尚、撮像装置１は、撮影者の操作により絞り３２の開口量が変更された場合であっても、上記したＡＥ機能によりイメージセンサ２の露光時間を調節することにより、ＡＦＥ４から出力される画像信号の輝度を一定に保つことができる。

撮像装置１では、撮影者から操作部１９に対してズーム倍率を変更する操作が行なわれた場合には、ＣＰＵ１７が、当該操作に従ってドライバ３４を介してズームレンズ３０を光軸に沿って移動させる、いわゆるズーム制御を行う。これにより、イメージセンサ２による撮影の画角が変更される（換言すれば、イメージセンサ２の撮像面上に形成される被写体の像が拡大または縮小される）。

図３（Ａ）及び図３（Ｂ）は、同一の被写体に対しピントが合わされ、かつ、被写界深度が異なるように撮影された２つの撮影画像を表す。図３（Ａ）の撮影画像１００及び図３（Ｂ）の撮影画像１０３は、同じ撮影対象を２回撮影することにより得られる。

ここで撮影対象とは、撮影画像として取得される予定の被写体群である。

撮影画像１００及び１０３の各々は、人物１０１と人物１０１以外の建造物や樹木及び池等の背景１０２から成る撮影対象を表す撮影画像である。

撮影画像１００及び１０３はいずれも、同一の被写体である人物１０１にピントが合わされて撮影された撮影画像である。

また、撮影画像１００は、被写界深度が比較的浅くなるように絞り３２の開口量が調節されて撮影された撮影画像である。よって撮影画像１００では、背景１０２はピントがぼけており、背景１０２は不鮮明でぼけた画像となっている。つまり、被写界深度が浅ければ、背景１０２の鮮鋭度が低下する。

一方、撮影画像１０３は、撮影画像１００の場合よりも被写界深度が深くなるように、絞り３２の開口量が調節されて撮影された画像である。よって、撮影画像１０３では、背景１０２に対してもピントが合うこととなり、背景１０２は鮮明な画像となっている。つまり、被写界深度が深ければ、背景１０２の鮮鋭度が増大する。

このように、同じ撮影対象を２回撮影することにより得られた２つの撮影画像であって、両者とも特定の被写体にピントが合わされて撮影されており、かつ、特定の被写体を除く被写体（即ち、背景）に対し、一方はピントがぼけた状態で、他方はピントが合った状態で撮影されているものを、本実施形態では、「同一の被写体に対しピントが合わされ、かつ、被写界深度が異なるように撮影された２つの撮影画像」と呼ぶこととする。

本実施形態ではまた、両者とも特定の被写体にピントが合わされて撮影されており、かつ、背景に対しては、両者ともピントがぼけた状態であるが、ピントのぼけ具合が互いに異なる２つの撮像画像も、「同一の被写体に対しピントが合わされ、かつ、被写界深度が異なるように撮影された２つの撮影画像」と呼ぶこととする。

さらに、同一の被写体に対しピントが合わされ、かつ、被写界深度が異なるように撮影された複数の撮影画像の各々を、単に「被写界深度の異なる撮影画像」と呼ぶこととする。

図１の撮像装置１は、イメージセンサ２のサイズやレンズ部３を構成するレンズの口径が小さい場合であっても、画像処理部７における画像処理により、撮影画像から特定の被写体が背景よりも強調された画像（以下、特定被写体強調画像と記載する。）を比較的簡易に生成することができる。具体的には、撮像装置１は、同じ撮影対象を連続して２回撮影することにより、例えば、図３（Ａ）に示す撮影画像１００及び図３（Ｂ）に示す撮影画像１０３を取得する。そして、この２つの撮影画像から特定被写体強調画像を生成することができる。

以下、画像処理部７の内部構成及び特定被写体強調画像生成処理について説明する。

（画像処理部７の内部構成及び特定被写体強調画像生成処理）

図４は、画像処理部７が備える構成のうち、特定被写体強調画像生成処理を行う部分の構成及び特定被写体強調画像生成処理を説明する図である。

図４は、特に、背景１０２がぼけて見え、特定被写体である人物１０１が浮き立ったように見えるという視覚的効果を奏する特定被写体強調画像を生成する処理を示している。

撮像装置１が特定被写体強調画像を生成する場合、画像処理部７には、被写界深度の異なる２つ（２フレーム分）の撮影画像がそれぞれ入力画像１及び入力画像２として入力される。

以下では、入力画像１として図３（Ａ）の撮影画像１００が入力され、入力画像２として図３（Ｂ）の撮影画像１０３が入力されることを想定する。

撮影画像１００（以下、第１画像１００と記載する。）及び撮影画像１０３（以下、第２画像１０３と記載する。）は、撮像装置１により連続して撮影され、フレームメモリ５に一旦格納され、そして画像処理部７へ出力された２フレーム分の撮影画像である。

画像処理部７は、第１画像１００と第２画像１０３との位置合わせを行う画像位置合わせ部１０４、画像位置合わせ部１０４から出力される第１画像１００に含まれる輝度信号の高域成分（以下、画像に含まれる輝度信号の高域成分を、単に「画像の高域成分」と記載する。）を抽出する高域成分抽出部１０５、画像位置合わせ部１０４から出力される第２画像１０３の高域成分を抽出する高域成分抽出部１０６、高域成分抽出部１０５から出力される第１画像１００の高域成分と高域成分抽出部１０６から出力される第２画像１０３の高域成分との差分信号を算出する差分算出部１０７、第１画像１００に対して画像処理を施して図５（Ａ）に示す第３画像１１１を生成する画像処理部１０８、第１画像１００と第３画像１１１とを合成する画像合成部１１０、画像合成部１１０による第１画像１００と第３画像１１１との合成処理の合成度合いを差分算出部１０７からの差分信号に基づいて算出する加算比率算出部１０９から構成される。

画像位置合わせ部１０４は、撮影画像とこれに対応する画素との位置関係が、第１画像１００と第２画像１０３との間でずれている場合に、このずれを検出し第２画像１０３に対してずれを補正する。このような位置関係のずれは、例えば手ぶれが原因で生じる。尚、第１画像１００に対してずれ補正処理を行うこととしてもよい。画像位置合わせ部１０４による画像位置合わせ処理の詳細については後述する。

高域成分抽出部１０５は、例えばカットオフ周波数がナイキスト周波数の１０分の１以上となる特性のＨＰＦ（High Pass Filter）で構成される。

高域成分抽出部１０５は、ＨＰＦ処理を施すことにより、高域成分を画素毎に抽出する。

同様に、高域成分抽出部１０６は、位置ずれ補正がなされた第２画像１０３の輝度信号に対しＨＰＦ処理を施し、高域成分を画素毎に抽出する。

差分算出部１０７は、第１画像１００の高域成分と第２画像１０３の高域成分の差分（第１画像１００と第２画像１０３との間の鮮鋭度の相違の大きさ）を画素毎に算出する。

上述したように、第１画像１００および第２画像１０３はいずれも、人物１０１にピントが合っている。そして、第１画像１００では背景１０２にもピントが合っているが、第２画像１０３では背景１０２にはピントが合っていない。従って、第１画像１００における背景１０２の画像の高域成分と第２画像１０３における背景１０２の画像の高域成分との差分は、第１画像１００における人物１０１の画像の高域成分と第２画像１０３における人物１０１の画像の高域成分との差分よりも大きい値となる。

つまり、第１画像１００における背景１０２の鮮鋭度と第２画像１０３における背景１０２の鮮鋭度との相違は、第１画像１００における人物１０１の鮮鋭度と第２画像１０３における人物１０１の鮮鋭度との相違よりも大きくなる。

画像処理部１０８は、第１画像１００に対して画像処理を施す。図４では、第１画像１００に、ぼかし効果を奏する処理（以下、ぼかし処理と記載する。）を施す。

図５（Ａ）に示す第３画像１１１は、画像処理部１０８が第１画像１００にぼかし処理を施した後のイメージ図である。

尚、ぼかし処理は、CG-ARTS協会から発行されている「デジタル画像処理」（第２版第２印刷）の１０８頁から１１０頁に記載されているように、例えば、隣接する画素信号の濃淡変化を滑らかにする平均化フィルタ等による平滑化処理によって実現され、或いは同１３１頁から１３３頁に記載されているように、画像信号に含まれる空間周波数成分のうち、低周波成分は残し、高周波成分を除去するようなＬＰＦ（Low Pass Filter）処理によって実現することができる。即ち、図５（Ａ）に示す第３画像１１１は、例えば、第１画像１００に平均化フィルタ処理やＬＰＦ処理を施すことによって得られる。

加算比率算出部１０９は、差分算出部１０７の差分結果に基づいて、第１画像１００と第３画像１０３との合成度合いを表わす加算比率Ｋを、画素毎に導出する。

図６は、第１画像１００の高域成分と第２画像１０３の高域成分の画素毎の差分値の大きさと加算比率Ｋとの関係を表わす関数のグラフである。

尚、当該高域成分の差分値の大きさが本発明の「相違度」に相当し、かかる差分値の大きさが大きい程、相違度が高くなることになる。この相違度としては、本実施例で用いた高域成分の差分値の大きさのように２つの画像信号の異なり度合いを示すものであればよく、他にも、例えば前記第１画像１００の高域成分と前記第２画像１０３の高域成分との相関関数を相違度として使用することもできる。

図６において、加算比率Ｋは、高域成分の差分値の大きさが閾値α以下である場合に“１”を示し、高域成分の差分値の大きさが閾値αより大きくなるにつれて線形的に小さくなる。

加算比率算出部１０９は、図６に示す関数に従って、高域成分の差分値の大きさから加算比率Ｋを算出するが、高域成分の差分値に対する加算比率Ｋをテーブルとして画像処理部７に予め備えることとしてもよい。

画像合成部１１０は、第１画像１００および第３画像１１１を加算比率算出部１０９によって導出された加算比率Ｋに基づいて合成し、出力画像つまり特定被写体強調画像を生成する。

図５（Ｂ）に示す第４画像１１２は、画像合成部１１０から出力される特定被写体強調画像のイメージ図である。

画像合成部１１０は、具体的には、下記の数式（１）に従う加重加算処理によって、出力画像として第４画像１１２を画素毎に生成する。

第４画像１１２＝（第１画像１００×加算比率Ｋ）
＋（第３画像１１１×（１−加算比率Ｋ）） …（１）

第１画像１００における人物１０１の画像および第３画像１０３における人物１０１の画像については、高域成分の差分値が小さくなる。このため、人物１０１の画像に対応する画素の加算比率Ｋは、“１”または“１”に近い値となる。従って、数式１によれば、第４画像１１２における人物１０１の画像は、第１画像１００における人物１０１の画像とほぼ等しくなる。

一方、第１画像１００における背景１０２の画像および第２画像１０３における背景１０２の画像については、高域成分の差分値が閾値αより大きくなるにつれて、加算比率Ｋがゼロに近づく。従って、第１画像１００における背景１０２の画像に第３画像１１１における背景１０２の画像が混合されることとなり、第４画像１１２における背景１０２の画像は第１画像１００における背景１０２の画像よりもぼかし効果が大きい画像となる。

この結果、第４画像１１２における背景１０２は、第１画像１００における背景１０２よりもぼけ味のある画像となり、第４画像１１２は人物１０１が浮き立って見える画像となる。

尚、上記では、第１画像１００の高域成分と位置ずれ補正後の第２画像１０３の高域成分との差分を算出している。しかし、第１画像１００と位置ずれ補正後の第２画像１０３の高域成分の相違度合いが算出できればいいので、差分を算出することに代えて、第１画像１００の高域成分と位置ずれ補正後の第２画像１０３の高域成分と間の比率を算出することとしてもよい。

また、上記では、画像処理部１０８が第１画像１００にぼかし処理を施して第３画像１１１を生成し、画像合成部１１０が第１画像１００と第３画像１１１とを合成して第４画像１１２を生成する。しかし、第２画像にぼかし処理を施して生成した画像を第３’画像（図示せず）とし、第２画像１０３と第３’画像を合成することとしても、同様の効果を奏する画像を取得することができる。

ここで、図６において、加算比率Ｋの閾値αは、高域成分の差分値を第１画像１００と第３画像１１１との合成度合いである加算比率Ｋに反映した場合に、合成処理後の第４画像１１２上で観者が当該差分値の影響を認識できるかどうかという観点から決定される。即ち、観者がその差分値の影響を第４画像１１２上で認識不可能となる値の最大値を閾値αとしている。

同様に、図６のグラフの勾配（傾き）についても、観者が差分値の変化の度合いを第４画像１１２上で認識できるかどうかという観点から決定される。

従って、図５では、閾値αより大きくなるにつれて線形的に小さくなる関数を示しているが、線形的でなくとも、高域成分の差分値の増加に従って逓減するような関数としてもよい。

（画像位置合わせ処理部１０４の内部構成及び位置合わせ処理）

図７は、画像位置合わせ処理部１０４の内部構成及び画像位置合わせ処理を説明する図である。

画像位置合わせ処理部１０４は、入力された第１画像１００および第２画像１０３の各々から輝度信号を抽出する輝度信号抽出部２０１、抽出された輝度信号に基づいて第１画像１００および第２画像１０３の間の位置ずれを検出する位置ずれ検出部２０２、検出された位置ずれに基づいて第１画像１００に対して位置ずれ補正処理を施す位置ずれ補正部２０３を備える。

例えば入力画像の各画素がＲＧＢ形式に従う信号値ＩＲ、ＩＧ、ＩＢを有する場合、輝度信号抽出部２０１は、各画素における輝度信号の大きさＹを下記の数式（２）により算出して出力する。

Ｙ＝０．２９９ＩＲ＋０．５８７ＩＧ＋０．１１４ＩＢ …（２）

位置ずれ検出部２０２は、第１画像１００の輝度信号及び第２画像１０３の輝度信号が入力されると、例えば、周知の手法である代表点マッチング法に基づいて、第１画像１００と第２画像１０３との間の動きベクトルを検出する。

位置ずれ補正部２０３は、位置ずれ検出部２０２により算出された第１画像１００と第２画像１０３との動きベクトルがＭであるすると、第１画像１００の画素全体を動きベクトルＭを打ち消す方向に移動させる。

図８及び図９は位置ずれ補正部２０３による位置ずれ補正処理を説明するための図である。

図８は、第１画像１００と第２画像１０３との間の動きベクトルＭの水平成分及び垂直成分を表わしている。

図８において、第１画像１００と第２画像１０３との間に発生した動きベクトルＭがＭ（Ｘｍ，Ｙｍ）であるとする。図９は、第１画像１００における画素Ｐ（Ｘ，Ｙ）に対応する画像の位置が、動きベクトルＭの発生により、第２画像１０３における画素Ｐ'（Ｘ＋Ｘｍ，Ｙ＋Ｙｍ）へ移動したことを示している。

従って、位置ずれ補正部２０３は、第２画像１０３上の画素位置Ｐ'（Ｘ＋Ｘｍ，Ｙ＋Ｙｍ)を第１画像１００上の画素位置Ｐ（Ｘ，Ｙ）へ移動させる。

即ち、第２画像１０３上の画素位置Ｐ'（Ｘ＋Ｘｍ，Ｙ＋Ｙｍ)の輝度値が画素位置Ｐ（Ｘ，Ｙ）における輝度値となるように第２画像１０３の輝度信号を変換することで、位置ずれ補正を行う。

撮像装置１は、静止画撮影において、通常の静止画撮影モードの他、上記したような特定被写体強調画像を生成するための特定被写体強調撮影モードを有している。

撮影者が特定被写体撮影モードで撮影すると、撮像装置１は、被写界深度を変更して連続して撮影することにより被写界深度の異なる複数の撮影画像を取得するとともに、これら被写界深度の異なる複数の撮影画像から特定被写体強調画像を生成する。そして、取得した被写界深度の異なる複数の撮影画像、及び生成した特定被写体強調画像を外部メモリ２２に記録する。

具体的には、撮影者により操作部１９に対する撮影操作が行われると、撮像装置１は、ＡＦ機能により撮影者が注目する被写体（人物１０１）にピントを合わせる。続いて、ＡＥ機能により絞り３２の開口量の調整、イメージセンサ２の露光時間（シャッタスピード）の調整及びＡＷＢ(Auto White Balance)機能による色相の調整を行なった後、撮影（第１撮影）を行う。

ここで、ＡＷＢ機能とは、撮像装置１が、被写体に照射される光の光源を判定し、当該光源に応じて白色の色相を自動的に決定するとともに、当該白色の色相に応じてその他色の色相を決定する機能である。

撮像装置１は、第１撮影に続いて、第１撮影よりも被写界深度が深くなるように絞り３２の開口量の調整し、撮影（第２撮影）を行う。

尚、第１撮影と第２撮影との間でどの程度被写界深度を異ならせるかは、撮影者が好み応じて予め設定することができる。

撮像装置１は、第１撮影および第２撮影の後、第１撮影によって得られた画像（図３（Ａ）の撮影画像１００。）及び第２撮影によって得られた画像（図３（Ｂ）の撮影画像１０３。）に基づいて特定被写体強調画像（図５（Ｂ）の第４画像１１２。）を生成し、合計３つの画像を外部メモリ２２に記録する。

尚、第１撮影と第２撮影の撮影順序を逆にしてもよい。

また、前記第１撮影によって得られた画像と異なる被写界深度を有する画像を取得するために、前記第２撮影に加えて第３、第４・・・と複数回の撮影を行なうこととしてもよい。この場合、ＣＰＵ１７が、フレームメモリ５に蓄積された複数の被写界深度の異なる撮影画像のうちから、特定被写体強調画像の生成に適した２つを選択することとなる。

（撮像装置１による撮影動作）

次に、本実施形態に係る撮像装置１を用いて特定被写体が強調された画像を取得する方法について説明する。

図１０は、撮像装置１が、第１画像１００（図３（Ａ）の撮影画像１００）と第２画像１０３（図３（Ｂ）の撮影画像１０３）を取得し、特定被写体が強調された図５（Ｂ）の 第４画像１１２を生成するまでの一連の処理を示すフローチャートである。

なお、これらのフローチャートに対応する制御プログラムは、図示しないフラッシュメモリに記憶される。また、以下で述べる各ステップの動作には、ＣＰＵ１７が必ず関与する。

撮像装置１の電源がＯＮされると、ステップＳ１０１へ進む。

ステップＳ１０１では、撮影者が撮像装置１の動作モードを選択する。撮像装置１は、動画及び静止画を撮影する撮影モードと既に撮影され外部メモリ２２に記録された撮影画像を再生する再生モードを有する。

ここでは、撮影者により撮影モードが選択され、さらに特定被写体強調撮影モードが選択されているものとする。

ステップＳ１０２では、撮像装置１は、プレビューモードへ移行する。

プレビューモードでは、レンズ部３を経由してイメージセンサ２の光電変換によって得られたアナログの画像信号がＡＦＥ４においてデジタルの画像信号に変換されて画像処理部７へ出力される。そして、画像処理部７において、当該デジタルの画像信号は、ホワイトバランス処理等の画像処理が施され、画像信号出力部１２を経て表示部１３に表示される。

ステップＳ１０３では、撮影者の操作に応答して撮影対象の構図やズーム倍率が調整される。

ステップＳ１０４では、ＣＰＵ１７は、操作部１９のシャッタボタンがいわゆる半押しされたかどうかを判定する。

撮像装置１の操作部１９には、静止画撮影のためのシャッタボタン（図示せず）が備えられている。シャッタボタンは２段階スイッチとなっており、撮影者がシャッタボタンを略半分まで押し込むと第１スイッチがＯＮされる。シャッタボタンが最後まで押し込まれる（以下、シャッタボタンを最後まで押し込むことを「全押し」と記載する。）と第２スイッチがＯＮされる。

シャッタボタンが半押しされたと判断されると、ステップＳ１０５へ進む。そうでなければステップＳ１０２へ戻り、撮像装置１はプレビューモードを継続する。ステップＳ１０５では、撮影対象に対して第１撮影条件（通常撮像条件）を設定する。第１撮影条件の設定では、撮像装置１が、ＡＦ機能により撮影者が注目する被写体（人物１０１）にピントを合わせるとともに、ＡＥ機能により絞り３２の開口量の設定、イメージセンサ２の露光時間（シャッタスピード）の設定及びＡＷＢ機能による色相の設定を行なう。

ステップＳ１０６では、撮像装置１のＣＰＵ１７が、現在の静止画撮影モードが通常撮影モードか、それとも特定被写体強調撮影モードかを判断する。特定被写体強調撮影モードであればステップＳ１０７へ進み、そうでなければステップＳ１０８へ進む。

ステップＳ１０７では、撮像装置１が、撮影対象に対して第２撮影条件（小絞り撮像条件）を設定する。第２撮影条件の設定では、撮像装置１は、第１撮影条件よりも絞り３２の開口量を小さく、即ち被写界深度を深くなるように設定する。

尚、第２撮影条件については、第１撮影条件からどの程度絞り３２の開口量を小さくするかについて、予め撮影者が設定可能とすることもできる。これにより、撮影者は、人物１０１の強調度合いを好みに応じて変更することができる。

ステップＳ１０８では、ＣＰＵ１７は、シャッタボタンが全押しされたかどうかを判断する。ステップＳ１０９では、ＣＰＵ１７は、シャッタボタンの操作が解除されたかどうかを判断する。

シャッタボタンが全押しされたと判断した場合は、ステップＳ１１０へ進む。シャッタボタンの操作が解除されたと判断した場合は、ステップＳ１０２へ戻る。

ステップＳ１１０では、撮像装置１は、ステップＳ１０５で設定された第１撮影条件で被写界を撮影し、これによって取得された第１画像１００をフレームメモリ５に格納する。

ステップＳ１１１では、撮像装置１のＣＰＵ１７が、現在の静止画撮影モードが通常撮影モードか、それとも特定被写体強調撮影モードかを判断する。特定被写体強調撮影モードであれば、ステップＳ１１２へ進み、そうでなければステップＳ１１４へ進む。

ステップＳ１１２では、撮像装置１は、ステップＳ１０７で設定された第２撮影条件で被写界を撮影し、これによって取得された第２画像１０３をフレームメモリ５に格納する。

ステップＳ１１３では、画像処理部７によって特定被写体強調画像生成処理が施され、特定被写体強調画像である第４画像１１２が生成される。処理が完了すると、ステップＳ１１４へ進む。

尚、特定被写体強調画像生成処理については後述する。

ステップＳ１１４では、ＣＰＵ１７の制御の下、画像処理部７によって撮影画像あるいは撮影画像及び特定被写体強調画像に対し画像処理が施され、続いて圧縮処理部９により圧縮処理が施され、外部メモリ２２に格納される。そして、ステップＳ１０２へ戻る。

（特定被写体強調画像生成処理）

図１２は、撮像装置１が、第１画像１００と第２画像１０３から第４画像１１２を生成するまでの一連の処理を示すフローチャートである。

ステップＳ２０１では、フレームメモリ５から出力された第１画像１００および第２画像１０３の位置ずれを検出し、位置ずれがある場合には、第２画像１０３に対して位置ずれ補正処理を施す。その後、ステップＳ２０２へ進む。

ステップＳ２０２では、第１画像１００及び位置ずれ補正後の第２画像１０３の高域成分を算出する。その後、ステップＳ２０３へ進む。

ステップＳ２０３では、第１画像１００の高域成分と位置ずれ補正後の第２画像１０３の高域成分との差分を算出し、算出された差分を参照して加算比率Ｋを導出する。

ステップＳ２０４では、第１画像１００に対してぼかし処理を施して図５（Ａ）の第３画像１１１を生成する。その後、ステップＳ２０５へ進む。

ステップＳ２０５では、加算比率Ｋに応じて、第１画像１００と第３画像１１１とを加重加算することにより、人物１０１が強調された第４画像１１２を生成する。

以上に述べたように、図１０ないし図１２に示す処理を行うことにより、撮影者は、背景１０２をぼかすとともに人物１０１を強調して、その結果人物１０１が浮き立ったような“ぼけ味”のある第４画像１１２を取得することができる。
＜第２の実施形態＞

次に、第２の実施形態について説明する。図１３は、第２の実施形態に係る画像処理部７が備える構成のうち、特定被写体強調画像生成処理を行う部分の構成及び特定被写体強調画像生成処理を説明する図である。

第２の実施形態では、背景１０２の輝度を低減する処理を施し、その結果、人物１０１の輝度が相対的に高くなって、人物１０１が浮き立って見える撮影画像を取得する方法を示す。

図１３において、図４と同一の番号を付している部位は、第１の実施形態の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。

画像処理部１１３は、図３（Ａ）の第１画像１００に対して、輝度を低減する効果を奏する処理（以下、輝度低減処理と記載する。）を施す。

第１画像１００の各画素における輝度値は、上述した数式（２）で表すことができる。

画像処理部１１３は、輝度低減処理として、第１画像１００の各画素に対し、輝度を一定の割合で低減する処理を施す。

図１４（Ａ）に示す第５画像１１４は、第１画像１００に輝度低減処理が施されて生成された画像のイメージ図である。

画像合成部１１０は、第１画像１００および第５画像１１４を加算比率算出部１０９によって導出された加算比率Ｋに基づいて数式（３）の加重加算処理により合成し、図１４（Ｂ）に示す第６画像１１５を出力画像として生成する。

第６画像１１５＝（第１画像１００×加算比率Ｋ）
＋（第５画像１１４×（１−加算比率Ｋ）） …（３）

この結果、第６画像１１５における背景１０２は、第１画像１００における背景１０２よりも輝度が低減された画像となる。これにより人物１０１が浮き立って見える画像となる。

次に、第６画像１１５を取得するためのフローチャートについて説明する。

図１２は、第１実施形態のおける第４画像１１２を取得するためのフローチャートを示しているが、同図を用いて、本第２実施形態の第６画像１１５を取得する場合について説明する。この場合、図１２のフローチャートのステップＳ２０４では、第１画像１００に対するぼかし処理に代えて、「第１画像１００に対して、輝度低減処理を施し第５画像１１４を生成する」処理が実行される。

また、上述の説明では、画像処理部１１３は第１画像１００に輝度低減処理を施して輝度が低減された第５画像１１４を生成し、画像合成部１１０は第１画像１００と第５画像１１４を合成している。しかし、画像処理部１１３が第２画像１０３に輝度低減処理を施して第５’画像（図示せず）を生成し、画像合成部１１０が第５’画像と第２画像１０３とを合成することとしても、同様の効果を奏する画像を取得することができる。

これにより、撮影者は、背景１０２の輝度を低減し、人物１０１が強調されて浮き立って見える第６画像１１５を取得することができる。
＜第３の実施形態＞

次に、第３の実施形態について説明する。図１５は、第３の実施形態に係る画像処理部７が備える構成のうち、特定被写体強調画像生成処理を行う部分の構成及び特定被写体強調画像生成処理を説明する図である。

第３の実施形態では、背景１０２の彩度を低減する処理を施し、その結果、人物１０１の彩度が背景１０２に対して相対的に高くなって、人物１０１が浮き立って見える撮影画像を取得する方法を示す。

図１５において、図４と同一の番号を付している部位は、第１の実施形態の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。

画像処理部１１６は、第１画像１００に対して、彩度を低減する効果を奏する処理（以下、彩度低減処理と記載する。）を施す。

ここで、彩度とは、色の鮮やかさ、色の純度を意味し、彩度が高いと純粋な色に近づき、反対に彩度が低いと濁った色(グレー)に近づく。彩度の値の範囲は０〜１００％である。図１６に色相環図を示す。色相環とは色相を環状に配置したものである。図中において彩度は矢印の長さで表現される。即ち、第１画像１００における各画素の色差信号をＲＹ、ＢＹとすると、第１画像１００における各画素の彩度は数式（４）により算出される。

従って、画像処理部１１３は、彩度低減処理として、第１画像１００の各画素に対し、各画素の彩度を一定の割合で低減する処理を施す。

図１７（Ａ）に示す第７画像１１７は、第１画像１００に彩度低減処理が施されて生成された画像のイメージ図である。

画像合成部１１０は、第１画像１００および第７画像１１７を加算比率算出部１０９によって導出された加算比率Ｋに基づいて数式（５）の加重加算処理により合成し、図１６（Ｂ）に示す第８画像１１８を出力画像として生成する。

第８画像１１８＝（第１画像１００×加算比率Ｋ）
＋（第７画像１１７×（１−加算比率Ｋ）） …（５）

この結果、第８画像１１８における背景１０２は、第１画像１００における背景１０２よりも彩度が低減された画像となる。これにより人物１０１が浮き立って見える画像となる。

次に、第８画像１１８を取得するためのフローチャートについて説明する。

図１２は、第１実施形態のおける第４画像１１２を取得するためのフローチャートを示しているが、同図を用いて、本第３実施形態の第８画像１１８を取得する場合について説明する。この場合、図１２のフローチャートのステップＳ２０４では、第１画像１００に対するぼかし処理に代えて、「第１画像１００に対して、彩度低減処理を施し第７画像１１７を生成する」処理が実行される。

また、上述の説明では、画像処理部１１３は第１画像１００に彩度低減処理を施して彩度が低減された第７画像１１７を生成し、画像合成部１１０は第１画像１００と第７画像１１７を合成している。しかし、画像処理部１１３が第２画像１０３に輝度低減処理を施して第７’画像（図示せず）を生成し、画像合成部１１０が、第７’画像と第２画像１０３とを合成することとしても、同様の効果を奏する画像を取得することができる。

これにより、撮影者は、背景１０２の彩度を低減し、人物１０１が強調されて浮き立って見える第８画像１１８を取得することができる。
＜第２の実施形態の変形＞

図１８は、第２の実施形態の変形例を説明する図である。

尚、図１８において、図４と同一の番号を付している部位は、第１の実施形態の場合と同一の機能及び動作を有する部位であるためその機能及び動作の説明は省略する。

図１８において、画像処理部１１９は、第１画像１００に対して、輝度を高くする効果を奏する処理（以下、輝度増加処理と記載する。）を施す。

図１９（Ａ）に示す第９画像１２０は、第１画像１００に対し輝度増加処理を施した場合のイメージ図である。

画像合成部１１０は、第９画像１２０と図１４（Ａ）に示す輝度低減処理が施された第５画像１１４とを加算比率算出部１０９によって導出された加算比率Ｋに基づいて数式（６）の加重加算処理により合成し、図１９（Ｂ）に示す第１０画像１２１を出力画像として生成する。

第１０画像１２１＝（第９画像１２０×加算比率Ｋ）
＋（第５画像１１４×（１−加算比率Ｋ）） …（６）

この結果、第１０画像１２１における人物１０２は、第１画像１００における人物１０２よりも輝度の高い画像となる。これにより人物１０１が浮き立って見える画像となる。

次に、第１０画像１２１を取得するためのフローチャートについて説明する。

図１２は、第１実施形態のおける第４画像１１２を取得するためのフローチャートを示しているが、同図を用いて、本第２実施形態の変形例における第１０画像１２１を取得する場合について説明する。この場合、図１２のフローチャートのステップＳ２０４では、第１画像１００に対するぼかし処理に代えて、「第１画像１００に対して、輝度低減処理及び輝度増加処理を施し第５画像１１４及び第９画像１２０を生成する」処理が実行される。さらに、ステップＳ２０５では、「第５画像１１４と第９画像１２０とを加重加算する」処理が実行される。

また、上述の説明では、画像処理部１１３及び１１９は、第１画像１００に対して輝度低減処理及び輝度増加処理をそれぞれ施し、第５画像１１４及び第９画像１２０をそれぞれ生成する。また、画像合成部１１０は、第５画像１１４と第９画像１２０とを合成する。しかし、画像処理部１１３及び１１９は、第２画像１０３に対して輝度低減処理及び輝度増加処理をそれぞれ施し、第５’画像（図示せず）及び第９’画像（図示せず）をそれぞれ生成するようにしてもよく、画像合成部１１０は第５’画像と第９’画像とを合成するようにしてもよい。これによって、同様の効果を奏する画像を取得することができる。

これにより、撮影者は、人物１０１の輝度がアップされ、この結果浮き立って見える第１０画像１２１を取得することができる。
＜第３の実施形態の変形＞

図２０は、第３の実施形態の変形例を説明する図である。

尚、図２０において、図４と同一の番号を付している部位は、第１の実施形態の場合と同一の機能及び動作を有する部位であるためその機能及び動作の説明は省略する。

図２０において、画像処理部１２２は、第１画像１００に対して、彩度を高くする効果を奏する処理（以下、彩度増加処理と記載する。）を施す。

図２１（Ａ）に示す第１１画像１２３は、第１画像１００に対し彩度増加処理を施した場合のイメージ図である。

画像合成部１１０は、第１１画像１２３と図１７（Ａ）に示す彩度低減処理が施された第７画像１１７とを加算比率算出部１０９によって導出された加算比率Ｋに基づいて数式（７）の加重加算処理により合成し、図２１（Ｂ）に示す第１２画像１２４を出力画像として生成する。

第１２画像１２４＝（第１１画像１２３×加算比率Ｋ）
＋（第７画像１１７×（１−加算比率Ｋ）） …（７）

この結果、第１２画像１２４における人物１０２は、第１画像１００における人物１０２よりも彩度の高い画像となる。これにより人物１０１が浮き立って見える画像となる。

次に、第１２画像１２４を取得するためのフローチャートについて説明する。

図１２は、第１実施形態のおける第４画像１１２を取得するためのフローチャートを示しているが、同図を用いて、本第３実施形態の変形例における第１２画像１２４を取得する場合について説明する。この場合、図１２のフローチャートのステップＳ２０４では、第１画像１００に対するぼかし処理に代えて、「第１画像１００に対して、彩度低減処理及び彩度増加処理を施し第７画像１１７及び第１１画像１２３を生成する」処理が実行される。さらに、ステップＳ２０５では、「第７画像１１７と第１１画像１２３を加重加算する」処理が実行される。

また、上述の説明では、画像処理部１１６及び１２２は、第１画像１００に対して彩度低減処理及び彩度増加処理をそれぞれ施し、第７画像１１７及び第１１画像１２３をそれぞれ生成する。また、画像合成部１１０は、第７画像１１７と第１１画像１２３とを合成する。しかし、画像処理部１１６及び１２２は、第２画像１０３に対して彩度低減処理及び彩度増加処理をそれぞれ施し、第７’画像（図示せず）及び第１１’画像（図示せず）をそれぞれ生成するようにしてもよく、画像合成部１１０は第７’画像と第１１’画像とを合成するようにしてもよい。これによって、同様の効果を奏する画像を取得することができる。

これにより、撮影者は、人物１０１の彩度がアップされ、この結果浮き立って見える第１２画像１２４を取得することができる。

以上に述べたように、本発明の実施形態によると、撮像装置１は、被写界深度の異なる２つの撮影画像として入力画像１及び入力画像２を取得し、取得された２つの撮影画像を画像処理部７へ入力する。画像処理部７は、例えば、入力画像１に対して、ぼかし処理、輝度低減処理、彩度低減処理等の入力画像１の画像信号のレベル（画像信号の大きさを）を低減する処理を施す。そして、画像処理部７は、入力画像１と入力画像２との相違度を算出するとともに、当該相違度に応じて、入力画像１と当該入力画像１に対して画像信号レベルを低減する処理が施された画像を画素毎に加算する。具体的には、相違度が高いほど、画像信号レベルを低減する処理が施された画像の割合が大きくなるように加算する。この結果、背景１０２のみをぼかす、輝度を低減する或いは彩度を低減することができ、これにより人物１０１が強調され、浮き立って見える撮影画像を取得することができる。

また、本発明の実施形態の変形として、例えば、入力画像１に対して、輝度低減処理又は彩度低減処理等の入力画像１の画像信号のレベルを低減する処理を施す一方、輝度増加処理又は彩度増加処理等の入力画像１の画像信号のレベルを増加する処理も施すこととしている。

そして、画像処理部７は、入力画像１と入力画像２の相違度に応じて、入力画像１に対して画像信号レベルを増加する処理が施された画像と入力画像１に対して画像信号レベルを低減する処理が施された画像とを画素毎に加算する。具体的には、相違度が高いほど、画像信号レベルを低減する処理が施された画像の割合が大きくなるように加算する。逆に、相違度が低いほど、画像信号レベルを増加する処理が施された画像の割合が大きくなるように加算する。この結果、背景１０２のみをぼかす、輝度を低減する或いは彩度を低減することができ、これにより人物１０１が強調され、浮き立って見える撮影画像を取得することができる。

尚、上記実施の形態では、画像信号のレベルを低減する処理の例として、ぼかし処理、輝度低減処理、彩度低減処理について記載したが、画像信号のレベルを低減することができる処理であればこれらに限られることはないし、ぼかし処理，輝度低減処理および彩度低減処理のうちの２つの処理あるいは全ての処理を同時に実行するようにしてもよい。

同様に、画像信号のレベルを増加する処理として、輝度増加処理又は彩度増加処理を記載したが、画像信号のレベルを増加することができる処理であればこれらに限られることはない。

また、上述の実施形態では、撮影モードの下で特定被写体強調画像生成処理を実行するようにしているが、特定被写体強調画像生成処理は再生モードの下で実行するようにしてもよい。この場合、図１１に示すフローチャートは図２２に示すように部分的に修正する必要があり、さらに再生モードでは図２３に示すフローチャートに従って処理を実行する必要がある。

図２２を参照して、ステップＳ１１２の処理が完了すると、ステップＳ１１５に進む。ステップＳ１１５では、通常撮像処理によって得られた通常絞り画像と小絞り撮像処理によって得られた小絞り画像とを格納したＭＰＦ(Multi Picture Format)ファイルを作成し、作成されたＭＰＦファイルを外部メモリ２２に記録する。ステップＳ１１５の処理が完了すると、ステップＳ１０２に戻る。

図２３を参照して、ステップＳ１１６では外部メモリ２２に記録されたＭＰＦファイルを指定し、ステップＳ１１７では指定されたＭＰＦファイルから通常絞り画像と小絞り画像とを再生する。ステップＳ１１３では、再生された通常絞り画像および小絞り画像に注目して、特定被写体強調画像生成処理を実行する。これによって生成された合成画像は、ステップＳ１１８で表示される。

また、上述の実施形態では、図４に示す画像処理部１０８によるぼかし量，図１３に示す画像処理部１１３による輝度の低減量，図１５に示す画像処理部１１６による彩度の低減量は、いずれも一様とされる。しかし、ぼかし量，輝度低減量または彩度低減量に多様性を持たせ、互いに異なるぼかし量，輝度低減量または彩度低減量を有する画像を入力画像１と合成するようにしてもよい。この場合、画像処理部７は図２４に示すように構成する必要がある。

図２４によれば、入力画像１は、画像処理部１２５ａ〜１２５ｃに並列的に与えられる。画像処理部１２５ａ〜１２５ｃは、互いに異なるぼかし量に従うぼかし処理、互いに異なる輝度低減量に従う輝度ダウン処理、或いは互いに異なる彩度低減量に従う彩度ダウン処理を実行する。また、画像合成部１１０は、入力画像１と画像処理部１２５ａ〜１２５ｃから出力された画像とを、加算比率算出部１０９の出力を参照して合成する。

さらに、図４に示す画像処理部７では、ぼかし処理を画像処理部１０８で行う一方、合成処理を画像合成部１１０で行うようにしている。しかし、図２５に示すように、画像処理部１０８および画像合成部１１０をＬＰＦ１２７に置換し、加算比率算出部１０９をカットオフ周波数算出部１２６に置換し、ＬＰＦ１２７のカットオフ特性をカットオフ周波数算出部１２６によって算出されたカットオフ周波数に基づいて制御するようにしてもよい。

この場合、カットオフ周波数は図２６に示す要領で変化する。つまり、カットオフ周波数は、差分算出部１０７によって算出された差分信号の低下に応じて低下する。差分信号の大きさが閾値βを下回る範囲では、カットオフ周波数は“Ｆｃ”に設定される。これによって、特定被写体が強調された合成画像がＬＰＦ１２７から出力される。
＜第４の実施形態＞

次に、第４の実施形態について説明する。図２７は、第１の実施形態に係る画像処理部７が備える構成のうち、特定被写体強調画像生成処理を行う部分の構成及び特定被写体強調画像生成処理を説明する図である。

第４の実施形態では、通常撮像条件の下で得られる通常絞り画像および小絞り撮像条件の下で得られる小絞り画像の他に、デフォーカス撮像条件（ピントが極端に外れた撮像条件）の下で得られるデフォーカス画像が用いられる。

図２７において、図４と同一の番号を付している部位は、第１の実施形態の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。

画像位置合わせ部１２８は、画像位置あわせ部１０４と同じ構成を有し、通常絞り画像とデフォーカス画像との位置合わせを行う。画像位置合わせ部から出力された通常絞り画像およびデフォーカス画像は、画像合成部１１０によって合成される。合成処理にあたっては、加算比率算出部１０９によって算出された加算比率Ｋが参照される。

次に、本実施形態に係る撮像装置１を用いて特定被写体が強調された画像を取得する方法について説明する。

図２８〜図２９は、撮像装置１が、通常絞り画像，小絞り画像およびデフォーカス画像を取得し、取得したこれらの画像を外部メモリ２２に記録するまでの一連の処理を示すフローチャートである。また、図３０は、外部メモリ２２に記録された通常絞り画像，小絞り画像およびデフォーカス画像に基づいて特定被写体が強調された合成画像を作成し表示するまでの一連の処理を示すフローチャートである。

なお、これらのフローチャートに対応する制御プログラムは、図示しないフラッシュメモリに記憶される。また、以下で述べる各ステップの動作には、ＣＰＵ１７が必ず関与する。

図２８を参照して、ステップＳ３０１では動作モードをプレビューモードに設定し、ステップＳ３０２では撮影者の操作に応答してズーム倍率や絞り量を制御する。ステップＳ３０３ではＡＦ制御、ＡＥ制御およびＡＷＢ制御を実行し、ステップＳ３０４ではシャッタボタンが半押しされたか否かを判別する。ステップＳ３０４でＮＯであればステップＳ３０２に戻り、ステップＳ３０４でＹＥＳであればステップＳ３０５に進む。

ステップＳ３０５では、図１０に示すステップＳ１０５と同じ要領で通常撮像条件（第１撮像条件）を設定する。ステップＳ３０６では、図１０に示すステップＳ１０７と同じ要領で小絞り撮像条件（第２撮像条件）を設定する。ステップＳ３０７では、ピントが被写体から大きく外れたデフォーカス撮像条件（第３撮像条件）を設定する。

なお、ステップＳ３０５〜３０７のいずれにおいても、フォーカスは、被写界内の共通の被写体（特定被写体）に合わせられる。また、ステップＳ３０７で設定される絞り量は、ステップＳ３０５で設定される絞り量と同じである。

ステップＳ３０８ではシャッタボタンが全押しされたか否かを判別し、ステップＳ３０９ではシャッタボタンの操作が解除されたか否かを判別する。ステップＳ３０８でＹＥＳであればステップＳ３１０に進み、ステップＳ３０９でＹＥＳであればステップＳ３０２に戻る。

ステップＳ３１０では動作モードを静止画撮影モードに設定し、ステップＳ３１１では第１撮像条件を参照して通常絞り画像を撮影する。ステップＳ３１２では第２撮像条件を参照して小絞り画像を撮影し、ステップＳ３１３では第３撮像条件を参照してデフォーカス画像を撮影する。ステップＳ３１４では、こうして得られた通常絞り画像、小絞り画像およびデフォーカス画像をＭＰＦファイルに格納し、ＭＰＦファイルファイルを外部メモリ２２に記録する。ステップＳ３１４の処理が完了すると、ステップＳ３０１に戻る。

図３０を参照して、ステップＳ４０１では、外部メモリ２２に記録されたＭＰＦファイルを指定する。ステップＳ４０２では、通常絞り画像、小絞り画像およびデフォーカス画像を指定されたＭＰＦファイルから再生する。通常絞り画像および小絞り画像は、ステップＳ４０３で位置合わせ部１０４による位置合わせ処理を施される。

ステップＳ４０４では、位置合わせ部１０４から出力された通常絞り画像の高域成分を高域成分抽出部１０５によって抽出し、位置合わせ部１０４から出力された小絞り画像の高域成分を高域成分抽出部１０６によって抽出する。抽出された高周波成分の差分は、差分算出部１０７によって算出される。ステップＳ４０５では、算出された差分を参照した加算比率Ｋの算出処理を加算比率算出部１０９によって実行する。これによって、加算比率テーブルが作成される。

一方、ステップＳ４０６では、再生された通常絞り画像およびデフォーカス画像に位置合わせ部１０４による位置合わせ処理を施す。ステップＳ４０７では、位置合わせ部１０４から出力された通常絞り画像およびデフォーカス画像を画像合成部１１０によって合成する。このとき、ステップＳ４０５で作成された加算比率テーブルが参照される。画像合成部１１０から出力された合成画像は、ステップＳ４０８で表示部１３から出力される。

本発明の実施の形態に係る撮像装置の全体構成図である。 図１のレンズ部３の内部構成図である。 （Ａ）は図１の撮像装置１で撮像された撮像画像を説明するための図であり、（Ｂ）は図１の撮像装置１で撮像された他の撮像画像を説明するための図である。 図１の画像処理部７の内部構成および画像処理の一部を説明するための図である。 （Ａ）は図４の画像処理部１０８によるぼかし処理後の画像のイメージ図であり、（Ｂ）は画像合成部１１０からの出力画像のイメージ図である。 図４の加算比率算出部による加算比率算出のための関数を示すグラフである。 図４の画像位置合わせ処理部１０４の内部構成を示す図である。 図６の位置ずれ検出部２０２で検出する位置ずれ（動きベクトル）を説明するための図である。 図６の位置ずれ補正部２０３による位置ずれ補正を説明するための図である。 図１の撮像装置における、特定被写体強調画像を生成する手順の一部を示すフローチャートである。 図１の撮像装置における、特定被写体強調画像を生成する手順の他の一部を示すフローチャートである。 図１１のステップＳ１１３における特定被写体強調画像を生成する手順を示すフローチャートである。 第２の実施形態における、図１の画像処理部７の内部構成および画像処理を説明するための図である。 （Ａ）は図１３の画像処理部１１３による輝度ダウン処理後の画像のイメージ図であり、（Ｂ）は画像合成部１１０からの出力画像のイメージ図である。 第３の実施形態における、図１の画像処理部７の内部構成および画像処理を説明するための図である。 彩度を説明するための色相関を示す図である。 （Ａ）は図１５の画像処理部１１６による彩度ダウン処理後の画像のイメージ図であり、（Ｂ）は画像合成部１１０からの出力画像のイメージ図である。 第２の実施形態における画像処理部７の変形例を示す図である。 （Ａ）は図１８の画像処理部１１９による輝度アップ処理後の画像のイメージ図であり、（Ｂ）は画像合成部１１０からの出力画像のイメージ図である。 第３の実施形態における画像処理部７の変形例を示す図である。 （Ａ）は図２０の画像処理部１２２による彩度アップ処理後の画像のイメージ図であり、（Ｂ）は画像合成部１１０からの出力画像のイメージ図である。 特定被写体強調画像を生成する手順を示すフローチャートの変形例の一部である。 特定被写体強調画像を生成する手順を示すフローチャートの変形例の他の一部である。 画像処理部７の変形例を示す図である。 画像処理部７の他の変形例を示す図である。 図２５のカットオフ周波数算出部によるカットオフ周波数算出のための関数を示すグラフである。 第４の実施形態における、図１の画像処理部７の内部構成および画像処理を説明するための図である。 第４の実施形態における、特定被写体強調画像を生成する手順の一部を示すフローチャートである。 第４の実施形態における、特定被写体強調画像を生成する手順の他の一部を示すフローチャートである。 第４の実施形態における、特定被写体強調画像を生成する手順のその他の一部を示すフローチャートである。

符号の説明

１ …撮像装置
６ …画像処理部
１００ …第１画像
１０３ …第２画像
１０４ …画像位置合わせ部
１０５ …高域成分抽出部
１０６ …高域成分抽出部
１０７ …差分抽出部
１０９ …加算比率算出部
１０８ …画像処理部
１１０ …画像合成部
１１１ …第３画像
１１２ …第４画像

Claims (15)

1. フォーカスレンズおよび絞り機構を通して撮影対象を撮影し、撮影画像を出力する撮像手段を備えた撮像装置であって、
   前記撮影対象内の特定物体にピントが合うようにフォーカスを調整するフォーカス調整手段、
   互いに異なる複数の絞り量を前記フォーカス調整手段の調整処理に関連して前記絞り機構に設定する絞り量設定手段、
   前記フォーカス調整手段により前記特定物体にピントが合わされた状態で、前記絞り量設定手段によって互いに異なる複数の絞り量に設定されて複数回撮影されることによって出力された複数の撮影画像について、該複数の撮影画像間の鮮鋭度の相違の大きさを検出する検出手段、および
   前記撮像手段から出力された前記特定物体にピントが合わされた撮影画像に、前記検出手段の検出結果に基づいて画質調整処理を施す画質調整手段を備える、撮像装置。
2. 前記検出手段は、前記複数の撮影画像から複数の高周波成分をそれぞれ抽出する高周波成分抽出手段、および前記高周波成分抽出手段によって抽出された複数の高周波成分の間の差分を算出する差分算出手段を含む、請求項１記載の撮像装置。
3. 前記検出手段は、前記複数の撮影画像から複数の輝度成分をそれぞれ抽出する輝度成分抽出手段、および前記輝度成分抽出手段によって抽出された複数の輝度成分に基づいて前記複数の撮影画像の間の位置ずれを補正する補正手段をさらに含む、請求項２記載の撮像装置。
4. 前記画質調整手段は前記相違が増大するほど前記撮影画像の特定パラメータを低減させる特定パラメータ制御手段を含む、請求項１ないし３のいずれかに記載の撮像装置。
5. 前記画質調整手段は前記撮影画像の特定パラメータを低減させる低減手段をさらに含み、
   前記特定パラメータ制御手段は前記相違が増大するほど前記低減手段の低減量を増大させる、請求項４記載の撮像装置。
6. 前記複数の撮影画像を記録する第１記録手段、および
   前記記録手段によって記録された前記複数の撮影画像を再生する第１再生手段をさらに備え、
   前記検出手段は前記第１再生手段によって再生された前記複数の撮影画像に注目し、
   前記画質調整手段は前記第１再生手段によって再生された前記複数の撮影画像の１つに注目する、請求項１ないし５のいずれかに記載の撮像装置。
7. 前記第１記録手段は前記複数の撮影画像を共通のファイルに格納する、請求項６記載の撮像装置。
8. 前記フォーカス調整手段は、前記フォーカスをデフォーカス状態に設定するデフォーカス設定手段を含み、
   前記画質調整手段は、前記デフォーカス設定手段によって設定されたデフォーカスに対応して前記撮像手段から出力されたデフォーカス撮影画像と前記撮影画像とを合成する合成手段を含む、請求項１ないし４のいずれかに記載の撮像装置。
9. 前記複数の撮影画像と前記デフォーカス撮影画像とを記録する第２記録手段、および
   前記記録手段によって記録された前記複数の撮影画像を再生する第２再生手段をさらに備え、
   前記検出手段および前記画質調整手段は前記第２再生手段によって再生された前記複数の撮影画像に注目する、請求項８記載の撮像装置。
10. 前記第２記録手段は前記複数の撮影画像を共通のファイルに格納する、請求項９記載の撮像装置。
11. 複数の被写体が含まれる撮影対象について、同一の被写体に対しピントが合わされ、かつ、被写界深度が異なるように撮影された２つの撮影画像を表す第１画像信号及び第２画像信号とを取得する撮像手段と、
    前記第１画像信号に対し、その画像信号のレベルが低減する処理を施すことによって第３画像信号を生成する第３画像生成手段と、
    前記第１画像信号と前記第２画像信号との高域成分についての相違が大きいほど、前記第３画像信号の割合が大きくなるように前記第１画像信号と前記第３画像信号を加算して合成画像信号を生成する合成画像生成手段と、
    を備えたことを特徴とする撮像装置。
12. 前記第３画像生成手段は、前記第１画像信号にぼかし処理を施すことを特徴とする請求項１１に記載の撮像装置。
13. 前記合成画像生成手段は、前記第１画像信号と前記第２画像信号について、各画素毎に該第１画像信号と該第２画像信号との高域成分についての相違が大きいほど、前記第３画像信号の割合が大きくなるように前記第１画像信号と前記第３画像信号を加算することを特徴とする請求項１１又は１２に記載の撮像装置。
14. 特定被写体と背景が含まれる撮影対象について、ピント位置が異なるように撮影された２つの撮影画像を表す第１画像信号及び第２画像信号とを取得する撮像手段と、
    前記第１画像信号と前記第２画像信号の相違に基づいて、前記撮影対象の撮影画像における背景にぼかし処理が施された、又は、前記撮影対象の撮影画像における背景のぼけ具合が強調された第３画像信号を生成する第３画像生成手段と、
    を備えたことを特徴とする撮像装置。
15. 前記第３画像生成手段は、前記相違が大きいほど、ぼかし度が大きくなるようにぼかし処理を施す、又は、ぼけ具合が大きくなるようにぼけ具合を強調することを特徴とする請求項１４に記載の撮像装置。

Images