JP2005229198A - 画像処理装置および方法、並びに、プログラム - Google Patents

Abstract

【課題】被写体深度が深い撮影装置を使用しても、ボケ味のある画像を容易に得ることができるようにする。
【解決手段】 ストロボ発光有無のそれぞれの条件で撮影された２つの画像データがボケ味創出処理部２８に入力され、これらのうちのいずれか一方が基準画像データとして選択される。領域抽出部４１は、これらの２つの入力画像データに基づいて、基準画像データから、被写体領域画像データと背景領域画像データとに分離して抽出する。フィルタ処理部４４は、被写体領域画像データと背景領域画像データとのうちの少なくとも一方に対してぼかし効果のあるフィルタ処理を施し、その結果得られる合成用ボケ画像データを出力する。画像合成部４５は、基準画像データと合成用ボケ画像データとを合成する。本発明は、デジタルスチルカメラに適用可能である。
【選択図】図３

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、被写体深度が深い撮影装置を使用しても、ボケ味のある画像を容易に得ることができる、画像処理装置および方法、並びにプログラムに関する。

従来、被写体を撮影する撮影装置は、銀塩カメラが主流であったが、最近、デジタルスチルカメラも急速に普及してきている（特許文献１乃至３参照）。デジタルスチルカメラが、銀塩カメラと同等の画質、小型化による携帯性の高さ、および、撮影操作の手軽さといった様々な特長を有しているからである。

このように、デジタルスチルカメラを使用しても銀塩カメラと同画質の画像を得ることができるので、（従来、銀塩カメラで撮影することによって得られていた）各種効果が加えられた画像を、デジタルスチルカメラからも簡単に得たいという要求が、多くのユーザから挙げられている。例えば、背景をぼかすことで（そのような効果を加えることで）、被写体を引き立てる画像（以下、このような効果が加えられた画像を、“ボケ味のある画像”と称する）を、デジタルスチルカメラからも簡単に得たいという要求が多い。

従来、このようなボケ味のある画像を得るためには、次の（１）と（２）に示す条件が必要とされていた。

（１）被写界深度が浅いカメラ（大口径レンズや大型のレンズ構造を備えている）であること。
（２）撮影者が特別な撮影技術を有していること。

なお、被写界深度とは、写真撮影された画像のうちの次のような領域（範囲）を指す。即ち、写真撮影された画像には、ピント（焦点）が合い鮮明に写っている領域と、その前後にピントがぼけて写っている領域が存在するが、このうちの鮮明に写る領域が被写界深度である。この被写界深度は、カメラのレンズの焦点距離と絞り、および、カメラから被写体までの距離によって決定される。また、一般的に、鮮明に写る領域が狭いことは、被写界深度が浅いと、逆に鮮明に写る領域が広いことは、被写界深度が深いと、それぞれ称されている。

換言すると、従来、（２）の条件を満たす撮影者（例えば、プロのカメラマン等）が、（１）の条件を満たす銀塩カメラを利用することで、ボケ味のある画像が得られていた。
特開２００３−２０９７２７号公報 特開２００２−２３２７７９号公報 特開平１０−２１０３４０号公報

しかしながら、上述した（１）の条件は、「小型化による携帯性の高さ」というデジタルスチルカメラが有する特長と相反するものであり、また、上述した（２）の条件に関しては、「撮影操作の手軽さ」というデジタルスチルカメラが有する特長と相反するものである。従って、「小型化による携帯性の高さ」という特長を有するが故、被写界深度が深くなったデジタルスチルカメラを利用して、ボケ味のある画像を簡単なユーザ操作で得ることは困難である、即ち、上述した要求に応えることは現状困難であるという課題があった。

なお、デジタルスチルカメラを利用してボケ味のある画像を得ること自体については、例えば、特許文献１に開示されている。即ち、特許文献１には、至近から無限遠の焦点調節範囲内で画像中の各微小領域の合焦位置を検出し、等しい合焦距位置の点を同一領域とすることで被写体の抽出を行う。次に、領域毎に上述した合焦位置に基づいて適当な焦点位置を設定して複数回撮影する。最後に、これらの複数回の撮影の結果得られる複数枚の画像を合成することで好みのボケ量を調整した画像を生成する、という手法が開示されている。

しかしながら、このような特許文献１の手法では、領域抽出する際に焦点距離によって高周波成分に違いがでることを利用して領域の分割を行っているため、結局、上述した（１）の条件が必須となる。即ち、特許文献１の手法を、被写界深度が浅いデジタルスチルカメラに適用することは可能である。しかしながら、「小型化による携帯性の高さ」という特長を有する、被写界深度が深いデジタルスチルカメラ、即ち、（２）の条件を満たさない多数の一般ユーザが利用するデジタルスチルカメラに対して、特許文献１の手法を適用することは困難である。

また、特許文献２と特許文献３には、デジタルスチルカメラが被写体を撮影し、その結果得られる画像から被写体と背景とを区別する手法が単に開示されているだけであり、ボケ味のある画像については、開示は勿論示唆もされていない。従って、当然ながら、特許文献２や特許文献３の発明では（特許文献１も含めて、これらをたとえ組み合わせたとしても）、上述した課題を解決することは困難である。

本発明は、このような状況に鑑みてなされたものであり、被写体深度が深い撮影装置を使用しても、ボケ味のある画像を容易に得ることができるようにするものである。

本発明の画像処理装置は、撮影装置により撮影され、データ化された被写体の画像データを処理する画像処理装置であって、照明装置の光量を設定し、撮影装置が被写体を撮影するときに、設定された光量で照明装置が被写体に対して発光することを制御する照明制御手段と、照明制御手段の制御により照明装置の光量が変化する毎に撮影装置によりそれぞれ撮影され、データ化された被写体の２以上の画像データに基づいて、２以上の画像データのうちの基準となる基準画像データから、被写体を示す被写体領域と被写体以外の背景を示す背景領域とのそれぞれを個別に画像データとして抽出する領域抽出手段と、領域抽出手段により抽出された被写体領域の画像データと背景領域の画像データとのうちの少なくとも一方に対して、ぼかし効果のあるフィルタ処理を施すフィルタ処理手段と、被写体領域の画像データと背景領域の画像データとのうちのフィルタ処理手段によりフィルタ処理が施された画像データと、基準画像データとの合成画像データを生成する合成手段とを備えることを特徴とする。

照明制御手段は、照明装置の光量として、第１の光量と第２の光量とのうちのいずれか一方を設定し、画像処理装置は、照明装置が第１の光量で発光しているときに撮影装置により撮影され、データ化された被写体の第１の画像データと、照明装置が第２の光量で発光しているときに撮影装置により撮影され、データ化された被写体の第２の画像データとの中から、基準画像データを選択する選択手段をさらに設け、領域抽出手段は、第１の画像データに対応する画像を構成する各画素の輝度と、第２の画像データに対応する画像を構成する各画素の輝度との相互の関係に基づいて、選択手段により選択された基準画像データから、被写体領域の画像データと背景領域の画像データとのそれぞれを抽出するようにすることができる。

照明制御手段は、第１の光量として、照明装置の照射範囲内に被写体が少なくとも位置する条件を満たす光量を設定し、第２の光量として、０光量を設定するようにすることができる。

領域抽出手段は、第１の画像データを構成する各画素値のそれぞれと、第２の画像データを構成する各画素値のうちの、画素位置が対応する画素値との差分値を演算する差分値演算手段と、差分値演算手段により演算された差分値のそれぞれに基づいて、選択手段により選択された基準画像データから、被写体領域の画像データと背景領域の画像データとを分離して抽出する分離手段とを有するようにすることができる。

領域抽出手段は、第１の画像データに対応する画像を構成する各画素のうちの少なくとも一部に対して、第２の画像データに対応する画像を構成する各画素の中から対応点となる画素を求め、求められた対応点との位置関係のそれぞれに基づいて、第１の画像データに対応する画像の画素位置を補正する補正手段をさらに有し、差分値演算手段は、補正手段により補正された第１の画像データを構成する各画素値のそれぞれと、第２の画像データを構成する各画素値のうちの、画素位置が対応する画素値との差分値を演算するようにすることができる。

差分値演算手段は、演算された差分値のそれぞれを画素値として有する差分画像データを出力し、領域抽出手段は、差分値演算手段から出力された差分画像データの画素値のそれぞれを２値化し、その結果得られる第１の２値化画像データを出力する２値化手段と、差分値演算手段から出力された差分画像データに基づいて、２値化手段から出力された第１の２値化画像データに対応する画像の中から被写体領域を検出し、検出された被写体領域を構成する画素の画素値を第１の値とし、それ以外の背景領域を構成する画素の画素値を第２の値として有する第２の２値化画像データを生成して出力する被写体検出手段とをさらに有し、分離手段は、被写体検出手段から出力された第２の２値化画像データに基づいて、基準画像データから、被写体領域の画像データと背景領域の画像データとを分離して抽出するようにすることができる。

被写体検出手段から出力された第２の２値化画像データに対してアンチエイリアジング処理を施すアンチエイリアジング処理手段をさらに設け、合成手段は、アンチエイリアジング処理手段によりアンチエイリアジング処理が施された第２の２値化画像データに基づいて、これから生成する合成画像データのうちの、対応する画像の被写体領域と背景領域との境界およびその近傍に位置する各画素の画素値のそれぞれを決定するようにすることができる。

アンチエイリアジング処理手段は、入力変数として所定の方向の画素位置が入力され、入力された画素位置の画素における、被写体領域と背景領域との混合比を示す値を出力する関数であって、先の方向に沿って出力が曲線変化する関数を利用して、アンチエイリアジング処理を実行するようにすることができる。

フィルタ処理手段のフィルタ処理として予め登録されている複数種類の処理のうちの、これから使用する種類を指定し、指定された種類のフィルタ処理に必要なパラメータの値を指定する指定手段をさらに設け、フィルタ処理手段は、指定手段により指定された種類のフィルタ処理を、指定手段により指定されたパラメータの値を用いて実行するようにすることができる。

撮影手段に被写体を撮影させるトリガを発生するトリガ発生手段と、トリガ発生手段によりトリガが発生されたとき、照明制御手段の処理を実行させ、照明制御手段の制御により照明装置の光量が変化する毎に撮影装置によりそれぞれ撮影された被写体の２以上の画像を取得してデータ化し、その後、データ化された２以上の画像データに対する、領域抽出手段、フィルタ処理手段、および、合成手段の処理を、一連の処理としてその順番で連続して実行させるように制御する処理制御手段とをさらに設けるようにすることができる。

本発明の画像処理方法は、撮影装置により撮影され、データ化された被写体の画像データを処理する画像処理装置の画像処理方法であって、照明装置の光量を設定し、撮影装置が被写体を撮影するときに、設定された光量で照明装置が被写体に対して発光することを制御する照明制御ステップと、照明制御ステップの制御処理により照明装置の光量が変化する毎に撮影装置によりそれぞれ撮影され、データ化された被写体の２以上の画像データに基づいて、２以上の画像データのうちの基準となる基準画像データから、被写体を示す被写体領域と被写体以外の背景を示す背景領域とのそれぞれを個別に画像データとして抽出する領域抽出ステップと、領域抽出ステップの処理により抽出された被写体領域の画像データと背景領域の画像データとのうちの少なくとも一方に対して、ぼかし効果のあるフィルタ処理を施すフィルタ処理ステップと、被写体領域の画像データと背景領域の画像データとのうちのフィルタ処理手段によりフィルタ処理が施された画像データと、基準画像データとの合成画像データを生成する合成ステップとを含むことを特徴とする。

本発明のプログラムは、撮影装置により撮影され、データ化された被写体の画像データに施す画像処理を制御するコンピュータに実行させるプログラムであって、照明装置の光量を設定し、撮影装置が被写体を撮影するときに、設定された光量で照明装置が被写体に対して発光することを制御する照明制御ステップと、照明制御ステップの制御処理により照明装置の光量が変化する毎に撮影装置によりそれぞれ撮影され、データ化された被写体の２以上の画像データに基づいて、２以上の画像データのうちの基準となる基準画像データから、被写体を示す被写体領域と被写体以外の背景を示す背景領域とのそれぞれを個別に画像データとして抽出する領域抽出ステップと、領域抽出ステップの処理により抽出された被写体領域の画像データと背景領域の画像データとのうちの少なくとも一方に対して、ぼかし効果のあるフィルタ処理を施すフィルタ処理ステップと、被写体領域の画像データと背景領域の画像データとのうちのフィルタ処理手段によりフィルタ処理が施された画像データと、基準画像データとの合成画像データを生成する合成ステップとを含むことを特徴とする。

本発明の画像処理装置および方法、並びにプログラムにおいては、照明装置の光量が制御され、その光量が変化する毎に撮影装置によりそれぞれ撮影され、データ化された被写体の２以上の画像データが取得される。そして、２以上のそれらの画像データのうちの基準となる基準画像データから、被写体を示す被写体領域と被写体以外の背景を示す背景領域とのそれぞれが個別に画像データの形態で抽出され、抽出された被写体領域の画像データと背景領域の画像データとのうちの少なくとも一方に対して、ぼかし効果のあるフィルタ処理が施され、最終的に、被写体領域の画像データと背景領域の画像データとのうちのフィルタ処理が施された画像と、基準画像データとが合成され、その結果得られる合成画像が出力される。

以上のごとく、本発明によれば、撮影装置により撮影され、データ化された被写体の画像に対して、画像処理を施すことができる。特に、被写体深度が深い撮影装置により撮影され、データ化された被写体の画像データに対しても、ボケ味のある画像を容易に得ることが可能な画像処理を施すことができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

本発明によれば、画像処理装置が提供される。この画像処理装置（例えば、図１と図２のデジタルスチルカメラ１）は、撮影装置（例えば、図２の撮影部２５）により撮影され、データ化された被写体（例えば、図１の被写体２）の画像データを処理する画像処理装置であって、照明装置（例えば、図１と図２のストロボ発光部１１）の光量を設定し、前記撮影装置が前記被写体を撮影するときに、設定された光量で前記照明装置が前記被写体に対して発光することを制御する照明制御手段（例えば、図２のストロボ制御部２６）と、前記照明制御手段の制御により前記照明装置の光量が変化する毎に前記撮影装置によりそれぞれ撮影され、データ化された前記被写体の２以上の画像データ（例えば、図４の画像７１と図５の画像７２とのそれぞれに対応する画像データ）に基づいて、２以上の前記画像データのうちの基準となる基準画像データ（例えば、図５の画像７２に対応する画像データ）から、前記被写体を示す被写体領域と前記被写体以外の背景を示す背景領域とのそれぞれを個別に画像データとして抽出する（例えば、図７の被写体領域画像１１１と図８の背景領域画像１１２とを画像データとして抽出する）領域抽出手段（例えば、図２と図３のボケ味創出処理部２８のうちの、図３の領域抽出部４１）と、前記領域抽出手段により抽出された前記被写体領域の画像データと前記背景領域の画像データとのうちの少なくとも一方に対して、ぼかし効果のあるフィルタ処理を施すフィルタ処理手段（例えば、例えば、図２と図３のボケ味創出処理部２８のうちの、図３のフィルタ処理部（ぼかし処理部）４４）と、前記被写体領域の画像データと前記背景領域の画像データとのうちの前記フィルタ処理手段により前記フィルタ処理が施された画像データ（例えば、図８と図１４の画像１１３に対応する画像データであって、図３のフィルタ処理部（ぼかし処理部）４４から出力される合成用ボケ画像データ）と、前記基準画像データとの合成画像データ（例えば、図１４のように合成し、その結果得られる画像データ、即ち、合成画像１１５に対応する画像データ）を生成する合成手段（例えば、図２と図３のボケ味創出処理部２８のうちの、図３の画像合成部４５）とを備えることを特徴とする。

この画像処理装置において、前記照明制御手段は、前記照明装置の光量として、第１の光量と第２の光量とのうちのいずれか一方を設定し、前記画像処理装置は、前記照明装置が前記第１の光量で発光しているときに前記撮影装置により撮影され、データ化された前記被写体の第１の画像データ（例えば、図４の画像７１に対応する画像データ）と、前記照明装置が前記第２の光量で発光しているときに前記撮影装置により撮影され、データ化された前記被写体の第２の画像データ（例えば、図５の画像７２に対応する画像データ）との中から、前記基準画像データを選択する選択手段（例えば、図３の選択部４２）をさらに設け、前記領域抽出手段は、前記第１の画像データに対応する画像を構成する各画素の輝度と、前記第２の画像データに対応する画像を構成する各画素の輝度との相互の関係に基づいて、前記選択手段により選択された前記基準画像データから、前記被写体領域の画像データと前記背景領域の画像データとを分離するようにすることができる。

この画像処理装置において、前記照明制御手段は、前記第１の光量として、前記照明装置の照射範囲内に前記被写体が少なくとも位置する条件を満たす光量を設定し（例えば、図１６のステップＳ１３に示されるように、本明細書等では、このような第２の光量の設定を、ストロボ発光有と称している）、前記第２の光量として、０光量を設定する（例えば、図１６のステップＳ１２に示されるように、本明細書等では、０光量の設定を、ストロボ発光無と称している。即ち、後述するように、本明細書等で言う「０光量の設定」とは、その文言通り、ストロボ発光部１１の発光量を略０にさせる（微小光量で発光させる）設定だけではなく、ストロボ発光部１１の発光動作自体を禁止する設定も含む広義な概念である）ようにすることができる。

前記領域抽出手段は、前記第１の画像データ（例えば、図３において、ボケ味創出処理部２８に入力される入力画像データ（ストロボ発光無）であって、輝度画像変換部５１により変換された輝度画像データ（ストロボ発光無））を構成する前記各画素値のそれぞれと、前記第２の画像データ（例えば、図３において、ボケ味創出処理部２８に入力される入力画像データ（ストロボ発光有）であって、輝度画像変換部５１により変換された輝度画像データ（ストロボ発光有））を構成する前記各画素値のうちの、画素位置が対応する画素値との差分値を演算する差分値演算手段（例えば、図３の加算部（差分演算部）５３）と、前記差分値演算手段により演算された前記差分値のそれぞれに基づいて、前記選択手段により選択された前記基準画像データから、前記被写体領域の画像データと前記背景領域の画像データとを分離して抽出する分離手段（例えば、図３の分離部５６）とを有するようにすることができる。

この画像処理装置において、前記領域抽出手段は、前記第１の画像データに対応する画像を構成する各画素のうちの少なくとも一部に対して、前記第２の画像データに対応する画像を構成する各画素の中から対応点となる画素を求め、求められた前記対応点との位置関係のそれぞれに基づいて、前記第１の画像データに対応する前記画像の画素位置を補正する補正手段（例えば、図３の位置ずれ補正部５２）をさらに有し、前記差分値演算手段は、前記補正手段により補正された前記第１の画像データ（例えば、図３においては、位置ずれ補正部５２から出力される補正輝度画像データ（ストロボ発光有））を構成する各画素値のそれぞれと、前記第２の輝度画像データを構成する各画素値のうちの、画素位置が対応する画素値との差分値を演算するようにすることができる。

この画像処理装置において、前記差分値演算手段は、演算された前記差分値のそれぞれを画素値として有する差分画像データ（例えば、図３においては、加算部５３から出力される差分画像データ）を出力し、前記領域抽出手段は、前記差分値演算手段から出力された前記差分画像データの前記画素値のそれぞれを２値化し、その結果得られる第１の２値化画像データ（例えば、図３においては、２値化部５４から出力される２値化画像データ）を出力する２値化手段（例えば、図３の２値化部５４）と、前記差分値演算手段から出力された前記差分画像データに基づいて、前記２値化手段から出力された前記第１の２値化画像データに対応する画像の中から前記被写体領域を検出し、検出された前記被写体領域を構成する画素の画素値を第１の値（例えば、白を示す値）とし、それ以外の前記背景領域を構成する画素の画素値を第２の値（例えば、黒を示す値）として有する第２の２値化画像データ（例えば、図３においては、被写体検出部５５から出力される２値化被写体抽出画像データであって、図６の、被写体領域９１と背景領域９２とに区分された画像８１に対応する画像データ）を生成して出力する被写体検出手段（例えば、図３の被写体検出部５５）とをさらに有し、前記分離手段は、前記被写体検出手段から出力された前記第２の２値化画像データに基づいて、前記基準画像データから、前記被写体領域の画像データと前記背景領域の画像データとを分離して抽出するようにすることができる。

この画像処理装置において、前記被写体検出手段から出力された前記第２の２値化画像データに対してアンチエイリアジング処理を施す（例えば、図６の２値化被写体抽出画像８１の境界部分の一部分の領域９３Ａが、図１０に図示されており、図１０の領域９３Ａに対してアンチエイリアジング処理を施した結果として、図１１の領域９３Ｂが示されている）アンチエイリアジング処理手段（例えば、図３のアンチエイリアジング処理部４６）をさらに設け、前記合成手段は、前記アンチエイリアジング処理手段により前記アンチエイリアジング処理が施された前記第２の２値化画像データ（例えば、図３の例では、アンチエイリアジング処理部４６から出力されるエッジ処理参照画像データ）に基づいて、これから生成する前記合成画像データのうちの、対応する画像の前記被写体領域と前記背景領域との境界およびその近傍に位置する各画素の画素値のそれぞれを決定する（例えば、図１１に示されるように、画素位置xの画素の画素値における、被写体領域（１）と背景領域（０）の合成比を、Ａ：１−Ａと決定する。ただし、Ａは、１以下の正数値）ようにすることができる。

この画像処理装置において、前記アンチエイリアジング処理手段は、入力変数として所定の方向（例えば、図１１に示される空間方向X）の画素位置（例えば、図１１の画素位置x）が入力され、入力された前記画素位置の画素における、前記被写体領域と前記背景領域との混合比（例えば、図１１の画素位置ｘにおいては、Ａ：１−Ａ）を示す値を出力する関数であって、前記方向に沿って出力が曲線変化する前記関数（例えば、図１１の関数f(X)）を利用して、前記アンチエイリアジング処理を実行するようにすることができる。

この画像処理装置において、前記フィルタ処理手段の前記フィルタ処理として予め登録されている複数種類の処理のうちの、これから使用する種類を指定し、指定された種類の前記フィルタ処理に必要なパラメータの値を指定する指定手段（例えば、図２のフィルタ種類キー３２）をさらに設け、前記フィルタ処理手段は、前記指定手段により指定された種類の前記フィルタ処理を、前記指定手段により指定された前記パラメータの値を用いて実行する（例えば、図３に示されるように、図２のフィルタ種類キー３２の操作に対応する信号としてフィルタ種類信号が、主制御部（ＣＰＵ）２１からフィルタ処理部（ぼかし処理部）４４に入力され、フィルタ処理部（ぼかし処理部）４４は、そのフィルタ種類信号に対応するフィルタ処理を実行する）ようにすることができる。

この画像処理装置において、前記撮影手段に前記被写体を撮影させるトリガを発生するトリガ発生手段（例えば、図１と図２のシャッタボタン１２）と、前記トリガ発生手段により前記トリガが発生されたとき、前記照明制御手段の処理を実行させ、前記照明制御手段の制御により前記照明装置の光量が変化する毎に前記撮影装置によりそれぞれ撮影された前記被写体の２以上の画像を取得してデータ化し、その後、データ化された２以上の前記画像データに対する、前記領域抽出手段、前記フィルタ処理手段、および、前記合成手段の処理を、一連の処理としてその順番で連続して実行させるように制御する処理制御手段（例えば、図１５の撮影記録処理の実行を制御する図２の主制御部（ＣＰＵ）２１）とをさらに設けるようにすることができる。

本発明によれば、画像処理方法が提供される。この画像処理方法（例えば、図１５の撮影記録処理に対応する画像処理方法）は、撮影装置（例えば、図２の撮影部２５）により撮影され、データ化された被写体の画像データを処理する画像処理装置（例えば、図１と図２のデジタルスチルカメラ１）の画像処理方法であって、照明装置（例えば、図１と図２のストロボ発光部１１）の光量を設定し、前記撮影装置が前記被写体を撮影するときに、設定された光量で前記照明装置が前記被写体に対して発光することを制御する照明制御ステップ（例えば、図１５のステップＳ２の撮影処理であって、詳細は図１６の処理）と、前記照明制御ステップの制御処理により前記照明装置の光量が変化する毎に前記撮影装置によりそれぞれ撮影され、データ化された前記被写体の２以上の画像データに基づいて、２以上の前記画像データのうちの基準となる基準画像データから、前記被写体を示す被写体領域と前記被写体以外の背景を示す背景領域とのそれぞれを個別に画像データとして抽出する領域抽出ステップ（例えば、図１５のステップＳ３の被写体抽出処理であって、詳細は図１７と図１８の処理）と、前記領域抽出ステップの処理により抽出された前記被写体領域の画像データと前記背景領域の画像データとのうちの少なくとも一方に対して、ぼかし効果のあるフィルタ処理を施すフィルタ処理ステップ（例えば、図１５のステップＳ４の画像合成処理の一部であって、特に図１９のステップＳ４３乃至Ｓ４５の処理）と、前記被写体領域の画像データと前記背景領域の画像データとのうちの前記フィルタ処理手段により前記フィルタ処理が施された画像データと、前記基準画像データとの合成画像データを生成する合成ステップ（例えば、図１５のステップＳ４の画像合成処理の一部であって、特に図１９のステップＳ４６の処理）とを含むことを特徴とする。

本発明によれば、プログラムが提供される。このプログラムは、撮影装置（例えば、図２の撮影部２５）により撮影され、データ化された被写体の画像データに施す画像処理を制御するコンピュータ（例えば、図２のＣＰＵを含む主制御部２１）に実行させるプログラムであって、上述した画像処理方法に対応するプログラムである。

ところで、このような本発明が適用される画像処理装置は、様々な実施の形態を取ることが可能であるが、以下、そのような様々な実施の形態のうちのデジタルスチルカメラについて主に説明していく。

図１は、このような本発明が適用されるデジタルスチルカメラの外観の構成例を示している。

図１に示されるように、デジタルスチルカメラ１には、撮影時に被写体２を照射する（いわゆるフラッシュとして発光する）ストロボ発光部１１、および、被写体２の撮影開始を指令する（そのトリガ信号をデジタルスチルカメラ１内部に入力させる）シャッタボタン１２とが設けられている。

このようなデジタルスチルカメラ１は、本実施の形態においては、次の（ａ）乃至（ｄ）に示される処理を実行することができる。

（ａ）図示せぬユーザがシャッタボタン１２を押下操作したとき、デジタルスチルカメラ１は、ストロボ発光部１１の照明条件を変化させて、自身の前方（撮影範囲内）に位置する被写体２をその都度撮影し、その結果得られる複数の画像（ここでは画像信号）をデータ化する。

（ｂ）デジタルスチルカメラ１は、複数の画像データのうちの所定の１つを基準画像データとして選択する。そして、デジタルスチルカメラ１は、デジタル画像処理により、その基準画像データに対応する画像から、被写体２を示す領域（以下、被写体領域と称する）と被写体２以外の背景を示す領域（以下、背景領域と称する）とに分離し、それぞれ画像データとして抽出する。即ち、デジタルスチルカメラ１は、被写体領域画像データと背景領域画像データとのそれぞれを個別に出力する。

（ｃ）デジタルスチルカメラ１は、デジタルフィルタ処理により、被写体領域画像データと背景領域画像データのうちの少なくとも一方（例えば、背景領域画像データ）に対してぼかし効果を付加する。

（ｄ）デジタルスチルカメラ１は、基準画像データと、ぼかし効果が付加された画像データとを合成する（合成画像データを生成する）。

なお、デジタルスチルカメラ１は、（ｄ）の代わりの他の処理（（ｄ）の処理タイミングで実行可能な他の処理）として、次のような処理を実行することができる。

即ち、例えば、デジタルスチルカメラ１は、（ｄ）の処理の代わりに、ぼかし効果が付加されていない被写体領域画像データ（または、背景領域画像データ）と、ぼかし効果が付加された背景領域画像データ（または、被写体領域画像データ）とを合成する、という処理を実行することができる。

或いは、例えば、デジタルスチルカメラ１は、（ｄ）の処理の代わりに、第１のぼかし効果が付加された（第１の種類のデジタルフィルタ処理が施された）被写体領域画像データ（または、背景領域画像データ）と、第２のぼかし効果が付加された（第２の種類のデジタルフィルタ処理が施された）背景領域画像データ（または、被写体領域画像データ）とを合成する、という処理を実行することができる。

なお、ストロボ発光部１１は、図１の例では、デジタルスチルカメラ１に内蔵されているが、デジタルスチルカメラ１にとって必須な構成要素ではない。即ち、ストロボ発光部１１を内蔵していないデジタルスチルカメラ（ただし、外付けのストロボ発光装置を取り付け可能なデジタルスチルカメラ）に対しても、本発明を適用することが勿論可能である。

ただし、ストロボ発光部１１を内蔵していないデジタルスチルカメラは、上述した（ａ）の代わりに、次のような処理を実行する必要がある。即ち、この図示せぬデジタルスチルカメラは、図示せぬユーザがシャッタボタン（シャッタボタン１２に対応するボタン）を押下操作したとき、図示せぬ外付けのストロボ発光装置の照明条件を変化させて、前方（撮影範囲内）に位置する被写体２をその都度撮影し、その結果得られる複数の画像（ここでは画像信号）をデータ化する、という処理を実行する必要がある。

このように、本実施の形態のデジタルスチルカメラ１は、以上説明した(a)乃至(d)の処理を実行することができるので、次のような効果を奏することが可能になる。即ち、背景技術において説明した（１），（２）のような特別な条件（制約）がなくとも、 デジタルスチルカメラ１本来のデジタル処理（撮影加工する処理）だけで、ボケ味のある画像を提供することができる、という効果である。換言すると、従来の課題を解決できる効果である。

このような効果を奏することが可能なデジタルスチルカメラ１の内部のハードウエア構成例が図２に示されている。即ち、図２は、本発明が適用される画像処理装置としてのデジタルスチルカメラ１の内部のハードウエア構成例を示すブロック図である。

図２のデジタルスチルカメラ１において、主制御部２１は、CPU（Central Processing Unit）等で構成され、ROM（Read Only Memory）２２等に記憶されているプログラムに従って、デジタルスチルカメラ１の全体の動作、即ち、主制御装置２１に接続されている各部（後述する各ブロック）の動作を制御する。

例えば、主制御部２１には、シャッタボタン１２（図１）やフィルタ種類決定キー３２等、複数のボタンやキーからなる操作部２４が接続されている。そこで、主制御部２１は、操作部２４から入力されてくる信号を認識して、それに対応する様々な処理を実行する。具体的には、例えば、シャッタボタン１２が押下されたとき（それに対応する信号が入力されたとき）、主制御部２１は、後述する図１５のフローチャートに従って、各種の処理（各部の制御処理含む）を実行する。

この場合、主制御装置２１に接続されているRAM（Random Access Memory）２３には、主制御装置２１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

主制御部２１には、ROM２２、RAM２３、および操作部２４の他、撮影部２５、ストロボ制御部２６、ボケ味創出処理部２８、画像記録部２９、および、ドライブ３０が接続されている。

撮影部２５は、例えば、図示はしないが、レンズやCCD（Charge-Coupled Device）等により構成される。このCCDは、被写体２（図１）をレンズを介して撮像し、それをアナログの画像信号として主制御部２１に提供する。主制御部２１に提供された画像信号は、後述するように、主制御部２１によりデータ化され、ボケ味創出処理部２８に提供される。

ストロボ制御部２６は、ストロボ発光部１１の光量や発光タイミングを制御する。即ち、ストロボ制御部２６は、上述した（ａ）の処理において、ストロボ発光部１１の照明条件を変化させる制御を実行する。

具体的には、例えば、本実施の形態においては、ストロボ制御部２６は、受光センサ２７の検出結果（検出信号）に基づいて、ストロボ発光部１１の光量として、第１の光量と第２の光量とのうちのいずれか一方を設定する。

この第１の光量と第２の光量とのそれぞれは、次の条件を満たす光量であれば各々任意の光量で構わない。

即ち、一般的に、ストロボ発光部１１の光の到達距離（照射範囲）は、自然光に比較して遥かに短い。従って、ストロボ発光部１１の光量を変化させて、撮影部２５に被写体２を撮影させた場合、その結果得られる複数の画像のそれぞれの背景領域における輝度はいずれもほぼ同レベルとなる（被写体領域の輝度よりも低いレベルでほぼ一致する）。即ち、撮影範囲（撮影シーンの範囲）が固定され、被写体２を含むその撮影範囲内の全ての物体が動いていないと仮定すれば、ストロボ発光部１１が第１の光量で発光したときに撮影部２５により撮影された第１の画像の背景領域における輝度と、ストロボ発光部１１が第２の光量で発光したときに撮影部２５により撮影された第２の画像の背景領域における輝度とは、ほぼ同レベルとなる。

換言すると、第１の画像と第２の画像との、配置位置が対応する画素同士の輝度の差分値を演算した場合、背景領域における輝度の差分値は略０（極小値）になる。

従って、被写体領域における輝度の差分値がある程度大きくなれば（例えば、所定の閾値以上になれば）、第１の画像と第２の画像との、配置位置が対応する画素同士の輝度の差分値を演算することで、被写体領域を容易に検出することが可能になる。

即ち、被写体領域における輝度の差分値がある程度大きくなれば（例えば、所定の閾値以上になれば）、デジタルスチルカメラ１（正確には、後述するボケ味創出処理部２８）は、上述した（ｂ）の処理として、第１の画像と第２の画像との対応する画素同士の輝度の差分値を演算し、それらの演算結果（各画素の輝度の差分値のそれぞれ）に基づいて、第１の画像データまたは第２の画像データ（上述した基準画像データとして選択された方）から、被写体領域画像データと背景領域画像データとを分離する、という処理を容易に実行することができる。

そこで、このような（ｂ）の処理を実現するためには、即ち、被写体領域における輝度の差分値がある程度大きくなる（例えば、所定の閾値以上になる）ようにするためには、第１の光量と第２の光量とのそれぞれを適切に設定すればよいことになる。換言すると、このような処理を実現可能にするという条件、即ち、被写体領域における輝度の差分値がある程度大きくなる（例えば、所定の閾値以上になる）という条件を満たせば、第１の光量と第２の光量とのそれぞれは各自任意の光量で構わない。

ただし、本実施の形態においては、被写体領域における輝度の差分値がより大きな値となるように、ストロボ制御部２６は、第１の光量として、ストロボ発光部１１の照射範囲内に被写体２が少なくとも位置する条件を満たすような光量を設定し、第２の光量として、０光量を設定する。なお、ここで言う「０光量の設定」とは、その文言通り、ストロボ発光部１１の発光量を略０にさせる（微小光量で発光させる）設定だけではなく、ストロボ発光部１１の発光動作自体を禁止する設定も含む広義な概念である。

このようなストロボ制御部２６の制御により、ストロボ発光部１１が第１の光量で発光するという撮影条件で撮影され、主制御部２１によりデータ化された上述した第１の画像データと、ストロボ発光部１１が第２の光量（ここでは、０光量）で発光するという撮影条件（即ち、自然光のみでストロボ発光部１１が発光しないという条件）で撮影され、主制御部２１によりデータ化された上述した第１の画像データとのそれぞれは、ボケ味創出処理部２８に提供される。

すると、ボケ味創出処理部２８は、これらの第１の画像データと第２の画像データとを利用して、以上のような（ｂ）の処理を実行する。即ち、ボケ味創出処理部２８は、第１の画像と第２の画像との対応する画素同士の輝度の差分値を演算し、それらの演算結果（各画素の輝度の差分値のそれぞれ）に基づいて、基準画像データ（第１の画像データまたは第２の画像データとのうちのいずれか一方）から、被写体領域画像データと背景領域画像データとを分離する。

さらに、ボケ味創出処理部２８は、上述した（ｃ）と（ｄ）の処理も実行する。即ち、ボケ味創出処理部２８は、デジタルフィルタ処理により、被写体領域画像データと背景領域画像データのうちの少なくとも一方（例えば、背景領域画像データ）に対してぼかし効果を付加する。そして、ボケ味創出処理部２８は、基準画像データと、ぼかし効果が付加された画像データとを合成し、その結果得られる合成画像データを主制御部２１に提供する。

なお、ボケ味創出処理部２８は、図２の例ではハードウエアで構成しているが、（ｂ）乃至（ｄ）の処理といったデジタル画像処理を実行するブロックであるので、ソフトウエアで構成することも勿論可能である（或いは、ハードウエアとソフトウエアとの組合せで構成してもよい）。

このようなボケ味創出処理部２８の機能的構成例が図３に示されているが、この図３の説明、即ち、ボケ味創出処理部２８の構成や処理のさらなる詳細の説明については後述する。

このようにして、撮影部２５により撮影され、主制御部２１によりデータ化され、さらに、ボケ味創出処理部２８により画像処理が施された被写体２の画像データ、即ち、上述した（ａ）乃至（ｄ）の処理の結果得られるボケ味のある画像データ（合成画像データ）は、主制御部２１に提供される。すると、主制御部２１は、提供された画像データを、例えば、JPEG（Joint Photographic Experts Group）方式等の所定の圧縮方式で圧縮（符号化）し、画像記録部２９に記録させる。

即ち、画像記録部２９は、主に、このような画像データを1以上記憶する。画像記録部２９はまた、リムーバブル記録媒体３１から提供されたコンピュータプログラムを記憶することも可能である。

即ち、主制御部２１に接続されるドライブ３０には、必要に応じてコンピュータプログラムが記録されたリムーバブル記録媒体３１が装着され場合もあり、そのような場合、主制御部２１は必要に応じて、リムーバブル記録媒体３１に記録されたプログラムをドライブ３０を介して読み出し、画像記録部２９またはRAM２３等にインストールすることができる。

また、画像データを記録可能なリムーバブル記録媒体３１がドライブ３０に装着された場合には、主制御部２１は、画像記録部２９に記録された画像データを読み出し、ドライブ３０を介してリムーバブル記録媒体３１に書き込む（記録させる）ことができる。なお、主制御部２１は、画像データを画像記録部２９に記録させずに、ドライブ３０を介してリムーバブル記録媒体３１に直接書き込むこともできる。

さらに、画像データが記録されているリムーバブル記録媒体３１がドライブに装着された場合には、主制御部２１は、リムーバブル記録媒体３１に記録された画像データをドライブ３０を介して読み出し、所定の画像処理を施したり、画像記録部２９に記録させることができる。

ここで、図３を参照して、ボケ味創出処理部２８の詳細について説明する。

上述したようにボケ味創出処理部２８は、ハードウエアで構成してもよいし、ソフトウエアで構成してもよいし、或いは、それらの組み合わせとして構成してもよい。従って、ボケ味創出処理部２８の図３に示される各部（領域抽出部４１乃至画像合成部４５、および、領域抽出部４１内の輝度画像変換部５１乃至分離部５６）のそれぞれは、ハードウエアで構成することもできるし、ソフトウエアで構成されることもできるし、或いは、それらの組合せとして構成することもできる。

図３に示されるように、ボケ味創出処理部２８には、入力画像データ（ストロボ発光有）と、入力画像データ（ストロボ発光無）とのそれぞれが個別に主制御部２１から入力される。

なお、入力画像データ（ストロボ発光有）とは、ストロボ発光部１１が第１の光量で発光したときに撮影部２５により撮影され、主制御部２１によりデータ化された画像データ（上述した第１の画像データ）を指す。具体的には、例えば、入力画像データ（ストロボ発光有）として、図４に示される画像７１に対応する画像データがボケ味創出処理部２８に入力される。

一方、入力画像データ（ストロボ発光無）とは、ストロボ発光部１１が第２の光量で発光したとき（本実施の形態では０光量で発光したとき、即ち、自然光のみで、ストロボ発光部１１が発光しないとき）に撮影部２５により撮影され、主制御部２１によりデータ化された画像データ（上述した第２の画像データ）を指す。具体的には、例えば、入力画像データ（ストロボ発光有）として、図５に示される画像７２に対応する画像データがボケ味創出処理部２８に入力される。

具体的には、入力画像データ（ストロボ発光有）と、入力画像データ（ストロボ発光無）とのそれぞれは、領域抽出部４１と選択部４２とのそれぞれに個別に入力される。

すると、領域抽出部４１は、入力画像データ（ストロボ発光有）と入力画像データ（ストロボ発光無）とに基づいて、これらのうちの基準となる基準画像データ（後述する選択部４２により選択された方）から、被写体領域と背景領域とのそれぞれを個別に画像データとして抽出する。即ち、領域抽出部４１は、上述した（ｂ）の処理を実行し、その結果として、背景領域画像データと被写体領域画像データとのそれぞれを個別に選択部４３に出力する。

詳細には、領域抽出部４１は、輝度画像変換部５１、位置ずれ補正部５２、加算部（差分値演算部）５３、２値化部５４、被写体検出部５５、および、分離部５６から構成される。

輝度画像変換部４１は、入力画像データ（ストロボ発光有）を輝度画像データ（ストロボ発光有）に変換して出力するとともに、入力画像データ（ストロボ発光無）を輝度画像データ（ストロボ発光無）に変換して出力する。

なお、ここで言う輝度画像データとは、いわゆる白黒画像データを指す。

従って、例えば、入力画像データがいわゆるカラー画像データであって、各画素値として、ＲＧＢの３つの画素強度値のそれぞれ（IR,IG,IBのそれぞれと記述する）を有する画像データである場合、輝度画像変換部５１は、例えば、次の式（１）を利用して、入力画像データを輝度画像データに変換する。

Y = 0.3IR + 0.59IG + 0.11IB ・・・（１）

式（１）において、左辺のＹは輝度画像データの画素値（輝度値）を示す。

即ち、この場合、輝度画像データとは、各画素値として、式（１）の演算結果である輝度値Ｙの１つを有する画像データを指すことになる。

また、例えば、入力画像データがいわゆるカラー画像データであって、各画素値として、輝度値Ｙ、色差値Cr、および、色差値Cbといった３つの値を有する画像データである場合、輝度画像変換部５１は、入力画像データを構成する各画素値（３つの値）のうちの、色差値Crと色差値Cbとを棄却することで、入力画像データを輝度画像データに変換する。即ち、この場合、輝度画像データとは、各画素値として、輝度値Ｙの１つが残った画像データを指すことになる。

このようにして、輝度画像変換部５１から出力された輝度画像データ（ストロボ発光有）は、位置ずれ補正部５２に入力される。一方、輝度画像変換部５１から出力された輝度画像データ（ストロボ発光無）は、位置ずれ補正部５２に入力されるとともに、加算部（差分値演算部）５３にも入力される。

このように、輝度画像データ（ストロボ発光有）と、輝度画像データ（ストロボ発光無）とが加算部（差分値演算部）５３に直接入力されずに、位置ずれ補正部５２に一度入力されている理由は、即ち、本実施の形態において位置ずれ補正部５２が設けられている理由は次の通りである。

即ち、上述したように、輝度画像データ（ストロボ発光有）と輝度画像データ（ストロボ発光無）との、配置位置が対応する画素同士の画素値（即ち、輝度値）の差分値を演算することで、被写体領域を容易に検出することが可能になる。

ただし、このとき、前提条件としては、輝度画像データ（ストロボ発光有）に対応する画像における被写体２（および背景）の配置位置と、輝度画像データ（ストロボ発光無）に対応する画像における被写体２（および背景）の配置位置とは一致していることが挙げられる。即ち、輝度画像データ（ストロボ発光有）に対応する画像の各画素のそれぞれと、輝度画像データ（ストロボ発光無）に対応する画像の各画素のうちの、対応点となる画素との配置位置（画素位置）は一致していることが前提条件となる。

なお、対応点とは、次のような画素（点）を指す。即ち、第１の画像を構成する各画素（点）のうちの、例えば、実物体（被写体２等）の一部分を示す所定の第１の画素（第１の点）と、第２の画像を構成する各画素のうちの、その実物体の同一部分を示す第２の画素（第２の点）とのそれぞれが、（他方の点に対する）対応点と称されている。

このような前提条件を成立させるためには、厳密には、上述したように、撮影範囲が固定され、被写体２を含むその撮影範囲内の全ての物体が動いていないことが必要となる。

しかしながら、実際には、入力画像データ（ストロボ発光有）と入力画像データ（ストロボ発光無）とのそれぞれの撮影タイミングはずれている。即ち、本実施の形態では、後述する図１６のステップＳ１２とＳ１３に示されるように、最初に、ストロボ発光無で（ストロボ発光部１１が第２の光量である０光量で発光して、即ち、自然光のみで発光せずに）被写体２が撮影されて、入力画像データ（ストロボ発光無）が得られる。そして、次に、ストロボ発光有で（ストロボ発光部１１が第１の光量で発光して）被写体２が撮影されて、入力画像データ（ストロボ発光無）が得られる。従って、この２つの画像データが得られる間（撮影される間）に、撮影範囲内の物体の少なくとも一部が動いてしまう可能性がある。

また、ユーザがデジタルスチルカメラ１を手にして被写体２を撮影したような場合、いわゆる手振れ等により、入力画像データ（ストロボ発光有）と入力画像データ（ストロボ発光無）とのそれぞれの撮影範囲（撮影シーンの範囲）自身が微少ながらも変化している可能性がある。

即ち、実際には、撮影タイミングのずれや手振れ等の原因により、輝度画像データ（ストロボ発光有）と輝度画像データ（ストロボ発光無）とのそれぞれに対応する画像における、被写体２（および背景）の配置位置はずれている（即ち、対応点が位置ずれを起こしている）可能性がある。

そこで、図３に示されるように、この位置ずれを修正（補正）することを目的として、本実施の形態においては、位置ずれ補正部５２が設けられているのである。

即ち、位置ずれ補正部５２は、対応点の位置ずれを補正するために、最初に、輝度画像変換部５１からそれぞれ出力された、輝度画像データ（ストロボ発光有）に対応する画像を構成する各画素のうちの少なくとも一部に対して、輝度画像データ（ストロボ発光無）に対応する画像を構成する各画素の中から対応点となる画素を求める。

なお、対応点を求める手法自体は特に限定されず、様々な手法を適用することが可能である。

例えば、このような対応点を求める代表的な手法として、ウィンドウマッチング手法と称される手法が知られており、位置ずれ補正部５２は、このウィンドウマッチング手法を利用することができる。

即ち、ウィンドウマッチング手法を利用する位置ずれ補正部５２は、はじめに、例えば、輝度画像データ（ストロボ発光有）に対応する画像（以下、第１の輝度画像と称する）のうちの、処理の対象として注目する画素（以下、注目画素と称する）を中心とする所定の領域（このような領域がウィンドウと称されており、ここでもそのように称する）を切り出す。

次に、位置ずれ補正部５２は、そのウィンドウを、輝度画像データ（ストロボ発光無）に対応する画像（以下、第２の輝度画像と称する）の上に配置させ、所定の方向に順次変移させる。このとき、位置ずれ補正部５２は、第２の輝度画像の上のウィンドウの変移位置のそれぞれにおいて、ウィンドウと、それと重なり合う第２の輝度画像内の領域（以下、比較領域と称する）との一致の度合（相関値）を順次演算していく。

そして、位置ずれ補正部５２は、一致の度合が演算された第２の輝度画像内の比較領域のうちの、一致の度合が最も高い比較領域の中心点（中心画素）を、第１の輝度画像内の注目画素に対する対応点（対応画素）として検出する。

なお、一致の度合（相関値）の演算手法自体も特に限定されず、例えば、正規化相関関数、SSD(Sum of Squared Difference)と称される評価式、または、SAD(Sum of Absolute Difference)と称される評価式を利用する手法の適用が可能である。

位置ずれ補正部５２は、このようにして第１の輝度画像における注目画素に対する、第２の輝度画像における対応点（対応画素）を求めると、注目画素と対応点との配置位置のずれ量（ベクトル）を求め、保持する。

その後、位置ずれ補正部５２は、第１の輝度画像を構成する各画素のそれぞれを順次注目画素に設定し、上述した一連の処理を繰り返していく。即ち、順次注目画素として設定された第１の輝度画像内の各画素のそれぞれに対して、第２の輝度画像における対応点（対応画素）のそれぞれが求められ、さらに、注目画素と対応点との配置位置のずれ量（ベクトル）のそれぞれが求められ、保持される。

ただし、第１の輝度画像を構成する各画素のうちの、対応点を求める画素（即ち、注目画素として設定する画素）の個数は、特に限定されず、任意の個数でよい。

即ち、例えば、第１の輝度画像を構成する各画素の全てに対して、対応点を求めてもよいし、予め設定された代表的な画素に対してのみ、対応点を求めてもよい。

さらに、後者の場合、代表的な画素の設定手法も特に限定されず、様々な手法を適用できる。即ち、例えば、単に予め設定された配置位置の画素を、代表的な画素として設定することもできる。また、最終的には、被写体領域（或いは背景領域）の検出が目的とされているので、被写体２を示すと予測される画素（例えば、画素値（輝度値）が所定の閾値より高い画素）を、代表的な画素として設定することもできる。さらに、例えば、最初は限られた個数の画素を代表的な画素として、それらの対応点を求め、求められた各対応点との配置位置のずれ量（ベクトル）のそれぞれが大きく異なる場合（ばらばらな場合）、さらに多くの個数の画素を、代表的な画素として設定し、それらの対応点を求めるようにしてもよい。

このようにして、位置ずれ補正部５２は、第１の輝度画像の1以上の画素のそれぞれに対して、大２の輝度画像における対応点との配置位置のずれ量（ベクトル）のそれぞれを蓄積すると、蓄積された１以上のベクトル（ずれ量）のそれぞれに基づいて、第１の輝度画像（輝度画像データ（ストロボ発光有）に対応する画像）の画素位置を補正し、その結果得られる画像データ（以下、図３の記載に対応させて、補正輝度画像データ（ストロボ発光有）と称する）を加算部（差分値演算部）５３に提供する。

なお、このときの補正手法自体は特に限定されず、様々な手法を適用することが可能である。具体的には、例えば、保持された各ベクトル（ずれ量）の平均を取ったり、統計を取ることで、代表的なベクトル（ずれ量）を求め、第１の輝度画像の各画素の配置位置の全てを、その代表的なベクトル分だけ移動させる、という手法を適用することができる。

加算部（差分値演算部）５３には、このようにして位置ずれ補正部５２から出力された補正輝度画像データ（ストロボ発光有）が入力されるとともに、上述したように、輝度画像変換部５１から出力された輝度画像データ（ストロボ発光無）が反転入力される。

なお、ここでは、反転入力とは、輝度画像データ（ストロボ発光無）を構成する各画素値（正値）の符号が反転される（即ち、負値に変換される）ことを指す。

加算部（差分値演算部）５３は、入力された補正輝度画像データ（ストロボ発光有）を構成する各画素値（即ち、上述した輝度値Y）のそれぞれから、輝度画像データ（ストロボ発光無）を構成する各画素値（即ち、上述した輝度値Y）のうちの、画素位置が対応する画素値との差分値（反転入力された結果、符号が反転された輝度画像データ（ストロボ発光無）に対応する画素値との加算値）を演算する。

そして、加算部（差分値演算部）５３は、演算された輝度値の差分値のそれぞれを各画素値として有する画像データ（以下、図３の記載に対応させて、差分画像データと称する）を生成し、２値化部５４と被写体検出部５５とのそれぞれに提供する。

２値化部５４は、提供された差分画像データの画素値（即ち、輝度値の差分値）のそれぞれを２値化し、その結果得られる画像データ（以下、図３の記載にあわせて、２値化画像データと称する）を被写体検出部５５に提供する。

即ち、２値化部５４は、提供された差分画像データの画素値（即ち、輝度値の差分値）のそれぞれと、予め設定された所定の閾値とを比較し、閾値より大きい画素値を第１の値（例えば、いわゆる白を示す第１の値であって、２５６階調（８ビット）で表現する場合には２５５）に変換し、閾値以下の画素を第２の値（例えば、いわゆる黒を示す第１の値であって、２５６階調で表現する場合には０）に変換し、その結果得られる２値化画像データを被写体検出部５５に提供する。

被写体検出部５５は、加算部（差分値演算部）５３から出力された差分画像データに基づいて、２値化部５４から出力された２値化画像データに対応する画像の中から、被写体領域を検出し、検出された被写体領域を構成する画素の画素値を上述した第１の値とし、それ以外の背景領域を構成する画素の画素値を上述した第２の値として有する画像データ（以下、図３の記載に対応させて、２値化被写体抽出画像データと称する）を、分離部５６とアンチエイリアジング処理部４６とのそれぞれに提供する。

具体的には、例えば、２値化被写体抽出画像データとして、図６に示される被写体領域９１と背景領域９２とに区分された画像８１に対応する画像データが、被写体検出部５５から出力されて、分離部５６とアンチエイリアジング処理部４６とのそれぞれに提供される。

分離部５６は、被写体検出部５５から出力された２値化被写体抽出画像データに基づいて、基準画像データから（入力画像データ（ストロボ発光有）と入力画像データ（ストロボ発光無）とのうちの選択部４２により選択された方から）、被写体領域画像データと背景領域画像データとを分離して個別に抽出し、選択部４３にそれぞれ出力する。

具体的には、例えば、選択部４２が基準画像データとして、上述した図５の画像７２に対応する入力画像データ（ストロボ発光無）を選択したとする。

この場合、分離部５６は、図５の画像７２から、図６の被写体領域９１に対応する領域を分離して抽出する。換言すると、分離部５６は、図５の画像７２に対応する基準画像データを構成する各画素値のうちの、図６の被写体領域９１に対応する画素値をそのままとし、それ以外の画素値（図６の背景領域９２に対応する画素値）の全てを同一値（例えば、黒を示す値）に変換し、その結果得られる画像データを被写体領域画像データとして選択部４３に出力する。即ち、被写体領域画像データとして、図７に示される被写体領域１２１を含む画像１１１に対応する画像データが、分離部５６から出力されて選択部４３に提供される。

また、分離部５６は、図５の画像７２から、図６の背景領域９２に対応する領域を分離して抽出する。換言すると、分離部５６は、図５の画像７２に対応する基準画像データを構成する各画素値のうちの、図６の背景領域９２に対応する画素値をそのままとし、それ以外の画素値（図６の被写体領域９１に対応する画素値）の全てを同一値（例えば、黒を示す値）に変換し、その結果得られる画像データを背景領域画像データとして選択部４３に出力する。即ち、背景領域画像データとして、図８に示される背景領域１２２Ａを含む画像１１２に対応する画像データが、分離部５６から出力されて選択部４３に提供される。

以上、領域抽出部４１の詳細な構成例について説明した。次に、選択部４２乃至画像合成部４５について説明する。

選択部４２は、主制御部２１からの指令に基づいて、入力画像データ（ストロボ発光有）と入力画像データ（ストロボ発光無）とのうちのいずれか一方を、（合成用）基準画像データとして選択し、分離部５６と画像合成部４５に提供する。

なお、主制御部２１から選択部４２に提供される指令を、以下、図３の記載に対応させて、合成用基準画像選択指令と称する。

この合成用基準画像選択指令の形態は特に限定されないが、本実施の形態においては、例えば、次のような信号とされる。即ち、後述するように、ストロボ制御部２６（図２）は、受光センサ２７（図２）の検出結果（撮影範囲の明るさ）に基づいて、（これから通常撮影を行うと仮定した場合に）ストロボ発光部１１のストロボ発光が必要か否かを判断し、その判断結果を示す信号、即ち、ストロボ発光が必要であることを示す信号（例えば、ハイレベルとローレベルのうちの一方の信号）、または、ストロボ発光が不要であることを示す信号（ハイレベルとローレベルのうちの他方の信号）を主制御部２１に提供してくる。そこで、主制御部２１は、これらの信号（以下、これらの信号をまとめて、ストロボ必要可否検出信号と称する）を合成用基準画像選択指令として選択部４２に入力させる。

即ち、選択部４２は、主制御部２１からストロボ発光が必要であることを示す信号が（合成用基準画像選択指令として）入力されたとき、入力画像データ（ストロボ発光有）を基準画像データとして選択し、分離部５６と画像合成部４５に提供する。

これに対して、選択部４２は、主制御部２１からストロボ発光が不要であることを示す信号が（合成用基準画像選択指令として）入力されたとき、入力画像データ（ストロボ発光無）を基準画像データとして選択し、分離部５６と画像合成部４５に提供する。

選択部４３は、主制御部２１からの指令に基づいて、分離部５６からそれぞれ個別に出力された背景領域画像データと被写体領域画像データとのうちのいずれか一方を、ぼかし効果のあるフィルタ処理（ぼかし処理）を施す対象データとして選択し、フィルタ処理部（ぼかし処理部）４４に提供する。

なお、主制御部２１から選択部４３に提供される指令を、以下、図３の記載に対応させて、合成用ボケ画像選択指令と称する。

この合成用ボケ画像選択指令の形態は特に限定されないが、本実施の形態においては、例えば、次のような信号とされる。即ち、一般的な用途（ユーザの要望）としては、被写体を鮮明にして、背景をぼかす画像の生成が多いので、ローレベルの信号（或いは、無信号）が主制御部２１から提供されているとき、選択部４３は、その信号を背景領域画像データの選択指令とみなし、背景領域画像データを対象データとして選択し、フィルタ処理部（ぼかし処理部）４４に提供する。これに対して、ハイレベルの信号が主制御部２１から提供されているとき、選択部３２は、その信号を被写体領域画像データの選択指令とみなし、被写体領域画像データを対象データとして選択し、フィルタ処理部（ぼかし処理部）４４に提供する。

なお、以下、説明の簡略上、選択部４３は、背景領域画像データを選択して、フィルタ処理部（ぼかし処理部）４４に提供しているとして説明する。

フィルタ処理部（ぼかし処理部）４４は、分離部５６より選択部４３を介して提供された背景領域画像データに対して、ぼかし効果のあるフィルタ処理を施し、その結果得られる画像データ（以下、図３の記載に対応させて、合成用ボケ画像データと称する）を画像合成部４５に提供する。即ち、フィルタ処理部（ぼかし処理部）４４は、上述した（ｃ）の処理を実行する。

具体的には、例えば、いまの場合、フィルタ処理部（ぼかし処理部）４４には、図８に示されるような、背景領域１２２Ａを含む画像１１２に対応する背景領域画像データが入力される。そこで、フィルタ処理部（ぼかし処理部）４４は、この背景領域画像データに対して、ぼかし効果のあるフィルタ処理を施すことで、図９に示されるような、ぼかし効果が付加された背景領域１２２Ｂを含む画像１１３に対応する画像データを生成し、それを合成用ボケ画像データとして画像合成部４５に提供する。

なお、本実施の形態においては、フィルタ処理部（ぼかし処理部）４４のフィルタ処理として予め複数種類の処理が登録されており、ユーザは、上述したフィルタ種類キー３２（図２）を操作することで、フィルタ処理部（ぼかし処理部）４４がこれから実行するフィルタ処理の種類を指定することができる。さらに、ユーザは、フィルタ種類キー３２を操作することで、指定された種類のフィルタ処理の実行に必要な各種パラメータの値も指定（設定）することができる。

即ち、ユーザがフィルタ種類キー３２を操作して所定のフィルタ処理（種類）を指定すると、指定された種類やパラメータの値を示す信号（以下、フィルタ種類信号と称する）が、主制御部２１を介してフィルタ処理部（ぼかし処理部）４４に入力される。そこで、フィルタ処理部（ぼかし処理部）４４は、フィルタ種類信号に基づいて、指定された種類のフィルタ処理を指定されたパラメータの値を利用して実行する。

このように、ユーザは、フィルタ処理部（ぼかし処理部）４４が実行するフィルタ処理に必要な各種パラメータの値を可変設定することができるので、様々な大口径レンズを利用したときのボケ効果（円形や多角形等）と等価な効果を有するフィルタ処理をフィルタ処理部（ぼかし処理部）４４に容易に実行させることができる。

また、フィルタ処理部（ぼかし処理部）４４が実行するフィルタ処理の種類は多数あり、ユーザは、その種類を指定することができるので、大口径レンズを利用したボケ効果以外にも、通常の銀塩カメラ等では撮影困難なボケ効果を有するフィルタ処理をフィルタ処理部（ぼかし処理部）４４に容易に実行させることができる。

画像合成部４５は、選択部４２から提供された基準画像データ（入力画像データ（ストロボ発光有）と入力画像データ（ストロボ発光無）とのうちの選択部４２により選択された方）と、フィルタ処理部（ぼかし処理部）４４から提供された合成用ボケ画像データ（いまの場合、フィルタ処理が施された背景領域画像データ）とを合成し、その結果得られる画像データ（合成画像データ）を出力画像データとして主制御部２１に提供する。即ち、画像合成部４６は、上述した（ｄ）の処理を実行する。

ところで、基準画像データと合成用ボケ画像データとが単に合成された場合、その結果得られる合成画像データに対応する合成画像において、被写体領域と背景領域との境界線にジャギーが発生してしまう（ギザギザとなってしまう）。即ち、ユーザにとって違和感のある合成画像となってしまう。

そこで、違和感ない合成画像（合成画像データ）を生成するために、本実施の形態においては、アンチエイリアジング処理部４６が設けられている。

即ち、アンチエイリアジング処理部４６は、被写体検出部５５から提供される２値化被写体抽出画像データに対してアンチエイリアジング処理を施し、その結果得られる画像データを画像合成部４５に提供する。

画像合成部４５は、アンチエイリアジング処理部４６から提供された画像データ（アンチエイリアジング処理が施された２値化被写体抽出画像データ）を参照して、これから生成する合成画像データのうちの、対応する合成画像の被写体領域と背景領域との境界およびその近傍に位置する各画素の画素値のそれぞれを決定する。

このように、アンチエイリアジング処理部４６から画像合成部４５に提供される画像データ（アンチエイリアジング処理が施された２値化被写体抽出画像データ）は、合成処理のうちの、特に、被写体領域と背景領域との境界（エッジ）部分の合成処理に利用される。そこで、以下、図３の記載にも対応させて、アンチエイリアジング処理部４６から画像合成部４５に提供される画像データ（アンチエイリアジング処理が施された２値化被写体抽出画像データ）を、エッジ処理参照画像データと称する。

アンチエイリアジング処理自体の内容は、特に限定されず、例えば、従来利用されている、注目画素の画素値を隣接する画素との中間値に変換するという処理でも構わないが、本実施の形態においては、合成画像の違和感をより減らすために、図１０と図１１に示されるような処理内容のアンチエイリアジング処理が適用されている。即ち、図１０と図１１は、本実施の形態のアンチエイリアジング処理の内容を説明する図である。

図１０において、その左側に、図６の２値化被写体領域抽出画像９１の被写体領域９１と背景領域９２の境界付近の領域９３Ａが示されており、その右側に、その領域９３Ａの空間方向Ｘに対する画素値（輝度値）の変化を示すグラフが示されている。なお、このグラフにおいては、白を示す値（輝度値）が１とされ（実際には、例えば、上述した８ビットの２５６階調の例の場合、２５５となる）、黒を示す値（輝度値）が０とされている。即ち、図１０は、本実施の形態のアンチエイリアジング処理が施される前の状態を示す図である。

これに対して、図１１においては、その左側に、図１０の領域９３Ａ（それに対応する画像データ）に対して本実施の形態のアンチエイリアジング処理が施された場合に、その結果として得られる領域９３Ｂが示されており、その右側に、その領域９３Ｂの空間方向Ｘに対する画素値の変化を示すグラフが示されている。なお、このグラフにおいては、図１０のグラフと同様に、白を示す値（輝度値）が１とされ（実際には、例えば、上述した８ビットの２５６階調の例の場合、２５５となる）、黒を示す値（輝度値）が０とされている。即ち、図１１は、本実施の形態のアンチエイリアジング処理が施された後の状態を示す図である。

図１０と図１１との右側のグラフを比較するに、本実施の形態のアンチエイリアジング処理を施す前は、図１０のグラフに示されるように、境界部分において、画素値が０から１にいきなり変化していたのに対して、本実施の形態のアンチエイリアジング処理を施した後では、図１１のグラフに示されるように、境界部分とその近傍において、画素値の変化（０から１への変化）が曲線上に滑らかになっていることがわかる。

換言すると、本実施の形態のアンチエイリアジング処理とは、図１１の右側のグラフに示されるような曲線、即ち、例えば、入力変数として空間方向Ｘの画素位置ｘが入力され、入力された画素位置xの画素における、被写体領域と背景領域との混合比を示す値（図１１の例では、白を示す値を１とした場合、1以下の数値Ａ）を出力する関数であって、空間方向Ｘに沿って出力が図１１に示される様に曲線変化する関数f(x)＝Aが用意されており、この関数f(x)の出力値Aを利用して各画素値を決定する（変換する）処理である。

即ち、本実施の形態のアンチエイリアジング処理とは、画素位置xにおける画素の画素値を、被写体領域９１の画素値（即ち、図１０と１１の例では、白を示す１）と、背景領域９２の画素値（即ち、図１０と１１の例では、黒を示す０）とが、Ａ：１−Ａの混合比（配合比）で混合された値に変換する処理である。

図１２と図１３は、本実施の形態のアンチエイリアジング処理の他の処理結果例を示す図である。即ち、図１２は、上述した図６の画像８１とは異なる２値化画像（試験用に用意した画像）を示しており、図１３は、図１２の２値化画像（正確には、それに対応する画像データ）に対して、本実施の形態のアンチエイリアジング処理を施した結果得られる画像を示している。

図１２の画像と図１３の画像とを比較するに、図１２の画像においては、エッジ部分のジャギー（ギザギザ）が目立っているのに対して、図１３の画像においては、エッジ部分のギザギザが低減していることがわかる。

なお、図３のアンチエイリアジング処理部４６がアンチエイリアジング処理を実行する際に利用する関数f(x)は、本実施の形態の関数、即ち、図１１の右側のグラフの曲線（或いは、その近似曲線）を示す関数に限定されず、単に（滑らかに変化するような）曲線を示す関数であればよい。具体的には、例えば、図示はしないが、シグモイド関数等を利用することもできる。

このようにして、図６の２値化被写体領域抽出画像８１（それに対応する２値化被写体領域抽出画像データ）に対して本実施のアンチエイリアジング処理が施された画像（それに対応するエッジ処理参照画像データ）を利用して、基準画像（それに対応する基準画像データ）と、ボケ効果のあるフィルタ処理が施された背景領域画像（それに対応する合成用ボケ画像データ）とが合成される様子が、図１４に示されている。即ち、図１４は、画像合成部４５（図３）の処理を説明する図である。

図１４の例では、基準画像データとして、図５の画像７２に対応する入力画像データ（ストロボ発光無）が採用され、合成用ボケ画像データとして、図９の画像１１３に対応する画像データが採用されている。また、画像１１４が、図６の２値化被写体領域抽出画像８１（それに対応する２値化被写体領域抽出画像データ）に対して本実施のアンチエイリアジング処理が施された画像を示している。

そして、図３の画像合成部４５が、本実施のアンチエイリアジング処理が施された画像１１４を参照して、画像７２（基準画像データ）と画像１１３（合成用ボケ画像データ）とを合成した結果得られる合成画像が、画像１１５として示されている。

画像合成部４５は、このような合成画像１１５を生成するために、詳細には次のような処理を実行する。即ち、画像合成部４５は、画像１１４における被写体領域と背景領域との境界およびその近傍に位置する各画素の画素値に基づいて、これから生成する合成画像１１５の対応する部分（被写体領域と背景領域との境界およびその近傍）に位置する各画素における混合比（被写体領域と背景領域との混合比）をそれぞれ求め、その混合比に従って、各画素値を決定する。即ち、画像１１４の画素値から、被写体領域の画素値と、背景領域の画素値との混合比（配合比）である上述したＡ：１−Ａが求められる（逆算される）。そして、これから生成される合成画像１１５における、被写体領域と背景領域との境界（エッジ）とその近傍に位置する各画素が、求められた混合比Ａ：１−Ａで被写体領域と背景領域とが混合された画素となるように、対応する画素値が決定されていく。

以上、本実施の形態のデジタルスチルカメラ１の構成について説明した。

次に、図１５のフローチャートを参照して、本実施の形態のデジタルスチルカメラ１（図１と図２）が、シャッタボタン１２（図１と図２）が押下されたときに、被写体２（図１）を撮影してデータ化し、その画像データに対して上述した各種の画像処理を施し、その結果得られる画像データ、即ち、ボケ効果が付加された画像データ（ボケ味のある画像）を画像記録部２９（図２）に記録するまでの一連の処理（以下、撮影記録処理と称する）について説明する。

はじめに、ステップＳ１において、図２のデジタルスチルカメラ１の主制御部２１は、シャッタボタン１２が押下されたか否かを判定する。

ステップＳ１において、シャッタボタン１２が押下されていないと判定されると、処理はステップＳ１に戻され、シャッタボタン１２が押下されたか否かが再度判定される。即ち、主制御部２１は、シャッタボタン１２が押下されることを常時監視している。

例えば、いま、図１に示されるように、図示せぬユーザが、デジタルスチルカメラ１（その撮影方向）を被写体２に向け、シャッタボタン１２を押下したとする。

このとき、主制御部２１は、シャッタボタン１２からの信号を受け取ると、ステップＳ１において、シャッタボタン１２が押下されたと判定し、ステップＳ２において、ストロボ制御部２６を制御して、ストロボ発光部１１のストロボ発光量を変化させ、そのストロボ発光量が変化する毎に撮影部２５に被写体２（それを含む撮影範囲）を撮影させ、その結果得られる（入力される）画像信号をデータ化して、ボケ味創出処理部２８に提供する。

なお、以下、このようなステップＳ２の処理を「撮影処理」と称する。このステップＳ２の「撮影処理」の処理内容は、基本的に上述した内容であれば、特に限定されない。

ただし、ここでは、例えば、上述した本実施の形態、即ち、ストロボ発光有り（第１の光量）の撮影条件と、ストロボ発光無し（第２の光量）の撮影条件といった２つの撮影条件でそれぞれ被写体２が撮影される、といった実施の形態に対応する処理内容とされる。図１６は、このような処理内容の「撮影処理」の詳細を示すフローチャートである。そこで、以下、図１６のフローチャートを参照して、この例の「撮影処理」の詳細について説明する。

はじめに、ステップＳ１１において、ストロボ制御部２６は、主制御部２１の制御の下、受光センサ２７の検出値（即ち、撮影範囲の明るさ）を取得し、その検出値に基づいて、ストロボ光の量（必要量）を決定（検出）し、その決定結果を示す信号（即ち、上述した例では、図３に示されるストロボ必要可否検出信号）を主制御部２１に提供する。

次に、ステップＳ１２において、撮影部２５は、主制御部２１の制御に基づいて、ストロボ発光無で被写体２を撮影する。

より正確には、例えば、主制御部２１は、上述した図１５のステップＳ１の処理で、シャッタボタン１２が押下れたと判定した後、撮影部２５が撮影した被写体２の画像信号の取り込みを開始し、ステップＳ１１の処理で、ストロボ制御部２６からの信号を受け取った直後（或いは、その後、所定の時間経過後）に撮影部２５から提供された画像信号、ストロボ発光部１１が発光していない時点で撮影部２５から提供された画像信号を、ストロボ発光無で撮影された（即ち、自然光のみで撮影された）被写体２の画像信号として取得し、それをデータ化してボケ味創出処理部２８に提供する。

このように、ステップＳ１２の処理で主制御部２１からボケ味創出処理部２８に提供される画像データが、上述した図３の入力画像データ（ストロボ発光無）となる。

ステップＳ１２の処理に引き続き、ステップＳ１３において、撮影部２５は、主制御部２１の制御に基づいて、ストロボ発光有で被写体２を撮影する。

より正確には、例えば、主制御部２１は、ステップＳ１２の処理後も、撮影部２５が撮影した被写体２の画像信号を引き続き取り込み、ステップＳ１２の処理直後（或いは、その後、所定の時間経過後）、ストロボ制御部２６を制御して、ステップＳ１１の処理で検出された光量（即ち、上述した第１の光量）でストロボ発光部１１を発光させる。この時点で撮影部２５から提供される画像信号を、ストロボ発光有で撮影された被写体２の画像信号として取得し、それをデータ化してボケ味創出処理部２８に提供する。

このように、ステップＳ１３の処理で主制御部２１からボケ味創出処理部２８に提供される画像データが、上述した図３の入力画像データ（ストロボ発光有）である。

以上をまとめると、本実施の形態の「撮影処理」においては、シャッタボタン１２の１回の押下操作に対して、ストロボ発光有と無といった２つの撮影条件でそれぞれ撮影された被写体２の画像データ、即ち、入力画像データ（ストロボ発光有）と、入力画像データ（ストロボ発光無）が主制御部２１により生成され、ボケ味創出処理部２８に提供されることになる。

なお、ステップＳ１２とＳ１３の処理タイミングは、特に限定されず、ステップＳ１３の処理が先に実行されてもよい。

ただし、上述したように、ステップＳ１２の処理で撮影された被写体２の画像（画像データ）と、ステップＳ１３の処理で撮影された被写体２の画像（画像データ）とに対して、配置位置が対応する画素同士の輝度値の差分が取られ（差分画像データが生成され）、その輝度値の差分値に基づいて、被写体領域（或いは、それ以外の背景領域）が検出されることになる。この被写体領域の検出を精度よく行うためには、上述したように、ステップＳ１２の処理で撮影された被写体２の画像（画像データ）と、ステップＳ１３の処理で撮影された被写体２の画像（画像データ）とにおいて、対応するオブジェクト（被写体２等）の配置位置が一致することが望ましい。即ち、デジタルスチルカメラ１の撮影範囲内のオブジェクトは実空間上で動かないことが望ましい。従って、ステップＳ１２とＳ１３の処理間隔は可能な限り短い方が好適である。

図１５に戻り、このようなステップＳ２の「撮影処理」が終了し、入力画像データ（ストロボ発光有）と入力画像データ（ストロボ発光無）とがボケ味創出処理部２８に提供されると、ボケ味創出処理部２８は、ステップＳ３とＳ４において、上述した（ｂ）乃至（ｄ）の処理を実行する。

これらの（ｂ）乃至（ｄ）の処理のうちの、図３の領域抽出部４１（ただし、分離部５６除く）とアンチエイリアジング処理部４６が実行する処理が、図１５の例では、ステップＳ３の処理とされている。なお、以下、このようなステップＳ３の処理を「被写体抽出処理」と称する。

また、これらの（ｂ）乃至（ｄ）の処理のうちの、分離部５６、選択部４２、選択部４３、フィルタ処理部（ぼかし処理部）４４、および、画像合成部４５が実行する処理が、ステップＳ４の処理とされている。なお、以下、このようなステップＳ４の処理を「画像合成処理」と称する。

「被写体抽出処理」の詳細な例が図１７と図１８のフローチャートに、「画像合成処理」の詳細な例が図１９に示されている。そこで、以下、はじめに、図１７と図１８のフローチャートを参照して、「被写体抽出処理」の詳細な例を説明し、その次に、図１９のフローチャートを参照して、「画像合成処理」の詳細な例を説明する。

図１７の「被写体抽出処理（図１５のステップＳ３の処理）」において、はじめに、ステップＳ２１において、図３の領域抽出部４１の輝度画像変換部５１は、上述したように、ストロボ発光有で撮影された第１の入力画像データと、ストロボ発光無で撮影された第２の入力画像データとのそれぞれを、第１の輝度画像データ（ストロボ発光有）と第２の輝度画像データ（ストロボ発光無）にそれぞれ変換する。

第１の輝度画像データ（ストロボ発光有）と第２の輝度画像データ（ストロボ発光無）とのそれぞれが位置ずれ補正部５２に提供されると、ステップＳ２２において、位置ずれ補正部５２は、上述したように、第１の輝度画像データ（ストロボ発光有）と第２の輝度画像データ（ストロボ発光無）との各対応点を求め、それらの対応点の位置関係に基づいて、第１の輝度画像データ（ストロボ発光有）と第２の輝度画像データ（ストロボ発光無）との間のズレ量（ベクトル）を推定する。

そして、ステップＳ２３において、位置ずれ補正部５２は、上述したように、ステップＳ２２の処理で推定されたズレ量（ベクトル）に基づいて、第１の輝度画像データ（ストロボ発光有）と第２の輝度画像データ（ストロボ発光無）との間の位置ずれを補正する。即ち、位置ずれ補正部５２は、第１の輝度画像データ（ストロボ発光有）を補正し（対応する輝度画像を構成する各画素の配置位置を補正し）、補正輝度画像データ（ストロボ発光有）を生成し、加算部（差分値演算部）５３に提供する。

このようにして、ステップＳ２３の処理で、補正輝度画像データ（ストロボ発光有）が加算部（差分値演算部）５３に提供されると（第２の輝度画像データ（ストロボ発光無）はステップＳ２１の処理後に輝度画像変換部５１から提供されている）、ステップＳ２４において、加算部（差分値演算部）５３は、上述したように、補正輝度画像データ（補正された第１の輝度画像データ（ストロボ発光有））と第２の輝度画像データ（ストロボ発光無）との差分画像データを生成し、２値化部５４と被写体検出部５５のそれぞれに提供する。

すると、ステップＳ２５において、２値化部５４は、上述したように、差分画像データの各画素値（輝度値の差分値）を２値化する。即ち、２値化部５４は、２値化画像データを生成し、被写体検出部５５に提供する。

その後、処理は図１８のステップＳ２６に進められる。

ステップＳ２６において、被写体検出部５５は、ステップＳ２５（図１７）の処理で２値化部５４から提供された２値化画像データに対応する画像を構成する各画素のうちの、画素値が同一値（上述した第１の値と第２の値といった２値のうちの何れか一方）であって、相互に連結している画素からなる領域を検出し、領域を検出する毎にその領域に領域番号を付していく。なお、以下、このような領域番号が付された領域をラベリング領域と称する。

なお、領域番号の付し方（手法）は特に限定されないが、ここでは、次のような手法が適用されているとする。即ち、被写体検出部５５は、各ラベリング領域のそれぞれにおいて、それに含まれる画素値の全てを対応する領域番号に変換する、といった手法である。換言すると、２以上のラベリング領域に区分された画像に対応する画像データ（以下、ラベリング画像データと称する）、即ち、各画素値としてラベリング番号を有するラベリング画像データを生成する、手法である。

次に、ステップＳ２７において、被写体検出部５５は、各ラベリング領域毎に、ステップＳ２４（図１７）の処理で提供された差分画像データを構成する各画素値（輝度値の差分値）のうちの、処理対象のラベリング領域に対応する２以上の画素値（輝度値の差分値）の平均値を演算する。

上述したように、差分画像データにおいて、本来、被写体領域に対応する各画素値（輝度値の差分値）はいずれも大きくなり、一方、背景領域に対応する各画素値（輝度の差分値）はいずれも小さくなるはずである。

そこで、ステップＳ２８において、被写体検出部５５は、演算された平均値（輝度値の差分値の平均値）が最高値であるラベリング領域と、その最高値に近い平均値を有するラベリング領域を、被写体領域として選定する。そして、被写体検出部５５は、ラベリング画像データを構成する各画素値のうちの、被写体領域として検出されたラベリング領域に対応する画素値の全てを第１の値（例えば、白を示す値）に変換し、それ以外のラベリング領域（即ち、背景領域として検出されたラベリング領域）に対応する画素値の全てを第２の値（例えば、黒を示す値）に変換し、その結果得られる２値化画像データを、２値化被写体画像データとして、分離部５６とアンチエイリアジング部４６のそれぞれに提供する。

即ち、ステップＳ２８において、被写体検出部５５は、上述したように、２値化被写体抽出画像データを生成し、分離部５６とアンチエイリアジング部４６のそれぞれに提供する。

ステップＳ２９において、アンチエイリアジング処理部４６は、上述したように、２値化被写体抽出画像データに対してアンチエイリアジング処理を施し、その結果得られる画像データをエッジ処理参照画像データとして画像合成部４５に提供する。

これにより、この例の「被写体抽出処理（図１５のステップＳ３）」の処理は終了となり、引き続き「画像合成処理（図１５のステップＳ４）」の処理が実行される。

以下、図１９を参照して、「画像合成処理」の詳細について説明する。

はじめに、ステップＳ４１において、図３の選択部４２は、主制御部２１の制御に基づいて、「撮影処理（図１５のステップＳ２の処理であって、詳細例は図１６）」で主制御部２１から提供された、入力画像データ（ストロボ発光有）と入力画像データ（ストロボ発光無）とのうちのいずれを（合成用）基準画像データとするのかを決定する。

以下、このようなステップＳ４１の処理を「合成用基準画像データ決定処理」と称する。「合成用基準画像データ決定処理」の詳細な例が図２０のフローチャートに示されている。そこで、以下、図２０のフローチャートを参照して、「合成用基準画像データ決定処理」の詳細な例について説明する。

はじめに、ステップＳ６１において、選択部４２は、上述したように、ストロボ必要可否検出信号（合成用基準画像選択指令）を主制御部２１から入力する。

ステップＳ６２において、選択部４２は、ステップＳ６１の処理で入力されたストロボ必要可否検出信号（合成用基準画像選択指令）に基づいて、撮影シーン（撮影範囲）の撮影時点の状態は、ストロボ発光が必要な状態であったか否かを判定する。

即ち、ストロボ必要可否検出信号（合成用基準画像選択指令）として、ストロボ必要を示す検出信号が入力された場合、ステップＳ６２において、撮影シーンの状態は、ストロボ発光が必要な状態であったと判定し、ステップＳ６３において、ストロボ発光有で撮影された第１の入力画像データを、合成用基準画像データとして決定し、分離部５６と画像合成部４５とのそれぞれに提供する。これにより、「合成用基準画像データ決定処理」は終了となる。

これに対して、ストロボ必要可否検出信号（合成用基準画像選択指令）として、ストロボ不要を示す検出信号が入力された場合、ステップＳ６２において、撮影シーンの状態は、ストロボ発光が不要な状態であった（必要な状態ではなかった）と判定し、ステップＳ６４において、ストロボ発光無で撮影された第２の入力画像データを、合成用基準画像データとして決定し、分離部５６と画像合成部４５とのそれぞれに提供する。これにより、「合成用基準画像データ決定処理」は終了となる。

図１９に戻り、このようにして、ステップＳ４１の「合成用基準画像決定処理」により決定（選定）された基準画像データが分離部５６に提供されると、ステップＳ４２において、分離部５６は、上述したように、ステップＳ２８（図１８）の処理で被写体検出部５５から提供された２値化被写体抽出画像データに基づいて、（合成用）基準画像データを、背景領域画像データと被写体領域画像データとに分離して、それぞれ選択部４３に提供する。

ステップＳ４３において、選択部４３は、ぼかしたい領域は背景領域であるか否かを判定する。

即ち、上述したように、本実施の形態においては、主制御部２１から合成用ボケ画像選択指令として入力された信号のレベルが、ローレベルの場合、その信号は、背景領域画像データを選択する指令を示しており、一方、ハイレベルの場合、その信号は、被写体領域画像データを選択する指令を示している。

そこで、主制御部２１から合成用ボケ画像選択指令としてローレベルの信号が入力された場合、選択部４３は、ステップＳ４３において、ぼかしたい領域は背景領域であると判定し、分離部５６から提供された背景領域画像データと被写体領域画像データとのうちの、背景領域画像データの方をフィルタ処理部（ぼかし処理部）４４提供する。

すると、ステップＳ４４において、フィルタ処理部（ぼかし処理部）４４は、背景領域画像データに対して、フィルタ処理（ぼかし処理）を施し、その結果得られる画像データを合成用ボケ画像データとして決定し、画像合成部４５に提供する。

これに対して、主制御部２１から合成用ボケ画像選択指令としてハイレベルの信号が入力された場合、選択部４３は、ステップＳ４３において、ぼかしたい領域は被写体領域である（背景領域ではない）と判定し、分離部５６から提供された背景領域画像データと被写体領域画像データとのうちの、被写体領域画像データの方をフィルタ処理部（ぼかし処理部）４４提供する。

すると、ステップＳ４５において、フィルタ処理部（ぼかし処理部）４４は、被写体領域画像データに対して、フィルタ処理（ぼかし処理）を施し、その結果得られる画像データを合成用ボケ画像データとして決定し、画像合成部４５に提供する。

このようにして、ステップＳ４４またはステップＳ４５の処理の結果、フィルタ処理部（ぼかし処理部）４４から合成用ボケ画像データが画像合成部４５に提供されてくると（基準画像データは、ステップＳ４１の処理後に、エッジ処理参照画像データは、図１８のステップＳ２９の処理後に、画像合成部４５にそれぞれ提供されている）、処理はステップＳ４６に進められる。

即ち、ステップＳ４６において、画像合成部４５は、エッジ処理参照画像データ（アンチエイリアジング処理が施された２値化被写体抽出画像データ）を参照して、（合成用）基準画像データと合成用ボケ画像データとの合成画像データを生成し、出力画像データとして主制御部２１に提供する。これにより、「画像合成処理」は終了となる。

図１５に戻り、このようにして、ステップＳ４の「画像合成処理」の結果、合成画像データ（ボケ味のある被写体２の画像に対応する画像データ）が主制御部２１に提供されてくると、ステップＳ５において、主制御部２１は、上述したように、その合成画像データを、図２の画像記録部２９に記録させたり、ドライブ３０を介してリムーバブル記録媒体３１に記録させる。なお、このとき、上述したように、合成画像データは、JPEG方式等の圧縮符号化方式により適宜圧縮（符号化）されて、画像記録部２９やリムーバブル記録媒体３１に記録されることもある。

これにより、デジタルスチルカメラ１の撮影記録処理は終了となる。

このように、デジタルスチルカメラ１は、以上説明した「撮影記録処理」を実行できるので、即ち、上述した(a)乃至(d)の処理を実行できるので、背景技術において説明した（上述した）（１）や（２）のような特別な条件（制約）がなくとも、 デジタルスチルカメラ１が本来有しているデジタル画像処理のみを実行することで、ボケ味のある画像（それに対応する画像データ）を容易に生成し、ユーザに提供することができる。

さらに、主制御部２１は、シャッタボタン１２からの信号を、上述した(a)乃至(d)の処理開始のトリガ信号とし、そのトリガ信号が発生されたとき、デジタルスチルカメラ１の各部が、上述した「撮影記録処理」を自動的に実行するように制御することができる。

なお、ここで言う自動的な処理とは、ユーザの手動操作を介在することなく、装置が自分自身の判断で（或いは他の装置の制御により）実行する処理を指す。

即ち、主制御部２１は、シャッタボタン１２が押下されると、ストロボ制御部２６に処理を実行させ、ストロボ制御部２６の制御によりストロボ発光部１１の光量が変化する毎に撮影部２５によりそれぞれ撮影された被写体２の２以上の画像を取得してデータ化し、その後、データ化された２以上の画像データに対する、ボケ味創出処理部２８内の各部の処理を、一連の処理として上述した順番で連続して実行させるように制御することができる。

従って、ユーザから見た場合、シャッタボタン１２を１度押下するといった、簡単なユーザ操作を行うだけで、ボケ味のある画像（それに対応する画像データ）を簡単に（手軽に）取得することが可能になる

このように、本実施の形態のデジタルスチルカメラ１は、従来の課題を解決できるという効果を奏することが可能になる。

換言すると、上述した(a)乃至(d)の処理を実行可能な画像処理装置であれば、即ち、ストロボ発光装置（照明装置）の制御機能、撮影装置の制御機能（画像信号の取得機能）、および、その画像信号に対するデジタル信号処理機能を少なくとも有していれば、デジタルスチルカメラ１と全く同様の効果を奏することが可能になる。即ち、このような画像処理装置に対して本発明を適用することができる。

具体的には、例えば、本発明が適用される画像処理装置として、図示はしないが、近年需要が増しているカメラ機付の携帯可能な移動情報端末を適用することも可能であるし、図２１に示されるようなパーソナルコンピュータを適用することも可能である。

図２１において、CPU２０１は、ROM２０２に記憶されているプログラム、または記憶部２０８からRAM２０３にロードされたプログラムに従って各種の処理を実行する。

RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。

入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、インターネットを含むネットワーク（図示せず）を介して他の装置（図示せず）との通信処理を行う通信部２０９が接続されている。

入出力インタフェース２０５にはまた、撮影部２１０とストロボ制御部２１１が接続されている。ストロボ制御部２１１には、ストロボ発光部２１２と受光センサ２１３が接続されている。撮影部２１０、ストロボ制御部２１１、ストロボ発光部２１２、および、受光センサ２１３のそれぞれは、上述した図２における、撮影部２５、ストロボ制御部２６、ストロボ発光部１１、および、受光センサ２７のそれぞれと基本的に同様の機能を有しているものであれば、それらの形態は特に限定されない。また、撮影部２１０とストロボ発光部２１２のそれぞれは必須な構成要素ではなく（内蔵されている必要は無く）、外付けの装置でもよい。

入出力インタフェース２０５にはさらに、必要に応じてドライブ２１４が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等などからなるリムーバブル記録媒体２１５が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。

ところで、上述した一連の処理（例えば、上述した(a)乃至(d)の処理）をソフトウエアで実行させる場合には、そのソフトウエアを構成するプログラムは、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２または図２１に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記憶されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるパッケージメディア（図２のリムーバブル記録媒体３１、または、図２１のリムーバブル記録媒体２１５）により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM２２（図２）またはROM２０２（図２１）や、画像記録部２９（図２）または記憶部２０８（図２１）に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。

本発明が適用される画像処理装置としてのデジタルスチルカメラの外観の構成例を示す図である。 図１のデジタルスチルカメラの内部の構成例を示すブロック図である。 図２のデジタルスチルカメラのうちのボケ味創出処理部の機能的構成例の詳細を示すブロック図である。 デジタルスチルカメラによりストロボ発光有で撮影された画像例である。 デジタルスチルカメラによりストロボ発光無で撮影された画像例である。 図３のボケ味創出処理部のうちの被写体検出部から出力される２値化被写体抽出画像データに対応する画像例である。 図３のボケ味創出処理部のうちの分離部から出力される被写体領域画像データに対応する画像例である。 図３のボケ味創出処理部のうちの分離部から出力される背景領域画像データに対応する画像例である。 図３のボケ味創出処理部のうちのフィルタ処理部により、図８の画像に対応する背景画像データがフィルタ処理が施され、その結果得られる画像データに対応する画像例である。 本実施の形態のアンチエイジリアング処理を説明する図である。 本実施の形態のアンチエイジリアング処理を説明する図である。 本実施の形態のアンチエイジリアング処理を説明する図である。 本実施の形態のアンチエイジリアング処理を説明する図である。 図３のボケ味創出処理部のうちの画像合成部の処理内容を説明する図である。 図２のデジタルスチルカメラが実行する撮影記録処理の例を説明するフローチャートである。 図１５の撮影記録処理のうちの撮影処理の詳細な例を説明するフローチャートである。 図１５の撮影記録処理のうちの被写体抽出処理の詳細な例を説明するフローチャートである。 図１５の撮影記録処理のうちの被写体抽出処理の詳細な例を説明するフローチャートである。 図１５の撮影記録処理のうちの画像合成処理の詳細な例を説明するフローチャートである。 図１９の画像合成処理のうちの合成用基準画像データ決定処理の詳細な例を説明するフローチャートである。 本発明が適用される画像処理装置の他の実施の形態の構成例を示すブロック図である。

符号の説明

１ デジタルスチルカメラ， ２ 被写体， １１ ストロボ発光部， １２ シャッタボタン， ２１ 主制御部， ２２ ROM， ２３ RAM， ２４ 操作部， ２５ 撮影部， ２６ ストロボ制御部， ２７ 受光センサ， ２８ ボケ味創出処理部， ２９ 画像記録部， ３０ ドライブ， ３１ リムーバブル記録媒体， ３２ フィルタ種類決定キー， ４１ 領域抽出部, ４２，４３ 選択部， ４４ フィルタ処理部（ぼかし処理部）， ４５ 画像合成部， ５１ 輝度画像変換部， ５２ 位置ずれ補正部， ５３ 加算部（差分値演算部）， ５４ ２値化部， ５５ 被写体検出部， ５６ 分離部

Claims (12)

1. 撮影装置により撮影され、データ化された被写体の画像データを処理する画像処理装置において、
   照明装置の光量を設定し、前記撮影装置が前記被写体を撮影するときに、設定された光量で前記照明装置が前記被写体に対して発光することを制御する照明制御手段と、
   前記照明制御手段の制御により前記照明装置の光量が変化する毎に前記撮影装置によりそれぞれ撮影され、データ化された前記被写体の２以上の画像データに基づいて、２以上の前記画像データのうちの基準となる基準画像データから、前記被写体を示す被写体領域と前記被写体以外の背景を示す背景領域とのそれぞれを個別に画像データとして抽出する領域抽出手段と、
   前記領域抽出手段により抽出された前記被写体領域の画像データと前記背景領域の画像データとのうちの少なくとも一方に対して、ぼかし効果のあるフィルタ処理を施すフィルタ処理手段と、
   前記被写体領域の画像データと前記背景領域の画像データとのうちの前記フィルタ処理手段により前記フィルタ処理が施された画像データと、前記基準画像データとの合成画像データを生成する合成手段と
   を備えることを特徴とする画像処理装置。
2. 前記照明制御手段は、前記照明装置の光量として、第１の光量と第２の光量とのうちのいずれか一方を設定し、
   前記画像処理装置は、前記照明装置が前記第１の光量で発光しているときに前記撮影装置により撮影され、データ化された前記被写体の第１の画像データと、前記照明装置が前記第２の光量で発光しているときに前記撮影装置により撮影され、データ化された前記被写体の第２の画像データとの中から、前記基準画像データを選択する選択手段をさらに備え、
   前記領域抽出手段は、前記第１の画像データに対応する画像を構成する各画素の輝度と、前記第２の画像データに対応する画像を構成する各画素の輝度との相互の関係に基づいて、前記選択手段により選択された前記基準画像データから、前記被写体領域の画像データと前記背景領域の画像データとのそれぞれを抽出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記照明制御手段は、前記第１の光量として、前記照明装置の照射範囲内に前記被写体が少なくとも位置する条件を満たす光量を設定し、前記第２の光量として、０光量を設定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記領域抽出手段は、
   前記第１の画像データを構成する前記各画素値のそれぞれと、前記第２の画像データを構成する前記各画素値のうちの、画素位置が対応する前記画素値との差分値を演算する差分値演算手段と、
   前記差分値演算手段により演算された前記差分値のそれぞれに基づいて、前記選択手段により選択された前記基準画像データから、前記被写体領域の画像データと前記背景領域の画像データとを分離して抽出する分離手段と
   を有することを特徴とする請求項２に記載の画像処理装置。
5. 前記領域抽出手段は、前記第１の画像データに対応する画像を構成する各画素のうちの少なくとも一部に対して、前記第２の画像データに対応する画像を構成する各画素の中から対応点となる画素を求め、求められた前記対応点との位置関係のそれぞれに基づいて、前記第１の画像データに対応する前記画像の画素位置を補正する補正手段をさらに有し、
   前記差分値演算手段は、前記補正手段により補正された前記第１の輝度画像データを構成する前記各画素値のそれぞれと、前記第２の輝度画像データを構成する前記各画素値のうちの、画素位置が対応する前記画素値との差分値を演算する
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記差分値演算手段は、演算された前記差分値のそれぞれを各画素値として有する差分画像データを出力し、
   前記領域抽出手段は、前記差分値演算手段から出力された前記差分画像データの前記画素値のそれぞれを２値化し、その結果得られる第１の２値化画像データを出力する２値化手段と、
   前記差分値演算手段から出力された前記差分画像データに基づいて、前記２値化手段から出力された前記第１の２値化画像データに対応する画像の中から前記被写体領域を検出し、検出された前記被写体領域を構成する画素の画素値を第１の値とし、それ以外の前記背景領域を構成する画素の画素値を第２の値として有する第２の２値化画像データを生成して出力する被写体検出手段と
   をさらに有し、
   前記分離手段は、前記被写体検出手段から出力された前記第２の２値化画像データに基づいて、前記基準画像データから、前記被写体領域の画像データと前記背景領域の画像データとを分離して抽出する
   ことを特徴とする請求項４に記載の画像処理装置。
7. 前記被写体検出手段から出力された前記第２の２値化画像データに対してアンチエイリアジング処理を施すアンチエイリアジング処理手段をさらに備え、
   前記合成手段は、前記アンチエイリアジング処理手段により前記アンチエイリアジング処理が施された前記第２の２値化画像データに基づいて、これから生成する前記合成画像データのうちの、対応する画像の前記被写体領域と前記背景領域との境界およびその近傍に位置する各画素の画素値のそれぞれを決定する
   ことを特徴とする請求項７に記載の画像処理装置。
8. 前記アンチエイリアジング処理手段は、入力変数として所定の方向の画素位置が入力され、入力された前記画素位置の画素における、前記被写体領域と前記背景領域との混合比を示す値を出力する関数であって、前記所定の方向に沿って出力が曲線変化する前記関数を利用して、前記アンチエイリアジング処理を実行する
   ことを特徴とする請求項８に記載の画像処理装置。
9. 前記フィルタ処理手段の前記フィルタ処理として予め登録されている複数種類の処理のうちの、これから使用する種類を指定し、指定された種類の前記フィルタ処理に必要なパラメータの値を指定する指定手段をさらに備え、
   前記フィルタ処理手段は、前記指定手段により指定された種類の前記フィルタ処理を、前記指定手段により指定された前記パラメータの値を用いて実行する
   ことを特徴とする請求項１に記載の画像処理装置。
10. 前記撮影手段に前記被写体を撮影させるトリガを発生するトリガ発生手段と、
    前記トリガ発生手段により前記トリガが発生されたとき、前記照明制御手段に処理を実行させ、前記照明制御手段の制御により前記照明装置の光量が変化する毎に前記撮影装置によりそれぞれ撮影された前記被写体の２以上の画像を取得してデータ化し、その後、データ化された２以上の前記画像データに対する、前記領域抽出手段、前記フィルタ処理手段、および、前記合成手段の処理を、一連の処理としてその順番で連続して実行させるように制御する処理制御手段と
    をさらに備えることを特徴とする請求項１に記載の画像処理装置。
11. 撮影装置により撮影され、データ化された被写体の画像データを処理する画像処理装置の画像処理方法において、
    照明装置の光量を設定し、前記撮影装置が前記被写体を撮影するときに、設定された光量で前記照明装置が前記被写体に対して発光することを制御する照明制御ステップと、
    前記照明制御ステップの制御処理により前記照明装置の光量が変化する毎に前記撮影装置によりそれぞれ撮影され、データ化された前記被写体の２以上の画像データに基づいて、２以上の前記画像データのうちの基準となる基準画像データから、前記被写体を示す被写体領域と前記被写体以外の背景を示す背景領域とのそれぞれを個別に画像データとして抽出する領域抽出ステップと、
    前記領域抽出ステップの処理により抽出された前記被写体領域の画像データと前記背景領域の画像データとのうちの少なくとも一方に対して、ぼかし効果のあるフィルタ処理を施すフィルタ処理ステップと、
    前記被写体領域の画像データと前記背景領域の画像データとのうちの前記フィルタ処理手段により前記フィルタ処理が施された画像データと、前記基準画像データとの合成画像データを生成する合成ステップと
    を含むことを特徴とする画像処理方法。
12. 撮影装置により撮影され、データ化された被写体の画像データに施す画像処理を制御するコンピュータに実行させるプログラムであって、
    照明装置の光量を設定し、前記撮影装置が前記被写体を撮影するときに、設定された光量で前記照明装置が前記被写体に対して発光することを制御する照明制御ステップと、
    前記照明制御ステップの制御処理により前記照明装置の光量が変化する毎に前記撮影装置によりそれぞれ撮影され、データ化された前記被写体の２以上の画像データに基づいて、２以上の前記画像データのうちの基準となる基準画像データから、前記被写体を示す被写体領域と前記被写体以外の背景を示す背景領域とのそれぞれを個別に画像データとして抽出する領域抽出ステップと、
    前記領域抽出ステップの処理により抽出された前記被写体領域の画像データと前記背景領域の画像データとのうちの少なくとも一方に対して、ぼかし効果のあるフィルタ処理を施すフィルタ処理ステップと、
    前記被写体領域の画像データと前記背景領域の画像データとのうちの前記フィルタ処理手段により前記フィルタ処理が施された画像データと、前記基準画像データとの合成画像データを生成する合成ステップと
    を含むことを特徴とするプログラム。

Images