JP5565227B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、撮像装置を用いて、背景内に被写体が存在する画像と被写体が存在しない背景画像とを撮像して、背景画像と被写体が存在する画像から差分情報を生成し、被写体のみを抜き出すアプリケーションが知られている（例えば、特許文献１参照）。

特開平１０−２１４０８号公報

しかしながら、上記特許文献１のアプリケーションにおいては、画像解析処理により自動的に被写体画像を抜き出すため、意図しない画像領域が抜き出されてしまったときには、その処理をキャンセルし再度最初から処理を行わなくてはならないという問題があった。

そこで、本発明の課題は、被写体画像を抽出した後でも、当該被写体画像の修正を行うことができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
背景内に被写体が存在する被写体存在画像と前記背景内に前記被写体の存在しない被写体非存在画像との間で対応する各画素の差分情報に基づいて、前記被写体存在画像から被写体が含まれる被写体画像を抽出する抽出手段と、前記抽出手段により抽出された前記被写体画像の前記被写体存在画像における位置を示す所定階調のアルファマップを生成する第１生成手段と、この第１生成手段により生成されたアルファマップに基づいて、所定軸方向のアルファ値のグラフを生成する第２生成手段と、この第２生成手段により生成されたグラフにて、前記被写体画像であるか否かの判定に係る所定の閾値を設定する設定手段と、この設定手段により設定された前記所定の閾値に基づいて、前記抽出手段により抽出された被写体画像における修正すべき領域を特定する特定手段と、この特定手段により特定された修正すべき領域を、前記被写体存在画像における前記修正すべき領域と対応する領域に基づいて修正する修正手段と、を備えたことを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記修正手段は、前記設定手段により前記所定の閾値が設定される毎に、前記第１生成手段により生成される前記アルファマップを順次修正することを特徴としている。

請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記修正手段により前記アルファマップが修正される毎に、当該アルファマップに基づいて、表示用の前記被写体存在画像から前記被写体画像を切り抜いた被写体切り抜き画像を順次生成する第３生成手段と、この第３生成手段により前記被写体切り抜き画像が生成される毎に、当該被写体切り抜き画像を表示部に順次表示させる表示制御手段と、を更に備えることを特徴としている。

請求項４に記載の発明は、請求項１に記載の画像処理装置において、
前記特定手段は、前記被写体画像における操作部の所定操作に基づいて指定された領域を前記修正すべき領域として特定することを特徴としている。

請求項５に記載の発明の画像処理方法は、
画像処理装置を用いた画像処理方法であって、背景内に被写体が存在する被写体存在画像と前記背景内に前記被写体の存在しない被写体非存在画像との間で対応する各画素の差分情報に基づいて、前記被写体存在画像から被写体が含まれる被写体画像を抽出する処理と、抽出された前記被写体画像の前記被写体存在画像における位置を示す所定階調のアルファマップを生成する処理と、生成されたアルファマップに基づいて、所定軸方向のアルファ値のグラフを生成する処理と、生成されたグラフにて、前記被写体画像であるか否かの判定に係る所定の閾値を設定する処理と、設定された前記所定の閾値に基づいて、抽出された被写体画像における修正すべき領域を特定する処理と、特定された修正すべき領域を、前記被写体存在画像における前記修正すべき領域と対応する領域に基づいて修正する処理と、を備えたことを特徴としている。

請求項６に記載の発明のプログラムは、
画像処理装置のコンピュータを、背景内に被写体が存在する被写体存在画像と前記背景内に前記被写体の存在しない被写体非存在画像との間で対応する各画素の差分情報に基づいて、前記被写体存在画像から被写体が含まれる被写体画像を抽出する抽出手段、前記抽出手段により抽出された前記被写体画像の前記被写体存在画像における位置を示す所定階調のアルファマップを生成する第１生成手段、この第１生成手段により生成されたアルファマップに基づいて、所定軸方向のアルファ値のグラフを生成する第２生成手段、この第２生成手段により生成されたグラフにて、前記被写体画像であるか否かの判定に係る所定の閾値を設定する設定手段、この設定手段により設定された前記所定の閾値に基づいて、前記抽出手段により抽出された被写体画像における修正すべき領域を特定する特定手段、この特定手段により特定された修正すべき領域を、前記被写体存在画像における前記修正すべき領域と対応する領域に基づいて修正する修正手段、として機能させることを特徴としている。

本発明によれば、被写体画像を抽出した後でも、当該被写体画像の修正を行うことができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図２の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。 図１の撮像装置による被写体修正処理に係る動作の一例を示すフローチャートである。 図４の被写体修正処理を説明するための画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。

本実施形態の撮像装置１００は、被写体存在画像P1と被写体非存在画像（図示略）との間で対応する各画素の差分情報に基づいて、被写体存在画像P1から被写体が含まれる被写体画像Pgを抽出し、当該被写体画像Pgにおける修正すべき領域を所定条件に従って特定して、特定された修正すべき領域を、被写体存在画像P1における対応する領域に基づいて修正する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、表示制御部９と、表示部１０と、記録媒体制御部１１と、操作入力部１２と、中央制御部１３とを備えている。
また、撮像制御部３と、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、中央制御部１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。

レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。

電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。

撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、被写体の撮像条件の調整制御として、ＡＦ（自動合焦処理）やＡＥ（自動露出処理）やＡＷＢ（自動ホワイトバランス）等を行う。

このように構成されたレンズ部１、電子撮像部２及び撮像制御部３は、撮像手段として、背景内に被写体が存在する被写体存在画像P1（図３（ａ）等参照）や、この被写体存在画像P1の背景と略同一（望ましくは完全同一）の背景内に被写体の存在しない被写体非存在画像（図示略）等を撮像する。

画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。

画像メモリ５は、例えば、ＤＲＡＭ等により構成され、特徴量演算部６と、ブロックマッチング部７と、画像処理部８と、中央制御部１３等によって処理されるデータ等を一時記憶する。

特徴量演算部６は、被写体非存在画像を基準として、当該被写体非存在画像から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部６は、例えば、被写体非存在画像のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。

ブロックマッチング部７は、被写体切り抜き画像P2（図３（ｃ）参照）を生成する際に、被写体非存在画像と被写体存在画像P1の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像P1内のどこに対応するか、つまり、被写体存在画像P1内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像と被写体存在画像P1間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。

画像処理部８は、画像取得部８ａと、位置合わせ部８ｂと、画像抽出部８ｃと、位置情報生成部８ｄと、画像生成部８ｅと、グラフ生成部８ｆと、修正領域特定部８ｇと、画像修正部８ｈとを具備している。

画像取得部８ａは、被写体存在画像P1及び被写体非存在画像の画像データを取得する。
即ち、画像取得部８ａは、画像メモリ５に一時記憶されている被写体存在画像P1のＹＵＶデータ及び被写体非存在画像のＹＵＶデータを読み出して取得する。

位置合わせ部８ｂは、被写体存在画像P1と被写体非存在画像との位置合わせを行う。
即ち、位置合わせ部８ｂは、被写体非存在画像から抽出した特徴点に基づいて、被写体非存在画像に対する被写体存在画像P1の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在画像P1を座標変換して被写体非存在画像と位置合わせを行う。

画像抽出部８ｃは、被写体存在画像P1から被写体が含まれる被写体画像Pgを抽出する。
即ち、画像抽出部８ｃは、位置合わせ部８ｂにより位置合わせされた被写体存在画像P1と被写体非存在画像との間で対応する各画素の差分情報を生成し、当該差分情報を基準として被写体存在画像P1から被写体が含まれる被写体画像Pgを抽出する。
ここで、画像抽出部８ｃは、被写体存在画像P1と被写体非存在画像との間で対応する各画素の差分情報に基づいて、被写体存在画像P1から被写体が含まれる被写体画像Pgを抽出する抽出手段を構成している。

位置情報生成部８ｄは、被写体存在画像P1における被写体画像Pgの位置を示す位置情報を生成する。
即ち、位置情報生成部８ｄは、被写体存在画像P1から抽出された被写体画像Pgの位置を特定して、被写体存在画像P1における被写体画像Pgの位置を示す所定階調（例えば、256階調：8bit）のアルファマップM（図３（ｂ）参照）を生成する。
ここで、アルファマップMとは、被写体存在画像P1の各画素について、被写体画像Pgを所定の背景に対してアルファブレンディングする際の重みをアルファ値（α：0〜255）として表したものである。なお、図３（ｂ）並びに後述する図５（ｄ）〜図５（ｆ）にあっては、アルファ値が「0」の被写体画像Pgが存しない領域を黒色で表し、アルファ値が「255」の被写体画像Pgが存する領域を白色で表し、アルファ値が「1〜254」の中間階調の領域をドットを付して白色と黒色の中間色で表すものとする。
このように、位置情報生成部８ｄは、画像抽出部８ｃにより抽出された被写体画像Pgの被写体存在画像P1における位置を示す所定階調のアルファマップMを生成する第１生成手段を構成している。

画像生成部８ｅは、被写体切り抜き画像P2の画像データを生成する。
即ち、画像生成部８ｅは、生成されたアルファマップMに基づいて、被写体存在画像P1の各画素のうち、アルファ値が「255」の画素を所定の単一色画像（図示略）に対して透過させず、アルファ値が「0」の画素を透過させ、アルファ値が1≦α≦254の画素を所定の単一色とブレンディングさせるように、被写体画像Pgを所定の単一色画像と合成して被写体切り抜き画像P2の画像データを生成する。
ここで、被写体存在画像P1は、記録用として記録媒体１１ａに記録される高解像度の画像データであっても良いし、画像データ生成部４により生成されたライブビュー表示用の低解像度の縮小画像データであっても良い。

また、画像生成部８ｅは、画像修正部８ｈによるアルファマップMの修正後、当該アルファマップMに基づいて、被写体存在画像P1のライブビュー表示用の縮小画像データから被写体画像Pgを切り抜いた被写体切り抜き画像P2を生成する。即ち、画像生成部８ｅは、第３生成手段として、画像修正部８ｈによりアルファマップMが修正される毎に、当該アルファマップMに基づいて、表示用の被写体存在画像P1から被写体画像Pgを切り抜いた被写体切り抜き画像P2を順次生成する。
なお、被写体切り抜き画像P2の生成方法は、上記と同様であり、その詳細な説明は省略する。

グラフ生成部８ｆは、アルファマップMのアルファ値のグラフGを生成する。
即ち、グラフ生成部８ｆは、位置情報生成部８ｄにより生成されたアルファマップMに基づいて、x軸（所定軸）方向のアルファ値のグラフGを生成する。具体的には、グラフ生成部８ｆは、アルファマップMのy座標を所定座標に固定し、x軸（所定軸）方向に沿ってアルファ値を取得していって当該アルファ値のグラフGa〜Gc（図５（ａ）〜図５（ｃ）参照）を生成する。
なお、アルファマップMのy軸方向における固定座標は、例えば、アルファマップMの中心座標や、x軸と略等しい方向に沿ったアルファ値が「0」以外の画素の連続性や頻度、x軸と略等しい方向に沿ったアルファ値が「255」の画素の連続性や頻度、x軸と略等しい方向に沿ったアルファ値が「0」の画素の連続性や頻度等を考慮して自動的に特定されても良いし、ユーザによる操作入力部１２の所定操作に基づいて所定のy座標が特定されても良い。

なお、グラフ生成部８ｆは、アルファマップMのy座標を所定座標に固定して、x軸方向のアルファ値のグラフGを生成するようにしたが、一例であってこれに限られるものではなく、例えば、アルファマップMのx座標を所定座標に固定して、y軸方向のアルファ値のグラフを生成するようにしても良い。
このように、グラフ生成部８ｆは、位置情報生成部８ｄにより生成されたアルファマップMに基づいて、所定軸方向のアルファ値のグラフGを生成する第２生成手段を構成している。

修正領域特定部８ｇは、被写体画像Pgにおける修正すべき領域を特定する。
即ち、修正領域特定部８ｇは、画像抽出部８ｃにより抽出された被写体画像Pgにおける修正すべき領域を特定する。具体的には、修正領域特定部８ｇは、ユーザによる操作入力部１２の所定操作に基づいて中央制御部１３により設定された被写体画像Pgであるか否かの判定に係る所定の閾値に基づいて、修正領域を特定する。例えば、ユーザによる操作入力部１２の所定操作に基づいて所定の閾値を指示する直線が、y軸上の所定のアルファ値に設定されることに基づいて、修正領域特定部８ｇは、アルファマップMにおける当該アルファ値（所定の閾値）以上の値を有する画素からなる領域を特定する。そして、修正領域特定部８ｇは、被写体画像Pgの中で、アルファマップMにて特定された領域に対応する領域を修正領域として特定する。
ここで、修正領域特定部８ｇは、画像抽出部８ｃにより抽出された被写体画像Pgにおける修正すべき領域を所定条件に従って特定する特定手段を構成している。

画像修正部８ｈは、被写体画像Pgにおける修正領域を修正する。
即ち、画像修正部８ｈは、修正領域特定部８ｇにより特定された修正すべき領域を、被写体存在画像P1における対応する領域に基づいて修正する。具体的には、画像修正部８ｈは、中央制御部１３により設定された所定の閾値（アルファ値）に基づいて、アルファマップMにおける当該アルファ値以上の値を有する画素からなる領域を修正する。より具体的には、画像修正部８ｈは、アルファマップMにて、中央制御部１３により設定された所定の閾値（アルファ値）以上の値を有する中間階調の画素のアルファ値を最大値（例えば、256階調では、「255」）に変更する。また、画像修正部８ｈは、中央制御部１３により所定の閾値が設定される毎に、アルファマップMを順次修正する。
その後、画像生成部８ｅは、画像修正部８ｈによる修正後のアルファマップMに基づいて、被写体存在画像P1のライブビュー表示用の縮小画像データから被写体画像Pgを切り抜いた被写体切り抜き画像P2を生成することにより、当該被写体切り抜き画像P2の被写体画像Pgを修正する。
なお、被写体切り抜き画像P2の被写体画像Pgの修正にアルファマップMを用いるようにしたが、一例であってこれに限られるものではなく、例えば、被写体画像Pgの修正領域の画素を被写体存在画像P1の対応する領域の画素で置換する方法など適宜任意に変更可能である。
このように、画像修正部８ｈ及び画像生成部８ｅは、修正領域特定部８ｇにより特定された修正すべき領域を、被写体存在画像P1における対応する領域に基づいて修正する修正手段を構成している。

表示制御部９は、画像メモリ５に一時的に記憶されている表示用画像データを読み出して表示部１０に表示させる制御を行う。
具体的には、表示制御部９は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１０に出力する。

表示部１０は、例えば、液晶表示装置であり、表示制御部９からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部１０は、撮像モードにて、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。

また、表示部１０は、表示制御部９の制御下にて、画像生成部８ｅにより生成された被写体切り抜き画像P2を表示する。具体的には、表示制御部９は、画像生成部８ｅにより被写体切り抜き画像P2が生成される毎に、当該被写体切り抜き画像P2を表示部１０に表示させる。
ここで、表示制御部９は、画像生成部８ｅにより被写体切り抜き画像P2が生成される毎に、当該被写体切り抜き画像P2を表示部１０に順次表示させる表示制御手段を構成している。

記録媒体制御部１１は、記録媒体１１ａが着脱自在に構成され、装着された記録媒体１１ａからのデータの読み出しや記録媒体１１ａに対するデータの書き込みを制御する。即ち、記録媒体制御部１１は、画像処理部８のＪＰＥＧ圧縮部（図示略）により符号化された撮像画像の記録用の画像データを記録媒体１１ａに記録させる。
被写体画像Pgの画像データは、画像生成部８ｅの位置情報生成部８ｄにより生成されたアルファマップM及び被写体存在画像P1と対応付けられて、当該被写体切り抜き画像P2の画像データの拡張子を「.jpe」として記録されている。

なお、記録媒体１１ａは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、被写体の撮影指示に係るシャッタボタン１２ａ、撮像モードや機能等の選択指示に係る選択決定用ボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部１３に出力する。

また、操作入力部１２の選択決定用ボタン１２ｂは、アルファマップMの所定軸方向のアルファ値に基づいて生成され、表示部１０に表示されたグラフGにて、被写体画像Pgであるか否かの判定に係る所定の閾値（例えば、アルファ値が256階調の場合、「0」〜「255」の任意の値等）の設定指示を入力する。具体的には、例えば、ユーザによる選択決定用ボタン１２ｂの所定操作に基づいて、x軸と略等しい方向に沿って延在する所定の閾値を指示する直線をy軸方向に沿って移動させることで、所定の閾値の設定指示を入力する。そして、選択決定用ボタン１２ｂは、当該操作入力部１２の操作に応じた所定の指示信号を中央制御部１３に出力する。
中央制御部１３は、入力された指示信号によって指示された所定の値を、被写体画像Pgであるか否かの判定に係る所定の閾値として設定する。
ここで、操作入力部１２及び中央制御部１３は、グラフ生成部８ｆにより生成されたグラフGにて、被写体画像Pgであるか否かの判定に係る所定の閾値を設定する設定手段を構成している。

中央制御部１３は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１３は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００による被写体切り抜き処理について、図２及び図３を参照して説明する。
図２は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。

被写体切り抜き処理は、ユーザによる操作入力部１２の選択決定用ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
また、以下に説明する被写体切り抜き処理にあっては、例えば、被写体として電車の玩具を撮像するものとする。

図２に示すように、先ず、表示制御部９は、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１０の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像P1の撮像指示メッセージを表示部１０の表示画面に表示させる（ステップＳ１）。
その後、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２；ＹＥＳ）、撮像制御部３は、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の撮像条件を調整して、被写体存在画像P1（図３（ａ）参照）の光学像を所定の条件で電子撮像部２により撮像させる（ステップＳ３）。そして、画像データ生成部４は、電子撮像部２から転送された被写体存在画像P1のＹＵＶデータを生成する。なお、当該被写体存在画像P1のＹＵＶデータは、画像メモリ５に一時記憶される。
また、撮像制御部３は、当該被写体存在画像P1の撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。

次に、表示制御部９は、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１０の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像P1の半透過の表示態様の画像と被写体非存在画像の撮像指示メッセージを表示部１０の表示画面に表示させる（ステップＳ４）。
この後、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン１２ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ５）。そして、ユーザは、被写体を画角外に移動させた後、ユーザにより被写体非存在画像が被写体存在画像P1の半透過の画像と重なるようにカメラ位置が調整されて、操作入力部１２のシャッタボタン１２ａが所定操作されて撮像指示が入力されたと判定されると（ステップＳ５；ＹＥＳ）、撮像制御部３は、被写体非存在画像の光学像を被写体存在画像P1の撮像後に固定された撮像条件で電子撮像部２により撮像させる（ステップＳ６）。そして、画像データ生成部４は、電子撮像部２から転送された被写体非存在画像のＹＵＶデータを生成する。なお、当該被写体存在画像P1のＹＵＶデータは、画像メモリ５に一時記憶される。

次に、中央制御部１３は、特徴量演算部６、ブロックマッチング部７及び画像処理部８に、画像メモリ５に一時記憶されている被写体非存在画像のＹＵＶデータを基準として、被写体存在画像P1のＹＵＶデータを射影変換させるための射影変換行列を所定の画像変換モデル（例えば、相似変換モデル、或いは合同変換モデル）で算出させる（ステップＳ７）。
具体的には、特徴量演算部６は、被写体非存在画像のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部７は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像P1内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像と被写体存在画像P1間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、画像処理部８の画像取得部８ａは、画像メモリ５から被写体存在画像P1のＹＵＶデータ及び被写体非存在画像のＹＵＶデータを取得した後、位置合わせ部８ｂは、ブロックマッチング部７により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像P1の射影変換行列を算出する。

次に、位置合わせ部８ｂは、算出された射影変換行例に基づいて被写体存在画像P1を射影変換することで、被写体存在画像P1のＹＵＶデータと被写体非存在画像のＹＵＶデータとを位置合わせする処理を行う（ステップＳ８）。

そして、画像抽出部８ｃは、被写体存在画像P1から被写体が含まれる被写体画像Pgを抽出する処理を行う（ステップＳ９）。
具体的には、画像抽出部８ｃは、被写体存在画像P1のＹＵＶデータと被写体非存在画像のＹＵＶデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、画像抽出部８ｃは、ローパスフィルタをかけた被写体存在画像P1と被写体非存在画像との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、画像抽出部８ｃは、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、画像抽出部８ｃは、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体画像Pgとして特定し、収縮分を修正するための膨張処理を行う。

次に、位置情報生成部８ｄは、抽出された被写体画像Pgの被写体存在画像P1内での位置を示す所定階調（例えば、256階調）のアルファマップM（図３（ｂ）参照）を生成する（ステップＳ１０）。

その後、画像生成部８ｅは、ライブビュー表示用の被写体存在画像P1に基づいて、被写体画像Pgを所定の単一色画像と合成した被写体切り抜き画像P2（図３（ｃ）参照）の画像データを生成する処理を行う（ステップＳ１１）。
具体的には、画像生成部８ｅは、被写体存在画像P1、単一色画像及びアルファマップMを読み出して画像メモリ５に展開した後、被写体存在画像P1を水平及び垂直ともに所定倍率で縮小してライブビュー表示用の低解像度の縮小画像データを生成する。また、画像生成部８ｅは、被写体存在画像P1の解像度に合わせてアルファマップMを縮小する。そして、画像生成部８ｅは、ライブビュー表示用の低解像度の被写体存在画像P1の全ての画素について、アルファ値が「0」の画素については透過させ、アルファ値が1≦α＜254の画素については所定の単一色とブレンディングを行い、アルファ値が「255」の画素については何もせずに所定の単一色に対して透過させないようにする。

その後、記録媒体制御部１１は、記録媒体１１ａの所定領域に、被写体存在画像P1の画像データと、画像処理部８の位置情報生成部８ｄにより生成されたアルファマップMと、被写体切り抜き画像P2の画像データとを対応付けて一ファイルで記録させる（ステップＳ１２）。

これにより、被写体切り抜き処理を終了する。
この結果、例えば、所定の背景内から電車の玩具が被写体として抽出された被写体切り抜き画像P2の画像データが生成されるが、被写体画像Pgの背景色と等しい色の部分などでは、アルファ値が「255」（白色）とならずに、アルファ値が「1〜254」の中間階調（白色と黒色の中間色）の領域が生じてしまう。

次に、被写体修正処理について、図４及び図５を参照して説明する。
図４は、被写体修正処理に係る動作の一例を示すフローチャートである。

被写体修正処理は、被写体切り抜き処理の後、ユーザによる操作入力部１２の選択決定用ボタン１２ｂの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から被写体修正モードが選択指示された場合に実行される処理である。
また、以下に説明する被写体修正処理にあっては、例えば、被写体画像Pgとして電車の玩具が抽出されたものを修正の対象とする。

図４に示すように、表示制御部９は、記録媒体１１ａに記録されている少なくとも一の被写体切り抜き画像P2の画像データのうち、ユーザによる操作入力部１２の所定操作に従って指定された所定の被写体切り抜き画像P2の画像データに基づいて、被写体画像Pgを表示部１０の表示画面に表示させる（ステップＳ２１）。
続けて、中央制御部１３は、ユーザによる操作入力部１２の所定操作に基づいて被写体画像Pgの修正指示が入力されたか否かを判定する（ステップＳ２２）。

ステップＳ２２にて、修正指示が入力されたと判定されると（ステップＳ２２；ＹＥＳ）、グラフ生成部８ｆは、アルファマップMのy座標を所定座標に固定し、x軸（所定軸）方向に沿ってアルファ値を取得していって当該アルファ値のグラフG（例えば、グラフGa等；図５（ａ）参照）を生成する。そして、表示制御部９は、グラフ生成部８ｆにより生成されたグラフG（例えば、グラフGa等）を表示部１０の表示画面に表示させる（ステップＳ２３）。
一方、ステップＳ２２にて、修正指示が入力されていないと判定されると（ステップＳ２２；ＮＯ）、中央制御部１３は、被写体修正処理を終了させる。

次に、中央制御部１３は、ユーザによる操作入力部１２の所定操作に基づいて、被写体画像Pgであるか否かの判定に係る所定の閾値が入力されたか否かを判定する（ステップＳ２４）。
ここで、所定の閾値が入力されたと判定されると（ステップＳ２４；ＹＥＳ）、修正領域特定部８ｇは、y軸上にて所定の閾値を指示する直線が設定されたアルファ値に基づいて、アルファマップMにおける当該アルファ値（所定の閾値）以上の値を有する画素からなる領域を修正領域として特定する（ステップＳ２５）。そして、画像修正部８ｈは、アルファマップMにおける修正領域、即ち、所定の閾値（アルファ値）以上の値を有する中間階調の全ての画素のアルファ値を最大値（例えば、256階調では、「255」）に変更することで、修正後のアルファマップM（例えば、アルファマップMa等；図５（ｄ）参照）を生成する（ステップＳ２６）。

続けて、画像生成部８ｅは、ライブビュー表示用の被写体存在画像P1及び修正後のアルファマップM（例えば、アルファマップMa等）に基づいて、被写体画像Pgを所定の単一色画像と合成した被写体切り抜き画像P2（例えば、被写体切り抜き画像P2a等；図５（ｇ）参照）の画像データを生成する処理を行う（ステップＳ２７）。
具体的には、画像生成部８ｅは、被写体存在画像P1を水平及び垂直ともに所定倍率で縮小してライブビュー表示用の低解像度の縮小画像データを生成するとともに、被写体存在画像P1の解像度に合わせて修正後のアルファマップM（例えば、アルファマップMa等）を縮小する。そして、画像生成部８ｅは、ライブビュー表示用の低解像度の被写体存在画像P1の全ての画素について、アルファ値が「0」の画素については透過させ、アルファ値が1≦α＜254の画素については所定の単一色とブレンディングを行い、アルファ値が「255」の画素については何もせずに所定の単一色に対して透過させないようにする。
その後、表示制御部９は、画像生成部８ｅにより生成された被写体切り抜き画像P2（例えば、被写体切り抜き画像P2a等）の画像データに基づいて、所定の単一色画像に被写体が重畳された被写体切り抜き画像P2を表示部１０の表示画面に表示させる（ステップＳ２８）。

続けて、中央制御部１３は、処理をステップＳ２３に移行して、グラフ生成部８ｆは、修正後のアルファマップM（例えば、アルファマップMa等）に基づいて、アルファ値のグラフG（例えば、グラフGb、Gc等；図５（ｂ）、図５（ｃ）等参照）を再度生成して、表示制御部９は、グラフ生成部８ｆにより生成されたグラフG（例えば、グラフGb、Gc等）を表示部１０の表示画面に再度表示させる（ステップＳ２３）。

次に、上記と同様に、中央制御部１３は、ユーザによる操作入力部１２の所定操作に基づいて、被写体画像Pgであるか否かの判定に係る所定の閾値が新たに入力されたか否かを判定する（ステップＳ２４）。即ち、修正後のアルファマップM（例えば、アルファマップMa等）を用いても被写体切り抜き画像P2の被写体画像Pgの修正が不十分であるとユーザによって判断される場合には、新たな閾値が入力されることとなる。
そして、ステップＳ２４にて、被写体画像Pgであるか否かの判定に係る所定の閾値が新たに入力されると（ステップＳ２４；ＹＥＳ）、修正領域特定部８ｇは、アルファマップM（例えば、アルファマップMa等）における所定の閾値以上の値を有する画素からなる領域を修正領域として再度特定する（ステップＳ２５）。そして、画像修正部８ｈは、アルファマップM（例えば、アルファマップMa等）における修正領域、即ち、所定の閾値（アルファ値）以上の値を有する中間階調の全ての画素のアルファ値を最大値（例えば、256階調では、「255」）に変更することで、修正後のアルファマップM（例えば、アルファマップMb、Mc等；図５（ｅ）、図５（ｆ）等参照）を生成する（ステップＳ２６）。

次に、上記と同様に、画像生成部８ｅは、ライブビュー表示用の被写体存在画像P1及び修正後のアルファマップM（例えば、アルファマップMb、Mc等）に基づいて、被写体画像Pgを所定の単一色画像と合成した被写体切り抜き画像P2（例えば、被写体切り抜き画像P2b、P2c等；図５（ｈ）、図５（ｉ）等参照）の画像データを生成する処理を行う（ステップＳ２７）。
その後、上記と同様に、表示制御部９は、画像生成部８ｅにより生成された被写体切り抜き画像P2（例えば、被写体切り抜き画像P2b、P2c等）の画像データに基づいて、所定の単一色画像に被写体が重畳された被写体切り抜き画像P2を表示部１０の表示画面に表示させる（ステップＳ２８）。

続けて、中央制御部１３は、処理をステップＳ２３に移行して、修正後のアルファマップM（例えば、アルファマップMb、Mc等）のアルファ値のグラフG（例えば、グラフGb、Gc等）を再度生成して、表示制御部９は、グラフ生成部８ｆにより生成されたグラフG（例えば、グラフGb、Gc等）を表示部１０の表示画面に再度表示させる（ステップＳ２３）。

次に、上記と同様に、中央制御部１３は、ユーザによる操作入力部１２の所定操作に基づいて、被写体画像Pgであるか否かの判定に係る所定の閾値が新たに入力されたか否かを判定する（ステップＳ２４）。即ち、修正後のアルファマップM（例えば、アルファマップMc等）を用いることで被写体切り抜き画像P2の被写体画像Pgの修正が十分であるとユーザによって判断される場合には、新たな閾値が入力されることはない。
そして、ステップＳ２４にて、被写体画像Pgであるか否かの判定に係る所定の閾値が入力されていないと判定されると（ステップＳ２４；ＮＯ）、中央制御部１３は、被写体切り抜き画像P2の被写体画像Pgの修正が行われたか否かを判定する（ステップＳ２９）。

ステップＳ２９にて、被写体画像Pgの修正が行われたと判定されると（ステップＳ２９；ＹＥＳ）、記録媒体制御部１１は、記録媒体１１ａの所定領域に、被写体存在画像P1の画像データと、修正後のアルファマップM（例えば、アルファマップMc等）と、被写体切り抜き画像P2の画像データとを対応付けて一ファイルで記録させる（ステップＳ３０）。
一方、被写体画像Pgの修正が行われていないと判定されると（ステップＳ２９；ＮＯ）、中央制御部１３は、ステップＳ３０をスキップして、被写体修正処理を終了させる。

以上のように、本実施形態の撮像装置１００によれば、被写体画像Pgにおける修正すべき領域を特定して、この特定された修正すべき領域を、被写体存在画像P1における対応する領域に基づいて修正するので、一旦被写体存在画像P1から被写体画像Pgを抽出した後でも、当該被写体画像Pgの修正を適正に行うことができる。

具体的には、被写体画像Pgの被写体存在画像P1における位置を示す所定階調のアルファマップMの所定軸（例えば、x軸）方向のアルファ値のグラフGを生成し、生成されたグラフGにて、被写体画像Pgであるか否かの判定に係る所定の閾値（アルファ値）を設定することに基づいて、被写体画像Pgにおける修正すべき領域を特定する。また、所定の閾値が設定される毎に、当該所定の閾値以上の値を有する中間階調の画素のアルファ値を最大値（例えば、256階調では、「255」）に変更することで、アルファマップMを順次修正する。
そして、アルファマップMが順次修正される毎に、当該アルファマップMに基づいて、ライブビュー表示用の被写体存在画像P1から被写体画像Pgを切り抜いた被写体切り抜き画像P2を生成することで、当該被写体切り抜き画像P2の被写体画像Pgを修正することができる。即ち、記録用として記録される高解像度の被写体存在画像P1から被写体切り抜き画像P2を生成するのではなく、表示用の低解像度の被写体存在画像P1から被写体切り抜き画像P2を生成するので、高解像度の被写体存在画像P1は元画像として加工せずに記録しておくことができる。また、表示用の低解像度の被写体存在画像P1を用いることで、高解像度の被写体存在画像P1を用いる場合に比して被写体画像Pgの生成に係る処理の高速化を図ることができる。
また、このとき、被写体切り抜き画像P2が生成される毎（被写体画像Pgが修正される毎）に、当該被写体切り抜き画像P2の被写体画像Pgを表示するので、ユーザに被写体画像Pgの修正度合いを確認させながら、当該被写体画像Pgに対して更なる修正が必要か否かを判断させることができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、被写体画像Pgであるか否かの判定に係る所定の閾値（アルファ値）をユーザによる操作入力部１２の所定操作に基づいて設定するようにしたが、これに限られるものではなく、例えば、当該所定の閾値を自動的に設定するようにしても良い。即ち、グラフGにおけるy軸上にて所定の閾値を指示する直線を自動的に所定方向（例えば、アルファ値が「255」から「0」となる方向）に移動させることで所定の閾値を設定して、当該閾値に基づいてアルファマップMを自動的に修正するようにしても良い。

また、上記実施形態にあっては、アルファマップMのグラフGにおけるy軸上にて所定の閾値を指示する直線が設定されたアルファ値に基づいて、被写体画像Pgにおける修正領域を特定するようにしたが、一例であってこれに限られるものではなく、修正領域の特定方法は適宜任意に変更可能である。
即ち、操作入力部１２にタッチパネル（図示略）を具備して、表示部１０に表示されている被写体画像Pg上にて修正すべき領域がユーザにより指定されることで、修正領域特定部８ｇが修正領域を特定するようにしても良い。具体的には、表示部１０に表示されている被写体画像Pg上にて修正すべき領域がユーザにより指定されると、修正領域特定部８ｇは、当該指定された領域を修正すべき領域として特定する。そして、画像修正部８ｈは、アルファマップMにおける当該修正領域に対応する画素のアルファ値（中間階調の画素のアルファ値）を最大値（例えば、256階調では、「255」）に変更することで、アルファマップMを修正する。

このように、ユーザによる操作入力部１２の所定操作に基づいて指定された被写体画像Pgにおける修正すべき領域を特定するので、表示部１０に表示されている被写体画像Pgにて修正領域をユーザに直感的に指定させることができ、被写体画像Pgの修正を簡便に行うことができる。

また、上記実施形態にあっては、中央制御部１３により所定の閾値（アルファ値）が設定されることに基づいて、アルファマップMを修正するようにしたが、アルファマップMの修正方法は一例であってこれに限られるものではなく、例えば、所定の閾値（アルファ値）が設定されなくとも、自動的に、所定の中間階調値以上のアルファ値を最大値（例えば、256階調では、「255」）に変更したり、所定の中間階調値未満のアルファ値を最小値（例えば、256階調では、「0」）に変更するようにしても良い。

さらに、記録媒体１１ａに記録される修正後のアルファマップM（例えば、アルファマップMc等）に対して平均化フィルタをかけて被写体領域の縁部に合成階調をかけても良く、これにより、被写体画像Pgを背景画像と合成した場合に、被写体領域との境界部分がはっきりしていない自然な感じにすることができる。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、画像処理装置として、撮像装置１００を例示したが、これに限られるものではい。例えば、被写体存在画像P1や被写体非存在画像の撮像は、当該撮像装置１００とは異なる撮像装置（図示略）にて行い、この撮像装置から転送された画像データのみを記録して、上記の被写体切り抜き処理や被写体修正処理等を実行する構成でも良い。

加えて、上記実施形態にあっては、抽出手段、特定手段、修正手段としての機能を、画像処理部８の画像抽出部８ｃ、画像生成部８ｅ、修正領域特定部８ｇ、画像修正部８ｈが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１３のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、撮像装置１００のプログラムを記憶するプログラムメモリ（図示略）に、抽出処理ルーチン、特定処理ルーチン、修正処理ルーチンを含むプログラムを記憶しておく。そして、抽出処理ルーチンにより中央制御部１３のＣＰＵを、背景内に被写体が存在する被写体存在画像P1と背景と略同一の背景内に被写体の存在しない被写体非存在画像との間で対応する各画素の差分情報に基づいて、被写体存在画像P1から被写体が含まれる被写体画像Pgを抽出する抽出手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１３のＣＰＵを、抽出手段により抽出された被写体画像Pgにおける修正すべき領域を特定する特定手段として機能させるようにしても良い。また、修正処理ルーチンにより中央制御部１３のＣＰＵを、特定手段により特定された修正すべき領域を、被写体存在画像P1における対応する領域に基づいて修正する修正手段として機能させるようにしても良い。

同様に、第１生成手段、第２生成手段、設定手段、第３生成手段、表示制御手段についても、中央制御部１３のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

１００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
８ 画像処理部
８ｃ 画像抽出部
８ｄ 位置情報生成部
８ｅ 画像生成部
８ｆ グラフ生成部
８ｇ 修正領域特定部
８ｈ 画像修正部
１２ 操作入力部
１３ 中央制御部

Claims (6)

1. 背景内に被写体が存在する被写体存在画像と前記背景内に前記被写体の存在しない被写体非存在画像との間で対応する各画素の差分情報に基づいて、前記被写体存在画像から被写体が含まれる被写体画像を抽出する抽出手段と、
   前記抽出手段により抽出された前記被写体画像の前記被写体存在画像における位置を示す所定階調のアルファマップを生成する第１生成手段と、
   この第１生成手段により生成されたアルファマップに基づいて、所定軸方向のアルファ値のグラフを生成する第２生成手段と、
   この第２生成手段により生成されたグラフにて、前記被写体画像であるか否かの判定に係る所定の閾値を設定する設定手段と、
   この設定手段により設定された前記所定の閾値に基づいて、前記抽出手段により抽出された被写体画像における修正すべき領域を特定する特定手段と、
   この特定手段により特定された修正すべき領域を、前記被写体存在画像における前記修正すべき領域と対応する領域に基づいて修正する修正手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記修正手段は、前記設定手段により前記所定の閾値が設定される毎に、前記第１生成手段により生成される前記アルファマップを順次修正することを特徴とする請求項１に記載の画像処理装置。
3. 前記修正手段により前記アルファマップが修正される毎に、当該アルファマップに基づいて、表示用の前記被写体存在画像から前記被写体画像を切り抜いた被写体切り抜き画像を順次生成する第３生成手段と、
   この第３生成手段により前記被写体切り抜き画像が生成される毎に、当該被写体切り抜き画像を表示部に順次表示させる表示制御手段と、を更に備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記特定手段は、前記被写体画像における操作部の所定操作に基づいて指定された領域を前記修正すべき領域として特定することを特徴とする請求項１に記載の画像処理装置。
5. 画像処理装置を用いた画像処理方法であって、
   背景内に被写体が存在する被写体存在画像と前記背景内に前記被写体の存在しない被写体非存在画像との間で対応する各画素の差分情報に基づいて、前記被写体存在画像から被写体が含まれる被写体画像を抽出する処理と、
   抽出された前記被写体画像の前記被写体存在画像における位置を示す所定階調のアルファマップを生成する処理と、
   生成されたアルファマップに基づいて、所定軸方向のアルファ値のグラフを生成する処理と、
   生成されたグラフにて、前記被写体画像であるか否かの判定に係る所定の閾値を設定する処理と、
   設定された前記所定の閾値に基づいて、抽出された被写体画像における修正すべき領域を特定する処理と、
   特定された修正すべき領域を、前記被写体存在画像における前記修正すべき領域と対応する領域に基づいて修正する処理と、
   を備えたことを特徴とする画像処理方法。
6. 画像処理装置のコンピュータを、
   背景内に被写体が存在する被写体存在画像と前記背景内に前記被写体の存在しない被写体非存在画像との間で対応する各画素の差分情報に基づいて、前記被写体存在画像から被写体が含まれる被写体画像を抽出する抽出手段、
   前記抽出手段により抽出された前記被写体画像の前記被写体存在画像における位置を示す所定階調のアルファマップを生成する第１生成手段、
   この第１生成手段により生成されたアルファマップに基づいて、所定軸方向のアルファ値のグラフを生成する第２生成手段、
   この第２生成手段により生成されたグラフにて、前記被写体画像であるか否かの判定に係る所定の閾値を設定する設定手段、
   この設定手段により設定された前記所定の閾値に基づいて、前記抽出手段により抽出された被写体画像における修正すべき領域を特定する特定手段、
   この特定手段により特定された修正すべき領域を、前記被写体存在画像における前記修正すべき領域と対応する領域に基づいて修正する修正手段、
   として機能させることを特徴とするプログラム。