JP2015164035A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】複数の入力画像に基づき定められる修正対象画像を修正して、良質な画像を生成すること。
【解決手段】画像処理装置３において、画像修正部１６０は、タッチパネル２５０に対するユーザーのタップ操作を検知し、そのタップ位置が前景候補領域検出部１４０によって検出された前景候補領域に含まれる場合には、基準画像設定部１２０によって設定された基準画像のうちの当該前景候補領域に対応する画像領域を、記憶部８００に記憶されている画像修正プログラム８５０に従って修正する。
【選択図】図６

Description

本発明は、画像処理装置及び画像処理方法に関する。

従来、例えば行楽地において記念写真を撮影しようとする場合等において、撮影を行おうとしても、撮影の対象物とする人物の他に、他人や車などの動被写体がフレーム内に入ってしまい、適切な状況下、すなわち撮影しようとする対象物のみがフレーム内に存在する状態で撮影することが困難であった。その課題に対して、同シーンの撮影を複数回行い、その複数枚の撮影画像の中で最適と思われる部分を抽出し組み合わせて合成することで解決を図る、特許文献１、２のような従来技術がある。

米国特許出願公開第２０１２／０３２０２３７号明細書 欧州特許第２３６０６４４号明細書

上記のような撮影画像を入力画像として入力し、これらの入力画像から対象物のみが写し出された画像を生成しようとした場合、動被写体を適切に検出して、これらを画像中から削除することが必要となる。これを実現するための手法として、例えば複数の入力画像を重み付けして加重平均することで、対象物が背景として写し出された背景画像を生成する手法が考えられる。

しかし、この手法では、複数の入力画像の位置合わせを完全に行うことが困難であることに起因して、手ブレ等によって複数の入力画像に微妙な位置のずれが生じたり、風で揺れる木々の葉などの存在によって、生成される背景画像において、これらの領域がボケてしまい、良質な画像が得られないという問題がある。また、人ごみなど、常に物体に動きがある領域は背景と前景との区別がつかないため、その物体に動きがある領域が綺麗に補正されず、ゴーストが発生してしまうという問題がある。

本発明は、このような課題に鑑みてなされたものであり、その目的とするところは、複数の入力画像に基づき定められる修正対象画像を修正して、良質な画像を生成するための新たな手法を提案することにある。

上記課題を解決すべく、以下の手段を採った。なお、後述する発明を実施するための形態の説明及び図面で使用した符号を参考のために括弧書きで付記するが、本発明の構成要素は該付記したものには限定されない。

第１の発明は、
複数の入力画像（撮影により入力された画像）に基づき定められる修正対象画像（入力画像のうちの一の画像、例えば基準画像）の修正対象領域（前景候補領域）を、前記複数の入力画像のうちの何れかの入力画像を修正用画像として用いて修正する画像修正手段（画像修正部１６０）を備えた、
画像処理装置（画像処理装置３）である。

また、第２８の発明として、
複数の入力画像（撮影により入力された画像）に基づき定められる修正対象画像（入力画像のうちの一の画像、例えば基準画像）の修正対象領域（前景候補領域）を、前記複数の入力画像のうちの何れかの入力画像を修正用画像として用いて修正することを含む、
画像処理方法を構成してもよい。

この第１の発明等によれば、複数の入力画像に基づき定められる修正対象画像の修正対象領域を、複数の入力画像のうちの何れかの入力画像を修正用画像として用いて修正することで、良質な画像を生成することができる。

また、第２の発明は、
第１の発明の画像処理装置であって、
前記画像修正手段は、前記修正対象領域に対応する領域の画像データが、前記複数の入力画像と関連付けられた参照画像（複数の入力画像を加重平均した背景画像）と所定の関係を満たす（画像データが類似する）入力画像を前記修正用画像とし、当該修正用画像の前記修正対象領域に対応する領域の画像データを用いて、前記修正対象画像の前記修正対象領域を修正する、
画像処理装置を構成してもよい。

この第２の発明によれば、修正対象領域に対応する領域の画像データが、複数の入力画像と関連付けられた参照画像と所定の関係を満たす入力画像を修正用画像とし、当該修正用画像の修正対象領域に対応する領域の画像データを用いることで、修正対象画像の修正対象領域を適切に修正することができる。これにより、複数の入力画像に微妙な位置のずれが生じたり、風で揺れる木々の葉などが存在した場合であっても、これらの領域の画像データを修正用画像の当該領域に対応する画像データを用いて修正し、良質な画像を生成することができる。

また、第３の発明として、
第１又は第２の発明の画像処理装置であって、
前記修正対象領域の前景としての信頼度を判定する信頼度判定手段（処理部１００）を更に備え、
前記画像修正手段は、前記信頼度判定手段によって判定された信頼度に基づいて、前記修正対象領域の修正の適否を判定する、
画像処理装置を構成してもよい。

この第３の発明によれば、修正対象領域の前景としての信頼度を判定した上で、修正対象領域を修正すべきかどうかを適切に判定することができる。

また、第４の発明として、
第３の発明の画像処理装置であって、
前記複数の入力画像間で被写体の見かけに変化が生じている領域である見かけ変化領域を検出する見かけ変化領域検出手段（処理部１００）を更に備え、
前記信頼度判定手段は、前記見かけ変化領域検出手段によって検出された見かけ変化領域を前記修正対象領域として前記信頼度を判定し、
前記画像修正手段は、前記信頼度判定手段によって判定された信頼度に基づいて、前記見かけ変化領域の修正の適否を判定する、
画像処理装置を構成してもよい。

見かけ変化領域とは、撮影対象物以外の物体に動きが生じている領域や、撮影時の光の変化等によって被写体の見え方に変化が生じている領域である。第４の発明によれば、複数の入力画像間で被写体の見かけに変化が生じている領域を検出し、検出した見かけ変化領域の修正の適否を信頼度に基づいて判定することができる。これにより、人ごみなど常に被写体に動きが生じている領域や、光の影響を受けて被写体の見え方が変化している領域などが存在する場合であっても、これらの領域を見かけ変化領域として検出して修正することができる。

また、第５の発明として、
第３又は第４の発明の画像処理装置であって、
前記信頼度判定手段は、前記修正対象画像における所定の処理画素単位（１画素単位、複数画素単位）毎に前記信頼度を判定し、
前記画像修正手段は、前記信頼度が所定条件（信頼度が「高」）を満たす前記処理画素単位を連結してなる一群の領域を前記修正対象領域として修正を行う、
画像処理装置を構成してもよい。

この第５の発明によれば、修正対象画像における所定の処理画素単位毎に前景としての信頼度を判定し、判定した信頼度が所定条件を満たす処理画素単位を連結してなる一群の領域を修正対象領域として修正を行うことができる。ここで、処理画素単位は、１画素以上で構成される領域のことを意味する。

また、第６の発明として、
第３〜第５の何れかの発明の画像処理装置であって、
前記複数の入力画像それぞれについて、当該入力画像と前記複数の入力画像と関連付けられた参照画像（複数の入力画像を加重平均した背景画像）との相対関係（画素値の差分値）を表す相対値を、所定の処理画素単位（１画素単位、複数画素単位）毎に算出する相対値算出手段（差分値算出部１１、差分値算出部１１１）と、
前記複数の入力画像のうち、前記相対値算出手段によって算出された相対値が特定条件（差分値が最小）を満たす入力画像を、前記処理画素単位毎に判定する入力画像判定手段（最小差分入力画像判定部１７、非基準最小差分入力画像判定部１１７）と、
前記入力画像判定手段によって判定された入力画像を識別するための識別情報（画像番号）を前記処理画素単位毎に記憶した画像処理用データ（最小差分マップデータ２７、非基準最小差分マップデータ８７３）を生成する画像処理用データ生成手段（最小差分マップデータ生成部１９、非基準最小差分マップデータ生成部１１９）と、
を更に備え、
前記画像修正手段は、前記修正用画像と前記画像処理用データ生成手段によって生成された画像処理用データとを用いて修正を行う、
画像処理装置を構成してもよい。

また、第２９の発明として、
第２８の発明の画像処理方法であって、
複数の入力画像それぞれについて、当該入力画像と前記複数の入力画像と関連付けられた参照画像（複数の入力画像を加重平均した背景画像）との相対関係を表す相対値（画素値の差分値）を、所定の処理画素単位毎に算出することと、
前記複数の入力画像のうち、前記算出された相対値が特定条件を満たす入力画像（差分値が最小）を、前記処理画素単位毎に判定することと、
前記判定された入力画像を識別するための識別情報（画像番号）を前記処理画素単位毎に記憶した画像処理用データ（最小差分マップデータ２７、非基準最小差分マップデータ８７３）を生成することと、
を更に含み、
前記修正することは、前記修正用画像と前記生成された画像処理用データとを用いて修正を行うことを含む、
画像処理方法を構成してもよい。

この第６の発明等によれば、複数の入力画像それぞれについて、当該入力画像と複数の入力画像と関連付けられた参照画像との相対関係を表す相対値に基づいて、処理画素単位別に特定条件を満たす入力画像を識別するための識別情報を記憶した画像処理用データを生成することができる。ここで、相対値は、入力画像と参照画像との相対関係を表す値であり、例えば入力画像と参照画像との画素値の差分値がこれに含まれる。また、特定条件は、予め定められた条件であり、例えば相対値が最大や最小となること、相対値が中央値となること、相対値が平均値となること、といった各種の条件を特定条件とすることができる。このようにして生成した画像処理用データと修正用画像とを用いることで、修正対象画像を適切に修正することができる。

また、第７の発明として、
第６の発明の画像処理装置であって、
前記画像処理用データ生成手段は、前記特定条件を満たす相対値（最小差分値）を前記識別情報（画像番号）と対応付けて前記処理画素単位毎に前記画像処理用データに記憶させる、
画像処理装置を構成してもよい。

この第７の発明によれば、特定条件を満たす相対値を入力画像の識別情報と対応付けて処理画素単位毎に画像処理用データに記憶させることで、特定条件を満たす相対値と当該相対値に対応する入力画像とを１つのデータで管理することが可能となる。

また、第８の発明として、
第６又は第７の発明の画像処理装置であって、
前記複数の入力画像をそれぞれ縮小する縮小手段（解析用画像生成部１３０）を更に備え、
前記相対値算出手段は、前記縮小手段によって縮小された前記複数の入力画像それぞれについて、当該入力画像と前記入力画像と同じ大きさの参照画像との相対関係を表す相対値を前記処理画素単位毎に算出し、
前記画像処理用データ生成手段は、前記入力画像と同じ大きさの前記画像処理用データを生成する、
画像処理装置を構成してもよい。

この第８の発明によれば、複数の入力画像をそれぞれ縮小した画像と同じ大きさの画像処理用データを生成することができる。入力画像のサイズが大きい場合は、後段の画像修正における処理負荷が増大するため、複数の入力画像をそれぞれ縮小する。そして、縮小した入力画像と同じ大きさの画像処理用データを生成することで、画像処理用データを用いた画像修正の処理負荷を軽減することができる。

また、第９の発明として、
第６〜第８の何れかの発明の画像処理装置であって、
前記複数の入力画像と、前記画像処理用データ生成手段によって生成された画像処理用データとを用いて、前記参照画像に対する前景の候補となる領域である前景候補領域を検出する前景候補領域検出手段（前景候補領域検出部１４０）を更に備え、
前記信頼度判定手段は、前記前景候補領域検出手段によって検出された前景候補領域を前記修正対象領域として前記信頼度を判定し、
前記画像修正手段は、前記前景候補領域検出手段によって検出された前景候補領域を前記修正対象領域として修正を行う、
画像処理装置を構成してもよい。

この第９の発明によれば、複数の入力画像と、生成された画像処理用データとを用いることで、参照画像に対する前景の候補となる領域である前景候補領域を検出することができる。そして、検出された前景候補領域を修正対象領域として信頼度を判定した上で、検出された前景候補領域を修正対象領域として修正を行うことができる。

また、第１０の発明は、
第９の発明の画像処理装置であって、
前記複数の入力画像の中から基準画像を設定する基準画像設定手段（基準画像設定部１２０）を更に備え、
前記入力画像判定手段は、前記複数の入力画像の中から前記基準画像を除外した入力画像である非基準画像のうち、前記相対値が前記特定条件を満たす非基準画像を前記処理画素単位毎に判定する非基準画像判定手段（非基準最小差分入力画像判定部１１７）を有し、
前記画像処理用データ生成手段は、前記非基準画像判定手段によって判定された非基準画像を識別するための識別情報を前記処理画素単位毎に記憶した非基準画像処理用データを生成する非基準画像処理用データ生成手段（非基準最小差分マップデータ生成部１１９）を有し、
前記前景候補領域検出手段は、前記基準画像と前記非基準画像処理用データ生成手段によって生成された非基準画像処理用データとを用いて、前記前景候補領域を検出し、
前記画像修正手段は、前記基準画像設定手段によって設定された基準画像を前記修正対象画像として修正を行う、
画像処理装置を構成してもよい。

この第１０の発明によれば、複数の入力画像の中から設定した基準画像を除外した入力画像である非基準画像のうち、相対値が特定条件を満たす非基準画像を処理画素単位毎に判定し、判定した非基準画像を識別するための識別情報を処理画素単位毎に記憶した非基準画像処理用データを生成する。基準画像は、例えば、複数の入力画像の中からユーザーにより選択された入力画像を設定することとしてもよいし、最初に入力された入力画像や最後に入力された入力画像といったように所定のルールに従って設定することとしてもよい。このようにして設定した基準画像と、非基準画像に基づいて生成した非基準画像処理用データとを用いることで、前景候補領域を適切に検出することができる。そして、基準画像を修正対象画像として修正を行うことで、良質な画像を得ることができる。

また、第１１の発明として、
第９又は第１０の発明の画像処理装置であって、
前記画像修正手段は、前記画像処理用データに記憶された識別情報に対応する入力画像を前記修正用画像として、前記修正対象画像の前記前景候補領域を修正する、
画像処理装置を構成してもよい。

この第１１の発明によれば、画像処理用データに記憶された識別情報に対応する入力画像を修正用画像とすることで、修正対象画像の前景候補領域を適切に修正することができる。

また、第１２の発明として、
第９〜第１１の何れかの発明の画像処理装置であって、
前記画像修正手段は、前記修正対象画像の前記前景候補領域の画像データを、前記修正用画像の当該前景候補領域に対応する領域の画像データを用いて修正する、
画像処理装置を構成してもよい。

この第１２の発明によれば、修正対象画像の前景候補領域の画像データを、修正用画像の当該前景候補領域に対応する領域の画像データを用いて修正することで、修正対象画像の前景候補領域を適切に修正することができる。

また、第１３の発明として、
第９〜第１２の何れかの発明の画像処理装置であって、
前記画像修正手段は、前記前景候補領域の信頼度に応じて実行する画像修正処理（置換処理、貼り付け処理）を切り替えて、前記修正対象画像の当該前景候補領域を修正する、
画像処理装置を構成してもよい。

この第１３の発明によれば、前景候補領域の信頼度に応じて実行する画像修正処理を切り替えることで、各前景候補領域それぞれについて、信頼度に応じた適切な画像修正を実現することができる。

また、第１４の発明として、
第１３の発明の画像処理装置であって、
前記画像修正手段は、前記信頼度が所定の高信頼度条件（信頼度が「高」）を満たす前景候補領域について、前記修正用画像の当該前景候補領域に対応する領域の画像データで前記修正対象画像の当該前景候補領域の画像データを置換する処理を前記画像修正処理として実行する、
画像処理装置を構成してもよい。

この第１４の発明によれば、信頼度が所定の高信頼度条件を満たす前景候補領域について、修正用画像の当該前景候補領域に対応する領域の画像データで修正対象画像の当該前景候補領域の画像データを置換する処理を画像修正処理として実行することで、前景としての信頼性の高い前景候補領域を適切に修正することができる。

また、第１５の発明として、
第１３又は第１４の発明の画像処理装置であって、
前記画像修正手段は、前記信頼度が所定の低信頼度条件を満たす前景候補領域について、前記修正用画像の中から当該前景候補領域の画像データと所定の関係を満たす画像データを抽出して前記修正対象画像の当該前景候補領域に貼り付ける処理を前記画像修正処理として実行する、
画像処理装置を構成してもよい。

この第１５の発明によれば、信頼度が所定の低信頼度条件を満たす前景候補領域について、修正用画像の中から当該前景候補領域の画像データと所定の関係を満たす画像データを抽出して修正対象画像の当該前景候補領域に貼り付ける処理を画像修正処理として実行することで、前景としての信頼性が低い前景候補領域を適切に修正することができる。

また、第１６の発明として、
第９〜第１５の何れかの発明の画像処理装置であって、
表示手段（表示部３００）と、
前記前景候補領域の信頼度を前記表示手段に表示制御する表示制御手段（表示制御部１７０）と、
を備えた画像処理装置を構成してもよい。

この第１６の発明によれば、前景候補領域の信頼度をユーザーが表示画面において確認することが可能となる。

また、第１７の発明として、
第１６の発明の画像処理装置であって、
前記表示制御手段は、各前景候補領域の信頼度をユーザーが区別可能な表示態様（例えば、前景候補領域やその輪郭線を信頼度に応じて色分けした表示態様、前景候補領域に信頼度に応じて異なるマークを付した表示態様、前景候補領域を信頼度に応じて異なる模様やハッチングを施した表示態様）で前記表示手段に表示制御する、
画像処理装置を構成してもよい。

この第１７の発明によれば、各前景候補領域の信頼度をユーザーが区別可能な表示態様で表示手段に表示することで、ユーザーは、各前景候補領域の信頼度を一見して把握可能となる。

また、第１８の発明として、
第９〜第１７の何れかの発明の画像処理装置であって、
前記修正対象画像の中から物体を検出する物体検出手段（処理部１００）と、
前記物体検出手段による物体の検出領域と前記前景候補領域との位置関係及び前記信頼度に基づいて、前記修正対象画像のうちの優先的に修正すべき領域である優先修正領域を決定する優先修正領域決定手段（処理部１００）と、
を備えた画像処理装置を構成してもよい。

この第１８の発明によれば、物体の検出領域と前景候補領域との位置関係及び前景候補領域の信頼度の判定結果に基づくことで、修正対象画像のうちの優先的に修正すべき領域である優先修正領域を自動決定することができる。

また、第１９の発明として、
第９〜第１８の何れかの発明の画像処理装置であって、
前記信頼度判定手段は、前記前景候補領域の面積と、前記前景候補領域に含まれる画素について前記画像処理用データに記憶された相対値とのうちの少なくとも何れかに基づいて、当該前景候補領域の前記信頼度を判定する、
画像処理装置を構成してもよい。

この第１９の発明によれば、前景候補領域の面積と、前景候補領域に含まれる画素について画像処理用データに記憶された相対値とのうちの少なくとも何れかに基づいて、当該前景候補領域の前記信頼度を判定することができる。面積の小さい前景候補領域は、ノイズ等に起因して偶発的に検出された領域である可能性が高いことから、このような前景候補領域の信頼度は低くするとよい。また、特定条件によるが、常に物体が動いている等の理由により前景領域を正しく修正することが困難な領域については、画像処理用データに記憶された相対値が特定の傾向を示す傾向がある。このため、前景候補領域に含まれる画素について画像処理用データに記憶された相対値から、当該前景候補領域の修正難易度を推定することができる。修正難易度の高い領域に対して画像修正を行うと、課題欄で述べたようなゴーストが発生するおそれがあることから、このような領域では信頼度を低くするとよい。

また、第２０の発明として、
第９〜第１９の何れかの発明の画像処理装置であって、
操作手段（操作部２００、タッチパネル２５０）と、
表示手段（表示部３００）と、
前記複数の入力画像の中から選択した基準画像を前記表示手段に表示制御する表示制御手段（表示制御部１７０）と、
前記表示手段に表示されている画像上の位置を指定するユーザー操作（タップ操作）を検知する検知手段（処理部１００）と、
前記検知手段の検知に応じて、前記ユーザー操作により指定された位置が前記前景候補領域に含まれるか否かを判定する指定位置判定手段（処理部１００）と、
を更に備え、
前記画像修正手段は、前記指定位置判定手段の判定結果が肯定判定である場合に、前記修正対象画像の前記前景候補領域を修正し、
前記表示制御手段は、前記画像修正手段により修正された画像を前記表示手段に表示制御する、
画像処理装置を構成してもよい。

この第２０の発明によれば、複数の入力画像の中から選択した基準画像が表示されている状態で画像上の位置を指定するユーザー操作がなされた場合であって、当該ユーザー操作により指定された位置が前景候補領域に含まれる場合に、当該前景候補領域に対応する画像領域を修正することができる。つまり、ユーザー操作を契機として前景候補領域に対応する画像領域を修正することができる。そして、修正された画像を表示手段に表示制御することで、ユーザーは、修正された画像を確認することができる。

また、第２１の発明として、
第２０の発明の画像処理装置であって、
前記指定位置判定手段の判定結果に基づいて、前記ユーザー操作による各前景候補領域に対する前記画像修正の要否を記憶した画像修正要否データ（前景候補領域データ８７７）を生成する画像修正要否データ生成手段（処理部１００）を更に備え、
前記画像修正手段は、前記画像修正要否データ生成手段によって生成された画像修正要否データに基づいて、各前景候補領域の修正の要否を判定する、
画像処理装置を構成してもよい。

この第２１の発明によれば、ユーザー操作による画像修正要否データを生成することで、各前景候補領域に対する画像修正の要否を判断することができるため、複数の前景候補領域がユーザーにより指定されたような場合であっても、指定された前景候補領域を洩れなく修正対象として画像の修正を行うことができる。

また、第２２の発明として、
第１８の発明の画像処理装置であって、
前記画像修正手段は、前記修正対象画像の前記優先修正領域を修正し、
表示手段（表示部３００）と、
前記画像修正手段により修正された画像を前記表示手段に表示制御する表示制御手段（表示制御部１７０）と、
を更に備えた、
画像処理装置を構成してもよい。

この第２２の発明によれば、優先修正領域を修正し、その修正した画像を表示することで、ユーザーは、自動的に優先修正領域が優先的に修正された画像を確認することができる。

また、第２３の発明として、
第２２の発明の画像処理装置であって、
前記表示制御手段は、前記優先修正領域を前記前景候補領域とは異なる表示態様で前記表示手段に表示制御する、
画像処理装置を構成してもよい。

この第２３の発明によれば、優先修正領域を前景候補領域とは異なる表示態様で表示手段に表示制御することで、ユーザーは、優先的に修正すべき領域を一見して把握可能となる。

第２４の発明は、
複数の入力画像を蓄積する画像蓄積手段（記憶部８００）と、
前記蓄積された複数の入力画像に基づいて、画像中の入れ替え候補領域及びそれに関連付けられた入れ替え信頼度を算出する算出手段（処理部１００）と、
前記複数の入力画像のうちの最新に入力された入力画像である基準画像及び当該基準画像上に前記入れ替え候補領域を重畳表示又は輪郭表示させた画像を表示する表示手段（表示部３００）と、
を備え、
前記算出手段は、前記基準画像が新規画像入力により更新された際、前記入れ替え候補領域及び前記入れ替え信頼度を再算出し、
前記表示手段は、前記再算出の結果に基づいて前記表示手段の表示を更新する、
画像処理装置である。

また、第３０の発明として、
複数の入力画像を蓄積することと、
前記蓄積された複数の入力画像に基づいて、画像中の入れ替え候補領域及びそれに関連付けられた入れ替え信頼度を算出することと、
前記複数の入力画像のうちの最新に入力された入力画像である基準画像及び当該基準画像上に前記入れ替え候補領域を重畳表示又は輪郭表示させた画像を所定の表示手段に表示させることと、
を含み、
前記算出することは、前記基準画像が新規画像入力により更新された際、前記入れ替え候補領域及び前記入れ替え信頼度を再算出することを含み、
前記表示させることは、前記再算出の結果に基づいて前記表示手段の表示を更新することを含む、
画像処理方法を構成してもよい。

この第２４の発明等によれば、複数の入力画像を蓄積し、蓄積された複数の入力画像に基づいて、画像中の入れ替え候補領域及びそれに関連付けられた入れ替え信頼度を算出する。そして、複数の入力画像のうちの最新に入力された入力画像である基準画像及び当該基準画像上に入れ替え候補領域を重畳表示又は輪郭表示させた画像を表示することで、ユーザーは、入れ替え候補領域を一見して把握可能となる。そして、基準画像が新規画像入力により更新された際、入れ替え候補領域及び入れ替え信頼度を再算出することで、新規画像が入力に応じて入れ替え候補領域及び入れ替え信頼度を随時更新することができる。そして、再算出の結果に基づいて表示手段の表示を更新することで、ユーザーは、最新の入れ替え候補領域をリアルタイムに把握することができる。

また、第２５の発明として、
第２４の発明の画像処理装置であって、
前記表示手段は、前記入れ替え候補領域を重畳表示又は輪郭表示するに際し、関連付けられた入れ替え信頼度を反映した表示を行う、
画像処理装置を構成してもよい。

この第２５の発明によれば、入れ替え候補領域を重畳表示又は輪郭表示するに際し、関連付けられた入れ替え信頼度を反映した表示を行うことで、ユーザーは、入れ替え候補領域の信頼度を一見して把握可能となる。

また、第２６の発明として、
第２４又は第２５の発明の画像処理装置であって、
任意の領域を指定可能な領域指定手段（操作部２００、タッチパネル２５０）と、
前記領域指定手段により指定された領域が、前記算出手段により算出された前記入れ替え候補領域に含まれる場合において、関連付けられた入れ替え信頼度が所定条件を満たす場合に、その旨をユーザーに報知する報知手段（表示部３００）と、
を更に備えた、
画像処理装置を構成してもよい。

この第２６の発明によれば、指定された領域が入れ替え候補領域に含まれる場合において、関連付けられた入れ替え信頼度が所定条件を満たす場合に、その旨をユーザーに報知する。例えば、入れ替え信頼度が一定以上の信頼度である場合に、その旨をユーザーに報知することで、ユーザーは、信頼度の高い入れ替え候補領域を把握可能となる。

また、第２７の発明として、
第２４〜第２６の何れかの発明の画像処理装置であって、
任意の領域を指定可能な領域指定手段（操作部２００、タッチパネル２５０）と、
前記領域指定手段により指定された領域が、前記算出手段により算出された前記入れ替え候補領域に含まれる場合において、関連付けられた入れ替え信頼度が所定条件を満たす場合は、当該入れ替え候補領域に対応する画像領域を修正する画像修正手段（画像修正部１６０）と、
を更に備え、
前記表示手段は、前記画像修正手段により修正された画像を表示する、
画像処理装置を構成してもよい。

この第２７の発明によれば、指定された領域が入れ替え候補領域に含まれる場合において、関連付けられた入れ替え信頼度が所定条件を満たす場合は、当該入れ替え候補領域に対応する画像領域を修正する。例えば、入れ替え信頼度が一定以上の信頼度である場合に、当該入れ替え候補領域に対応する画像領域を修正することで、入れ替え信頼度の高い入換候補領域に対応する画像部分のみを修正することができる。また、修正された画像を表示するため、ユーザーは、修正された画像を表示画面で確認することができる。

画像処理用データ生成装置の機能構成の一例を示すブロック図。 入力画像データのデータ構成の一例を示す図。 最小差分マップデータのデータ構成の一例を示す図。 最小差分マップデータ生成の手順の一例を示す原理図。 最小差分マップデータ生成処理の流れの一例を示すフローチャート。 画像処理装置の機能構成の一例を示すブロック図。 画像データのデータ構成の一例を示す図。 前景候補領域データのデータ構成の一例を示す図。 非基準最小差分マップデータの生成の手順の一例を示す原理図。 （１）撮影画像の一例を示す図。（２）背景画像の一例を示す図。（３）背景差分画像の一例を示す図。 前景候補領域検出及び前景候補領域信頼度判定を説明するための原理図。 画像処理の流れの一例を示すフローチャート。 図１２の画像処理のフローチャートの続き。 背景画像生成処理の流れの一例を示すフローチャート。 前景候補領域検出処理の流れの一例を示すフローチャート。 前景候補領域信頼度判定処理の流れの一例を示すフローチャート。 画像修正処理の流れの一例を示すフローチャート。 （１）撮影画像の一例を示す図。（２）入れ替え候補領域表示画像の一例を示す図。（３）入れ替え候補領域オーバーレイ表示画像の一例を示す図。（４）修正画像の一例を示す図。 （１）撮影画像の一例を示す図。（２）非基準最小差分画像の一例を示す図。（３）前景候補領域の検出結果の一例を示す図。（４）入れ替え候補領域表示画像の一例を示す図。 （１）帯状の優先修正領域パターンの一例を示す図。（２）枠状の優先修正領域パターンの一例を示す図。（３）三角形状の優先修正領域パターンの一例を示す図。 記録媒体の一例を示す図。

［１．第１実施形態］
最初に、後述する実施形態で説明する画像中の前景候補領域の検出や画像修正等の各種の画像処理に用いることが可能なデータである画像処理用データを生成する画像処理用データ生成装置の実施形態について説明する。

［１−１．機能構成］
図１は、画像処理用データ生成装置１の機能構成の一例を示すブロック図である。
画像処理用データ生成装置１は、複数の入力画像を入力し、この複数の入力画像と、所定の参照画像とを用いて、画像処理用データの一種である最小差分マップデータを生成する装置である。最小差分マップデータは、複数の入力画像それぞれについて、当該入力画像と参照画像との差分値を画素単位で算出した場合に、差分値が最小となる入力画像の番号と、その差分値の最小値（以下、「最小差分値」と称す。）とを対応付けて記憶したマップ形式のデータである。

画像処理用データ生成装置１に入力される複数の入力画像は、好適には、同じ撮影シーンについて複数枚の画像の撮影を行った結果として得られる複数の撮影画像とすることができる。具体的には、例えば、所定の撮影シーンに撮影対象物を配置し、この撮影対象物を固定した状態で、時間間隔を設けて撮影した複数のフレーム画像を入力画像とすることができる。撮影対象物は、人間や動物、建築物、乗り物等の物体とすることができる。

画像処理用データ生成装置１は、画像処理用データ生成部１０と、記憶部２０とを備えて構成される。

画像処理用データ生成部１０は、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のマイクロプロセッサーや、ＡＳＩＣ（Application Specific Integrated Circuit）等の集積回路を有して構成される処理装置である。

画像処理用データ生成部１０は、主要な機能部として、差分値算出部１１と、と、最小差分入力画像判定部１７と、最小差分マップデータ生成部１９とを有する。これらの機能部の機能については後述する。

記憶部２０は、ＲＯＭ（Read Only Memory）やフラッシュメモリ、ＲＡＭ（Random Access Memory）等の不揮発性や揮発性のメモリや、外部記憶装置であるハードディスク等を有して構成される記憶装置である。

記憶部２０には、画像処理用データ生成部１０により読み出され、最小差分マップデータ生成処理（図５参照）として実行される最小差分マップデータ生成プログラム２１が記憶されている。また、記憶部２０には、入力画像データ２３と、参照画像データ２５と、最小差分マップデータ２７とが記憶される。

入力画像データ２３は、画像処理用データ生成装置１に入力される複数の入力画像のデジタル化されたデータであり、そのデータ構成の一例を図２に示す。
入力画像データ２３には、各入力画像をユニークに識別するための識別情報である画像番号２３１と、入力画像の各画素の画素値で構成される画素値データ２３３とが対応付けて入力画像毎に記憶される。本実施形態では、入力画像を識別するための識別情報を画像番号（インデックス）として説明する。

参照画像データ２５は、画像処理用データ生成部１０が、複数の入力画像を用いて最小差分マップデータ２７を生成する際に参照する画像である参照画像のデジタル化されたデータであり、参照画像の各画素の画素値で構成される画素値データが記憶されている。

ここで、参照画像は、入力画像と関連付けられた画像であればよく、例えば、入力画像が撮影された撮影シーンと同一の撮影シーンに撮影対象物を配置し、他の不要な物体が映り込まないようにして撮影した画像を参照画像とすることができる。参照画像は、図１に点線で示すように、入力画像と同時に画像処理用データ生成装置１に入力してもよいし、時間をおいて入力画像とは別々に入力してもよい。また、同じく図１に点線で示すように、複数の入力画像の中から参照画像とする入力画像を選択することとしてもよい。

最小差分マップデータ２７は、画像処理用データ生成部１０によって生成された最小差分マップのデータであり、そのデータ構成の一例を図３に示す。
最小差分マップデータ２７には、入力画像を構成する画素２７１と、当該画素２７１に対応する最小差分値２７３と、当該最小差分値２７３に対応する画像番号２７５とが対応付けて記憶される。

［１−２．原理］
図４は、最小差分マップデータ生成の手順を説明するための原理図である。この原理図では、画像やデータを実線で示し、処理を行う機能ブロックを太実線で示して、両者を区別している。他の原理図においても同様である。

まず、差分値算出部１１は、複数の入力画像それぞれについて、当該入力画像と参照画像との相対関係を表す相対値として、画素値の差分値を処理画素単位毎に算出する。本実施形態では、処理画素単位を１画素とし、入力画像を構成する全ての画素について差分値を別個に算出することとして説明する。つまり、入力画像と参照画像との差分値を画素単位で算出することとして説明する。

次いで、最小差分入力画像判定部１７は、複数の入力画像それぞれについて画素毎に算出された差分値が最小となる入力画像（以下、「最小差分入力画像」と称す。）を、特定条件を満たす入力画像として判定する。本実施形態では、特定条件を、差分値が最小となることとして説明する。具体的には、最小差分入力画像判定部１７は、各画素それぞれについて、複数の入力画像それぞれについて算出された差分値のうち、その値が最小となるものを特定して最小差分値と判定し、この最小差分値が算出された入力画像を最小差分入力画像と判定する。

次いで、最小差分マップデータ生成部１９は、最小差分入力画像判定部１７によって判定された最小差分値２７３と最小差分入力画像の画像番号２７５とを画素２７１別に対応付けて記憶した図３の最小差分マップデータ２７を生成する。

［１−３．処理の流れ］
図５は、画像処理用データ生成部１０が、記憶部２０に記憶されている最小差分マップデータ生成プログラム２１に従って実行する最小差分マップデータ生成処理の流れを示すフローチャートである。

最初に、画像処理用データ生成部１０は、入力画像と参照画像との各組合せそれぞれについてループＡの処理を行う（ステップＡ１〜Ａ１１）。

ループＡの処理では、差分値算出部１１が、当該組合せに含まれる入力画像と参照画像との組合せについて、各当該入力画像の画素値と当該参照画像の画素値との差分値を画素単位で算出する差分値算出処理を行う（ステップＡ５）。そして、画像処理用データ生成部１０は、次の入力画像と参照画像との組合せへと処理を移行する。これを全ての入力画像と参照画像との組合せについて行ったならば、画像処理用データ生成部１０は、ループＡの処理を終了する（ステップＡ１１）。

その後、画像処理用データ生成部１０は、各画素それぞれについてループＣの処理を行う（ステップＡ１３〜Ａ２１）。ループＣの処理では、最小差分入力画像判定部１７が、当該画素の最小差分値を判定する（ステップＡ１５）。また、最小差分入力画像判定部１７は、最小差分入力画像を判定する（ステップＡ１７）。

次いで、最小差分マップデータ生成部１９は、当該画素２７１と、ステップＡ１５で判定した最小差分値２７３と、ステップＡ１７で判定した最小差分入力画像の画像番号２７５とを対応付けて記憶部２０の最小差分マップデータ２７に記憶させる（ステップＡ１９）。

全ての画素についてステップＡ１５〜Ａ１９の処理を行うことで、最小差分マップデータ２７が完成する。そして、画像処理用データ生成部１０は、ループＣの処理を終了し（ステップＡ２１）、最小差分マップデータ生成処理を終了する。

［１−４．作用効果］
画像処理用データ生成装置１において、差分値算出部１１は、複数の入力画像それぞれについて、当該入力画像と所定の参照画像との相対関係を表す相対値として画素値の差分値を画素別に算出する。そして、最小差分入力画像判定部１７は、差分値算出部１１によって算出された差分値が最小となる入力画像を、特定条件を満たす入力画像として画素別に判定する。そして、最小差分マップデータ生成部１９は、最小差分値と最小差分入力画像の画像番号と対応付けて記憶した最小差分マップデータ２７を生成する。このようにして生成した最小差分マップデータ２７は、各種の画像処理に用いることができる。

［２．第２実施形態］
次に、画像処理装置３の実施形態について説明する。画像処理装置３は、第１実施形態で説明した画像処理用データ生成装置１を備えた装置であり、撮影対象物とそれ以外の不要な物体とが混在した状況下の画像（フレーム画像）を複数枚撮影した撮影画像を入力画像として入力し、これら複数の入力画像を用いて、不要な物体を取り除いた画像を生成して出力する装置である。この画像処理装置３は、スマートフォンやタブレット端末、デジタルカメラ、ＰＤＡ、パソコン等の撮影機能を有する各種の電子機器に適用することが可能である。

［２−１．機能構成］
図６は、画像処理装置３の機能構成の一例を示すブロック図である。
画像処理装置３は、処理部１００と、操作部２００と、表示部３００と、通信部４００と、撮像部５００と、時計部６００と、記憶部８００とを備える。

処理部１００は、記憶部８００に記憶されているシステムプログラム等の各種プログラムに従って画像処理装置３の各部を統括的に制御したり、画像処理に係る各種の処理を行う処理装置であり、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。

処理部１００は、主要な機能部として、画像処理用データ生成部１１０と、基準画像設定部１２０と、解析用画像生成部１３０と、前景候補領域検出部１４０と、前景候補領域信頼度判定部１５０と、画像修正部１６０と、表示制御部１７０とを有する。これらの機能部の機能については後述する。

また、画像処理用データ生成部１１０は、主要な機能部として、差分値算出部１１１と、合成比率設定部１１２と、背景画像生成部１１３と、背景差分値算出部１１４と、非基準最小差分入力画像判定部１１７と、非基準最小差分マップデータ生成部１１９とを有する。これらの機能部の機能については後述する。

操作部２００は、操作ボタンや操作スイッチ、マウスといった、ユーザーが画像処理装置３に対する各種の操作入力を行うための入力装置を有して構成される。また、操作部２００は、表示部３００と一体的に構成されたタッチパネル２５０を有し、このタッチパネル２５０はユーザーと画像処理装置３との間の入力インターフェースとして機能する。操作部２００からは、ユーザー操作に従った操作信号が処理部１００に出力される。

表示部３００は、ＬＣＤ（Liquid Crystal Display）等を有して構成される表示装置であり、処理部１００から出力される表示信号に基づいた各種表示を行う。表示部３００は、タッチパネル２５０と一体的に構成されてタッチスクリーンを形成している。表示部３００には、撮影画像や修正画像等の各種の画像が表示される。

通信部４００は、装置内部で利用される情報を外部の情報処理装置との間で送受するための通信装置である。通信部４００の通信方式としては、所定の通信規格に準拠したケーブルを介して有線接続する形式や、クレイドルと呼ばれる充電器と兼用の中間装置を介して接続する形式、近距離無線通信を利用して無線接続する形式等、種々の方式を適用可能である。

撮像部５００は、任意のシーンの画像を撮影可能に構成された撮像装置であり、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary MOS）イメージセンサ等の撮像素子を有して構成される。撮像部５００は、光信号を電気信号に変換し、デジタル化した撮影画像のデータを処理部１００に出力する。

時計部６００は、画像処理装置３の内部時計であり、例えば水晶振動子及び発振回路である水晶発振器を有して構成される。時計部６００の計時時刻は、処理部１００に随時出力される。

記憶部８００は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ＲＡＭ等の揮発性又は不揮発性のメモリや、ハードディスク装置等を有して構成される記憶装置である。記憶部８００は、処理部１００が画像処理装置３を制御するためのシステムプログラムや、各種の画像処理を行うためのプログラムやデータを記憶する。

本実施形態において、記憶部８００には、処理部１００により読み出され、画像処理（図１２及び図１３参照）として実行される画像処理プログラム８１０が記憶されている。画像処理プログラム８１０は、最小差分マップデータ生成処理（図５参照）として実行される最小差分マップデータ生成プログラム２１と、背景画像生成処理（図１４参照）として実行される背景画像生成プログラム８２０と、前景候補領域検出処理（図１５参照）として実行される前景候補領域検出プログラム８３０と、前景候補領域信頼度判定処理（図１６参照）として実行される前景候補領域信頼度判定プログラム８４０と、画像修正処理（図１７参照）として実行される画像修正プログラム８５０とをサブルーチンとして含む。これらの処理については、フローチャートを用いて詳細に後述する。

また、記憶部８００には、複数の画像データ８７０が記憶されるとともに、画像出力用のバッファである出力バッファ８８０を含む。

図７は、画像データ８７０のデータ構成の一例を示す図である。
画像データ８７０には、撮影画像データ８７１と、非基準最小差分マップデータ８７３と、背景画像データ８７５と、前景候補領域データ８７７と、修正画像データ８７９とが記憶される。

撮影画像データ８７１は、撮像部５００によって撮影された撮影画像のデジタル化されたデータであり、撮影日時８７１ａと、各撮影画像（入力画像）をユニークに識別するための画像番号８７１ｂと、当該撮影画像の各画素の画素値で構成される画素値データ８７１ｃとが対応付けて複数記憶される。

撮影日時８７１ａは、時計部６００の計時時刻に基づいて処理部１００により撮影画像データ８７１に記憶される。また、処理部１００は、所定のルールに従って画像番号８７１ｂを設定し、撮影画像データ８７１に対応付けて記憶する。例えば、撮像部５００が撮影を行った順に、それぞれの撮影画像の撮影日時８７１ａに基づいて、例えば撮影時刻が早い撮影画像から順に１から順番に画像番号８７１ｂを割り振る。なお、撮影時刻が遅い撮影画像から順に１から順番に画像番号８７１ｂを割り振ることとしてもよい。また、撮影時に画像名が自動的に付されるような場合（自動的に画像ファイル名が付されるような場合）には、撮影画像の画像名（Ｉｍａｇｅ１，Ｉｍａｇｅ２，Ｉｍａｇｅ３，・・・）の順に画像番号８７１ｂを割り振ることとしてもよい。

非基準最小差分マップデータ８７３は、非基準最小差分マップデータ生成部１１９によって生成される画像処理用データである。この非基準最小差分マップデータ８７３については詳細に後述する。

背景画像データ８７５は、背景画像の画素値が画素毎に記憶されたデータである。本実施形態において、背景画像とは、理想的には、撮影対象物が前景として映し出されているが、他の不要な物体が前景として映し出されていない画像のことを言う。不要な物体は撮影シーンに種々存在し得るため、不要な物体の全てを取り除くのは困難である。そこで、本実施形態では、撮影対象物以外の動体が存在する領域を前景候補領域として検出し、この前景候補領域に対応する画像領域を修正することで、撮影対象物以外の動体が取り除かれた画像を生成する。背景画像は、例えば、撮影対象物を撮影シーンに配置し、他の動体が映り込まないように撮影することによっても取得可能であるが、本実施形態では、撮像部５００から入力された複数の撮影画像を用いて背景画像を自動生成することとして説明する。

前景候補領域データ８７７は、前景候補領域に関するデータであり、そのデータ構成の一例を図８に示す。本実施形態では、画像中の撮影対象物以外の動体が占める領域のことを前景候補領域と定義する。

前景候補領域データ８７７には、検出された前景候補領域をユニークに識別するための識別情報であるラベル８７７ａと、当該前景候補領域を構成する画素の集合である構成画素８７７ｂと、当該前景候補領域の前景候補としての信頼度８７７ｃと、当該前景候補領域を修正対象とするか否かを示す修正フラグ８７７ｄとが対応づけて記憶される。修正フラグ８７７ｄは、各前景候補領域に対する画像修正の要否を記憶した画像修正要否データに相当する。なお、前景候補領域の検出方法や前景候補領域の信頼度の判定方法については詳細に後述する。

ここで、上記の前景候補領域データ８７７において、検出された前景候補領域の輪郭線を算出する輪郭線算出処理を行い、この輪郭線算出処理で算出された輪郭線を、対応する前景候補領域のラベル８７７ａと対応付けて記憶させることとしてもよい。具体的には、例えば、前景候補領域のうちの端部に位置する画素を判定し、輪郭線を構成する画素として算出する。そして、これらの輪郭線を構成する画素でなるひと纏まりのデータを、輪郭線データとして前景候補領域データ８７７に記憶させる。

なお、前景候補領域の輪郭線を算出して前景候補領域データ８７７に輪郭線データを記憶させるタイミングは、例えば、前景候補領域を検出したタイミングとしてもよいし、前景候補領域の輪郭線を表示部３００に表示させるタイミングとしてもよい。前景候補領域の検出後のタイミングであれば、前景候補領域のデータに基づいて、任意のタイミングで輪郭線を算出することが可能である。

修正画像データ８７９は、画像修正部１６０が所定の修正対象画像に対する画像修正処理を行うことで得られる修正画像の各画素の画素値で構成されるデータである。本実施形態では、基準画像設定部１２０によって設定される基準画像を修正対象画像として画像修正処理を行うこととして説明する。

出力バッファ８８０は、画像修正部１６０が画像修正処理を行う際に用いる修正対象画像の画素値を一時的に格納するためのバッファであり、この出力バッファ８８０で処理された修正画像が、表示制御部１７０によって表示部３００に表示制御される。

［２−２．原理］
図９は、画像処理装置３において、画像処理用データ生成部１１０が非基準最小差分マップデータ８７３を生成する手順を説明するための原理図である。

最初に、背景画像生成部１１３は、一連の入力画像を画像毎に設定した合成比率（重み）を用いて加重平均することで、背景画像を生成する。各入力画像の合成比率は、例えば、入力画像間の類似度に基づいて設定することができる。具体的には、一連の入力画像の類似度を、所定の特徴（例えばエッジ）に基づいて判定し、類似度が高い入力画像ほど大きな合成比率を設定して、この設定された重みを用いて一連の入力画像を加重平均する。このようにすることで、入力画像間で共通する領域、すなわち背景領域は合成比率が高くなる一方、入力画像間で異なる領域、すなわち前景領域の合成比率は低くすることができるため、結果として背景領域が強調された画像が生成される。

このようにして生成された背景画像は、原理的には、撮影対象物が映し出され、他の不要な物体が前景として映し出されていない画像である。このため、１つの形態として、この背景画像を最終的な出力画像とすることも考えられる。

しかし、ユーザーによる撮影が装置を固定した状態等の安定した状態での撮影ではなく、撮影者が手で持った状態で行われた場合、手ブレ等の影響により撮影画像がボケてしまい、生成される背景画像にもボケが生じ易いという問題がある。また、撮影対象物以外の物体が動きながら撮影シーンに滞在している場合、その物体が動いている領域が綺麗に補正されず、ゴーストが発生してしまうおそれがある。このような領域は、前景としての信頼度が低い領域である。そこで、本実施形態では、背景画像を最終的な出力画像とはせずに、画像修正処理で得られた修正画像を最終的な出力画像とする。

その後、背景差分値算出部１１４が、複数の入力画像それぞれと、背景画像生成部１１３によって生成された背景画像との相対関係を表す相対値として、当該入力画像と背景画像との差分値である背景差分値を画素単位で算出する。

その後、基準画像設定部１２０が、複数の撮影画像の中から基準とする画像（基準画像）を設定する。基準画像の設定では、例えば、複数の撮影画像を表示部３００にそれぞれ表示させてユーザーに１枚の撮影画像を選択させ、選択された撮影画像を基準画像と設定すればよい。また、他にも、最初又は最後に入力された撮影画像を基準画像とするといったように、所定のルールに従って基準画像を設定してもよい。

また、複数の撮影画像のそれぞれから特徴量を検出する特徴量検出処理を行い、検出された特徴量に基づいて基準画像を設定してもよい。この場合の特徴量としては、例えば画像のエッジが挙げられる。具体的には、複数の撮影画像それぞれに対するエッジ検出処理を行い、例えばエッジが最も多く含まれる撮影画像を基準画像として設定するなどすればよい。

本実施形態では、複数の撮影画像のうち、基準画像以外の撮影画像のことを非基準画像と称する。また、非基準画像について背景画像との差分値を算出することで得られる画像のことを非基準背景差分画像と称し、基準画像と背景画像との差分値を算出することで得られる画像のことを基準背景差分画像と称する。

図１０は、背景画像、撮影画像及び背景差分画像の一例を示す図である。
図１０（１）は、複数の撮影画像のうちの一枚の撮影画像を示す図である。この撮影画像には、撮影対象物である中央部の女性の他に、通行人の男性が映し出されている。

図１０（２）は、複数の撮影画像を用いて生成した背景画像の一例を示す図である。この背景画像を見ると、画像中央部には撮影対象物である女性が映し出されているが、図１０（１）の撮影画像に映し出されていた通行人の男性が存在していないことがわかる。これは、上述した背景画像の生成により、撮影対象物の女性が背景として抽出されたことによるものである。

図１０（３）は、上記の撮影画像と背景画像との背景差分をとることで得られる背景差分画像を示す図である。ここでは、背景差分値が大きくなるほど階調値が高くなるようなグレースケールの画像で背景差分画像を示している。この背景差分画像を見ると、前景となる通行人の男性の画像部分の階調値が高くなっている（白っぽくなっている）ことから、背景差分値が大きくなっていることがわかる。つまり、背景画像と撮影画像との背景差分をとることで、撮影対象物以外の動体の画像部分が前景として浮き上がることがわかる。

図９に戻り、非基準最小差分入力画像判定部１１７は、非基準背景差分画像の画素値に基づいて、非基準最小差分値と、非基準最小差分値に対応する入力画像（以下、「非基準最小差分入力画像」と称す。）とを画素毎に判定する。そして、非基準最小差分マップデータ生成部１１９は、非基準最小差分入力画像判定部１１７の判定結果に基づいて、画素と、当該画素の非基準最小差分値と、当該画素の非基準最小差分入力画像とを対応付けて記憶した非基準最小差分マップデータ８７３を生成する。

図１１は、前景候補領域検出の原理及び前景候補領域信頼度判定の手順を説明するための原理図である。
前景候補領域検出部１４０は、非基準最小差分マップデータ８７３から得られる非基準最小差分値と、基準差分画像に対応する基準差分値とを画素毎に比較することで前景候補領域を検出する。

具体的には、各画素それぞれについて、当該画素の基準差分値と非基準最小差分値との差の絶対値を算出し、この差の絶対値に対する閾値判定を行う。差の絶対値が閾値よりも大きい場合は、その画素を前景候補領域を構成する画素（以下、「前景候補領域構成画素」と称す。）と判定する。そして、前景候補領域構成画素で構成される一群の領域を前景候補領域と判定し、それぞれの前景候補領域にラベルを割り当てる。ここで、一群の領域とは、１画素以上の隣接する前景候補領域構成画素で構成される領域のことを意味する。

基準差分画像は、基準画像と背景画像との差分を算出することで得られる画像である。ここで、背景画像は、撮影対象物が背景として検出された画像であることから、原理的には、それ以外の不要な動体を含まない画像となっているはずである。一方、基準画像には撮影対象物以外の動体が含まれ得るため、基準差分値は、撮影対象物以外の動体の存在を反映した値として算出される。従って、基準画像に撮影対象物以外の動体が存在する場合は、その動体が存在する領域の背景差分値が大きくなる。

一方、非基準最小差分値は、非基準画像と背景画像との差分値のうちの最小差分値であるが、ある非基準画像に撮影対象物以外の動体が映し出されていたとしても、その動体が同じ位置に留まり続けない限り、その動体は他の非基準画像では別の位置に映し出されているか、フレームから外れているはずである。従って、撮影対象物以外の動体が映し出されていない非基準画像の差分値が非基準最小差分値と判定される可能性が高い。

次に、前景候補領域信頼度判定部１５０が、前景候補領域検出部１４０によって検出された前景候補領域の前景としての信頼度を判定する。具体的には、前景候補領域の信頼度指標値として、例えば、当該前景候補領域の面積を算出し、この面積に対する閾値判定を行う。具体的には、算出した面積が第１閾値よりも大きいか否かを判定する。面積が第１閾値よりも大きい場合は、当該前景候補領域の信頼度が高いと判定する。面積が小さい前景候補領域は、基準差分値と非基準最小差分値との差がノイズ等に起因して偶発的に大きくなった画素で構成される領域である可能性が高いことから、このような前景候補領域は信用しないようにする。

また、他の信頼度指標値として、例えば、当該前景候補領域に含まれる画素の非基準最小差分値に対する閾値判定を行って、前景候補領域の信頼度を判定するようにしてもよい。具体的には、例えば、当該前景候補領域の非基準最小差分値が第２閾値よりも小さいか否かを判定し、第２閾値よりも小さい場合は、当該前景候補領域の信頼度が高いと判定する。常に物体が動いている領域では、非基準最小差分値が大きくなる傾向がある。このような領域に対して画像修正を行ってしまうと、課題欄で述べたようなゴーストが発生してしまうおそれがある。そこで、非基準最小差分値に基づいて前景候補領域の前景としての信頼度を判定する。

なお、具体的な実施例としてフローチャートで後述するように、非基準最小差分値に対する段階的な閾値を設定しておき、これらの閾値を用いた段階的な閾値処理を行って、前景候補領域の信頼度をより細かく判定するようにしてもよい。

また、上記のように自動的に検出された前景候補領域をユーザーに対して提示することによって、ユーザーは基準画像内のどの領域が前景として取り除くことができるかを知ることができる。それにより、ユーザーは、必要に応じて修正対象の指定を行うことが可能となる。

［２−３．処理の流れ］
図１２及び図１３は、処理部１００が、記憶部８００に記憶されている画像処理プログラム８１０に従って実行する画像処理の流れを示すフローチャートである。

最初に、処理部１００は、ユーザーにより操作部２００を介して選択されたモードを判定する（ステップＢ１）。選択されたモードが「撮影モード」である場合は（ステップＢ１；撮影モード）、処理部１００は、ユーザーのシャッター操作に従って、同じシーンについて複数枚の画像の撮影を撮像部５００に行わせるように制御する（ステップＢ３）。

その後、解析用画像生成部１３０が、解析用画像生成処理を行う（ステップＢ５）。そして、基準画像設定部１２０が、基準画像設定処理を行う（ステップＢ７）。この場合における基準画像の設定方法は、前述した通りである。

なお、ユーザーによる撮影が画像処理装置３を固定した状態等の安定した状態での撮影ではなく、撮影者が手で持った状態で行われた場合、撮影画像間で位置ズレが発生する可能性が高い。そこで、撮影画像間に手ブレ等に起因するズレが存在することを考慮し、基準画像に対して非基準画像の位置合わせ処理を行ってもよい。位置合わせ処理には種々の手法を適用可能であるが、例えばオプティカルフローを用いた公知の位置合わせ手法を適用することができる。この手法には、ブロックマッチング法や勾配法といった従来公知の手法が含まれる。

また、解析用画像として、基準画像及び非基準画像のそれぞれを所定の縮小方法を用いて縮小する縮小処理を行ってもよい。入力画像を縮小して解析用画像を生成するのは、撮影画像は画像サイズが大きいため、元の画像サイズで処理を行うと処理負荷が増大するためである。上記の位置合わせ処理及び縮小処理を行うことで得られた撮影画像を解析用画像とする。撮影画像の縮小は、ダウンサンプリング等の公知の手法によって実現することができる。

次いで、背景画像生成部１１３が、記憶部８００に記憶されている背景画像生成プログラム８２０に従って背景画像生成処理を行う（ステップＢ９）。

図１４は、背景画像生成処理の流れを示すフローチャートである。
背景画像生成部１１３は、解析用画像の異なる２枚の組合せそれぞれについてループＤの処理を行う（ステップＣ１〜Ｃ１１）。

ループＤの処理では、差分値算出部１１１が、当該組合せの解析用画像に含まれる各画素それぞれについて差分値を算出する差分値算出処理を行う（Ｃ５）。そして、合成比率設定部１１２が、当該組合せに含まれる解析用画像の合成比率を設定する合成比率設定処理を行う（ステップＣ７）。全ての解析用画像の組合せについて上記の処理を行ったならば、背景画像生成部１１３は、ループＤの処理を終了する（ステップＣ１１）。

その後、背景画像生成部１１３が、画素毎に設定された合成比率を用いて解析用画像を合成して背景画像を生成する（ステップＣ１３）。そして、背景画像生成部１１３は、背景画像生成処理を終了する。

画像処理に戻り、背景画像生成処理を行ったならば、画像処理用データ生成部１１０は、解析用画像を入力画像とし、背景画像を参照画像として（ステップＢ１１）、記憶部８００に記憶されている最小差分マップデータ生成プログラム２１に従って最小差分マップデータ生成処理を行う（ステップＢ１５）。この最小差分マップデータ生成処理では、図５と同様の処理を行って、非基準最小差分マップデータ８７３を生成する。なお、前述したように、解析用画像は縮小された画像であるため、最小差分マップデータ８７３は、解析用画像と同じ大きさの縮小されたマップデータとなる。

その後、前景候補領域検出部１４０が、記憶部８００に記憶されている前景候補領域検出プログラム８３０に従って前景候補領域検出処理を行う（ステップＢ１７）。

図１５は、前景候補領域検出処理の流れを示すフローチャートである。
前景候補領域検出部１４０は、各画素それぞれについてループＦの処理を行う（ステップＤ１〜Ｄ９）。ループＦの処理では、前景候補領域検出部１４０は、当該画素について、基準差分値と非基準最小差分マップデータ８７３に記憶されている非基準最小差分値との差分を算出する（ステップＤ３）。

次いで、前景候補領域検出部１４０は、ステップＤ３で算出した差分が所定の閾値よりも大きいか否かを判定し（ステップＤ５）、大きいと判定したならば（ステップＤ５；Ｙｅｓ）、当該画素の前景候補フラグを「ＯＮ」に設定する（ステップＤ７）。そして、前景候補領域検出部１４０は、次の画素へと処理を移す。全ての画素に対して上記の処理を行ったならば、前景候補領域検出部１４０は、ループＦの処理を終了する（ステップＤ９）。

なお、ステップＤ３において、基準差分値と非基準最小差分値と差分ではなく、基準差分値と非基準最小差分値との比を算出することとし、ステップＤ５において、基準差分値と非基準最小差分値との比に対する閾値判定を行うこととしてもよい。

その後、前景候補領域検出部１４０は、各画素の前景候補フラグに基づいて前景候補領域を検出する。具体的には、前景候補フラグが「ＯＮ」に設定されている画素で構成される一群の領域を前景候補領域として検出する。そして、前景候補領域検出部１４０は、検出した前景候補領域にラベル８７７ａを割り当てて前景候補領域データ８７７に記憶させ、各前景候補領域を構成する画素を構成画素８７７ｂとしてラベル８７７ａに対応付けて記憶させた後（ステップＤ１５）、前景候補領域検出処理を終了する。

なお、非基準最小差分マップデータ８７３は解析用画像と同じサイズの縮小されたマップデータであるため、前景候補領域データ８７７は、縮小後の画像から前景候補領域を検出したデータとなる。

画像処理に戻り、前景候補領域検出処理を行った後、前景候補領域信頼度判定部１５０が、記憶部８００に記憶されている前景候補領域信頼度判定プログラム８４０に従って、前景候補領域信頼度判定処理を行う（ステップＢ１９）。

図１６は、前景候補領域信頼度判定処理の流れを示すフローチャートである。
前景候補領域信頼度判定部１５０は、前景候補領域データ８７７にラベル８７７ａが割り当てられている各前景候補領域それぞれについてループＧの処理を行う（ステップＥ１〜Ｅ２１）。ループＧの処理では、前景候補領域信頼度判定部１５０は、当該前景候補領域の面積を算出する（ステップＥ３）。

次いで、前景候補領域信頼度判定部１５０は、ステップＥ３で算出した面積が第１閾値を上回っているか否かを判定する（ステップＥ７）。そして、この条件を満たすと判定したならば（ステップＥ７；Ｙｅｓ）、前景候補領域信頼度判定部１５０は、当該前景候補領域内の非基準最小差分値が、第２閾値を下回っているか否かを判定する（ステップＥ９）。

ステップＥ９で条件が成立したならば（ステップＥ９；Ｙｅｓ）、前景候補領域信頼度判定部１５０は、当該前景候補領域の信頼度を「高」（入れ替えＯＫ）と判定し、前景候補領域データ８７７の信頼度８７７ｃに記憶させる（ステップＥ１１）。

ステップＥ９で条件が成立しなかったならば（ステップＥ９；Ｎｏ）、前景候補領域信頼度判定部１５０は、当該前景候補領域内の非基準最小差分値が第２閾値よりも大きい第３閾値を下回っているか否かを判定し（ステップＥ１３）、この条件を満たすと判定したならば（ステップＥ１３；Ｙｅｓ）、当該前景候補領域の信頼度を「中」（入れ替え注意）と判定し、前景候補領域データ８７７の信頼度８７７ｃに記憶させる（ステップＥ１５）。

ステップＥ１３で条件が成立しなかったならば（ステップＥ１３；Ｎｏ）、前景候補領域信頼度判定部１５０は、当該前景候補領域の信頼度を「低」（入れ替え不可）と判定し、前景候補領域データ８７７の信頼度８７７ｃに記憶させる（ステップＥ１７）。そして、前景候補領域信頼度判定部１５０は、次の前景候補領域へと処理を移す。

ステップＥ７で条件が成立しなかったならば（ステップＥ７；Ｎｏ）、前景候補領域信頼度判定部１５０は、当該前景候補領域を処理対象から除外し、当該前景候補領域を前景候補領域データ８７７から削除する（ステップＥ１９）。そして、前景候補領域信頼度判定部１５０は、次の前景候補領域へと処理を移す。

ステップＥ１１又はＥ１５の後、前景候補領域信頼度判定部１５０は、当該前景候補領域を入れ替え候補の領域（以下、「入れ替え候補領域」と称す。）と判定する。つまり、信頼度が「高」（入れ替え可能）又は「中」（入れ替え注意）の前景候補領域を入れ替え候補領域と判定する。そして、前景候補領域信頼度判定部１５０は、次の前景候補領域へと処理を移す。

入れ替え候補領域は、当該領域に含まれる画素値を別の撮影画像の画素値と入れ替える候補とする領域である。入れ替え可能領域と言い換えることもできる。また、当該領域に含まれる画素値を別の撮影画像の画素値で置換するという意味で、置換候補領域や置換可能領域と言い換えることもできる。

本実施形態では、信頼度が「高」又は「中」と判定された前景候補領域を入れ替え候補領域とすることとして説明するが、これに限らず、例えば、信頼度が「低」と判定された前景候補領域も入れ替え候補領域に含めることとしてもよい。この場合は、信頼度「低」の前景候補領域は、入れ替え候補にはなるが、入れ替えが危険の領域（入れ替え危険）、言い換えれば入れ替えのリスクが高い領域として取り扱えばよい。

全ての前景候補領域についてステップＥ３〜Ｅ１９の処理を行ったならば、前景候補領域信頼度判定部１５０は、ループＧの処理を終了し（ステップＥ２１）、前景候補領域信頼度判定処理を終了する。

画像処理に戻り、前景候補領域信頼度判定処理を行った後、表示制御部１７０は、元の大きさの基準画像上に入れ替え候補領域の信頼度に応じたマスクを重畳させて表示部３００にオーバーレイ表示する（ステップＢ２３）。

具体的には、前景候補領域データ８７７に記憶されている前景候補領域のうち、信頼度が「高」又は「中」の前景候補領域を入れ替え候補領域とし、解析用画像を生成した際の撮影画像の縮小率に基づいて元のサイズに拡大した入れ替え候補領域を、基準画像上の対応する位置に表示させる。この際、信頼度に応じて異なる色を付した入れ替え候補領域を基準画像上にオーバーレイ表示する。例えば、信頼度が「高」の入れ替え候補領域は入れ替えＯＫなので「緑色」、信頼度が「中」の入れ替え候補領域は入れ替え注意なので「黄色」で表示するなどすることができる。このような表示を行うことで、直感的に分かりやすい信頼度の表示を実現することができる。

なお、前述したように、信頼度が「低」の前景候補領域を入れ替え候補領域に含めることも可能である。この場合は、信頼度が「低」の入れ替え候補領域は入れ替え危険なので「赤色」で表示するなどすればよい。

また、信頼度に応じて色分けした入れ替え候補領域を基準画像に重畳表示する他に、例えば、信頼度に応じて色分けした入れ替え候補領域の輪郭を基準画像に重畳表示するなどしてもよい。例えば、信頼度が「高」の入れ替え候補領域は緑色の輪郭線、信頼度が「中」の入れ替え候補領域は黄色の輪郭線、信頼度が「低」の入れ替え候補領域は赤色の輪郭線で入れ替え候補領域の輪郭をそれぞれ表示するなどしてもよい。

次いで、処理部１００は、ユーザー操作に従って基準画像を変更するか否かを判定し（ステップＢ２５）、変更すると判定したならば（ステップＢ２５；Ｙｅｓ）、Ｂ７に処理を戻す。一方、変更しないと判定したならば（ステップＢ２５；Ｎｏ）、処理部１００は、タッチパネル２５０を介したユーザーのタップ操作を検知したか否かを判定し（ステップＢ２９）、検知しなかった場合は（ステップＢ２９；Ｎｏ）、ステップＢ４１へと処理を移す。

一方、タップ操作を検知したならば（ステップＢ２９；Ｙｅｓ）、処理部１００は、そのタップ位置が何れかの入れ替え候補領域に含まれるか否かを判定する（ステップＢ３１）。そして、含まれると判定したならば（ステップＢ３１；Ｙｅｓ）、処理部１００は、前景候補領域データ８７７の当該入れ替え候補領域の修正フラグ８７７ｄを「ＯＮ」に設定する（ステップＢ３３）。

その後、処理部１００は、操作部２００を介してユーザーにより修正実行操作がなされたか否かを判定し（ステップＢ３５）、なされなかったと判定したならば（ステップＢ３５；Ｎｏ）、ステップＢ４１へと処理を移す。

一方、修正実行操作がなされたと判定したならば（ステップＢ３５；Ｙｅｓ）、画像修正部１６０が、記憶部８００に記憶されている画像修正プログラム８５０に従って画像修正処理を行う（ステップＢ３７）。

図１７は、画像修正処理の流れを示すフローチャートである。
最初に、画像修正部１６０は、基準画像を出力バッファ８８０にコピーする（ステップＦ１）。そして、画像修正部１６０は、非基準画像に対して順番に動き補正（動き補償）を行う（ステップＦ３）。この場合における動き補正は、例えば、現在の非基準画像とその前の非基準画像との間の動き（部分的な画像の動きやパン・チルト）を検出し、前の非基準画像に対して、検出した動き量分の補正を行うことで実現することができる。動き量は、画像中の動きベクトルを算出するなどすることで検出が可能である。

その後、画像修正部１６０は、前景候補領域データ８７７を参照し、修正フラグ８７７ｄが「ＯＮ」に設定されている入れ替え候補領域を修正対象候補領域とする（ステップＦ５）。そして、画像修正部１６０は、各修正対象候補領域それぞれについてループＨの処理を行う（ステップＦ７〜Ｆ２１）。

ループＨの処理では、画像修正部１６０は、当該修正対象候補領域に含まれる各画素それぞれについてループＪの処理を行う（ステップＦ９〜Ｆ１９）。ループＪの処理では、各非基準画像それぞれについてループＫの処理を行う（ステップＦ１１〜Ｆ１７）。

ループＫの処理では、画像修正部１６０は、当該非基準画像の画像番号と、非基準最小差分マップデータ８７３に記憶されている非基準最小差分画像の画像番号とが一致するか否かを判定する（ステップＦ１３）。一致しないと判定したならば（ステップＦ１３；Ｎｏ）、ステップＦ１５の処理をスキップする。

一方、画像番号が一致すると判定したならば（ステップＦ１３；Ｙｅｓ）、画像修正部１６０は、当該画素について、当該非基準画像の画素値を用いて基準画像の画素値を修正する画素値修正処理を実行する（ステップＦ１５）。ここで、画素値の修正は、非基準画像の画素値による置換（入れ替え）によって行ってもよいし、所定の重みを用いた基準画像と非基準画像との加重平均によって行ってもよい。また、この重みは画像全体で一様ではなく、基準画像と非基準画像の類似度（画素の輝度や明度の差）等を用いて画素ごとに算出してもよい。

本実施形態では、非基準画像の画素値を用いて基準画像の画素値を修正することで、前景候補領域に含まれる動被写体を消去することができる。このようにして動被写体を消去する画像修正処理のことを「入れ替え処理」と称し、後述する「塗りつぶし処理」と区別する。

全ての非基準画像に対してステップＦ１３及びＦ１５の処理を行ったならば、画像修正部１６０は、ループＫの処理を終了する（ステップＦ１７）。そして、全ての画素についてループＫの処理を行ったならば、画像修正部１６０は、ループＪの処理を終了する（ステップＦ１９）。そして、全ての修正対象候補領域について上記の処理を行ったならば、画像修正部１６０は、ループＨの処理を終了する（ステップＦ２１）。

次いで、画像修正部１６０は、出力バッファ８８０に記憶された各画素の画素値でなるデータを修正画像データ８７９として記憶部８００に記憶させる（ステップＦ２３）。そして、画像修正部１６０は、画像修正処理を終了する。

画像処理に戻り、画像修正処理を行ったならば、表示制御部１７０は、出力バッファ８８０に格納されている画素値でなる修正画像を表示部３００に表示制御する（ステップＢ３９）。

次いで、処理部１００は、操作部２００を介してユーザーにより修正モードの終了操作がなされたか否かを判定する（ステップＢ４１）。修正モードの終了操作がなされなかったと判定したならば（ステップＢ４１；Ｎｏ）、処理部１００は、ステップＢ２５に戻る。また、修正モードの終了操作がなされたと判定したならば（ステップＢ４１；Ｙｅｓ）、処理部１００は、画像処理を終了する。

一方、ステップＢ１でユーザーにより「画像閲覧モード」が選択されたと判定したならば（ステップＢ１；画像閲覧モード）、表示制御部１７０は、記憶部８００に保存されている画像の画像データ８７０の一覧を表示部３００に表示制御する。そして、処理部１００は、操作部２００からのユーザー操作に従って、一覧表示させた画像データ８７０の中から一の画像データ８７０を選択する（ステップＢ４５）。

そして、処理部１００は、画像閲覧モードを終了した後、ステップＢ５へと処理を移す。以降の処理は同じであり、ユーザーにより選択された画像データ８７０について基準画像を新たに設定して、後段の画像処理を行う。

［２−４．前景候補領域の表示様態］
前景候補領域検出部１４０及び前景候補領域信頼度判定部１５０で求められた前景候補領域に関する情報は、表示部３００を通じてユーザーに返される。このとき、前景候補領域に関する情報を適切に視覚化することにより、ユーザーは修正対象とすべき候補領域を容易に把握することが可能になる。

入れ替え候補領域は、当該領域に含まれる画素値を別の撮影画像の画素値と入れ替える候補とする領域である。入れ替え可能領域と言い換えることもできる。また、当該領域に含まれる画素値を別の撮影画像の画素値で置換するという意味で、置換候補領域や置換可能領域と言い換えることもできる。また、本実施形態では信頼度を「高」「中」「低」の３段階で評価した場合の例を示す。

例えば、前景候補領域データ８７７に記憶されている前景候補領域を入れ替え候補領域とし、解析用画像を生成した際の撮影画像の縮小率に基づいて元のサイズに拡大した入れ替え候補領域を、基準画像上の対応する位置に表示させる。基準画像上にオーバーレイ表示することにより、ユーザーは、修正される基準画像の領域を直感的に捉えることができる。

ここで、上記の前景候補領域データ８７７に記憶された前景候補領域の輪郭線を、入れ替え候補領域と共に表示してもよい。輪郭線を表示することで、オーバーレイ表示する入れ替え候補領域の色が基準画像の当該領域の色に類似していたとしても視認性を向上させることができる。また、後述するように、前景候補領域に関する付随情報の表示に利用することもできる。

入れ替え候補領域を基準画像上にオーバーレイ表示する際に、信頼度に応じて領域に異なる色を付してもよい。例えば、信頼度が「高」の入れ替え候補領域は入れ替えＯＫなので「緑色」、信頼度が「中」の入れ替え候補領域は入れ替え注意なので「黄色」で表示するなどすることができる。また信頼度が「低」の入れ替え候補領域は入れ替え危険なので「赤色」で表示するなどすればよい。更に好ましくは、このオーバーレイ表示は、ユーザーが入れ替え可能な内容を容易に認識できるように、所定の不透明度（例えば５０％）に設定すればよい。このような表示を行うことで、直感的に分かりやすい信頼度の表示を実現することができる。

また、信頼度に応じて色分けした入れ替え候補領域を基準画像に重畳表示する他に、例えば、信頼度に応じて色分けした入れ替え候補領域の輪郭を基準画像に重畳表示するなどしてもよい。例えば、信頼度が「高」の入れ替え候補領域は緑色の輪郭線、信頼度が「中」の入れ替え候補領域は黄色の輪郭線、信頼度が「低」の入れ替え候補領域は赤色の輪郭線で入れ替え候補領域の輪郭をそれぞれ表示するなどしてもよい。

また、上記の前景候補領域データ８７７に記憶された前景候補領域又は入れ替え候補領域の重心位置を中心とする円等の図形や文字等を基準画像に重畳表示してもよい。このようにすることにより、ユーザーは修正される基準画像の対象物の位置を、直感的に捉えることができる。重心位置を中心とする円等の図形や文字等の表示は、特に、複数の人物や物体が重なり合っている場合など、輪郭線だけでは視覚的に分かりにくい場合に有効である。重心位置は、例えば、前景候補領域又は入れ替え候補領域を矩形に近似した場合の中心となる位置としてもよいし、前景候補領域又は入れ替え候補領域の外周の複数の点から当該領域内部方向への距離のばらつきが最小となる位置としてもよい。

なお、上記の重心位置を中心とする円等の図形や文字等は、輪郭線と同時に同一画像上に表示してもよい。また、当初は上記の重心位置を中心とする図形、記号、文字等のみを表示し、その後、ユーザーが上記の重心位置を中心とする図形、記号、文字等を選択することによって、当該重心位置に対応した対象物の輪郭線が表示されるようにしてもよい。また、上記の輪郭線の場合と同様に、信頼度によって色分け表示としてもよい。

本実施形態では、検出されたすべての前景候補領域を入れ替え候補領域とすることとして説明するが、これに限らず、例えば、信頼度が「低」と判定された前景候補領域は入れ替え候補領域に含めず、ユーザーが修正不可能にすることもできる。また、信頼度が「低」の領域も表示し、ユーザーが修正候補に選択することも可能であるが、選択時に適切な修正ができない旨をダイアログで表示するなどして、修正を行うのはリスクが高く、適切な画像修正がなされない可能性があることを強調するようにすることもできる。

［２−５．実験結果］
図１８は、入れ替え候補領域表示画像及び修正画像の一例を示す図である。
図１８（１）には、図１０（１）に示した撮影画像と同じ撮影画像を示している。この撮影画像を含む複数の撮影画像を用いて前景候補領域検出処理を行い、前景候補領域信頼度判定処理を行うことで、図１８（２）に示すような通行人である男性が映し出されている前景候補領域が入れ替え候補領域Ｒとして検出される。この入れ替え候補領域Ｒの信頼度が「高」であるとする。

この場合、図１８（３）に示すように、信頼度に応じて色分けされた入れ替え候補領域Ｒが基準画像上にオーバーレイ表示される（図１３のステップＢ２３）。具体的には、入れ替え候補領域Ｒの信頼度は「高」であるため、入れ替え候補領域Ｒが緑色で表示される。更に、入れ替え候補領域Ｒを所定の不透明度（例えば５０％）に設定して基準画像上にオーバーレイ表示することにより、ユーザーは、実際の修正処理実行前に、入れ替えを行った結果得られる修正の効果を容易に把握することができる。次に、ユーザーが、表示画像中の入れ替え候補領域Ｒの部分をタップすることで入れ替え候補領域Ｒを修正対象として選択し（図１３のステップＢ２９）、更に修正実行操作の実行（図１３のステップＢ３５：Ｙｅｓ）を選択することで、入れ替え候補領域Ｒに対する画像修正処理が実行される（図１３のステップＢ３７）。

また、図１８（２）には、入れ替え候補領域Ｒの輪郭線と重心位置の表示例も併せて示している。輪郭線と重心位置は、信頼度に対応して色分けしてもよい。また、ユーザーが必要に応じて、それぞれ画面上への表示と非表示を選択可能としてもよい。また、図１８（３）の所定の不透明度に設定された入れ替え候補領域Ｒについても、同様に輪郭線と重心位置の表示を行ってもよい。

この画像修正処理の結果、図１８（４）に示すような修正画像が得られる。この修正画像を見ると、図１８（１）の撮影画像で通行人である男性が存在する領域の画素値が、非基準最小差分画像の画素値を用いて修正され、動被写体である通行人である男性が消去された修正画像が得られていることがわかる。

図１９は、入れ替え候補領域表示画像及び修正画像の別例を示す図である。
図１９（１）には、一定の時間間隔を置いて撮影した５枚の撮影画像が示されている。これらの撮影画像は、建物を撮影対象物とし、建物の入り口が中央部分にくるように撮影を行った画像である。これらの撮影画像には、撮影対象物である建物の他に、多くの通行人が前景として映し出されていることがわかる。

図１９（１）の撮影画像に基づいて非基準最小差分値を算出することで得られた非基準最小差分画像を図１９（２）に示す。この非基準最小差分画像を見ると、撮影画像の中央よりもやや左側の領域において、非基準最小差分値が大きく算出されていることがわかる。これは、当該領域は人通りが多く、多くの通行人が撮影画像の映し出されたことから、非基準最小差分値として大きな値が算出されたことによるものである。

図１９（１）の撮影画像に対する前景候補領域の検出結果が図１９（３）である。これを見ると、前景候補領域としてＲ１〜Ｒ６の６つの領域が検出されていることがわかる（図１５のステップＤ１１）。これらの前景候補領域Ｒ１〜Ｒ６に対して信頼度判定処理を行って信頼度を判定した結果、Ｒ１の信頼度は「高」（入れ替えＯＫ）と判定され（図１６のステップＥ１１）、Ｒ２及びＲ３の信頼度は「中」（入れ替え注意）と判定され（図１６のステップＥ１５）、Ｒ６の信頼度は「低」（入れ替え不可）と判定されている（図１６のステップＥ１７）。また、Ｒ４及びＲ５については前景候補領域の面積が小さかったため、信頼度判定処理対象から除外される（図１６のステップＥ１９）。その結果、前景候補領域Ｒ１〜Ｒ３が入れ替え候補領域と判定される。

図１９（４）は、入れ替え候補領域の表示画像の一例を示す図である。これを見ると、入れ替え候補領域Ｒ１〜Ｒ３の信頼度に基づき、Ｒ１は緑色、Ｒ２及びＲ３は黄色に色分けされて表示されている（図１３のステップＢ２３）。なお、前景候補領域Ｒ４〜Ｒ６は入れ替え候補領域と判定されなかったため、表示から除外されている。ユーザーが入れ替え候補領域Ｒ１〜Ｒ３の何れかをタップすることで（図１３のステップＢ２９；Ｙｅｓ）、タップされた入れ替え候補領域に対応する画像部分が修正され（図１３のステップＢ３７）、修正画像が表示される（図１３のステップＢ３９）。

なお、上記の実施形態では、ユーザーが入れ替え候補領域をタップすることで画像修正処理が実行されるとしたが、画像修正処理の実行前に、所定の不透明度（例えば５０％）に設定した修正予定の画像を、撮影画像に重畳表示したプレビュー画面を表示することも有効である。

図１９に戻って、具体的には、入れ替え候補領域Ｒが図１９（１）の撮影画像に重畳表示された後、ユーザーが入れ替え候補領域Ｒの部分にタッチしている間（長押し中）は、一時的に入れ替え候補領域Ｒの領域に、修正予定の画像が表示されるようにする。その際、修正予定の画像を所定の不透明度に設定することで、図１９（１）の撮影画像が透けて見えるようにしてもよい。

その後、例えば、ユーザーが画面から指を離してから一定の時間が経過すると、修正予定の画像の表示は消えるようにする。そして、ユーザーがいったん表示画面から指を離してから修正予定の画像が表示されている間に入れ替え候補領域Ｒの領域をダブルタップすることで、入れ替え候補領域Ｒに対する画像修正処理が実行されるようにする。

また、所定の不透明度に設定した入れ替え候補領域Ｒには、信頼度に対応した色のハッチング、輪郭線又は重心位置を表示させてもよい。このようにすることにより、ユーザーは、入れ替えを行った結果得られる修正画像を、実際の修正処理実行前に容易に把握することができる。

また、前景候補の検出〜入れ替え候補領域の決定において、予めユーザーが指定した領域において検出された前景候補領域は削除しないようにする保護処理や、必ず削除する強制削除処理を付加してもよい。

具体的には、図１９に戻って、例えば建物の左奥のＲ４〜Ｒ６が存在している付近を、予めユーザーが保護領域として指定しておく。すると、その領域内で検出された前景候補領域は、その面積や信頼度に関わらず、入れ替え不可として保護され、削除の対象としないようにしてもよい。一方、例えば建物の左奥のＲ４〜Ｒ６が存在している付近を、予めユーザーが強制削除領域として指定しておく。すると、その領域にある検出された前景候補領域は、信頼度や面積に関わらず、強制的に削除するようにしてもよい。

なお、保護領域及び強制削除領域の指定の方法は、指やペンタブレット等で、画面上に指定したい範囲を矩形で囲む、パソコンや携帯機器に予め用意された画像ソフトを用いる等、公知の方法で行えばよい。このような機能を付加することにより、ユーザーの希望する修正画像を更に容易に得ることが可能となる。

［２−６．作用効果］
画像処理装置３において、基準画像設定部１２０は、複数の撮影画像の中から基準画像を設定する。そして、非基準最小差分入力画像判定部１１７は、基準画像を除いた非基準画像のうち、最小の差分値である非基準最小差分値及び当該非基準最小差分値に対応する非基準画像を非基準最小差分画像として画素別に判定する。そして、非基準最小差分マップ生成部１１９は、非基準最小差分入力画像判定部１１７の判定結果に基づいて、非基準最小差分値と非基準最小差分画像とを対応付けて画素毎に記憶した最小差分マップデータ８７３を生成する。つまり、画像処理装置３は、画像処理用データ生成装置としても機能する。

前景候補領域検出部１４０は、基準画像について背景画像との背景差分を算出することで得られた基準差分値と、非基準最小差分マップデータ８７３に記憶されている非基準最小差分値とを画素毎に比較し、基準差分値と非基準最小差分値とが一定以上乖離している画素でなる領域を前景候補領域として検出する。つまり、画像処理装置３は、前景候補領域を検出する前景候補領域検出装置としても機能する。

また、前景候補領域信頼度判定部１５０は、前景候補領域検出部１４０によって検出された前景候補領域の前景としての信頼度を判定する。そして、表示制御部１７０は、信頼度の判定結果に基づいて、各前景候補領域の信頼度をユーザーが区別可能な表示態様で表示部３００に表示制御する。これにより、ユーザーは、各前景候補領域の前景としての信頼度を一見して把握可能となり、修正すべき前景候補領域を容易に判断して、装置に対して前景候補領域の修正を指示することができる。

また、画像修正部１６０は、タッチパネル２５０に対するタップ操作を検知し、そのタップ位置が前景候補領域に含まれる場合は、基準画像のうちの当該前景候補領域に対応する画像領域を修正する。そして、表示制御部１７０は、修正画像を表示部３００に表示制御する。つまり、画像処理装置３は画像修正装置としても機能する。これにより、ユーザーは、基準画像を確認した上で、不要な物体が存在すると判断した場合は、その部分をタップすることで、不要な物体が取り除かれた画像を取得することができる。

また、前景候補領域信頼度判定部１５０は、面積が所定の閾値よりも小さい前景候補領域を、処理対象から除外する。面積の小さい前景候補領域を入れ替え候補領域として全て表示することにしてしまうと、ノイズ等に起因して細かい前景候補領域が多数表示されることになり、ユーザーにとっては煩わしいという問題がある。また、このような面積の小さい前景候補領域は、仮に修正を行ったとしても、その効果がわかりづらいという問題がある。面積が小さい前景候補領域を処理対象から除外することで、このような問題を回避することができる。

また、前景候補領域信頼度判定部１５０は、非基準最小差分値が大きい前景候補領域の信頼度を「低」と判定し、入れ替え不可とする。常に物体が動いている領域では、非基準最小差分値が大きくなる傾向があり、このような領域に対して画像修正を行ってしまうと、ゴーストが発生してしまうおそれがある。しかし、非基準最小差分値が大きい前景候補領域の信頼度を「低」と判定し、入れ替え不可とすることで、当該前景候補領域が入れ替え候補から除外されるため、ゴーストが発生してしまうような画像修正が行われることを回避することができる。

［３．第３実施形態］
第３実施形態は、上記の実施形態で説明した画像修正処理の一例である入れ替え処理と、他の画像修正処理の一例である塗りつぶし処理（貼り付け処理とも言う。）とを組み合わせて、撮影対象物以外の動被写体の消去を行う実施形態である。

第２実施形態で説明したように、前景候補領域の信頼度が低い場合でも、ユーザーの指定等によって入れ替え処理を行うことは可能であるが、その場合は、結果として好適な修正画像が得られない可能性がある。そのため、このような信頼度が低い前景候補領域に対しては、入れ替え処理とは異なる画像修正処理として、以下に示すような塗りつぶし処理が有効となる。

具体的には、基準画像の前景候補領域の中から、塗りつぶしの対象とする領域（以下、「塗りつぶし対象領域」と称す。）を設定する。そして、塗りつぶし対象領域内の小領域に類似する小領域を、（１）基準画像自身、（２）複数の入力画像のうちの何れかの入力画像、（３）他のデータベースに保存されている画像、の何れかの画像から探索し、基準画像のうちの塗りつぶし対象領域内の小領域の画素の画素値を、探索の結果得られた類似する小領域の画素の画素値で置換する。つまり、修正用画像の中から当該前景候補領域の画像データと類似する画像データを探索して修正対象画像の当該前景候補領域に貼り付ける処理を画像修正処理として実行する、

この際、塗りつぶし対象領域の外縁部から該領域内部方向に順に上記の塗りつぶし処理を行うことによって、塗りつぶし領域とその外側の領域との境界部分の顕在化が防止される。上記類似する小領域の探索の際の、類似の判定基準としては、例えば、画素値（輝度や明度）の差の二乗を算出すればよい。

なお、信頼度が「高」又は「中」の前景候補領域については入れ替え処理を行って画像修正を行い、信頼度が「低」の前景候補領域については塗りつぶし処理を行って画像修正を行うなど、前景候補領域の信頼度に応じて画像修正処理を切り替えて、前景候補領域に対応する画像領域の修正を行うようにすることもできる。

また、ユーザーが入れ替え処理と塗りつぶし処理とのどちらの画像修正処理を実行させるかを選択可能とし、ユーザーによって選択された画像修正処理を実行して、画像の修正を行うこととしてもよい。

［４．変形例］
本発明を適用可能な実施例は、上記の実施例に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能であることは勿論である。以下、変形例について説明するが、上記の実施例と同一の構成については同一の符号を付して、再度の説明を省略する。

［４−１．電子機器］
画像処理装置３は、スマートフォンやカメラ、デジタルカメラ、タブレット端末、ＰＤＡ、パソコン等の電子機器に具備させることができる。撮像部を備えた電子機器であれば、種々の電子機器に本発明の画像処理装置３を具備させて利用することが可能である。

また、ユーザーが、画像処理装置３において表示部３００に表示された入れ替え候補領域に対するタップ操作を行い、画像処理装置３が修正した画像を、他の情報処理装置の表示部に表示させるようにすることも可能である。具体的には、例えば画像処理装置３をスマートフォンとした場合、ユーザーは、手元のスマートフォンとパソコンとを通信接続する。そして、ユーザーは、スマートフォンのディスプレイに表示された入れ替え候補領域をタップするタップ操作を行う。スマートフォンの処理部は、ユーザーのタップ操作を検知して画像修正処理を行い、修正画像をパソコンに送信する。パソコンは、スマートフォンから受信した修正画像をディスプレイに表示させ、ユーザーはパソコンの表示画面で修正画像を確認する。

また、スマートフォン等の電子機器から画像データ一式をパソコンに送信するようにし、パソコンがスマートフォン等の電子機器から撮影画像を入力するようにしてもよい。そして、パソコンが、入力画像を用いて上記の実施形態と同様の画像修正を行って修正画像を生成し、パソコンのディスプレイに表示させるようにしてもよい。この場合は、パソコンが、本発明における画像処理装置３となる。

［４−２．修正対象領域］
上記の実施形態では、画像処理装置３が、複数の入力画像と画像処理用データとを用いて、基準画像に対する前景の候補となる領域である前景候補領域を修正対象領域として検出することとして説明した。しかし、修正対象領域の検出方法はこれに限られない。

例えば、複数の入力画像それぞれに対して特徴点検出処理を行って特徴点を検出し、検出した特徴点の対応関係に基づいて、被写体に動きが生じている領域である動被写体領域を修正対象領域として検出するようにしてもよい。特徴点の対応関係は、ブロックマッチング法や勾配法等の公知の手法を用いて求めることができる。

具体的には、複数の入力画像間で、特徴点の位置の変化量（変位量）が所定の閾値を超えている画像領域を動被写体領域として検出する。この場合、検出した動被写体領域それぞれについて、動被写体の動きの度合に基づく信頼度として「動き度」を判定し、判定した動き度に基づいて、各動被写体領域の修正の適否を判定する。例えば、特徴点の変位量に応じて動き度を「高」、「中」、「低」に分類し、動き度が「高」又は「中」である動被写体領域を、修正を行うべき動被写体領域と判定する。そして、この動被写体領域を修正対象領域とし、前述した入れ替え処理を行って、画像修正を行うようにしてもよい。

なお、動き度が「低」である動被写体領域も修正対象領域に含めることとし、この動被写体領域については、前述した塗りつぶし処理を行って、画像修正を行うようにしてもよい。

また、上記動被写体領域だけでなく、撮影時の光の変化等によって、同じ被写体が写し出されている領域であるにも関わらず、複数の入力画像間でその領域の画素値に変化が生ずる場合がある。そこで、複数の入力画像間で画素値に一定以上の変化が生じている領域である光影響領域を修正対象領域として検出するようにしてもよい。具体的には、複数の入力画像間で画素値（当該領域の画素値の平均値等）の変化量が所定の閾値を超えている画像領域を光影響領域として検出する。そして、光影響領域の光の影響の度合に基づく信頼度として「光影響度」を判定し、判定した光影響度に基づいて、各光影響領域の修正の適否を判定する。例えば、画素値の変化量に応じて光影響度を「高」、「中」、「低」に分類し、光影響度が「高」又は「中」である光影響領域を、修正を行うべき光影響領域と判定する。そして、この光影響領域を修正対象領域とし、前述した入れ替え処理を行って、画像修正を行うようにしてもよい。

なお、光影響度が「低」である光影響領域も修正対象領域に含めることとし、この光影響領域については、前述した塗りつぶし処理を行って、画像修正を行うようにしてもよい。

上記の動被写体領域や光影響領域は、複数の入力画像間で被写体の見かけに変化が生じている領域である見かけ変化領域の一例である。

［４−３．処理画素単位］
上記の実施形態では、処理画素単位を各画素（１画素）とし、画素単位で画像処理用データの生成に係る各種の処理を行うこととして説明したが、処理画素単位は必ずしも１画素単位とする必要はなく、複数の画素で構成される領域を処理画素単位とすることも可能である。例えば、画像を構成する画素を格子状の領域に区切り、この区切られた各領域を処理画素単位として上記の実施形態と同様の処理を行って、画像処理用データを生成するようにしてもよい。

この場合における処理画素単位は、例えば１０×１０や２０×２０といった正方形の領域としてもよいし、１０×２０や２０×１０といった長方形の領域としてもよい。
また、処理画素単位の大きさは、入力画像の大きさに基づいて適宜設定変更するとよい。例えば、入力画像のサイズの１％〜１０％の範囲内で各処理画素単位の大きさを決定して、処理画素単位別に処理を行うとよい。

［４−４.画像処理用データ］
上記の実施形態では、入力画像と参照画像との差分値が最小となる入力画像を、特定条件を満たす入力画像と判定し、最小差分入力画像の識別情報と最小差分値とを対応付けた画像処理用データを生成することとして説明したが、最小差分値を記憶せず、最小差分入力画像の識別情報のみを処理画素単位毎に記憶した画像処理用データを生成することとしてもよい。また、逆に、最小差分入力画像の識別情報を記憶せず、最小差分値のみを処理画素単位毎に記憶した画像処理用データを生成するようにしてもよい。

特定条件として他の条件を適用する場合も同様である。例えば、上記のように差分値が最大となる入力画像を、特定条件を満たす入力画像として判定する場合、最大差分入力画像の識別情報のみを処理画素単位毎に記憶した画像処理用データを生成してもよいし、最大差分値のみを処理画素単位毎に記憶した画像処理用データを生成してもよい。

［４−５．修正対象前景候補領域の自動決定］
上記の実施形態の画像処理装置３では、ユーザー操作に従って修正対象とする前景候補領域（又は入れ替え候補領域）を決定することとして説明したが、これに代えて、画像処理装置３が自動的に修正対象とする領域を決定して、画像修正を行うようにしてもよい。

また、ユーザーがタッチパネル２５０に対する指操作を行うなどして、優先修正領域を指定するようにしてもよい。この場合、例えば、顔検出処理で検出された複数の顔検出領域を表示部３００に表示させ、表示された顔検出領域の中からユーザーが優先修正領域とする顔検出領域を指定可能としてもよい。

また、複数種類の優先修正領域のパターン（以下、「優先修正領域パターン」と称す。）のデータを記憶部８００に記憶させておき、この優先修正領域パターンを表示部３００に表示させて、その中からユーザーが優先修正領域とするパターンを選択するようにしてもよい。

図２０は、優先修正領域パターンの一例を示す図である。各図において、ハッチングを施した領域が優先修正領域の候補とする領域である。
図２０（１）は、画像の中央部に縦長の帯状に優先修正領域を設けたパターンである。図２０（２）は、画像の周部に枠状に優先修正領域を設けたパターンである。図２０（３）は、画像の下部から上部にかけて三角形状の優先修正領域を設けたパターンである。
なお、これらの優先修正領域パターンは一例に過ぎず、他にも種々の優先修正領域パターンを定めておくことが可能である。

上記のようにして優先修正領域を決定（確定）したならば、表示制御部１７０が、優先修正領域を、前景候補領域と区別可能な表示態様で表示部３００に表示させる。具体的には、例えば、優先修正領域を、前景候補領域（又は入れ替え候補領域）とは異なる色で表示させる。この場合は、領域に色を付したものを表示させてもよいし、領域の輪郭に色を付したものを表示させるようにしてもよい。このようにすることで、ユーザーは、装置が自動的に優先して修正すべき領域として決定した領域と、それ以外の前景候補領域とを、一見して把握可能となる。

また、画像修正部１６０は、上記のように決定された優先修正領域を対象として、上記の実施形態と同様の手法で画像修正を行う。そして、表示制御部１７０は、画像修正部１６０によって修正された画像を表示部３００に表示制御する。

また、各前景候補領域の信頼度に基づいて、修正対象とする前景候補領域（修正対象前景候補領域）を決定してもよい。具体的には、例えば、信頼度が特に高い前景候補領域を修正対象前景候補領域に決定するとよい。例えば、上記の実施形態において信頼度が「高」と判定された前景候補領域を修正対象前景候補領域に決定してもよい。

また、信頼度が特に高い前景候補領域については、信頼度が判定された後に、自動的に画像修正部１６０が上記の実施形態と同様の手法で画像修正を行うようにしてもよい。続いて、当該画像をデフォルトの画像として、更に上記の実施形態の自動画像修正及びユーザー操作による前景候補領域の決定と修正を行ってもよい。このように、予め信頼度が特に高い前景候補領域の自動修正を行うことにより、その後の処理をより容易かつ高速に行うことが可能となる。

［４−６．基準画像の自動設定］
上記の実施形態では、複数の撮影画像の中から基準画像を設定する方法として、複数の撮影画像の中からユーザーに１枚の撮影画像を選択させるか、最初又は最後に入力された撮影画像を基準画像とするとして説明したが、所定の基準で選ばれた画像を自動的に基準画像に設定することも可能である。例えば、複数の人物が撮影対象として存在する集合写真においては、撮影対象である人物の正面度や笑顔度を公知の方法で検出し、所定の基準以上の正面度や笑顔度を示した入力画像を選択し、基準画像とするようにしてもよい。更に、手ぶれによる画像のぶれが無いことや、逆光の状態になっていないことを公知の方法で検出し、基準画像となる条件として加えてもよい。

［４−７．入れ替え候補領域判定の別態様］
上記の実施形態では、画像処理装置３が前景候補領域の面積及び非基準最小差分値と閾値の比較結果に基づいて自動的に入れ替え候補領域の信頼度判定を行い、信頼度「低」の領域は入れ替え不可とされる。また、信頼度「低」と判定された領域を入れ替え可能とするためには、ユーザーによる領域指定作業等が必要となるとして説明したが、信頼度「低」の領域の面積が所定画素数以上大きい場合は、自動的に入れ替え可能となるようにしてもよい。

具体的には、前述したように、修正対象画像を構成する画素を所定形状（例えば矩形）の処理画素単位に区切り、各処理画素単位それぞれについて、前景としての信頼度を判定するようにしてもよい。この場合、各処理画素単位それぞれについて、前述したように、特徴点の位置の変位量に基づいて、被写体の動きの度合を判定する。そして、動きの度合が大きい処理画素単位ほど、前景としての信頼度が高く（信頼度「高」）、動きの度合が小さい処理画素単位ほど、前景としての信頼度が低い（信頼度「低」）と判定する。そして、例えば、信頼度「高」である処理画素単位を連結してなる一群の領域を入れ替え候補領域とする。また、例えば、一群の領域が所定の画素数以上又は所定の面積以上となる条件を満たす場合に、当該一群の領域を入れ替え候補領域とし、条件を満たさない場合には、当該一群の領域を入れ替え候補領域から除外してもよい。

また、一群の領域は必ずしも連結していなくてもよく、その場合には、画像の単位面積当たりの画素数又は面積を検出して、所定の画素密度又は面積密度以上の領域を入れ替え候補領域としてもよい。
このようにすることにより、信頼度「低」の領域が比較的多く発生した場合でも、画像処理装置３によって自動的且つ効果的に画像の修正が行うことが可能となる。

［４−８．入力画像の更新］
上記の画像処理装置３において、前景候補領域の信頼度に係る表示を撮影画像上にリアルタイムに表示させるようにしてもよい。

具体的には、処理部１００は、入力される最新の所定数のフレームの撮影画像を記憶部８００に蓄積する。つまり、記憶部８００は画像蓄積手段として機能する。この場合は、例えば、記憶部８００に所定数の画像を蓄積可能なリングバッファを構成し、常に最新の所定数のフレームの撮影画像がリングバッファに蓄積されるようにするとよい。

また、基準画像設定部１２０は、記憶部８００に蓄積された最新の撮影画像を基準画像として設定する。そして、処理部１００は、記憶部８００に蓄積された最新の所定数のフレームの撮影画像のうち、基準画像と非基準画像とを用いて、上記の実施形態と同様の手法で非基準最小差分マップデータ生成処理、前景候補領域決定処理及び前景候補領域信頼度判定処理を行う。

表示制御部１７０は、基準画像及び当該基準画像上に入れ替え候補領域を重畳表示又は輪郭表示させた画像を表示部３００に表示制御する。また、入れ替え候補領域を重畳表示又は輪郭表示するに際し、表示制御部１７０は、当該入れ替え候補領域に関連付けられた入れ替え信頼度をユーザーが区別可能な表示態様で表示部３００に表示させる。例えば、入れ替え信頼度に応じて色分けした入れ替え候補領域を基準画像に重畳表示させたり、入れ替え信頼度に応じて色分けした入れ替え候補領域の輪郭を基準画像に表示させる。

上記の処理を、新たに撮影画像が入力される度に随時行う。つまり、処理部１００は、新規の撮影画像の入力により基準画像を随時更新し、入れ替え候補領域及び入れ替え信頼度を再算出する。そして、表示制御部１７０は、当該再算出の結果に基づいて、表示部３００に表示させる入れ替え候補領域を随時更新するとともに、入れ替え信頼度に関する表示を随時更新する。

このように、新規画像が入力される度に一番古い画像を捨てて新たに計算を行っていくことで、ユーザーはリアルタイムに入れ替え可能領域を把握可能となる。また、ユーザーは、入れ替えが困難な領域についても、入れ替えが可能になるまで待って、適切なタイミングで画像の修正指示を行うことができる。

なお、ユーザーが、入れ替えが困難な領域（以下、「入れ替え困難領域」と称す。）を事前に指定しておき、新たな撮影画像の入力により、当該領域と少なくとも一部が重複する前景候補領域の全ての入れ替えが可能となったタイミングで、処理部１００が当該領域を自動的に修正することとしてもよい。

なお、この場合にユーザーが入れ替え困難領域を指定する方法は、「３−４．修正対象前景候補領域の自動決定」の項目で説明した優先修正領域を設定する方法と同様の方法を適用することができる。つまり、ユーザーがタッチパネル２５０に対するタップ操作等により、画像中で入れ替え困難と考えられる領域を指定するようにしてもよいし、複数種類の入れ替え困難領域のパターン（入れ替え困難領域パターン）のデータを予め記憶部３００に記憶させておき、これらのパターンの中から入れ替え困難領域として指定するパターンを選択するようにしてもよい。

また、画像処理装置３が、上記の修正対象領域の自動修正処理と、ユーザーの手動操作に基づく手動修正処理との両方を実行可能としてもよい。例えば、自動的に決定した修正対象領域について自動修正が施された状態で画像修正モードを開始するが、その他の自動修正が実施されていない領域についてユーザーが手動で修正要否を選択できるようにしてもよい。この場合は、自動修正が施された画像を表示部３００に表示させ、その他の領域の修正要否をユーザーに選択させるようにすればよい。

また、背景画像は破棄せずに記憶部８００に保持したままとしてもよい。また、一番古い撮影画像は消去しないこととして、新規に入力される撮影画像を蓄積していく形としてもよい。

［４−９．修正画像の復元処理］
画像修正を施した修正画像を表示させた後、ユーザー操作に従って、修正部分を元の状態に戻す復元処理を行い、その処理結果の画像を表示部３００に表示させることとしてもよい。修正画像を閲覧したユーザーが、その修正内容に満足できず、修正が施された入れ替え候補領域のうちの一部の領域の画像領域を元に戻したいような場合がある。そこで、修正フラグがＯＮに設定されている入れ替え候補領域のうち、ユーザーにより元に戻す指示操作がなされた入れ替え候補領域については、元の基準画像の画像データに入れ替える処理を行い、その処理結果の画像を表示部３００に表示するようにすると好適である。

［４−１０．記録媒体］
上記の実施形態では、画像処理用データの生成や画像処理に係る各種のプログラムやデータが、画像処理用データ生成装置１の記憶部２０や、画像処理装置３の記憶部８００に記憶されており、処理部がこれらのプログラムを読み出して実行することで、上記の各実施形態における画像処理が実現された。この場合、各装置の記憶部は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ハードディスク、ＲＡＭといった内部記憶装置の他に、メモリカード（ＳＤカード）やコンパクトフラッシュ（登録商標）カード、メモリスティック、ＵＳＢメモリ、ＣＤ−ＲＷ（光学ディスク）、ＭＯ（光磁気ディスク）といった記録媒体（記録メディア、外部記憶装置）を有していてもよく、これらの記録媒体に上記の各種のプログラムやデータを記憶させることとしてもよい。

図２１は、この場合における記録媒体の一例を示す図である。
画像処理装置３は、メモリカード７を挿入するためのカードスロット７１０が設けられており、カードスロット７１０に挿入されたメモリカード７に記憶された情報を読み取る又はメモリカード７に情報を書き込むためのカードリーダライタ（Ｒ／Ｗ）７２０が設けられている。カードリーダライタ７２０は、処理部１００の制御に従って、記憶部８００に記録されたプログラムやデータをメモリカード７に記憶された情報を読み取る又は書き込む動作を行う。更に、メモリカード７に記録されたプログラムやデータは、画像処理装置３以外の外部装置（例えばパソコン）で読み取り、処理することで、当該外部装置において上記の実施形態における画像処理を実現することが可能に構成されている。

１ 画像処理用データ生成装置
１０ 画像処理用データ生成部
２０ 記憶部
３ 画像処理装置
１００ 処理部
２００ 操作部
２５０ タッチパネル
３００ 表示部
４００ 通信部
５００ 撮像部
６００ 時計部
７１０ カードスロット
７２０ カードリーダライタ
８００ 記憶部
７ メモリカード

Claims (30)

1. 複数の入力画像に基づき定められる修正対象画像の修正対象領域を、前記複数の入力画像のうちの何れかの入力画像を修正用画像として用いて修正する画像修正手段を備えた、
   画像処理装置。
2. 前記画像修正手段は、前記修正対象領域に対応する領域の画像データが、前記複数の入力画像に関連付けられた参照画像と所定の関係を満たす入力画像を前記修正用画像とし、当該修正用画像の前記修正対象領域に対応する領域の画像データを用いて、前記修正対象画像の前記修正対象領域を修正する、
   請求項１に記載の画像処理装置。
3. 前記修正対象領域の前景としての信頼度を判定する信頼度判定手段を更に備え、
   前記画像修正手段は、前記信頼度判定手段によって判定された信頼度に基づいて、前記修正対象領域の修正の適否を判定する、
   請求項１又は２に記載の画像処理装置。
4. 前記複数の入力画像間で被写体の見かけに変化が生じている領域である見かけ変化領域を検出する見かけ変化領域検出手段を更に備え、
   前記信頼度判定手段は、前記見かけ変化領域検出手段によって検出された見かけ変化領域を前記修正対象領域として前記信頼度を判定し、
   前記画像修正手段は、前記信頼度判定手段によって判定された信頼度に基づいて、前記見かけ変化領域の修正の適否を判定する、
   請求項３に記載の画像処理装置。
5. 前記信頼度判定手段は、前記修正対象画像における所定の処理画素単位毎に前記信頼度を判定し、
   前記画像修正手段は、前記信頼度が所定条件を満たす前記処理画素単位を連結してなる一群の領域を前記修正対象領域として修正を行う、
   請求項３又は４に記載の画像処理装置。
6. 前記複数の入力画像それぞれについて、当該入力画像と前記複数の入力画像と関連付けられた参照画像との相対関係を表す相対値を、所定の処理画素単位毎に算出する相対値算出手段と、
   前記複数の入力画像のうち、前記相対値算出手段によって算出された相対値が特定条件を満たす入力画像を、前記処理画素単位毎に判定する入力画像判定手段と、
   前記入力画像判定手段によって判定された入力画像を識別するための識別情報を前記処理画素単位毎に記憶した画像処理用データを生成する画像処理用データ生成手段と、
   を更に備え、
   前記画像修正手段は、前記修正用画像と前記画像処理用データ生成手段によって生成された画像処理用データとを用いて修正を行う、
   請求項３〜５の何れか一項に記載の画像処理装置。
7. 前記画像処理用データ生成手段は、前記特定条件を満たす相対値を前記識別情報と対応付けて前記処理画素単位毎に前記画像処理用データに記憶させる、
   請求項６に記載の画像処理装置。
8. 前記複数の入力画像をそれぞれ縮小する縮小手段を更に備え、
   前記相対値算出手段は、前記縮小手段によって縮小された前記複数の入力画像それぞれについて、当該入力画像と前記入力画像と同じ大きさの参照画像との相対関係を表す相対値を前記処理画素単位毎に算出し、
   前記画像処理用データ生成手段は、前記入力画像と同じ大きさの前記画像処理用データを生成する、
   請求項６又は７に記載の画像処理装置。
9. 前記複数の入力画像と、前記画像処理用データ生成手段によって生成された画像処理用データとを用いて、前記参照画像に対する前景の候補となる領域である前景候補領域を検出する前景候補領域検出手段を更に備え、
   前記信頼度判定手段は、前記前景候補領域検出手段によって検出された前景候補領域を前記修正対象領域として前記信頼度を判定し、
   前記画像修正手段は、前記前景候補領域検出手段によって検出された前景候補領域を前記修正対象領域として修正を行う、
   請求項６〜８の何れか一項に記載の画像処理装置。
10. 前記複数の入力画像の中から基準画像を設定する基準画像設定手段を更に備え、
    前記入力画像判定手段は、前記複数の入力画像の中から前記基準画像を除外した入力画像である非基準画像のうち、前記相対値が前記特定条件を満たす非基準画像を前記処理画素単位毎に判定する非基準画像判定手段を有し、
    前記画像処理用データ生成手段は、前記非基準画像判定手段によって判定された非基準画像を識別するための識別情報を前記処理画素単位毎に記憶した非基準画像処理用データを生成する非基準画像処理用データ生成手段を有し、
    前記前景候補領域検出手段は、前記基準画像と前記非基準画像処理用データ生成手段によって生成された非基準画像処理用データとを用いて、前記前景候補領域を検出し、
    前記画像修正手段は、前記基準画像設定手段によって設定された基準画像を前記修正対象画像として修正を行う、
    請求項９に記載の画像処理装置。
11. 前記画像修正手段は、前記画像処理用データに記憶された識別情報に対応する入力画像を前記修正用画像として、前記修正対象画像の前記前景候補領域を修正する、
    請求項９又は１０に記載の画像処理装置。
12. 前記画像修正手段は、前記修正対象画像の前記前景候補領域の画像データを、前記修正用画像の当該前景候補領域に対応する領域の画像データを用いて修正する、
    請求項９〜１１の何れか一項に記載の画像処理装置。
13. 前記画像修正手段は、前記前景候補領域の信頼度に応じて実行する画像修正処理を切り替えて、前記修正対象画像の当該前景候補領域を修正する、
    請求項９〜１２の何れか一項に記載の画像処理装置。
14. 前記画像修正手段は、前記信頼度が所定の高信頼度条件を満たす前景候補領域について、前記修正用画像の当該前景候補領域に対応する領域の画像データで前記修正対象画像の当該前景候補領域の画像データを置換する処理を前記画像修正処理として実行する、
    請求項１３に記載の画像処理装置。
15. 前記画像修正手段は、前記信頼度が所定の低信頼度条件を満たす前景候補領域について、前記修正用画像の中から当該前景候補領域の画像データと所定の関係を満たす画像データを抽出して前記修正対象画像の当該前景候補領域に貼り付ける処理を前記画像修正処理として実行する、
    請求項１３又は１４に記載の画像処理装置。
16. 表示手段と、
    前記前景候補領域の信頼度を前記表示手段に表示制御する表示制御手段と、
    を更に備えた、
    請求項９〜１５の何れか一項に記載の画像処理装置。
17. 前記表示制御手段は、各前景候補領域の信頼度をユーザーが区別可能な表示態様で前記表示手段に表示制御する、
    請求項１６に記載の画像処理装置。
18. 前記修正対象画像の中から物体を検出する物体検出手段と、
    前記物体検出手段による物体の検出領域と前記前景候補領域との位置関係及び前記信頼度に基づいて、前記修正対象画像のうちの優先的に修正すべき領域である優先修正領域を決定する優先修正領域決定手段と、
    を更に備えた、
    請求項９〜１７の何れか一項に記載の画像処理装置。
19. 前記信頼度判定手段は、前記前景候補領域の面積と、前記前景候補領域に含まれる画素について前記画像処理用データに記憶された相対値とのうちの少なくとも何れかに基づいて、当該前景候補領域の信頼度を判定する、
    請求項９〜１８の何れか一項に記載の画像処理装置。
20. 操作手段と、
    表示手段と、
    前記複数の入力画像の中から選択した入力画像を前記表示手段に表示制御する表示制御手段と、
    前記表示手段に表示されている画像上の位置を指定するユーザー操作を検知する検知手段と、
    前記検知手段の検知に応じて、前記ユーザー操作により指定された位置が前記前景候補領域に含まれるか否かを判定する指定位置判定手段と、
    を更に備え、
    前記画像修正手段は、前記指定位置判定手段の判定結果が肯定判定である場合に、前記修正対象画像の前記前景候補領域を修正し、
    前記表示制御手段は、前記画像修正手段により修正された画像を前記表示手段に表示制御する、
    請求項９〜１９の何れか一項に記載の画像処理装置。
21. 前記指定位置判定手段の判定結果に基づいて、前記ユーザー操作による各前景候補領域の修正の要否を記憶した画像修正要否データを生成する画像修正要否データ生成手段を更に備え、
    前記画像修正手段は、前記画像修正要否データ生成手段によって生成された画像修正要否データに基づいて、各前景候補領域の修正の要否を判定する、
    請求項２０に記載の画像処理装置。
22. 前記画像修正手段は、前記修正対象画像の前記優先修正領域を修正し、
    表示手段と、
    前記画像修正手段によって修正された画像を前記表示手段に表示制御する表示制御手段と、
    を更に備えた、
    請求項１８に記載の画像処理装置。
23. 前記表示制御手段は、前記優先修正領域を前記前景候補領域とは異なる表示態様で前記表示手段に表示制御する、
    請求項２２に記載の画像処理装置。
24. 複数の入力画像を蓄積する画像蓄積手段と、
    前記蓄積された複数の入力画像に基づいて、画像中の入れ替え候補領域及びそれに関連付けられた入れ替え信頼度を算出する算出手段と、
    前記複数の入力画像のうちの最新に入力された入力画像である基準画像及び当該基準画像上に前記入れ替え候補領域を重畳表示又は輪郭表示させた画像を表示する表示手段と、
    を備え、
    前記算出手段は、前記基準画像が新規画像入力により更新された際、前記入れ替え候補領域及び前記入れ替え信頼度を再算出し、
    前記表示手段は、前記再算出の結果に基づいて前記表示手段の表示を更新する、
    画像処理装置。
25. 前記表示手段は、前記入れ替え候補領域を重畳表示又は輪郭表示するに際し、関連付けられた入れ替え信頼度を反映した表示を行う、
    請求項２４に記載の画像処理装置。
26. 任意の領域を指定可能な領域指定手段と、
    前記領域指定手段により指定された領域が、前記算出手段により算出された前記入れ替え候補領域に含まれる場合において、関連付けられた入れ替え信頼度が所定条件を満たす場合に、その旨をユーザーに報知する報知手段と、
    を更に備えた、
    請求項２４又は２５に記載の画像処理装置。
27. 任意の領域を指定可能な領域指定手段と、
    前記領域指定手段により指定された領域が、前記算出手段により算出された前記入れ替え候補領域に含まれる場合において、関連付けられた入れ替え信頼度が所定条件を満たす場合は、当該入れ替え候補領域に対応する画像領域を修正する画像修正手段と、
    を更に備え、
    前記表示手段は、前記画像修正手段により修正された画像を表示する、
    請求項２４〜２６の何れか一項に記載の画像処理装置。
28. 複数の入力画像に基づき定められる修正対象画像の修正対象領域を、前記複数の入力画像のうちの何れかの入力画像を修正用画像として用いて修正することを含む、
    画像処理方法。
29. 前記複数の入力画像それぞれについて、当該入力画像と前記複数の入力画像と関連付けられた参照画像との相対関係を表す相対値を、所定の処理画素単位毎に算出することと、
    前記複数の入力画像のうち、前記算出された相対値が特定条件を満たす入力画像を、前記処理画素単位毎に判定することと、
    前記判定された入力画像を識別するための識別情報を前記処理画素単位毎に記憶した画像処理用データを生成することと、
    を更に含み、
    前記修正することは、前記修正用画像と前記生成された画像処理用データとを用いて修正を行うことを含む、
    請求項２８に記載の画像処理方法。
30. 複数の入力画像を蓄積することと、
    前記蓄積された複数の入力画像に基づいて、画像中の入れ替え候補領域及びそれに関連付けられた入れ替え信頼度を算出することと、
    前記複数の入力画像のうちの最新に入力された入力画像である基準画像及び当該基準画像上に前記入れ替え候補領域を重畳表示又は輪郭表示させた画像を所定の表示手段に表示させることと、
    を含み、
    前記算出することは、前記基準画像が新規画像入力により更新された際、前記入れ替え候補領域及び前記入れ替え信頼度を再算出することを含み、
    前記表示させることは、前記再算出の結果に基づいて前記表示手段の表示を更新することを含む、
    画像処理方法。