JP2013162287A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】複数の静止画像に基づいて、動体が消去された画像を得ることが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】複数の静止画像に基づいて、画像における第１静止部分を抽出し、複数の静止画像に基づいて、画像における第１静止部分として抽出されなかった部分に対応する、第２静止部分の少なくとも一部を抽出する抽出部と、第１静止部分と第２静止部分とを合成して、合成画像を生成する合成部と、を備える、画像処理装置が提供される。
【選択図】図２６

Description

本開示は、画像処理装置、画像処理方法、およびプログラムに関する。

例えば観光地において撮像された画像などの画像には、特定の被写体以外の被写体が含まれていることがある。このような画像は、ユーザ（例えば撮像者や特定の被写体など）が意図する画像であるとは限らない。

このような中、移動する被写体を背景から除いた画像を得るための技術が開発されている。上記技術としては、例えば、例えば特許文献１に記載の技術が挙げられる。

特開２００６−１８６６３７号公報

例えば特許文献１に記載の技術は、複数の画像に基づいて生成した特定の被写体の背景画像と、特定の被写体を含む被写体画像から抽出した特定の被写体の領域に対応する被写体領域画像とを合成する。よって、例えば特許文献１に記載の技術を用いる場合には、移動する被写体を背景から除いた画像を得ることができる可能性はある。

しかしながら、例えば特許文献１に記載の技術では、画像の単純加算平均によって移動する被写体を背景から除いた画像の取得を図るので、動体が消去された画像を得ることができるとは限らない。より具体的には、例えば特許文献１に記載の技術を用いる場合には、例えば、まれにしか動かない物体が存在する場合や、動体により特定の被写体全体が含まれる特定の被写体の領域が存在しない場合には、動体が消去された画像を得ることができない。

本開示では、複数の静止画像に基づいて、動体が消去された画像を得ることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提案する。

本開示によれば、複数の静止画像に基づいて、画像における第１静止部分を抽出し、複数の静止画像に基づいて、画像における前記第１静止部分として抽出されなかった部分に対応する、第２静止部分の少なくとも一部を抽出する抽出部と、前記第１静止部分と前記第２静止部分とを合成して、合成画像を生成する合成部と、を備える、画像処理装置が提供される。

また、本開示によれば、複数の静止画像に基づいて、画像における第１静止部分を抽出するステップと、複数の静止画像に基づいて、画像における上記第１静止部分として抽出されなかった部分に対応する、第２静止部分の少なくとも一部を抽出するステップと、上記第１静止部分と上記第２静止部分とを合成して、合成画像を生成するステップと、を有する、画像処理方法が提供される。

また、本開示によれば、複数の静止画像に基づいて、画像における第１静止部分を抽出するステップ、複数の静止画像に基づいて、画像における上記第１静止部分として抽出されなかった部分に対応する、第２静止部分の少なくとも一部を抽出するステップ、上記第１静止部分と上記第２静止部分とを合成して、合成画像を生成するステップ、をコンピュータに実行させるためのプログラムが提供される。

本開示によれば、複数の静止画像に基づいて、動体が消去された画像を得ることができる。

本実施形態に係る画像処理方法を説明するための説明図である。 従来の技術に係る画像処理の一例を示す説明図である。 従来の技術に係る画像処理において生じうる問題の第１の例を示す説明図である。 従来の技術に係る画像処理において生じうる問題の第２の例を示す説明図である。 本実施形態に係る画像処理方法に係る処理の概要を説明するための説明図である。 本実施形態に係る画像処理装置における通知制御の一例を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の一例を示す説明図である。 本実施形態に係る画像処理方法に係る処理の一例を示す説明図である。 本実施形態に係る表示制御処理の一例を示す説明図である。 本実施形態に係る表示制御処理の他の例を示す説明図である。 本実施形態に係る表示制御処理の他の例を示す説明図である。 本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。 実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。 本実施形態に係る画像処理方法に係る経過表示処理の一例を示す流れ図である。 本実施形態に係る画像処理方法に係る経過表示処理の一例を示す流れ図である。 本実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本実施形態に係る画像処理装置のハードウェア構成の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理方法
２．本実施形態に係る画像処理装置
３．本実施形態に係るプログラム

（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、本実施形態に係る画像処理方法について説明する。また、以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うものとして説明する。

図１は、本実施形態に係る画像処理方法を説明するための説明図である。図１は、撮像装置１０によって、図１のＡに示す被写体（撮像対象の被写体）が撮像される場合の一例を示している。図１の例では、撮像によって、図１のＡに示す被写体に加え、図１のＢに示す家（静止体の一例）と、図１のＣ１、Ｃ２に示す被写体（撮像対象以外の被写体。動体の一例）とが含まれる画像が得られることとなる。

以下では、図１に示すような状況において撮像により得られる画像を例に挙げて、本実施形態に係る画像処理方法に係る処理について説明する。なお、本実施形態に係る画像処理方法に係る処理が処理の対象とする画像は、図１に示すような撮像装置によって撮像された画像に限られない。例えば、本実施形態に係る画像処理方法に係る処理が処理の対象とする画像は、記録媒体に記憶されている画像であってもよい。また、本実施形態に係る記録媒体に記憶されている画像には、例えば、本実施形態に係る画像処理方法に係る処理によって生成された画像（後述する合成画像）が含まれていてもよい。

ここで、本実施形態に係る、画像が記憶されている記録媒体としては、例えば、本実施形態に係る画像処理装置が備える記憶部（後述する）やＲＡＭ（Random Access Memory。図示せず）、本実施形態に係る画像処理装置に接続された、着脱可能な外部記録媒体、本実施形態に係る画像処理装置とネットワークを介して（または直接的に）有線または無線で接続された外部装置が備える記録媒体などが挙げられる。外部装置が備える記録媒体に記憶されている画像を処理する場合には、本実施形態に係る画像処理装置は、例えば、当該外部装置に対して画像を送信させる画像送信要求を送信することによって、当該外部装置から画像を取得する。

また、本実施形態に係る画像処理方法に係る処理が処理の対象とする画像は、撮像された画像と、記録媒体に記憶されている画像とが混在していてもよい。つまり、本実施形態に係る画像処理方法に係る処理が処理の対象とする画像としては、例えば、撮像された画像と、記録媒体に記憶されている画像とのうちの、一方または双方の画像が挙げられる。

また、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理の対象とする画像としては、静止画像が挙げられる。ここで、本実施形態に係る静止画像は、いわゆる静止画像に限られず、動画像を構成するフレーム画像であってもよい。本実施形態に係るフレーム画像とは、例えば、動画像の１フレーム（動画像がインタレース画像の場合には、１フィールドに対応する。）に対応する画像である。以下では、本実施形態に係る画像処理方法に係る処理の対象とする画像が、本実施形態に係る静止画像である場合について説明する。また、以下では、静止画像を、単に「画像」と示す場合がある。

［１］従来の技術において生じうる問題
本実施形態に係る画像処理方法について説明する前に、まず、例えば特許文献１に記載の技術のような従来の技術において生じうる問題の一例について説明する。

図２は、従来の技術に係る画像処理の一例を示す説明図である。図２に示すＡは、処理対象の画像（以下、「原画像」と示す場合がある。）を示している。また、図２に示すＢは、処理途中の画像の一例を示し、図２に示すＣは、処理後に最終的に得られる合成画像（以下、「最終画像」と示す場合がある。）の一例を示している。

従来の技術が適用される画像処理装置（以下、「従来の画像処理装置」と示す場合がある。）は、原画像のうちの特定の被写体を含む被写体画像から、特定の被写体を含む領域を特定する（図２のＢに示すＡＲ）。また、従来の画像処理装置は、複数の原画像に基づいて背景画像を生成する（図２のＢに示すＢ１）。そして、従来の画像処理装置は、背景画像と、被写体画像から抽出した特定の被写体の領域に対応する被写体領域画像とを合成する（図２に示すＣ）。

例えば図２に示すように、特定の被写体が他の被写体により隠れておらず、動体が少ない場合には、従来の技術が用いられる場合においても、移動する被写体を背景から除いた画像を得ることができる可能性はある。しかしながら、上述したように、例えば特許文献１に記載の技術のような従来の技術では、画像の単純加算平均によって移動する被写体を背景から除いた画像の取得を図るので、動体が消去された画像を得ることができるとは限らない。以下、従来の技術を用いる場合において生じうる問題の一例を示す。

図３は、従来の技術に係る画像処理において生じうる問題の第１の例を示す説明図である。図３に示すＡは、処理対象の画像（原画像）を示している。また、図２に示すＢは、処理途中の画像の一例を示し、図２に示すＣは、処理後に最終的に得られる合成画像（最終画像）の一例を示している。ここで、図３は、特定の被写体が他の被写体により隠れており、また、動体の数が図２に示す例よりも多い場合における、従来の技術に係る処理の一例を示している。

従来の画像処理装置は、原画像のうちの特定の被写体を含む被写体画像から、特定の被写体を含む領域を特定する（図３のＢに示すＡＲ）。ここで、図３のＡに示す原画像では、特定の被写体が他の被写体により隠れているので、特定された特定の被写体を含む領域においても、他の被写体が含まれることとなる。

また、従来の画像処理装置は、複数の原画像に基づいて背景画像を生成する（図３のＢに示すＢ１）。ここで、従来の画像処理装置は、画像の単純加算平均によって背景画像を生成する。よって、例えば原画像に含まれる動体の数が多くなることなどにより動体同士が重なる時間が長くなると、従来の画像処理装置が生成した背景画像には、動体（または動体の一部。例えば、図３のＢに示すＢ２）が残ることが起こりうる（図３のＢに示すＢ１）。そして、従来の画像処理装置は、背景画像と、被写体画像から抽出した特定の被写体の領域に対応する被写体領域画像とを合成する（図３に示すＣ）。

ここで、背景画像には動体（または動体の一部）が残っており、また、被写体領域画像には、他の被写体が含まれている。よって、特定の被写体が他の被写体により隠れており、また、動体の数が図２に示す例よりも多い場合には、例えば図３に示すように、従来の技術を用いたとしても、動体が消去された画像を得ることができるとは限らない。

図４は、従来の技術に係る画像処理において生じうる問題の第２の例を示す説明図である。図４に示すＡは、処理対象の画像（原画像）を示している。また、図２に示すＢは、処理後に最終的に得られる合成画像（最終画像）の一例を示している。ここで、図４は、原画像が、動体が特定の範囲をいったりきたりして大きく動いてはいない場合を示している。

従来の画像処理装置は、画像の単純加算平均によって背景画像を生成し、生成された背景画像を被写体領域画像とを合成するので、図４のＢに示すように、合成画像に動体（または動体の一部。例えば、図４のＢに示すＢ１）が残ることが起こりうる。また、従来の技術のように、画像の単純加算平均によって背景画像を生成する場合には、合成画像が、動体が透けてみえる不自然な画像となる恐れがある。

［２］本実施形態に係る画像処理方法の概要
例えば図３、図４に示すように、例えば特許文献１に記載の技術のような従来の技術を用いたとしても、複数の静止画像に基づいて、動体が消去された画像を得ることができるとは限らない。

そこで、本実施形態に係る画像処理装置は、例えば下記に示す（１）第１静止部分抽出処理、（２）第２静止部分抽出処理、および（３）合成画像生成処理、を行うことによって、複数の静止画像に基づいて、動体が消去された画像を得る。

（１）第１静止部分抽出処理
本実施形態に係る画像処理装置は、複数の静止画像に基づいて、画像における動体を含まない部分（以下、「第１静止部分」と示す。）を抽出する。より具体的には、本実施形態に係る画像処理装置は、例えば、複数の静止画像に基づいて動きベクトルを算出し、算出された動きベクトルに基づいて第１静止部分を抽出する。

ここで、本実施形態に係る画像処理装置は、例えば、抽出対象の被写体が含まれる静止部分を、第１静止部分として抽出してもよい。本実施形態に係る画像処理装置は、特定の人物を抽出対象の被写体とする場合には、例えば、目、鼻、口、骨格などの特徴点の検出や、顔の輝度分布および構造パターンと類似した領域を検出するなどの顔認識技術を用いることによって、抽出対象の被写体を特定する。また、本実施形態に係る画像処理装置は、特定の物体を抽出対象の被写体とする場合には、任意の物体認識技術を用いて抽出対象の被写体を特定する。また、抽出対象の被写体の特定は、ユーザによる被写体の指定操作（ユーザ操作の一例）に基づき行われてもよい。そして、本実施形態に係る画像処理装置は、例えば、特定された抽出対象の被写体全体が含まれる第１静止部分が抽出されるまで、処理対象の静止画像の数を増やしつつ、第１静止部分抽出処理を行う。ここで、本実施形態に係る画像処理装置は、例えば、エッジを検出することにより抽出対象の被写体の輪郭を検出することによって、抽出対象の被写体全体が第１静止部分に含まれているか否かを判定する。なお、本実施形態に係る画像処理装置における抽出対象の被写体全体が第１静止部分に含まれるか否かを判定する処理が、上記に限られないことは、言うまでもない。

なお、抽出対象の被写体が含まれる静止部分を第１静止部分として抽出する場合における、本実施形態に係る第１静止部分抽出処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、特定された抽出対象の被写体の一部が含まれている領域を、第１静止部分として抽出してもよい。特定された抽出対象の被写体の一部が含まれている領域を、第１静止部分として抽出する場合であっても、後述する本実施形態に係る画像処理方法に係る処理によって、動体が消去された画像を得ることが可能である。

（２）第２静止部分抽出処理
本実施形態に係る画像処理装置は、複数の静止画像に基づいて、画像における第１静止部分として抽出されなかった部分（以下、「第２静止部分」と示す。）を抽出する。より具体的には、本実施形態に係る画像処理装置は、例えば、複数の静止画像に基づいて動きベクトルを算出し、算出された動きベクトルに基づいて第２静止部分を抽出する。ここで、第２静止部分抽出処理において用いられる処理対象の複数の静止画像には、第１静止部分抽出処理において用いられる処理対象の複数の静止画像の一部、または全部が含まれていてもよいし、含まれていなくてもよい。

ここで、本実施形態に係る画像処理装置は、例えば、処理対象の静止画像の数が増えるごとに、新たな第２静止部分を抽出する。なお、本実施形態に係る画像処理装置における第２静止部分抽出処理は、上記に限られない。例えば、処理対象となる静止画像の数が決まっている場合には、本実施形態に係る画像処理装置は、処理対象の静止画像を順次に処理して第２静止部分を抽出する。

（３）合成画像生成処理
本実施形態に係る画像処理装置は、第１静止部分と第２静止部分とを合成して、合成画像を生成する。

ここで、本実施形態に係る画像処理装置は、例えば、第１静止部分が抽出され、第２静止部分がまだ抽出されていないときには、抽出された第１静止部分を示す画像そのものを、合成画像とする。また、本実施形態に係る画像処理装置は、第２静止部分が抽出されたときには、第１静止部分と第２静止部分とを合成して、合成画像を生成する。

また、本実施形態に係る画像処理装置は、例えば、第２静止部分抽出処理において第２静止部分が新たに抽出されるごとに、新たな合成画像を生成する。より具体的には、本実施形態に係る画像処理装置は、例えば、第２静止部分が新たに抽出されるごとに、第１静止部分、または既に生成されている合成画像と、新たに抽出された第２静止部分とを合成して、新たな合成画像を生成する。

また、本実施形態に係る画像処理装置は、例えば、生成した合成画像を記録媒体に記録させてもよいし、生成した合成画像を外部装置へ送信してもよい。

ここで、本実施形態に係る画像処理装置は、例えば、（３）の処理（合成画像生成処理）において生成された最終的な合成画像を、記録媒体に記録させる、および／または、外部装置へ送信させるが、本実施形態に係る画像処理装置における処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、最終的な合成画像が得られる前、すなわち、（３）の処理（合成画像生成処理）の途中においても、生成された合成画像を、記録媒体に記録させてもよく、また、当該合成画像を外部装置へ送信させてもよい。

例えば上記のように、（３）の処理（合成画像生成処理）の途中において、合成画像の記録媒体への記録、および／または、外部装置への送信を行うことによって、（３）の処理（合成画像生成処理）の途中段階の合成画像が記録媒体や外部装置において記憶される。よって、例えば、（３）の処理（合成画像生成処理）の途中で何らかの理由（例えば、電源が切れる、撮像装置が動かされるなど）によるアクシデントが生じても、何らの合成画像が得られない事態を回避することができる。

ここで、（３）の処理（合成画像生成処理）の途中において合成画像を記録、送信するタイミングとしては、例えば、最終的な合成画像が得られる予想時間に応じて設定されるタイミングや、処理の進捗状況（または、合成画像の完成度合い）に応じて設定されるタイミングが挙げられる。最終的な合成画像が得られる予想時間に応じて設定されるタイミングとしては、例えば、最終的な合成画像が得られるまで３秒かかると予想された場合に、１秒間ごとに記録、送信が行われるタイミングなどが挙げられる。また、処理の進捗状況（または、合成画像の完成度合い）に応じて設定されるタイミングとしては、例えば、処理の進捗状況（または、合成画像の完成度合い）が所定の割合に達するごとに記録、送信が行われるタイミングなどが挙げられる。

本実施形態に係る画像処理装置は、例えば、上記（１）の処理（第１静止部分抽出処理）、上記（２）の処理（第２静止部分抽出処理）、および上記（３）の処理（合成画像生成処理）を、本実施形態に係る画像処理方法に係る処理として行う。

図５は、本実施形態に係る画像処理方法に係る処理の概要を説明するための説明図である。ここで、図５は、特定の人物である被写体Ｏが撮像対象である場合に撮像された画像に基づいて、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行う例を示している。また、図５に示すＡは、第１静止部分抽出処理によって得られる第１静止部分に対応する画像の一例を示している。図５に示すＢは、第２静止部分抽出処理および合成画像生成処理により得られる合成画像の一例を示している。

図５に示すように、上記（１）の処理（第１静止部分抽出処理）において第１静止部分が抽出される（図５に示すＡ）。また、上記（２）の処理（第２静止部分抽出処理）において抽出された第２静止部分が上記（３）の処理（合成画像生成処理）において合成されることによって、動体が消去された画像である合成画像が得られる（図５に示すＢ）。

ここで、図５は、図５のＡに示すように、本実施形態に係る画像処理装置が、上記（１）の処理（第１静止部分抽出処理）において抽出対象の被写体全体が含まれる静止部分を第１静止部分として抽出する例を示している。ここで、例えば抽出対象の被写体全体が含まれる静止部分が第１静止部分として抽出される場合には、被写体Ｏは、少なくとも第１静止部分が抽出されるまで（上記（１）の処理（第１静止部分抽出処理）が完了するまで）静止している必要がある。

しかしながら、抽出対象の被写体全体が含まれる静止部分が第１静止部分として抽出される場合には、第１静止部分が抽出された時点で、抽出された第１静止部分に抽出対象の被写体Ｏ全体が含まれる。つまり、上記（１）の処理（第１静止部分抽出処理）が完了した後に被写体Ｏが動いたとしても、被写体Ｏは既に第１静止部分に含まれているので、上記（３）の処理（合成画像生成処理）において生成される合成画像には、被写体Ｏ全体が含まれることとなる。

よって、例えば図１に示すように撮像対象の被写体（図１に示すＡ）を撮像することにより得られた撮像画像を、本実施形態に係る画像処理装置が処理する場合、撮像対象の被写体は、本実施形態に係る画像処理方法に係る処理全体が完了するまで静止している必要はない。より具体的には、上記のように、撮像対象の被写体は、上記（１）の処理（第１静止部分抽出処理）が完了するまで静止していればよい。ここで、画像全体において撮像対象の被写体が占める領域は、比較的小さいことが多い。そのため、上記（１）の処理（第１静止部分抽出処理）が完了するまでに要する時間は、画像全体に対する処理、すなわち、上記（１）の処理（第１静止部分抽出処理）〜上記（３）の処理（合成画像生成処理）が完了するまでに要する時間よりも、大幅に短い時間となる。

したがって、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うことによって、撮像対象の被写体が静止していなければならない時間を、より短縮することができ、また、撮像対象の被写体の負荷をより軽減することができる。

なお、上記では、撮像対象の被写体を先に抽出してから画像における他の部分を抽出して合成する場合を例に挙げて、本実施形態に係る画像処理装置における処理を説明したが、本実施形態に係る画像処理装置における処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、先に画像全体を抽出して合成した後に、画像全体における所望の位置に対応する位置に移動した撮像対象の被写体を撮像した撮像画像に基づいて、撮像対象の被写体を物体認識技術に係る処理などにより抽出することも可能である。上記の場合であっても、本実施形態に係る画像処理装置は、例えば、先の抽出結果により得られた合成画像と、撮像対象の被写体を撮像した撮像画像に基づき抽出された撮像対象の被写体部分とを合成することによって、撮像対象の被写体が含まれる画像を生成することができる。

また、本実施形態に係る画像処理装置は、第１静止部分の抽出が完了した場合（上記（１）の処理（第１静止部分抽出処理）が完了した場合）には、第１静止部分の抽出が完了したことをユーザに対して通知させてもよい。ここで、第１静止部分の抽出が完了したことを通知する対象のユーザとしては、例えば、本実施形態に係る画像処理装置の所有者や、撮像対象の被写体の人物、撮像対象の被写体を撮像装置により撮像する撮像者などが挙げられる。

本実施形態に係る画像処理装置が第１静止部分の抽出が完了したことをユーザに対して通知させることによって、撮像対象の被写体が動いてよいか否かを、直接的または間接的に、撮像対象の被写体に通知することが可能となる。よって、本実施形態に係る画像処理装置は、本実施形態に係る画像処理装置が第１静止部分の抽出が完了したことをユーザに対して通知させることによって、ユーザの利便性の向上を図ることができる。

図６は、本実施形態に係る画像処理装置における通知制御の一例を説明するための説明図である。ここで、図６は、本実施形態に係る画像処理装置が、図１に示す撮像装置１０を制御することによって、第１静止部分の抽出が完了したことを特定の被写体（ユーザの一例）に対して通知させる例を示している。図６に示すＡは、撮像装置１０が通知を行う前の状態を示しており、図６に示すＢは、本実施形態に係る画像処理装置による制御によって撮像装置１０が通知を行っている状態の一例を示している。

本実施形態に係る画像処理装置は、上記（１）の処理（第１静止部分抽出処理）が完了すると、ネットワークを介して（あるいは、直接的に）有線または無線で接続された撮像装置１０に対して、通知命令を送信する。本実施形態に係る画像処理装置から送信された通知命令を受信した撮像装置１０は、受信した通知命令に基づいて、ランプを発光させることによって、視覚的に通知を行う（図６に示すＢ）。ここで、例えば図６のＢに示すような視覚的な通知のような、本実施形態に係る通知は、例えば、上記（３）の処理（合成画像生成処理）が完了するまで継続されてもよいし、通知開始から一定時間経過後に停止されてもよい。

なお、本実施形態に係る画像処理装置における通知制御は、図６に示すような視覚的に通知をさせることに限られない。例えば、本実施形態に係る画像処理装置は、音声（音楽も含む。）により聴覚的に通知を行わせる通知命令を、通知を行う他の装置に送信することによって、聴覚的に通知をさせてもよい。ここで、聴覚的に通知をさせる場合における通知命令には、例えば、処理内容を示すデータ（命令そのもの）に加え、音声データがさらに含まれていてもよい。

また、上記では、本実施形態に係る画像処理装置が、通知を行う他の装置に対して通知命令を送信することによって、第１静止部分の抽出が完了したことをユーザに対して通知させる例を示したが、本実施形態に係る画像処理装置における通知制御は、上記に限られない。例えば本実施形態に係る画像処理装置が図６に示す撮像装置１０であるときなど、本実施形態に係る画像処理装置が通知を行う場合には、本実施形態に係る画像処理装置は、通知制御として自装置を制御することによって、ユーザに対する通知を行ってもよい。

ここで、例えば特許文献１に記載の技術のような従来の技術との比較を行うために、上述した従来の技術において生じうる問題を説明するために用いた例における、本実施形態に係る画像処理方法に係る処理の結果の一例について説明する。

図７は、本実施形態に係る画像処理方法に係る処理の一例を示す説明図である。図７に示すＡは、処理対象の画像（原画像）を示している。また、図７に示すＢは、処理途中の画像の一例を示し、図７に示すＣは、処理後に最終的に得られる合成画像（最終画像）の一例を示している。ここで、図７は、原画像が、従来の技術に係る画像処理の一例である図２と同様である場合、すなわち、特定の被写体が他の被写体により隠れておらず、動体が少ない場合を示している。

本実施形態に係る画像処理装置は、複数の原画像に基づき第１静止部分を抽出し（図７に示すＢ１）、第１静止部分以外の部分である第２静止部分を、複数の原画像に基づいて合成する（図７に示すＢ２）。よって、本実施形態に係る画像処理装置は、図７のＡに示すような、特定の被写体が他の被写体により隠れておらず、動体が少ない場合には、動体が消去された画像を得ることができる（図７に示すＣ）。

図８は、本実施形態に係る画像処理方法に係る処理の一例を示す説明図である。図８に示すＡは、処理対象の画像（原画像）を示している。また、図８に示すＢは、処理途中の画像の一例を示し、図８に示すＣは、処理後に最終的に得られる合成画像（最終画像）の一例を示している。ここで、図８は、原画像が、従来の技術に係る画像処理の一例である図３と同様である場合、すなわち、特定の被写体が他の被写体により隠れており、また、動体の数が図７に示す例よりも多い場合を示している。

本実施形態に係る画像処理装置は、複数の原画像に基づき第１静止部分を抽出し（図８に示すＢ１）、第１静止部分以外の部分である第２静止部分を、複数の原画像に基づいて抽出して、第１静止部分と第２静止部分とを合成する（図８に示すＢ２）。ここで、従来の技術が単純加算平均によって合成画像を得るのに対して、本実施形態に係る画像処理装置は、上記（１）の処理（第１静止部分抽出処理）、上記（２）の処理（第２静止部分抽出処理）それぞれにおいて、複数の静止画像に基づき算出された動きベクトルに基づいて静止部分を抽出する。

よって、本実施形態に係る画像処理装置は、図８のＡに示すような、特定の被写体が他の被写体により隠れており、また、動体の数が図７に示す例よりも多い場合であっても、動体が消去された画像を得ることができる（図８に示すＣ）。また、図示はしていないが、本実施形態に係る画像処理装置は、従来の技術のような単純加算平均ではなく、算出された動きベクトルに基づいて静止部分を抽出するので、図４に示すような従来の技術において起こりうる問題も生じない。

図７に示すように、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理を行うことによって、従来の技術を用いるときにおいて問題が生じない場合には、動体が消去された画像を得ることができる。また、図８に示すように、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理を行うことによって、従来の技術を用いるときにおいて問題が生じる場合であっても、動体が消去された画像を得ることができる。

したがって、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（第１静止部分抽出処理）〜上記（３）の処理（合成画像生成処理）を行うことによって、複数の静止画像に基づいて、動体が消去された画像を得ることができる。

なお、本実施形態に係る画像処理方法に係る処理は、上記（１）の処理（第１静止部分抽出処理）〜上記（３）の処理（合成画像生成処理）に限られない。例えば、本実施形態に係る画像処理装置は、処理対象の画像を撮像する処理（撮像処理）を、本実施形態に係る画像処理方法に係る処理として行ってもよい。本実施形態に係る画像処理装置は、撮像処理において、例えば、撮像部（後述する）に撮像を行わせ、または、外部撮像装置を制御することによって、当該外部撮像装置に撮像を行わせる。撮像処理を行う場合には、本実施形態に係る画像処理装置は、上記（１）の処理（第１静止部分抽出処理）、および／または、上記（２）の処理（第２静止部分抽出処理）において、撮像処理により得られた撮像画像を、処理対象の画像とすることができる。

また、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、さらに、上記（３）の処理（合成画像生成処理）において生成された合成画像を表示画面に表示させてもよい（表示制御処理）。本実施形態に係る画像処理装置が合成画像を表示させる表示画面としては、例えば、表示部（後述する）の表示画面や、ネットワークを介して（あるいは、直接的に）有線または無線で接続された外部装置の表示画面などが挙げられる。

ここで、本実施形態に係る表示制御処理としては、上記（３）の処理（合成画像生成処理）において生成された、最終的な合成画像を表示画面に表示させる処理が挙げられるが、本実施形態に係る表示制御処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、最終的な合成画像が得られるまでの本実施形態に係る画像処理方法に係る処理の経過を、表示画面に表示させてもよい。

図９は、本実施形態に係る表示制御処理の一例を示す説明図であり、本実施形態に係る画像処理方法に係る処理の経過を示す経過表示の一例を示している。ここで、図９は、表示制御処理の結果の一例を示しており、最終的な合成画像が得られるまでの本実施形態に係る画像処理方法に係る処理の経過を表示画面に表示させる場合において表示画面に表示される画像を、時系列で示している。

本実施形態に係る画像処理装置は、複数の静止画像に基づいて第１静止部分を抽出し、抽出された第１静止部分を示す画像（合成画像）を表示画面に表示させる（図９に示すＡ）。ここで、図９に示すＡでは、本実施形態に係る画像処理装置が、上記（１）の処理（第１静止部分抽出処理）において顔認識処理および輪郭抽出処理を行うことによって、特定の被写体を含む最小限の領域を第１静止部分として抽出した例を示している。なお、本実施形態に係る第１静止部分抽出処理の結果得られる第１静止部分が、図９のＡに示すような、特定の被写体を含む最小限の領域に限られないことは、言うまでもない。

また、本実施形態に係る画像処理装置は、例えば、画像において第１静止部分として抽出されなかった部分（第１静止部分および第２静止部分のいずれにも該当しない部分の一例）に対して色彩を付し、色彩が付された合成画像を表示画面に表示させる。ここで、本実施形態に係る画像処理装置は、例えば図９のＡに示すように、グレーなどの単色の色彩を付すが、本実施形態に係る画像処理装置が画像において第１静止部分として抽出されなかった部分に付す色彩は、上記に限られない。

第１静止部分が抽出されると、本実施形態に係る画像処理装置は、複数の静止画像に基づいて第２静止部分を抽出する。本実施形態に係る画像処理装置は、例えば新たな第２静止部分が抽出されるごとに、第１静止部分、または既に生成されている合成画像と、新たに抽出された第２静止部分とを合成して、新たな合成画像を生成する。そして、本実施形態に係る画像処理装置は、合成画像が生成されるごとに、生成された合成画像を表示画面に表示させる（図９のＢ〜図９のＧ）。

また、本実施形態に係る画像処理装置は、例えば、画像において第１静止部分および第２静止部分のいずれにも該当しない部分に対して色彩を付し、色彩が付された合成画像を表示画面に表示させる。ここで、本実施形態に係る画像処理装置は、例えば図９のＢ〜図９のＧに示すように、グレーなどの単色の色彩を付すが、本実施形態に係る画像処理装置が画像において第１静止部分、第２静止部分として抽出されなかった部分に付す色彩は、上記に限られない。

本実施形態に係る画像処理装置において例えば上記のような処理が行われることによって、表示画面に表示される画像は、例えば図９のＢ〜図９のＧに示すように、第１静止部分および第２静止部分のいずれにも該当しない部分（図９のＡ〜図９のＦに示すグレーの色彩が付された部分）の面積が徐々に小さくなる。したがって、本実施形態に係る画像処理装置が、例えば図９に示すような経過表示を行うことによって、ユーザは、本実施形態に係る画像処理方法に係る処理の経過を視覚的に確認することができる。また、本実施形態に係る画像処理装置が、例えば図９に示すような経過表示を行うことによって、ユーザは、最終的な合成画像が得られるまであとどのくらい時間がかかりそうかを予想することが可能となる。

なお、本実施形態に係る画像処理方法に係る処理の経過を示す経過表示は、図９に示す例に限られない。図１０は、本実施形態に係る表示制御処理の他の例を示す説明図であり、本実施形態に係る画像処理方法に係る処理の経過を示す経過表示の一例を示している。ここで、図１０に示すＡに示す画像は、図９に示すＡに示す画像に対応し、同様に、図１０に示すＢ〜Ｇそれぞれに示す画像は、図９に示すＢ〜Ｇに示す画像に対応している。

例えば図１０に示すように、本実施形態に係る画像処理装置は、経過表示において、処理の進捗状況（または、合成画像の完成度合い）を示すプログレスバーＰを表示させてもよい。プログレスバーＰが表示されることによって、本実施形態に係る画像処理装置は、処理の進捗状況を視覚的にユーザに提示することができる。なお、本実施形態に係る処理の進捗状況の提示方法は、図１０に示すプログレスバーＰに限られない。例えば、本実施形態に係る画像処理装置は、合成画像が完成するまでに必要な時間（または、予想時間）を表示してもよく、また、合成画像が完成するまでに必要な時間と、図１０に示すような処理の進捗状況（または、合成画像の完成度合い）とを、共に表示させてもよい。

また、本実施形態に係る画像処理装置は、例えば、本実施形態に係る画像処理方法に係る処理の結果を、色彩を付すことにより表してもよい。

図１１は、本実施形態に係る表示制御処理の他の例を示す説明図であり、本実施形態に係る画像処理方法に係る処理の経過を示す経過表示の一例を示している。ここで、図１１は、表示制御処理の結果の一例を示しており、図９と同様に、最終的な合成画像が得られるまでの本実施形態に係る画像処理方法に係る処理の経過を表示画面に表示させる場合において表示画面に表示される画像を、時系列で示している。また、図１１では、画像において静止部分として抽出された部分に対して色彩（便宜上、“Ｒｅｄ”、“Ｂｌｕｅ”、“Ｇｒｅｅｎ”と色彩を表している。）が付されている例を示している。

本実施形態に係る画像処理装置は、上記（１）の処理（第１静止部分抽出処理）において抽出された第１静止部分に対して、色彩“Ｒｅｄ”を付す（図１１に示すＡ）。また、本実施形態に係る画像処理装置は、上記（２）の処理（第２静止部分抽出処理）において抽出された第２静止部分に対して、他の色彩を付す。例えば図１１に示すＢでは、抽出された第２静止部分に対して色彩“Ｂｌｕｅ”と色彩“Ｇｒｅｅｎ”とが付された例を示している。ここで、上記（２）の処理（第２静止部分抽出処理）中に、例えば色彩“Ｇｒｅｅｎ”が付された被写体の人物が動いた場合には、当該被写体の人物に付された色彩“Ｇｒｅｅｎ”が消える（図１１に示すＣ）。また、上記（２）の処理（第２静止部分抽出処理）の対象となる静止画像の数が増え、第１静止部分および第２静止部分のいずれにも該当しない部分の面積が小さくなると、色彩がふされていない部分が徐々に消去される（図１１に示すＤ〜図１１に示すＥ）。そして、最終的な合成画像が表示画面に表示される（図１１に示すＦ）。

例えば図１１に示すような色彩によって本実施形態に係る画像処理方法に係る処理の経過が表現される場合であっても、ユーザは、図９に示す経過表示と同様に、本実施形態に係る画像処理方法に係る処理の経過を視覚的に確認することができる。また、本実施形態に係る画像処理装置が、例えば図１１に示すような経過表示を行うことによって、ユーザは、図９に示す経過表示と同様に、最終的な合成画像が得られるまであとどのくらい時間がかかりそうかを予想することが可能となる。

本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理として、さらに表示制御処理を行うことによって、例えば図９、図１１に示すような経過表示を実現することができる。

ここで、本実施形態に係る画像処理装置は、例えば、上記（１）の処理（第１静止部分抽出処理）および上記（２）の処理（第２静止部分抽出処理）それぞれの対象の静止画像に対して行った、本実施形態に係る画像処理方法に係る処理の結果を、表示画面に表示させるが、本実施形態に係る表示制御処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、処理対象の静止画像が縮小された縮小画像に対して行った、本実施形態に係る画像処理方法に係る処理の結果を、表示画面に表示させてもよい。

より具体的には、本実施形態に係る画像処理装置は、例えば、上記（１）の処理（第１静止部分抽出処理）において、処理対象の静止画像が縮小された縮小画像に基づいて、縮小画像に対応する第１静止部分を抽出する。また、本実施形態に係る画像処理装置は、上記（２）の処理（第２静止部分抽出処理）において、例えば、処理対象の静止画像の数が増えるごとに、処理対象の静止画像が縮小された縮小画像に基づいて、縮小画像に対応する新たな第２静止部分を抽出する。また、本実施形態に係る画像処理装置は、上記（３）の処理（合成画像生成処理）において、例えば、縮小画像に対応する第１静止部分、または既に生成されている縮小画像に対応する合成画像と、新たに抽出された縮小画像に対応する第２静止部分とを合成する。ここで、本実施形態に係る画像処理装置は、上記（３）の処理（合成画像生成処理）において、例えば、縮小画像に対応する第２静止部分が新たに抽出されるごとに合成を行うことによって、縮小画像に対応する新たな合成画像を生成する。そして、本実施形態に係る画像処理装置は、上記表示制御処理において、例えば、縮小画像に対応する合成画像が生成されるごとに、生成された合成画像を表示画面に表示させる。

また、例えば上記のように、縮小画像に対して行った本実施形態に係る画像処理方法に係る処理の結果を表示画面に表示させる場合には、本実施形態に係る画像処理装置は、例えば、縮小画像に対応する最終的な合成画像が得られた後に、処理対象の静止画像に対する処理を行う。ここで、縮小画像に対する経過表示に係る処理は、処理対象の静止画像に対する経過表示に係る処理よりも、処理の負荷が大幅に軽減される。つまり、縮小画像に対する経過表示に係る処理に要する時間は、処理対象の静止画像に対する経過表示に係る処理に要する時間よりも、より短くなる。

例えば上記のように、本実施形態に係る画像処理装置が縮小画像に対して行った本実施形態に係る画像処理方法に係る処理の結果を表示画面に表示させることによって、経過表示が開始されてから完了するまでの時間が短縮される。よって、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理の経過を示す経過表示を行う場合において、ユーザの待ち時間の短縮を図ることができる。

［３］本実施形態に係る画像処理方法に係る処理における処理の具体例
次に、上述した本実施形態に係る画像処理方法に係る処理における処理について、より具体的に説明する。

（ｉ）所望の合成画像の取得に係る処理
図１２は、本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。図１２に示すＡは、本実施形態に係る画像処理装置が、ある複数の静止画像に対して上記（１）の処理（第１静止部分抽出処理）〜上記（３）の処理（合成画像生成処理）を行った結果得られた合成画像の一例を示している。また、図１２に示すＢは、ユーザが所望する画像の一例を示している。

図１２のＡ、Ｂに示すように、本実施形態に係る画像処理装置が処理の対象とした複数の静止画像によっては、ユーザが所望する画像が得られない場合が起こりうる。例えば、図１２に示す例では、図１２のＡに示す被写体Ａ１が、合成画像に不要な被写体に該当する。ここで、図１２のＡにおいて不要な被写体Ａ１が合成画像に残っている理由は、複数の静止画像において、被写体Ａ１が動いていると判定されないからである。

図１２のＡに示すような不要な被写体Ａ１が含まれる場合であっても、図１２のＡに示す合成画像と、さらに他の静止画像とに基づいて、本実施形態に係る画像処理装置が上記（２）の処理（第２静止部分抽出処理）を行うことによって、図１２のＢに示す所望の合成画像を得ることができる。より具体的には、例えば、撮像をさらに行うことにより得られた画像や、記憶媒体に記憶されている画像と、図１２のＡに示す合成画像とに基づいて、被写体Ａ１についての動きが検出されれば、図１２のＢに示す所望の合成画像が得られる。なお、図１２に示す被写体Ａ２は、上記（１）の処理（第１静止部分抽出処理）において第１静止部分として抽出されている。そのため、仮に、図１２のＢに示す所望の合成画像を得るためにさらなる撮像を行う場合であっても、被写体Ａ２は静止している必要はなく、撮像範囲に存在していなくてもよい。

（ｉｉ）静止部分の抽出に係る処理
図１３は、本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。ここで、図１３は、上記（１）の処理（第１静止部分抽出処理）、上記（２）の処理（第２静止部分抽出処理）における、静止部分の抽出に係る処理の第１の例を示している。

本実施形態に係る画像処理装置は、図１３のＡに示すＡ１のように、静止画像をブロックに分割する。また、本実施形態に係る画像処理装置は、図１３のＢに示す他の静止画像において、図１３のＡに示す静止画像と同一のブロックサイズにより、最も誤差が小さい部分を検索する。また、本実施形態に係る画像処理装置は、上記のように複数の静止画像間における最小誤差の部分を検索し、他の静止画像（例えば図１３に示すＢ）における、一の静止画像（例えば図１３に示すＡ）に対応する位置からのずれ量を動きベクトルとする（図１３に示すＣ）。

動きベクトルが算出されると、本実施形態に係る画像処理装置は、例えば、ベクトルが０（ゼロ）、または、ベクトルの絶対値に係る閾値を用いた閾値判定により０（ゼロ）とみなせる値である部分を、静止部分と判定する。そして、本実施形態に係る画像処理装置は、静止部分と判定されたブロックに対応する画像部分を、静止領域として抽出する（図１３に示すＤ）。

本実施形態に係る画像処理装置は、上記（１）の処理（第１静止部分抽出処理）、上記（２）の処理（第２静止部分抽出処理）において、例えば上記のように動きベクトルを算出することによって、静止部分（第１静止部分、第２静止部分）を抽出する。なお、本実施形態に係る静止部分の抽出に係る処理は、図１３を参照して説明した処理に限られない。

図１４は、本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。ここで、図１４は、上記（１）の処理（第１静止部分抽出処理）、上記（２）の処理（第２静止部分抽出処理）における、静止部分の抽出に係る処理の第２の例を示している。

図１３では２つの静止画像を用いて静止部分を抽出する例を示したが、本実施形態に係る画像処理装置は、図１４に示すように、３つ以上の静止画像に基づいて、静止部分を抽出することも可能である。より具体的には、本実施形態に係る画像処理装置は、２つの静止画像間で、図１３に示す第１の例に係る処理を行い動きベクトルを検出する。そして、本実施形態に係る画像処理装置は、一致しないブロック（図１４に示すＢ１）や、動きが検出されたブロック（図１４に示すＢ２）を除いたブロックを、静止領域として抽出する（図１４に示すＣ、Ｄ）。

図１５は、本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。ここで、図１５は、上記（１）の処理（第１静止部分抽出処理）、上記（２）の処理（第２静止部分抽出処理）における、静止部分の抽出に係る処理の第３の例を示している。

図１５は、本実施形態に係る画像処理装置が、３つ以上の静止画像に基づいて静止部分を抽出する他の例を示しており、処理対象の静止画像において静止したり動いたりする部分が存在する場合における処理の一例を示している。図１５に示すＢ１、Ｂ３のように、２つの静止画像間において静止部分と判定した場合であっても、図１５に示すＢ２のように、ある２つの静止画像間においては、動きが検出されたブロックが検出されることが起こりうる。図１５のＢに示すような場合には、本実施形態に係る画像処理装置は、例えば、静止部分と判定されていたブロックが動いたと判定されたブロック（図１５のＣ１）や、動き先のブロック（図１５のＣ２）など、ある特定の静止画像間で動くブロックを、動きが検出されたブロックとする（図１５に示すＣ）。そして、本実施形態に係る画像処理装置は、動きが検出されたブロック（図１５に示すＣ１、Ｃ２）を除いたブロックを、静止領域として抽出する（図１５に示すＤ）。

例えば図１５に示す第３の例に係る処理を行うことによって、本実施形態に係る画像処理装置は、少しでも動く領域を静止部分として抽出しないことが可能となる。

図１６は、本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。ここで、図１６は、上記（１）の処理（第１静止部分抽出処理）における、静止部分の抽出に係る処理の第４の例を示している。

上述したように、本実施形態に係る画像処理装置は、顔検出処理や輪郭抽出処理、または、任意の物体認識技術に係る処理を行うことによって、抽出対象の特定の被写体を特定することが可能である。よって、本実施形態に係る画像処理装置は、例えば、静止部分として抽出された部分（例えば、図１６に示すＡ）に対して、顔検出処理および輪郭抽出処理を行うことによって、静止部分として抽出された部分に複数の被写体が含まれる場合においても、特定の被写体の人物のみが含まれる第１静止部分を抽出することができる。

本実施形態に係る画像処理装置は、上記（１）の処理（第１静止部分抽出処理）、上記（２）の処理（第２静止部分抽出処理）において、例えば上記第１の例に係る処理〜第３の例に係る処理や、上記第４の例に係る処理を行うことによって、静止部分（第１静止部分、第２静止部分）を抽出する。なお、本実施形態に係る画像処理装置における静止部分の抽出に係る処理が、上記第１の例に係る処理〜第４の例に係る処理に限られないことは、言うまでもない。

（ｉｉｉ）ずれの補正処理
上記（ｉｉ）において示したように、本実施形態に係る画像処理装置は、上記（１）の処理（第１静止部分抽出処理）、上記（２）の処理（第２静止部分抽出処理）において、例えば算出された動きベクトルに基づいて静止部分を抽出する。ここで、例えば、処理対象の静止画像に、垂直方向のずれや、水平方向のずれ、または、回転方向のずれなどの各種ずれが存在する場合には、当該各種ずれに起因して、静止部分の抽出精度が下がる恐れがある。

図１７は、本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。ここで、図１７に示すＡ、Ｂは、上記（１）の処理（第１静止部分抽出処理）、上記（２）の処理（第２静止部分抽出処理）の対象の静止画像の一例を示している。

図１７のＢに示すように、処理対象の静止画像には、回転方向のずれなどのずれが存在しうる。そのため、仮に、本実施形態に係る画像処理装置が、図１７のＡに示す画像と、図１７のＢに示す画像とに対して、上記（ｉｉ）に示す処理（静止部分の抽出に係る処理）を行った場合には、ずれに起因して動きベクトルが検出されることによって、抽出される静止部分が小さくなってしまう。

そこで、本実施形態に係る画像処理装置は、上記（１）の処理（第１静止部分抽出処理）、上記（２）の処理（第２静止部分抽出処理）それぞれにおいて、処理対象の静止画像における、垂直方向のずれ、水平方向のずれ、または、回転方向のずれのうちの、１または２以上のずれを補正する（例えば、図１７に示すＣ）。そして、本実施形態に係る画像処理装置は、補正後の静止画像を用いて、静止部分（第１静止部分、第２静止部分）を抽出する。

図１８は、本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る回転方向のずれを補正する処理の一例を示している。

本実施形態に係る画像処理装置は、処理対象の静止画像（図１８に示すＡ、Ｂ）に基づいて、動きベクトルを算出する（図１８に示すＣ）。ここで、図１８のＣに示すＣ１、Ｃ２部分の動きベクトルが、被写体の動きに起因する動きベクトルであり、他の部分の動きベクトルは、回転方向のずれに起因する動きベクトルである。

ここで、例えば処理対象の静止画像が、撮像装置によって撮像された画像である場合には、回転方向のずれなどの各種ずれに起因する動きベクトルは、撮像装置側に起因する動きに従う。よって、本実施形態に係る画像処理装置は、１つの動きを示す多数のベクトル値で回転角度、中心、シフト量を算出し（図１８の例では、回転角度が算出される。）、算出された値に基づいて処理対象の静止画像である図１８のＢに示す画像を補正する（図１８に示すＤ）。

図１９は、本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る水平方向のずれを補正する処理の一例を示している。

本実施形態に係る画像処理装置は、処理対象の静止画像（図１９に示すＡ、Ｂ）に基づいて、動きベクトルを算出する（図１９に示すＣ）。ここで、図１９のＣに示すＣ１、Ｃ２部分の動きベクトルが、被写体の動きに起因する動きベクトルであり、他の部分の動きベクトルは、水平方向のずれに起因する動きベクトルである。

ここで、例えば処理対象の静止画像が、撮像装置によって撮像された画像である場合には、水平方向のずれなどの各種ずれに起因する動きベクトルは、撮像装置側に起因する動きに従う。よって、本実施形態に係る画像処理装置は、１つの動きを示す多数のベクトル値で回転角度、中心、シフト量を算出し（図１９の例では、シフト量が算出される。）、算出された値に基づいて処理対象の静止画像である図１９のＢに示す画像を補正する（図１９に示すＤ）。

本実施形態に係る画像処理装置は、例えば、図１８、図１９に示すように、処理対象の静止画像における、垂直方向のずれ、水平方向のずれ、または、回転方向のずれのうちの、１または２以上のずれを補正する。そして、本実施形態に係る画像処理装置は、補正後の静止画像を用いて、静止部分（第１静止部分、第２静止部分）を抽出する。また、本実施形態に係る画像処理装置は、動きベクトルだけでなく、例えば、手振れセンサ（例えば、撮像装置などが手振れ補正のために備える角速度センサ)の検出結果を示す情報に基づいて、上記のようなずれを補正してもよい。

（ｉｖ）ノイズ低減処理
図２０は、本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。

本実施形態に係る画像処理方法に係る、上記（１）の処理（第１静止部分抽出処理）、上記（２）の処理（第２静止部分抽出処理）では、上述したように、例えば動きベクトルによって静止部分を抽出する。そのため、例えば、複数の静止画像から、動きベクトルによって一致度が高いと判定可能な部分が抽出される可能性がある。つまり、例えば、動画像を構成するフレーム画像が処理対象の静止画像である場合などには、処理対象の複数の静止画像の中に、抽出された静止部分（第１静止部分、第２静止部分）を有する複数の静止画像が存在することが起こりうる。

また、抽出された静止部分（第１静止部分、第２静止部分）を有する複数の静止画像が存在する場合（例えば、図２０のＢに示すＢ１、Ｂ２）には、いずれかの静止画像にノイズＮが存在することもありうる（例えば図２０のＢに示すＢ２）

そこで、本実施形態に係る画像処理装置は、例えば、上記（１）の処理（第１静止部分抽出処理）において、処理対象の複数の静止画像の中に、抽出された第１静止部分を有する複数の静止画像がある場合には、複数の静止画像を加算する。より具体的には、本実施形態に係る画像処理装置は、上記の場合において、例えば、複数の静止画像における第１静止部分に対応する領域に対応する信号を平均した信号が示す画像を、第１静止部分とする。

例えば上記のように、上記（１）の処理（第１静止部分抽出処理）において、複数の静止画像を加算することによって、本実施形態に係る画像処理装置は、例えば図２０のＢ２に示すような、ノイズを低減することができる。

また、本実施形態に係る画像処理装置は、例えば、上記（２）の処理（第２静止部分抽出処理）において、上記（１）の処理（第１静止部分抽出処理）におけるノイズ低減処理と同様の処理を行うことが可能である。

（ｖ）第１静止部分抽出処理における処理時間の制御処理
例えば、本実施形態に係る画像処理装置が撮像機能を有し、撮像によって上記（１）の処理（第１静止部分抽出処理）の対象となる複数の静止画像を得る場合には、本実施形態に係る画像処理装置は、撮像を制御することによって、上記（１）の処理（第１静止部分抽出処理）における処理時間を制御する、処理時間制御処理を行ってもよい。

図２１、図２２は、本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る処理時間制御処理の一例を説明するための説明図である。

図２１は、予め設定された設定値やユーザ操作に基づき設定された設定値（図２１に示すＡ、Ｃ）や、ユーザ操作に基づいて（図２１に示すＢ）、上記（１）の処理（第１静止部分抽出処理）における処理時間を制御する例を示している。例えば、本実施形態に係る画像処理装置は、撮像枚数が１０枚となったときに上記（１）の処理（第１静止部分抽出処理）を終了し（図２１に示すＡ）、撮像開始から１秒が経過したときに上記（１）の処理（第１静止部分抽出処理）を終了する（図２１に示すＢ）。また、本実施形態に係る画像処理装置は、例えば、ユーザにより特定の操作が行われたことが検出されたときに、上記（１）の処理（第１静止部分抽出処理）を終了する（図２１に示すＣ）。ここで、ユーザによる特定の操作が外部装置において行われる場合には、本実施形態に係る画像処理装置は、例えば、当該外部装置から送信された、特定の操作が行われたことを示す操作信号を受信したときに、ユーザにより特定の操作が行われたことを検出する。

なお、本実施形態に係る処理時間制御処理は、例えば図２１に示すような設定値やユーザ操作に基づき行われることに限られない。例えば、本実施形態に係る画像処理装置は、動きベクトル検出による動き量の値と、所定の閾値とを用いた閾値処理によって、上記（１）の処理（第１静止部分抽出処理）を自動的に終了させてもよい。ここで、上記所定の閾値は、予め規定された固定値であってもよいし、ユーザが変更可能な可変値であってもよい。

また、本実施形態に係る画像処理装置は、例えば図２１のＢに示すように、ユーザにより特定の操作が行われたことが検出されたときに、上記（１）の処理（第１静止部分抽出処理）を終了する場合には、本実施形態に係る表示制御処理によって処理の経過を表示画面に表示させてもよい。本実施形態に係る経過表示が行われることによって、ユーザは、処理の経過を視覚的に確認しながら、特定のユーザ操作を行うことができる。

図２２は、撮像に係る設定を示している。図２２のＡに示すような連写速度や、図２２のＢに示すような連写速度が、予めまたはユーザ操作により設定されることによって、一定時間に得られる画像を制御することが可能であり、間接的に上記（１）の処理（第１静止部分抽出処理）における処理時間が制御される。なお、本実施形態に係る処理時間制御処理は、例えば図２２に示すような設定値に基づき行われることに限られない。例えば、本実施形態に係る画像処理装置は、動きベクトル検出による動き量の値と、所定の閾値とを用いた閾値処理によって、連写速度や連写速度を制御（撮像を制御）してもよい。

本実施形態に係る画像処理装置は、上述した本実施形態に係る画像処理方法に係る処理において、例えば上記（ｉ）〜（ｖ）に示す処理を行う。なお、本実施形態に係る画像処理方法に係る処理において行われる処理が、上記（ｉ）〜（ｖ）に示す処理に限られないことは、言うまでもない。

［４］本実施形態に係る画像処理方法に係る処理
次に、本実施形態に係る画像処理方法に係る処理の一例について、より具体的に説明する。図２３は、本実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。以下では、図２３に示す本実施形態に係る画像処理方法に係る処理を、本実施形態に係る画像処理装置が行う場合を例に挙げて説明する。また、図２３は、本実施形態に係る画像処理装置が、処理対象の複数の静止画像に対応する縮小画像を用いた経過表示を行った後に、処理対象の複数の静止画像を用いた処理を行う例を示している。

本実施形態に係る画像処理装置は、経過表示処理を行う（Ｓ１００）。

図２４は、本実施形態に係る画像処理方法に係る経過表示処理の一例を示す流れ図である。ここで、図２４のステップＳ２００の処理〜ステップＳ２１０の処理が、上記（１）の処理（第１静止部分抽出処理）、上記（３）の処理（合成画像生成処理）、および本実施形態に係る表示制御処理に該当する。また、図２４のステップＳ２００の処理〜ステップＳ２１０の処理は、図５に示す“被写体Ｏ抽出時間”に行われる処理に該当する。また、図２４のステップＳ２１６の処理〜ステップＳ２２２の処理が、上記（２）の処理（第１静止部分抽出処理）、上記（３）の処理（合成画像生成処理）、および本実施形態に係る表示制御処理に該当する。

本実施形態に係る画像処理装置は、処理対象の１枚目の画像を取得し、当該画像の縮小画像を生成する（Ｓ２００）。ここで、本実施形態に係る画像処理装置は、例えば、設定された画像サイズ（処理対象の画像サイズ＞設定された画像サイズ）へと画像サイズを変更するリサイズ処理によって、縮小画像を生成する。なお、本実施形態に係る画像処理装置は、設定された画像サイズへと画像サイズを変更することができれば、任意のリサイズ処理を用いることが可能である。

本実施形態に係る画像処理装置は、処理対象の２枚目の画像を取得し、ステップＳ２００と同様に、当該画像の縮小画像を生成する（Ｓ２０２）。

ステップＳ２００、Ｓ２０２の処理が完了すると、本実施形態に係る画像処理装置は、生成された縮小画像に基づいて動きベクトルを算出する（Ｓ２０４）。ここで、本実施形態に係る画像処理装置は、ステップＳ２０４において、例えば図１３を参照して説明したように、縮小画像をブロックに分割して動きベクトルを算出する。

本実施形態に係る画像処理装置は、ステップＳ２０４において算出された動きベクトルに基づいて静止部分を抽出し、既に抽出されている部分がある場合には、抽出された静止部分を加算する（Ｓ２０６）。また、本実施形態に係る画像処理装置は、ステップＳ２０６において抽出された抽出部分のうち、動きベクトルに基づき動いたと判定された部分を削除する（Ｓ２０８）。ここで、ステップＳ２０８の処理は、例えば図１５を参照して示した処理に相当する。

本実施形態に係る画像処理装置は、例えば、顔検出処理や輪郭抽出処理などを行うことによって、抽出対象の特定の被写体を抽出する（Ｓ２１０）。

本実施形態に係る画像処理装置は、画像のうちの静止部分（第１静止部分）として抽出されなかった部分の表示を変えて、抽出された静止部分（第１静止部分）を示す画像を表示画面に表示させる（Ｓ２１２）。ここで、ステップＳ２１２における表示を変える方法としては、例えば、図９、図１１に示した方法が挙げられる。

ステップＳ２１２の処理が行われると、本実施形態に係る画像処理装置は、抽出対象の特定の被写体全体が抽出されたか否かを判定する（Ｓ２１４）。ここで、本実施形態に係る画像処理装置は、例えば、輪郭抽出処理の結果などに基づいて、特定の被写体の輪郭が全て検出されたと判定された場合に、特定の被写体全体が抽出されたと判定する。

ステップＳ２１４において抽出対象の特定の被写体全体が抽出されたと判定されない場合には、本実施形態に係る画像処理装置は、ステップＳ２０２からの処理を繰り返す。

また、ステップＳ２１４において抽出対象の特定の被写体全体が抽出されたと判定された場合には、本実施形態に係る画像処理装置は、処理対象の画像を１枚取得し、ステップＳ２００と同様に、当該画像の縮小が像を生成する（Ｓ２１６）。

ステップＳ２１６の処理が完了すると、本実施形態に係る画像処理装置は、ステップＳ２０４と同様に、生成された縮小画像に基づいて動きベクトルを算出する（Ｓ２１８）。

本実施形態に係る画像処理装置は、ステップＳ２１８において算出された動きベクトルに基づいて静止部分を抽出し、新たに抽出された静止部分を既に抽出されている静止部分に加算する（Ｓ２２０）。また、本実施形態に係る画像処理装置は、ステップＳ２０８と同様に、ステップＳ２２０において抽出された抽出部分のうち、動きベクトルに基づき動いたと判定された部分を削除する（Ｓ２２２）。

本実施形態に係る画像処理装置は、画像のうちの静止部分（第１静止部分、および第２静止部分）として抽出されなかった部分の表示を変えて、抽出された静止部分（第１静止部分、および第２静止部分）を示す画像を表示画面に表示させる（Ｓ２２４）。ここで、ステップＳ２２４における表示を変える方法としては、例えば、図９、図１１に示した方法が挙げられる。

ステップＳ２２４の処理が行われると、本実施形態に係る画像処理装置は、画像全体が抽出されたか否かを判定する（Ｓ２２６）。ここで、本実施形態に係る画像処理装置は、例えば、画像において第１静止部分および第２静止部分のいずれにも該当しない部分が存在しない場合に、画像全体が抽出されたと判定する。

ステップＳ２２６において抽出対象の特定の被写体全体が抽出されたと判定されない場合には、本実施形態に係る画像処理装置は、ステップＳ２１６からの処理を繰り返す。また、ステップＳ２２６において画像全体が抽出されたと判定された場合には、本実施形態に係る画像処理装置は、本実施形態に係る経過表示処理を終了する。

本実施形態に係る画像処理装置は、例えば図２４に示す処理を、図２３のステップ１００に示す経過表示処理として行う。なお、本実施形態に係る経過表示処理は、図２４に示す例に限られない。例えば、本実施形態に係る画像処理装置は、図２４に示すステップＳ２１０の処理を行わなくてもよい。

再度図２３を参照して、本実施形態に係る画像処理方法に係る処理の一例について説明する。ステップＳ１００の処理が完了すると、本実施形態に係る画像処理装置は、処理対象の複数の静止画像を用いた画像処理を行う（Ｓ１０２）。そして、ステップＳ１０２の処理が完了すると、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理を終了する。

図２５は、本実施形態に係る画像処理方法に係る経過表示処理の一例を示す流れ図である。ここで、図２５のステップＳ３００の処理〜ステップＳ３１０の処理が、上記（１）の処理（第１静止部分抽出処理）、上記（３）の処理（合成画像生成処理）、および本実施形態に係る表示制御処理に該当する。また、図２５のステップＳ３１６の処理〜ステップＳ３２２の処理が、上記（２）の処理（第１静止部分抽出処理）、上記（３）の処理（合成画像生成処理）、および本実施形態に係る表示制御処理に該当する。

本実施形態に係る画像処理装置は、処理対象の１枚目の画像を取得する（Ｓ３００）。ここで、ステップＳ３００において取得される画像は、図２４のステップＳ２００において生成された縮小画像に対応する画像である。

本実施形態に係る画像処理装置は、処理対象の２枚目以降の画像を１枚取得する（Ｓ３０２）。ここで、ステップＳ３０２において取得される画像は、図２４のステップＳ２０２において生成された縮小画像に対応する画像である。

ステップＳ３００、Ｓ３０２の処理が完了すると、本実施形態に係る画像処理装置は、取得された画像に基づいて、図２４のステップＳ２０４と同様に、動きベクトルを算出する（Ｓ３０４）。

本実施形態に係る画像処理装置は、ステップＳ３０４において算出された動きベクトルに基づいて静止部分を抽出し、既に抽出されている部分がある場合には、抽出された静止部分を加算する（Ｓ３０６）。また、本実施形態に係る画像処理装置は、図２４のステップＳ２０８と同様に、ステップＳ３０６において抽出された抽出部分のうち、動きベクトルに基づき動いたと判定された部分を削除する（Ｓ３０８）。

本実施形態に係る画像処理装置は、例えば、顔検出処理や輪郭抽出処理などを行うことによって、抽出対象の特定の被写体を抽出する（Ｓ３１０）。

ステップＳ３１０の処理が行われると、本実施形態に係る画像処理装置は、図２４のステップＳ２１４と同様に、抽出対象の特定の被写体全体が抽出されたか否かを判定する（Ｓ３１２）。ステップＳ３１２において抽出対象の特定の被写体全体が抽出されたと判定されない場合には、本実施形態に係る画像処理装置は、ステップＳ３０２からの処理を繰り返す。

また、ステップＳ３１２において抽出対象の特定の被写体全体が抽出されたと判定された場合には、本実施形態に係る画像処理装置は、処理対象の画像を１枚取得する（Ｓ３１４）。ここで、ステップＳ３００において取得される画像は、図２４のステップＳ２１６において生成された縮小画像に対応する画像である。

ステップＳ３１４の処理が完了すると、本実施形態に係る画像処理装置は、ステップＳ３０４と同様に、取得された画像に基づいて動きベクトルを算出する（Ｓ３１６）。

本実施形態に係る画像処理装置は、ステップＳ３１６において算出された動きベクトルに基づいて静止部分を抽出し、新たに抽出された静止部分を既に抽出されている静止部分に加算する（Ｓ３１８）。また、本実施形態に係る画像処理装置は、ステップＳ３０８と同様に、ステップＳ３１８において抽出された抽出部分のうち、動きベクトルに基づき動いたと判定された部分を削除する（Ｓ３２０）。

ステップＳ３２０の処理が行われると、本実施形態に係る画像処理装置は、画像全体が抽出されたか否かを判定する（Ｓ３２２）。ここで、本実施形態に係る画像処理装置は、例えば、画像において第１静止部分および第２静止部分のいずれにも該当しない部分が存在しない場合に、画像全体が抽出されたと判定する。

ステップＳ３２２において抽出対象の特定の被写体全体が抽出されたと判定されない場合には、本実施形態に係る画像処理装置は、ステップＳ３１４からの処理を繰り返す。また、ステップＳ３２２において画像全体が抽出されたと判定された場合には、本実施形態に係る画像処理装置は、本実施形態に係る画像処理を終了する。

本実施形態に係る画像処理装置は、例えば図２５に示す処理を、図２３のステップ１０２に示す画像処理として行う。なお、本実施形態に係る画像処理は、図２５に示す例に限られない。例えば、本実施形態に係る画像処理装置は、図２５に示すステップＳ３１０の処理を行わなくてもよい。

本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば図２３に示す処理を行う。なお、本実施形態に係る画像処理方法に係る処理は、図２３に示す処理に限られない。例えば、図２３では、本実施形態に係る画像処理装置が、縮小画像を表示画面に表示させる経過表示処理と、処理対象の画像に基づく画像処理とを行う例を示したが、本実施形態に係る画像処理装置は、処理対象の画像に基づく画像処理と共に、当該画像処理の経過を表示画面に表示させてもよい。

（本実施形態に係る画像処理装置）
次に、上述した本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理装置の構成の一例について、説明する。

図２６は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。

また、画像処理装置１００は、例えば、ＲＯＭ（Read Only Memory。図示せず）や、ＲＡＭ（図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。

ここで、ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。

記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。

［画像処理装置１００のハードウェア構成例］
図２７は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示す説明図である。画像処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、画像処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。

ＭＰＵ１５０は、例えば、ＭＰＵ（Micro Processing Unit）や、各種処理回路などで構成され画像処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、画像処理装置１００において、例えば、後述する抽出部１１０、合成部１１２、表示制御部１１４、および記録処理部１１６の役目を果たす。

ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

記録媒体１５６は、記憶部（図示せず）として機能し、例えば、操作対象画像を構成するデータや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、画像処理装置１００から着脱可能であってもよい。

入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子、各種処理回路などが挙げられる。また、操作入力デバイス１６０は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス１６２は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。

なお、入出力インタフェース１５８が、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や、表示デバイスなどの、外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。

通信インタフェース１６４は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、撮像装置や、表示装置などの外部装置と無線／有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

画像処理装置１００は、例えば図２７に示す構成によって、本実施形態に係る画像処理方法に係る処理を行う。なお、本実施形態に係る画像処理装置１００のハードウェア構成は、図２７に示す構成に限られない。例えば、画像処理装置１００は、静止画像または動画像を撮像する撮像部（図示せず）の役目を果たす撮像デバイスを備えていてもよい。撮像デバイスを備える場合には、画像処理装置１００は、例えば、撮像デバイスにおける撮像により生成された撮像画像に基づいて、本実施形態に係る画像処理方法に係る処理を行うことが可能となる。

ここで、本実施形態に係る撮像デバイスとしては、例えば、レンズ／撮像素子と信号処理回路とが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。

また、画像処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信デバイス１６４を備えていなくてもよい。また、画像処理装置１００は、操作デバイス１６０や表示デバイス１６２を備えない構成をとることも可能である。

再度図２６を参照して、画像処理装置１００の構成の一例について説明する。通信部１０２は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、撮像装置や表示装置などの外部装置と無線／有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。

通信部１０２を備える場合、画像処理装置１００は、例えば、外部装置としての撮像装置において撮像された画像を示すデータや、外部装置（例えば、サーバ、携帯電話やスマートフォンなどのユーザ端末など）において記憶されている画像を示すデータを受信し、受信したデータが示す画像を処理することが可能である。また、画像処理装置１００は、例えば、処理後の画像（合成画像）を、外部装置へと送信してもよい。よって、通信部１０２を備えることにより、画像処理装置１００と、外部装置（撮像装置や、サーバ、携帯電話やスマートフォンなどのユーザ端末）とを有する、画像処理システムを実現することが可能となる。また、上記画像処理システムが実現されることによって、例えばユーザ端末などの外部装置側では本実施形態に係る画像処理方法に係る処理が行われないので、外部装置における処理負荷は、軽減される。

ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。

制御部１０４は、例えばＭＰＵや各種処理回路などで構成され、画像処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、抽出部１１０と、合成部１１２と、表示制御部１１４と、記録処理部１１６とを備え、本実施形態に係る画像処理方法に係る処理を主導的に行う役目を果たす。

抽出部１１０は、上記（１）の処理（第１静止部分抽出処理）、および上記（２）の処理（第２静止部分抽出処理）を主導的に行う役目を果たし、複数の静止画像に基づいて、第１静止部分を抽出し、また、複数の静止画像に基づいて、第２静止部分の少なくとも一部を抽出する。また、抽出部１１０は、例えば、第１静止部分抽出部１１８と、第２静止部分抽出部１２０とを備える。

第１静止部分抽出部１１８は、上記（１）の処理（第１静止部分抽出処理）を主導的に行う役目を果たし、複数の静止画像に基づいて、画像における第１静止部分を抽出する。ここで、第１静止部分抽出部１１８が処理する静止画像としては、例えば、撮像装置により撮像された画像、記録媒体に記憶されている静止画像、記録媒体に記憶されている動画像を構成するフレーム画像のうちの、１または２以上の画像が挙げられる。また、画像処理装置１００が撮像デバイスを備える場合には、第１静止部分抽出部１１８は、当該撮像デバイスにより撮像された画像を処理してもよい。つまり、撮像デバイスにより撮像された画像を処理する場合には、画像処理装置１００は、撮像装置として機能する自装置において撮像された画像を処理することが可能である。

また、第１静止部分抽出部１１８は、例えば、抽出した第１静止部分を示すデータを、第２静止部分抽出部１１０と合成部１１２とに伝達する。

また、画像処理装置１００が、本実施形態に係る表示制御処理として、縮小画像に基づく経過表示を表示画面に表示させる場合には、第１静止部分抽出部１１８は、例えば、処理対象の静止画像の縮小画像を生成し、縮小画像に対応する第１静止部分を抽出してもよい。上記の場合には、第１静止部分抽出部１１８は、例えば、抽出した縮小画像に対応する第１静止部分を示すデータを、第２静止部分抽出部１１０と合成部１１２とに伝達する。

第２静止部分抽出部１２０は、上記（２）の処理（第２静止部分抽出処理）を主導的に行う役目を果たし、複数の静止画像に基づいて、画像における第２静止部分を抽出する。ここで、第２静止部分抽出部１２０が処理する静止画像としては、例えば、撮像装置により撮像された画像、記録媒体に記憶されている静止画像、記録媒体に記憶されている動画像を構成するフレーム画像のうちの、１または２以上の画像が挙げられる。また、画像処理装置１００が撮像デバイスを備える場合には、第２静止部分抽出部１２０は、第１静止部分抽出部１１８と同様に、当該撮像デバイスにより撮像された画像を処理してもよい。

また、第２静止部分抽出部１２０は、例えば、抽出した第２静止部分を示すデータを合成部１１２とに伝達する。

また、画像処理装置１００が、本実施形態に係る表示制御処理として、縮小画像に基づく経過表示を表示画面に表示させる場合には、第２静止部分抽出部１２０は、例えば、処理対象の静止画像の縮小画像を生成し、縮小画像に対応する第２静止部分を抽出してもよい。ここで、第２静止部分抽出部１２０は、例えば、処理対象の静止画像の数が増えるごとに、処理対象の静止画像が縮小された縮小画像に基づいて、縮小画像に対応する新たな第２静止部分を抽出する。また、上記の場合には、第２静止部分抽出部１２０は、例えば、抽出した縮小画像に対応する第２静止部分を示すデータを、合成部１１２に伝達する。

抽出部１１０は、例えば、第１静止部分抽出部１１８と、第２静止部分抽出部１２０とを備えることによって、上記（１）の処理（第１静止部分抽出処理）、および上記（２）の処理（第２静止部分抽出処理）を主導的に行う。なお、図２６では、制御部１０４が、上記（１）の処理（第１静止部分抽出処理）、および上記（２）の処理（第２静止部分抽出処理）を主導的に行う抽出部１１０を備える構成を示しているが、本実施形態に係る画像処理装置の構成は、上記に限られない。例えば、本実施形態に係る画像処理装置は、上記（１）の処理（第１静止部分抽出処理）を主導的に行う第１静止部分抽出部１１８と、上記（２）の処理（第２静止部分抽出処理）を主導的に行う第２静止部分抽出部１２０とを、別体の構成要素（例えば、別の処理回路）として備えていてもよい。

合成部１１２は、上記（３）の処理（合成画像生成処理）を主導的に行う役目を果たし、第１静止部分抽出部１１８から伝達されるデータが示す第１静止部分と、第２静止部分抽出部１２０から伝達されるデータが示す第２静止部分とを合成して、合成画像を生成する。

また、画像処理装置１００が、本実施形態に係る表示制御処理として、縮小画像に基づく経過表示を表示画面に表示させる場合には、合成部１１２は、例えば、縮小画像に対応する第１静止部分と、縮小画像に対応する第２静止部分とを合成して、縮小画像に対応する合成画像を生成してもよい。ここで、合成部１１２は、例えば、第２静止部分抽出部１２０において縮小画像に対応する第２静止部分が新たに抽出されるごとに、縮小画像に対応する第１静止部分、または既に生成されている縮小画像に対応する合成画像と、新たに抽出された縮小画像に対応する第２静止部分とを合成して、縮小画像に対応する新たな合成画像を生成する。

また、合成部１１２は、例えば、合成画像を示すデータを表示制御部１１４へ伝達する。

また、合成部１１２は、例えば、生成した合成画像を、記録処理部１１６へ伝達する。

表示制御部１１４は、本実施形態に係る画像処理方法に係る表示制御処理を主導的に行う役目を果たし、合成部１１２から伝達されるデータが示す合成画像を表示画面に表示させる。表示制御部１１４は、例えば、合成部１１２において合成画像が生成されるごとに（合成画像を示すデータが伝達されるごとに）、生成された合成画像を表示画面に表示させる。ここで、表示制御部１１４が合成画像を表示させる表示画面としては、例えば、画像処理装置１００が備える表示部（図示せず）の表示画面や、ネットワークを介して（あるいは、直接的に）有線または無線で接続された外部装置の表示画面などが挙げられる。

記録処理部１１６は、合成部１１２から伝達される合成画像（合成部１１２において生成された合成画像）を所定のタイミングで記録する。

ここで、記録処理部１１６が合成画像を記録する記録媒体としては、例えば、記憶部（図示せず）や、画像処理装置１００に接続された着脱可能な外部記録媒体、画像処理装置１００とネットワークを介して（または直接的に）有線または無線で接続された外部装置が備える記録媒体などが挙げられる。外部装置が備える記録媒体に合成画像を記憶させる場合には、記録処理部１１６は、例えば、合成画像を示すデータと当該合成画像を記録させるための記録命令とを、外部装置に対して送信させることによって、外部装置が備える記録媒体に合成画像を記憶させる。

また、記録処理部１１６が合成画像を記録するタイミングとしては、例えば、最終的な合成画像が得られたときや、最終的な合成画像が得られる前、すなわち、（３）の処理（合成画像生成処理）の途中の所定のタイミングが挙げられる。（３）の処理（合成画像生成処理）の途中の所定のタイミングとしては、例えば、上述した、最終的な合成画像が得られる予想時間に応じて設定されるタイミングや、処理の進捗状況（または、合成画像の完成度合い）に応じて設定されるタイミングが挙げられる。

制御部１０４は、例えば、抽出部１１０、合成部１１２、表示制御部１１４、および記録処理部１１６を備えることによって、本実施形態に係る画像処理方法に係る処理を主導的に行う。

なお、本実施形態に係る制御部の構成は、上記に限られない。例えば、本実施形態に係る制御部は、表示制御部１１４、および／または、記録処理部１１６を備えていなくてもよい。表示制御部１１４、および／または、記録処理部１１６を備えていなくても本実施形態に係る制御部は、本実施形態に係る画像処理方法に係る、上記（１）の処理（第１静止部分抽出処理）〜上記（３）の処理（合成画像生成処理）を主導的に行うことが可能である。

画像処理装置１００は、例えば図２６に示す構成によって、本実施形態に係る画像処理方法に係る処理（例えば、上記（１）の処理（第１静止部分抽出処理）〜上記（３）の処理（合成画像生成処理））を行う。したがって、画像処理装置１００は、例えば図２６に示す構成によって、複数の静止画像に基づいて、動体が消去された画像を得ることができる。

なお、本実施形態に係る画像処理装置の構成は、図２６に示す構成に限られない。例えば、本実施形態に係る画像処理装置は、図２６に示す抽出部１１０、合成部１１２、表示制御部１１４、および記録処理部１１６のうちの１または２以上を個別に備える（例えば、それぞれを個別の処理回路で実現する）ことができる。また、本実施形態に係る画像処理装置は、上述したように、図２６に示す表示制御部１１４、および／または、記録処理部１１６を備えない構成をとることも可能である。さらに、本実施形態に係る画像処理装置は、上述したように、図２６に示す第１静止部分抽出部１１８と第２静止部分抽出部１２０とを、個別に備えていてもよい（例えば、それぞれが個別の処理回路で実現される）。

また、本実施形態に係る画像処理装置は、例えば、撮像部（図示せず）を備えていてもよい。撮像部（図示せず）を備える場合には、本実施形態に係る画像処理装置は、撮像部（図示せず）における撮像により生成された撮像画像に基づいて、本実施形態に係る画像処理方法に係る処理を行うことが可能となる。

また、本実施形態に係る画像処理装置は、例えば、スタンドアロンで処理を行う構成である場合には、通信部１０２を備えていなくてもよい。

以上のように、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（第１静止部分抽出処理）〜上記（３）の処理（合成画像生成処理）を行う。ここで、本実施形態に係る画像処理装置は、上記（１）の処理（第１静止部分抽出処理）において抽出された第１静止部分と、上記（２）の処理（第２静止部分抽出処理）において抽出された第２静止部分とを、合成する。ここで、従来の技術が単純加算平均によって合成画像を得るのに対して、本実施形態に係る画像処理装置は、上記（１）の処理（第１静止部分抽出処理）、上記（２）の処理（第２静止部分抽出処理）それぞれにおいて、複数の静止画像に基づき算出された動きベクトルに基づいて静止部分を抽出する。よって、例えば図７に示すように、従来の技術を用いるときにおいて問題が生じない場合には、本実施形態に係る画像処理装置は、動体が消去された画像を得ることができる。また、本実施形態に係る画像処理装置は、例えば図８に示すように、従来の技術を用いるときにおいて問題が生じる場合においても、動体が消去された画像を得ることができる。

したがって、本実施形態に係る画像処理装置は、複数の静止画像に基づいて、動体が消去された画像を得ることができる。

また、本実施形態に係る画像処理装置が処理する静止画像としては、例えば、撮像装置（自装置または外部装置）により撮像された画像、記録媒体に記憶されている静止画像、記録媒体に記憶されている動画像を構成するフレーム画像のうちの、１または２以上の画像が挙げられ、記録媒体に記憶されている静止画像には、例えば、本実施形態に係る合成画像が含まれる。よって、ある複数の静止画像を処理することによって、図１２のＡに示すような不要な被写体Ａ１が含まれる合成画像が得られたとしても、本実施形態に係る画像処理装置は、当該合成画像とさらなる他の静止画像とに基づいて、本実施形態に係る画像処理方法に係る処理を行うことが可能である。したがって、本実施形態に係る画像処理装置は、例えば、本実施形態に係る合成画像が含まれる。よって、ある複数の静止画像を処理することによって、図１２のＡに示すような不要な被写体Ａ１が含まれる合成画像が得られたとしても、例えば図１２のＢに示すような所望の合成画像を得ることができる。

以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話やスマートフォンなどの通信装置や、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、ＰＣ（Personal Computer）やサーバなどのコンピュータ、テレビ受像機などの表示装置、デジタルカメラなどの撮像装置など、画像を処理することが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣ（Integrated Circuit）に適用することもできる。

また、本実施形態に係る画像処理方法に係る処理は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなる画像処理システムにより実現されてもよい。

（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記（１）の処理（第１静止部分抽出処理）〜上記（３）の処理（合成画像生成処理）など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいて実行されることによって、複数の静止画像に基づいて、動体が消去された画像を得ることができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数の静止画像に基づいて、画像における第１静止部分を抽出し、複数の静止画像に基づいて、画像における前記第１静止部分として抽出されなかった部分に対応する、第２静止部分の少なくとも一部を抽出する抽出部と、
前記第１静止部分と前記第２静止部分とを合成して、合成画像を生成する合成部と、
を備える、画像処理装置。
（２）
前記抽出部は、抽出対象の被写体が含まれる静止部分を、前記第１静止部分として抽出する、（１）に記載の画像処理装置。
（３）
前記合成画像を表示画面に表示させる表示制御部をさらに備える、（１）〜（５）のいずれか１つに記載の画像処理装置。
（４）
前記抽出部は、処理対象の静止画像の数が増えるごとに、新たな前記第２静止部分を抽出し、
前記合成部は、前記第２静止部分が新たに抽出されるごとに、前記第１静止部分、または既に生成されている合成画像と、新たに抽出された前記第２静止部分とを合成して、新たな前記合成画像を生成し、
前記表示制御部は、前記合成画像が生成されるごとに、生成された前記合成画像を表示画面に表示させる、（３）に記載の画像処理装置。
（５）
前記合成部において生成された合成画像を、所定のタイミングで記録する記録処理部をさらに備える、（４）に記載の画像処理装置。
（６）
前記抽出部は、
処理対象の静止画像が縮小された縮小画像に基づいて、前記縮小画像に対応する前記第１静止部分を抽出し、
処理対象の静止画像の数が増えるごとに、処理対象の静止画像が縮小された縮小画像に基づいて、前記縮小画像に対応する新たな前記第２静止部分を抽出し、
前記合成部は、前記縮小画像に対応する前記第２静止部分が新たに抽出されるごとに、前記縮小画像に対応する前記第１静止部分、または既に生成されている前記縮小画像に対応する合成画像と、新たに抽出された前記縮小画像に対応する前記第２静止部分とを合成して、前記縮小画像に対応する新たな合成画像を生成し、
前記表示制御部は、前記縮小画像に対応する合成画像が生成されるごとに、生成された前記合成画像を表示画面に表示させる、（３）に記載の画像処理装置。
（７）
前記表示制御部は、前記合成画像における、前記第１静止部分および前記第２静止部分のいずれにも該当しない部分に色彩を付し、色彩が付された合成画像を表示させる、（４）、または（６）に記載の画像処理装置。
（８）
前記抽出部とは、複数の静止画像の動きベクトルに基づいて静止部分を抽出する、（１）、または（２）に記載の画像処理装置。
（９）
前記抽出部は、処理対象の静止画像における、垂直方向のずれ、水平方向のずれ、または、回転方向のずれのうちの、１または２以上のずれを補正して、前記第１静止部分、および／または、前記第２静止部分を抽出する、（１）〜（８）のいずれか１つに記載の画像処理装置。
（１０）
前記抽出部が処理する対象の静止画像は、撮像装置により撮像された画像、記録媒体に記憶されている静止画像、記録媒体に記憶されている動画像を構成するフレーム画像のうちの、１または２以上の画像である、（１）〜（９）のいずれか１つに記載の画像処理装置。
（１１）
前記抽出部は、処理対象の複数の前記静止画像の中に、抽出された前記第１静止部分を有する複数の静止画像がある場合には、前記複数の静止画像における前記第１静止部分に対応する領域に対応する信号を平均した信号が示す画像を、前記第１静止部分とする、（１）〜（１０）のいずれか１つに記載の画像処理装置。
（１２）
前記抽出部は、前記第１静止部分の抽出が完了した場合には、完了したことをユーザに対して通知させる、（１）〜（１１）のいずれか１つに記載の画像処理装置。
（１３）
画像を撮像する撮像部をさらに備え、
前記抽出部が処理する対象の静止画像には、前記撮像部が撮像した画像が含まれる、（１）〜（１２）のいずれか１つに記載の画像処理装置。
（１４）
複数の静止画像に基づいて、画像における第１静止部分を抽出するステップと、
複数の静止画像に基づいて、画像における前記第１静止部分として抽出されなかった部分に対応する、第２静止部分の少なくとも一部を抽出するステップと、
前記第１静止部分と前記第２静止部分とを合成して、合成画像を生成するステップと、
を有する、画像処理方法。
（１５）
前記第１静止部分を抽出するステップでは、抽出対象の被写体が含まれる静止部分が、前記第１静止部分として抽出される、（１４）に記載の画像処理方法。
（１６）
前記第１静止部分を抽出するステップと前記第２静止部分を抽出するステップとでは、複数の静止画像に基づいて動きベクトルが算出され、算出された動きベクトルに基づいて静止部分が抽出される、（１４）または（１５）に記載の画像処理方法。
（１７）
前記合成画像を表示画面に表示させるステップをさらに有する、（１４）〜（１６）のいずれか１つに記載の画像処理方法。
（１８）
前記第１静止部分を抽出するステップでは、前記第１静止部分の抽出が完了した場合に、抽出が完了したことがユーザに対して通知される、（１４）〜（１７）のいずれか１つに記載の画像処理方法。
（１９）
画像を撮像するステップをさらに有し、
前記第１静止部分を抽出するステップと前記第２静止部分を抽出するステップとにおいて処理される対象の静止画像には、前記撮像するステップにおいて撮像された画像が含まれる、（１４）〜（１８）のいずれか１つに記載の画像処理方法。
（２０）
複数の静止画像に基づいて、画像における第１静止部分を抽出するステップ、
複数の静止画像に基づいて、画像における前記第１静止部分として抽出されなかった部分に対応する、第２静止部分の少なくとも一部を抽出するステップ、
前記第１静止部分と前記第２静止部分とを合成して、合成画像を生成するステップ、
をコンピュータに実行させるためのプログラム。

１００ 画像処理装置
１０２ 通信部
１０４ 制御部
１１０ 抽出部
１１２ 合成部
１１４ 表示制御部
１１６ 記録処理部
１１８ 第１静止部分抽出部
１２０ 第２静止部分抽出部

Claims (20)

1. 複数の静止画像に基づいて、画像における第１静止部分を抽出し、複数の静止画像に基づいて、画像における前記第１静止部分として抽出されなかった部分に対応する、第２静止部分の少なくとも一部を抽出する抽出部と、
   前記第１静止部分と前記第２静止部分とを合成して、合成画像を生成する合成部と、
   を備える、画像処理装置。
2. 前記抽出部は、抽出対象の被写体が含まれる静止部分を、前記第１静止部分として抽出する、請求項１に記載の画像処理装置。
3. 前記合成画像を表示画面に表示させる表示制御部をさらに備える、請求項２に記載の画像処理装置。
4. 前記抽出部は、処理対象の静止画像の数が増えるごとに、新たな前記第２静止部分を抽出し、
   前記合成部は、前記第２静止部分が新たに抽出されるごとに、前記第１静止部分、または既に生成されている合成画像と、新たに抽出された前記第２静止部分とを合成して、新たな前記合成画像を生成し、
   前記表示制御部は、前記合成画像が生成されるごとに、生成された前記合成画像を表示画面に表示させる、請求項３に記載の画像処理装置。
5. 前記合成部において生成された合成画像を、所定のタイミングで記録する記録処理部をさらに備える、請求項４に記載の画像処理装置。
6. 前記抽出部は、
   処理対象の静止画像が縮小された縮小画像に基づいて、前記縮小画像に対応する前記第１静止部分を抽出し、
   処理対象の静止画像の数が増えるごとに、処理対象の静止画像が縮小された縮小画像に基づいて、前記縮小画像に対応する新たな前記第２静止部分を抽出し、
   前記合成部は、前記縮小画像に対応する前記第２静止部分が新たに抽出されるごとに、前記縮小画像に対応する前記第１静止部分、または既に生成されている前記縮小画像に対応する合成画像と、新たに抽出された前記縮小画像に対応する前記第２静止部分とを合成して、前記縮小画像に対応する新たな合成画像を生成し、
   前記表示制御部は、前記縮小画像に対応する合成画像が生成されるごとに、生成された前記合成画像を表示画面に表示させる、請求項３に記載の画像処理装置。
7. 前記表示制御部は、前記合成画像における、前記第１静止部分および前記第２静止部分のいずれにも該当しない部分に色彩を付し、色彩が付された合成画像を表示させる、請求項４に記載の画像処理装置。
8. 前記抽出部とは、複数の静止画像の動きベクトルに基づいて静止部分を抽出する、請求項２に記載の画像処理装置。
9. 前記抽出部は、処理対象の静止画像における、垂直方向のずれ、水平方向のずれ、または、回転方向のずれのうちの、１または２以上のずれを補正して、前記第１静止部分、および／または、前記第２静止部分を抽出する、請求項１に記載の画像処理装置。
10. 前記抽出部が処理する対象の静止画像は、撮像装置により撮像された画像、記録媒体に記憶されている静止画像、記録媒体に記憶されている動画像を構成するフレーム画像のうちの、１または２以上の画像である、請求項１に記載の画像処理装置。
11. 前記抽出部は、処理対象の複数の前記静止画像の中に、抽出された前記第１静止部分を有する複数の静止画像がある場合には、前記複数の静止画像における前記第１静止部分に対応する領域に対応する信号を平均した信号が示す画像を、前記第１静止部分とする、請求項１に記載の画像処理装置。
12. 前記抽出部は、前記第１静止部分の抽出が完了した場合には、完了したことをユーザに対して通知させる、請求項１に記載の画像処理装置。
13. 画像を撮像する撮像部をさらに備え、
    前記抽出部が処理する対象の静止画像には、前記撮像部が撮像した画像が含まれる、請求項１に記載の画像処理装置。
14. 複数の静止画像に基づいて、画像における第１静止部分を抽出するステップと、
    複数の静止画像に基づいて、画像における前記第１静止部分として抽出されなかった部分に対応する、第２静止部分の少なくとも一部を抽出するステップと、
    前記第１静止部分と前記第２静止部分とを合成して、合成画像を生成するステップと、
    を有する、画像処理方法。
15. 前記第１静止部分を抽出するステップでは、抽出対象の被写体が含まれる静止部分が、前記第１静止部分として抽出される、請求項１４に記載の画像処理方法。
16. 前記第１静止部分を抽出するステップと前記第２静止部分を抽出するステップとでは、複数の静止画像に基づいて動きベクトルが算出され、算出された動きベクトルに基づいて静止部分が抽出される、請求項１４に記載の画像処理方法。
17. 前記合成画像を表示画面に表示させるステップをさらに有する、請求項１４に記載の画像処理方法。
18. 前記第１静止部分を抽出するステップでは、前記第１静止部分の抽出が完了した場合に、抽出が完了したことがユーザに対して通知される、請求項１４に記載の画像処理方法。
19. 画像を撮像するステップをさらに有し、
    前記第１静止部分を抽出するステップと前記第２静止部分を抽出するステップとにおいて処理される対象の静止画像には、前記撮像するステップにおいて撮像された画像が含まれる、請求項１４に記載の画像処理方法。
20. 複数の静止画像に基づいて、画像における第１静止部分を抽出するステップ、
    複数の静止画像に基づいて、画像における前記第１静止部分として抽出されなかった部分に対応する、第２静止部分の少なくとも一部を抽出するステップ、
    前記第１静止部分と前記第２静止部分とを合成して、合成画像を生成するステップ、
    をコンピュータに実行させるためのプログラム。
    
    
    

Images