JP5581728B2 - 画像処理装置及び方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、被写体の移動方向を判別可能な動体連写合成画像を得ることを可能にする技術に関する。

従来より、移動する被写体（以下、「被写動体」と呼ぶ）を連続して撮影することができるデジタルカメラが存在する。このようなデジタルカメラの連続撮影により、その画角の範囲内で、被写動体の配置位置が移動方向に徐々に変化していく複数の画像が得られる。なお、このようにしてデジタルカメラにより撮影された画像であって、画角の範囲内の１枚の画像を、以下、「フレーム画像」と呼ぶ。

近年、このようなデジタルカメラが実行できる処理として、連続撮影により得られた複数のフレーム画像内の被写動体を、各々の配置位置を保持したまま合成する処理が知られている（例えば特許文献１，２参照）。なお、このような処理を、以下、「動体連写合成処理」と呼び、動体連写合成処理により得られる画像を、以下、「動体連写合成画像」と呼ぶ。

特開平０９−１０２９１０号公報 特開平０８−２２１５７７号公報

しかしながら、従来の動体連写合成画像では、被写動体の各々の配置位置を単に保持するだけであり、被写動体の移動方向を何ら考慮するものではなかった。即ち、得られた動体連写合成画像からでは、複数の被写動体の各々がどのように移動（動作）していたものであるかを把握することはできなかった。

そこで、本発明は、複数の被写動体の移動方向を判別可能な動体連写合成画像を得ることを目的とする。

本発明の第１の観点によると、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行う画像処理装置であって、該画像処理装置は、前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出手段と、前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成手段と、前記生成手段により生成された前記背景画像の画像データに対して、前記抽出手段により抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成手段と、前記合成手段により生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工手段と、を備える画像処理装置を提供する。

本発明の第２の観点によると、画像処理装置によって、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行うための画像処理方法において、前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出ステップと、前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成ステップと、前記生成ステップにおいて生成された前記背景画像の画像データに対して、前記抽出ステップにおいて抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成ステップと、前記合成ステップにおいて生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工ステップと、を含む画像処理方法を提供する。

本発明の第３の観点によると、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行う機能を有する画像処理装置を制御するコンピュータに、前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出機能と、前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成機能と、前記生成機能により生成された前記背景画像の画像データに対して、前記抽出機能により抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成機能と、前記合成機能により生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工機能と、を実現させるためのプログラムを提供する。

本発明によれば、複数の被写動体の移動方向を判別可能な動体連写合成画像を得ることができる。

本発明の第１実施形態のデジタルカメラのハードウェアの構成を示すブロック図である。 図１のデジタルカメラの撮影環境の一例を示す図である。 図２の撮影環境の下で図１のデジタルカメラの連続撮影によって得られた複数のフレーム画像の一例を示す図である。 図３の複数のフレーム画像に対して動体連写合成処理が実行されたことによって得られた動体連写合成画像の一例を示している。 図１のデジタルカメラのデータ処理部の機能的構成を示す機能ブロック図である。 図５の画像合成部により生成される動体連写合成画像の模式図である。 図５の画像加工部の処理の詳細を示す図である。 図５のデータ処理部が実行する動体連写合成処理の流れの一例を示すフローチャートである。 図８の動体連写合成処理により生成される動体連写合成画像の模式図である。 本発明の第２実施形態のデジタルカメラのデータ処理部が実行する動体連写合成処理により生成される動体連写合成画像の模式図である。 本発明の変形実施形態のデジタルカメラの表示部の表示例を示す図である。 本発明の変形実施形態のデジタルカメラの表示部の表示例を示す図である。

［第１実施形態］
図１〜図１０を参照して、本発明の一実施形態について説明する。

［デジタルカメラのハードウェア構成］
初めに、図１を参照して、本発明の画像処理装置を構成するデジタルカメラ１について説明する。図１は、本発明の画像処理装置の一実施形態に係るデジタルカメラ１のハードウェアの構成を示す図である。

デジタルカメラ１は、撮影部１１と、データ処理部１２と、ユーザインタフェース部１３と、を備える。

撮影部１１は、光学レンズ部２１と、イメージセンサ２２と、を備える。

光学レンズ部２１は、被写体を撮影するために、光を集光する前玉レンズ（図示せず）の他、被写体をイメージセンサ２２の受光面に結像させるフォーカスレンズ（図示せず）、焦点距離を一定の範囲で自在に変化させるズームレンズ（図示せず）などで構成される。光学レンズ部２１にはまた、必要に応じて、焦点、露出、ホワイトバランスなどの設定パラメータを調整する周辺回路が設けられる。

イメージセンサ２２は、光電変換素子や、ＡＦＥ(Analog Front End)などから構成される。光電変換素子は、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)型の光電変換素子などから構成される。光電変換素子には、光学レンズ部２１からシャッタ部（図示せず）を介して被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ(Analog/Digital)変換処理などの各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、イメージセンサ２２の出力信号として出力される。なお、以下、画像信号のデジタル信号を、「画像データ」と呼ぶ。このように呼称すると、イメージセンサ２２からは画像データが出力されて、データ処理部１２に供給される。

データ処理部１２は、ＣＰＵ(Central Processing Unit)３１と、ＲＯＭ(Read Only Memory)３２と、ＲＡＭ(Random Access Memory)３３と、メモリ３４と、表示制御部３５と、画像処理部３６と、を備えている。

ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラムに従って各種の処理を実行する。本実施の形態のデジタルカメラ１は、通常撮影モードに加え、後述する、被写動体を連続して撮影する動体連写合成モードを備える。ＲＯＭ３２には、通常撮影モード及び動体連写合成モード時の処理、動体連写合成モード時に実行する画像加工処理としての画調変更処理、表示制御部３５、画像処理部３６を含む各種機能を実行するためのプログラムが記憶されている。ここで、動体連写合成モードは、後述する図５の位置ズレ補正部１０１乃至画像加工部１０６の各機能により実行される。そのため、ＲＯＭ３２には、後述する図５の位置ズレ補正部１０１乃至画像加工部１０６の各機能を実行するプログラムも記憶されている。ＣＰＵ３１が、ＲＯＭ３２に記憶されているプログラムを読み出して処理を実行することで、表示制御部３５、画像処理部３６を含む各種機能、及び通常撮影モード及び動体連写合成モード時の処理を含む各種処理が実現される。
ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

メモリ３４は、ＤＲＡＭ(Dynamic Random Access Memory)やＲＯＭ(Read Only Memory)などで構成される。ＤＲＡＭには、イメージセンサ２２から出力された画像データが一時的に記憶される。ＲＯＭには、各種画像処理に必要な画像データ、パラメータ、各種フラグの値、閾値などが記憶される。メモリ３４には、画像表示用の画像データ（以下、「表示画像データ」と呼ぶ）の保存と読み出しを行うための表示メモリ領域も含まれている。

表示制御部３５は、メモリ３４の表示メモリ領域に格納された表示画像データを読み出し、表示画像データにより表現される画像（以下、「表示画像」と呼ぶ）を、ユーザインタフェース部１３の表示部４１に表示させる制御を実行する。例えば、表示制御部３５は、当該表示画像データに基づいてＲＧＢ信号を生成し、当該ＲＧＢ信号を表示部４１に供給することにより、表示画像を表示部４１に表示させる。なお、表示制御部３５により生成されたＲＧＢ信号は、ユーザインタフェース部１３の通信部４３によって、図示せぬ外部機器に出力させることもできる。これにより、外部機器、例えば、テレビジョン受像機、パソコン、プロジェクタなどでも、表示画像の表示が可能になる。

画像処理部３６は、ＤＳＰ（Digital Signal Processor）などで構成され、メモリ３４に記憶された画像データに対して、ホワイトバランス補正処理やγ補正処理などの各種画像処理を実行する。本実施形態では、後述する図５の位置ズレ補正部１０１乃至画像加工部１０６が実行する各種画像処理のうち少なくとも一部が、画像処理部３６において実行され、残りの一部がＣＰＵ３１において実行される。即ち、本実施形態では、後述する図５の位置ズレ補正部１０１乃至画像加工部１０６は、ＣＰＵ３１及び画像処理部３６というハードウェアと、ＲＯＭ３２に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。

ユーザインタフェース部１３は、デジタルカメラ１の筐体に設けられた液晶ディスプレイなどで構成される表示部４１と、ユーザの指示操作を受け付ける操作部４２と、外部機器との間での通信を制御する通信部４３と、リムーバブル記録媒体５１に対するデータの読み書きを行うドライブ４４と、を備えている。

なお、操作部４２は、図示は省略するが、シャッターキー、電源ボタン、ズームキー、選択及び決定キー及びモード切替キーなどを含み、各操作に応じた操作条件に基づき操作信号を発生してデータ処理部１２へ送出する。例えば、モード切替キーが操作されて動体連写合成モードが指定されると、操作信号がデータ処理部１２に送られ、ＣＰＵ３１は、モードを指定された動体連写合成モードに切り替える。同様に、モード切替キーが操作されて通常撮影モードが指定されると、ＣＰＵ３１は、モードを指定された通常撮影モードに切り替える。また、選択及び決定キーが操作されて、動体連写合成画像における被写動体の加工度合いが変更されると、操作信号がデータ処理部１２に送られ、ＣＰＵ３１は、変更された加工度合いに応じて被写動体の加工を行う。同様に、選択及び決定キーが操作されて、動体連写合成画像における被写動体の大きさが変更されると、ＣＰＵ３１は、変更された大きさに応じて被写動体を合成する。なお、被写動体の加工度合いの変更や、被写動体の大きさの変更については、後に図１１及び図１２を用いて説明する。このように操作者による操作部４２の操作に伴い、各種操作信号がデータ処理部１２に送られ、ＣＰＵ３１は、操作信号に応じた処理を行う。

このような構成を有するデジタルカメラ１は、動体連写合成処理を実行することができる。そこで、以下、図２乃至図４を参照して、動体連写合成処理について説明する。

図２は、デジタルカメラ１の撮影環境の一例を示す模式図である。

図３は、図２の撮影環境の下でデジタルカメラ１の連続撮影によって得られた複数のフレーム画像の一例を示している。

図２に示すように、実世界の定位置に固定されたデジタルカメラ１は、実世界の空間のうち画角６１に含まれる背景６２及び被写動体６３を連続して撮影することができる。この場合、固定状態のデジタルカメラ１の視点からすると、画角６１の範囲内で、背景６２は固定しており、被写動体６３のみが移動することになる。これにより、図３に示すように、背景６２の像７２が固定された状態で、被写動体６３の像７３のみが徐々に移動していく様子を示す、複数のフレーム画像８１乃至８５が得られることになる。

なお、以下、実世界に存在するものと、フレーム画像内の対応する像とを個々に区別する必要が無い場合、実世界に存在するものの呼称に統一して表現する。即ち、以下、背景６２の像７２を、単に「背景７２」と呼び、被写動体６３の像７３を、単に「被写動体７３」と呼ぶ。

図４は、図３の複数のフレーム画像に対して動体連写合成処理が実行されたことによって得られた動体連写合成画像の一例を示している。

図４の動体連写合成画像９１において、被写動体７３Ａ乃至７３Ｅの各々は、図３の別々のフレーム画像８１乃至８５の各々に含まれる被写動体７３を示している。このように、背景７２が固定された状態で、被写動体７３のみが徐々に移動していく様子が、１枚の動体連写合成画像９１によって表わされる。

ここで、図４の動体連写合成画像９１では、被写動体７３の移動方向を判別することができない。即ち、被写動体７３が前方（左から右）に進んでいるのか、後方（右から左）に進んでいるのかを判別できない。そこで、本実施の形態では、このような被写動体７３の移動方向を容易に判別可能な動体連写合成画像を生成することとしている。

［データ処理部の機能的構成］
図５は、被写動体７３の移動方向を判別可能な動体連写合成画像を生成可能な動体連写合成処理を実行するためのデータ処理部１２の機能的構成を示す機能ブロック図である。

データ処理部１２は、位置ズレ補正部１０１と、フレーム縮小部１０２と、被写動体抽出部１０３と、背景フレーム生成部１０４と、画像合成部１０５と、画像加工部１０６と、を備えている。また、画像加工部１０６は、加工度合い変更部１０６ａと、サイズ変更部１０６ｂと、を備えているが、加工度合い変更部１０６ａ及びサイズ変更部１０６ｂは、必ずしも必須な構成ではない。

データ処理部１２のメモリ３４内には、原フレーム記憶部１２１と、背景フレーム記憶部１２２と、抽出被写動体記憶部１２３と、動体連写合成画像記憶部１２４と、が設けられている。

原フレーム記憶部１２１には、撮影部１１の連続撮影が行われると、連続撮影により得られた複数のフレーム画像の画像データ、例えば上述した図３のフレーム画像８１乃至８５の各々の画像データが、撮影された順序で記憶される。なお、以下、原フレーム記憶部１２１に記憶されている画像データにより表現されるフレーム画像を、「原フレーム画像」と呼ぶ。

位置ズレ補正部１０１は、原フレーム記憶部１２１に記憶された画像データに対して、各原フレーム画像の位置ズレを補正する処理を実行する。このような位置ズレ補正部１０１の処理を、以下、「補正処理」と呼ぶ。

フレーム縮小部１０２は、位置ズレ補正部１０１から出力された各原フレーム画像の画像データに対して、画像サイズを縮小させる処理を実行する。このようなフレーム縮小部１０２の処理を、以下、「縮小処理」と呼ぶ。また、縮小処理後の原フレーム画像を、以下、「縮小原フレーム画像」と呼ぶ。本実施形態では、このような縮小原フレーム画像から被写動体が検出される。検出の処理速度が向上しつつ、十分な検出精度を得ることが可能だからである。フレーム縮小部１０２から出力された各縮小原フレーム画像の画像データは、被写動体抽出部１０３に供給される。

被写動体抽出部１０３は、各縮小原フレーム画像の画像データを用いて、被写動体を含まずに背景のみを含む画像（以下、「疑似背景フレーム画像」と呼ぶ）の画像データを生成する。ここで、各縮小原フレーム画像における被写動体の画角内の各々の配置位置はばらばらになっている。従って、各縮小原フレーム画像の同一画素位置の各画素値のメディアンを取ることによって、被写動体を示す画素値を除外すること、即ち、被写動体を含まない画像を生成することが可能になる。そこで、本実施形態では、被写動体抽出部１０３は、各縮小原フレーム画像の同一画素位置の各画素値のメディアン値を演算し、各々のメディアン値を各々の画素値として有する画像の画像データを、疑似背景フレーム画像の画像データとして生成する。
次に、被写動体抽出部１０３は、各縮小原フレーム画像の各々の画像データと、疑似背景フレーム画像の画像データとの差分を画素毎に求める。そして、被写動体抽出部１０３は、各縮小原フレーム画像の各々について、差分量が一定以上大きくなっている領域（画素群）を、被写動体の領域としてそれぞれ検出する。
続いて、被写動体抽出部１０３は、当該検出結果に基づいて、各原フレーム画像の画像データの各々から、被写動体の画像データ及び各原フレーム画像における被写動体の存在位置（即ち、各原フレーム画像の画像データにおける被写動体の画像データの位置情報）を抽出する。なお、被写動体抽出部１０３は、被写動体の画像データ及び当該画像データの位置情報を、連続撮影により撮影された順序、即ち、被写動体の移動方向に対応付けて抽出することが好ましい。被写動体抽出部１０３により抽出された被写動体の画像データ及び当該画像データの位置情報は、連続撮影により撮影された順序と対応付けられて抽出被写動体記憶部１２３に記憶される。

背景フレーム生成部１０４は、各原フレーム画像の画像データを用いて、動体連写合成画像の生成の際の基礎となる背景を含む画像（以下、「背景フレーム画像」と呼ぶ）の画像データを生成する。背景フレーム画像の画像データの生成は、任意の方法により行うことができ、例えば、各原フレーム画像の画像データを用いて、同一位置の各画素値のメディアンを取ることによって生成してもよく、また、同一位置の各画素値の加算平均値を演算し、各々の加算平均値を各々の画素値として有する加算平均合成画像の画像データを背景フレーム画像の画像データとして生成してもよい。また、各原フレーム画像のうちの所定の１枚、例えば最初に撮影された原フレーム画像を、背景フレーム画像の画像データとして生成してもよい。背景フレーム生成部１０４により生成された背景フレーム画像の画像データは、背景フレーム記憶部１２２に記憶される。

画像合成部１０５は、背景フレーム画像の画像データを背景フレーム記憶部１２２から読出し、各原フレーム画像からそれぞれ抽出された各被写動体の画像データを、抽出被写動体記憶部１２３から読み出す。そして、画像合成部１０５は、読み出した画像データに対して、背景フレーム画像の上に、複数の被写動体の各々を、抽出元の原フレーム画像における存在位置を保持したまま合成させるような合成処理を実行する。これにより、動体連写合成画像の画像データが得られ、当該画像データは、画像合成部１０５から出力されて画像加工部１０６に供給される。

図６は、生成された動体連写合成画像の模式図である。
背景フレーム生成部１０４により生成された背景フレーム画像１８１の上に、連続撮影により得られた原フレーム画像８１乃至８５の各々から被写動体７３の画像データが抽出され、抽出元の原フレーム画像８１乃至８５の各々における存在位置を保持したまま、背景フレーム画像１８１に合成される。

画像加工部１０６は、画像合成部１０５から供給された動体連写合成画像の画像データの加工処理を行う。

本実施の形態では、加工処理の好適な一例として、動体連写合成画像の画像データの画調を変更すると共に、動体連写合成画像の画像データに含まれる複数の被写動体の画像データの各々をタッチ（以下、「筆触」と呼ぶ）が異なるように加工する。「画調」とは、画像から感じることができる印象に基づいて規定されるもので、「日本画調」、「西洋画調」、「水彩画調」、「水墨画調」、「ペン画調」、「ゴッホ調」など、様々に分類することができる。
画像データを特定の画調に変更する手法については、例えば、特開平１０−０１１５６９号公報及び特開２００６−０３１６８８号公報に開示された技術を用いてもよい。具体的には、画像データを構成する画素から、色などを基準として相関の高い画素を集め、グループを形成する。続いて、それぞれのグループの画素に対して、同一のグループの画素については色を該グループの代表色に置き換える。こうして色を代表色に置き換えられた画素のグループがそれぞれの筆触を形成する。かかる画像加工処理によると、グループとして集められる画素の相関の取り方、及び同一の色（代表色）の画素により構成されるグループの形状（長さ（距離）、扁平度）を変化させることによって、形成される筆触を変化させることができ、結果的に、画像データが表す画像の画調を様々な絵画調に変更することができる。本実施の形態では、各種画調毎に、それぞれの処理で用いる相関度、グループの形状を表す長さ、扁平度などのパラメータの最適な組み合わせが設定されており、この情報がメモリ３４に記憶されている。画像合成部１０５はメモリ３４に記憶された情報に基づいて各種画調への変更を行うものとする。

また、複数の被写動体の画像データの各々を異なる筆触に変更することは、画調を変更する際に、筆触を構成する画素を集めたグループの形状、例えば、グループの扁平度を調整することによって実現できる。
図７に、このようにして生成される筆触を表す画素のグループの一例を示す。例えば、図７（１）（ａ）に示すように、筆触を表す同一の色の画素によって構成されるグループの扁平度を大きくすると、筆触は太くなり、結果として画像のタッチは荒く表示される。図７（１）（ｃ）に示すように、同一の色の画素によって構成されるグループの扁平度を小さくすると、小さな筆触を作り出すことができ、結果として、画像のタッチが細かく表示される。図７（１）（ｃ）に示すグループは標準的な筆触を表している。

ここで、本実施の形態では、複数の被写動体の画像データのうち、時間的に未来の被写動体の画像データの筆触を小さくし（タッチを細かくし）、時間的に過去の被写動体の画像データの筆触を太くする（タッチを荒くする）ように加工処理を行う。そのため、図７（２）（ａ）に示すように、時間的に過去の被写動体７３Ａでは、当該被写動体７３Ａの画像データを構成する画素から画調を変更する際に、生成されるグループの扁平度を高く設定しておく。一方、時間的に未来の被写動体７３Ｅでは、時間的に過去の被写体を表す画像データを処理する場合よりも、生成されるグループの扁平度を低く設定しておく。これにより、時間的に過去の被写動体７３Ａの画像データは大きな筆触からなる画調の画像に加工され、時間的に未来の被写動体７３Ｅの画像データは小さな筆触からなる画調の画像に加工される。その結果、複数の被写動体の画像データは、移動元から移動先に向かって筆触が細かく（明確に）なる。

なお、動体連写合成画像の画像データに含まれる被写動体の画像データは、任意の方法で特定することができるが、一例としては、各原フレーム画像の画像データにおける被写動体の画像データの位置情報から特定することができる。この場合において、当該位置情報には、連続撮影により撮影された順序、即ち、被写動体の移動方向が対応付けられているため、複数の被写動体の画像データを移動方向に応じて異なる筆触に加工することができる。

図５に戻り、画像加工部１０６により加工処理された動体連写合成画像の画像データは、動体連写合成画像記憶部１２４に記憶される。そして、動体連写合成画像記憶部１２４に記憶された動体連写合成画像の画像データが、メモリ３４の表示メモリ領域に表示画像データとして格納されると、表示制御部３５は、当該表示画像データを読み出し、その表示画像データにより表現される画像、即ち、動体連写合成画像を表示部４１に表示させる制御を実行する。

続いて、加工度合い変更部１０６ａ及びサイズ変更部１０６ｂについて説明する。加工度合い変更部１０６ａ及びサイズ変更部１０６ｂは、操作部４２からの操作信号を受けて所定の処理を行う手段である。

加工度合い変更部１０６ａは、操作部４２からの操作信号に基づいて、時間的に異なる被写動体の加工度合いを変更する。なお、「加工度合い」とは、例えば、時間的に異なる被写動体の筆触の大きさや濃度の変化の度合いを含む。具体的には、加工度合い変更部１０６ａは、操作部４２からの操作信号に基づいて、筆触を構成する画素を集めたグループの形状、例えば、グループの扁平度、画素の強度、貼り付けるテクスチャの粗さなどを変更することによって、加工度合いを変更する。加工度合い変更部１０６ａについては、本実施の形態において必須の構成ではないため、詳細については後述する変形実施形態で説明する。

サイズ変更部１０６ｂは、操作部４２からの操作信号に基づいて、動体連写合成画像中の被写動体の大きさを変更する。具体的には、サイズ変更部１０６ｂは、操作部４２からの操作信号に基づいて、被写動体の画像データを拡大又は縮小することによって、被写動体の大きさを変更する。サイズ変更部１０６ｂについては、本実施の形態において必須の構成ではないため、詳細については後述する変形実施形態で説明する。

［動体連写合成処理のフロー］
次に、図８のフローチャートを参照して、このようなデジタルカメラ１が実行する動体連写合成処理について説明する。

ユーザが操作部４２、例えば、選択及び決定キーを操作することで動体連写合成モードに切り替えられると、ＣＰＵ３１がＲＯＭ３２に記憶された動体連写合成処理プログラムに従って、データ処理部１２を含む各種機能を制御する。
図８を参照して、動体連写合成処理の流れを説明する。以下に示す処理は、ステップＳ１において、操作者がシャッターキーを操作して連続撮影を行うことによって、開始する。

ステップ１において、撮影部１１は、シャッターキーを操作に伴い連続撮影を行う。次に、ステップ２おいて、原フレーム記憶部１２１は、撮影部１１により連続撮影された複数の原フレーム画像の画像データを連続撮影が行われた順に記憶する。

続いて、ステップＳ３において、位置ズレ補正部１０１は、原フレーム記憶部１２１に記憶された各原フレーム画像の画像データに対して、位置ズレ補正処理を実行する。本実施形態では、位置ズレ補正部１０１は、当該補正処理として、各原フレーム画像の各々から特徴点を抽出し、それらの特徴点が重なり合うように各原フレーム画像の射影変換する処理を実行する。

続いて、ステップＳ４において、フレーム縮小部１０２は、ステップＳ３の処理で位置ズレ補正処理が実行された各原フレーム画像の画像データに対して、画像サイズを縮小させる縮小処理を実行する。これにより、各原フレーム画像の各々に対応する縮小原フレーム画像が得られる。

続いて、ステップＳ５において、被写動体抽出部１０３は、各縮小原フレーム画像の画像データを用いて、疑似背景フレーム画像の画像データを生成する。上述したように、本実施形態では、被写動体抽出部１０３は、各縮小フレーム画像の同一画素位置の各画素値のメディアン値を演算し、各々のメディアン値を各々の画素値として有する画像の画像データを、疑似背景フレーム画像の画像データとして生成する。

続いて、ステップＳ６において、被写動体抽出部１０３は、全ての原フレーム画像について被写動体を抽出する処理が終了したか否かを判定する。このとき、被写動体が未だ抽出されていない原フレーム画像が存在する場合、例えば上述の図６の例では原フレーム画像８１乃至８５の中に、被写動体が未だ抽出されていない原フレーム画像が存在する場合、ステップＳ６においてＮＯであると判定されて、処理はステップＳ７に進む。

ステップＳ７において、被写動体抽出部１０３は、被写動体が未だ抽出されていない原フレーム画像を注目画像に設定し、注目画像に対応する縮小原フレーム画像の画像データと、疑似背景フレーム画像の画像データとの差分を取ることで、被写動体の領域を検出する（縮小原フレーム画像−疑似背景フレーム画像＝被写動体領域）。すると、被写動体抽出部１０３は、このような検出結果に基づいて、注目画像の画像データから被写動体の画像データを抽出する。抽出された被写動体の画像データ及び注目画像における被写動体の相対的な存在位置は、連続撮影により撮影された順序と対応付けられて抽出被写動体記憶部１２３に記憶される。

このようにしてステップＳ７の処理が終了すると、処理はステップＳ６に戻され、それ以降の処理が繰り返される。即ち、ステップＳ６ＮＯ，Ｓ７のループ処理が繰り返されることによって、各原フレーム画像の画像データ各々から被写動体の画像データが抽出される。例えば図６の例では、原フレーム画像８１乃至８５の画像データの各々から被写動体７３の画像データが抽出される。これにより、次のステップＳ６においてＹＥＳであると判定されて、処理はステップＳ８に進む。

ステップＳ８において、背景フレーム生成部１０４は、各原フレーム画像の画像データを用いて、背景フレーム画像の画像データを生成して、背景フレーム記憶部１２２に記憶させる。背景フレーム画像の画像データの生成は、上述した方法により行うことができる。

続いて、ステップＳ９において、画像合成部１０５は、全ての原フレーム画像について被写動体を背景フレーム画像に合成する合成処理が終了したか否かを判定する。このとき、被写動体が未だ合成されていない原フレーム画像が存在する場合、例えば上述の図６の例では原フレーム画像８１乃至８５の中に、被写動体が未だ合成されていない原フレーム画像が存在する場合、ステップＳ９においてＮＯであると判定されて、処理はステップＳ１０に進む。

ステップＳ１０において、画像合成部１０５は、被写動体が未だ合成されていない原フレーム画像を注目画像に設定し、注目画像に対する合成処理を実行する。即ち、画像合成部１０５は、前回までに合成された被写動体を含む背景フレーム画像の画像データに対して、注目画像から抽出された被写動体の画像データを合成する。なお、サイズ変更部１０６ｂにより被写動体の大きさが変更されている場合には、画像合成部１０５は、当該大きさの被写動体の画像データを背景フレーム画像の画像データに合成する。

このようにしてステップＳ１０の処理が終了すると、処理はステップＳ９に戻され、それ以降の処理が繰り返される。即ち、ステップＳ９ＮＯ，Ｓ１０のループ処理が繰り返されることによって、ステップＳ８の処理で背景フレーム画像として採用された原フレーム画像の画像データに対して、各原フレーム画像の各々から抽出された被写動体の画像データが、元の配置位置と同一位置に順次合成されていく。例えば図６の例では、背景フレーム画像の画像データに対して、原フレーム画像８１乃至８５の各々から抽出された被写動体７３の画像データが、元の配置位置と同一位置に順次合成されていく。これにより、次のステップＳ９においてＹＥＳであると判定されて、処理はステップＳ１１に進む。

ステップＳ１１において、画像加工部１０６は、ステップＳ１０において合成された合成画像に含まれる全ての被写動体について加工処理が終了したか否かを判定する。このとき、未だ加工していない被写動体が存在する場合、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ１２に進む。

ステップＳ１２において、画像加工部１０６は、ステップＳ１０において合成された合成画像に含まれる被写動体のうち未だ加工されていない被写動体を注目画像に設定し、注目画像に対する加工処理を実行する。このとき、画像加工部１０６は、複数の被写動体の各々を、撮影された順序で異なる態様で加工する。なお、加工度合い変更部１０６ａにより加工度合いが変更されている場合には、画像加工部１０６は、複数の被写動体の各々を当該加工度合いに応じた異なる態様で加工する。

このようにしてステップＳ１２の処理が終了すると、処理はステップＳ１１に戻され、それ以降の処理が繰り返される。即ち、ステップＳ１１ＮＯ，Ｓ１２のループ処理が繰り返されることによって、ステップＳ１０の処理で合成された画像データに含まれる被写動体の各々が異なる態様に加工される。その結果、動体連写合成画像が生成されて動体連写合成画像記憶部１２４に記憶される。これにより、次のステップＳ１１においてＹＥＳであると判定されて、動体連写合成処理が終了する。

［動体連写合成画像の例］
図９を参照して、このようにして生成される動体連写合成画像について説明する。
図９は、画像加工部１０６により複数の被写動体の画像データの各々を異なる大きさの筆触に加工した場合に生成される動体連写合成画像９１Ａを示す。動体連写合成画像９１Ａにおいて、背景７２Ａが固定された状態で、被写動体７３Ａ乃至７３Ｅの各々が抽出元の原フレーム画像８１乃至８５の各々における存在位置を保持したまま合成されている。このとき、被写動体７３Ａ乃至７３Ｅは、各々筆触が異なって表されている。即ち、時間的に最も過去の被写動体７３Ａが最も大きな筆触（荒いタッチ）で表わされ、時間的に次に過去の被写動体７３Ｂが次に大きな筆触で表わされ、時間的に次に過去の被写動体７３Ｃが次に大きな筆触で表わされ、時間的に次に過去の被写動体７３Ｄが次に大きな筆触で表わされ、時間的に最も未来の被写動体７３Ｅが最も小さな筆触（細かいタッチ）で表わされている。このように、動体連写合成画像９１Ａでは、被写動体７３Ａ乃至７３Ｅが時間的に未来に行くにつれ細かい画質で表される。よって、動体連写合成画像９１Ａでは、背景７２が固定された状態で、被写動体のみが徐々に移動していく様子だけでなく、被写動体の移動方向までも表すことができる。
なお、図９においては、画像加工部１０６の処理により背景７２が絵画調の背景７２Ａに加工されている。

なお、上記加工処理の例は一例に過ぎず、本発明は、複数の被写動体の画像データの各々を異なる態様で加工することで、動体連写合成画像における被写動体の移動方向を判別可能な他の加工処理も含むものである。更に、筆触の加工においても、例えば、筆触の細かいテクスチャのデータと筆触の荒いテクスチャのデータを複数種類、予め用意しておき、時間的に未来の被写動体には筆触のより細かいテクスチャを用い、時間的に過去の被写体には筆触のより荒いテクスチャを用いて加工する処理を用いるようにしてもよく、用途と実装に応じて様々な応用が可能である。詳細は第２実施形態で述べるが、好適な加工処理の別の一例としては、動体連写合成画像の画像データに含まれる複数の被写動体の画像データの各々を異なる濃度に加工することも可能である。

［第２実施形態］
続いて、本発明の第２実施形態について、図１０を参照して説明する。第１実施形態では、動体連写合成処理として、画像加工部１０６が、時間的に未来の被写動体には筆触をより細かく、時間的に過去の被写体には筆触をより荒く加工する処理を実行する構成について説明したが、第２実施形態では、動体連写合成処理として、画像加工部１０６が、被写動体の画像データを構成する各々の画素の強度を、時間的に未来の被写動体と、時間的に過去の被写体との間で異なるように加工する点が第１実施形態とは異なる。なお、第２実施形態のデジタルカメラの構成は、ＲＯＭ３２に、動体連写合成モード時に実行する画像加工処理として、画調変更処理に代えて、或いは追加して、被写動体の画像データの各々を構成する画素の強度を、時間的に未来の被写動体と、時間的に過去の被写体との間で異なるように加工する画素強度変更処理を実行するためのプログラムが保存されている。本実施形態のデジタルカメラは、例えば、選択及び決定キーを操作することで動体連写合成モードに切り替えられると、ＣＰＵ３１がＲＯＭ３２に保存されたプログラムを実行して、画像加工処理として画素強度変更処理を実行する点を除くと、第１実施形態のデジタルカメラ１の構成と略同一である。このため、第１実施形態のデジタルカメラ１と同一の構成には同一の番号を付して説明を省略し、画像加工部が画像加工処理として実行する画素強度変更処理について説明する。

画像加工部１０６は、複数の被写動体の画像データの各々の画素の強度が、時間的に未来の被写動体と、時間的に過去の被写体との間で異なるように加工する。この場合においても、被写動体の移動方向に応じて移動元から移動先に向かって画素の強度を変化、即ち、時間的に過去の被写動体の画像データの画素の強度を弱くし、時間的に未来になるにつれて被写動体の画像データの画素の強度を強くすることが好ましい。これにより、複数の被写動体の画像データは、移動元から移動先に向かって濃度が濃く（明確に）なる。
具体的には、画像加工部１０６は、動体連写合成画像の画像データに対して、被写動体が撮影された順序と、原画像の画像データにおける被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体の画像データを構成する画素の強度が、時間的に過去の被写動体の画像データを構成する画素の強度より大きくなるように加工する。

次に、図１０は、複数の被写動体の画像データの各々を異なる濃度に加工した場合に生成される動体連写合成画像９１Ｂを示す。動体連写合成画像９１Ｂにおいて、時間的に最も過去の被写動体７３Ａが最も薄く表わされ、時間的に次に過去の被写動体７３Ｂが次に薄く表わされ、時間的に次に過去の被写動体７３Ｃが次に薄く表わされ、時間的に次に過去の被写動体７３Ｄが次に薄く表わされ、時間的に最も未来の被写動体７３Ｅが最も濃く表わされている。このように、動体連写合成画像９１Ｂでは、時間的に未来に行くにつれ被写動体７３Ａ乃至７３Ｅが濃くなるように表される。よって、動体連写合成画像９１Ｂであっても、被写動体の移動方向を判別できる。

なお、被写動体の筆触の大きさと被写動体の濃度とを併せて、移動方向を判別可能にしてもよい。また、時間的に過去の被写動体ほど画質を細かく（濃く）し、未来の被写動体ほど画質を荒く（薄く）することとしてもよい。

［変形実施形態］
画像加工部１０６は、加工度合い変更部１０６ａにより変更された加工度合いで、各被写動体の画像データを加工処理することとしてもよい。また、画像加工部１０６は、サイズ変更部１０６ｂにより変更された大きさの各被写動体の画像データを、背景フレーム画像の画像データに合成することとしてもよい。

［加工度合い変更の例］
図１１を参照して、加工度合い変更部１０６ａにより行われる被写動体の加工度合い変更の例について説明する。なお、図１１では、時間的に異なる被写動体の濃度の度合いを変更することを例にとって説明するが、時間的に異なる被写動体の筆触の大きさの度合いを変更可能にしてもよい。

図１１（１）を参照して、デジタルカメラ１の表示部４１に濃度変更設定画面２００を表示し、濃度変化選択欄２０１からユーザが濃度の変化度合いを選択可能にしている。例えば、「大きい」が選択された場合には、時間的に異なる被写動体の濃度の変化が大きくなり、「小さい」が選択された場合には、時間的に異なる被写動体の濃度の変化が小さくなる。なお、ユーザが任意に濃度の変化度合いを選択可能であればよく、「大きい」「普通」「小さい」など予め定めたものでなく、変化度合い（即ち、画素の強度）を数値で設定するなど詳細な設定も可能にしてもよい。

図１１（２）は、変化度合いとして「小さい」が選択された場合の動体連写合成画像９１Ｃを示す。動体連写合成画像９１Ｃでは、時間的に異なる被写動体の濃度の変化が小さく表示されている。その結果、被写動体７３Ａ乃至７３Ｅの各々について、加工度合いを小さくなり、移動方向を認識可能でありながら、より自然な動体連写合成画像を得ることができる。

また、図１１（３）は、変化度合いとして「大きい」が選択された場合の動体連写合成画像９１Ｄを示す。動体連写合成画像９１Ｄでは、時間的に異なる被写動体の濃度の変化が大きく表示されている。その結果、被写動体７３Ａ乃至７３Ｅの移動方向がより明確になる。

このように、時間的に異なる被写動体の加工度合いをユーザの選択により任意に変更可能としたため、被写動体の移動方向を把握可能な動体連写合成画像のうち、ユーザの好む動体連写合成画像を提供でき、結果として、ユーザに対して新たな印象を与えることが可能となる。

［大きさ変更の例］
図１２を参照して、サイズ変更部１０６ｂにより行われる動体連写合成画像中の被写動体の大きさ変更の例について説明する。

図１２（１）を参照して、デジタルカメラ１の表示部４１に被写動体サイズ選択画面２１０を表示し、サイズ選択欄２１１からユーザが濃度の被写動体の大きさを選択可能にしている。例えば、「大きい」が選択された場合には、動体連写合成画像中の被写動体の大きさが大きくなり、「小さい」が選択された場合には、動体連写合成画像中の被写動体の大きさが小さくなる。
なお、ユーザが任意に被写動体の大きさを選択可能であればよく、「大きい」「普通」「小さい」など予め定めたものでなく、数値で設定するなど詳細な設定も可能にしてもよい。また、動体連写合成画像中の複数の被写動体の大きさを一括して変更することとしてもよく、また、動体連写合成画像中の複数の被写動体の各々の大きさを個別に変更することとしてもよい。

図１２（２）は、被写動体の大きさとして「小さい」が選択された場合の動体連写合成画像９１Ｅを示す。動体連写合成画像９１Ｅでは、動体連写合成画像中の被写動体７３Ａ乃至７３Ｅの大きさが小さくなる。
また、図１２（３）は、被写動体の大きさとして「大きい」が選択された場合の動体連写合成画像９１Ｆを示す。動体連写合成画像９１Ｆでは、動体連写合成画像中の被写動体７３Ａ乃至７３Ｅの大きさが大きくなる。

このように動体連写合成画像中の被写動体の大きさをユーザの選択により任意に変更可能としたため、被写動体の移動方向を把握可能な動体連写合成画像のうち、ユーザの好む動体連写合成画像を提供できる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。例えば、上述した実施形態では、被写体の移動方向を判別可能とするため、具体的には、時間的に未来の被写動体を時間的に過去の被写動体より高い鮮明度で表示されるように画像データを加工するものとして説明したが、本発明はこれに限定されない。時間的に未来の被写動体と時間的に過去の被写動体とが判別可能となるのならば、例えば、時間的に未来の被写動体を時間的に過去の被写動体より低い鮮明度で表示されるように画像データを加工するなど、被写動体の時間的な推移に応じて鮮明度を変化させることも可能であり、様々な変形態様が想到可能である。

上述した実施形態では、画像加工部１０６により生成された画像データをメモリ３４に設けられた動体連写合成画像記憶部１２４に記憶することとしているが、これに限られるものではない。例えば、リムーバブル記録媒体５１に画像加工部１０６により生成された画像データを記憶することとしてもよい。
また、上述した実施形態では、画像加工部１０６により合成した画像データを表示部４１に表示することとしているが、当該画像データを印刷するようにしてもよい。

上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、カメラ付き携帯電話、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパソコンであってもよい。

このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ３２や、図示せぬハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・デジタルカメラ、１１・・・撮影部、１２・・・データ処理部（記憶手段、抽出手段、生成手段、合成手段、加工手段、加工度合い変更手段、サイズ変更手段）、１３・・・ユーザインタフェース部、２１・・・光学レンズ部、２２・・・イメージセンサ、３１・・・ＣＰＵ（抽出手段、生成手段、合成手段、加工手段、加工度合い変更手段、サイズ変更手段）、３２・・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・メモリ（記憶手段）、３５・・・表示制御部、３６・・・画像処理部、１０１・・・位置ズレ補正部、１０２・・・フレーム縮小部、１０３・・・被写動体抽出部（抽出手段）、１０４・・・背景フレーム生成部（生成手段）、１０５・・画像合成部（合成手段）、１０６・・・画像加工部（加工手段）、１０６ａ・・・加工度合い変更部（加工度合い変更手段）、１０６ｂ・・・サイズ変更部（サイズ変更手段）、１２１・・・原フレーム記憶部（記憶手段）、１２２・・・背景フレーム記憶部、１２３・・・抽出被写動体記憶部、１２４・・・動体連写合成画像記憶部

Claims (7)

1. 移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行う画像処理装置であって、該画像処理装置は、
   前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出手段と、
   前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成手段と、
   前記生成手段により生成された前記背景画像の画像データに対して、前記抽出手段により抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成手段と、
   前記合成手段により生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工手段を備え、
   前記加工手段は、
   前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体が、時間的に過去の被写動体に対して筆触が異なるように、前記動体連写合成画像の画像データに含まれる画素の少なくとも色を基準としての相関に基づいて生成された画素のグループの形状を、時間的に未来の被写動体の画像データの筆触を細かくし、時間的に過去の被写動体の画像データの筆触を荒くするように変化させる、
   ことを特徴とする画像処理装置。
2. 前記加工手段は、
   前記動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体の画像データを構成する画素の強度が、時間的に過去の被写動体の画像データを構成する画素の強度とは異なるように加工する、
   請求項１に記載の画像処理装置。
3. 前記加工手段は、
   前記動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体の画像データに、時間的に過去の被写動体の画像データと比較して、画素の細かさの異なるテクスチャのデータを貼り付けて加工する、
   請求項１に記載の画像処理装置。
4. 前記加工手段は、
   前記動体連写合成画像の画像データに対して、前記原画像の画像データにおける前記被写動体の画像データの位置情報に基づいて、前記被写動体の画像データに対する加工の度合いを変更する加工度合い変更手段を備える、
   請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記加工手段は、
   前記動体連写合成画像の画像データに対して、前記原画像の画像データにおける前記被写動体の画像データの位置情報に基づいて、前記原画像に対する前記被写動体の大きさを変更するサイズ変更手段を備える、
   請求項１乃至４の何れか１項に記載の画像処理装置。
6. 画像処理装置によって、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行うための画像処理方法において、
   前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出ステップと、
   前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成ステップと、
   前記生成ステップにおいて生成された前記背景画像の画像データに対して、前記抽出ステップにおいて抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成ステップと、
   前記合成ステップにおいて生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工ステップと、
   前記加工ステップは、
   前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体が、時間的に過去の被写動体に対して筆触が異なるように、前記動体連写合成画像の画像データに含まれる画素の少なくとも色を基準としての相関に基づいて生成された画素のグループの形状を、時間的に未来の被写動体の画像データの筆触を細かくし、時間的に過去の被写動体の画像データの筆触を荒くするように変化させるステップ、
   を含む画像処理方法。
7. 移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行う機能を有する画像処理装置を制御するコンピュータに、
   前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出機能と、
   前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成機能と、
   前記生成機能により生成された前記背景画像の画像データに対して、前記抽出機能により抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成機能と、
   前記合成機能により生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工機能を備え、
   前記加工機能は、
   前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体が、時間的に過去の被写動体に対して筆触が異なるように、前記動体連写合成画像の画像データに含まれる画素の少なくとも色を基準としての相関に基づいて生成された画素のグループの形状を、時間的に未来の被写動体の画像データの筆触を細かくし、時間的に過去の被写動体の画像データの筆触を荒くするように変化させること、
   を実現させるためのプログラム。

Images