JP4750854B2 - 画像処理方法および装置とそのプログラム - Google Patents

Description

本発明は、撮影した複数の静止画像を合成する画像処理に係り、特に手振れ補正など画像を重ね合わせる技術に関する。

近年、デジタルカメラなどの撮影装置により撮影された画像の手振れ補正は、短露光の連写画像を合成することで手振れ補正をしている。これらは特定の被写体を連写し、連写した画像を位置合わせして合成する。最終的に合成した画像は、複数枚の同一位置の画素を合成（画素値を加算して平均化）したものであるが、領域によって合成に使用された枚数が異なる場合がある。

連写画像では手振れの他に被写体の動きがあるため、単純加算では被写体が多重化することがある。連写画像間の相関を検出し、画素差が無い場合は合成を、画素差がある場合は差のある画像を合成に使わないことで、多重化を防ぐことができる（動き領域検出）。また、画像間にずれがある場合、画像が重なり合う領域（共通領域）と重ならない領域とがある。共通領域は複数画像によって合成できるが、それ以外の領域では合成できない。このように、連写画像の合成は、１枚のみからできた領域、２枚合成でできた領域、３枚合成でできた領域、などが混在する合成画像になる。画像のノイズはこの合成に使用した枚数によって異なる。例えばノイズは、複数画像を合成することによってランダムノイズが平均化されるために、画像合成枚数が多いほど少なくなる。そのため、１枚の画像の中にノイズの多い領域、少ない領域が混在することになる。

このような合成画像に従来は、撮影画像をくっきりと見せるために輪郭強調処理を実施したりしているが、輪郭強調処理では、画像のくっきり感は高まるが、半面ノイズが強調されてしまう。そこで、通常はノイズが強調されずにくっきり感が高まるぎりぎりの調整を実施する。

また、単純に画像合成した手振れ補正結果の画像では、重ね合わせ枚数の異なる領域が混在する。そのため、ノイズ量は重ね合わせ枚数によって異なり、輪郭強調を重ね合わせ枚数の少ない領域に合わせて輪郭強調をする場合、強い輪郭強調がかけられずくっきり感が弱くなってしまう。また、重ね合わせ枚数の多い領域に合わせるとノイズが強調されてしまう。

そこで、特許文献１では動画像のフレーム間の動きベクトル（動き領域と非動き領域）に基づき、合成枚数を減らしたり、増やしたりし、動画像の最初のフレームに合成枚数に応じて複数のフレームの画素を内挿し合成する提案がされている。

しかし、特許文献１によれば、複数の低解像度画像から高解像度画像への変換の高画質化が困難であるとともに、第ｎフレームと第ｎ＋ａフレームとを入力し、その間のａ＋１枚の画像と、さらにａ＋１枚から内挿により生成した中間フレームとを用いて画像合成している。

それに対し、複数の画像から画像を合成するものであり、動きベクトルに応じて画像合成に使用する２フレームを変更し、２フレームの間隔aを短くする。これは「合成に使用する画像の決定」であり、合成結果の画像に対して、何の処理をするかは記載されていない。

特許文献２では、領域毎に画像合成を行い、領域毎に動きベクトルにより判定した結果に応じて、画像合成の方法（画像処理）を切り替える提案がされている。
しかし、特許文献２によれば、画像の振れには「被写体振れ」と「手振れ」があり、同一の振れ除去処理ではこれらを同時に除去できない。また、手振れ、被写体振れを検知し、振れの種類に応じた画像処理を施している。しかし、検知した振れの種類に応じて画像処理を切り替えるものであるが、その判別基準は「振れの種類」であり画像合成枚数ではない。画像処理を切り替える契機が異なる。

つまり特許文献１は動きベクトルに応じて画像合成に使用するフレームを決定するものである。特許文献２は振れの種類で処理を切り替えるものである。
特許文献３では、原画像を読み取る読取機において、文字領域と濃淡画像領域とを判別し、それぞれの領域に対して異なるパラメータで処理（影付け、輪郭化など）を実施する方式が提案されている。

しかし、特許文献３によれば、１画像内を複数の領域に分割して異なるパラメータで処理をする方法は同じであるが、複数画像の画像合成処理に基づいて画像を領域に分割して異なるパラメータで処理を実施する画像分離手法であり、１画像から領域を分離するものではない。

特許文献４では、撮影画像を読み取って主要部領域と背景領域とを分離し、主要部領域、あるいは背景領域に色再現パラメータで画像処理する方式が提案されている。
しかし、特許文献４によれば、１画像を分離して、異なる画像処理を行うのは上記と同じであるが、１画像を元に主要部と背景とを分離するため画像分離手法が異なる。

特許文献５では、被写体の映った画像と映っていない画像から、被写体のみを抽出する方式が提案されている。
しかし、特許文献５によれば、複数画像を用いて領域を分離する方法は同じであるが、複数画像を合成するのに対して分離している。また、合成画像に対して領域ごとに異なる処理を行うのに対し、抽出を容易にするために分離前の元画像に対して異なる処理を行っている。

特許文献６では、カラー画像から特定領域を抽出して領域に応じた画像処理が提案されている。
しかしながら、画像領域に応じて、合成対象とする枚数が異なると、最終的に得られる画像のノイズの多さは合成枚数に左右されるため、画像全体に対して一律ではない。そのためノイズ除去をしなければならない。また、画像解析（エッジ部検出等）を行って、対象部分のみノイズ除去することも考えられるが、画像解析には複雑な処理が必要となり、処理時間や回路規模の増大を招く。また、画像解析は必ずしも所望の結果が得られない。

例えばノイズ除去を実施する場合、これまでは画像全体に対して同一のパラメータで処理を行い、ノイズの多い場所はノイズ除去を行い、エッジ部はノイズ除去を行わないなどの画像解析を行って解析結果に応じてパラメータを切り替えるなどを行っている。

そして、ノイズ除去は、画像に対してフィルタ処理を行う。ノイズ領域にかけるとノイズが減少するが、エッジ部にかけるとエッジがぼやけてしまい、シャープ感が無くなるといった問題がある。また、画像全体に一律に同じパラメータでかけると副作用がある領域（エッジ部など）が生じるため、副作用が生じない弱めの処理しかかけられないという問題がある。
特開２０００−１９４８４５号公報 特開２００３−１３４３８５号公報 特許第３０２３３７４号公報 特許第３４０８７７０号公報 特開平８−１９４１１３号公報 特開平１１−２６６３５８号公報

本発明は複数の画像が合成されて構成される合成画像の領域ごとに、その領域に合成した合成枚数に応じて処理を変え、画像内に特性の異なる領域が存在する合成画像に対する画像処理を、簡易な構成によって行う適応型画像処理方法および装置とそのプログラムを提供することを目的とする。

本発明である複数の画像を取得し合成画像を作成する画像処理方法であって、前記画像を合成するとき、前記合成画像の領域ごとに前記画像を合成する枚数を検出して合成枚数情報として保存する合成枚数決定処理と、前記合成枚数情報に基づいて、前記合成画像の各領域に対し実行する画像処理のパラメータを切り替える画像処理パラメータ切替処理と、前記合成枚数情報に基づいて、前記合成画像の各領域に対し実行する画像処理を切り替える画像処理切替処理とのいずれかまたは両方と、を有することを特徴とする。

好ましくは、前記画像処理切替処理は、前記領域の前記合成枚数情報がＮ枚であるときはノイズ除去処理を行い、前記合成枚数がＭ枚（ただし，Ｎ＜Ｍ）であるときは輪郭強調処理を行ってもよい。

本発明の態様のひとつである複数の画像を取得し合成画像を作成する画像処理装置であって、前記画像を合成するとき、前記合成画像の領域ごとに前記画像を合成する枚数を検出して合成枚数情報として保存する合成枚数決定部と、前記合成枚数情報に基づいて、前記合成画像の各領域に対し実行する画像処理のパラメータを切り替える画像処理パラメータ切替部と、前記合成枚数情報に基づいて、前記合成画像の各領域に対し実行する画像処理を切り替える画像処理切替部とのいずれか、または両方と、を具備する。

好ましくは、前記画像処理切替部は、前記領域の前記合成枚数情報がＮ枚であるときはノイズ除去処理を行い、前記合成枚数がＭ枚（Ｎ＞Ｍ）であるときは輪郭強調処理を行ってもよい。

本発明である複数の画像を取得し合成画像を作成する画像処理装置のコンピュータに、前記画像を合成するとき、前記合成画像の領域ごとに前記画像を合成する枚数を検出して合成枚数情報として保存する合成枚数決定処理と、前記合成枚数情報に基づいて、前記合成画像の各領域に対し実行する画像処理のパラメータを切り替える画像処理パラメータ切替処理と、前記合成枚数情報に基づいて、前記合成画像の各領域に対し実行する画像処理を切り替える画像処理切替処理とのいずれか、または両方と、をコンピュータに実行させるプログラムである。

本発明によれば、合成画像の各領域で異なる画像合成枚数において、領域ごとの画像合成枚数によって画像処理、あるいは画像処理のパラメータを切り替えることで、画像解析など複雑な処理を簡単することができ、最適な画像処理を実施することができる。

本発明の原理を示すブロック図である。 本発明の動作を示すフロー図である。 動き領域検出の原理を示す図である。 共通領域検出の原理を示す図である。 共通領域検出（パノラマ撮影）の原理を示す図である。 共通領域検出（パノラマ撮影）の原理を示す図である。 実施例１の構成を示すブロック図である。 実施例１の合成枚数と輪郭強度を示すデータベースを示す図である。 実施例２の構成を示すブロック図である。 実施例２の合成枚数とフィルタサイズを示すデータベースを示す図である。 実施例３の動作を示すフロー図である。 実施例４の構成を示すブロック図である。 実施例４の合成枚数と傾きを示すデータベースを示す図である。 プログラムをコンピュータで読み取ることの可能な記録媒体の構成例を示す図である。

以下図面に基づいて、本発明の実施形態について詳細を説明する。
（原理説明）
本発明は、複数枚の画像を動き領域検出方法や共通領域検出方法などを用いて合成した合成画像に対して輪郭強調処理、ノイズ除去、トーンカーブ補正処理などの画像処理を行う場合、上記合成画像を構成する領域ごとの合成枚数に関する情報（合成枚数情報）に基づいて、上記画像処理ごとにパラメータを変更する。
（構成説明）
図１に画像処理装置１のブロック図を示す。画像処理装置１は、画像保持部２、合成枚数決定部３、画像合成部４、パラメータ選択部５、画像処理部６から構成される。

画像処理装置１は例えばデジタルカメラなどに備えられる。光／電気変換素子等の撮像素子を備えた撮像部（図示しない）から、撮影時に撮像制御を行い任意の被写体の画像を撮影する。ここで、撮像制御は、撮像部におけるゲイン値（感度）、露光時間等の撮影条件を制御する。すなわち、利用者の設定する撮影条件を入力して、撮像部の撮影条件を適宜設定される。

画像保持部２（フレームメモリ）は、撮像部で撮影された画像フレーム等の画像データを格納する。例えば、撮像部において時系列に撮影された複数の画像データが格納される。上記画像データは後段の合成枚数決定部３と画像合成部４に転送される。

合成枚数決定部３は、領域（画素、複数画素から構成）ごとにずれ量を算出し動き領域検出方法や共通領域検出方法などにより合成枚数を決定し、画像合成部４とパラメータ選択部５に画像合成情報を転送する。ここで画像合成情報は領域ごとの画像の合成枚数を示す合成枚数情報を含み、さらに合成時に必要な情報を含んでもよい。

なお、この画像データとともに、当該画像データの感度、露光時間等の撮影条件を示す撮影時パラメータなども、合成枚数決定部３、画像合成部４に対して出力してもよい。
画像合成部４では、画像保持部２に格納されている画像データを取得し、合成枚数決定部３で生成した画像合成情報（合成枚数情報を含む）に基づいて画像合成を行う。

パラメータ選択部５では、合成枚数情報に基づいて、画像合成部４で生成した合成画像に画像処理部６で実施する、輪郭強調処理、ノイズ除去、トーンカーブ補正処理などの各画像処理のパラメータを切り替える。パラメータの切り替えは合成枚数情報に基づいて行われる。

上記画像処理装置１は、デジタルカメラ、カメラ付き携帯電話、カメラ付きＰＤＡ、カメラ付きパーソナルコンピュータ等の電子装置（コンピュータ）で実行されるプログラムとして、ソフトウェアで実現することができる。あるいは、ハードウェアにより実現できる。さらには、電子装置等のコンピュータに固定的に組み込まれたソフトウェアであるファームウェアとしても実現できる。
（動作説明）
図２に本発明の動作フロー図を示す。

ステップＳ１では、撮影（連写撮影、パノラマ撮影など）して複数の静止画像を取得し画像保持部２（フレームメモリ）に保存する。
ステップＳ２では画像合成枚数を決定する。ステップＳ１で取得した複数画像の領域ごと（画素、複数画素であってもよい）に合成枚数（合成枚数情報）を決定する。合成枚数の決定は動き領域検出方法や共通領域検出方法などがある。

図３に動き領域検出の原理図を示す。
例えば、画像保持部２に連写撮影した３枚の画像図３の画像３１〜３３（画像１〜３）を格納（画像保持部２）し、各画像の特徴点を検出し位置合わせをして単純に合成すると図３の画像３４（単純合成）に示すような車が多重化された合成画像ができる。次に、同一位置の画素値の差分を算出し、その差分が予め設定した閾値以上の部分を動き領域として検出する。

図３の画像３５（動き検出）は動き領域を「白」、非動き領域を「黒」で表した画像である。例えば、図３の画像３６（動き領域除去画像画像１）は、動き領域を図３の画像３２（画像２）の画像を用い、非動き領域は３枚合成を行った結果を用いて合成した合成画像である。図３の画像３６では図３の画像３５の「白」の領域が１枚画像、「黒」の領域が３毎合成の画像からなる混在画像であるので、図３の画像３５の動き検出結果を元に自動車を除去して背景だけを抽出する。その結果、合成画像として図３の画像３７（動き領域除去画像画像１）を得ることができる。この図３の画像３７の合成画像も、１枚のみの領域、２枚合成の領域、３枚合成の領域の混在部分がある。

また、合成枚数の決定方法として共通領域がある。
図４に共通領域検出の原理図を示す。被写体が動いていなくても、連写画像間には手振れがあるため、撮影領域が微妙に異なることがある。例えば、図４の画像４１〜４３のように連写画像を取得して合成をする。その場合、図４の画像４４に示すように合成される。つまり、特徴点を検出後３枚の画像を重ねると、中央が３枚合成の領域となり、重なりが３枚でない端の部分に２枚合成画像、１枚画像領域が混在する。

また、図４に示す例では３枚合成領域が他の合成領域に比べ大きいが、例えば、図５Ａに示すモザイキングによるパノラマ画像生成の場合、画像間を結合するのりしろ領域が２枚合成であり、それ以外は１枚画像領域となる。パノラマ化は撮影時に共通領域（のりしろ）を残しつつ、カメラをパンニングさせて連続撮影し、のりしろ部分を結合して横長画像を生成する。この場合、のりしろ部分が２枚合成となり、それ以外が１枚画像となる。

また、図５Ｂに示すようにパノラマ化は、横だけでなく縦方向、横＋縦方向などが可能である。そのため、画像合成領域も１枚領域と２枚合成領域だけでなく、３枚合成、４枚合成など多くのバリエーションが存在する。

ステップＳ３では画像合成を実施する。ステップＳ２で検出した各領域（画素、複数画素から構成）の合成枚数に基づいて画像合成を行う。そして、ステップＳ４では各領域の合成枚数を合成枚数情報としてメモリに保存する。

ステップＳ５では全領域について合成を行ったかを判定する。全ての領域について合成が完了していればステップＳ６に移行する。そうでなければステップＳ２に移行して合成を続ける。

ステップＳ６では、ステップＳ１〜４で行った画像合成処理と領域ごとの合成枚数決定処理を行った結果によりパラメータ切り替えの判定を行う。合成枚数が１枚であればステップＳ７に移行する（基準画像を使用）。合成枚数が複数枚であればステップＳ８に移行する。 ステップＳ７では１枚の場合に対応する画像処理の設定を選択する。パラメータ選択部５により画像処理を行うさいのパラメータの設定を選択する。

ステップＳ８では複数枚（本例では２〜ｎ枚）の場合に、例えば合成枚数が２枚であれば２枚のときのパラメータを選択する。パラメータ選択部５により画像処理を行うさいのパラメータの設定を選択する。

ここで、ステップＳ７、Ｓ８で設定したパラメータは、予め合成枚数に対応するパラメータ値をデータベースとしてパラメータ選択部５に格納しておく、または専用にメモリを用意してもよい。画像処理パラメータの切り替え処理は、領域ごとに保存された合成枚数情報から画像処理（輪郭強調処理、ノイズ除去、トーンカーブ補正処理）ごとのパラメータを切り替えるために合成枚数を取得する。

ステップＳ９では、合成画像の領域に対して画像処理を行うため該画像処理に対応するステップＳ７またはステップＳ８で選択した画像処理を合成画像の各領域に行う。そして、ステップＳ１０では全領域について合成を行ったかを判定する。全ての領域について合成が完了していれば終了する。そうでなければステップＳ６に移行して画像処理を続ける。

上記方法により領域適応型の画像処理を実現でき、ノイズ除去による副作用（画像のボケなど）を画像解析など複雑な処理を行うことなく低減できる。
また、合成画像の合成枚数に応じて合成後画像の画像処理のパラメータを変更することにより、合成処理時の合成枚数に基づいてパラメータを切り替えるため、追加処理（領域分割、ノイズ量検出など）を必要としない。
また、パラメータは画像合成枚数が２以上のときのパラメータを保持し、保持していない画像合成枚数時のパラメータは、保持しているパラメータを補間して生成してもよい。
（実施例１）
合成画像では、ノイズ量は画像合成枚数に比例して減る傾向にあるため、画像合成枚数を記憶しておき、画像合成枚数に応じて輪郭強調処理の強度を切り替える。

図６に実施例１のブロック図を示す。実施例１は、画像保持部６１、ずれ量算出部６２、動き領域検出部６３、画像合成部６４、パラメータ選択部６５、輪郭強調処理部６６より構成される。実施例１では、図１に示したブロック図の合成枚数決定部３がずれ量算出部６２と動き領域検出部６３から構成され、画像処理部６が輪郭強調処理部６６により構成されている。

ずれ量算出部６２は、画像保持部６１の複数の画像における同一領域（画素単位または、複数の画素からなる画素ブロック単位）のずれ量を算出して、動き領域検出部６３に出力する。

動き領域検出部６３は、閾値設定部、動き判定部、孤立点ノイズ判定部、判定バッファを含んでいる。
閾値設定部では、上記撮影時パラメータに応じて、第１判定閾値、および第２判定閾値を算出し、動き判定部および孤立点ノイズ判定部にそれぞれ出力する。すなわち、第１判定閾値は、露光時間ｔｅに応じて決定される閾値ｄ_exposure、またはゲイン値ｇに応じて決定される閾値ｄ_gainのいずれかからなる。第２判定閾値も、露光時間ｔｅまたはゲイン値ｇに基づいて、閾値Ｉ_exposure、または閾値Ｉ_gainのように決定される。

動き判定部は、ずれ量Δａの大小に応じて、複数画像の対応する当該領域が動き領域か否かを判定する。具体的には、第１判定閾値と比較し、差分値Δａが第１判定閾値よりも大きい場合に動きありと判定し、動き判定結果を判定バッファに出力する。

判定バッファは、例えば、動き判定結果をビットマップで記録する。比較する画像同士の各画像の画素（ｘ，ｙ）の領域が動き有りと判定された場合には、ビットマップのＭ（ｘ，ｙ）の位置に“１”が、動きなしの場合は“０”が、設定される。

孤立点ノイズ判定部は、さらに、動き判定部によって動きあり、と判定された画素のＭ（ｘ，ｙ）が、孤立点ノイズか否かを判別し、ノイズと判定された場合には、当該Ｍ（ｘ，ｙ）を動きなし（“０”）にする。具体的には、注目画素のＭ（ｘ，ｙ）に隣接する周囲の８箇所の判定結果を参照して、動きありと判定された画素の個数をカウントし、このカウント値が、第２判定閾値（閾値Ｉ_exposureまたは閾値Ｉ_gain）よりも小さい場合には孤立点ノイズと判定して、当該Ｍ（ｘ，ｙ）を、動きなし（“０”）にする。

上記のように判定した結果に基づいて、動きがある場合、動いていない領域を合成し、動いている領域は合成しない。例えば、３枚とも動きがなければ領域における動き領域情報（画像合成枚数情報）は３を保持し、動きがあれば基準画像を使用するため動き領域情報（画像合成枚数情報）は１を保持する。

画像合成部６４では、各画像を動き領域情報（画像合成枚数情報）に基づいて合成する。
パラメータ選択部６５は、実施例１では輪郭強調処理を行うため合成枚数と輪郭強度（輪郭強度パラメータ）を予め設定しておく。例えば、鮮明化フィルタを用いて画素間の濃度値（輪郭強度）の差を大きくしてシャープネスを行う。図７に示すようなデータベースを用意し合成枚数が１枚の領域では輪郭強度を３０とし、２枚の領域では２０、３枚の領域では１０に設定し、メモリなどに格納する。

輪郭強調処理部６６では、合成画像の領域ごとに対応する輪郭強度パラメータに基づいて輪郭強調処理を実行する。つまり、領域ごとに設定された輪郭強度に基づいて輪郭強調処理する。
（実施例２）
図８に実施例２のブロック図を示す。実施例２は、画像保持部８１、ずれ量算出部８２、共通領域検出部８３、画像合成部８４、パラメータ選択部８５、ノイズ除去処理部８６より構成される。実施例２では、図１に示したブロック図の合成枚数決定部３がずれ量算出部８２と共通領域検出部８３から構成され、画像処理部６がノイズ除去処理部６６で構成されている。

ずれ量算出部８２は、画像保持部８１の複数の画像における同一領域（画素単位または、複数の画素からなる画素ブロック単位）のずれ量を算出して、共通領域検出部８３に出力する。

共通領域検出部８３では、画像保持部８１に格納した複数の画像の特徴点を検出し、例えば３枚の画像を重ね３枚合成の領域、２枚合成の領域、１枚合成の領域を検出する。
画像合成部８４では、各画像を共有領域情報（画像合成枚数情報）に基づいて合成する。

パラメータ選択部８５は、ノイズ除去処理を行うため合成枚数と加重平均フィルタやメディアンフィル、ぼかし処理などのフィルタサイズ（ノイズ除去パラメータ）を予め設定しておく。例えば、図９に示すようなデータベースを用意し合成枚数が１の領域ではフィルタサイズを５×５とし、２の領域では３×３、３の領域では１×１に設定し、メモリなどに格納する。

ノイズ除去処理部８６では、合成画像の領域ごとに対応するノイズ除去パラメータに基づいてノイズ除去処理を実行する。つまり、領域ごとに設定されたフィルタサイズに基づいてノイズ除去処理する。

また、パノラマ画像の生成におけるのりしろ領域を検出し、のりしろ領域かどうかでノイズ除去のパラメータを切り替えてもよい。
（実施例３）
図１０に画像処理を合成枚数で変更するときの動作フローを示す。

ステップＳ１では、複数の画像を撮影（連写撮影、パノラマ撮影など）して複数の静止画像を取得する。画像保持部２（フレームメモリ）に保存される。
ステップＳ２では画像合成枚数を決定する。ステップＳ１で取得した複数画像の領域ごと（画素、複数画素であってもよい）に合成枚数（合成枚数情報）を決定する。合成枚数の決定は例えば動き領域検出方法や共通領域検出方法がある。

ステップＳ３では画像合成を実施する。ステップＳ２で検出した各領域（画素、複数画素から構成）の合成枚数に基づいて合成を行う。そして、ステップＳ４では各領域の合成枚数を合成枚数情報としてメモリに保存する。

ステップＳ５では全領域について合成を行ったかを判定する。全ての領域について合成が完了していればステップＳ６に移行する。そうでなければステップＳ２に移行して合成を続ける。

ステップＳ１０１では、ステップＳ１〜４で行った画像合成処理と領域ごとの合成枚数決定処理を行った後、合成画像の領域ごとに画像処理を切り替えるための判定を行う。画像処理の切り替えは、領域ごとに保存された合成枚数情報から輪郭強調処理、ノイズ除去を切り替える。合成枚数が１枚であればステップＳ１０２に移行する（基準画像を使用）。合成枚数が複数枚であればステップＳ１０３に移行する。

なお、ここでは、合成枚数が１枚か複数枚かで処理を切替えているが、本発明はこれに限るものではなく、合成枚数がＮ枚（Ｎ＞１）の場合にノイズ除去処理を行い、Ｍ枚（Ｍ＞Ｎ）の場合に輪郭強調処理を行っても構わない。 ステップＳ１０２では合成枚数情報が１枚の場合にノイズ除去処理を選択しノイズ除去処理を行う。

ステップＳ１０３では合成枚数情報が複数枚の場合に、例えば２枚の画像を合成するときすなわち、合成枚数情報が２枚のときに輪郭強調処理を選択し輪郭強調処理を行う。
なお、ステップＳ１０３の処理においては、画像合成枚数が多い場合は、輪郭強調のパラメータを強めにし、画像合成枚数が少ない領域では弱めに輪郭強調を実施するなど、合成枚数の多さに応じて、画像処理に用いるパラメータの強さを変化させても良い。

ステップＳ１０４では全領域について合成を行ったかを判定する。全ての領域について合成が完了していれば終了し、そうでなければステップＳ１０１に移行して画像処理を続ける。
（実施例４）
図１１にトーンカーブ補正の動作フローを示す。

ステップＳ１１１では、ステップＳ１〜４で行った画像合成処理と領域ごとの合成枚数決定処理を行った後、合成画像の領域ごとにトーンカーブ補正を切り替えるための判定を行う。トーンカーブ補正の切り替えは、領域ごとに保存された合成枚数情報からトーンカーブ補正パラメータを切り替える。合成枚数が１枚であればステップＳ１１２に移行する（基準画像を使用）。合成枚数が複数枚であればステップＳ１１３に移行する。

ステップＳ１１２では合成枚数情報が１枚の場合、１枚用のトーンカーブ補正パラメータを選択しトーンカーブ補正を行う。
ステップＳ１１３では合成枚数情報が複数枚の場合に、例えば合成枚数が２枚であれば２枚のときのトーンカーブ補正パラメータを選択しトーンカーブ補正を行う。

例えば、トーンカーブ補正パラメータは、ガンマ特性を利用してトーンカーブ補正をする。そのためのデータベースを図１２に示す。合成枚数が１枚のときは傾き３を選択し、２枚のときは傾き１．５を選択し、３枚のときは１を選択する。また、ガンマ補正をする場合はガンマ値が１になるようにトーンカーブ補正パラメータを設定する。さらに、パラメータとして設定されていない合成枚数については適用するガンマ値を補間で算出してもよい。

ステップＳ１１４では全領域について合成を行ったかを判定する。全ての領域についてトーンカーブ補正が完了していれば終了し、そうでなければステップＳ１１１に移行して画像処理を続ける。
（変形例）
次に、合成枚数の決定例として画像の不具合（色、明るさなど）を検出する方法について説明する。撮影した画像が青っぽくなったり赤っぽくなったりすることがある。これは画像中にある「白」を起点として画像全体の色味を調整するため、例えば連写撮影中に、それまで基準となっていた「白」が被写体動きによって無くなり（フレームアウトするなど）、赤っぽい色を「白」と誤検出すると赤を白に直そうとするため、全体的に青っぽい画像になる。このような画像を合成に使用すると、合成結果画像の色味がおかしくなるため、合成対象から削除する。

また、多チャンネルデータ転送装置（ＬＳＩなど）内に設けられるコンピュータ（ＣＰＵ、情報処理装置を含む）に外部からＰＣなどを利用して、上記実施例に示した動作やステップをソースとする所定のプログラム（多チャンネルデータ転送プログラム）を、メモリ（ＲＯＭなど）に保存し、起動時にコンピュータに書き込み、上記ステップを実行することができる。

また、単体のコンピュータ（ＣＰＵ、ＦＰＧＡなどの情報処理装置を含む）などを用い、上記実施例１〜４に示したステップをソースとする所定のプログラム（多チャンネルデータ転送プログラム）を、メモリ（ＲＯＭなど）に保存し、起動時に該コンピュータに書き込み、上記ステップを実行することができる。

また、前述したようなフローチャートの処理を標準的なコンピュータ（例えば画像処理装置など）のＣＰＵに行わせるための制御プログラムを作成してコンピュータ読み取り可能な記録媒体に記録させておき、そのプログラムを記録媒体からコンピュータに読み込ませてＣＰＵで実行させるようにしても、本発明の実施は可能である。

記録させた制御プログラムをコンピュータシステムで読み取ることの可能な記録媒体の例を図１３に示す。このような記録媒体としては、例えば、コンピュータシステム１３０に内蔵若しくは外付けの付属装置として備えられるＲＯＭやハードディスク装置などの記憶装置１３１、コンピュータシステム１３０に備えられる媒体駆動装置１３２へ挿入することによって記録された制御プログラムを読み出すことのできるフレキシブルディスク、ＭＯ（光磁気ディスク）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどといった携帯可能記録媒体１３３等が利用できる。

また、記録媒体は通信回線１３４を介してコンピュータシステム１３０と接続される、プログラムサーバ１３５として機能するコンピュータシステムが備えている記憶装置１３６であってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバ１３５から伝送媒体である通信回線１３４を通じてコンピュータシステム１３０へ伝送するようにし、コンピュータシステム１３０では受信した伝送信号を復調して制御プログラムを再生することでこの制御プログラムをコンピュータシステム１３０のＣＰＵで実行できるようになる。

また、本発明は、上記実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲内で種々の改良、変更が可能である。

Claims (24)

1. 複数の画像に基づいて生成された合成画像の各々について、該合成画像の領域ごとに、前記複数の画像のうち該合成画像の生成に用いられた枚数を検出して合成枚数情報として保存する合成枚数決定処理と、
   前記合成枚数情報に基づいて、前記合成画像の各領域に対し実行する画像処理のパラメータを切り替える画像処理パラメータ切替処理と、前記合成枚数情報に基づいて、前記合成画像の各領域に対し実行する画像処理を切り替える画像処理切替処理とのいずれかまたは両方と、
   前記画像処理パラメータ切替処理の結果と前記画像処理切替処理の結果とのいずれかまたは両方、および前記合成画像に基づいて、他の合成画像を生成する処理と、
   を実行することを特徴とする画像処理方法。
2. 前記合成枚数決定処理は、
   前記画像間のずれ量を算出し、前記ずれ量に基づいて前記画像間で被写体の動きのある領域と動きのない領域を検出して動き領域情報を生成し、前記動き領域情報に基づいて前記領域内の前記合成枚数情報を変更することを特徴とする請求項１に記載の画像処理方法。
3. 前記合成枚数決定処理は、
   前記画像間のずれ量を検出し、前記ずれ量に基づいて前記画像のうちの複数画像間で共有する前記画像の共通領域を検出して共通領域情報を生成し、前記共通領域情報に基づいて前記領域内の前記合成枚数情報を変更することを特徴とする請求項１に記載の画像処理方法。
4. 前記合成枚数決定処理は、
   前記画像間の色と明るさレベルのずれ量を算出し、予め設定したずれ量と比較し、範囲外の前記画像を検出し、前記検出した前記画像を前記合成枚数から削除して前記合成枚数決定処理を実行することを特徴とする請求項１に記載の画像処理方法。
5. 前記合成画像の各領域に対し実行する前記画像処理は輪郭強調であることを特徴とする請求項１に記載の画像処理方法。
6. 前記合成画像の各領域に対し実行する前記画像処理はノイズ除去であることを特徴とする請求項１に記載の画像処理方法。
7. 前記合成画像の各領域に対し実行する前記画像処理はトーンカーブ補正であることを特徴とする請求項１に記載の画像処理方法。
8. 前記画像処理切替処理は、前記領域の前記合成枚数情報がＮ枚であるときはノイズ除去処理を行い、前記合成枚数がＭ枚（ただし，Ｎ＜Ｍ）であるときは輪郭強調処理を行うことを特徴とする請求項１に記載の画像処理方法。
9. 複数の画像に基づいて生成された合成画像の各々について、該合成画像の領域ごとに、前記複数の画像のうち該合成画像の生成に用いられた枚数を検出して合成枚数情報として保存する合成枚数決定部と、
   前記合成枚数情報に基づいて、前記合成画像の各領域に対し実行する画像処理のパラメータを切り替える画像処理パラメータ切替部と、前記合成枚数情報に基づいて、前記合成画像の各領域に対し実行する画像処理を切り替える画像処理切替部とのいずれか、または両方と、
   前記画像処理パラメータ切替部の結果と前記画像処理切替部の結果とのいずれかまたは両方、および前記合成画像に基づいて、他の合成画像を生成する手段と、
   を具備することを特徴とする画像処理装置。
10. 前記合成枚数決定部は、
    前記画像間のずれ量を算出するずれ量算出部と、
    前記ずれ量に基づいて前記画像間で被写体の動きのある領域と動きのない領域を検出して動き領域情報を生成し、前記動き領域情報に基づいて前記領域内の前記合成枚数情報を変更する動き領域検出部と、
    を具備することを特徴とする請求項９に記載の画像処理装置。
11. 前記合成枚数決定部は、
    前記画像間のずれ量を算出するずれ量算出部と、
    前記ずれ量に基づいて前記画像間で共有する前記画像の共通領域を検出して共通領域情報を生成し、前記共通領域情報に基づいて前記領域内の前記合成枚数情報を変更する共通領域検出部と、
    を具備することを特徴とする請求項９に記載の画像処理方法。
12. 前記合成枚数決定部は、
    前記画像間の色と明るさレベルのずれ量を算出し、予め設定したずれ量と比較し、範囲外の前記画像を検出し、前記検出された前記画像を削除して前記合成枚数決定することを特徴とする請求項９に記載の画像処理装置。
13. 前記合成画像の各領域に対し実行する前記画像処理は輪郭強調であることを特徴とする請求項９に記載の画像処理装置。
14. 前記合成画像の各領域に対し実行する前記画像処理はノイズ除去であることを特徴とする請求項９に記載の画像処理装置。
15. 前記合成画像の各領域に対し実行する前記画像処理はトーンカーブ補正であることを特徴とする請求項９に記載の画像処理装置。
16. 前記画像処理切替部は、前記領域の前記合成枚数情報がＮ枚であるときはノイズ除去処理を行い、前記合成枚数がＭ枚（Ｎ＜Ｍ）であるときは輪郭強調処理を行うことを特徴とする請求項９に記載の画像処理装置。
17. 複数の画像に基づいて生成された合成画像の各々について、該合成画像の領域ごとに、前記複数の画像のうち該合成画像の生成に用いられた枚数を検出して合成枚数情報として保存する合成枚数決定処理と、
    前記合成枚数情報に基づいて、前記合成画像の各領域に対し実行する画像処理のパラメータを切り替える画像処理パラメータ切替処理と、前記合成枚数情報に基づいて、前記合成画像の各領域に対し実行する画像処理を切り替える画像処理切替処理とのいずれか、または両方と
    前記画像処理パラメータ切替処理の結果と前記画像処理切替処理の結果とのいずれかまたは両方、および前記合成画像に基づいて、他の合成画像を生成する処理と、
    をコンピュータに実行させることを特徴とする画像処理装置のプログラム。
18. 前記合成枚数決定処理は、
    前記画像間のずれ量を算出し、前記ずれ量に基づいて前記画像間で被写体の動きのある領域と動きのない領域を検出して動き領域情報を生成し、前記動き領域情報に基づいて前記領域内の前記合成枚数情報を変更することをコンピュータに実行させることを特徴とする請求項１７に記載の画像処理装置のプログラム。
19. 前記合成枚数決定処理は、
    前記画像間のずれ量を検出し、前記ずれ量に基づいて前記画像間で共有する前記画像の共通領域を検出して共通領域情報を生成し、前記共通領域情報に基づいて前記領域内の前記合成枚数情報を変更することをコンピュータに実行させることを特徴とする請求項１７に記載の画像処理装置のプログラム。
20. 前記合成枚数決定処理は、
    前記画像間の色と明るさレベルのずれ量を算出し、予め設定したずれ量と比較し、範囲外の前記画像を検出し、前記検出した前記画像を前記合成枚数から削除して前記合成枚数決定処理を実行することをコンピュータに実行させることを特徴とする請求項１７に記載の画像処理装置のプログラム。
21. 前記合成画像の各領域に対し実行する前記画像処理は輪郭強調であることをコンピュータに実行させることを特徴とする請求項１７に記載の画像処理装置のプログラム。
22. 前記合成画像の各領域に対し実行する前記画像処理はノイズ除去であることをコンピュータに実行させることを特徴とする請求項１７に記載の画像処理装置のプログラム。
23. 前記合成画像の各領域に対し実行する前記画像処理はトーンカーブ補正であることをコンピュータに実行させることを特徴とする請求項１７に記載の画像処理装置のプログラム。
24. 前記画像処理切替処理は、前記領域の前記合成枚数情報が１枚であるときはノイズ除去処理を行い、前記合成枚数が複数枚であるときは輪郭強調処理を行うことをコンピュータに実行させることを特徴とする請求項１７に記載の画像処理装置のプログラム。

Images