WO2008032392A1

WO2008032392A1 - Procédé et dispositif de traitement d'image et programme connexe

Info

Publication number: WO2008032392A1
Application number: PCT/JP2006/318302
Authority: WO
Inventors: Kimitaka Murashita; Masayoshi Shimizu; Kaoru Chujo; Takashi Wakamatsu
Original assignee: Fujitsu Limited
Priority date: 2006-09-14
Filing date: 2006-09-14
Publication date: 2008-03-20
Also published as: EP2063390A1; CN101512596A; KR20090041442A; JP4750854B2; US8311367B2; JPWO2008032392A1; EP2063390B1; CN101512596B; EP2063390A4; US20090232416A1; KR101008917B1

Description

明細書

画像処理方法および装置とそのプログラム

技術分野

[0001] 本発明は、撮影した複数の静止画像を合成する画像処理に係り、特に手振れ補正など画像を重ね合わせる技術に関する。

背景技術

[0002] 近年、デジタルカメラなどの撮影装置により撮影された画像の手振れ補正は、短露光の連写画像を合成することで手振れ補正をして、る。これらは特定の被写体を連写し、連写した画像を位置合わせして合成する。最終的に合成した画像は、複数枚の同一位置の画素を合成 (画素値を加算して平均化）したものである力領域によつて合成に使用された枚数が異なる場合がある。

[0003] 連写画像では手振れの他に被写体の動きがあるため、単純加算では被写体が多重化することがある。連写画像間の相関を検出し、画素差が無い場合は合成を、画素差がある場合は差のある画像を合成に使わないことで、多重化を防ぐことができる (動き領域検出)。また、画像間にずれがある場合、画像が重なり合う領域 (共通領域 )と重ならない領域とがある。共通領域は複数画像によって合成できるが、それ以外の領域では合成できない。このように、連写画像の合成は、 1枚のみ力もできた領域、 2枚合成でできた領域、 3枚合成でできた領域、などが混在する合成画像になる。画像のノイズはこの合成に使用した枚数によって異なる。例えばノイズは、複数画像を合成することによってランダムノイズが平均化されるために、画像合成枚数が多いほど少なくなる。そのため、 1枚の画像の中にノイズの多い領域、少ない領域が混在すること〖こなる。

[0004] このような合成画像に従来は、撮影画像をくつきりと見せるために輪郭強調処理を実施したりしているが、輪郭強調処理では、画像のくっきり感は高まるが、半面ノイズが強調されてしまう。そこで、通常はノイズが強調されずにくっきり感が高まるぎりぎりの調整を実施する。

[0005] また、単純に画像合成した手振れ補正結果の画像では、重ね合わせ枚数の異なる領域が混在する。そのため、ノイズ量は重ね合わせ枚数によって異なり、輪郭強調を重ね合わせ枚数の少なヽ領域に合わせて輪郭強調をする場合、強!、輪郭強調がかけられずくっきり感が弱くなつてしまう。また、重ね合わせ枚数の多い領域に合わせるとノイズが強調されてしまう。

[0006] そこで、特許文献 1では動画像のフレーム間の動きベクトル (動き領域と非動き領域 )に基づき、合成枚数を減らしたり、増やしたりし、動画像の最初のフレームに合成枚数に応じて複数のフレームの画素を内挿し合成する提案がされている。

[0007] しかし、特許文献 1によれば、複数の低解像度画像から高解像度画像への変換の高画質ィ匕が困難であるとともに、第 nフレームと第 n+aフレームとを入力し、その間の a+ 1枚の画像と、さらに a+ 1枚から内挿により生成した中間フレームとを用いて画像合成している。

[0008] それに対し、複数の画像力画像を合成するものであり、動きベクトルに応じて画像合成に使用する 2フレームを変更し、 2フレームの間隔 aを短くする。これは「合成に使用する画像の決定」であり、合成結果の画像に対して、何の処理をするかは記載されていない。

[0009] 特許文献 2では、領域毎に画像合成を行、、領域毎に動きベクトルにより判定した結果に応じて、画像合成の方法 (画像処理)を切り替える提案がされて、る。

しかし、特許文献 2によれば、画像の振れには「被写体振れ」と「手振れ」があり、同一の振れ除去処理ではこれらを同時に除去できない。また、手振れ、被写体振れを検知し、振れの種類に応じた画像処理を施している。しかし、検知した振れの種類に応じて画像処理を切り替えるものであるが、その判別基準は「振れの種類」であり画像合成枚数ではなヽ。画像処理を切り替える契機が異なる。

[0010] つまり特許文献 1は動きベクトルに応じて画像合成に使用するフレームを決定するものである。特許文献 2は振れの種類で処理を切り替えるものである。

特許文献 3では、原画像を読み取る読取機において、文字領域と濃淡画像領域とを判別し、それぞれの領域に対して異なるパラメータで処理 (影付け、輪郭化など)を実施する方式が提案されてヽる。

[0011] しかし、特許文献 3によれば、 1画像内を複数の領域に分割して異なるパラメータで処理をする方法は同じであるが、複数画像の画像合成処理に基づ！、て画像を領域に分割して異なるパラメータで処理を実施する画像分離手法であり、 1画像から領域を分離するものではない。

[0012] 特許文献 4では、撮影画像を読み取って主要部領域と背景領域とを分離し、主要部領域、あるいは背景領域に色再現パラメータで画像処理する方式が提案されてヽる。

しかし、特許文献 4によれば、 1画像を分離して、異なる画像処理を行うのは上記と同じであるが、 1画像を元に主要部と背景とを分離するため画像分離手法が異なる。

[0013] 特許文献 5では、被写体の映った画像と映って、な、画像から、被写体のみを抽出する方式が提案されてヽる。

しかし、特許文献 5によれば、複数画像を用いて領域を分離する方法は同じである力複数画像を合成するのに対して分離している。また、合成画像に対して領域ごとに異なる処理を行うのに対し、抽出を容易にするために分離前の元画像に対して異なる処理を行っている。

[0014] 特許文献 6では、カラー画像から特定領域を抽出して領域に応じた画像処理が提案されている。

し力しながら、画像領域に応じて、合成対象とする枚数が異なると、最終的に得られる画像のノイズの多さは合成枚数に左右されるため、画像全体に対して一律ではない。そのためノイズ除去をしなければならない。また、画像解析 (エッジ部検出等)を行って、対象部分のみノイズ除去することも考えられるが、画像解析には複雑な処理が必要となり、処理時間や回路規模の増大を招く。また、画像解析は必ずしも所望の結果が得られない。

[0015] 例えばノイズ除去を実施する場合、これまでは画像全体に対して同一のパラメータで処理を行い、ノイズの多い場所はノイズ除去を行い、エッジ部はノイズ除去を行わないなどの画像解析を行って解析結果に応じてパラメータを切り替えるなどを行っている。

[0016] そして、ノイズ除去は、画像に対してフィルタ処理を行う。ノイズ領域にかけるとノィズが減少する力エッジ部にかけるとエッジがぼやけてしまい、シャープ感が無くなるといった問題がある。また、画像全体に一律に同じパラメータでかけると副作用がある領域 (エッジ部など）が生じるため、副作用が生じない弱めの処理しかかけられないという問題がある。

特許文献 1：特開 2000— 194845号公報

特許文献 2 :特開 2003— 134385号公報

特許文献 3：特許第 3023374号公報

特許文献 4：特許第 3408770号公報

特許文献 5：特開平 8— 194113号公報

特許文献 6：特開平 11― 266358号公報

発明の開示

[0017] 本発明は複数の画像が合成されて構成される合成画像の領域ごとに、その領域に合成した合成枚数に応じて処理を変え、画像内に特性の異なる領域が存在する合成画像に対する画像処理を、簡易な構成によって行う適応型画像処理方法および装置とそのプログラムを提供することを目的とする。

[0018] 本発明である複数の画像を取得し合成画像を作成する画像処理方法であって、前記画像を合成するとき、前記合成画像の領域ごとに前記画像を合成する枚数を検出して合成枚数情報として保存する合成枚数決定処理と、前記合成枚数情報に基づ V、て、前記合成画像の各領域に対し実行する画像処理のパラメータを切り替える画像処理パラメータ切替処理と、前記合成枚数情報に基づいて、前記合成画像の各領域に対し実行する画像処理を切り替える画像処理切替処理とのいずれかまたは両方と、を有することを特徴とする。

[0019] 好ましくは、前記画像処理切替処理は、前記領域の前記合成枚数情報が N枚であるときはノイズ除去処理を行い、前記合成枚数が M枚 (ただし， N< M)であるときは輪郭強調処理を行ってもょヽ。

[0020] 本発明の態様のひとつである複数の画像を取得し合成画像を作成する画像処理装置であって、前記画像を合成するとき、前記合成画像の領域ごとに前記画像を合成する枚数を検出して合成枚数情報として保存する合成枚数決定部と、前記合成枚数情報に基づヽて、前記合成画像の各領域に対し実行する画像処理のパラメータを切り替える画像処理パラメータ切替部と、前記合成枚数情報に基づいて、前記合成画像の各領域に対し実行する画像処理を切り替える画像処理切替部とのいずれか、または両方と、を具備する。

[0021] 好ましくは、前記画像処理切替部は、前記領域の前記合成枚数情報が N枚であるときはノイズ除去処理を行い、前記合成枚数が M枚 (N>M)であるときは輪郭強調処理を行ってもよい。

[0022] 本発明である複数の画像を取得し合成画像を作成する画像処理装置のコンビユータに、前記画像を合成するとき、前記合成画像の領域ごとに前記画像を合成する枚数を検出して合成枚数情報として保存する合成枚数決定処理と、前記合成枚数情報に基づヽて、前記合成画像の各領域に対し実行する画像処理のパラメータを切り替える画像処理パラメータ切替処理と、前記合成枚数情報に基づいて、前記合成画像の各領域に対し実行する画像処理を切り替える画像処理切替処理とのいずれか、または両方と、をコンピュータに実行させるプログラムである。

[0023] 本発明によれば、合成画像の各領域で異なる画像合成枚数にぉヽて、領域ごとの画像合成枚数によって画像処理、あるいは画像処理のパラメータを切り替えることで、画像解析など複雑な処理を簡単することができ、最適な画像処理を実施することができる。

図面の簡単な説明

[0024] [図 1]本発明の原理を示すブロック図である。

[図 2]本発明の動作を示すフロー図である。

[図 3]動き領域検出の原理を示す図である。

[図 4]共通領域検出の原理を示す図である。

[図 5A]共通領域検出 (パノラマ撮影)の原理を示す図である。

[図 5B]共通領域検出 (パノラマ撮影)の原理を示す図である。

[図 6]実施例 1の構成を示すブロック図である。

[図 7]実施例 1の合成枚数と輪郭強度を示すデータベースを示す図である。

[図 8]実施例 2の構成を示すブロック図である。

[図 9]実施例 2の合成枚数とフィルタサイズを示すデータベースを示す図である。 [図 10]実施例 3の動作を示すフロー図である。

[図 11]実施例 4の構成を示すブロック図である。

[図 12]実施例 4の合成枚数と傾きを示すデータベースを示す図である。

[図 13]プログラムをコンピュータで読み取ることの可能な記録媒体の構成例を示す図である。

発明を実施するための最良の形態

[0025] 以下図面に基づいて、本発明の実施形態について詳細を説明する。

(原理説明）

本発明は、複数枚の画像を動き領域検出方法や共通領域検出方法などを用いて合成した合成画像に対して輪郭強調処理、ノイズ除去、トーンカーブ補正処理などの画像処理を行う場合、上記合成画像を構成する領域ごとの合成枚数に関する情報 (合成枚数情報）に基づいて、上記画像処理ごとにパラメータを変更する。

(構成説明）

図 1に画像処理装置 1のブロック図を示す。画像処理装置 1は、画像保持部 2、合成枚数決定部 3、画像合成部 4、パラメータ選択部 5、画像処理部 6から構成される。

[0026] 画像処理装置 1は例えばデジタルカメラなどに備えられる。光 Z電気変換素子等の撮像素子を備えた撮像部（図示しな!ヽ)から、撮影時に撮像制御を行!ヽ任意の被写体の画像を撮影する。ここで、撮像制御は、撮像部におけるゲイン値 (感度）、露光時間等の撮影条件を制御する。すなわち、利用者の設定する撮影条件を入力して、撮像部の撮影条件を適宜設定される。

[0027] 画像保持部 2 (フレームメモリ）は、撮像部で撮影された画像フレーム等の画像データを格納する。例えば、撮像部において時系列に撮影された複数の画像データが格納される。上記画像データは後段の合成枚数決定部 3と画像合成部 4に転送される

[0028] 合成枚数決定部 3は、領域 (画素、複数画素力構成)ごとにずれ量を算出し動き領域検出方法や共通領域検出方法などにより合成枚数を決定し、画像合成部 4とパラメータ選択部 5に画像合成情報を転送する。ここで画像合成情報は領域ごとの画像の合成枚数を示す合成枚数情報を含み、さらに合成時に必要な情報を含んでもよい。

[0029] なお、この画像データとともに、当該画像データの感度、露光時間等の撮影条件を示す撮影時パラメータなども、合成枚数決定部 3、画像合成部 4に対して出力してもよい。

画像合成部 4では、画像保持部²に格納されている画像データを取得し、合成枚数決定部 3で生成した画像合成情報 (合成枚数情報を含む）に基づ!/、て画像合成を行

[0030] ノメータ選択部 5では、合成枚数情報に基づヽて、画像合成部 4で生成した合成画像に画像処理部 6で実施する、輪郭強調処理、ノイズ除去、トーンカーブ補正処理などの各画像処理のパラメータを切り替える。ノラメータの切り替えは合成枚数情報に基づいて行われる。

[0031] 上記画像処理装置 1は、デジタルカメラ、カメラ付き携帯電話、カメラ付き PDA、力メラ付きパーソナルコンピュータ等の電子装置（コンピュータ）で実行されるプログラムとして、ソフトウェアで実現することができる。あるいは、ハードウェアにより実現できる。さらには、電子装置等のコンピュータに固定的に組み込まれたソフトウェアであるフアームウェアとしても実現できる。

(動作説明）

図 2に本発明の動作フロー図を示す。

[0032] ステップ S1では、撮影 (連写撮影、ノ Vラマ撮影など）して複数の静止画像を取得し画像保持部 2 (フレームメモリ）に保存する。

ステップ S2では画像合成枚数を決定する。ステップ S 1で取得した複数画像の領域ごと (画素、複数画素であってもよい）に合成枚数 (合成枚数情報)を決定する。合成枚数の決定は動き領域検出方法や共通領域検出方法などがある。

[0033] 図 3に動き領域検出の原理図を示す。

例えば、画像保持部 2に連写撮影した 3枚の画像図 3の画像 31〜33 (画像 1〜3) を格納 (画像保持部 2)し、各画像の特徴点を検出し位置合わせをして単純に合成すると図 3の画像 34 (単純合成）に示すような車が多重化された合成画像ができる。次に、同一位置の画素値の差分を算出し、その差分が予め設定した閾値以上の部分を動き領域として検出する。

[0034] 図 3の画像 35 (動き検出）は動き領域を「白」、非動き領域を「黒」で表した画像である。例えば、図 3の画像 36 (動き領域除去画像画像 1)は、動き領域を図 3の画像 32 ( 画像 2)の画像を用い、非動き領域は 3枚合成を行った結果を用いて合成した合成画像である。図 3の画像 36では図 3の画像 35の「白」の領域が 1枚画像、「黒」の領域が 3毎合成の画像カゝらなる混在画像であるので、図 3の画像 35の動き検出結果を元に自動車を除去して背景だけを抽出する。その結果、合成画像として図 3の画像 37 (動き領域除去画像画像 1)を得ることができる。この図 3の画像 37の合成画像も、 1枚のみの領域、 2枚合成の領域、 3枚合成の領域の混在部分がある。

[0035] また、合成枚数の決定方法として共通領域がある。

図 4に共通領域検出の原理図を示す。被写体が動いていなくても、連写画像間には手振れがあるため、撮影領域が微妙に異なることがある。例えば、図 4の画像 41〜 43のように連写画像を取得して合成をする。その場合、図 4の画像 44に示すように合成される。つまり、特徴点を検出後 3枚の画像を重ねると、中央が 3枚合成の領域となり、重なりが 3枚でない端の部分に 2枚合成画像、 1枚画像領域が混在する。

[0036] また、図 4に示す例では 3枚合成領域が他の合成領域に比べ大きいが、例えば、図 5Aに示すモザィキングによるパノラマ画像生成の場合、画像間を結合するのりしろ領域が 2枚合成であり、それ以外は 1枚画像領域となる。ノ Vラマ化は撮影時に共通領域 (のりしろ）を残しつつ、カメラをパンユングさせて連続撮影し、のりしろ部分を結合して横長画像を生成する。この場合、のりしろ部分が 2枚合成となり、それ以外が 1 枚画像となる。

[0037] また、図 5Bに示すようにパノラマ化は、横だけでなく縦方向、横 +縦方向などが可能である。そのため、画像合成領域も 1枚領域と 2枚合成領域だけでなぐ 3枚合成、

4枚合成など多くのノリエーシヨンが存在する。

[0038] ステップ S3では画像合成を実施する。ステップ S 2で検出した各領域 (画素、複数画素から構成）の合成枚数に基づいて画像合成を行う。そして、ステップ S4では各領域の合成枚数を合成枚数情報としてメモリに保存する。

[0039] ステップ S5では全領域について合成を行つたかを判定する。全ての領域について合成が完了してヽればステップ S6に移行する。そうでなければステップ S2に移行して合成を続ける。

[0040] ステップ S6では、ステップ Sl〜4で行った画像合成処理と領域ごとの合成枚数決定処理を行った結果によりパラメータ切り替えの判定を行う。合成枚数が 1枚であればステップ S7に移行する（基準画像を使用）。合成枚数が複数枚であればステップ S 8に移行する。ステップ S7では 1枚の場合に対応する画像処理の設定を選択する。パラメータ選択部 5により画像処理を行うさいのパラメータの設定を選択する。

[0041] ステップ S8では複数枚 (本例では 2〜n枚)の場合に、例えば合成枚数が 2枚であれば 2枚のときのパラメータを選択する。パラメータ選択部 5により画像処理を行うさいのパラメータの設定を選択する。

[0042] ここで、ステップ S7、 S8で設定したパラメータは、予め合成枚数に対応するパラメ一タ値をデータベースとしてパラメータ選択部 5に格納しておぐまたは専用にメモリを用意してもよい。画像処理パラメータの切り替え処理は、領域ごとに保存された合成枚数情報から画像処理 (輪郭強調処理、ノイズ除去、トーンカーブ補正処理)ごとのパラメータを切り替えるために合成枚数を取得する。

[0043] ステップ S9では、合成画像の領域に対して画像処理を行うため該画像処理に対応するステップ S7またはステップ S8で選択した画像処理を合成画像の各領域に行う。そして、ステップ S 10では全領域について合成を行つたかを判定する。全ての領域について合成が完了していれば終了する。そうでなければステップ S6に移行して画像処理を続ける。

[0044] 上記方法により領域適応型の画像処理を実現でき、ノイズ除去による副作用（画像のボケなど)を画像解析など複雑な処理を行うことなく低減できる。

また、合成画像の合成枚数に応じて合成後画像の画像処理のパラメータを変更することにより、合成処理時の合成枚数に基づいてパラメータを切り替えるため、追加処理 (領域分割、ノイズ量検出など)を必要としない。

また、パラメータは画像合成枚数が 2以上のときのパラメータを保持し、保持していな、画像合成枚数時のパラメータは、保持して、るパラメータを補間して生成してもよい。 (実施例 1)

合成画像では、ノイズ量は画像合成枚数に比例して減る傾向にあるため、画像合成枚数を記憶しておき、画像合成枚数に応じて輪郭強調処理の強度を切り替える。

[0045] 図 6に実施例 1のブロック図を示す。実施例 1は、画像保持部 61、ずれ量算出部 62 、動き領域検出部 63、画像合成部 64、パラメータ選択部 65、輪郭強調処理部 66より構成される。実施例 1では、図 1に示したブロック図の合成枚数決定部 3がずれ量算出部 62と動き領域検出部 63から構成され、画像処理部 6が輪郭強調処理部 66により構成されている。

[0046] ずれ量算出部 62は、画像保持部 61の複数の画像における同一領域 (画素単位または、複数の画素力もなる画素ブロック単位)のずれ量を算出して、動き領域検出部 63に出力する。

[0047] 動き領域検出部 63は、閾値設定部、動き判定部、孤立点ノイズ判定部、判定バッファを含んでいる。

閾値設定部では、上記撮影時パラメータに応じて、第 1判定閾値、および第 2判定閾値を算出し、動き判定部および孤立点ノイズ判定部にそれぞれ出力する。すなわち、第 1判定閾値は、露光時間 teに応じて決定される閾値 d_exposure、またはゲイン値 gに応じて決定される閾値 d_gainのいずれかからなる。第 2判定閾値も、露光時間 t eまたはゲイン値 gに基づいて、閾値 I_exposure、または閾値 Lgainのように決定される

[0048] 動き判定部は、ずれ量 Δ aの大小に応じて、複数画像の対応する当該領域が動き領域か否かを判定する。具体的には、第 1判定閾値と比較し、差分値 Δ aが第 1判定閾値よりも大きい場合に動きありと判定し、動き判定結果を判定バッファに出力する。

[0049] 判定バッファは、例えば、動き判定結果をビットマップで記録する。比較する画像同士の各画像の画素 (X, y)の領域が動き有りと判定された場合には、ビットマップの M (X, y)の位置に" 1"が、動きなしの場合は" 0"が、設定される。

[0050] 孤立点ノイズ判定部は、さらに、動き判定部によって動きあり、と判定された画素の M (x, y)が、孤立点ノイズか否かを判別し、ノイズと判定された場合には、当該 M (x , y)を動きなし（"0")にする。具体的には、注目画素の M (x, y)に隣接する周囲の 8 箇所の判定結果を参照して、動きありと判定された画素の個数をカウントし、このカウント値が、第 2判定閾値（閾値 Lexposureまたは閾値 Lgain)よりも小さ、場合には孤立点ノイズと判定して、当該 M (x, y)を、動きなし ("0")にする。

[0051] 上記のように判定した結果に基づ、て、動きがある場合、動、て、な、領域を合成し、動いている領域は合成しない。例えば、 3枚とも動きがなければ領域における動き領域情報 (画像合成枚数情報)は 3を保持し、動きがあれば基準画像を使用するため動き領域情報 (画像合成枚数情報)は 1を保持する。

[0052] 画像合成部 64では、各画像を動き領域情報 (画像合成枚数情報）に基づ!、て合成する。

ノメータ選択部 65は、実施例 1では輪郭強調処理を行うため合成枚数と輪郭強度 (輪郭強度パラメータ）を予め設定しておく。例えば、鮮明化フィルタを用いて画素間の濃度値 (輪郭強度)の差を大きくしてシャープネスを行う。図 7に示すようなデータベースを用意し合成枚数が 1枚の領域では輪郭強度を 30とし、 2枚の領域では 20 、 3枚の領域では 10に設定し、メモリなどに格納する。

[0053] 輪郭強調処理部 66では、合成画像の領域ごとに対応する輪郭強度パラメータに基づいて輪郭強調処理を実行する。つまり、領域ごとに設定された輪郭強度に基づいて輪郭強調処理する。

(実施例 2)

図 8に実施例 2のブロック図を示す。実施例 2は、画像保持部 81、ずれ量算出部 82 、共通領域検出部 83、画像合成部 84、パラメータ選択部 85、ノイズ除去処理部 86 より構成される。実施例 2では、図 1に示したブロック図の合成枚数決定部 3がずれ量算出部 82と共通領域検出部 83から構成され、画像処理部 6がノイズ除去処理部 66 で構成されている。

[0054] ずれ量算出部 82は、画像保持部 81の複数の画像における同一領域 (画素単位または、複数の画素力もなる画素ブロック単位)のずれ量を算出して、共通領域検出部 83に出力する。

[0055] 共通領域検出部 83では、画像保持部 81に格納した複数の画像の特徴点を検出し、例えば 3枚の画像を重ね 3枚合成の領域、 2枚合成の領域、 1枚合成の領域を検出する。

画像合成部 84では、各画像を共有領域情報 (画像合成枚数情報）に基づいて合成する。

[0056] ノメータ選択部 85は、ノイズ除去処理を行うため合成枚数と加重平均フィルタやメディアンフィル、ぼカゝし処理などのフィルタサイズ (ノイズ除去パラメータ）を予め設定しておく。例えば、図 9に示すようなデータベースを用意し合成枚数力^の領域ではフィルタサイズを 5 X 5とし、 2の領域では 3 X 3、 3の領域では 1 X 1に設定し、メモリなどに格納する。

[0057] ノイズ除去処理部 86では、合成画像の領域ごとに対応するノイズ除去パラメータに基づいてノイズ除去処理を実行する。つまり、領域ごとに設定されたフィルタサイズに基づ!/、てノイズ除去処理する。

[0058] また、ノ Vラマ画像の生成におけるのりしろ領域を検出し、のりしろ領域かどうかでノィズ除去のパラメータを切り替えてもよ!/、。

(実施例 3)

図 10に画像処理を合成枚数で変更するときの動作フローを示す。

[0059] ステップ S1では、複数の画像を撮影 (連写撮影、ノ Vラマ撮影など）して複数の静止画像を取得する。画像保持部 2 (フレームメモリ）に保存される。

ステップ S2では画像合成枚数を決定する。ステップ S 1で取得した複数画像の領域ごと (画素、複数画素であってもよい）に合成枚数 (合成枚数情報)を決定する。合成枚数の決定は例えば動き領域検出方法や共通領域検出方法がある。

[0060] ステップ S3では画像合成を実施する。ステップ S 2で検出した各領域 (画素、複数画素から構成）の合成枚数に基づいて合成を行う。そして、ステップ S4では各領域の合成枚数を合成枚数情報としてメモリに保存する。

[0061] ステップ S5では全領域について合成を行つたかを判定する。全ての領域について合成が完了してヽればステップ S6に移行する。そうでなければステップ S2に移行して合成を続ける。

[0062] ステップ S101では、ステップ Sl〜4で行った画像合成処理と領域ごとの合成枚数決定処理を行った後、合成画像の領域ごとに画像処理を切り替えるための判定を行う。画像処理の切り替えは、領域ごとに保存された合成枚数情報から輪郭強調処理、ノイズ除去を切り替える。合成枚数が 1枚であればステップ S102に移行する（基準画像を使用）。合成枚数が複数枚であればステップ S103に移行する。

[0063] なお、ここでは、合成枚数が 1枚カゝ複数枚かで処理を切替えている力本発明はこれに限るものではなぐ合成枚数が N枚 (N> 1)の場合にノイズ除去処理を行い、 M 枚 (M>N)の場合に輪郭強調処理を行っても構わない。ステップ S102では合成枚数情報が 1枚の場合にノイズ除去処理を選択しノイズ除去処理を行う。

[0064] ステップ S 103では合成枚数情報が複数枚の場合に、例えば 2枚の画像を合成するときすなわち、合成枚数情報が 2枚のときに輪郭強調処理を選択し輪郭強調処理を行う。

なお、ステップ S103の処理においては、画像合成枚数が多い場合は、輪郭強調のパラメータを強めにし、画像合成枚数が少なヽ領域では弱めに輪郭強調を実施するなど、合成枚数の多さに応じて、画像処理に用いるパラメータの強さを変化させても良い。

[0065] ステップ S 104では全領域について合成を行つたかを判定する。全ての領域について合成が完了していれば終了し、そうでなければステップ S 101に移行して画像処理を続ける。

(実施例 4)

図 11にトーンカーブ補正の動作フローを示す。

[0066] ステップ S 111では、ステップ S 1〜4で行った画像合成処理と領域ごとの合成枚数決定処理を行った後、合成画像の領域ごとにトーンカーブ補正を切り替えるための判定を行う。トーンカーブ補正の切り替えは、領域ごとに保存された合成枚数情報からトーンカーブ補正パラメータを切り替える。合成枚数が 1枚であればステップ S 112 に移行する（基準画像を使用）。合成枚数が複数枚であればステップ S113に移行する。

[0067] ステップ S 112では合成枚数情報が 1枚の場合、 1枚用のトーンカーブ補正パラメータを選択しトーンカーブ補正を行う。

ステップ S113では合成枚数情報が複数枚の場合に、例えば合成枚数が 2枚であれば 2枚のときのトーンカーブ補正パラメータを選択しトーンカーブ補正を行う。

[0068] 例えば、トーンカーブ補正パラメータは、ガンマ特性を利用してトーンカーブ補正をする。そのためのデータベースを図 12に示す。合成枚数が 1枚のときは傾き 3を選択し、 2枚のときは傾き 1. 5を選択し、 3枚のときは 1を選択する。また、ガンマ補正をする場合はガンマ値が 1になるようにトーンカーブ補正パラメータを設定する。さらに、パラメータとして設定されていない合成枚数については適用するガンマ値を補間で算出してもよい。

[0069] ステップ S114では全領域につ!、て合成を行つたかを判定する。全ての領域につ！ヽてトーンカーブ補正が完了してヽれば終了し、そうでなければステップ S111に移行して画像処理を続ける。

(変形例）

次に、合成枚数の決定例として画像の不具合 (色、明るさなど)を検出する方法について説明する。撮影した画像が青っぽくなつたり赤っぽくなつたりすることがある。これは画像中にある「白」を起点として画像全体の色味を調整するため、例えば連写撮影中に、それまで基準となっていた「白」が被写体動きによって無くなり（フレームァゥトするなど）、赤っぽい色を「白」と誤検出すると赤を白に直そうとするため、全体的に青っぽい画像になる。このような画像を合成に使用すると、合成結果画像の色味がぉカゝしくなるため、合成対象から削除する。

[0070] また、多チャンネルデータ転送装置 (LSIなど）内に設けられるコンピュータ（CPU、情報処理装置を含む）に外部から PCなどを利用して、上記実施例に示した動作ゃステツプをソースとする所定のプログラム（多チャンネルデータ転送プログラム）を、メモリ（ROMなど）に保存し、起動時にコンピュータに書き込み、上記ステップを実行することができる。

[0071] また、単体のコンピュータ（CPU、 FPGAなどの情報処理装置を含む）などを用い、上記実施例 1〜4に示したステップをソースとする所定のプログラム（多チャンネルデータ転送プログラム）を、メモリ (ROMなど）に保存し、起動時に該コンピュータに書き込み、上記ステップを実行することができる。

[0072] また、前述したようなフローチャートの処理を標準的なコンピュータ（例えば画像処理装置など）の CPUに行わせるための制御プログラムを作成してコンピュータ読み取り可能な記録媒体に記録させておき、そのプログラムを記録媒体力もコンピュータに読み込ませて CPUで実行させるようにしても、本発明の実施は可能である。

[0073] 記録させた制御プログラムをコンピュータシステムで読み取ることの可能な記録媒体の例を図 13に示す。このような記録媒体としては、例えば、コンピュータシステム 1 30に内蔵若しくは外付けの付属装置として備えられる ROMゃノヽードディスク装置などの記憶装置 131、コンピュータシステム 130に備えられる媒体駆動装置 132へ挿入することによって記録された制御プログラムを読み出すことのできるフレキシブルデイスク、 MO (光磁気ディスク）、 CD—ROM、 DVD— ROMなどといった携帯可能記録媒体 133等が利用できる。

[0074] また、記録媒体は通信回線 134を介してコンピュータシステム 130と接続される、プログラムサーバ 135として機能するコンピュータシステムが備えている記憶装置 136 であってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバ 135から伝送媒体である通信回線 134 を通じてコンピュータシステム 130へ伝送するようにし、コンピュータシステム 130では受信した伝送信号を復調して制御プログラムを再生することでこの制御プログラムをコンピュータシステム 130の CPUで実行できるようになる。

[0075] また、本発明は、上記実施の形態に限定されるものでなぐ本発明の要旨を逸脱しない範囲内で種々の改良、変更が可能である。

Claims

請求の範囲

[1] 複数の画像を取得し合成画像を作成する画像処理方法であって、

前記画像を合成するとき、前記合成画像の領域ごとに前記画像を合成する枚数を検出して合成枚数情報として保存する合成枚数決定処理と、

前記合成枚数情報に基づ！/ヽて、前記合成画像の各領域に対し実行する画像処理のパラメータを切り替える画像処理パラメータ切替処理と、前記合成枚数情報に基づ

Vヽて、前記合成画像の各領域に対し実行する画像処理を切り替える画像処理切替処理との!/、ずれかまたは両方と、

を有することを特徴とする画像処理方法。

[2] 前記合成枚数決定処理は、

前記画像間のずれ量を算出し、前記ずれ量に基づいて前記画像間で被写体の動きのある領域と動きのな、領域を検出して動き領域情報を生成し、前記動き領域情報に基づいて前記領域内の前記合成枚数情報を変更することを特徴とする請求項 1 に記載の画像処理方法。

[3] 前記合成枚数決定処理は、

前記画像間のずれ量を検出し、前記ずれ量に基づ、て前記画像のうちの複数画像間で共有する前記画像の共通領域を検出して共通領域情報を生成し、前記共通領域情報に基づいて前記領域内の前記合成枚数情報を変更することを特徴とする請求項 1に記載の画像処理方法。

[4] 前記合成枚数決定処理は、

前記画像間の色と明るさレベルのずれ量を算出し、予め設定したずれ量と比較し、範囲外の前記画像を検出し、前記検出した前記画像を前記合成枚数から削除して前記合成枚数決定処理を実行することを特徴とする請求項 1に記載の画像処理方法。

[5] 前記合成画像の各領域に対し実行する前記画像処理は輪郭強調であることを特徴とする請求項 1に記載の画像処理方法。

[6] 前記合成画像の各領域に対し実行する前記画像処理はノイズ除去であることを特徴とする請求項 1に記載の画像処理方法。

[7] 前記合成画像の各領域に対し実行する前記画像処理はトーンカーブ補正であることを特徴とする請求項 1に記載の画像処理方法。

[8] 前記画像処理切替処理は、前記領域の前記合成枚数情報が N枚であるときはノィズ除去処理を行い、前記合成枚数が M枚 (ただし， N< M)であるときは輪郭強調処理を行うことを特徴とする請求項 1に記載の画像処理方法。

[9] 複数の画像を取得し合成画像を作成する画像処理装置であって、

前記画像を合成するとき、前記合成画像の領域ごとに前記画像を合成する枚数を検出して合成枚数情報として保存する合成枚数決定部と、

前記合成枚数情報に基づ！/ヽて、前記合成画像の各領域に対し実行する画像処理のパラメータを切り替える画像処理パラメータ切替部と、前記合成枚数情報に基づヽて、前記合成画像の各領域に対し実行する画像処理を切り替える画像処理切替部とのいずれか、または両方と、

を具備することを特徴とする画像処理装置。

[10] 前記合成枚数決定部は、

前記画像間のずれ量を算出するずれ量算出部と、

前記ずれ量に基づ、て前記画像間で被写体の動きのある領域と動きのな、領域を検出して動き領域情報を生成し、前記動き領域情報に基づいて前記領域内の前記合成枚数情報を変更する動き領域検出部と、

を具備することを特徴とする請求項 9に記載の画像処理装置。

[11] 前記合成枚数決定部は、

前記画像間のずれ量を算出するずれ量算出部と、

前記ずれ量に基づいて前記画像間で共有する前記画像の共通領域を検出して共通領域情報を生成し、前記共通領域情報に基づ、て前記領域内の前記合成枚数情報を変更する共通領域検出部と、

を具備することを特徴とする請求項 9に記載の画像処理方法。

[12] 前記合成枚数決定部は、

前記画像間の色と明るさレベルのずれ量を算出し、予め設定したずれ量と比較し、範囲外の前記画像を検出し、前記検出された前記画像を削除して前記合成枚数決定することを特徴とする請求項 9に記載の画像処理装置。

[13] 前記合成画像の各領域に対し実行する前記画像処理は輪郭強調であることを特徴とする請求項 9に記載の画像処理装置。

[14] 前記合成画像の各領域に対し実行する前記画像処理はノイズ除去であることを特徴とする請求項 9に記載の画像処理装置。

[15] 前記合成画像の各領域に対し実行する前記画像処理はトーンカーブ補正であることを特徴とする請求項 9に記載の画像処理装置。

[16] 前記画像処理切替部は、前記領域の前記合成枚数情報が N枚であるときはノイズ除去処理を行ヽ、前記合成枚数が M枚 (N>M)であるときは輪郭強調処理を行うことを特徴とする請求項 9に記載の画像処理装置。

[17] 複数の画像を取得し合成画像を作成する画像処理装置のコンピュータに、

Vヽて、前記合成画像の各領域に対し実行する画像処理を切り替える画像処理切替処理とのいずれか、または両方と

をコンピュータに実行させることを特徴とする画像処理装置のプログラム。

[18] 前記合成枚数決定処理は、

前記画像間のずれ量を算出し、前記ずれ量に基づいて前記画像間で被写体の動きのある領域と動きのな、領域を検出して動き領域情報を生成し、前記動き領域情報に基づいて前記領域内の前記合成枚数情報を変更することをコンピュータに実行させることを特徴とする請求項 17に記載の画像処理装置のプログラム。

[19] 前記合成枚数決定処理は、

前記画像間のずれ量を検出し、前記ずれ量に基づ!、て前記画像間で共有する前記画像の共通領域を検出して共通領域情報を生成し、前記共通領域情報に基づ、て前記領域内の前記合成枚数情報を変更することをコンピュータに実行させることを特徴とする請求項 17に記載の画像処理装置のプログラム。

[20] 前記合成枚数決定処理は、

前記画像間の色と明るさレベルのずれ量を算出し、予め設定したずれ量と比較し、範囲外の前記画像を検出し、前記検出した前記画像を前記合成枚数から削除して前記合成枚数決定処理を実行することをコンピュータに実行させることを特徴とする請求項 17に記載の画像処理装置のプログラム。

[21] 前記合成画像の各領域に対し実行する前記画像処理は輪郭強調であることをコンピュータに実行させることを特徴とする請求項 17に記載の画像処理装置のプロダラム。

[22] 前記合成画像の各領域に対し実行する前記画像処理はノイズ除去であることをコンピュータに実行させることを特徴とする請求項 17に記載の画像処理装置のプログラム。

[23] 前記合成画像の各領域に対し実行する前記画像処理はトーンカーブ補正であることをコンピュータに実行させることを特徴とする請求項 17に記載の画像処理装置のプログラム。

[24] 前記画像処理切替処理は、前記領域の前記合成枚数情報が 1枚であるときはノィズ除去処理を行！ヽ、前記合成枚数が複数枚であるときは輪郭強調処理を行うことをコンピュータに実行させることを特徴とする請求項 17に記載の画像処理装置のプログラム。