JP2011176777A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】合成時にボケや不快なアーティファクトが生じない高品質な画像を生成することを目的とする。
【解決手段】複数の画像間の位置合わせを行う位置合わせ手段と、位置合わせされた前記複数の画像を合成して合成画像を生成する画像合成手段とを備えた画像処理装置であって、位置合わせ手段は、複数の画像のうち何れか１つを基準画像とし、他の画像を参照画像とした場合に、参照画像を所定の境界線によって区切ることにより複数の領域に分割する領域分割手段と、参照画像間で前記領域がそれぞれ異なるように境界線を移動させて各参照画像の領域を変更する領域変更手段と、を備え、領域毎に基準画像に対して位置合わせ対象の参照画像の位置合わせを行う。
【選択図】図４

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、時系列に撮影した複数枚の画像の位置合わせ処理や合成処理を行う画像処理装置及び画像処理方法に関するものである。

デジタルカメラやデジタルビデオカメラ等の撮像装置において画像を撮影する際に、手振れによって撮像装置に動きが生じると、撮影された画像にぶれが生じ不鮮明になるという問題がある。このため、撮像装置では、時間的に連続する複数枚の画像を撮像し、該複数の画像間の相関を取ることで画像間の動きを動きベクトルとして検出し、この動きベクトルに基づいて、複数の画像間の対応する点を一致させて合成することにより手振れによる画像劣化を改善する、いわゆる電子手ブレ補正処理が知られている。このような手ブレ補正処理の一例として、特許文献１には、手ブレが起こらないような短い露光時間で複数枚の画像を取得し、手ブレの軌跡をキャンセルするように画像の相対位置をずらしながら合成することにより、適正露光でブレのない画像を得る技術が開示されている。

また、特許文献２には、画像間において複数の領域からパターンマッチングを行うことにより得られた複数の動きベクトルから、最も確からしい一つの動きベクトル（グローバル動きベクトル）を特定して位置合わせを行う技術が開示されている。さらに、特許文献３には、グローバル動きベクトルを特定せずに領域ごとに求めた動きを、該当する領域ごとに適用し位置合わせを行う技術が開示されている。

特開平９−２６１５２６号公報 特開２００８−００５０８４号公報 特開平８−１１０９３９号公報

しかしながら、上記した特許文献２に開示された技術によれば、平行移動のブレ成分に加えて回転移動のブレ成分も考慮した高精度なブレ補正を行うことができるが、画像全域で一つのグローバル動きベクトルを適用することにより補正を行うため、例えば、平行移動・回転移動以外の自由度を持つ手ブレが発生した場合や、被写体に動きがある場合に正しく位置合わせを行うことができない。従って、位置合わせした画像を合成する際に、画像上でグローバル動きベクトルに適合しない動きを持つ領域にボケが発生し、解像度が著しく損なわれるという問題がある。

また、特許文献３に開示された技術によれば、画像を領域分割し、分割領域毎に求めた動きベクトルを用いて位置合わせを行うため、個々の分割領域内の画質は大きく改善されるが、隣接する分割領域の動きベクトルがわずかでも異なる場合、領域境界の不整合によるブロックノイズが大きく目立ち、画像全体での画質が著しく低下するという問題がある。

本発明は、上記問題を解決するためになされたもので、合成時にボケや不快なアーティファクトが生じない高品質な画像を生成することが可能な画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、複数の画像間の位置合わせを行う位置合わせ手段と、位置合わせされた前記複数の画像を合成して合成画像を生成する画像合成手段とを備えた画像処理装置であって、前記位置合わせ手段は、前記複数の画像のうち何れか１つを基準画像とし、他の画像を参照画像とした場合に、前記参照画像を所定の境界線によって区切ることにより複数の領域に分割する領域分割手段と、前記参照画像間で前記領域がそれぞれ異なるように前記境界線を移動させて前記各参照画像の前記領域を変更する領域変更手段と、を備え、前記領域毎に前記基準画像に対して前記位置合わせ対象の参照画像の位置合わせを行うことを特徴とする画像処理装置を提供する。

また、上記した画像処理装置において、前記領域分割手段は、前記領域を矩形領域とすることが好ましい。

さらに、上記した画像処理装置において、前記領域変更手段は、前記境界線を平行移動させることにより前記領域を変更することが好ましい。

本発明は、複数の画像間の位置合わせを行い、位置合わせされた前記複数の画像を合成して合成画像を生成する画像処理方法であって、前記位置合わせに際して、前記複数の画像のうち何れか１つを基準画像とし、他の画像を参照画像とした場合に、前記参照画像を所定の境界線によって区切ることにより複数の領域に分割するステップと、前記参照画像間で前記領域がそれぞれ異なるように前記境界線を移動させて前記各参照画像の前記領域を変更するステップと、を備え、前記領域毎に前記基準画像に対して前記位置合わせ対象の参照画像の位置合わせを行うことを特徴とする画像処理方法を提供する。

このように、本発明によれば、合成時にボケや不快なアーティファクトが生じない高品質な画像を生成することができる。

本発明の一実施形態にかかる画像処理装置を適用した場合のデジタルカメラの概略構成を示すブロック図である。 本発明の一実施形態にかかる画像処理装置におけるフレームメモリに画像が展開された場合の一例を示す説明図である。 本発明の一実施形態にかかる画像処理装置におけるフレームメモリに画像が展開された場合の一例を示す説明図である。 本発明の一実施形態にかかる画像処理装置の画像位置合わせ部の概略構成を示すブロック図である。 本発明の一実施形態にかかる画像処理装置において、基準画像に対する領域分割の手順を示す説明図である。 本発明の一実施形態にかかる画像処理装置において、領域分割された基準画像と参照画像とのブロックマッチングの様子を示す説明図である。 本発明の一実施形態にかかる画像処理装置の画像合成部の概略構成を示すブロック図である。 本発明の一実施形態にかかる画像処理装置において、領域分割されブロックマッチングされた基準画像と参照画像とが順次合成される場合の、領域の境界線の位置を示す説明図である。 本発明の一実施形態にかかる画像処理装置において、領域分割されブロックマッチングされた基準画像と参照画像とがそれぞれ合成される様子を示す説明図である。 本発明の一実施形態にかかる画像処理装置にかかる画像処理の過程を示すフローチャートである。

以下に、本発明に係る画像処理装置の一実施形態について、図面を参照して説明する。
図１は、本実施形態に係る画像処理装置を備えたデジタルカメラの概略構成を示すブロック図である。本実施形態にかかる画像処理装置は、図１に示すように、例えば、デジタルカメラに適用することができる。すなわち、デジタルカメラにおいて、撮像素子により時系列に連続した複数の画像に対して所定の画像処理を施した後に、本実施形態にかかる画像処理装置が、複数の画像間の位置合わせ処理を行い、これら複数の画像を合成して合成画像を生成する。

図１に示すように、本実施形態で述べるデジタルカメラは、撮像部１００、Ａ／Ｄ変換部１０１、画像処理部１０２、フレームメモリ１０３、画像位置合わせ部１０４、画像合成部１０５、セレクタ１０６、画像表示部１０７及び画像圧縮部１０８を備えている。

撮像部１００は、光学レンズ部と撮像素子とを備えている。光学レンズ部は、被写体より放射もしくは反射される光を撮像素子上に結像させるものであり、必要に応じて絞り、光学ローパスフィルタ、及びメカニカルシャッター等を組み合わせて構成することもできる。撮像素子は、二次元平面上に配置された複数の光電変換素子上に結像した画像を電気信号に変換するものであり、例えばＣＣＤ(Charge Coupled Device)撮像素子やＣＭＯＳ(Complementary Metal Oxide Semiconductor)撮像素子等を使用することができる。また、撮像素子上に所定のカラーフィルタアレイを設置すると光電変換素子毎に異なる色情報を取得することができ、後述する画像処理部１０２にてカラー画像を形成することが可能となる。

Ａ／Ｄ(Analog/Digital)変換部１０１は、撮像部１００により電圧信号に変換されたアナログ画像信号を、デジタル画像信号に変換する。画像処理部１０２は、Ａ／Ｄ変換部１０２から供給される画像信号を加工し、最適化された１枚の画像データを生成する。ここでは、例えばノイズ抑制処理、エッジ強調処理、スケーリング処理、等が含まれる。また、前述のようなカラーフィルタアレイを適用した場合は、デモザイキング処理により多チャンネルのカラー信号を得ることもできる。カラー画像を扱う場合は、前述のデモザイキング処理のほかに、ホワイトバランス調整処理、ＹＣ分離処理、等も必要となる。撮像部１００による画像の撮影、Ａ／Ｄ変換部１０１による画像信号のＡ／Ｄ変換及び画像処理部１０２による所定の画像処理を複数回数繰り返えすことで、複数枚の画像を取得し、取得した画像をフレームメモリ１０３に格納する。

フレームメモリ１０３は、上述したように画像処理部１０２により所定の処理がなされた画像データを格納する。具体的には、フレームメモリ１０３には、図２のように画像データが書き込まれる。図２の例では、取得画像枚数をｎ枚とすると、１枚の基準画像とｎ−１枚の参照画像とがフレームメモリ上に展開される。本実施形態では、ユーザーがシャッターボタンを押下した直後に取得した画像を基準画像、それ以降に取得した画像を参照画像とし、参照画像は基準画像に位置合わせされるものとする。なお、基準画像は及び参照画像は任意に定めることができる。換言すると、位置合わせの基準となる基準画像は取得した複数枚画像のいずれでもよく、ユーザーが指示できるようにしても良い。

また、フレームメモリ１０３には、後述するように基準画像と参照画像とが合成されることにより生成される合成画像データも格納する。参照画像が複数ある場合には、後述する画像合成部１０５での画像合成処理が繰り返され、その結果生成された合成画像が、合成画像の格納領域に格納される。すなわち、その参照画像が１枚目の参照画像である場合には、基準画像と参照画像とを合成した合成画像が格納され、参照画像が２枚目以降の参照画像である場合には、先に合成された合成画像を基準画像として、この合成画像と参照画像とを合成した合成画像を順次格納していく。このため、フレームメモリ１０３には、図３のように合成画像データが書き込まれる。フレームメモリ１０３としては、ＤＲＡＭ(Dynamic Random Access Memory)もしくはＳＤＲＡＭ(Synchronous DRAM)等を用いることができるが、画像データとなる情報を一時的に記憶できる機構であればこれに限るものではない。

画像位置合わせ部１０４は、フレームメモリ１０３に格納された複数枚の画像のうち、何れか一枚を基準画像とし、基準画像以外の画像を参照画像と定めた場合に、基準画像と何れかの参照画像とを比較して、基準画像に対して参照画像の位置合わせを行う。このため、位置合わせ部１０４は、図４に示すように、領域分割設定部１１０、領域分割変更部１１１、動き推定部１１２及び動き情報保持部１１３を備えている。

位置合わせを行うに際して、まず、領域分割設定部１１０は、フレームメモリ１０３に格納された複数枚の画像から１枚の参照画像を読み出して、この参照画像を所定の境界線によって区切ることにより複数の領域に分割する。ここで、分割される領域の形状は問わないが、矩形のブロック分割を行うことが回路規模削減及び高速化の観点から望ましく、以下、本実施形態ではブロック分割を行うことを前提として説明する。

領域分割変更部１１１は、フレームメモリ１０３に格納された他の参照画像を読み出し、各参照画像間で領域がそれぞれ異なるように、他の参照画像の領域を設定する。換言すると、領域分割設定部１１０で領域分割された参照画像の領域における境界線を基準として、この境界線を平行移動させる等して他の参照画像の領域を設定することにより、各参照画像間の領域をそれぞれ異なるように、領域変更する。具体的には、例えば、水平方向のブロックサイズをBx、垂直方向のブロックサイズをBy、画像の使用枚数をnとすると、ｉ枚目の参照画像に対する水平方向の移動量Sx(i)及び垂直方向の移動量Sy(i)は以下の式のようになる。
ここで、int()は括弧内の数値の整数形を返す関数である。

例えば、画像の使用枚数が４枚である場合、すなわち、フレームメモリ１０３に格納された画像が４枚ある場合には、まず、図５に示すように、領域分割部１１０により１枚目（ｉ＝１）の参照画像の領域を分割し、続いて、領域分割変更部１１１により、１枚目の参照画像の領域の境界線を移動させ、２枚目（ｉ＝２）の参照画像の領域を設定する。また、３枚目（ｉ＝３）の参照画像についても、１枚目及び２枚目の領域の境界線の位置と異なる位置に境界線の位置を定めることにより、１枚目及び２枚目の参照画像の領域と異なる領域を設定する。なお、領域の変更は、例えば、境界線のピッチを変更することによって領域の大きさを変更することも可能である。

動き推定部１１２は、領域分割部１１０で領域分割された参照画像及び領域分割変更部１１１により領域が変更された参照画像と基準画像とを比較し、それぞれ領域毎に基準画像と比較した参照画像の動きを推定する。動き推定方法としては、ブロックマッチング法が適用できる。図６はその様子を概念的に示したものである。推定された動きベクトル（Mvx,Mvy）は、基準画像に対する各参照画像の領域毎の動き情報として動き情報保持部１１３に格納され、動き情報２００として画像合成処理時に画像合成部１０５へ出力される。なお、本実施形態では推定する動きを平行移動成分のみとしているが、それに回転角を加えても良いし、更に自由度の高いアフィン変換パラメータを領域ごとに推定しても良い。

画像合成部１０５は、フレームメモリ１０３に格納された複数枚の画像のうち基準画像と何れかの参照画像と、これらに同期して画像位置合わせ部１０４より供給される基準画像に対する参照画像の動き情報に基づいて、基準画像に対して参照画像の合成を行う。また、基準画像と参照画像とが合成された合成画像が既にフレームメモリ１０３に格納されている場合には、この合成画像を基準として、合成画像に対して参照画像を合成する。

このため、画像合成部１０５は、図７に示すように、セレクタ１２０、座標変換部１２１及び加算器１２２を備えている。セレクタ１２０は、フレームメモリ１０３に格納された画像のうち、何れの画像を読み出すかを選択する。すなわち、画像合成部１０５では、まず、フレームメモリ１０３より参照画像が読み出されるが、この参照画像が１枚目の参照画像である場合、つまり最初の合成を行う場合には、参照画像に同期してフレームメモリ１０３より基準画像を読み出し、合成が２回目以降である場合には、基準画像の代わりに合成画像を読み出す。

座標変換部１２１には、参照画像に同期して画像位置合わせ部１０４の動き情報保持部１１３から動き情報２００が供給され、座標変換部１２１は、参照画像に対してこの動き情報に基づいて座標変換を行う。本実施形態では、位置合わせのための動きの成分を平行移動のみとしているため、動きベクトル（Mvx,Mvy）に基づいて参照画像を平行移動させることとなる。すなわち、座標変換部１２１では、動きベクトルに基づいて参照画像を平行移動させることで、参照画像が基準画像に位置合わせされる。加算器１２２は、座標変換され位置合わせされた参照画像を基準画像又は合成画像に加算することで合成画像を生成する。生成された合成画像は、フレームメモリ１０３の合成画像格納領域に記憶される。

図８に、例えば、画像の使用枚数が４枚である場合、すなわち、フレームメモリ１０３に格納された画像が４枚である場合の合成画像上での領域境界を示す。図８に示すように、参照画像間でそれぞれ位置合わせの際の領域境界がずれているので、合成枚数が増えるほど領域の境目が目立たなくなる。更に、図６において説明したブロックマッチング法による位置合わせに対して、合成画像が更新されていく様子を表した概念図を図９に示す。

図１に戻り、セレクタ１０６は、図示しない制御機構からの制御信号によって、画像位置合わせ部１０４および画像合成部１０６による合成画像と、画像処理部１０２による非合成画像とを切り替える。画像表示部１０７は、例えばＬＣＤ(Liquid Crystal Display)等により構成され、撮像時にユーザーが構図を確認したり、撮像済みの画像を再生したりすることが出来る（再生時のパスは図示せず）。画像圧縮部１０８は、撮像した画像データを圧縮したコードを生成する。静止画に対する圧縮方式としてはＪＰＥＧ(Joint Photographic Experts Group)方式が今日では一般的である。動画も扱う場合はＭＰＥＧ(Moving Picture Experts Group)方式、もしくはＩＴＵ-Ｔ（国際電気通信連合電気通信標準化部門）勧告によるH.264方式なども使用することができる。圧縮符号化された画像データは図示しない外部記憶装置に格納される。

次に、このように構成された本実施形態にかかる画像処理装置における画像処理について図１０のフローチャートを用いて説明する。
図１０に示すように、ステップＳ１００で撮像部１００により画像が撮像され、ステップＳ１０１でＡ／Ｄ変換部１０１にてデジタル信号に変換される。ここで取得する画像は手ブレが発生しないようにシャッター速度が十分に高速であることが望ましい。ステップＳ１０２では、画像処理部１０２において、ステップＳ１００及びステップＳ１０１で撮像されてＡ／Ｄ変換された画像に対して、例えば、ノイズ抑制処理、エッジ強調処理、スケーリング処理などの所定の画像処理を行い、ステップＳ１０３で、処理後の画像データをフレームメモリ１０３に格納する。以上の処理は予め定められた画像の必要枚数分繰り返される。この処理を繰り返すことで、フレームメモリ１０３には、図２のように画像データが書き込まれる。

ステップＳ１０４では、上記した処理が予め定められた必要枚数分終了したか否かを判定する。必要枚数分の処理が終了していない場合には、ステップＳ１００に戻り、上記処理を繰り返し、必要枚数分の処理が終了した場合には、ステップＳ１０５に進む。

次のステップＳ１０５では、画像位置合わせ部１０４により、フレームメモリ１０３から基準画像を読み出し、ステップＳ１０６で同様にフレームメモリ１０３から参照画像を読み出す。ステップＳ１０７では、読み出された基準画像に対して参照画像の位置合わせを行う。位置合わせは、上述したように、画像位置合わせ部１０４により、１枚目の参照画像を複数の領域に分割し、その他の参照画像に対して、各参照画像間で領域がそれぞれ異なるように領域の設定を変更し、各参照画像の領域毎にパターンマッチングを行い、基準画像と参照画像との間の動きを推定する。

次のステップＳ１０８では、画像合成部１０５により、１枚目の参照画像か２枚目以降の参照画像かの判定を行い、１枚目の参照画像である場合には、基準画像に対して参照画像の位置合わせを行ったうえで合成画像を生成し、ステップＳ１０９に進む。ステップＳ１０９では、生成された合成画像を新たにフレームメモリ１０３上の合成画像を格納する領域に書き込む。ステップＳ１０８における判定の結果、２枚目以降の参照画像である場合には、ステップＳ１１０に進み、前フレームまでの合成画像を読み出す。ステップＳ１１１では、読み出された合成画像に対して参照画像を位置合わせした上で合成画像を生成し、生成された合成画像は、フレームメモリ１０３の合成画像領域に格納される。以上の処理によりフレームメモリ１０３には図３のようなデータが書き込まれる。

ステップＳ１１２では、最後の参照画像についての合成処理が終了したか否かの判定を行い、先の合成処理の対象が参照画像でなければ、ステップＳ１０５に戻り、次の参照画像に対して上記した処理を繰り返す。ステップＳ１１２における判定の結果、合成処理の対象が最後の参照画像である場合には、すなわち、全取得枚数分の合成処理が終了したと判定された場合には、ステップＳ１１３に進み、合成画像を使用枚数で除算し最終的な出力画像を生成し、本ルーチンを終了する。なお、画像の取得枚数を２の冪数に限定すると、ステップＳ１１３における除算が単純なビットシフトのみで実現できるので、回路規模削減及び高速化の観点より望ましい。

ここで、本明細書と同日付けで提出した参考図１に、従来方法による生成画像を示す。すなわち、参照画像を予め定めた複数の領域に分割し、分割された複数の領域に対してパターンマッチングを行うことにより得られた複数の動きベクトルから、最も確からしい一つの動きベクトル（グローバル動きベクトル）を特定して基準画像との位置合わせを行ったものである。参考図１（ａ）はこのような従来の方法により位置合わせを行い、合成された画像であり、参考図１（ｂ）は参考図１（ａ）の画像上での分割領域の境界を示すものである。参考図１（ｂ）中、破線A１００は参考図１（ａ）に示した画像の範囲を示し、実線A１０１は位置合わせ時の分割領域の境界を示す。参考図１（ａ）の画像を見ると、参考図１（ｂ）に示した実線A１０１の位置に領域境界の不整合によるブロックアーティファクトが生じていることが分かる。

一方、参考図２に本実施形態の画像処理方法により生成された合成画像を示す。参考情報２（ａ）は本発明の画像処理方法による位置合わせで合成された画像である。参考図２（ｂ）は参考図２（ａ）の画像上での分割領域の境界を示すものであり、破線A１０２は参考図２（ａ）に示した画像の範囲を示す。参考図２（ａ）は、５枚の画像を合成した例であり、参考図２（ｂ）の黒実線A１０３は基準画像と１枚目の参照画像とを位置合わせした際の分割領域境界であって、参考図１（ｂ）のA１０１と同一の位置にある。また、参考図２（ｂ）の赤実線A１０４、青実線Ａ１０５、緑実線Ａ１０６は、それぞれ基準画像と２枚目、３枚目、４枚目の参照画像の位置合わせを行った際の分割領域境界を示す。参考図２（ａ）のに示すように、参考図１（ａ）の画像と比較して領域境界の不整合によるブロックアーティファクトが大幅に軽減されており、画質が向上していることが分かる。

このように、本画像処理装置によれば、本実施形態に係る画像処理装置によると、基準画像に対して参照画像の位置合わせを行う際に、複数の参照画像間で分割する領域の境界線をそれぞれ異ならせているので、画像合成時に領域の境界が目立たなくなる。また、位置合わせした画像を合成することによりノイズを抑制することができ、高品質な画像を得ることができる。さらに、本実施形態にかかる画像処理装置を電子手ブレ補正に適用すると、特に動きのある被写体に対して堅牢な位置合わせを行うことが可能となり、かつブロックアーティファクトによる画質低下を軽減することができる。

なお、本発明にかかる画像処理装置は、上述したようにデジタルカメラ、デジタルビデオカメラ等の撮像装置に適用できるだけでなく、汎用又は専用のコンピュータ及びこのコンピュータ上で動作するプログラムを利用して実現することができる。このようなコンピュータは、ＣＰＵ（中央演算装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えており、ＣＰＵ等により、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体に記録されているプログラムを読み出して、プログラムをＲＯＭやＲＡＭなどに展開し、情報の加工・演算処理を実行することにより、上述の機械装置の性能評価処理を実現させる。

したがって、上記した各処理部は、いずれもＣＰＵが所定のＲＯＭに格納された処理プログラムをＲＡＭに展開し、展開したプログラムを実行することによって実現される。ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

１００ 撮像部
１０１ Ａ／Ｄ変換部
１０２ 画像処理部
１０３ フレームメモリ
１０４ 画像位置合わせ部
１０５ 画像合成部
１０６ セレクタ
１０７ 画像表示部
１０８ 画像圧縮部
１１０ 領域分割設定部
１１１ 領域分割変更部
１１２ 動き推定部
１１３ 動き情報保持部
１２０ セレクタ
１２１ 座標変換部
１２２ 加算器
２００ 動き情報

Claims (4)

1. 複数の画像間の位置合わせを行う位置合わせ手段と、位置合わせされた前記複数の画像を合成して合成画像を生成する画像合成手段とを備えた画像処理装置であって、
   前記位置合わせ手段は、
   前記複数の画像のうち何れか１つを基準画像とし、他の画像を参照画像とした場合に、前記参照画像を所定の境界線によって区切ることにより複数の領域に分割する領域分割手段と、
   前記参照画像間で前記領域がそれぞれ異なるように前記境界線を移動させて前記各参照画像の前記領域を変更する領域変更手段と、を備え、
   前記領域毎に前記基準画像に対して前記位置合わせ対象の参照画像の位置合わせを行うことを特徴とする画像処理装置。
2. 前記領域分割手段は、前記領域を矩形領域とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記領域変更手段は、前記境界線を平行移動させることにより前記領域を変更することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 複数の画像間の位置合わせを行い、位置合わせされた前記複数の画像を合成して合成画像を生成する画像処理方法であって、
   前記位置合わせに際して、
   前記複数の画像のうち何れか１つを基準画像とし、他の画像を参照画像とした場合に、前記参照画像を所定の境界線によって区切ることにより複数の領域に分割するステップと、
   前記参照画像間で前記領域がそれぞれ異なるように前記境界線を移動させて前記各参照画像の前記領域を変更するステップと、を備え、
   前記領域毎に前記基準画像に対して前記位置合わせ対象の参照画像の位置合わせを行うことを特徴とする画像処理方法。
   

Images