JP2014099921A - 映像整合方法および装置 - Google Patents

Abstract

【課題】 映像整合方法および装置が提供される。
【解決手段】 本発明の実施形態による映像整合方法は、第１映像および第２映像を獲得する段階、各映像に対して縦横のサイズを半分に減らすサブサンプリング過程を経て、映像ピラミッドを生成する段階および最上位レベルの映像から最下位レベルの映像まで順次に、同一レベルの二つの映像から（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）の方向に最適移動方向を求め、最適移動方向に基づいてモーションベクターを更新し、更新されたモーションベクターに基づいて次の下位レベルの第１映像を更新する段階を含む。
【選択図】 図１

Description

本発明は映像整合方法および装置に関するものであって、より詳細には映像ピラミッドを使用して各ピラミッドレベルで目的関数の計算量を減らし、映像整合を速く実行することができ、整合される二つの映像の間に特性の差が大きい場合にも安定した性能を示す映像整合方法および装置に関するものである。

一般的に映像整合（ａｌｉｇｎｍｅｎｔ、ｒｅｇｉｓｔｒａｔｉｏｎ）とは、互いに異なる二枚の映像あるいはそれ以上の映像で物理的に類似の映像内の領域を幾何学的に一致させる処理をいう。

最近では、単一のイメージセンサから獲得した多重露出基盤のハイダイナミックレンジ映像（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ（ＨＤＲ） ｉｍａｇｅ）のための整合や手の震えによるモーションデブラーリング（ｍｏｔｉｏｎ ｄｅｂｌｕｒｒｉｎｇ）のための整合だけではなく、互いに異なる方式（ｍｏｄａｌｉｔｙ）の多数の映像獲得装置から獲得した映像を整合する技術が発展している。互いに異なる方式の多数の映像獲得装置から映像を獲得して映像を整合する一例として、一般カメラ映像と赤外線映像あるいはＣＴとＭＲＩ映像を合成する場合を挙げることができる。

従来の映像整合の方法で、目的関数で使用される値が輝度（ｌｕｍｉｎａｎｃｅ）を基盤とする場合には明るさやモーションブラー（ｍｏｔｉｏｎ ｂｌｕｒ）などの撮影条件が類似であるという仮定の下でのみ適用が可能であった。しかし、実際において整合の対象となる二つの映像を獲得する時、撮影条件が相異なって映像の特性の差異が大きく生じる場合があるが、この時動きの推定を失敗する場合が生じる。例えばハイダイナミックレンジ（ＨＤＲ）映像を生成するために露出時間を異にした二つの映像を整合した場合、極端な明るさの差異によって非常に明るいか暗い領域ではエッジ（ｅｄｇｅ）情報が失われる場合が生じ、多重露出基盤のモーションデブラーリングをする場合にも各映像間に露出時間の差異によってモーションブラー量の差異が生じ、従来の方法では映像を整合できない場合が生じた。

また、従来の相互情報（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）、正規化相互情報（ｎｏｒｍａｌｉｚｅｄ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）のような確率基盤方法を用いて映像を整合する方法は、映像特性の差異が大きく生じる場合にも整合の安全性を高めることができるという長所があるが、計算量が多くオンライン上で作動するカメラシステムには使用し難いという問題点があった。

韓国特許公開第2005-0063991号公報

本発明は前記した問題点を改善するために考案されたものであり、本発明が成そうとする目的は、ピラミッド映像を用いて各ピラミッドレベルで五回の目的関数の計算だけで映像を整合し、整合速度を向上させて、目的関数を計算する時、既存の確率基盤方法を使用して映像間特性の差異が大きい場合にも安定的に映像を整合できるようにすることにある。

本発明の目的は以上で言及した目的に制限されず、言及されていないまた他の目的は次の記載から当業者に明確に理解できるであろう。

前記目的を達成するために、本発明の一実施形態による映像整合方法は、第１映像および第２映像を獲得する段階と、前記各映像に対して縦横のサイズを半分に減らすサブサンプリング（ｓｕｂ−ｓａｍｐｌｉｎｇ）過程を経て映像ピラミッドを生成する段階、および最上位レベルの映像から最下位レベルの映像まで順次に、同一レベルの二つの映像から（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）の方向に最適移動方向を求め、前記最適移動方向に基づいてモーションベクターを更新し、前記更新されたモーションベクターに基づいて次の下位レベルの第１映像を更新する段階と、を含む。

前記目的を達成するために、本発明の一実施形態による映像整合装置は、イメージセンサで第１映像および第２映像を獲得する映像獲得部と、前記獲得した各映像に対して縦横のサイズを半分に減らすサブサンプリング過程を経て映像ピラミッドを生成するピラミッド生成部と、同一レベルの二つの映像から（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）の方向に最適移動方向を求める方向計算部と、前記最適移動方向に基づいてモーションベクターを更新するモーションベクター計算部、および前記更新されたモーションベクターに基づいて次の下位レベルの第１映像を更新する映像更新部を含み、最上位レベルの映像から最下位レベルの映像まで順次に、前記モーションベクター計算部は前記モーションベクターを更新して、前記更新されたモーションベクターに基づいて次の下位レベルの第１映像を更新して映像を整合する。

実施形態の具体的な事項は詳細な説明および図に含まれている。

前記したような本発明の映像整合方法および装置によれば次のような効果が一つあるいはそれ以上ある。

最初にピラミッド映像を用いて各ピラミッドレベルで５回の目的関数の計算だけで映像を整合することができるため、整合の速度を向上させることができるという長所がある。

次に、映像整合のための計算量を減らし、オンライン上で動作するカメラシステムなどでも適用が可能であり、ハードウェア具現が容易であるという長所もある。

最後に、各ピラミッドレベルで５回の目的関数の計算だけでも映像整合が可能であるため、目的関数を計算する時、計算量が多い相互情報、正規化相互情報アルゴリズムなどの確率基盤方法を使用することによって映像間の明るさ、モーションプルロ（ｍｏｔｉｏｎ ｂｌｕｒ）、方式（ｍｏｄａｌｉｔｙ）などの特性差異が大きい場合にも安定的に映像を整合できるという長所もある。

本発明の一実施形態による映像整合方法の順序図である。 本発明の一実施形態による縦横のサイズを半分に減らすサブサンプリングによる映像ピラミッドの構成を示す図である。 実際映像で縦横のサイズを半分に減らすサブサンプリングによる映像ピラミッドを示す図である。 本発明の一実施形態による最適移動方向の推定に使用される五種類方向を示す図である。 映像ピラミッドの各レベルで求めた最適移動方向（動きベクター）を示す図である。 本発明の一実施形態による映像ピラミッドの各レベルで求めた最適移動方向から最終的に更新されたモーションベクターを示す図である。 本発明の一実施形態による映像整合装置のブロック図である。

本発明の利点および特徴、並びにそれらを達成する方法は、添付する図面と共に後述する実施形態を参照することにより明確になる。しかし、本発明の目的は、以下で開示される実施形態に限定されず、相異なる多様な形態によっても達成可能である。したがって、以下の実施形態は単に、本発明の開示を十全たるものとし、当業者に本発明の範囲を認識されるために提供するものである。すなわち、本発明の範囲はあくまで、請求項に記載された発明によってのみ規定される。

以下、本発明の実施形態による映像整合方法および装置を説明するためのブロック図または処理フローチャートに関する図を参考して本発明について説明する。この時、処理フローチャート図の各ブロックとフローチャート図の組み合せはコンピュータプログラムインストラクションによって実行可能なのが理解できるであろう。これらコンピュータプログラムインストラクションは、凡庸コンピュータ、特殊用コンピュータまたはその他プログラム可能なデータプロセシング装備のプロセッサーに搭載されうるので、コンピュータまたはその他プログラム可能なデータプロセシング装備のプロセッサーを通じて実行されるそのインストラクションがフローチャートブロックで説明された機能を行う手段を生成するように機構を作られる。これらコンピュータプログラムインストラクションは特定方式で機能を具現するためにコンピュータまたはその他のプログラマブルデータプロセッシング装備を指向できるコンピュータ利用可能またはコンピュータ判読可能メモリに保存されることも可能なので、そのコンピュータ利用可能またはコンピュータ判読可能メモリに保存されたインストラクションはフローチャートブロックで説明された機能を行うインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションはコンピュータまたはその他のプログラマブルデータプロセッシング装備上に搭載することも可能なので、コンピュータまたはその他のプログラマブルデータプロセッシング装備上で一連の動作段階が実行されてコンピュータで実行されるプロセスを生成し、コンピュータまたはその他のプログラマブルデータプロセッシング装備を行うインストラクションはフローチャートブロックで説明された機能を実行するための段階を提供することも可能である。

図１は本発明の一実施形態による映像整合方法の順序図である。

本発明の一実施形態による映像整合方法は、映像獲得装置から第１映像および第２映像を獲得する段階（Ｓ１１０）、獲得した各映像を単一チャネルの映像に変換させる段階（Ｓ１２０）、サブサンプリング過程を経て映像ピラミッドを生成する段階（Ｓ１３０）、および最上位レベルの映像から最下位レベルのピラミッド映像まで順次に、同一レベルの二つの映像から最適移動方向を求め（Ｓ１５０、Ｓ２００）、最適移動方向に基づいてモーションベクターを更新し（Ｓ１６０）、更新されたモーションベクターに基づいて次の下位レベルの第１映像を更新する段階（Ｓ１９０、Ｓ２１０）を含む。

先に、イメージセンサを有する映像獲得部５１０から整合を実行する二つの映像（第１映像、第２映像）を獲得する（Ｓ１１０）。

イメージセンサは、被写体で反射された光を電気的なイメージ信号に変換して、映像を生成して出す映像撮像素子部品を称するものであって、その製作工程と応用方式によって大きく電荷結合素子（ＣＣＤ；Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサと金属酸化物半導体（ＣＭＯＳ；Ｃｏｍ−ｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサで分類することができる。

後述する内容であるが、本発明では単一映像獲得装置から二つの映像を獲得する場合だけでなく、互いに異なる方式（ｍｏｄａｌｉｔｙ）を有する複数の映像獲得装置から映像を獲得する場合にも安定的に映像整合を実行することができる。例えば、一般カメラから獲得した映像と赤外線カメラから獲得した映像、ＣＴ映像とＭＲＩ映像との間でも整合を安定的に実行することができるため、すべての映像システムに幅広く適用が可能である。したがって、映像整合のための二つの映像を獲得する時、映像獲得装置の種類および数に制限されない。

次に、映像変換部５２０は獲得した二つの映像に対して単一チャネルの映像で映像変換を実行することができる（Ｓ１２０）。単一チャネルの映像の一例としてグレースケール（gray scale）映像を挙げることができる。または、ＲＧＢチャネルを使用する場合Ｒ、Ｇ、Ｂのうち一つのチャネル値を用いて単一チャネルの映像に変換させることもできるだろう。

獲得した映像を単一チャネルの映像に変換させるので、入力映像は映像獲得装置の方式と関係なくカラー映像だけではなく、白黒映像、赤外線映像、またはＣＴ、ＭＲＩなどの医療映像などすべての種類の映像を用いて整合を実行することができる。

次に、ピラミッド生成部５３０は獲得した二つの映像または獲得した映像を単一チャネルの映像に変換した二つの映像に対してそれぞれの映像ピラミッドを生成する（Ｓ１３０）。

図２は、本発明の一実施形態による縦横のサイズを半分に減らすサブサンプリングによる映像ピラミッドの構成を示す図であり、図３は、実際映像で縦横のサイズを半分に減らすサブサンプリングによる映像ピラミッドを示す図である。

映像整合において、映像ピラミッドは多くの場合、遠視映像で特定のモーションベクターを抽出しようとするとき、処理しなければならないデータ量が非常にぼう大で長い処理時間が必要とされる問題点を解決するために映像が有している特性を維持しつつ処理される映像のサイズを縮小する方法で広く使用される。

図２および図３のように原本映像と同じサイズの映像をレベル０、映像を段階的に縮小させつつ最も小さいサイズの映像をレベルｎ（図３ではｎ＝５）とし、映像の大きさが小さくなるほど上位レベルの映像とする時、上位レベルに行くほど解像度は低くなり下位レベルに行くほど解像度は高くなる。

本発明においては、一段階上位レベルの映像を生成する時、横および縦のサイズを各々１／２に減らすサブサンプリングを各レベル別に行い映像ピラミッドを生成する。すなわち、上位レベルに行くほどピクセルの数は１／４に減り、映像のサイズも１／４に減る。サブサンプリングの方法で映像を２＊２ピクセルの領域に分けて、各領域の２＊２のうち特定位置のピクセルだけを集めて新たな映像を生成する方法を挙げることができる。したがって、２＊２ピクセル領域のうち、一つのピクセルだけを用いて上位レベルのピラミッド映像を生成するので上位レベルに行くほど面積のサイズは１／４に減り、解像度は落ちる。

また図１を参照すると、最上位レベルから順次に最下位レベルにモーションベクターを更新しつつ映像整合を実行する。

先に、現在レベルを第１映像と第２映像の映像ピラミッドで最も小さいサイズの最上位レベルの映像に設定し（Ｓ１４０）、方向計算部５４０は最上位レベルの二つの映像から（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）の方向に最適移動方向を求める（Ｓ１５０）。図４は、本発明の一実施形態による最適移動方向の推定に使用される五種類方向を示す図であり、図５と共に五種類方向に対してモーションベクターを求めるための目的関数と設定し、五種類方向に計算された目的関数のうち、最大値に該当する場合を探す。目的関数値のうち最大値を有する方向が五種類方向のうち最適移動方向となる。したがって最上位レベルであるレベルｎで最適移動方向である

は（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）のうちの一つの値を有する。

最適移動方向を求めるため、五種類方向に目的関数を設定し、映像の類似性を判断する方法で従来の輝度基盤方法または確率基盤方法を使用することができる。輝度基盤方法で既存の相関関係（ｃｏｒｒｅｌａｔｉｏｎ）、正規化された相関関係（ｎｏｒｍａｌｉｚｅｄ ｃｏｒｒｅｌａｔｉｏｎ）およびＳＡＤ（ｓｕｍ ｏｆ ｔｈｅ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）などのアルゴリズムを使用することができる。そして、確率基盤方法で相互情報、正規化相互情報などのアルゴリズムを使用することができる。相関関係、正規化された相関関係、ＳＡＤ、相互情報、正規相互情報は既存の公知されたアルゴリズムおよび方法で本明細書ではこれに関する詳しい説明を省略する。

前述した通り、映像整合のために確率基盤方法を使用する場合、映像間の特性差異が大きい場合にも安定的に映像を整合することができるが、計算量が多いという問題点があったが、本発明では各レベル別に５個の目的関数だけを計算すれば良いので確率基盤方法を使用したとしても計算量が多くなく、整合の速度が速いという長所がある。

最上位レベルで最適移動方向を救った後、モーションベクター計算部５５０はこれに基づいてモーションベクターを求める（Ｓ１６０）。最上位レベルで求めた最適移動方向

から最上位レベルで求めたモーションベクターは

である。

次に、現在レベルを最上位レベルより一段階低い下位レベル（ｎ−１レベル）のピラミッド映像に設定して（Ｓ１８０）、映像更新部５６０は最上位段階で求めたモーションベクターに基づいて現在レベル（ｎ−１レベル）の第１映像を更新する（Ｓ１９０）。この時、現在レベルの第１映像を更新するためのモーションベクターは

である。なぜなら、上位レベルは下位レベルに比べて横、縦のサイズが半分に減るが、上位レベルで求めたモーションベクターは次の下位レベルでは２倍で表れるからである。

次に、方向計算部５４０は、ｎ−１レベルの更新された第１映像と既存映像ピラミッドの第２映像から最適移動方向を求める（Ｓ２００）。最適移動方向を求める方法は前述した通りであり、ｎ−１レベルで求めた最適移動方向は、同様に（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）うち一つの値を有する。

次に、レベルｎ−１で求めた最適移動方向

からモーションベクター計算部５５０はモーションベクターを更新する（Ｓ１６０）。この時、更新されたモーションベクターは

である。すなわち、上位レベル（レベルｎ）で求めたモーションベクターを二倍した値

に現在レベル（レベルｎ−１）で求めた最適移動方向

を加える。同様に、モーションベクターを更新した後、現在レベルを一段階下位レベルであるレベルｎ−２の映像ピラミッドに設定し（Ｓ１８０）、映像更新部５６０は、更新されたモーションベクターに基づいて現在レベルであるレベルｎ−２の第１映像を更新する（Ｓ１９０）。この時、現在レベルの第１映像を更新するためのモーションベクターは

である。すなわち、一段階上位レベルで求めたモーションベクターを２倍して、第１映像を更新する。二段階上位レベルであるレベルｎで求めた最適移動方向

は、現在レベルであるｎ−２レベルでは映像の動きにおいて２^２倍寄与する。なぜなら、レベルｎの映像はレベルｎ−２に比べて映像のサイズが２^２ほど小さいからである。同様にレベルｎ−１で求めた最適移動方向

は２倍下位レベルであるｎ−２レベルのイメージ更新において２倍を寄与する。レベルｎ−１の映像はレベルｎ−２に比べて映像のサイズが２ほど小さいからである。したがって、レベルｎ−２の映像ピラミッドで第１映像を更新するためのモーションベクターは

となる。

また、方向計算部５４０は、更新されたレベルｎ−２の第１映像とｎ−２レベルの第２映像に対して最適移動方向を計算し（Ｓ２００）、モーションベクターを更新する（Ｓ１６０）。このような過程を最下位レベルのピラミッド映像に至るまで順次に繰り返し実行する。

順次に繰り返し実行すれば、現在レベルがレベル１である時、Ｓ１６０で更新されたモーションベクターは

となり、レベル０の第１映像を更新するためのモーションベクターは前記モーションベクターの二倍である

となる。また、レベル０の更新された第１映像と第２映像で最適移動方向

を求め、モーションベクターを更新すればモーションベクターは

となる。現在レベルが最下位レベル（Ｓ１７０）であるため、最終的に更新されたモーションベクターに基づいて最下位レベルの第１映像を更新する（Ｓ２１０）。

最終的に最下位レベルの映像を更新するためのモーションベクターは

である。このモーションベクターから原本ピラミッド映像の第１映像を更新して映像整合を実行することができる。

図５は、映像ピラミッドの各レベルで求めた最適移動方向（動きベクター）を示す図であり、図６は、本発明の一実施形態による映像ピラミッドの各レベルで求めた最適移動方向から最終的に更新されたモーションベクターを示す図である。

図５を参照すると、前述した通り、各レベルの映像の間に最適移動方向を求めるが最上位レベルｎでは最初原本映像ピラミッドの間で最適移動方向を求める。反面、その他のすべての下位レベルでの最適移動方向は上位レベルで求めたモーションベクターに基づいて更新されたピラミッド映像の第１映像と最初原本映像ピラミッドの第２映像との間で求める点が異なる。最上位レベルのレベルｎでレベル０まで求めた最適移動方向

から求めた最終的なモーションベクターは図６のように示される。各ベクターの方向は（１、０）、（−１、０）、（０、０）、（０、１）、および（０、−１）のうちの一つの値を有するため、左右または上下の方向を有し繋がる各ベクターの長さはますます小さくなることが分かる。

図７は、本発明の一実施形態による映像整合装置のブロック図である。

本発明の一実施形態による映像整合装置は映像獲得部５１０、ピラミッド生成部５３０、方向計算部５４０、モーションベクター計算部５５０および映像更新部５６０を含み得る。また、映像変換部５２０をさらに含み得る。

この時、本実施形態で使用される「〜部」という一種のモジュールとして具現されうる。ここで「モジュール」は、ソフトウェアまたはＦｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）または注文型半導体（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）のようなハードウェア構成要素を意味し、モジュールはある役割を果たす。しかし、モジュールはソフトウェアまたはハードウェアに限定される意味ではない。モジュールはアドレッシングできる保存媒体にあるように構成されることもでき、一つまたはそれ以上のプロセッサーを再生させるように構成されることもできる。したがって、一例としてモジュールは、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシーザ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。構成要素とモジュールのうち、提供される機能はさらに小さい数の構成要素および「〜部」に結合されたり、追加的な構成要素およびモジュールに結合されたり、追加的な構成要素とモジュールでさらに分離することができる。

映像獲得部５１０は、被写体から反射された光エネルギーを検出して、電気的信号に変換するイメージセンサを含むが、二つの映像（第１映像、第２映像）を獲得する。

ピラミッド生成部５３０は、映像獲得部５１０で獲得した第１映像、第２映像に対して縦横のサイズを半分に減らすサブサンプリング過程を経て映像ピラミッドを生成する。

方向計算部５４０は、同一レベルの二つの映像から（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）の方向に最適移動方向を求める。最適移動方向は、輝度基盤方法と確率基盤方法うち一つを用いて求めることができる。輝度基盤方法で既存の相関関係、正規化された相関関係およびＳＡＤ（ｓｕｍ ｏｆ ｔｈｅ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）などのアルゴリズムを使用することができる。そして、確率基盤方法で相互情報、正規化相互情報などのアルゴリズムを使用することができる。

モーションベクター計算部５５０は、現在レベルで求めた最適移動方向に基づいてモーションベクターを更新する。モーションベクターを更新することは前述したので詳しい説明は省略する。

映像更新部５６０は、モーションベクター計算部で求めたモーションベクターに基づいて次の下位レベルの第１映像を更新する。

この時、モーションベクターの更新と第１映像の更新は最上位レベルで最下位レベルに順次に行われるが、更新されたモーションベクターに基づいて下位レベルの第１映像を更新して、更新された第１映像と原本映像ピラミッドの第２映像からモーションベクターを更新する方法を繰り返して最終的に映像整合のためのモーションベクターを求める。

映像変換部５２０は、映像獲得部で獲得した第１映像、第２映像各々に対してグレースケール変換を実行することができる。

本発明が属する技術分野の通常の知識を有する者は、本発明を、その技術的思想や必須の特徴を変更しない範囲で、他の具体的な形態で実施されうるということを理解することができる。したがって、上記実施形態はすべての面で例示的なものであり、限定的ではないと理解しなければならない。本発明の範囲は前記詳細な説明よりは特許請求の範囲によって示され、特許請求の範囲の意味および範囲そしてその均等概念から導き出されるすべての変更または変形された形態が本発明の範囲に含まれるものと解釈しなければならない。

５１０ 映像獲得部
５２０ 映像変換部
５３０ ピラミッド生成部
５４０ 方向計算部
５５０ モーションベクター計算部
５６０ 映像更新部

Claims (1)

1. 第１映像および第２映像を取得する段階と、
   前記各映像に対して縦横のサイズを半分に減らすサブサンプリング過程を経て映像ピラミッドを生成する段階と、
   最上位レベルの映像から最下位レベルの映像まで順次に、前記第１映像及び第２映像のそれぞれに対応して生成された映像ピラミッドにおいて同一レベルにある二つの映像から（−１、０）、（１、０）、（０、０）、（０、−１）、および（０、１）の何れかの方向を最適移動方向として求め、前記最適移動方向に基づいてモーションベクターを更新し、前記更新されたモーションベクターに基づいて次の下位レベルの第１映像を更新する段階とを含み、
   前記取得した各映像を単一チャネルの映像に変換する段階をさらに含む、
   映像整合方法。