JP2009003656A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画像データ間の変化に基づき変化特性を推定する画像処理技術を提供する。
【解決手段】マッチングプロセッサ１４は、所定の対象物を異なる時点で撮影したキーフレーム間の対応点を画像マッチングにより検出する。変化検出部１０２は、対応点の時系列の集合である対応点群における画素値の経時変化を検出する。変化特性推定部１０４は、検出された経時変化に基づき、対応点群の画素値に関連付けられている対象物の属性における変化の特性を推定する。
【選択図】図２７

Description

この発明は、画像データ処理技術に関し、特に、複数のフレームを含む画像データを処理する画像処理装置および画像処理方法に関する。

動画圧縮の事実上の世界標準であるＭＰＥＧ（Motion Picture Expert Group）は、ＣＤなどストレージメディアからネットワークや放送などの伝送メディアへとそのターゲットエリアが広がった。放送のデジタル化はＭＰＥＧを中心とする圧縮符号化技術なしに考えることはできない。放送と通信の垣根が崩れ、サービス事業者の多様化は必須になり、ブロードバンド時代にデジタル文化がいかなる進展を遂げるか、予測がつきにくい状況にある。
特許第２９２７３５０号

本出願人は、画像圧縮においてＭＰＥＧに代わる画像圧縮技術を提案している。この技術によれば、画像圧縮処理において、高い圧縮率と画質の両立を実現する。

本発明は、本出願人が先に提案した画像圧縮技術を別の分野に応用する発明であり、その目的は、対象物を撮影した画像データ間の変化に基づき、対象物の属性の変化における特性を推定する画像処理技術の提供にある。

本発明の別の目的は、対象物の属性の変化における特性を推定する際に、人間の知見を加味する画像処理技術の提供にある。

本発明のさらに別の目的は、対象物の属性の変化における特性に基づいて画像を生成することで、対象物の姿を直観的に認識可能にする画像処理技術の提供にある。

本発明のさらに別の目的は、任意の時点の画像を推測して生成する画像処理技術の提供にある。

本発明で処理される画像データは、動画でもよいし、医療画像のように三次元オブジェクトを二次元化した静止画でもよい。すなわち、画像の変化は時間を軸としてもよいし、空間における方向を軸としてもよい。さらにいえば、フレームとして把握できる任意次元の画像すべてが処理可能である。以下、一般に「キーフレーム」はマッチングその他の処理の対象になる参照フレームをいい、「中間フレーム」は対象にならない非参照フレームをいう。本明細書ではとくに断らない限り、記述の簡潔のために、「フレーム」ということばを、画像の単位として呼ぶ場合と、その単位を構成するデータそのもの、すなわち「フレームデータ」と呼ぶべき場合の両義に用いる。

本発明のある態様は画像処理装置である。この装置は、所定の対象物を異なる時点で撮影したキーフレーム間の対応点を画像マッチングによって検出するマッチングプロセッサと、対応点の時系列での集合である対応点群における画素値の経時変化を検出する変化検出部と、変化検出部により検出された経時変化に基づき、対応点群の画素値に関連付けられている前記対象物の属性における変化の特性を推定する変化特性推定部と、を備える。

本発明の別の態様もまた、画像処理装置である。この装置は、所定の対象物を異なる時点で撮影したキーフレーム間の対応点を画像マッチングによって検出するマッチングプロセッサと、対応点の時系列での集合である対応点群における画素値の経時変化を検出する変化検出部と、対応点群の画素値に関連付けられている前記対象物の属性における変化の特性を推定する際の付加条件を取得する条件取得部と、変化検出部により検出された経時変化と、条件取得部により取得された付加条件とに基づき、特性を推定する変化特性推定部と、を備える。

本発明のさらに別の態様は、画像処理方法である。この方法は、所定の対象物を異なる時点で撮影したキーフレーム間の対応点を画像マッチングによって検出するステップと、対応点の時系列での集合である対応点群における画素値の経時変化を検出するステップと、検出された経時変化に基づき、対応点群の画素値に関連付けられている前記対象物の属性における変化の特性を推定するステップと、を備える。

本発明のさらに別の態様もまた、画像処理方法である。この方法は、所定の対象物を異なる時点で撮影したキーフレーム間の対応点を画像マッチングによって検出するステップと、対応点の時系列での集合である対応点群における画素値の経時変化を検出するステップと、対応点群の画素値に関連付けられている前記対象物の属性における変化の特性を推定する際の付加条件を取得するステップと、検出された経時変化と、取得された付加条件とに基づき、特性を推定するステップと、を備える。

なお、以上の任意の構成や工程を任意に組み替えたもの、表現を方法、装置、プログラム、システム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明により、上記目的に対応する効果が得られる。

はじめに、実施の形態で利用する多重解像度特異点フィルタ技術とそれを用いた画像マッチング処理を「前提技術」として詳述する。これらの技術は本出願人がすでに特許第２９２７３５０号を得ている技術であり、本発明との組合せに適する。ただし、実施の形態で採用可能な画像マッチング技術はこれに限られない。
図１８以降、前提技術を利用した画像符号化および復号技術を具体的に説明し、図２４以降、本発明の実施の形態について説明する。

[前提技術の背景]
ふたつの画像の自動的なマッチング、つまり画像領域や画素どうしの対応付けは、コンピュータビジョンやコンピュータグラフィックスにおける最も難しくかつ重要なテーマのひとつである。例えば、あるオブジェクトに関して異なる視点からの画像間でマッチングがとれれば、他の視点からの画像を生成することができる。右目画像と左目画像のマッチングが計算できれば、立体画像を用いた写真測量も可能である。顔の画像のモデルと他の顔の画像のマッチングがとれたとき、目、鼻、口といった特徴的な顔の部分を抽出することができる。例えば人の顔と猫の顔の画像間でマッチングが正確にとられたとき、それらの中割画像を自動的に生成することでモーフィングを完全自動化することができる。

しかし従来一般に、ふたつの画像間の対応点は人がいちいち指定しなければならず、多大な作業工数を要した。この問題を解消するために数多くの対応点自動検出方法が提案されている。例えば、エピポーラ直線を用いることによって対応点の候補の数を減らす考えがある。しかし、その場合でも処理はきわめて複雑である。複雑さを低減するために、左目画像の各点の座標は通常右目画像でもほぼ同じ位置にあると想定される。しかし、こうした制約を設けると、大域的特徴及び局所的特徴を同時に満たすマッチングをとることは非常に困難になる。

ボリュームレンダリングでは、ボクセルを構成するために一連の断面画像が用いられる。この場合、従来一般に、上方の断面画像における画素が下方の断面画像の同一箇所にある画素と対応すると仮定され、これらの画素のペアが内挿計算に用いられる。このようにきわめて単純な方法を用いるため、連続する断面間の距離が遠く、オブジェクトの断面形状が大きく変化する場合、ボリュームレンダリングで構築されたオブジェクトは不明瞭になりがちである。

立体写真測量法など、エッジの検出を利用するマッチングアルゴリズムも多い。しかしこの場合、結果的に得られる対応点の数が少ないため、マッチングのとれた対応点間のギャップを埋めるべく、ディスパリティの値を内挿計算しなければならない。一般にあらゆるエッジ検出器は、それらが用いる局所的なウィンドウの中で画素の輝度が変化したとき、これが本当にエッジの存在を示唆するかどうかを判断することが難しい。エッジ検出器は、本来的にすべてハイパスフィルタであり、エッジと同時にノイズも拾ってしまう。

さらに別の手法として、オプティカルフローが知られている。二枚の画像が与えられたとき、オプティカルフローでは画像内のオブジェクト（剛体）の動きを検出する。その際、オブジェクトの各画素の輝度は変化しないと仮定する。オプティカルフローでは例えば（ｕ，ｖ）のベクトル場の滑らかさといった、いくつかの付加的な条件とともに、各画素の動きベクトル（ｕ，ｖ）を計算する。しかし、オプティカルフローでは画像間の大域的な対応関係を検出することはできない。画素の輝度の局所的な変化に注目するのみであり、画像の変位が大きい場合、システムの誤差は顕著になる。

画像の大域的な構造を認識するために、多重解像度フィルタも数多く提案されてきた。それらは線形フィルタと非線形フィルタに分類される。前者の例としてウェーブレットがあるが、線形フィルタは一般に、画像マッチングにはさして有用ではない。なぜなら、極値をとる画素の輝度に関する情報がそれらの位置情報とともに次第に不鮮明になるためである。図１（ａ）と図１（ｂ）は顔の画像に対して平均化フィルタを適用した結果を示している。同図のごとく、極値をとる画素の輝度が平均化によって次第に薄れるとともに、位置も平均化の影響でシフトしていく。その結果、目（輝度の極小点）の輝度や位置の情報は、このような粗い解像度レベルで曖昧になり、この解像度では正しいマッチングを計算することができない。したがって、粗い解像度レベルを設けるのが大域的なマッチングのためでありながら、ここで得られたマッチングは画像の本当の特徴（目、つまり極小点）に正確に対応しない。より精細な解像度レベルで目が鮮明に現れたとしても、大域的なマッチングをとる際に混入した誤差は、もはや取り返しがつかない。入力画像にスムージング処理を加えることにより、テクスチャ領域のステレオ情報が落ちてしまうこともすでに指摘されている。

一方、最近地形学の分野で利用されはじめた非線形フィルタとして一次元の「ふるい（sieve）」演算子がある。この演算子は、所定の大きさの一次元ウィンドウ内の極小値（または極大値）を選択することにより、縮尺と空間の因果関係を保存しながら画像にスムージング処理を加える。その結果得られる画像は元の画像と同じ大きさであるが、小さな波の成分が取り除かれているため、より単純になる。画像の情報を落とすという点で、この演算子は広い意味での「多重解像度フィルタ」に分類することはできるが、実際にはウェーブレットのように画像の解像度を変えながら画像を階層化するわけではなく（つまり狭い意味での多重解像度フィルタではなく）、画像間の対応の検出には利用できない。

[前提技術が解決しようとする課題]
以上をまとめれば以下の課題が認められる。
１．画像の特徴を正確に、かつ比較的簡単な処理で把握する画像処理方法が乏しかった。特に、特徴のある点に関する情報、例えば画素値や位置を維持しながら特徴を抽出できる画像処理方法に関する有効な提案が少なかった。
２．画像の特徴をもとに対応点を自動検出する場合、一般に処理が複雑であるか、ノイズ耐性が低いなどの欠点があった。また、処理に際していろいろな制約を設ける必要があり、大域的特徴及び局所的特徴を同時に満たすマッチングをとることが困難だった。
３．画像の大域的な構造または特徴を認識するために多重解像度フィルタを導入しても、そのフィルタが線形フィルタの場合、画素の輝度情報と位置情報が曖昧になった。その結果、対応点の把握が不正確になりやすかった。非線形フィルタである一次元ふるい演算子は画像を階層化しないため、画像間の対応点の検出には利用できなかった。
４．これらの結果、対応点を正しく把握しようとすれば、結局人手による指定に頼るほか有効な手だてがなかった。

前提技術はこれらの課題の解決を目的としてなされたものであり、画像処理の分野において、画像の特徴の的確な把握を可能にする技術を提供するものである。

[前提技術が課題を解決するための手段]
この目的のために前提技術のある態様は、新たな多重解像度の画像フィルタを提案する。この多重解像度フィルタは画像から特異点を抽出する。したがって、特異点フィルタともよばれる。特異点とは画像上特徴をもつ点をいう。例として、ある領域において画素値（画素値とは、色番号、輝度値など画像または画素に関する任意の数値を指す）が最大になる極大点、最小になる極小点、ある方向については最大だが別の方向については最小になるような鞍点がある。特異点は位相幾何学上の概念であってもよい。ただし、その他どのような特徴を有してもよい。いかなる性質の点を特異点と考えるかは、前提技術にとって本質問題ではない。

この態様では、多重解像度フィルタを用いた画像処理が行われる。まず検出工程において、第一の画像に対し、二次元的な探索を行って特異点が検出される。つぎに生成工程において、検出された特異点を抽出して第一の画像よりも解像度の低い第二の画像が生成される。第二の画像には第一の画像のもつ特異点が引き継がれる。第二の画像は第一の画像よりも解像度が低いため、画像の大域的な特徴の把握に好適である。

前提技術の別の態様は特異点フィルタを用いた画像マッチング方法に関する。この態様では、始点画像と終点画像間のマッチングがとられる。始点画像および終点画像とは、ふたつの画像の区別のために便宜的に与えた名称であり、本質的な違いはない。

この態様では、第一工程にて、始点画像に特異点フィルタを施して解像度の異なる一連の始点階層画像が生成される。第二工程では、終点画像に特異点フィルタを施して解像度の異なる一連の終点階層画像が生成される。始点階層画像、終点階層画像とは、それぞれ始点画像、終点画像を階層化して得られる画像群をいい、それぞれ最低２枚の画像からなる。つぎに第三工程において、始点階層画像と終点階層画像のマッチングが解像度レベルの階層の中で計算される。この態様によれば、多重解像度フィルタによって特異点に関連する画像の特徴が抽出され、および／または明確化されるため、マッチングが容易になる。マッチングのための拘束条件は特に必要としない。

前提技術のさらに別の態様も始点画像と終点画像のマッチングに関する。この態様では、予め複数のマッチング評価項目のそれぞれに関して評価式を設け、それらの評価式を統合して総合評価式を定義し、その総合評価式の極値付近に注目して最適マッチングを探索する。総合評価式は、評価式の少なくもひとつに係数パラメータを掛けたうえでそれらの評価式の総和として定義してもよく、その場合、総合評価式またはいずれかの評価式がほぼ極値をとる状態を検出して前記パラメータを決定してもよい。「極値付近」または「ほぼ極値をとる」としたのは、多少誤差を含んでいてもよいためである。多少の誤差は前提技術にはさして問題とならない。

極値自体も前記パラメータに依存するため、極値の挙動、つまり極値の変化の様子をもとに、最適と考えられるパラメータを決定する余地が生じる。この態様はその事実を利用している。この態様によれば、元来調整の困難なパラメータの決定を自動化する途が拓かれる。

[前提技術の実施の形態]
最初に［１］で前提技術の要素技術の詳述し、［２］で処理手順を具体的に説明する。

［１］要素技術の詳細
［１．１］イントロダクション
特異点フィルタと呼ばれる新たな多重解像度フィルタを導入し、画像間のマッチングを正確に計算する。オブジェクトに関する予備知識は一切不要である。画像間のマッチングの計算は、解像度の階層を進む間、各解像度において計算される。その際、粗いレベルから精細なレベルへと順に解像度の階層を辿っていく。計算に必要なパラメータは、人間の視覚システムに似た動的計算によって完全に自動設定される。画像間の対応点を人手で特定する必要はない。

本前提技術は、例えば完全に自動的なモーフィング、物体認識、立体写真測量、ボリュームレンダリング、少ないフレームからの滑らかな動画像の生成などに応用できる。モーフィングに用いる場合、与えられた画像を自動的に変形することができる。ボリュームレンダリングに用いる場合、断面間の中間的な画像を正確に再構築することができる。断面間の距離が遠く、断面の形状が大きく変化する場合でも同様である。

［１．２］特異点フィルタの階層
前提技術に係る多重解像度特異点フィルタは、画像の解像度を落としながら、しかも画像に含まれる各特異点の輝度及び位置を保存することができる。ここで画像の幅をＮ、高さをＭとする。以下簡単のため、Ｎ＝Ｍ＝２^ｎ（ｎは自然数）と仮定する。また、区間［０，Ｎ］⊂ＲをＩと記述する。（ｉ，ｊ）における画像の画素をｐ_{（ｉ，ｊ）}と記述する（ｉ，ｊ∈Ｉ）。

ここで多重解像度の階層を導入する。階層化された画像群は多重解像度フィルタで生成される。多重解像度フィルタは、もとの画像に対して二次元的な探索を行って特異点を検出し、検出された特異点を抽出してもとの画像よりも解像度の低い別の画像を生成する。ここで第ｍレベルにおける各画像のサイズは２^ｍ×２^ｍ（０≦ｍ≦ｎ）とする。特異点フィルタは次の４種類の新たな階層画像をｎから下がる方向で再帰的に構築する。

ただしここで、

とする。以降これら４つの画像を副画像（サブイメージ）と呼ぶ。ｍｉｎ_{ｘ≦ｔ≦ｘ＋１}、ｍａｘ_{ｘ≦ｔ≦ｘ＋１}をそれぞれα及びβと記述すると、副画像はそれぞれ以下のように記述できる。

Ｐ^{（ｍ，０）}＝α（ｘ）α（ｙ）ｐ^{（ｍ＋１，０）}
Ｐ^{（ｍ，１）}＝α（ｘ）β（ｙ）ｐ^{（ｍ＋１，１）}
Ｐ^{（ｍ，２）}＝β（ｘ）α（ｙ）ｐ^{（ｍ＋１，２}）
Ｐ^{（ｍ，３）}＝β（ｘ）β（ｙ）ｐ^{（ｍ＋１，３）}
すなわち、これらはαとβのテンソル積のようなものと考えられる。副画像はそれぞれ特異点に対応している。これらの式から明らかなように、特異点フィルタはもとの画像について２×２画素で構成されるブロックごとに特異点を検出する。その際、各ブロックのふたつの方向、つまり縦と横について、最大画素値または最小画素値をもつ点を探索する。画素値として、前提技術では輝度を採用するが、画像に関するいろいろな数値を採用することができる。ふたつの方向の両方について最大画素値となる画素は極大点、ふたつの方向の両方について最小画素値となる画素は極小点、ふたつの方向の一方について最大画素値となるとともに、他方について最小画素値となる画素は鞍点として検出される。

特異点フィルタは、各ブロックの内部で検出された特異点の画像（ここでは１画素）でそのブロックの画像（ここでは４画素）を代表させることにより、画像の解像度を落とす。特異点の理論的な観点からすれば、α（ｘ）α（ｙ）は極小点を保存し、β（ｘ）β（ｙ）は極大点を保存し、α（ｘ）β（ｙ）及びβ（ｘ）α（ｙ）は鞍点を保存する。

はじめに、マッチングをとるべき始点（ソース）画像と終点（デスティネーション）画像に対して別々に特異点フィルタ処理を施し、それぞれ一連の画像群、すなわち始点階層画像と終点階層画像を生成しておく。始点階層画像と終点階層画像は、特異点の種類に対応してそれぞれ４種類ずつ生成される。

この後、一連の解像度レベルの中で始点階層画像と終点階層画像のマッチングがとれらていく。まずｐ^{（ｍ，０）}を用いて極小点のマッチングがとられる。次に、その結果に基づき、ｐ^{（ｍ，１）}を用いて鞍点のマッチングがとられ、ｐ^{（ｍ，２）}を用いて他の鞍点のマッチングがとられる。そして最後にｐ^{（ｍ，３）}を用いて極大点のマッチングがとられる。

図１（ｃ）と図１（ｄ）はそれぞれ図１（ａ）と図１（ｂ）の副画像ｐ^{（５，０）}を示している。同様に、図１（ｅ）と図１（ｆ）はｐ^{（５，１）}、図１（ｇ）と図１（ｈ）はｐ^{（５，２）}、図１（ｉ）と図１（ｊ）はｐ^{（５，３）}をそれぞれ示している。これらの図からわかるとおり、副画像によれば画像の特徴部分のマッチングが容易になる。まずｐ^{（５，０）}によって目が明確になる。目は顔の中で輝度の極小点だからである。ｐ^{（５，１）}によれば口が明確になる。口は横方向で輝度が低いためである。ｐ^{（５，２）}によれば首の両側の縦線が明確になる。最後に、ｐ^{（５，３）}によって耳や頬の最も明るい点が明確になる。これらは輝度の極大点だからである。

特異点フィルタによれば画像の特徴が抽出できるため、例えばカメラで撮影された画像の特徴と、予め記録しておいたいくつかのオブジェクトの特徴を比較することにより、カメラに映った被写体を識別することができる。

［１．３］画像間の写像の計算
始点画像の位置（ｉ，ｊ）の画素をｐ^（ｎ） _{（ｉ，ｊ）}と書き、同じく終点画像の位置（ｋ，ｌ）の画素をｑ^（ｎ） _{（ｋ，ｌ）}で記述する。ｉ，ｊ，ｋ，ｌ∈Ｉとする。画像間の写像のエネルギー（後述）を定義する。このエネルギーは、始点画像の画素の輝度と終点画像の対応する画素の輝度の差、及び写像の滑らかさによって決まる。最初に最小のエネルギーを持つｐ^{（ｍ，０）}とｑ^{（ｍ，０）}間の写像ｆ^{（ｍ，０）}：ｐ^{（ｍ，０）}→ｑ^{（ｍ，０）}が計算される。ｆ^{（ｍ，０）}に基づき、最小エネルギーを持つｐ^（ｍ，１）、ｑ^{（ｍ，１）}間の写像ｆ^{（ｍ，１）}が計算される。この手続は、ｐ^{（ｍ，３）}とｑ^{（ｍ，３）}の間の写像ｆ^{（ｍ，３）}の計算が終了するまで続く。各写像ｆ^{（ｍ，ｉ）}（ｉ＝０，１，２，…）を副写像と呼ぶことにする。ｆ^{（ｍ，ｉ）}の計算の都合のために、ｉの順序は次式のように並べ替えることができる。並べ替えが必要な理由は後述する。

ここでσ（ｉ）∈｛０，１，２，３｝である。

［１．３．１］全単射
始点画像と終点画像の間のマッチングを写像で表現する場合、その写像は両画像間で全単射条件を満たすべきである。両画像に概念上の優劣はなく、互いの画素が全射かつ単射で接続されるべきだからである。しかしながら通常の場合とは異なり、ここで構築すべき写像は全単射のディジタル版である。前提技術では、画素は格子点によって特定される。

始点副画像（始点画像について設けられた副画像）から終点副画像（終点画像について設けられた副画像）への写像は、ｆ^{（ｍ，ｓ）}：Ｉ／２^ｎ−ｍ×Ｉ／２^ｎ−ｍ→Ｉ／２^ｎ−ｍ×Ｉ／２^ｎ−ｍ（ｓ＝０，１，…）によって表される。ここで、ｆ^{（ｍ，ｓ）}（ｉ，ｊ）＝（ｋ，ｌ）は、始点画像のｐ^{（ｍ，ｓ）} _{（ｉ，ｊ）}が終点画像のｑ^{（ｍ，ｓ）} _{（ｋ，ｌ）}に写像されることを意味する。簡単のために、ｆ（ｉ，ｊ）＝（ｋ，ｌ）が成り立つとき画素ｑ_{（ｋ，ｌ）}をｑ_{ｆ（ｉ，ｊ）}と記述する。

前提技術で扱う画素（格子点）のようにデータが離散的な場合、全単射の定義は重要である。ここでは以下のように定義する（ｉ，ｉ’，ｊ，ｊ’，ｋ，ｌは全て整数とする）。まず始めに、始点画像の平面においてＲによって表記される各正方形領域、

を考える（ｉ＝０，…，２^ｍ−１、ｊ＝０，…，２^ｍ−１）。ここでＲの各辺（エッジ）の方向を以下のように定める。

この正方形は写像ｆによって終点画像平面における四辺形に写像されなければならない。ｆ^{（ｍ，ｓ）}（Ｒ）によって示される四辺形、

は、以下の全単射条件を満たす必要がある。

１．四辺形ｆ^{（ｍ，ｓ）}（Ｒ）のエッジは互いに交差しない。
２．ｆ^{（ｍ，ｓ）}（Ｒ）のエッジの方向はＲのそれらに等しい（図２の場合、時計回り）。
３．緩和条件として収縮写像（リトラクション：retractions）を許す。

何らかの緩和条件を設けないかぎり、全単射条件を完全に満たす写像は単位写像しかないためである。ここではｆ^{（ｍ，ｓ）}（Ｒ）のひとつのエッジの長さが０、すなわちｆ^{（ｍ，ｓ）}（Ｒ）は三角形になってもよい。しかし、面積が０となるような図形、すなわち１点または１本の線分になってはならない。図２（Ｒ）がもとの四辺形の場合、図２（Ａ）と図２（Ｄ）は全単射条件を満たすが、図２（Ｂ）、図２（Ｃ）、図２（Ｅ）は満たさない。

実際のインプリメンテーションでは、写像が全射であることを容易に保証すべく、さらに以下の条件を課してもよい。つまり始点画像の境界上の各画素は、終点画像において同じ位置を占める画素に写影されるというものである。すなわち、ｆ（ｉ，ｊ）＝（ｉ，ｊ）（ただしｉ＝０，ｉ＝２^ｍ−１，ｊ＝０，ｊ＝２^ｍ−１の４本の線上）である。この条件を以下「付加条件」とも呼ぶ。

［１．３．２］写像のエネルギー
［１．３．２．１］画素の輝度に関するコスト
写像ｆのエネルギーを定義する。エネルギーが最小になる写像を探すことが目的である。エネルギーは主に、始点画像の画素の輝度とそれに対応する終点画像の画素の輝度の差で決まる。すなわち、写像ｆ^{（ｍ，ｓ）}の点（ｉ，ｊ）におけるエネルギーＣ^{（ｍ，ｓ）} _{（ｉ，ｊ）}は次式によって定まる。

ここで、Ｖ（ｐ^{（ｍ，ｓ）} _{（ｉ，ｊ）}）及びＶ（ｑ^{（ｍ，ｓ）} _{ｆ（ｉ，ｊ）}）はそれぞれ画素ｐ^{（ｍ，ｓ）} _{（ｉ，ｊ）}及びｑ^{（ｍ，ｓ）} _{ｆ（ｉ，ｊ）}の輝度である。ｆのトータルのエネルギーＣ^{（ｍ，ｓ）}は、マッチングを評価するひとつの評価式であり、つぎに示すＣ^{（ｍ，ｓ）} _{（ｉ，ｊ）}の合計で定義できる。

［１．３．２．２］滑らかな写像のための画素の位置に関するコスト
滑らかな写像を得るために、写像に関する別のエネルギーＤｆを導入する。このエネルギーは画素の輝度とは関係なく、ｐ^{（ｍ，ｓ）} _{（ｉ，ｊ）}およびｑ^{（ｍ，ｓ）} _{ｆ（ｉ，ｊ）}の位置によって決まる（ｉ＝０，…，２^ｍ−１，ｊ＝０，…，２^ｍ−１）。点（ｉ，ｊ）における写像ｆ^{（ｍ，ｓ）}のエネルギーＤ^{（ｍ，ｓ）} _{（ｉ，ｊ）}は次式で定義される。

ただし、係数パラメータηは０以上の実数であり、また、

とする。ここで、

であり、ｉ’＜０およびｊ’＜０に対してｆ（ｉ’，ｊ’）は０と決める。Ｅ_０は（ｉ，ｊ）及びｆ（ｉ，ｊ）の距離で決まる。Ｅ_０は画素があまりにも離れた画素へ写影されることを防ぐ。ただしＥ_０は、後に別のエネルギー関数で置き換える。Ｅ_１は写像の滑らかさを保証する。Ｅ_１は、ｐ_{（ｉ，ｊ）}の変位とその隣接点の変位の間の隔たりを表す。以上の考察をもとに、マッチングを評価する別の評価式であるエネルギーＤ_ｆは次式で定まる。

［１．３．２．３］写像の総エネルギー
写像の総エネルギー、すなわち複数の評価式の統合に係る総合評価式はλＣ^{（ｍ，ｓ）} _ｆ＋Ｄ^{（ｍ，ｓ）} _ｆで定義される。ここで係数パラメータλは０以上の実数である。目的は総合評価式が極値をとる状態を検出すること、すなわち次式で示す最小エネルギーを与える写像を見いだすことである。

λ＝０及びη＝０の場合、写像は単位写像になることに注意すべきである（すなわち、全てのｉ＝０，…，２^ｍ−１及びｊ＝０，…，２^ｍ−１に対してｆ^{（ｍ，ｓ）}（ｉ，ｊ）＝（ｉ，ｊ）となる）。後述のごとく、本前提技術では最初にλ＝０及びη＝０の場合を評価するため、写像を単位写像から徐々に変形していくことができる。仮に総合評価式のλの位置を変えてＣ^{（ｍ，ｓ）} _ｆ＋λＤ^{（ｍ，ｓ）} _ｆと定義したとすれば、λ＝０及びη＝０の場合に総合評価式がＣ^{（ｍ，ｓ）} _ｆだけになり、本来何等関連のない画素どうしが単に輝度が近いというだけで対応づけられ、写像が無意味なものになる。そうした無意味な写像をもとに写像を変形していってもまったく意味をなさない。このため、単位写像が評価の開始時点で最良の写像として選択されるよう係数パラメータの与えかたが配慮されている。

オプティカルフローもこの前提技術同様、画素の輝度の差と滑らかさを考慮する。しかし、オプティカルフローは画像の変換に用いることはできない。オブジェクトの局所的な動きしか考慮しないためである。前提技術に係る特異点フィルタを用いることによって大域的な対応関係を検出することができる。

［１．３．３］多重解像度の導入による写像の決定
最小エネルギーを与え、全単射条件を満足する写像ｆ_ｍｉｎを多重解像度の階層を用いて求める。各解像度レベルにおいて始点副画像及び終点副画像間の写像を計算する。解像度の階層の最上位（最も粗いレベル）からスタートし、各解像度レベルの写像を、他のレベルの写像を考慮に入れながら決定する。各レベルにおける写像の候補の数は、より高い、つまりより粗いレベルの写像を用いることによって制限される。より具体的には、あるレベルにおける写像の決定に際し、それよりひとつ粗いレベルにおいて求められた写像が一種の拘束条件として課される。

まず、

が成り立つとき、ｐ^{（ｍ−１，ｓ）} _{（ｉ’，ｊ’）}、ｑ^{（ｍ−１，ｓ）} _{（ｉ’，ｊ’）}をそれぞれｐ^{（ｍ，ｓ）} _{（ｉ，ｊ）}、ｑ^{（ｍ，ｓ）} _{（ｉ，ｊ）}のｐａｒｅｎｔと呼ぶことにする。［ｘ］はｘを越えない最大整数である。またｐ^{（ｍ，ｓ）} _{（ｉ，ｊ）}、ｑ^{（ｍ，ｓ）} _{（ｉ，ｊ）}をそれぞれｐ^{（ｍ−１，ｓ）} _{（ｉ’，ｊ’）}、ｑ^{（ｍ−１，ｓ）} _{（ｉ’，ｊ’）}のｃｈｉｌｄと呼ぶ。関数ｐａｒｅｎｔ（ｉ，ｊ）は次式で定義される。

ｐ^{（ｍ，ｓ）} _{（ｉ，ｊ）}とｑ^{（ｍ，ｓ）} _{（ｋ，ｌ）}の間の写像ｆ^{（ｍ，ｓ）}は、エネルギー計算を行って最小になったものを見つけることで決定される。ｆ^{（ｍ，ｓ）}（ｉ，ｊ）＝（ｋ，ｌ）の値はｆ^{（ｍ−１，ｓ）}（ｍ＝１，２，…，ｎ）を用いることによって、以下のように決定される。まず、ｑ^{（ｍ，ｓ）} _{（ｋ，ｌ）}は次の四辺形の内部になければならないという条件を課し、全単射条件を満たす写像のうち現実性の高いものを絞り込む。

ただしここで、

である。こうして定めた四辺形を、以下ｐ^{（ｍ，ｓ）} _{（ｉ，ｊ）}の相続（inherited）四辺形と呼ぶことにする。相続四辺形の内部において、エネルギーを最小にする画素を求める。

図３は以上の手順を示している。同図において、始点画像のＡ，Ｂ，Ｃ，Ｄの画素は、第ｍ−１レベルにおいてそれぞれ終点画像のＡ’，Ｂ’，Ｃ’，Ｄ’へ写影される。画素ｐ^{（ｍ，ｓ）} _{（ｉ，ｊ）}は、相続四辺形Ａ’Ｂ’Ｃ’Ｄ’の内部に存在する画素ｑ^{（ｍ，ｓ）} _{ｆ（ｍ）（ｉ，ｊ）}へ写影されなければならない。以上の配慮により、第ｍ−１レベルの写像から第ｍレベルの写像への橋渡しがなされる。

先に定義したエネルギーＥ_０は、第ｍレベルにおける副写像ｆ^（ｍ，０）を計算するために、次式に置き換える。

また、副写像ｆ^{（ｍ，ｓ）}を計算するためには次式を用いる。

こうしてすべての副写像のエネルギーを低い値に保つ写像が得られる。式２０により、異なる特異点に対応する副写像が、副写像どうしの類似度が高くなるように同一レベル内で関連づけられる。式１９は、ｆ^{（ｍ，ｓ）}（ｉ，ｊ）と、第ｍ−１レベルの画素の一部と考えた場合の（ｉ，ｊ）が射影されるべき点の位置との距離を示している。

仮に、相続四辺形Ａ’Ｂ’Ｃ’Ｄ’の内部に全単射条件を満たす画素が存在しない場合は以下の措置をとる。まず、Ａ’Ｂ’Ｃ’Ｄ’の境界線からの距離がＬ（始めはＬ＝１）である画素を調べる。それらのうち、エネルギーが最小になるものが全単射条件を満たせば、これをｆ^{（ｍ，ｓ）}（ｉ，ｊ）の値として選択する。そのような点が発見されるか、またはＬがその上限のＬ^（ｍ）ｍａｘに到達するまで、Ｌを大きくしていく。Ｌ^（ｍ）ｍａｘは各レベルｍに対して固定である。そのような点が全く発見されない場合、全単射の第３の条件を一時的に無視して変換先の四辺形の面積がゼロになるような写像も認め、ｆ^{（ｍ，ｓ）}（ｉ，ｊ）を決定する。それでも条件を満たす点が見つからない場合、つぎに全単射の第１及び第２条件を外す。

多重解像度を用いる近似法は、写像が画像の細部に影響されることを回避しつつ、画像間の大域的な対応関係を決定するために必須である。多重解像度による近似法を用いなければ、距離の遠い画素間の対応関係を見いだすことは不可能である。その場合、画像のサイズはきわめて小さなものに限定しなければならず、変化の小さな画像しか扱うことができない。さらに、通常写像に滑らかさを要求するため、そうした画素間の対応関係を見つけにくくしている。距離のある画素から画素への写像のエネルギーは高いためである。多重解像度を用いた近似法によれば、そうした画素間の適切な対応関係を見いだすことができる。それらの距離は、解像度の階層の上位レベル（粗いレベル）において小さいためである。

［１．４］最適なパレメータ値の自動決定
既存のマッチング技術の主な欠点のひとつに、パレメータ調整の困難さがある。大抵の場合、パラメータの調整は人手作業によって行われ、最適な値を選択することはきわめて難しい。前提技術に係る方法によれば、最適なパラメータ値を完全に自動決定することができる。

前提技術に係るシステムはふたつのパレメータ、λ及びηを含む。端的にいえば、λは画素の輝度の差の重みであり、ηは写像の剛性を示している。これらのパラメータの値は初期値が０であり、まずη＝０に固定してλを０から徐々に増加させる。λの値を大きくしながら、しかも総合評価式（式１４）の値を最小にする場合、各副写像に関するＣ^{（ｍ，ｓ）} _ｆの値は一般に小さくなっていく。このことは基本的にふたつの画像がよりマッチしなければならないことを意味する。しかし、λが最適値を超えると以下の現象が発生する。

１．本来対応すべきではない画素どうしが、単に輝度が近いというだけで誤って対応づけられる。
２．その結果、画素どうしの対応関係がおかしくなり、写像がくずれはじめる。
３．その結果、式１４においてＤ^{（ｍ，ｓ）} _ｆが急激に増加しようとする。
４．その結果、式１４の値が急激に増加しようとするため、Ｄ^{（ｍ，ｓ）} _ｆの急激な増加を抑制するようｆ^{（ｍ，ｓ）}が変化し、その結果Ｃ^{（ｍ，ｓ）} _ｆが増加する。
したがって、λを増加させながら式１４が最小値をとるという状態を維持しつつＣ^{（ｍ，ｓ）} _ｆが減少から増加に転じる閾値を検出し、そのλをη＝０における最適値とする。つぎにηを少しづつ増やしてＣ^{（ｍ，ｓ）} _ｆの挙動を検査し、後述の方法でηを自動決定する。そのηに対応してλも決まる。

この方法は、人間の視覚システムの焦点機構の動作に似ている。人間の視覚システムでは、一方の目を動かしながら左右両目の画像のマッチングがとられる。オブジェクトがはっきりと認識できるとき、その目が固定される。

［１．４．１］λの動的決定
λは０から所定の刻み幅で増加されていき、λの値が変わる度に副写像が評価される。式１４のごとく、総エネルギーはλＣ^{（ｍ，ｓ）} _ｆ＋Ｄ^{（ｍ，ｓ）} _ｆによって定義される。式９のＤ^{（ｍ，ｓ）} _ｆは滑らかさを表すもので、理論的には単位写像の場合に最小になり、写像が歪むほどＥ_０もＥ_１も増加していく。Ｅ_１は整数であるから、Ｄ^{（ｍ，ｓ）} _ｆの最小刻み幅は１である。このため、現在のλＣ^{（ｍ，ｓ）} _{（ｉ，ｊ）}の変化（減少量）が１以上でなければ、写像を変化させることによって総エネルギーを減らすことはできない。なぜなら、写像の変化に伴ってＤ^{（ｍ，ｓ）} _ｆは１以上増加するため、λＣ^{（ｍ，ｓ）} _{（ｉ，ｊ）}が１以上減少しない限り総エネルギーは減らないためである。

この条件のもと、λの増加に伴い、正常な場合にＣ^{（ｍ，ｓ）} _{（ｉ，ｊ）}が減少することを示す。Ｃ^{（ｍ，ｓ）} _{（ｉ，ｊ）}のヒストグラムをｈ（ｌ）と記述する。ｈ（ｌ）はエネルギーＣ^{（ｍ，ｓ）} _{（ｉ，ｊ）}がｌ^２である画素の数である。λｌ^２≧１が成り立つために、例えばｌ^２＝１／λの場合を考える。λがλ_１からλ_２まで微小量変化するとき、

で示されるＡ個の画素が、

のエネルギーを持つより安定的な状態に変化する。ここでは仮に、これらの画素のエネルギーがすべてゼロになると近似している。この式はＣ^{（ｍ，ｓ）} _ｆの値が、

だけ変化することを示し、その結果、

が成立する。ｈ（ｌ）＞０であるから、通常Ｃ^{（ｍ，ｓ）} _ｆは減少する。しかし、λが最適値を越えようとするとき、上述の現象、つまりＣ^{（ｍ，ｓ）} _ｆの増加が発生する。この現象を検出することにより、λの最適値を決定する。

なお、Ｈ（ｈ＞０）及びｋを定数とするとき、

と仮定すれば、

が成り立つ。このときｋ≠−３であれば、

となる。これがＣ^{（ｍ，ｓ）} _ｆの一般式である（Ｃは定数）。

λの最適値を検出する際、さらに安全を見て、全単射条件を破る画素の数を検査してもよい。ここで各画素の写像を決定する際、全単射条件を破る確率をｐ_０と仮定する。この場合、

が成立しているため、全単射条件を破る画素の数は次式の率で増加する。

従って、

は定数である。仮にｈ（ｌ）＝Ｈｌ^ｋを仮定するとき、例えば、

は定数になる。しかしλが最適値を越えると、上の値は急速に増加する。この現象を検出し、Ｂ_０λ^{３／２＋ｋ／２}／２^ｍの値が異常値Ｂ_{０ｔｈｒｅｓ}を越えるかどうかを検査し、λの最適値を決定することができる。同様に、Ｂ_１λ^{３／２＋ｋ／２}／２^ｍの値が異常値Ｂ_{１ｔｈｒｅｓ}を越えるかどうかを検査することにより、全単射の第３の条件を破る画素の増加率Ｂ_１を確認する。ファクター２^ｍを導入する理由は後述する。このシステムはこれら２つの閾値に敏感ではない。これらの閾値は、エネルギーＣ^{（ｍ，ｓ）} _ｆの観察では検出し損なった写像の過度の歪みを検出するために用いることができる。

なお実験では、副写像ｆ^{（ｍ，ｓ）}を計算する際、もしλが０．１を越えたらｆ^{（ｍ，ｓ）}の計算は止めてｆ^{（ｍ，ｓ＋１）}の計算に移行した。λ＞０．１のとき、画素の輝度２５５レベル中のわずか「３」の違いが副写像の計算に影響したためであり、λ＞０．１のとき正しい結果を得ることは困難だったためである。

［１．４．２］ヒストグラムｈ（ｌ）
Ｃ^{（ｍ，ｓ）} _ｆの検査はヒストグラムｈ（ｌ）に依存しない。全単射及びその第３の条件の検査の際、ｈ（ｌ）に影響を受けうる。実際に（λ，Ｃ^{（ｍ，ｓ）} _ｆ）をプロットすると、ｋは通常１付近にある。実験ではｋ＝１を用い、Ｂ_０λ^２とＢ_１λ^２を検査した。仮にｋの本当の値が１未満であれば、Ｂ_０λ^２とＢ_１λ^２は定数にならず、ファクターλ^{（１−ｋ）／２}に従って徐々に増加する。ｈ（ｌ）が定数であれば、例えばファクターはλ^１／２である。しかし、こうした差は閾値Ｂ_{０ｔｈｒｅｓ}を正しく設定することによって吸収することができる。

ここで次式のごとく始点画像を中心が（ｘ_０，ｙ_０）、半径ｒの円形のオブジェクトであると仮定する。

一方、終点画像は、次式のごとく中心（ｘ_１，ｙ_１）、半径がｒのオブジェクトであるとする。

ここでｃ（ｘ）はｃ（ｘ）＝ｘ^ｋの形であるとする。中心（ｘ_０，ｙ_０）及び（ｘ_１，ｙ_１）が十分遠い場合、ヒストグラムｈ（ｌ）は次式の形となる。

ｋ＝１のとき、画像は背景に埋め込まれた鮮明な境界線を持つオブジェクトを示す。このオブジェクトは中心が暗く、周囲にいくに従って明るくなる。ｋ＝−１のとき、画像は曖昧な境界線を持つオブジェクトを表す。このオブジェクトは中心が最も明るく、周囲にいくに従って暗くなる。一般のオブジェクトはこれらふたつのタイプのオブジェクトの中間にあると考えてもさして一般性を失わない。したがって、ｋは−１≦ｋ≦１として大抵の場合をカバーでき、式２７が一般に減少関数であることが保障される。

なお、式３４からわかるように、ｒは画像の解像度に影響されること、すなわちｒは２^ｍに比例することに注意すべきである。このために［１．４．１］においてファクター２^ｍを導入した。

［１．４．３］ηの動的決定
パラメータηも同様の方法で自動決定できる。はじめにη＝０とし、最も細かい解像度における最終的な写像ｆ^（ｎ）及びエネルギーＣ^（ｎ） _ｆを計算する。つづいて、ηをある値Δηだけ増加させ、再び最も細かい解像度における最終写像ｆ^（ｎ）及びエネルギーＣ^（ｎ） _ｆを計算し直す。この過程を最適値が求まるまで続ける。ηは写像の剛性を示す。次式の重みだからである。

ηが０のとき、Ｄ^（ｎ） _ｆは直前の副写像と無関係に決定され、現在の副写像は弾性的に変形され、過度に歪むことになる。一方、ηが非常に大きな値のとき、Ｄ^（ｎ） _ｆは直前の副写像によってほぼ完全に決まる。このとき副写像は非常に剛性が高く、画素は同じ場所に射影される。その結果、写像は単位写像になる。ηの値が０から次第に増えるとき、後述のごとくＣ^（ｎ） _ｆは徐々に減少する。しかしηの値が最適値を越えると、図４に示すとおり、エネルギーは増加し始める。同図のＸ軸はη、Ｙ軸はＣ_ｆである。

この方法でＣ^（ｎ） _ｆを最小にする最適なηの値を得ることができる。しかし、λの場合に比べていろいろな要素が計算に影響する結果、Ｃ^（ｎ） _ｆは小さく揺らぎながら変化する。λの場合は、入力が微小量変化するたびに副写像を１回計算しなおすだけだが、ηの場合はすべての副写像が計算しなおされるためである。このため、得られたＣ^（ｎ） _ｆの値が最小であるかどうかを即座に判断することはできない。最小値の候補が見つかれば、さらに細かい区間を設定することによって真の最小値を探す必要がある。

［１．５］スーパーサンプリング
画素間の対応関係を決定する際、自由度を増やすために、ｆ^{（ｍ，ｓ）}の値域をＲ×Ｒに拡張することができる（Ｒは実数の集合）。この場合、終点画像の画素の輝度が補間され、非整数点、

における輝度を持つｆ^{（ｍ，ｓ）}が提供される。つまりスーパーサンプリングが行われる。実験では、ｆ^{（ｍ，ｓ）}は整数及び半整数値をとることが許され、

は、

によって与えられた。

［１．６］各画像の画素の輝度の正規化
始点画像と終点画像がきわめて異なるオブジェクトを含んでいるとき、写像の計算に元の画素の輝度がそのままでは利用しにくい。輝度の差が大きいために輝度に関するエネルギーＣ^{（ｍ，ｓ）} _ｆが大きくなりすぎ、正しい評価がしずらいためである。

例えば、人の顔と猫の顔のマッチングをとる場合を考える。猫の顔は毛で覆われており、非常に明るい画素と非常に暗い画素が混じっている。この場合、ふたつの顔の間の副写像を計算するために、まず副画像を正規化する。すなわち、最も暗い画素の輝度を０、最も明るいそれを２５５に設定し、他の画素の輝度は線形補間によって求めておく。

［１．７］インプリメンテーション
始点画像のスキャンに従って計算がリニアに進行する帰納的な方法を用いる。始めに、１番上の左端の画素（ｉ，ｊ）＝（０，０）についてｆ^{（ｍ，ｓ）}の値を決定する。次にｉを１ずつ増やしながら各ｆ^{（ｍ，ｓ）}（ｉ，ｊ）の値を決定する。ｉの値が画像の幅に到達したとき、ｊの値を１増やし、ｉを０に戻す。以降、始点画像のスキャンに伴いｆ^{（ｍ，ｓ）}（ｉ，ｊ）を決定していく。すべての点について画素の対応が決まれば、ひとつの写像ｆ^{（ｍ，ｓ）}が決まる。

あるｐ_{（ｉ，ｊ）}について対応点ｑ_{ｆ（ｉ，ｊ）}が決まれば、つぎにｐ_{（ｉ，ｊ＋１）}の対応点ｑ_{ｆ（ｉ，ｊ＋１）}が決められる。この際、ｑ_{ｆ（ｉ，ｊ＋１）}の位置は全単射条件を満たすために、ｑ_{ｆ（ｉ，ｊ）}の位置によって制限される。したがって、先に対応点が決まる点ほどこのシステムでは優先度が高くなる。つねに（０，０）が最も優先される状態がつづくと、求められる最終の写像に余計な偏向が加わる。本前提技術ではこの状態を回避するために、ｆ^{（ｍ，ｓ）}を以下の方法で決めていく。

まず（ｓ ｍｏｄ ４）が０の場合、（０，０）を開始点としｉ及びｊを徐々に増やしながら決めていく。（ｓ ｍｏｄ ４）が１の場合、最上行の右端点を開始点とし、ｉを減少、ｊを増加させながら決めていく。（ｓ ｍｏｄ ４）が２のとき、最下行の右端点を開始点とし、ｉ及びｊを減少させながら決めていく。（ｓ ｍｏｄ ４）が３の場合、最下行の左端点を開始点とし、ｉを増加、ｊを減少させながら決めていく。解像度が最も細かい第ｎレベルには副写像という概念、すなわちパラメータｓが存在しないため、仮にｓ＝０及びｓ＝２であるとしてふたつの方向を連続的に計算した。

実際のインプリメンテーションでは、全単射条件を破る候補に対してペナルティを与えることにより、候補（ｋ，ｌ）の中からできる限り全単射条件を満たすｆ^{（ｍ，ｓ）}（ｉ，ｊ）（ｍ＝０，…，ｎ）の値を選んだ。第３の条件を破る候補のエネルギーＤ（ｋ、ｌ）にはφを掛け、一方、第１または第２の条件を破る候補にはψを掛ける。今回はφ＝２、ψ＝１０００００を用いた。

前述の全単射条件のチェックのために、実際の手続として（ｋ，ｌ）＝ｆ^{（ｍ，ｓ）}（ｉ，ｊ）を決定する際に以下のテストを行った。すなわちｆ^{（ｍ，ｓ）}（ｉ，ｊ）の相続四辺形に含まれる各格子点（ｋ，ｌ）に対し、次式の外積のｚ成分が０以上になるかどうかを確かめる。

ただしここで、

である（ここでベクトルは三次元ベクトルとし、ｚ軸は直交右手座標系において定義される）。もしＷが負であれば、その候補についてはＤ^{（ｍ，ｓ）} _{（ｋ，ｌ）}にψを掛けることによってペナルティを与え、できるかぎり選択しないようにする。

図５（ａ）、図５（ｂ）はこの条件を検査する理由を示している。図５（ａ）はペナルティのない候補、図５（ｂ）はペナルティがある候補をそれぞれ表す。隣接画素（ｉ，ｊ＋１）に対する写像ｆ^{（ｍ，ｓ）}（ｉ，ｊ＋１）を決定する際、Ｗのｚ成分が負であれば始点画像平面上において全単射条件を満足する画素は存在しない。なぜなら、ｑ^{（ｍ，ｓ）} _{（ｋ，ｌ）}は隣接する四辺形の境界線を越えるためである。

［１．７．１］副写像の順序
インプリメンテーションでは、解像度レベルが偶数のときにはσ（０）＝０、σ（１）＝１、σ（２）＝２、σ（３）＝３、σ（４）＝０を用い、奇数のときはσ（０）＝３、σ（１）＝２、σ（２）＝１、σ（３）＝０、σ（４）＝３を用いた。このことで、副写像を適度にシャッフルした。なお、本来副写像は４種類であり、ｓは０〜３のいずれかである。しかし、実際にはｓ＝４に相当する処理を行った。その理由は後述する。

［１．８］補間計算
始点画像と終点画像の間の写像が決定された後、対応しあう画素の輝度が補間される。実験では、トライリニア補間を用いた。始点画像平面における正方形ｐ_{（ｉ，ｊ）}ｐ_{（ｉ＋１，ｊ）}ｐ_{（ｉ，ｊ＋１）}ｐ_{（ｉ＋１，ｊ＋１）}が終点画像平面上の四辺形ｑ_{ｆ（ｉ，ｊ）}ｑ_{ｆ（ｉ＋１，ｊ）}ｑ_{ｆ（ｉ，ｊ＋１）}ｑ_{ｆ（ｉ＋１，ｊ＋１）}に射影されると仮定する。簡単のため、画像間の距離を１とする。始点画像平面からの距離がｔ（０≦ｔ≦１）である中間画像の画素ｒ（ｘ，ｙ，ｔ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）は以下の要領で求められる。まず画素ｒ（ｘ，ｙ，ｔ）の位置（ただしｘ，ｙ，ｔ∈Ｒ）を次式で求める。

つづいてｒ（ｘ，ｙ，ｔ）における画素の輝度が次の式を用いて決定される。

ここでｄｘ及びｄｙはパラメータであり、０から１まで変化する。

［１．９］拘束条件を課したときの写像
いままでは拘束条件がいっさい存在しない場合の写像の決定を述べた。しかし、始点画像と終点画像の特定の画素間に予め対応関係が規定されているとき、これを拘束条件としたうえで写像を決定することができる。

基本的な考えは、まず始点画像の特定の画素を終点画像の特定の画素に移す大まかな写像によって始点画像を大まかに変形し、しかる後、写像ｆを正確に計算する。

まず始めに、始点画像の特定の画素を終点画像の特定の画素に射影し、始点画像の他の画素を適当な位置に射影する大まかな写像を決める。すなわち、特定の画素に近い画素は、その特定の画素が射影される場所の近くに射影されるような写像である。ここで第ｍレベルの大まかな写像をＦ^（ｍ）と記述する。

大まかな写像Ｆは以下の要領で決める。まず、いくつかの画素について写像を特定する。始点画像についてｎ_ｓ個の画素、

を特定するとき、以下の値を決める。

始点画像の他の画素の変位量は、ｐ_{（ｉｈ，ｊｈ）}（ｈ＝０，…，ｎ_ｓ−１）の変位に重み付けをして求められる平均である。すなわち画素ｐ_{（ｉ，ｊ）}は、終点画像の以下の画素に射影される。

ただしここで、

とする。

つづいて、Ｆ^（ｍ）に近い候補写像ｆがより少ないエネルギーを持つように、その写像ｆのエネルギーＤ^{（ｍ，ｓ）} _{（ｉ，ｊ）}を変更する。正確には、Ｄ^{（ｍ，ｓ）} _{（ｉ，ｊ）}は、

である。ただし、

であり、κ，ρ≧０とする。最後に、前述の写像の自動計算プロセスにより、ｆを完全に決定する。

ここで、ｆ^{（ｍ，ｓ）}（i,j)がＦ^（ｍ）（i,j）に十分近いとき、つまりそれらの距離が、

以内であるとき、Ｅ_２ ^{（ｍ，ｓ）} _{（ｉ，ｊ）}が０になることに注意すべきである。そのように定義した理由は、各ｆ^{（ｍ，ｓ）}（i,j）がＦ^（ｍ）（i,j）に十分近い限り、終点画像において適切な位置に落ち着くよう、その値を自動的に決めたいためである。この理由により、正確な対応関係を詳細に特定する必要がなく、始点画像は終点画像にマッチするように自動的にマッピングされる。

［２］具体的な処理手順
［１］の各要素技術による処理の流れを説明する。
図６は前提技術の全体手順を示すフローチャートである。同図のごとく、まず多重解像度特異点フィルタを用いた処理を行い（Ｓ１）、つづいて始点画像と終点画像のマッチングをとる（Ｓ２）。ただし、Ｓ２は必須ではなく、Ｓ１で得られた画像の特徴をもとに画像認識などの処理を行ってもよい。

図７は図６のＳ１の詳細を示すフローチャートである。ここではＳ２で始点画像と終点画像のマッチングをとることを前提としている。そのため、まず特異点フィルタによって始点画像の階層化を行い（Ｓ１０）、一連の始点階層画像を得る。つづいて同様の方法で終点画像の階層化を行い（Ｓ１１）、一連の終点階層画像を得る。ただし、Ｓ１０とＳ１１の順序は任意であるし、始点階層画像と終点階層画像を並行して生成していくこともできる。

図８は図７のＳ１０の詳細を示すフローチャートである。もとの始点画像のサイズは２^ｎ×２^ｎとする。始点階層画像は解像度が細かいほうから順に作られるため、処理の対象となる解像度レベルを示すパラメータｍをｎにセットする（Ｓ１００）。つづいて第ｍレベルの画像ｐ^{（ｍ，０）}、ｐ^{（ｍ，１）}、ｐ^{（ｍ，２）}、ｐ^{（ｍ，３）}から特異点フィルタを用いて特異点を検出し（Ｓ１０１）、それぞれ第ｍ−１レベルの画像ｐ^{（ｍ−１，０）}、ｐ^{（ｍ−１，１）}、ｐ^{（ｍ−１，２）}、ｐ^{（ｍ−１，３）}を生成する（Ｓ１０２）。ここではｍ＝ｎであるため、ｐ^{（ｍ，０）}＝ｐ^{（ｍ，１）}＝ｐ^{（ｍ，２）}＝ｐ^{（ｍ，３）}＝ｐ^（ｎ）であり、ひとつの始点画像から４種類の副画像が生成される。

図９は第ｍレベルの画像の一部と、第ｍ−１レベルの画像の一部の対応関係を示している。同図の数値は各画素の輝度を示す。同図のｐ^{（ｍ，ｓ）}はｐ^{（ｍ，０）}〜ｐ^{（ｍ，３）}の４つの画像を象徴するもので、ｐ^{（ｍ−１，０）}を生成する場合には、ｐ^{（ｍ，ｓ）}はｐ^{（ｍ，０）}であると考える。［１．２］で示した規則により、ｐ^{（ｍ−１，０）}は例えば同図で輝度を記入したブロックについて、そこに含まれる４画素のうち「３」、ｐ^{（ｍ−１，１）}は「８」、ｐ^{（ｍ−１，２）}は「６」、ｐ^{（ｍ−１，３）}を「１０」をそれぞれ取得し、このブロックをそれぞれ取得したひとつの画素で置き換える。したがって、第ｍ−１レベルの副画像のサイズは２^ｍ−１×２^ｍ−１になる。

つづいてｍをデクリメントし（図８のＳ１０３）、ｍが負になっていないことを確認し（Ｓ１０４）、Ｓ１０１に戻ってつぎに解像度の粗い副画像を生成していく。この繰り返し処理の結果、ｍ＝０、すなわち第０レベルの副画像が生成された時点でＳ１０が終了する。第０レベルの副画像のサイズは１×１である。

図１０はＳ１０によって生成された始点階層画像をｎ＝３の場合について例示している。最初の始点画像のみが４つの系列に共通であり、以降特異点の種類に応じてそれぞれ独立に副画像が生成されていく。なお、図８の処理は図７のＳ１１にも共通であり、同様の手順を経て終点階層画像も生成される。以上で図６のＳ１による処理が完了する。

前提技術では、図６のＳ２に進むためにマッチング評価の準備をする。図１１はその手順を示している。同図のごとく、まず複数の評価式が設定される（Ｓ３０）。［１．３．２．１］で導入した画素に関するエネルギーＣ^{（ｍ，ｓ）} _ｆと［１．３．２．２］で導入した写像の滑らかさに関するエネルギーＤ^{（ｍ，ｓ）} _ｆがそれである。つぎに、これらの評価式を統合して総合評価式を立てる（Ｓ３１）。［１．３．２．３］で導入した総エネルギーλＣ^{（ｍ，ｓ）} _ｆ＋Ｄ^{（ｍ，ｓ）} _ｆがそれであり、［１．３．２．２］で導入したηを用いれば、
ΣΣ（λＣ^{（ｍ，ｓ）} _{（ｉ，ｊ）}＋ηＥ_０ ^{（ｍ，ｓ）} _{（ｉ，ｊ）}＋Ｅ_１ ^{（ｍ，ｓ）} _{（ｉ，ｊ）}） （式５２）
となる。ただし、総和はｉ、ｊについてそれぞれ０、１…、２^ｍ−１で計算する。以上でマッチング評価の準備が整う。

図１２は図６のＳ２の詳細を示すフローチャートである。［１］で述べたごとく、始点階層画像と終点階層画像のマッチングは互いに同じ解像度レベルの画像どうしでとられる。画像間の大域的なマッチングを良好にとるために、解像度が粗いレベルから順にマッチングを計算する。特異点フィルタを用いて始点階層画像および終点階層画像を生成しているため、特異点の位置や輝度は解像度の粗いレベルでも明確に保存されており、大域的なマッチングの結果は従来に比べて非常に優れたものになる。

図１２のごとく、まず係数パラメータηを０、レベルパラメータｍを０に設定する（Ｓ２０）。つづいて、始点階層画像中の第ｍレベルの４つの副画像と終点階層画像中の第ｍレベルの４つの副画像のそれぞれの間でマッチングを計算し、それぞれ全単射条件を満たし、かつエネルギーを最小にするような４種類の副写像ｆ^{（ｍ，ｓ）}（ｓ＝０，１，２，３）を求める（Ｓ２１）。全単射条件は［１．３．３］で述べた相続四辺形を用いて検査される。この際、式１７、１８が示すように、第ｍレベルにおける副写像は第ｍ−１レベルのそれらに拘束されるため、より解像度の粗いレベルにおけるマッチングが順次利用されていく。これは異なるレベル間の垂直的参照である。なお、いまｍ＝０であってそれより粗いレベルはないが、この例外的な処理は図１３で後述する。

一方、同一レベル内における水平的参照も行われる。［１．３．３］の式２０のごとく、ｆ^{（ｍ，３）}はｆ^{（ｍ，２）}に、ｆ^{（ｍ，２）}はｆ^{（ｍ，１）}に、ｆ^{（ｍ，１）}はｆ^{（ｍ，０）}に、それぞれ類似するように決める。その理由は、特異点の種類が違っても、それらがもともと同じ始点画像と終点画像に含まれている以上、副写像がまったく異なるという状況は不自然だからである。式２０からわかるように、副写像どうしが近いほどエネルギーは小さくなり、マッチングが良好とみなされる。

なお、最初に決めるべきｆ^{（ｍ，０）}については同一のレベルで参照できる副写像がないため、式１９に示すごとくひとつ粗いレベルを参照する。ただし、実験ではｆ^{（ｍ，３）}まで求まった後、これを拘束条件としてｆ^{（ｍ，０）}を一回更新するという手続をとった。これは式２０にｓ＝４を代入し、ｆ^{（ｍ，４）}を新たなｆ^{（ｍ，０）}とすることに等しい。ｆ^{（ｍ，０）}とｆ^{（ｍ，３）}の関連度が低くなり過ぎる傾向を回避するためであり、この措置によって実験結果がより良好になった。この措置に加え、実験では［１．７．１］に示す副写像のシャッフルも行った。これも本来特異点の種類ごとに決まる副写像どうしの関連度を密接に保つ趣旨である。また、処理の開始点に依存する偏向を回避するために、ｓの値にしたがって開始点の位置を変える点は［１．７］で述べたとおりである。

図１３は第０レベルにおいて副写像を決定する様子を示す図である。第０レベルでは各副画像がただひとつの画素で構成されるため、４つの副写像^{ｆ（０，ｓ）}はすべて自動的に単位写像に決まる。図１４は第１レベルにおいて副写像を決定する様子を示す図である。第１レベルでは副画像がそれぞれ４画素で構成される。同図ではこれら４画素が実線で示されている。いま、ｐ^{（１，ｓ）}の点ｘの対応点をｑ^{（１，ｓ）}の中で探すとき、以下の手順を踏む。

１．第１レベルの解像度で点ｘの左上点ａ、右上点ｂ、左下点ｃ、右下点ｄを求める。
２．点ａ〜ｄがひとつ粗いレベル、つまり第０レベルにおいて属する画素を探す。図１４の場合、点ａ〜ｄはそれぞれ画素Ａ〜Ｄに属する。ただし、画素Ａ〜Ｃは本来存在しない仮想的な画素である。
３．第０レベルですでに求まっている画素Ａ〜Ｄの対応点Ａ’〜Ｄ’をｑ^{（１，ｓ）}の中にプロットする。画素Ａ’〜Ｃ’は仮想的な画素であり、それぞれ画素Ａ〜Ｃと同じ位置にあるものとする。
４．画素Ａの中の点ａの対応点ａ’が画素Ａ’の中にあるとみなし、点ａ’をプロットする。このとき、点ａが画素Ａの中で占める位置（この場合、右下）と、点ａ’が画素Ａ’の中で占める位置が同じであると仮定する。
５．４と同様の方法で対応点ｂ’〜ｄ’をプロットし、点ａ’〜ｄ’で相続四辺形を作る。
６．相続四辺形の中でエネルギーが最小になるよう、点ｘの対応点ｘ’を探す。対応点ｘ’の候補として、例えば画素の中心が相続四辺形に含まれるものに限定してもよい。図１４の場合、４つの画素がすべて候補になる。

以上がある点ｘの対応点の決定手順である。同様の処理を他のすべての点について行い、副写像を決める。第２レベル以上のレベルでは、次第に相続四辺形の形が崩れていくと考えられるため、図３に示すように画素Ａ’〜Ｄ’の間隔が空いていく状況が発生する。

こうして、ある第ｍレベルの４つの副写像が決まれば、ｍをインクリメントし（図１２のＳ２２）、ｍがｎを超えていないことを確かめて（Ｓ２３）、Ｓ２１に戻る。以下、Ｓ２１に戻るたびに次第に細かい解像度のレベルの副写像を求め、最後にＳ２１に戻ったときに第ｎレベルの写像ｆ^（ｎ）を決める。この写像はη＝０に関して定まったものであるから、ｆ^（ｎ）（η＝０）と書く。

つぎに異なるηに関する写像も求めるべく、ηをΔηだけシフトし、ｍをゼロクリアする（Ｓ２４）。新たなηが所定の探索打切り値η_ｍａｘを超えていないことを確認し（Ｓ２５）、Ｓ２１に戻り、今回のηに関して写像ｆ^（ｎ）（η＝Δη）を求める。この処理を繰り返し、Ｓ２１でｆ^（ｎ）（η＝ｉΔη）（ｉ＝０，１，…）を求めていく。ηがη_ｍａｘを超えたときＳ２６に進み、後述の方法で最適なη＝η_ｏｐｔを決定し、ｆ^（ｎ）（η＝η_ｏｐｔ）を最終的に写像ｆ^（ｎ）とする。

図１５は図１２のＳ２１の詳細を示すフローチャートである。このフローチャートにより、ある定まったηについて、第ｍレベルにおける副写像が決まる。副写像を決める際、前提技術では副写像ごとに最適なλを独立して決める。

同図のごとく、まずｓとλをゼロクリアする（Ｓ２１０）。つぎに、そのときのλについて（および暗にηについて）エネルギーを最小にする副写像ｆ^{（ｍ，ｓ）}を求め（Ｓ２１１）、これをｆ^{（ｍ，ｓ）}（λ＝０）と書く。異なるλに関する写像も求めるべく、λをΔλだけシフトし、新たなλが所定の探索打切り値λ_ｍａｘを超えていないことを確認し（Ｓ２１３）、Ｓ２１１に戻り、以降の繰り返し処理でｆ^{（ｍ，ｓ）}（λ＝ｉΔλ）（ｉ＝０，１，…）を求める。λがλ_ｍａｘを超えたときＳ２１４に進み、最適なλ＝λ_ｏｐｔを決定し、ｆ^{（ｍ，ｓ）}（λ＝λ_ｏｐｔ）を最終的に写像ｆ^{（ｍ，ｓ）}とする（Ｓ２１４）。

つぎに、同一レベルにおける他の副写像を求めるべく、λをゼロクリアし、ｓをインクリメントする（Ｓ２１５）。ｓが４を超えていないことを確認し（Ｓ２１６）、Ｓ２１１に戻る。ｓ＝４になれば上述のごとくｆ^{（ｍ，３）}を利用してｆ^{（ｍ，０）}を更新し、そのレベルにおける副写像の決定を終了する。

図１６は、あるｍとｓについてλを変えながら求められたｆ^{（ｍ，ｓ）}（λ＝ｉΔλ）（ｉ＝０，１，…）に対応するエネルギーＣ^{（ｍ，ｓ）} _ｆの挙動を示す図である。［１．４］で述べたとおり、λが増加すると通常Ｃ^{（ｍ，ｓ）} _ｆは減少する。しかし、λが最適値を超えるとＣ^{（ｍ，ｓ）} _ｆは増加に転じる。そこで本前提技術ではＣ^{（ｍ，ｓ）} _ｆが極小値をとるときのλをλ_ｏｐｔと決める。同図のようにλ＞λ_ｏｐｔの範囲で再度Ｃ^{（ｍ，ｓ）} _ｆが小さくなっていっても、その時点ではすでに写像がくずれていて意味をなさないため、最初の極小点に注目すればよい。λ_ｏｐｔは副写像ごとに独立して決めていき、最後にｆ^（ｎ）についてもひとつ定まる。

一方、図１７は、ηを変えながら求められたｆ^（ｎ）（η＝ｉΔη）（ｉ＝０，１，…）に対応するエネルギーＣ^（ｎ） _ｆの挙動を示す図である。ここでもηが増加すると通常Ｃ^（ｎ） _ｆは減少するが、ηが最適値を超えるとＣ^（ｎ） _ｆは増加に転じる。そこでＣ^（ｎ） _ｆが極小値をとるときのηをη_ｏｐｔと決める。図１７は図４の横軸のゼロ付近を拡大した図と考えてよい。η_ｏｐｔが決まればｆ^（ｎ）を最終決定することができる。

以上、本前提技術によれば種々のメリットが得られる。まずエッジを検出する必要がないため、エッジ検出タイプの従来技術の課題を解消できる。また、画像に含まれるオブジェクトに対する先験的な知識も不要であり、対応点の自動検出が実現する。特異点フィルタによれば、解像度の粗いレベルでも特異点の輝度や位置を維持することができ、オブジェクト認識、特徴抽出、画像マッチングに極めて有利である。その結果、人手作業を大幅に軽減する画像処理システムの構築が可能となる。

なお、本前提技術について次のような変形技術も考えられる。
（１）前提技術では始点階層画像と終点階層画像の間でマッチングをとる際にパラメータの自動決定を行ったが、この方法は階層画像間ではなく、通常の２枚の画像間のマッチングをとる場合全般に利用できる。

たとえば２枚の画像間で、画素の輝度の差に関するエネルギーＥ_０と画素の位置的なずれに関するエネルギーＥ_１のふたつを評価式とし、これらの線形和Ｅ_ｔｏｔ＝αＥ_０＋Ｅ_１を総合評価式とする。この総合評価式の極値付近に注目してαを自動決定する。つまり、いろいろなαについてＥ_ｔｏｔが最小になるような写像を求める。それらの写像のうち、αに関してＥ_１が極小値をとるときのαを最適パラメータと決める。そのパラメータに対応する写像を最終的に両画像間の最適マッチングとみなす。

これ以外にも評価式の設定にはいろいろな方法があり、例えば１／Ｅ_１と１／Ｅ_２のように、評価結果が良好なほど大きな値をとるものを採用してもよい。総合評価式も必ずしも線形和である必要はなく、ｎ乗和（ｎ＝２、１／２、−１、−２など）、多項式、任意の関数などを適宜選択すればよい。

パラメータも、αのみ、前提技術のごとくηとλのふたつの場合、それ以上の場合など、いずれでもよい。パラメータが３以上の場合はひとつずつ変化させて決めていく。

（２）本前提技術では、総合評価式の値が最小になるよう写像を決めた後、総合評価式を構成するひとつの評価式であるＣ^{（ｍ，ｓ）} _ｆが極小になる点を検出してパラメータを決定した。しかし、こうした二段回処理の代わりに、状況によっては単に総合評価式の最小値が最小になるようにパラメータを決めても効果的である。その場合、例えばαＥ_０＋βＥ_１を総合評価式とし、α＋β＝１なる拘束条件を設けて各評価式を平等に扱うなどの措置を講じてもよい。パラメータの自動決定の本質は、エネルギーが最小になるようにパラメータを決めていく点にあるからである。

（３）前提技術では各解像度レベルで４種類の特異点に関する４種類の副画像を生成した。しかし、当然４種類のうち１、２、３種類を選択的に用いてもよい。例えば、画像中に明るい点がひとつだけ存在する状態であれば、極大点に関するｆ^{（ｍ，３）}だけで階層画像を生成しても相応の効果が得られるはずである。その場合、同一レベルで異なる副写像は不要になるため、ｓに関する計算量が減る効果がある。

（４）本前提技術では特異点フィルタによってレベルがひとつ進むと画素が１／４になった。例えば３×３で１ブロックとし、その中で特異点を探す構成も可能であり、その場合、レベルがひとつ進むと画素は１／９になる。

（５）始点画像と終点画像がカラーの場合、それらをまず白黒画像に変換し、写像を計算する。その結果求められた写像を用いて始点のカラー画像を変換する。それ以外の方法として、ＲＧＢの各成分について副写像を計算してもよい。

［画像符号化技術］
以上の前提技術を利用した画像符号化技術を説明する。

図１８は、キーフレームである第１画像Ｉ１、第２画像Ｉ２を示し、それらの間で、ある画素ｐ_１（ｘ_１，ｙ_１）とｐ_２（ｘ_２，ｙ_２）が対応している。これらの対応は前提技術で求められている。

図１９は、第１画像Ｉ１上にメッシュを切り、そのメッシュを構成するポリゴンの第２画像Ｉ２上の対応位置を示す。いま第１画像Ｉ１上で注目するポリゴンＲ１は４個の格子点Ａ、Ｂ、Ｃ、Ｄによって決まっている。このポリゴンＲ１を「起点ポリゴン」と名付ける。これら４個の格子点Ａ、Ｂ、Ｃ、Ｄは、図１８に示したごとく、それぞれ第２画像Ｉ２上に対応する点Ａ’、Ｂ’、Ｃ’、Ｄ’を有し、これらの点で形成されるポリゴンＲ２を「終点ポリゴン」と名付ける。起点ポリゴンは一般に長方形であるが、終点ポリゴンは一般に四辺形である。いずれにせよ、この実施の形態では、画素単位で第１画像Ｉ１と第２画像Ｉ２の対応関係を記述せず、起点ポリゴンの格子点について、その対応画素を記述する。その記述は対応点ファイルに書き込まれる。格子点に注目することにより、対応点ファイルの容量を非常に小さくすることができる。

対応点ファイルは第１画像Ｉ１と第２画像Ｉ２の中間画像を生成するために利用される。この点は前提技術で述べたごとく、対応点どうしの位置を補間することにより、任意の時間的位置の中間画像を生成できる。したがって、第１画像Ｉ１、第２画像Ｉ２、および対応点ファイルを保存しておくことで、それに２つの画像間のモーフィングや滑らかな動画を生成することができる。このため、動画の圧縮効果が得られる。

図２０は対応点ファイルから格子点以外の点に関する対応関係を計算する方法を示す。対応点ファイルには格子点に関する情報しかないので、ポリゴン内部の点について対応情報を別途計算する必要がある。図２０では、図１９の起点ポリゴンＲ１の下半分に当たる三角形ＡＢＣと、同様に終点ポリゴンＲ２の下半分にあたる三角形Ａ’Ｂ’Ｃ’との対応を示す。いま、起点ポリゴン側の三角形ＡＢＣ内部の点Ｑが、線分ＡＣをｔ：（１−ｔ）に内分し、その内分点と点Ｂの間をｓ：（１−ｓ）に内分する位置にあったとする。この点Ｑの終点ポリゴン側の三角形Ａ’Ｂ’Ｃ’における対応点Ｑ’は、線分Ａ’Ｃ’をｔ：（１−ｔ）に内分し、その内分点と点Ｂ’の間をｓ：（１−ｓ）に内分する位置にあると考えればよい。すなわち、起点ポリゴンを三角形に分割し、その三角形に関するベクトルの内分の形式にて終点ポリゴン内部の点を求めればよい。ベクトル斜体で示せば、
ＢＱ＝（１−ｓ）｛（１−ｔ）ＢＡ＋ｔＢＣ｝
であり、したがって、
Ｂ’Ｑ’＝（１−ｓ）｛（１−ｔ）Ｂ’Ａ’＋ｔＢ’Ｃ’｝
当然ながら、同様の処理を起点ポリゴンＲ１の上半分に当たる三角形ＡＣＤと、同様に終点ポリゴンＲ２の上半分にあたる三角形Ａ’Ｃ’Ｄ’との間についてもなすとする。

図２１は、以上の処理手順を示す。まず図１９のごとく、第１画像Ｉ１上に取られた格子点に関するマッチング結果を取得する（Ｓ１０）。このとき、前提技術の画素単位のマッチングを実行し、その結果の中から格子点に当たる部分を抽出すればよい。ただし、前提技術を用いずに他のマッチング技術、例えばオプティカルフローやブロックマッチングをもとに格子点に関するマッチング結果を特定してもよい。

つづいて、図１９の右側のごとく、第２画像Ｉ２上に終点ポリゴンを定義する（Ｓ１２）。以上で対応点ファイルが生成できるので、このファイルに第１画像Ｉ１、第２画像Ｉ２を識別するための情報を盛り込んで出力する（Ｓ１４）。ふたつの画像および対応点ファイルは、任意の記録装置または媒体に保持され、または直接ネットワークや放送波に乗せて伝送されればよい。

図２２は、対応点ファイルを用いて中間画像を生成する手順を示す。まず、第１画像Ｉ１、第２画像Ｉ２が読み込まれ（Ｓ２０）、対応点ファイルが読み込まれる（Ｓ２２）。つづいて、起点ポリゴン内の点と終点ポリゴン内の点の対応関係が図２０の方法によって算出される（Ｓ２４）。この時点で、画像内のすべての画素に関する対応関係を取得することができる。したがって、前提技術で述べたごとく、互いに対応し合う点の座標と色をｕ：（１−ｕ）で内分すれば、第１画像Ｉ１と第２画像Ｉ２の間を時間的に（１−ｕ）：ｕで内分する位置における中間画像を生成することができる（Ｓ２６）。なお、内挿補間だけでなく、外挿補間をしてもよい。

図２３は以上の処理を行う画像処理装置１０の構成を示す。この装置１０は符号化側と復号側を一体に描いており、実際には符号化は主に同図の画像入力部１２から対応点ファイル保持部１６に至る構成、復号は主に対応点ファイル保持部１６から表示部２０に至る構成によってなされる。

画像処理装置１０は、外部の記憶装置や撮影カメラ等から第１画像Ｉ１、第２画像Ｉ２を取得する画像入力部１２と、それらの画像に前提技術その他の技術によってマッチング計算を施すマッチングプロセッサ１４と、それによって生成された対応点ファイルＦを格納する対応点ファイル保持部１６と、第１画像Ｉ１および第２画像Ｉ２から中間画像を生成する中間画像生成部１８と、第１画像Ｉ１、第２画像Ｉ２および中間画像をタイミング調整しながらもとの動画に近い映像として表示する表示部２０を含む。また、通信部２２は、外部からの要望にしたがい、第１画像Ｉ１、第２画像Ｉ２および対応点ファイルＦをネットワークその他の伝送インフラへ送出する。なお、マッチングプロセッサ１４には、メッシュの大きさや格子点の位置などを示すメッシュ情報が入力されている。

以上の構成により、画像入力部１２に入力された第１画像Ｉ１と第２画像Ｉ２はマッチングプロセッサ１４へ送られる。マッチングプロセッサ１４は、それらの画像間で画素単位のマッチング計算を行う。マッチングプロセッサ１４はメッシュ情報をもとに対応点ファイルＦを生成し、対応点ファイル保持部１６へ出力する。

中間画像生成部１８は、ユーザの求めに応じ、またはその他の要因で対応点ファイルＦを読み出し、中間画像を生成する。この中間画像は表示部２０へ送られ、そこで画像出力の時間調整が行われ、動画またはモーフィング画像が表示される。この動作からもわかるとおり、中間画像生成部１８と表示部２０は、本装置１０とは別構成のリモート端末側にあってもよく、その場合、その端末が第１画像Ｉ１、第２画像Ｉ２、対応点ファイルＦという比較的軽いデータを受け、自主的に動画を再生できる。

通信部２２はそのための構成であり、ここではすでにリモート端末がネットワークの先で待っていることを想定している。すなわち、通信部２２は第１画像Ｉ１、第２画像Ｉ２、対応点ファイルＦをネットワークや放送波に乗せて送り出し、リモート端末側で動画の表示が行われる。もちろんリモート端末は、表示ではなく、ストレージを目的としてもよい。なお本装置は、ネットワーク等の外部から通信部２２を介して第１画像Ｉ１、第２画像Ｉ２およびそれらの対応点ファイルを入力し、これらを中間画像生成部１８に渡して補間計算をし、中間画像を生成する用途もある。図２３にはそのためのデータの経路Ｐが記述されている。

以上説明した画像符号化技術の処理内容について実験を行ったところ、第１、第２画像として、例えば２５６×２５６程度の大きさを採用し、格子点を縦横１０〜数十画素おき程度に設定することにより、きわめて良好なモーフィングまたは動画圧縮効果が得られた。対応点ファイルの大きさは数キロから１０キロバイト程度であり、画質の高さとデータ量の小ささが実現できることが確認できた。

［本発明の実施の形態］
本発明の実施の形態について説明する前に、実施の形態の概要について説明する。本発明の典型的な実施の形態は、対象物を撮影した複数のキーフレーム間の対応点における画素値の経時変化を検出することで、対象物の属性における変化の特性（以下、「変化特性」とも呼ぶ。）を推定する画像処理装置である。対象物の属性とは、圧力や温度等の物理量でもよく、対応点の位置情報でもよく、また画素値そのものでもよい。

次に、画像マッチングにより対応点を抽出する例を示し、この対応点の画素値の経時変化を推定する例を示す。この例における対象物は絵画であり、変化特性を推定する対象物の属性は画素値である。例えば、同一の絵画を異なる時点で撮影したとする。この場合、それぞれの撮影の間で時間が経過することにより、絵画に色落ちが発生することがある。その結果、それぞれの撮影にかかるキーフレームには画素値が一部異なる絵画が撮影される。

図２４は、山を描いた絵画を異なる時点で撮影した３つの画像の例を示す。同図では、キーフレームである第１画像Ｉ１、第２画像Ｉ２、第３画像Ｉ３を示し、Ｐ１とＰ２とＰ３は、各画像の画素であり、同一の山における同じ位置を示している。なお、各画像は、Ｉ１、Ｉ２、Ｉ３の順に撮影されたものとする。各画素における（Ｒ，Ｇ，Ｂ１）等の表示は、各画素の画素値の例としてＲＧＢ値を示したものである。この図の例では、青にかかるＲＧＢ値が変化しており、各画素におけるＢの値の大小は、Ｂ１＞Ｂ２＞Ｂ３とする。

図２５は、図２４の画像に対して画像マッチングが実行された例を示す。同図では、画像マッチングにより、同一の絵画における同じ位置を示す画素Ｐ１とＰ２とＰ３の集合として対応点群Ｐを示している。画像マッチング技術を利用することで、キーフレーム間で対象物が存在する位置にずれがある場合でも、それぞれのキーフレームにおける対応し合う位置を示す対応点群を検出できる。なお、本明細書の以下において、各画像における対応点群に対応する画素、上の例では画素Ｐ１等に相当する点を「対応点」と呼ぶことにする。対応点は、同一の対象物における同一の位置の点には限られず、異なる対象物の対応する位置の点であってもよい。異なる対象物であっても、前提技術の画像マッチング技術により、対応点を検出できる。

図２６は、図２４の各画素の値の変化を時系列で示す。同図の横軸は撮影日時を示しており、Ｐ１はＸ１、Ｐ２はＸ２、Ｐ３はＸ３とする。同図の縦軸は各画素の画素値をＲＧＢ値で表したときのＢの値を示している。この状態から、これら３点の近似曲線１２２を求めることで、画素値をＲＧＢで表したときのこの対応点群におけるＢの値の変化特性を推定できる。さらにその変化特性もとに、例えば、Ｘ４の時点ではこの対応点群におけるＢの値はＢ４であると予測できる。

この例では、画像の中の１つの対応点群における画素値の１要素に注目して説明したが、画素値の各要素において変化特性を同様に推定することで、その対応点群における画素値について将来の状態を予測できる。さらに、他の対応点群、つまり対象物上の他の位置に存在する対応点群についても同様に画素値の変化特性を推定することで、対象物全体における画素値について将来の状態を予測できる。以下、実施の形態を説明する。

図２７は、本発明の実施の形態にかかる画像処理装置の構成例を示す機能ブロック図である。画像処理装置１００は、画像入力部１２と、マッチングプロセッサ１４と、対応点ファイル保持部１６と、変化検出部１０２と、変化特性推定部１０４と、画像生成部１０６と、条件取得部１０８とを備える。これらの構成は、ハードウェアコンポーネントでいえば、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。また、先に説明した図２３と同様の部材については、同じ符号を割り振っている。既に説明済みの部材については、以下詳細な説明は省略する。

変化検出部１０２は、マッチングプロセッサ１４により検出された対応点群の情報を、対応点ファイル保持部１６より取得する。一方で、画像入力部１２に入力された画像情報、つまり複数のキーフレームを取得する。次に、変化検出部１０２は、対応点ファイルを参照して、複数のキーフレームから特定の対応点群にかかる対応点の画素値を取得する。最後に、各対応点の画素値の経時変化を検出する。

先の図２４、図２６を用いて具体例を示す。変化検出部１０２は、例えば図２４において、対応点ファイルを参照して、各キーフレームのＰ１とＰ２とＰ３とが対応点であると判定し、各キーフレームから撮影日時と各対応点の画素値、この例では特にＲＧＢ値を取得する。最後に、Ｐ１、Ｐ２、Ｐ３のＲＧＢ値、この例では特にＢの値を図２６で示すような仮想的な２次元空間上にマップする。なお、複数の要素を一度にマップする場合には３次元以上の仮想空間上にマップしてもよい。また、各画素の要素をＣＳＶ（Comma Separated Values）等の表形式にマップしてもよい。

変化特性推定部１０４は、変化検出部１０２により検出された変化に基づき、特定の対応点群が有する変化特性を推定する。例えば、仮想的な２次元空間上にマップされた画素値、例えばＲＧＢ値をもとに回帰分析し、近似曲線を算出する。回帰分析で用いる推計方法は、既知の推計方法でよく、例えば最小二乗法であってもよい。これにより、図２６の近似曲線１２２で示すような近似曲線を求めて変化特性を推定できる。

また、変化特性推定部１０４は、対象物の変化の観測日時および観測間隔に基づき、さらに、変化速度や加速度を推定してもよい。変化速度を推定することにより、対応点の画素値が所定の値になる日時を推定できる。また、変化の加速度を推定することにより、対応点の画素値の現実の変化により即した推定が可能になり、所定時点における画素値を推定する精度を高められる。絵画の色落ちの例における具体的な効果として、絵画の修復のタイミングを予測する精度を向上できる。

なお、変化特性推定部１０４は、推定した変化特性そのものを、ユーザや他システム等に出力してもよい。ユーザや他システムは、取得した変化特性をもとに、画像の対象物、例えば絵画等の時間経過に伴う変化を推測できる。

画像生成部１０６は、変化特性推定部１０４により推定された変化特性に基づいて対応点群の画素値に対する補間処理を実行し、所定の時点における対応点の画素値を推測することにより、所定の時点における対象物の画像を生成する。補間処理とは、内挿補間および外挿補間を含む。例えば、ＲＧＢ値の変化に着目して将来の画像を外挿補間する場合、まず、特定の対応点群におけるＲＧＢ値の各要素について変化特性を推定することで、その対応点群におけるＲＧＢ値について将来の状態を生成できる。さらに、他の対応点群についても同様にＲＧＢ値の変化特性を推定することで、対象物全体の画素それぞれについて将来時点の状態が予測できる。

条件取得部１０８は、対応点群の画素値に関連付けられている対象物の属性における変化の特性を変化特性推定部１０４が推定する際の付加条件を取得する。付加条件とは、例えば、特性の有効な範囲を定める制約条件でもよく、一旦推定した変化特性を補正する補正情報であってもよい。制約条件の例として、対応点群の変化特性における上限値や下限値等がある。下限値の場合、例えば、特定の対応点群のＲＧＢ値に対する下限値を取得する。このとき、変化特性推定部１０４は、条件取得部１０８により取得された付加条件、この例ではＲＧＢ値の下限値と、変化検出部１０２により検出された変化とに基づき、対応点群が有する変化特性を推定する。

図２８は、図２６に下限値が設定された例を示す。変化特性推定部１０４は、撮影日時がＸ５になるまでは近似曲線１２２を対応点群の変化特性とし、撮影日時がＸ５以降については下限値１２４を変化特性とする。したがって、画像生成部１０６が将来画像を予測する際に、予測する日時の設定がＸ４のとき、Ｂの値は下限値１２４の値であると予測する。これにより、画像処理装置１００が変化特性を推定する際に、人間の有する知見を反映できる。この知見の例を以下に示す。
１．前述した絵画の色落ちを予測する例の場合、ＲＧＢ値の特定の値が下限となるという知見。
２．後述する地球の砂漠化の進行を予測する例の場合、陸地が緑から赤茶色に変化し、それ以上の色の変化はないという知見。

なお、条件取得部１０８は、ユーザによる付加条件の設定を受け付けてもよく、データベース等の他システムにおける記憶装置を参照して付加条件を取得してもよい。また、ＬＡＮ、ＷＡＮ、インターネット等の通信ネットワークを介して付加条件を取得してもよい。通信ネットワークを介して付加条件を取得する例としては、所定の対象物を定期的に観測し、その対象物の属性における変化特性を蓄積している気象台や博物館等の基地から、蓄積された変化特性を付加条件として通信ネットワークを介して取得する。これにより、人間が既に有する知見を付加条件として広く収集でき、変化特性の推定の精度を向上できる。

ここまでは、特定の対応点群における時間軸での変化特性の推定について説明した。画像処理装置１００は、各対応点群の相互作用による空間軸での変化特性についても推定してよい。例えば、１つの対応点群が変化すれば、所定の時間後には周辺の対応点群も同様に変化するといった変化特性である。このとき、変化特性推定部１０４は、各対応点群の時間軸での変化特性を推定した後で、各対応点群の位置に基づき対応点群の相互作用について推定する。

図２９は、時間軸での変化特性から空間軸での変化特性を推定する例を示す。近似曲線１２２は、図２４における対応点Ｐ１、Ｐ２、Ｐ３の集合である対応点群Ｐの変化特性を示し、近似曲線１２６は、図２４には図示しない対応点Ｑ１、Ｑ２、Ｑ３の集合である対応点群Ｑの変化特性を示す。対象物上の位置において対応点群Ｑが対応点群Ｐの隣に存在する場合、変化特性推定部１０４は、対応点群Ｐの変化により周囲も変化するという空間軸での変化特性を推定できる。さらに、３以上の対応点群の時間軸での変化特性を比較することで、変化特性推定部１０４は、各対応点群の空間軸での変化の広がりの加速度についても推定できる。

さらに空間軸での変化特性の推定について、絵画の色落ちを例にしてさらに具体例を示す。１）１つの対応点群の画素値に変化があった場合、変化特性推定部１０４は、他の全ての対応点群にも同様の変化があるとして空間軸での変化特性を推定してもよい。２）絵画の右側に位置する対応点群の画素値には変化があるが、左側に位置する対応点群の画素値には変化がない場合、変化特性推定部１０４は、右側に位置する対応点群は画素値が変化し、左側に位置する対応点群は画素値が変化しないものとして空間軸での変化特性を推定してもよい。なお、絵画の右側には日光が当たり、左側には当たらないということを、人間がわかっている場合には、右側の対応点群のみに画素値の変化があるという変化特性を人手で設定してもよい。

また、後述する山の紅葉の見頃予想の場合、３）人間は経験的に山頂部分から麓方向に紅葉が広がることがわかっているので、例えば、山頂部分から下方向に徐々に赤に変化していく空間軸での変化特性を人手で設定してもよい。

本実施の形態によれば、画像処理装置１００は、画像の対象物における画素それぞれの時間軸での変化特性を推定し、さらに、画素同士の相互作用を示す空間軸での変化特性を推定する。ユーザは、推定された変化特性を取得することで、個々の画素についてはもちろん対象物全体の変化特性についての知見も得られる。また、画像処理装置１００は、変化特性を加味して、所定の将来時点の対象物の画像を予測し出力する。これによりユーザは、対象物の将来像を具体的な姿で直観的に認識できる。

また、本実施の形態によれば、画像処理装置１００は、対応点群の画素値に関連付けられている対象物の属性における変化の特性を推定する上での付加条件を、ユーザや外部システム等から取得し、その付加条件を加味した上で、実際の対応点の画素値の変化に基づき変化特性を推定できる。したがって、ユーザの経験等に基づき妥当と考える変化の上限値や下限値等を反映することができ、より現実に即した変化特性の推定を実現する。言い換えれば、ユーザは、画像処理装置１００を利用することで、対象物の現実の変化を反映した変化特性を自動で取得でき、また、自らの知見と現実の変化の両方を反映した変化特性も取得できる。

また、上記の例では、過去における対応点群の画素値の変化から、将来の画素値を予測したが、対応点群の変化特性を推定することで、過去の画素値についても推測できる。例えば、図２６の近似曲線１２２においては、Ｘ１の時点より前の画像におけるＢの値も推測できる。言い換えれば、本実施の形態によれば、対応点の過去の画素値および対象物の過去の具体的な姿についても推測できる。絵画の画像を推定する場合、完成当時の絵画の状態を画像で確認できるとともに、その画像を絵画修復における指針とすることもできる。

前述した実施の形態にかかる画像処理装置１００を利用した具体例を以下さらに示す。

１．一部既述した絵画の色落ちの予測。芸術的に価値が高い古い絵画は色落ちの進行が問題となっており、色落ちがひどい場合には修復に多大な費用がかかり、最悪の場合には修復が不可能となり、人類の財産が失われることもある。画像処理装置１００を利用して、定期的に撮影された絵画の画像をもとに、対応点群の画素値から時間軸・空間軸の変化特性を推定することで、将来時点での色落ちの進行を予測できる。例えば、長期間に亘って色落ちが進行しないと予測できれば、現時点で急いで修復する必要はないと判断できる。また、推定した変化特性を過去の時点に当てはめることで完成当時の絵画の過去像についても推測できる。また、本実施の形態によれば、絵画の撮影時には固定した位置から絵画を撮影する必要はない。つまり、定点観測は不要であり、人手によるいわゆるスナップ写真でも、前提技術の画像マッチングにより対応点群の精度の高い検出を実現する。

２．地球環境変動の予測。地球環境変動は全人類にとっての大問題である。地球環境変動の一つとして砂漠化がある。例えば、衛星写真において、緑であった部分が赤茶色に変化していれば砂漠化が進行したと考えられる。画像処理装置１００を利用し、定期的に地球を撮影した衛星写真をもとに、対応点群の画素値から時間軸・空間軸の変化特性を推定することで、砂漠化の進行予測ができる。なお、砂漠化に限らず、地球を撮影した複数の画像における対応点の画素値の変化として検出可能な、その他の地球環境変動についても同様に予測できる。

３．医療画像による診断の支援。医療の現場においては、的確な診断が常に求められ、そのために病気の進行を予測する技術が求められている。画像処理装置１００を利用し、ＣＴやＭＲＩ等による患部の撮影により得られた病巣の画像をもとに、対応点群の画素値から時間軸・空間軸の変化特性を推定する。これにより、将来時点での病巣の拡大もしくは縮小を予測し、また、どの部位にどのような治療を行うかの判断材料を医師に提供できる。なお、美容整形や医療痩身においても同様に応用可能であり、例えば医療痩身の場合は、人体における腹部の脂肪を撮影した画像をもとに変化特性を推定して、医療痩身の効果予測を支援する。

４．桜および紅葉の見頃の予測。桜および紅葉の見頃の予測は、人間が有する経験をもとに行われている。しかし、画像処理装置１００により、定期的に撮影された桜の画像をもとに、対応点群の画素値から時間軸・空間軸の変化特性を推定することで、見頃を予測する上での指針を提供することもできる。絵画の色落ちの進行予測に応用する例では、主に、日時を指定しその日時の絵画の画像を得たが、この例の場合には、見頃の時期の画素値、例えばＲＧＢ値は人間の経験上把握できるので、この人間の知見に基づくＲＧＢ値から逆に見頃の時期を予測できる。

前述の具体例に、前提技術の画像マッチングを適用した場合について補足する。絵画の色落ちの予測については、非定点撮影された複数の画像をもとに、撮影の対象物上において位置的に対応し合う点、この場合は対象物上のほぼ同じ位置の点を検出できる。一方で、地球環境変動の予測および医療画像による診断の支援については、変化している領域の端部における対応し合う点を検出できる。例えば、砂漠化により赤茶色となった領域の端部であり、また、人体における病巣の領域の端部である。この場合、変化特性推定部１０４が変化特性を推定する対象物の属性は、例えば座標等の位置情報であり、変化している領域の端部の位置情報の変化特性を推定することで、その領域の形状の変化を推測できる。

また、前提技術の画像マッチングは、画像から経時変化を検出する対象が、所定の対象物に紐づく圧力や温度、応力、風速等の物理量であり、これらの物理量が科学的に可視化されている場合、本実施の形態の画像処理装置において特に好適である。対象物に紐づく物理量が画素値として可視化されていることで、画像処理装置１００は、その経時変化に基づき対象物に紐づく物理量またはその他の属性の変化特性を推定できる。

また、前提技術の画像マッチングを利用することで、複数の画像から比較的正確に対応点群を検出できる。したがって、対象物もしくは撮影側の動きによって各画像の対応点が移動した場合であっても対応点群を検出できる。精度よく検出された対応点群に基づくことで、本実施の形態の画像処理装置が出力する変化特性や生成する画像の精度も高まる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。この実施の形態においても、特願２００１−２１０９８号同様の改良、変形技術がある。本実施の形態でもマッチングに前提技術を利用してもよいし、利用しなくてもよいことは、いうまでもない。

図１（ａ）とは図１（ｂ）は、ふたりの人物の顔に平均化フィルタを施して得られる画像、図１（ｃ）と図１（ｄ）は、ふたりの人物の顔に関して前提技術で求められるｐ^{（５，０）}の画像、図１（ｅ）と図１（ｆ）は、ふたりの人物の顔に関して前提技術で求められるｐ^{（５，１）}の画像、図１（ｇ）と図１（ｈ）は、ふたりの人物の顔に関して前提技術で求められるｐ^{（５，２）}の画像、図１（ｉ）と図１（ｊ）は、ふたりの人物の顔に関して前提技術で求められるｐ^{（５，３）}の画像をそれぞれディスプレイ上に表示した中間調画像の写真である。 図２（Ｒ）はもとの四辺形を示す図、図２（Ａ）、図２（Ｂ）、図２（Ｃ）、図２（Ｄ）、図２（Ｅ）はそれぞれ相続四辺形を示す図である。 始点画像と終点画像の関係、および第ｍレベルと第ｍ−１レベルの関係を相続四辺形を用いて示す図である。 パラメータηとエネルギーＣ_ｆの関係を示す図である。 図５（ａ）、図５（ｂ）は、ある点に関する写像が全単射条件を満たすか否かを外積計算から求める様子を示す図である。 前提技術の全体手順を示すフローチャートである。 図６のＳ１の詳細を示すフローチャートである。 図７のＳ１０の詳細を示すフローチャートである。 第ｍレベルの画像の一部と、第ｍ−１レベルの画像の一部の対応関係を示す図である。 前提技術で生成された始点階層画像を示す図である。 図６のＳ２に進む前に、マッチング評価の準備の手順を示す図である。 図６のＳ２の詳細を示すフローチャートである。 第０レベルにおいて副写像を決定する様子を示す図である。 第１レベルにおいて副写像を決定する様子を示す図である。 図１２のＳ２１の詳細を示すフローチャートである。 あるｆ^{（ｍ，ｓ）}についてλを変えながら求められたｆ^{（ｍ，ｓ）}（λ＝ｉΔλ）に対応するエネルギーＣ^{（ｍ，ｓ）} _ｆの挙動を示す図である。 ηを変えながら求められたｆ^（ｎ）（η＝ｉΔη）（ｉ＝０，１，…）に対応するエネルギーＣ^（ｎ） _ｆの挙動を示す図である。 実施の形態１において、第１画像と第２画像間である画素の対応する様子を示す図である。 第１画像上にとられた起点ポリゴンと第２画像上にとられた終点ポリゴンの対応関係を示す図である。 起点ポリゴン内の点に対応する終点ポリゴン内の点を求める手順を示す図である。 実施の形態１で対応点ファイルを生成する手順を示すフローチャートである。 実施の形態１で、対応点ファイルをもとに中間画像を生成する手順を示すフローチャートである。 画像符号化技術にかかる画像処理装置の構成図である。 山を描いた絵画を異なる時点で撮影した３つの画像の例を示す図である。 図２４の画像に対して画像マッチングが実行された例を示す図である。 図２４の各画素の値の変化を時系列で示す図である。 本発明の実施の形態にかかる画像処理装置の構成例を示す機能ブロック図である。 図２６に下限値が設定されたことを示す図である。 時間軸での変化特性から空間軸での変化特性を推定する例を示す図である。

符号の説明

１０，１００ 画像処理装置、１２ 画像入力部、１４ マッチングプロセッサ、１６ 対応点ファイル保持部、１８ 中間画像生成部、２０ 表示部、２２ 通信部、１０２ 変化検出部、１０４ 変化特性推定部、１０６ 画像生成部、１０８ 条件取得部、１２２，１２６ 近似曲線、１２４ 下限値。

Claims (5)

1. 所定の対象物を異なる時点で撮影したキーフレーム間の対応点を画像マッチングによって検出するマッチングプロセッサと、
   前記対応点の時系列での集合である対応点群における画素値の経時変化を検出する変化検出部と、
   前記変化検出部により検出された経時変化に基づき、前記対応点群の画素値に関連付けられている前記対象物の属性における変化の特性を推定する変化特性推定部と、
   を備えることを特徴とする画像処理装置。
2. 所定の対象物を異なる時点で撮影したキーフレーム間の対応点を画像マッチングによって検出するマッチングプロセッサと、
   前記対応点の時系列での集合である対応点群における画素値の経時変化を検出する変化検出部と、
   前記対応点群の画素値に関連付けられている前記対象物の属性における変化の特性を推定する際の付加条件を取得する条件取得部と、
   前記変化検出部により検出された経時変化と、前記条件取得部により取得された付加条件とに基づき、前記特性を推定する変化特性推定部と、
   を備えることを特徴とする画像処理装置。
3. 前記変化特性推定部により推定された前記特性に基づいて前記対応点群の画素値に対する補間処理を実行し、所定の時点における対応点の画素値を推測することにより、所定の時点における前記対象物の画像を生成する画像生成部をさらに備えることを特徴とする請求項１または２に記載の画像処理装置。
4. 所定の対象物を異なる時点で撮影したキーフレーム間の対応点を画像マッチングによって検出するステップと、
   前記対応点の時系列での集合である対応点群における画素値の経時変化を検出するステップと、
   検出された前記経時変化に基づき、前記対応点群の画素値に関連付けられている前記対象物の属性における変化の特性を推定するステップと、
   を備えることを特徴とする画像処理方法。
5. 所定の対象物を異なる時点で撮影したキーフレーム間の対応点を画像マッチングによって検出するステップと、
   前記対応点の時系列での集合である対応点群における画素値の経時変化を検出するステップと、
   前記対応点群の画素値に関連付けられている前記対象物の属性における変化の特性を推定する際の付加条件を取得するステップと、
   検出された前記経時変化と、取得された前記付加条件とに基づき、前記特性を推定するステップと、
   を備えることを特徴とする画像処理方法。

Images