JP6043706B2

JP6043706B2 - マッチング処理装置およびマッチング方法

Info

Publication number: JP6043706B2
Application number: JP2013198415A
Authority: JP
Inventors: 英朋境野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2013-09-25
Filing date: 2013-09-25
Publication date: 2016-12-14
Anticipated expiration: 2033-09-25
Also published as: JP2015064761A

Description

本発明は、画像データをマッチングするマッチング処理装置およびマッチング処理方法に関する。

画像データのマッチング方法として、画像の輝度に関するヒストグラムを比較し、その比較の結果から画像データを検索する方法が知られている（例えば、非特許文献１）。画像のマッチング処理は、例えば構造物などの劣化状況を評価する手法として利用されている。

S. Lazebnik, C. Schmid, and J. Ponce, "Beyond bags of features: spatial pyramid matching for recognizing natural scene categories," IEEE Computer Vision and Pattern Recognition, 2006.

従来のマッチング方法では、輝度に関するヒストグラムの比較が行われるものの、異なる画像であったとしても輝度のヒストグラム分布が類似する場合があるため、そのような場合には、マッチングの精度が低下するという問題があった。

上述した観点に鑑み、本発明の目的は、輝度に関するヒストグラムではなく、解像度の異なる複数の画像の各々における低次元の統計量を比較し、この比較結果に基づいて画像のマッチングを行うマッチング処理装置およびマッチング方法を提供することにある。

上記問題を解決するための本発明は、あらかじめ設定された画像領域に対応付けられるヒストグラム分布の低次元の統計量の総和からなり、かつ前記低次元の統計量が時系列的に変化するように表した時系列モデルを蓄積するデータ蓄積部と、処理対象としてのオブジェクト画像に関して、局所的に不均一または均一に分割し、分割後の各領域ごとにヒストグラム分布を求めるとともに、前記ヒストグラム分布から前記各領域ごとの低次元の統計量を算出するデータ生成部と、前記各領域ごとの前記低次元の統計量に基づいて得られる当該低次元の統計量の総和と、前記時系列モデルの前記各領域ごとの前記時系列的な前記低次元の統計量の総和とをマッチングするマッチング部と、前記各領域ごとに対する前記マッチングの結果を視覚的に表示させる表示制御部とを含む。

上記問題を解決するための本発明は、コンピュータがマッチング処理を行う方法であって、前記コンピュータは、あらかじめ設定された画像領域に対応付けられるヒストグラム分布の低次元の統計量の総和からなり、かつ前記低次元の統計量が時系列的に変化するように表した時系列モデルを蓄積するデータ蓄積部を備え、処理対象としてのオブジェクト画像に関して、局所的に不均一または均一に分割し、分割後の各領域ごとにヒストグラム分布を求めるとともに、前記ヒストグラム分布から前記各領域ごとの低次元の統計量を算出するステップと、前記各領域ごとの前記低次元の統計量に基づいて得られる当該低次元の統計量の総和と、前記時系列モデルの前記各領域ごとの前記時系列的な前記低次元の統計量の総和とをマッチングするステップと、前記各領域ごとに対する前記マッチングの結果を視覚的に表示するステップとを含む。

本発明によれば、解像度の異なる複数の画像の各々における低次元の統計量を比較し、この比較結果に基づいて画像のマッチングを行うマッチング処理装置およびマッチング方法が実現される。

本発明の実施形態に係るマッチング処理装置の機能構成の一例を示す図である。本実施形態のマッチング処理装置の概要構成の一例を示す図である。異なる領域分割数に応じた輝度分布の例を説明するための図である。異なる領域内の画像モデルの例を説明するための図である。異なる領域内の画像モデルのマッチング処理の例を説明するための図である。画像モデルの経年変化の例を説明するための図である。マッチング処理装置の全体動作の一例を示すフローチャートである。画像の輝度および勾配の各分布の一例を説明するための図である。

図１は本実施形態に係るマッチング処理装置１の機能構成の一例を示す図である。

図１に示すように、マッチング処理装置１は、データ入力部１００、データ生成部１１０、マッチング部１２０、データ蓄積部１３０、表示制御部１４０および経年変化適用部１５０を備える。

データ入力部１００は、データ処理装置１内で処理される画像データを入力する。画像データは、マッチング対象のオブジェクト（例えば構造物）を含む。

データ生成部１１０は、画像データに関して複数の異なる分割領域における低次元の統計量（以下、単に「統計量」と略す。）を算出し、各統計量の総和に基づいて得られる画像モデルを生成する。このデータ生成部１１０の処理については、後述で詳細に説明する。

マッチング部１２０は、データ生成部１１０によって生成された画像モデルと、データ蓄積部１３０の時系列モデルとをマッチングする。後述するように、時系列モデルは、各画像領域における低次元の統計量からなるモデルである。

表示制御部１４０は、マッチング部１２０におけるマッチング結果を視覚的に表示させる。例えば、マッチング結果が一致する場合、表示制御部１４０は、一致する時系列モデルを表す画像データを視認できるように表示する。一方、マッチング結果が不一致の場合は、表示制御部１４０は、その旨を示すための情報を視認できるように表示する。

経年変化適用部１５０は、画像モデル内の画像領域における統計量を、予め設定された関数により経年変化を表す統計量に変換する。そして、経年変化適用部１５０は、変換後の統計量を用いてデータ蓄積部１３０の時系列モデルを更新する。この経年変化適用部１５０の処理については、後述で詳細に説明する。

図２は、図１に示したマッチング処理装置１の機能構成を実現するためのハードウエア上の構成例を示す図である。

図２に示すように、マッチング処理装置１は、ＣＰＵ（Central Processing Unit）１１と、メモリ１２と、表示部１３と、インターフェース１４とを含む。

ＣＰＵ１１は、各構成要素とバスで接続されて制御信号やデータの転送処理を行う。また、ＣＰＵ１１は、マッチング処理装置１全体の動作を実現するためのプログラムの実行等を行う。

メモリ１２は、ＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）により構成され、前述のデータ等を記憶する。メモリ１２は、図１に示したデータ蓄積部１３０として機能する。

表示部１３は、例えば、液晶ディスプレイ、ＥＬ(Electro-Luminescence)などのフラットパネル表示器とすることができる。

インターフェース１４は、画像データを入力するためのものであり、例えばＬＡＮ(Local Area Network)等のネットワークに接続されている。この実施形態では、ネットワークには、コンピュータシステムが接続されており、画像データは、このコンピュータシステムからネットワークを介してＣＰＵ１１へ伝送されて処理されるようになっている。

このマッチング処理装置１において、例えば画像データがカラー画像の場合、ＣＰＵ１１は、その画像に関する異なる分割領域内の輝度ヒストグラムを求め、その各輝度ヒストグラムから各領域内の統計量（例えば、輝度の平均値、分散、歪度、尖度など）に応じて、各統計量の総和からなる画像モデルを生成する。これにより、ＣＰＵ１１は、第１次〜第ｎ次モーメント量に関して定量化する。ここで、ｎは統計量の数を表す。

次に、マッチング処理装置１で実現されるカラー画像のマッチング処理の概略について、図３〜図６を参照して説明する。

図３は、異なる領域分割数に応じた各領域内の輝度ヒストグラムの例を説明するための図であって、（ａ）は４分割、（ｂ）は１６分割、（ｃ）は６４分割を示している。

図３（ａ）〜（ｃ）では、同一の画素数を持つ画像の分割数を変更して縮小処理を行う例を示している。図３（ａ）ではまず、原画像を均等に４分割し、それぞれの分割領域においてヒストグラムを求める（左列）。次に画像全体を半分にし（中列）、さらに、その半分にする縮小化処理を施す（右列）。そして、縮小化された画像内において、原画像と同様に、４分割された領域ごとに、ヒストグラムを求める。

図３（ｂ）および図３（ｃ）に示したものについても、図３（ａ）と同様の処理を実施する。このような縮小化処理によって生成した画像を多重解像度画像と呼ぶ。縮小化処理では、４点（画素）のデータの平均化処理を繰り返し、画素数を１／４に減少させる。

図３（ａ）に示すように、原画像の領域が４分割された場合、ＣＰＵ１１は、領域Ａ１，Ａ２，Ａ３，Ａ４ごとにそれぞれ輝度ヒストグラムｄ１，ｄ２，ｄ３，ｄ４を作成する。

さらに図３（ｂ）では、図３（ａ）で示した領域はさらに１６分割され、ＣＰＵ１１は、対応する領域の輝度ヒストグラムｄ１１〜ｄ１４を求める。

図３（ｃ）では、図３（ｂ）に示した領域がさらに分割されて６４分割され、ＣＰＵ１１は、対応する領域内の輝度ヒストグラムを求める。画像中のオブジェクトの細部のマッチングを行う場合、分割数を増やして輝度ヒストグラムを求めるようにするとよい。

図４は、図３と同一の画像を対象として、異なる解像度ごと、かつ分割された領域ごとに低次元の統計量を求めて各領域内の画像モデルを生成する例を示す図である。

図４（ａ）では、図３（ａ）と同一の画像を対象として、ＣＰＵ１１は、統計量Ｓ１(f1，f2，f3・・・fn），Ｓ２(f1，f2，f3・・・fn），Ｓ３(f1，f2，f3・・・fn），Ｓ４(f1，f2，f3・・・fn）を求める。

一般に、画像のＲＧＢ成分は、下記式（１）によって変換して表されることが知られている（例えば、http://home.hiroshima-u.ac.jp/tkurita/lecture/statimage.pdf を参照）。

なお、式（１）において、Ｒ：赤色成分、Ｇ：緑色成分、Ｂ：青色成分、を示す。

本実施形態のマッチング処理装置１では、ＣＰＵ１１は、上記式（１）に従った変換処理を行い、式（１）中の左辺のＲ、Ｇ、Ｂ（式（１）では、Ｒバー、Ｇバー、Ｂバー）の値を、それぞれ、対応する統計量Ｓ１〜Ｓ４の(f1，f2，f3）の値として置き換える。なお、式（１）に例示した行列の値は一例に過ぎない。

図４（ｂ）および図４（ｃ）にはそれぞれ、図３（ｂ）および図３（ｃ）と同一の画像が示してあり、ＣＰＵ１１は、図４（ｂ）および図４（ｃ）に示したものについても、図４（ａ）と同様の処理を実施する。このような処理によって各多重解像度画像の統計量が求まる。

ＣＰＵ１１は、上述した各領域の統計量の総和を求めることによってマッチング対象の画像モデルを生成する。この場合、ＣＰＵ１１は、下記式（２）によって線形和Ｆを作成する。
Ｆ＝a1×(S1+S2+S3+S4)＋a2×(S1+...+S16)＋a3×(S1+...+S64)＋・・・＋aｉ×(S1+...+SＮ)
（２）

なお、式（２）において、Ｓ１〜ＳＮ：対応する分割領域内の統計量、ａ１〜ａｉ：重み係数、を表す。

一般に、分割領域が小さいほど、すなわち、解像度が高いほどマッチングし易くなるため、上記式（２）において、重み係数ａ１〜ａｉは、解像度が高いほど、値を大きくしている。例えば、ａ１＝０．５、ａ２＝０．２５、ａ３＝０．１２５、・・・とする。なお、重み係数ａ１〜ａｉの値は、変更することができる。

このマッチング処理装置１では、上述した線形和Ｆによって与えられる画像モデルを用いて画像の対応付けが行われる。

図５は、図４と同一の画像を対象として、異なる解像度ごと、かつ分割された領域ごとの統計量を用いて画像の対応付け（類似性）を施す例を示す図である。

図５（ａ）では、図４（ａ）の左列と同一の画像を対象として、ＣＰＵ１１は、各領域内の統計量Ｓ１〜Ｓ４を含む線形和Ｆからなる画像モデルＭを、メモリ１２の時系列モデル（例えば、過去に作成された画像モデルなど）と比較し、各統計量Ｓ１〜Ｓ４が、例えば時系列モデルの各統計量Ｄ１〜Ｄ４とマッチングすると判断する。

次に図５（ｂ）では、図４（ａ）の中列と同一の多重解像度画像を対象として、ＣＰＵ１１は、生成した画像モデルの各統計量を、メモリ１２の時系列モデル（例えば、過去に作成された統計量）と比較し、画像モデルの各統計量が、上記時系列モデルとマッチングすると判断する。

さらに図５（ｃ）では、図４（ａ）の右列と同一の多重解像度画像を対象として、ＣＰＵ１１は、生成した画像モデルの各統計量を、メモリ１２の時系列モデル（例えば、過去に作成された統計量）と比較し、画像モデルの各統計量が、上記時系列モデルとマッチングすると判断する。このようにして、ＣＰＵ１１は、異なる解像度ごと、かつ分割された領域ごとに、統計量を用いて画像の対応付け（類似性）を行う。

なお、上述のマッチング処理は、パターン認識分野でよく知られているユークリッド距離、マハラノビス距離、マンハッタン距離、ミンコフスキー距離などを用いた処理を下記の技術を利用することができる

嵯峨山茂樹東京大学工学部計数工学科システム情報工学演習第二パターン空間・距離尺度・クラスタ・DP http://hil.t.u-tokyo.ac.jp/~sagayama/enshu2/Clustering+DP-2007nov.pdf

次に、このデータ処理装置１によって実行されるメモリ１２内の時系列モデルＤの経年変化処理について、図６を参照して説明する。図６は、時系列モデルＤ（ｔ）の経年変化の例を説明するための図である。図６において、横軸Ｔは時間を表す。

時系列モデルＤ（ｔ）は、経年変化により図６に示すような値をとる。すなわち、時間Ｔ＝ｔ，ｔ＋１，ｔ＋２の場合に、時系列モデルＤ（ｔ），Ｄ（ｔ＋１），Ｄ（ｔ＋２）となる。この場合、ＣＰＵ１１は、下記式（３）に従って、画像内の輝度を例えば指数関数的に低減させる。
Ｙ＝Aexp(-Bt) （３）

なお、式（３）において、Ａ：原画像の輝度、Ｂ：減衰定数、Ｙ：時間ｔにおける輝度、を示す。

上記式（３）において、ＣＰＵ１１は、時間の経過に伴って画像の輝度を低減させることになる。これは、構造物等のオブジェクトは、時間の経過とともに金属が腐食したり、塗膜や樹脂などが劣化したりするため、その経年変化がオブジェクトの輝度に与える影響を無視できなくなるからである。換言すると、実際のオブジェクトが経年変化してもマッチングの精度を高める必要があるからである。なお、経年変化を表すための式（３）の関数は一例に過ぎず、変更することもできる。

次に、このマッチング処理を実現するために実行される処理の全体について、図１〜図７を参照して説明する。図７は、マッチング処理装置１の処理例を示すフローチャートである。

図７において、マッチング処理装置１のＣＰＵ１１は、処理対象となる画像データを入力する（ステップＳ１００）。この画像データは、メモリ１２に格納される。

ここで、ＣＰＵ１１は、インターフェース１４を協働して、データ入力部１００として機能する。

ＣＰＵ１１は、ステップＳ１００で入力した画像データに関して複数の異なる分割領域における統計量（上記式（１）参照）を算出し、各統計量の総和（上記式（２）参照）に基づいて得られる画像モデルを生成する（ステップＳ１０１）。この実施形態では、ＣＰＵ１１は、例えば複数の異なる領域（例えば、４分割、１６分割、６４分割など）内の各統計量の総和からなる線形和Ｆを表す画像モデルＭを生成する（図４参照）。

ここで、ＣＰＵ１１は、データ生成部１１０として機能する。

次に、ＣＰＵ１１は、例えば図５に示したように、ステップＳ１０１で生成された画像モデルＭと、データ蓄積部１３０の時系列モデルとをマッチングする（ステップＳ１０２）。

ここで、ＣＰＵ１１は、マッチング部１２０として機能する。

なお、データ蓄積部１３０の時系列モデルは、ＣＰＵ１１により上記式（３）に従って画像内の輝度が指数関数的に低減するように設定される（図６参照）。このときのＣＰＵ１１は、経年変化適用部１５０として機能する。

ＣＰＵ１１は、ステップＳ１０２でマッチングした結果を表示部１３に視覚的に表示させる。例えば、マッチング結果が一致する場合、ＣＰＵ１１は、一致する時系列モデルを表す画像データを視認できるように表示する。一方、マッチング結果が不一致の場合は、ＣＰＵ１１は、その旨を示すための情報を視認できるように表示する。

ここで、ＣＰＵ１１は、表示制御部１４０として機能する。

以上説明したように、本実施形態のマッチング処理装置１によれば、複数の異なる分割領域における統計量を算出し、各統計量の総和に基づいて得られる画像モデルを用いてマッチングを行うので、輝度に関するヒストグラムを比較する従来の場合よりも、より高い精度で画像の類似性を評価することができる。また、統計量を用いることで、画像の類似性をより多面的に評価することが可能となる。さらに、本実施形態のマッチング処理装置１の場合、マッチング処理の高速性が実現される。

また、マッチング処理装置１では、経年変化を表す統計量に変換して時系列モデルを更新するので、例えば、経年変化により種々の構造物における金属の腐食または塗膜・樹脂などの劣化を考慮した画像の類似性の評価を行うことができる。

次に、本実施形態の変形例について説明する。

例えば、特定のオブジェクトの場合は、輝度または／および勾配の大きさが他の領域と極端に異なる（大きい、小さい）ことがあるので、その領域に対して局所的に画像の分割数を増加させて統計量を求めるようにしてもよい。そのため、例えば図８に示すように、図８（ａ）に示した画像内の画素の輝度（図８（ｂ））または勾配（図８（ｃ））の大きさに着目するようにすることが好ましい。この場合、オブジェクトの検索効率が向上する。

以上では、図３を参照して、カラー画像の場合の輝度ヒストグラムが求められる場合について説明した。しかしながら、画像データが白黒の画像であってもよい。この場合、ＣＰＵ１１は、上述した式（１）の変換処理を行うことなく、画像の輝度の大きさに基づいて各領域内の統計量を求めるようになる。

１マッチング処理装置
１００データ入力部
１１０データ生成部
１２０マッチング部
１３０データ蓄積部
１４０表示制御部
１５０経年変化適用部

Claims

あらかじめ設定された画像領域に対応付けられるヒストグラム分布の低次元の統計量の総和からなり、かつ前記低次元の統計量が時系列的に変化するように表した時系列モデルを蓄積するデータ蓄積部と、
処理対象としてのオブジェクト画像に関して、局所的に不均一または均一に分割し、分割後の各領域ごとにヒストグラム分布を求めるとともに、前記ヒストグラム分布から前記各領域ごとの低次元の統計量を算出するデータ生成部と、
前記各領域ごとの前記低次元の統計量に基づいて得られる当該低次元の統計量の総和と、前記時系列モデルの前記各領域ごとの前記時系列的な前記低次元の統計量の総和とをマッチングするマッチング部と、
前記各領域ごとに対する前記マッチングの結果を視覚的に表示させる表示制御部と
を含むことを特徴とするマッチング処理装置。
前記画像領域における低次元の統計量を、予め設定された関数により経年変化を表す統計量に変換し、変換後の統計量を用いて前記データ蓄積部の前記時系列モデルを更新する経年変化適用部をさらに含むことを特徴とする請求項１に記載のマッチング処理装置。
コンピュータがマッチング処理を行う方法であって、
前記コンピュータは、あらかじめ設定された画像領域に対応付けられるヒストグラム分布の低次元の統計量の総和からなり、かつ前記低次元の統計量が時系列的に変化するように表した時系列モデルを蓄積するデータ蓄積部を備え、
処理対象としてのオブジェクト画像に関して、局所的に不均一または均一に分割し、分割後の各領域ごとにヒストグラム分布を求めるとともに、前記ヒストグラム分布から前記各領域ごとの低次元の統計量を算出するステップと、
前記各領域ごとの前記低次元の統計量に基づいて得られる当該低次元の統計量の総和と、前記時系列モデルの前記各領域ごとの前記時系列的な前記低次元の統計量の総和とをマッチングするステップと、
前記各領域ごとに対する前記マッチングの結果を視覚的に表示するステップと
を含むことを特徴とするマッチング方法。