JP5277498B2 - 類似情報分類参照装置および類似情報分類参照方法 - Google Patents

類似情報分類参照装置および類似情報分類参照方法 Download PDF

Info

Publication number
JP5277498B2
JP5277498B2 JP2008048830A JP2008048830A JP5277498B2 JP 5277498 B2 JP5277498 B2 JP 5277498B2 JP 2008048830 A JP2008048830 A JP 2008048830A JP 2008048830 A JP2008048830 A JP 2008048830A JP 5277498 B2 JP5277498 B2 JP 5277498B2
Authority
JP
Japan
Prior art keywords
information
self
resolution
organization
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008048830A
Other languages
English (en)
Other versions
JP2009205558A (ja
Inventor
一郎 須藤
優年 関根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY
Original Assignee
NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY filed Critical NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY
Priority to JP2008048830A priority Critical patent/JP5277498B2/ja
Publication of JP2009205558A publication Critical patent/JP2009205558A/ja
Application granted granted Critical
Publication of JP5277498B2 publication Critical patent/JP5277498B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、 解像度を持つ複数の対象情報の類似情報分類参照装置および類似情報分類参照方法に関し、タグ情報やクエリを用いずにかつ小さい特徴量の情報を捨てずに階層状の自己組織化処理を生成する技術およびこの自己組織化処理を利用した高速検索技術に関する。
近年、インターネットの発達とデジタル化カメラの普及により、個人がコンピュータ上に大量の画像を蓄積して利用するようになっている。これらの画像を検索する手法として、現在主流なのはファイル名やフォルダの分類を用いた検索である。
この種の検索では、画像ファイルのファイル名や、画像を格納するフォルダのフォルダ名には、通し番号や日付が用いた手法が採用されることが多いが、この手法はユーザが対象情報の撮影時期等を記憶していることが前提となるため利用することが難しい。
そこで、最近では画像内を用いた検索方法(画像内容検索)に関する研究が盛んに行われている。この画像内容検索は、画像の内容そのものをインデックスとして検索できるため、ファイル名やフォルダ名を用いた検索と比べて、検索に用いることができる情報が多く、優れた検索方法といえる。
特開2006−235971
ところが、画像内容検索では、画像の内容をインデックス化するために画像認識が必要である。たとえば、自己組織化技術を用い、学習に際して画像の小さい特徴を捨てることなしに検索する手法も知られているが(特許文献1参照)、この手法では対象情報数が少ないときには、対象情報中から検索画像に類似する画像を抽出することができる。しかし、被検索対象の画像数が膨大になると対象情報中から検索画像に類似する画像を抽出する時間も膨大となり、実質上、画像を抽出できず実用的とはいえない。
この不都合を解消するために、自己組織化処理において、小さな特徴を捨て、処理する画像数を減らすことも考えられるが、小さな特徴を捨てたために、コンピュータによる判断と人間の認識との乖離が発生してしまい、これも実用的とはいえない。
さらに、類似画像をクエリとして用いる手法もあるが、この手法では、タグや日付などの付加的な情報によらないため、利用価値が高いと考えられているが、クエリ画像の作成そのものが難しく、この手法も実用的とはいえない。
本発明の目的は、タグ情報やクエリを用いずにかつ小さい特徴量の情報を捨てずに、自己組織化により被処理対象画像を階層状に分類する技術およびこの自己組織化処理を利用した高速検索技術を提供することにある。
本発明者は、解像度を高くしつつ、自己組織化処理において学習プロセスを伴う低解像度化画像群のクラスタリングを行い、このクラスタリングにより分けられた低解像度化画像群について同様の自己組織化処理を順次繰り返し行うことで、大量の画像を効率的かつ自動またはユーザ操作により分類ができ、または検索ができるとの知見を得て本発明をなすに至った。
本発明の類似情報分類参照装置は(1)から(6)を要旨とする。
(1)
低解像度化情報生成部と、自己組織化処理部と、処理結果保存部とを備えた複数の対象情報から所望の情報を抽出するための類似情報分類参照装置において、
前記対象情報は複数の解像度を持ち、
前記低解像度化情報生成部は、前記複数の対象情報から、当該解像度がRMからR1に順次低下するM段階(Mは2以上の整数)の複数の低解像化情報群を生成し、
前記自己組織化処理部は、
解像度R1の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてクラスタリングを含む第1階層の自己組織化処理を行い、
前記第1階層の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する所定解像度R2の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第2階層の自己組織化処理を行い、
前記各第2階層の各自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度R3の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第3階層の自己組織化処理を行い、
順次、
前記各第(K−1)階層(K=4,5,・・・,N、N≦M)の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度RK-1の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第K階層の自己組織化処理を行い、
前記処理結果保存部は、前記第1階層から前記第N階層の自己組織化処理の結果を保存しておく、
ことを特徴とする対象情報の類似情報分類参照装置。
本発明において、検索対象は、典型的には画像、音声であるが、たとえばデジタル波形データなどの解像度を持つ情報であれば本発明を適用することができる。
本発明において、自己組織化処理の階層が低い場合には、自己組織化処理部に入力される低解像度化情報の数は多く、学習を伴う適切なクラスタリング(特徴により分割)を行うことができる。自己組織化処理の階層が高くなるにつれて、自己組織化処理部に入力される低解像度化情報の数が少なくなるが、低解像度化情報の解像度が小さけいままだと、自己組織化処理に使用される情報が減少してしまう。このことから、本発明では、解像度がRMからR1に順次低下するM段階(Mは2以上の整数)の複数の低解像化情報群を生成しておき、自己組織化処理の階層が高くなるにしたがって、自己組織化処理部に入力する低解像度化情報の解像度をR1からRMに順次増大させている。
本発明では、解像度をR1からRMに順次増大させるべく、第2階層以降の自己組織化処理の際には、直前の階層におけるクラスタリングに際して分割された画像をより高い解像度に置き換えたものを使用する。
(2)
さらに、可視化インデックス生成部と、検索候補情報一覧生成部と、段階的可視化手段と、操作表示部とを備えた類似情報分類参照装置であって、
前記自己組織化マップ作成部は、前記第1階層から前記第N階層における自己組織化処理において参照ベクトルを用いた2次元の自己組織化マップを作成し、
前記可視化インデックス生成部は、前記第1階層から前記第N階層における参照ベクトルのインデックスを生成し、
前記検索候補情報一覧生成部は、前記第1階層から前記第N階層においてクラスタリングされた対象情報の一覧を生成し、
前記操作表示部は、前記可視化インデックス生成部により生成した参照ベクトルのインデックスと、前記検索候補情報一覧生成部により生成した対象情報の一覧とを照合し、上位階層の自己組織化マップを生成して当該自己組織化マップを可視化し、
前記自己組織化マップ作成部による処理、前記可視化インデックス生成部による処理、前記検索候補情報一覧生成部による処理および前記操作表示部による処理を繰り返すことで、前記段階的可視化手段は、検索候補情報を可視化して絞り込むことを特徴とする(1)に記載の対象情報の類似情報分類参照装置。
(3)
前記自己組織化マップ作成部における自己組織化マップ作成に際して、クラスタリングされたセルの全てを用いて、少なくとも1回クラスタリング処理を繰り返すことで学習を行うことを特徴とする(1)または(2)に記載の対象情報の類似情報分類参照装置。
この学習では、自己組織化マップ作成部に入力される低解像化情報を用いて参照ベクトルを更新する。この更新(すなわち学習)は1度とは限らず、2回以上とする(再学習を行う)ようにできる。本発明では、この自己組織化マップ作成における学習(または再学習)においては、通常は、自己組織化マップ作成部に入力された入力画像を捨てることはしないので、コンピュータ処理による判断と人間の認識との乖離をなくすことができる。
(4)
前記対象情報が画像であり、前記自己組織化マップ作成部における自己組織化マップ作成に際して、低解像度化情報と参照ベクトルとの距離定義として、色差成分に重みをおいたYUVの差分絶対値和を使用することを特徴とする(1)から(3)の何れかに記載の類似情報分類参照装置。
(5)
前記自己組織化処理部が自己組織化処理続行判断部をさらに備え、
自己組織化処理続行判断部は、より高い階層の自己組織化処理を行うか否かを判断し、当該判断結果に応じて自己組織化処理部における処理を続行または中止させることを特徴とする(1)から(4)の何れかに記載の類似情報分類参照装置。
(6)
問い合わせ情報を入力して、当該問い合わせ情報と、前記処理結果保存部に保存された前記第1階層から前記第N階層の自己組織化処理の結果とを順次比較して類似情報を抽出することを特徴とする(1)から(5)の何れかに記載の類似情報分類参照装置。
本発明の類似情報分類参照方法は(7)から(12)を要旨とする。
(7)
複数の対象情報から所望の情報を抽出して参照するための類似情報分類参照方法において、
前記対象情報は解像度を持ち、
前記複数の対象情報から、当該解像度がRMからR1に順次低下するM段階(Mは2以上の整数)の複数の低解像化情報群を生成し、ついで、
解像度R1の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてクラスタリングを含む第1階層の自己組織化処理を行い、
前記第1階層の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する所定解像度R2の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第2階層の自己組織化処理を行い、
前記各第2階層の各自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度R3の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第3階層の自己組織化処理を行い、
順次、
前記各第(K−1)階層(K=4,5,・・・,N、N≦M)の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度RK-1の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第K階層の自己組織化処理を行い、この後、
前記第1階層から前記第N階層の自己組織化処理の結果を保存しておく、
ことを特徴とする対象情報の類似情報分類参照方法。
(8)
前記第1階層から前記第N階層における自己組織化処理において参照ベクトルを用いた2次元の自己組織化マップ作成し、
前記第1階層から前記第N階層における参照ベクトルのインデックスを生成し、
前記第1階層から前記第N階層においてクラスタリングされた対象情報の一覧を生成し、
前記参照ベクトルのインデックスと、前記対象情報の一覧とを照合し、上位階層の自己組織化マップを生成して当該自己組織化マップを可視化し、
上記処理を繰り返すことで、検索候補情報を可視化して絞り込むことを特徴とする(7)に記載の対象情報の類似情報分類参照方法。
(9)
前記自己組織化マップ作成に際して、クラスタリングされたセルの全てを用いて、再学習により少なくとも1回クラスタリング処理を繰り返すことを特徴とする(7)または(8)に記載の対象情報の類似情報分類参照方法。
(10)
前記対象情報が画像であり、前記自己組織化マップ作成に際して、低解像度化情報と参照ベクトルとの距離定義として、色差成分に重みをおいたYUVの差分絶対値和を使用することを特徴とする(7)から(9)の何れかに記載の類似情報分類参照方法。
(11)
自己組織化処理において、より高い階層の自己組織化処理を行うか否かを判断することを特徴とする(7)から(10)の何れかに記載の類似情報分類参照方法。
(12)
問い合わせ情報を入力して、当該問い合わせ情報と、保存された前記第1階層から前記第N階層の自己組織化処理の結果とを順次比較して類似情報を抽出することを特徴とする(7)から(11)の何れかに記載の類似情報分類参照方法。
本発明では、小さい特徴量の情報を捨てることなく、対象情報を階層ごとに順次クラスタリングしているので、タグ情報やクエリ(対象情報が画像の場合にはクエリ画像)を用いることなく、人間が行う本来の情報比較とは乖離しない検索結果を抽出することができる。
また、本発明では、階層構造の自己組織化マップ上の検索対象に近い対象情報を、自己組織化マップ作成に際してクラスタリングされたセルから選択し、このセルを元にさらに自己組織化処理を行う。これらの処理を繰り返すことで、検索結果を高速で絞り込むことができる。
さらに、本発明では、類似情報分類参照装置および類似情報分類参照方法や類似情報分類参照装置や類似情報分類参照方法では、自己組織化マップは可視化しなくてもよいし、自己組織化マップを可視化しておき、検索対象に近い対象情報をユーザに選択させることもできる。
対象情報が画像である場合には、これまで日付やテキストでの検索が行われていたたとえば画像データベースの画像や、デジタルカメラのメモリ内の画像を、ユーザが直感的に参照し、目的の画像を瞬時に検索することが可能となる。た、オンラインサーバに本発明を組み込むことで、インターネット上の画像検索エンジンとしての利用も可能である。
図1は本発明の類似情報分類参照装置および類似情報分類参照方法の実施形態を示す機能ブロック図であり、図2は図1の類似情報分類参照装置1の処理を詳しく示す図である。
図1において、類似情報分類参照装置1は、複数の解像度を持つ対象情報から所望の情報を抽出するためのもので、元情報記憶装置10と、低解像度化情報生成部11と、低解像度化情報保存部12と、自己組織化処理部13と、処理結果保存部14とを備えている。
元情報記憶装置10は、典型的には、本発明の処理装置を構成するコンピュータや本発明方法を実行するプログラムが搭載されたコンピュータに内蔵または接続された記憶装置であるが、これに限定されず、その一部または全部がネットワーク上の他のコンピュータに内蔵または接続された記憶装置であってもよい。
低解像度化情報生成部11は、元情報記憶装置10の記憶されている複数の対象情報から、図2に示すような解像度がRMからR1に順次低下するM段階(Mは2以上の整数)の低解像化情報群GM,GM-1,・・・,G2,G1を生成する(すなわち、RM>RM-1>・・・>R2>R1)。この低解像度化は、Wavelet変換によって作成することができるし、Wavelet変換以外の変換方法によっても作成することができる。
たとえば、M=4である低解像度化情報群G4を構成する画像は、元の低解像度化情報群G4の各画像を解像度R4(たとえば、64×64)に変換したものであり、低解像度化情報群G3を構成する画像は、解像度R4の各画像を解像度R3(たとえば、32×32)に変換したものである。また、低解像度化情報群G2を構成する画像は、解像度R3の各画像を解像度R2(たとえば、16×16)に変換したものであり、低解像度化情報群G1を構成する画像は、解像度R2の各画像を解像度R1(たとえば、8×8)に変換したものである。
本実施形態では、上記のように階層が低いほど自己組織化処理における入力画像の解像度が低く、階層が高いほど自己組織化処理における入力画像の解像度が高く設定されている。第1階層では入力画像数が多いので、低解像度でも十分な特徴の正規分布をとらえることができ、クラスタを構成することができる。しかし、階層が高くなるにつれて入力画像数は小さくなりクラスタリングの情報量が減少してしまうので、入力画像数が少ない場合には解像度を高くして、クラスタリングの情報量のバランスをとっている。こうすることで、局所的な特徴を、自己組織化処理における学習とクラスタリングに利用できる。
低解像度化情報保存部12は、必ず必要とされるものではないが、低解像化情報群GM,GM-1,・・・,G2,G1を保存しておくことで、自己組織化処理における学習する際に使い分けることで、アップコンバートや、ダウンコンバートの手間を省くことができる。
自己組織化処理部13は、以下の(A1)から(AN)の処理を行う。
(A1)低解像度化情報保存部12に保存されている解像度R1の低解像度化情報群G1について、低解像度化情報群G1を構成する複数の低解像度化情報を入力としてクラスタリングを含む第1階層の自己組織化処理を行う。
(A2)第1階層の自己組織化処理によるクラスタリング結果を元に、このクラスタリング結果に対応する低解像度化情報保存部12に保存されている解像度R2の複数の低解像度化情報群について、低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第2階層の自己組織化処理を行う。
(A3)第2階層の各自己組織化処理によるクラスタリング結果を元に、このクラスタリング結果に対応する解像度R3の複数の低解像度化情報群について、低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第3階層の自己組織化処理を行う。
・・・
(AK)第(K−1)階層(K=4,5,・・・,N−1)の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度RKの複数の低解像度化情報群について、低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第K階層の自己組織化処理を行う。
・・・
(AN)記各第(N−1)階層(N≦M)の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度RNの複数の低解像度化情報群について、低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第K階層の自己組織化処理を行う。
自己組織化処理は、第M階層まで行う必要はなく、たとえば、図4の説明において述べるように、クラスタの個数が所定のしきい値に達したときに、繰り返しの処理を停止することができる。上述の「N≦M」は、自己組織化処理を第M階層まで行わないときは「N<M」であり、第M階層まで行ったときは「N=M」であることを意味している。
処理結果保存部14は、第1階層から第N階層の自己組織化処理の結果を保存しておく。
以下、図1の類似情報分類参照装置1の詳細を図2により説明する。図2では、検索対象画像群Gはq個の対象情報g1,g2,・・・,gqからなる。
低解像度化情報生成部11は、複数の対象情報g1,g2,・・・,gqから、解像度がRMからR1に順次低下するM段階の低解像情報群GM,・・・,G3,G2,G1を生成する。
図2では、低解像度化情報群は、最も解像度が低い群から、
11,g12,・・・,g1q
21,g22,・・・,g2q
・・・
M1,gM2,・・・,gMq
で表してある。
自己組織化処理部13は、まず、解像度R1の低解像度化情報群S1について、この低解像度化情報群S1を構成する複数の低解像度化情報g11,g12,・・・,g1qを入力としてクラスタリングを含む第1階層の自己組織化処理を行い自己組織化マップSOM1を作成する。
図2では、第1階層の自己組織化処理においてSOM1の作成処理が行われ、低解像度化情報g11,g12,・・・,g1qは、クラスタリングにより3集合(低解像度化情報群S1-1,S1-2,S1-3)に分けられている。解像度R1低解像度化情報群は、低解像度化情報g21,g22,・・・,g2qからなるので、これらg21,g22,・・・,g2qは、低解像度化情報群S1-1,S1-2,S1-3の何れかに属している。
自己組織化処理部13は、次に、第1階層の自己組織化処理におけるクラスタリング結果を元に、解像度R2の複数の低解像度化情報群(ここでは、S1-1,S1-2,S1-3の3つ)についてそれぞれ自己組織化処理を行う。
第1階層のクラスタリングにより分割された画像の解像度R1であるが、第2階層の自己組織化処理では、解像度R2の画像が用いられる。言い換えると、第2階層の自己組織化処理では、低解像度化情報群G1を構成する解像度R1の低解像度化情報を、解像度R2の低解像度化情報に置き換えられる。
すなわち、第2階層における低解像度化情報群S1-1についての自己組織化処理では、低解像度化情報群S1-1を構成する複数の低解像度化情報(解像度R2)を入力としてクラスタリングを含む第2階層の自己組織化処理を行う。同様に、第2階層における低解像度化情報群S1-2,S1-3についての自己組織化処理では、低解像度化情報群S1-2,S1-3を構成する複数の低解像度化情報(解像度R2)を入力として、それぞれクラスタリングを含む第2階層の自己組織化処理を行う。
これらの第2階層の自己組織化処理において自己組織化マップSOM2(1),SOM2(2),SOM2(3)が作成される。
第2階層の自己組織化処理は、これら3つの低解像度化情報群S1-1,S1-2,S1-3についてそれぞれ行われる。
自己組織化マップSOM2(1)の作成処理においては、低解像度化情報群S1-1を構成する複数の低解像度化情報は、クラスタリングにより5集合(低解像度化情報群S1-1-1,S1-1-2,S1-1-3,S1-1-4,S1-1-5)に分けられている。
自己組織化マップSOM2(2)の作成処理においては、低解像度化情報群S1-2を構成する複数の低解像度化情報は、クラスタリングにより4集合(低解像度化情報群S131,S132,S133,S134)に分けられている。
SOM2(3)の作成処理においては、低解像度化情報群S1-3を構成する複数の低解像度化情報は、クラスタリングにより2集合(低解像度化情報群S1-3-1,S1-3-2)に分けられている。
第3階層の自己組織化処理は、SOM2(1)の作成処理においてクラスタリングされた5集合(低解像度化情報群S1-1-1,S1-1-2,S1-1-3,S1-1-4,S1-1-5)、SOM2(2)の作成処理においてクラスタリングされた4集合(低解像度化情報群S131,S132,S133,S134)、SOM2(3)の作成処理においてクラスタリングされた2集合(低解像度化情報群S1-3-1,S1-3-2)の、合計で11の低解像度化情報群についてそれぞれ行われる。
以下、順次、各第(K−1)階層(K=4,5,・・・,N、N≦M)の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度RK-1の複数の低解像度化情報群について低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを行う第K階層の自己組織化処理を行う。
図3は、図1および図2における類似情報分類参照装置1の処理を示すフローチャートである。
図3では、解像度(Ra)の入力画像を、低解像度化情報保存部12から取得して(S120)、自己組織化処理部13による処理を行う(S130)とともに、クラスタリングを行う(S140)。自己組織化マップおよびクラスタリングの結果は、処理結果保存部14に保存される。
次に、該当する階層において作成していない自己組織化マップが残っているかが判断される(S150)。Pは自己組織化処理の直前の階層におけるクラスタ数であり、直前の階層でのクラスタ数が、「3」である場合にはP=3である。残っていないとき(すなわち、図3のk(kは、S110において初期化されている)が直前の階層のクラスタの個数Pに達しているとき)は処理を終了し(S150の「YES」)、残っているとき(すなわち、図3のkが直前の階層のクラスタ数Pに達していないとき)はkをインクリメントし(S160)、処理をS120に戻して、他の自己組織化マップの作成処理を行う。
図4は、図1の類似情報分類参照装置1を検索装置とした場合の実施形態を示す機能ブロック図である。また、図5に類似情報分類参照装置1の検索処理の流れを示す。
図4および図5に示す処理により、図1および図2の実施形態の類似情報分類参照装置や類似情報分類参照方法を使用して、問い合わせ画像(検索対象画像)に近い画像を、階層の低い階層から高い階層で比較することで(段階的に自己組織化マップのセルから選択することを繰り返すことで)、検索結果を絞り込むことができ、ユーザが意図する画像(問い合わせ画像と類似した画像(同一の画像のこともある))を検索することができる。
図4において、類似情報分類参照装置1は、元情報記憶装置10と、低解像度化情報生成部11と、低解像度化情報保存部12と、自己組織化処理部13と、処理結果保存部14とに加え、可視化インデックス生成部16と、検索候補情報一覧生成部17と、段階的可視化手段18と、操作表示部19とを備えている。また、図4では、自己組織化処理部13は、自己組織化処理本体部130と、自己組織化マップ作成部131と、自己組織化処理続行判断部132とを備えている。
図4の自己組織化処理部13は、図1における自己組織化処理部13と実質上同じであり、図1の自己組織化処理部13よりも詳しく記述してある。自己組織化処理本体部130は自己組織化処理を行う。
自己組織化マップ作成部131は第1階層から第N階層における自己組織化処理において参照ベクトルを用いた2次元の自己組織化マップを作成する。自己組織化マップの個数は、階層が上位となるに従って増加する。第K階層の自己組織化マップの個数QSOMは、
SOM=t2+t3+・・・tk
である。ただし、
2=第2階層のクラスタ数
3=第3階層のクラスタ数
・・・
k=第k階層のクラスタ数
である。
以下、自己組織化マップ作成部131における学習(自己組織化学習)について説明する。自己組織化マップ作成部131は、低解像化情報保存部12の画像を入力し、学習を行う。
自己組織化マップは、高次元データの視覚化と近似表現を目的として作成されるもので、本発明で用いる自己組織化マップは、参照ベクトルを二次元配列状に並べた基本的なものである。これらの参照ベクトルは自らの座標と、内部データを保持している。入力として与えるベクトルは、本発明では低解像化情報保存部12に保存されている低解像化情報(画像)である。
可視化インデックス生成部16は、第1階層から第N階層の自己組織化マップにおける参照ベクトルのインデックスを生成する。参照ベクトルの個数は、たとえば数個のこともあるし、1000個を超えることもある。
本実施形態では、第1階層の自己組織化マップの参照ベクトルの初期ベクトルは任意であり、学習により、第1階層の低解像度化情報群G1を構成する画像の特徴が反映されるように変更が加えられる。
第2階層では、第1階層の自己組織化処理におけるクラスタリングにより生成された複数の画像群(たとえば4つの画像群)についてそれぞれ自己組織化処理が行われ、自己組織化マップが作成される(画像群が4つの場合には4つの自己組織化マップが作成される)。このときの参照ベクトルの参照ベクトルは、第1階層の学習により変更された参照ベクトルに基づいて作成することができる。
検索候補情報一覧生成部17は、第1階層から第N階層においてクラスタリングされた対象情報の一覧を生成する。ここで、検索対象情報の一覧は、対象情報g1,g2,・・・,gqの一覧とすることもできるし、たとえば第2階層の自己組織化処理においては解像度がR2の画像情報の一覧である。
自己組織化処理続行判断部132は、自己組織化マップのあるものについては、より高い階層の自己組織化処理を行うか否かを判断し、自己組織化マップ作成部131に処理を停止させる(停止命令STPを出力する)。たとえば、自己組織化処理続行判断部132は、ある自己組織化マップのクラスタの個数が所定数(たとえば、10)以下となったときに、当該自己組織化マップについては、自己組織化マップ作成部131に繰り返しの処理を停止させることができる。
操作表示部19は、可視化インデックス生成部16により生成した参照ベクトルのインデックスと、検索候補情報一覧生成部17により生成した対象情報の一覧とを照合し、上位階層の自己組織化マップを生成して当該自己組織化マップを可視化して画像(SOM画像)として出力する。
自己組織化マップ作成部131による処理、可視化インデックス生成部16による処理、検索候補情報一覧生成部17による処理および操作表示部19による処理を、上記のようにして繰り返すことで、検索候補情報が可視化しつつ絞り込まれる。
処理結果保存部14は、第1階層から第K階層の自己組織化処理の結果を保存しておく。
自己組織化マップ作成部131における学習は、参照ベクトルが初期化された状態から始まる。本実施形態では、自己組織化後のクラスタの配置に一意性を持たせるため、色合いと輝度のグラデーションを用いて初期化する。
まず、低解像化情報保存部からランダムに選出した一つのデータを、自己組織化マップ作成部131に入力する。
自己組織化マップ作成部131の参照ベクトルのうち、入力画像(入力ベクトル)との距離が最も近い参照ベクトル(選択参照ベクトルと言う)を選択する。
選択参照ベクトルは、学習により入力画像に空間的に近づくように更新される(具体的には、選択参照ベクトル内部データ)。学習回数は通常は複数であり、学習に際しては、選択参照ベクトルと入力画像との空間距離に応じた重み付けがなされる。
選択参照ベクトルの学習は、近傍の参照ベクトルを伴って行われる。本実施形態では、選択参照ベクトルの近傍にある参照ベクトルが同時に更新される。
自己組織化マップ作成部131における学習では、個々の参照ベクトルが入力データ空間の確率密度分布に従って特徴空間上に展開し、入力画像群の特徴空間を2次元配列状に表現する。
次に、色空間上の距離について述べる。人の肌を構成する主な色である肌色は、YUV色空間内においてY軸方向では210−40=170の幅に分布しているのに対し、UV平面に射影して得た領域の広がりは(130?80)×(170?130)=50×40である。この領域の広がりが一致度に寄与し、その比は170/50=3.4〜170/40=4.254である。そこでdYとdU,dVとの寄与度を同等にするために混合係数Kcを導入する。
i,j=dYi,j+Kc×(dUi,j+dVi,j
とすることで、Kc=4とした場合には、好適な結果が得られた。
本実施形態は顔画像のみを対象とするものではないが、色合いを強く反映したクラスタを発生させ易くするため、Kc=4とした混合係数による色差の寄与度補正を行った距離を用いている。また、本実施形態では、学習の初期での参照ベクトルは正方形ではあり、サイズ(たとえば、13×13)は、学習中に縦横ともにたとえば2ずつ減少させている(たとえば、5回目の終了時のサイズは3×3である)。
自己組織化マップ作成部131における学習では、画像の持つ特徴に従って自己組織化が成される。すなわち、画像の中でオブジェクトの大きさや配置、陰影、色合いなどが距離を決める大きな要素となるため、これらの特徴を示すクラスタが形成される。
図5に示すように、検索に際しては、問合わせ画像Grは、低解像度化情報生成部11により、複数段階の低解像度画像(前述したM段階の低解像度化処理と同じ処理により生成された画像)に変換されて低解像度化情報保存部12に保存される。そして、比較処理部C1,C1,・・・,CMにより参照ベクトルとの比較が順次行われ、絞込みを行うことで、問合わせ画像Grに近い画像を抽出することができる。図5では、最終段階(M段階)までの比較処理を行っているが、検索画像が絞り込まれたときは、検索を途中の段階で止めるようにすることもできる。
なお、低解像度化情報生成部11により低解像化される様子を図6(A)から(D)に示す。図6(A)は最も解像度が高く、(B),(C),(D)のように順次解像度が低くなっている。また、任意の初期ベクトル(画像)を入力とした自己組織化マップの自己組織化結果を図7に示す。これが、画像を検索するためのインデックスになる。
自己組織化処理部では学習により更新された参照ベクトルによりクラスタリングされる。クラスタリングの方法は以下のように定めた。近傍距離Dnbhdを、全参照ベクトルについて求め,Dnbhdが所定の閾値よりも大きい参照ベクトルをクラスタ参照ベクトルとしてある。自己組織化マップ上の参照ベクトの近傍距離Dnbhdを、たとえば、自身が持つ参照ベクトルと近傍の8個の参照ベクトルの持つ参照ベクトルとの距離として定義することができる。
図8(A)は近傍距離Dnbhdを可視化した図であり、色が濃い部分ほど近傍距離が小さい。クラスタ参照ベクトルか否かを決定する閾値γは、近傍距離Dnbhdの標準偏差を用いて定めた。図8(B)は近傍距離を用いてのクラスタリング結果を示す図である。接触しているクラスタ参照ベクトルをまとめて、1から昇順でクラスタ番号を付けてある。
自己組織化の結果得られた複数の参照ベクトルと、入力画像保存装置に保存されている対応する解像度の画像との距離(色空間での距離)を比較し、全ての元画像自己組織化マップのどの参照ベクトルに属するかを決定する。次に、分割結果記録部と照会され、参照ベクトルのクラスタ番号に従って、元画像はグループ分けされる。
グループ分けされた元画像は、自己組織化部に再び入力され、階層が低い自己組織化マップのあるクラスタの次の階層に新しく自己組織化マップが作られる。これを、自己組織化処理続行判断部131が停止命令を出すまで繰り返す。
図9は、図4における類似情報分類参照装置1の検索処理を示すフローチャートである。
図9では、問い合わせ画像の特徴を、自己組織化マップ(SOMi(j))と比較して、繰り返し比較を行う例を示している。まず、SOMi(j)のi,jは初期化されている(S210)。
処理結果保存部14から自己組織化マップSOMi(j)を呼び出し(S220)、参照ベクトルを操作表示部19に表示し(S230)、自己組織化マップの画像が問い合わせ画像に該当するが判断される(S240)。該当しない場合(S240の「NO」)には、jをインクリメントし(S250)同一階層の他のSOMi(j+1)について同様の比較判断を行う(S210からS240)。S250において該当する場合(S250の「YES」)には、処理を終了するかが判断される。類似する画像が検索され処理が必要でなくなった場合には処理は終了する。通常は、処理を終了する場合には、元画像の表示等が行われるが、説明の便宜上、図9では説明を省略している。
S260において処理を終了しない場合(S260の「NO」)には、自己組織化マップSOMi(j)のiをインクリメントするとともに、jを初期化(j=1)して、処理をS210に戻す。
本発明の類似情報分類参照装置および類似情報分類参照方法の実施形態を示す機能ブロック図である。 図1の類似情報分類参照装置の処理を詳しく示す図である。 図1および図2における類似情報分類参照装置の処理を示すフローチャートである。 図1の類似情報分類参照装置を検索装置とした場合の実施形態を示す機能ブロック図である。 図4の類似情報分類参照装置における検索処理を示す説明図である。 低解像度化情報生成部11により低解像化される様子を示す図であり、(A)から(D)には順次解像度が低くなっている様子が示されている。 画像を検索するためのインデックスの例を示す図である。 (A)は色空間での近傍距離を可視化した図であり、(B)は近傍距離を用いてのクラスタリング結果を示す図である。 図4における類似情報分類参照装置の検索処理を示すフローチャートである。
符号の説明
1 類似情報分類参照装置
10 元情報記憶装置
11 低解像度化情報生成部
12 低解像度化情報保存部
13 自己組織化処理部
14 処理結果保存部
15比較処理部
16 可視化インデックス生成部
17 検索候補情報一覧生成部
18 段階的可視化手段
19 操作表示部
131 自己組織化マップ作成部
132 自己組織化処理続行判断部

Claims (12)

  1. 低解像度化情報生成部と、自己組織化処理部と、処理結果保存部とを備えた複数の対象情報から所望の情報を抽出して参照するための類似情報分類参照装置において、
    前記対象情報は複数の解像度を持ち、
    前記低解像度化情報生成部は、前記複数の対象情報から、当該解像度がRMからR1に順次低下するM段階(Mは2以上の整数)の複数の低解像化情報群を生成し、
    前記自己組織化処理部は、
    解像度R1の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてクラスタリングを含む第1階層の自己組織化処理を行い、
    前記第1階層の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する所定解像度R2の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第2階層の自己組織化処理を行い、
    前記各第2階層の各自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度R3の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第3階層の自己組織化処理を行い、
    順次、
    前記各第(K−1)階層(K=4,5,・・・,N、N≦M)の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度RK-1の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第K階層の自己組織化処理を行い、
    前記処理結果保存部は、前記第1階層から前記第N階層の自己組織化処理の結果を保存しておく、
    ことを特徴とする対象情報の類似情報分類参照装置。
  2. さらに、可視化インデックス生成部と、検索候補情報一覧生成部と、段階的可視化手段と、操作表示部とを備えた類似情報分類参照装置であって、
    前記自己組織化マップ作成部は、前記第1階層から前記第N階層における自己組織化処理において参照ベクトルを用いた2次元の自己組織化マップを作成し、
    前記可視化インデックス生成部は、前記第1階層から前記第N階層における参照ベクトルのインデックスを生成し、
    前記検索候補情報一覧生成部は、前記第1階層から前記第N階層においてクラスタリングされた対象情報の一覧を生成し、
    前記操作表示部は、前記可視化インデックス生成部により生成した参照ベクトルのインデックスと、前記検索候補情報一覧生成部により生成した対象情報の一覧とを照合し、上位階層の自己組織化マップを生成して当該自己組織化マップを可視化し、
    前記自己組織化マップ作成部による処理、前記可視化インデックス生成部による処理、前記検索候補情報一覧生成部による処理および前記操作表示部による処理を繰り返すことで、前記段階的可視化手段は、検索候補情報を可視化して絞り込むことを特徴とする請求項1に記載の対象情報の類似情報分類参照装置。
  3. 前記自己組織化マップ作成部における自己組織化マップ作成に際して、クラスタリングされたセルの全てを用いて、再学習により少なくとも1回クラスタリング処理を繰り返すことを特徴とする請求項1または請求項2に記載の対象情報の類似情報分類参照装置。
  4. 前記対象情報が画像であり、前記自己組織化マップ作成部における自己組織化マップ作成に際して、低解像度化情報と参照ベクトルとの距離定義として、色差成分に重みをおいたYUVの差分絶対値和を使用することを特徴とする請求項1から請求項3の何れかに記載の類似情報分類参照装置。
  5. 前記自己組織化処理部が自己組織化処理続行判断部をさらに備え、
    自己組織化処理続行判断部は、より高い階層の自己組織化処理を行うか否かを判断し、当該判断結果に応じて自己組織化処理部における処理を続行または中止させることを特徴とする請求項1から請求項4の何れかに記載の類似情報分類参照装置。
  6. 問い合わせ情報を入力して、当該問い合わせ情報と、前記処理結果保存部に保存された前記第1階層から前記第N階層の自己組織化処理の結果とを順次比較して類似情報を抽出することを特徴とする請求項1から請求項5の何れかに記載の類似情報分類参照装置。
  7. コンピュータを用いて、当該コンピュータに内蔵されまたは接続された記憶装置に搭載されたプログラムにより実行される、複数の対象情報から所望の情報を抽出して参照するための類似情報分類参照方法において、
    前記対象情報は解像度を持ち、
    前記複数の対象情報から、当該解像度がRMからR1に順次低下するM段階(Mは2以上の整数)の複数の低解像化情報群を生成し、ついで、
    解像度R1の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてクラスタリングを含む第1階層の自己組織化処理を行い、
    前記第1階層の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する所定解像度R2の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第2階層の自己組織化処理を行い、
    前記各第2階層の各自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度R3の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第3階層の自己組織化処理を行い、
    順次、
    前記各第(K−1)階層(K=4,5,・・・,N、N≦M)の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度RK-1の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第K階層の自己組織化処理を行い、この後、
    前記第1階層から前記第N階層の自己組織化処理の結果を保存しておく、
    ことを特徴とする対象情報の類似情報分類参照方法。
  8. 前記第1階層から前記第N階層における自己組織化処理において参照ベクトルを用いた2次元の自己組織化マップ作成し、
    前記第1階層から前記第N階層における参照ベクトルのインデックスを生成し、
    前記第1階層から前記第N階層においてクラスタリングされた対象情報の一覧を生成し、
    前記参照ベクトルのインデックスと、前記対象情報の一覧とを照合し、上位階層の自己組織化マップを生成して当該自己組織化マップを可視化し、
    上記処理を繰り返すことで、検索候補情報を可視化して絞り込むことを特徴とする請求項7に記載の対象情報の類似情報分類参照方法。
  9. 前記自己組織化マップ作成に際して、クラスタリングされたセルの全てを用いて、再学習により少なくとも1回クラスタリング処理を繰り返すことを特徴とする請求項7または請求項8に記載の対象情報の類似情報分類参照方法。
  10. 前記対象情報が画像であり、前記自己組織化マップ作成に際して、低解像度化情報と参照ベクトルとの距離定義として、色差成分に重みをおいたYUVの差分絶対値和を使用することを特徴とする請求項7から請求項9の何れかに記載の類似情報分類参照方法。
  11. 自己組織化処理において、より高い階層の自己組織化処理を行うか否かを判断することを特徴とする請求項7から請求項10の何れかに記載の類似情報分類参照方法。
  12. 問い合わせ情報を入力して、問い合わせ情報と、保存された前記第1階層から前記第N階層の自己組織化処理の結果とを順次比較して類似情報を抽出することを特徴とする請求項7から請求項11の何れかに記載の類似情報分類参照方法。
JP2008048830A 2008-02-28 2008-02-28 類似情報分類参照装置および類似情報分類参照方法 Expired - Fee Related JP5277498B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008048830A JP5277498B2 (ja) 2008-02-28 2008-02-28 類似情報分類参照装置および類似情報分類参照方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008048830A JP5277498B2 (ja) 2008-02-28 2008-02-28 類似情報分類参照装置および類似情報分類参照方法

Publications (2)

Publication Number Publication Date
JP2009205558A JP2009205558A (ja) 2009-09-10
JP5277498B2 true JP5277498B2 (ja) 2013-08-28

Family

ID=41147721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008048830A Expired - Fee Related JP5277498B2 (ja) 2008-02-28 2008-02-28 類似情報分類参照装置および類似情報分類参照方法

Country Status (1)

Country Link
JP (1) JP5277498B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020160618A (ja) * 2019-03-25 2020-10-01 日本電信電話株式会社 判定装置、判定方法及び判定プログラム
KR102271371B1 (ko) * 2020-12-24 2021-06-30 전남대학교산학협력단 네트워크 트래픽 절감을 위한 모바일 엣지 컴퓨팅 기반 슈퍼-레졸루션 스트리밍 영상 전송 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3712582B2 (ja) * 2000-02-17 2005-11-02 日本電信電話株式会社 情報クラスタリング装置および情報クラスタリングプログラムを記録した記録媒体
JP2003228706A (ja) * 2002-02-05 2003-08-15 Fuji Xerox Co Ltd データ分類装置
JP2007272398A (ja) * 2006-03-30 2007-10-18 Akita Prefecture 分類装置、プログラム、及び方法

Also Published As

Publication number Publication date
JP2009205558A (ja) 2009-09-10

Similar Documents

Publication Publication Date Title
JP6504590B2 (ja) 画像のセマンティックセグメンテーションのためのシステム及びコンピューター実施方法、並びに非一時的コンピューター可読媒体
JP7044898B2 (ja) ナンバープレート認識方法、および、そのシステム
EP3582142A1 (en) Image classification using neural networks
Liu et al. Multiple classifiers combination by clustering and selection
JP2016057918A (ja) 画像処理装置、画像処理方法及びプログラム
JP6107531B2 (ja) 特徴抽出プログラム及び情報処理装置
CN107679539B (zh) 一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法
CN111931801B (zh) 一种基于路径多样性与一致性的动态路由网络学习方法
Laha et al. Land cover classification using fuzzy rules and aggregation of contextual information through evidence theory
JP5337673B2 (ja) 画像検索システム
Retsinas et al. Exploring critical aspects of CNN-based keyword spotting. a PHOCNet study
CN116310466A (zh) 基于局部无关区域筛选图神经网络的小样本图像分类方法
Weber et al. Automated labeling of electron microscopy images using deep learning
JP5277498B2 (ja) 類似情報分類参照装置および類似情報分類参照方法
CN109614581B (zh) 基于对偶局部学习的非负矩阵分解聚类方法
KR20200134813A (ko) 기계 학습을 위한 이미지 처리 장치 및 방법
CN111274893B (zh) 基于部件分割与特征融合的飞行器图像细粒度识别方法
TWI705340B (zh) 相位圖像生成器的訓練方法及相位圖像分類器的訓練方法
WO2021149091A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
Chockler et al. Multiple Different Explanations for Image Classifiers
Vinzamuri et al. Feature grouping using weighted l1 norm for high-dimensional data
JP6336827B2 (ja) 画像検索装置、画像検索方法および検索システム
JP3530363B2 (ja) 認識モデル生成方法および画像認識方法
Neelam A Multi-Level Hierarchical Framework for the Classification of Weather Conditions and Hazard Prediction
JP4687558B2 (ja) 画像照合装置、画像照合方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121225

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130502

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees