JP3726442B2 - 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 - Google Patents
画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3726442B2 JP3726442B2 JP23597997A JP23597997A JP3726442B2 JP 3726442 B2 JP3726442 B2 JP 3726442B2 JP 23597997 A JP23597997 A JP 23597997A JP 23597997 A JP23597997 A JP 23597997A JP 3726442 B2 JP3726442 B2 JP 3726442B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pattern
- texture
- feature amount
- periodicity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像の特徴量を用いて異なる画像間の比較を行う画像特徴量比較装置に関するものである。
【０００２】
【従来の技術】
一般に、画像データベースは、画像データに、作成日、修正日、ファイル名、ファイルフォーマット等の属性情報と、キーワード、形状特徴、色味、音声等の検索情報とを付加し、保管・管理する。このような画像データベースにおいて、データを登録する際に、属性情報が自動的に付加されることは一般的に行われている。画像データベースにおいて、画像データを検索する場合、キーとなる画像と、検索対象となる画像との特徴量を比較する必要があるが、このとき、特徴量として画像のテクスチャパターンを用いることは有効な手段である。このため、画像におけるテクスチャの構造的情報を抽出するための効率的な方法が要望される。
【０００３】
【発明が解決しようとする課題】
テクスチャの構造的情報を抽出する方法として、例えば、「画像認識の基礎[II]−特徴抽出、エッジ検出、テクスチャ解析」（森俊二他著、オーム社）に開示された方法がある。ここでは、厳密な手法により画像におけるテクスチャの基本パターンと配置を抽出する手法が説明されているが、処理が複雑で処理速度の面で現実的でない。
【０００４】
また、画像からテクスチャ情報を抽出する方法として、特開平５−２８２６６号公報に開示された発明がある。この発明では、画像を正方形状のブロックに分割し、各ブロック毎に特徴量を算出している。しかし、この方法では、テクスチャ構造パターンの抽出までは行っていない。
【０００５】
本発明は上記問題を解決するためになされたものであり、その目的とするところは、画像から画像特徴量としてテクスチャの基本パターンを抽出し、画像のテクスチャの基本パターンを用いて画像間の比較を行うことにより、精度よく画像検索が可能となる画像特徴量比較装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る画像特徴量比較装置は、多値化された画素情報が二次元格子状に配列されてなるテクスチャを含む画像から画像の特徴量を抽出し、該特徴量に基づいて異なる画像間の比較を行う画像特徴量比較装置において、画像を、画像の特徴量とともに記憶する画像記憶手段と、画像において、テクスチャの一定方向において同じパターンが一定間隔で繰り返し現れることを示す特性である周期性を求める周期性検出手段と、該周期性検出手段により求められた周期性に基づいて、画像から、画像のテクスチャ内に周期的に含まれるパターンを一旦抽出し、そのパターンの構成要素を画像の中心にシフトさせたパターンを基本パターンとして抽出する抽出手段と、前記基本パターンと、前記周期性に関する情報とを、特徴量として画像に付加して登録する登録手段とを備える。
【０００７】
また、前記第１の画像特徴量比較装置において、前記周期性検出手段により求められた周期性のうち二方向の周期性を用いて、前記画像からテクスチャの基本パターンを抽出してもよい。
【０００８】
また、前記画像特徴量比較装置において、前記抽出手段は、前記基本パターンを抽出した後に、さらに該基本パターンを所定の画像サイズおよび形状に正規化してもよい。
【０００９】
また、前記画像特徴量比較装置において、前記基本パターンが複数の構成要素からなる場合、前記抽出手段は、前記パターンを抽出した後に、前記パターンの中心付近において回転軸を設定し、該回転軸を中心に前記パターンを構成する構成要素を回転させたときに前記パターンの慣性モーメントが最小となるように、前記各構成要素を、画像の特徴を保持しながら前記回転軸付近に集中するようにシフトさせることで前記基本パターンを得てもよい。
【００１０】
また、前記画像特徴量比較装置において、検索キーとなる画像を指定する画像指定手段と、前記検索キーとなる画像に対するテクスチャの基本パターン及び周期性に関する情報と、前記画像記憶手段中に保持される検索対象の画像に対するテクスチャの基本パターン及び周期性に関する情報とに基づいて、両画像間の類似度を計算する類似度計算手段と、該類似度計算手段による類似度に基づき、両画像が類似しているか否かを判断する判断手段と、該類似度判断手段による判断結果に基づき、両画像が類似しているときに、前記検索対象の画像を検索結果として出力する画像出力手段とを備えてもよい。
【００１２】
本発明に係るコンピュータ読み取り可能な記録媒体は、多値化された画素情報が二次元格子状に配列されてなるテクスチャを含む画像から画像の特徴量を抽出し、該特徴量に基づいて画像間の比較を行う画像特徴量比較プログラムであって、画像を入力するステップと、画像において、テクスチャの一定方向において同じパターンが一定間隔で繰り返し現れることを示す特性である周期性を求めるステップと、該求められた周期性に基づいて、画像から、画像のテクスチャ内に周期的に含まれるパターンを一旦抽出し、そのパターンの構成要素を画像の中心にシフトさせたパターンを基本パターンとして抽出するステップと、前記基本パターンと、前記周期性に関する情報とを、特徴量として画像に付加して登録するステップとを有するプログラムを記録する。
【００１４】
【発明の実施の形態】
以下、添付の図面を用いて本発明に係る画像特徴量比較装置の実施の形態を説明する。
【００１５】
本実施形態の画像特徴量比較装置は、画像からテクスチャの中に周期的に現われる基本的なパターン（以下、「基本パターン」という。）をパターンの大きさや歪みに依存しない方法で抽出し、このパターンを画像の特徴量として保存する。また、このテクスチャの基本パターンを用いて画像間の比較を行うことにより、正確かつ高速な画像の比較検索を可能とする。
【００１６】
＜画像特徴量比較装置の全体構成＞
図１に本実施形態の画像特徴量比較装置（以下、「システム」と称す。）の概略構成図を示す。図１に示すように、システムは中央演算処理（以下、「ＣＰＵ」と称す。）を備え、システム全体を制御する制御装置１を中心として構成される。ＣＰＵには例えばインテル社製のペンティアム等が用いられる。この制御装置１には、画像あるいは文字等の表示や、操作のための表示等を行うディスプレイ２と、各種入力、指示操作等を行うためのキーボード３およびマウス４と、データ保管媒体であるフロッピーディスク装置５ａおよびハードディスク装置６と、文字や画像データ等を印刷するプリンタ７と、画像データを取り込むためのスキャナ８と、ＣＤ−ＲＯＭ９ａに格納されたデータを読み出すためのＣＤ−ＲＯＭ装置９ｂと、音声出力のためのスピーカ１０と、音声入力のためのマイクロホン１１とが接続される。
【００１７】
図２に本システムのブロック図を示す。ＣＰＵ２０１には、データバス２２０を介して、本システムを制御するプログラムが格納されているＲＯＭ２０３と、ＣＰＵ２０１が制御のために実行するプログラムやデータを一時的に格納するＲＡＭ２０４とが接続される。また、ＣＰＵ２０１にデータバス２２０を介して接続される回路には、画像あるいは文字等の表示のためディスプレイ２を制御する表示制御回路２０５と、キーボード３からの入力を転送制御するキーボード制御回路２０６と、マウス４からの入力を転送制御するマウス制御回路２０７と、フロッピーディスク装置５ｂを制御するフロッピーディスク装置制御回路２０８と、ハードディスク装置６を制御するハードディスク装置制御回路２０９と、プリンタ７への出力を制御するプリンタ制御回路２１０と、スキャナ８を制御するスキャナ制御回路２１１と、ＣＤ−ＲＯＭ装置９ｂを制御するＣＤ−ＲＯＭ装置制御回路２１２と、スピーカ１０を制御するスピーカ制御回路２１３と、マイクロホン１１を制御するマイクロホン制御回路２１４とがある。さらに、ＣＰＵ２０１には、システムを動作させるために必要な基準クロックを発生させるためのクロック２０２が接続され、また、各種拡張ボードを接続するための拡張スロット２１５がデータバス２２０を介して接続される。なお、拡張スロット２１５にＳＣＳＩＩボードを接続し、このＳＣＳＩＩボードを介してフロッピーディスク装置５ｂ、ハードディスク装置６、スキャナ８またはＣＤ−ＲＯＭ装置９ｂ等を接続してもよい。
【００１８】
なお、上記システムにおいて、画像データ保管媒体としてはフロッピーディスク５ａ、ハードディスク装置６を用いているが、光磁気ディスク（ＭＯ）等の他の情報記憶媒体でもよい。また、画像データ入力装置としてスキャナ８を用いているが、スチルビデオカメラやデジタルカメラ等の他のデータ入力装置であってもよい。さらに、出力装置としてプリンタ７を用いているが、デジタル複写機等の他の出力装置であってもよい。また、本システムでは、データの管理システムを実現するプログラムをＲＯＭ２０３に格納する。しかし、本プログラムの一部または全部をフロッピーディスク５ａやハードディスク装置６やＣＤ−ＲＯＭ９ｂ等の情報記憶媒体に格納しておき、必要に応じて情報記憶媒体よりプログラムおよびデータをＲＡＭ２０４に読み出し、これを実行させてもよい。
【００１９】
＜画像特徴量比較装置で用いるデータベース＞
また、本システムは画像データを保管、管理するため、データおよびその検索キーとなる付加情報等を含む画像データベースを有する。この画像データベースはハードディスク装置６等の情報記憶媒体上に論理的に構成されている。図３に、本システムの画像データベースの構成の一例を示す。図３に示すデータベース５０は、管理する画像情報である「画像データ」と、その画像データに対する検索キーの１つである「キーワード」と、画像データの特徴を示す特徴量等の情報から構成される。なお、図３においては、特徴量の１つとして、基本パターンを特定するためのテクスチャの周期性を示す情報（方向θ、周期ｄ）およびパターン情報を保持している例を示している。
【００２０】
＜画像特徴量比較装置の制御動作＞
以下に、本システムの具体的な制御動作についてフローチャートを用いて説明する。
【００２１】
＜メインフロー＞
図４は本システムにおいて実行されるプログラムのメインルーチンを示すフローチャートである。本プログラムが起動されると、まず、以降の各処理で必要なフラグ等のイニシャライズや、初期メニュー画面の表示等を行う初期設定処理が行われる（Ｓ１）。図５にこの初期メニュー画面の一例を示す。初期メニュー画面２１上では、所定の処理を選択するための選択項目２３〜２５がアイコンとして表示されており、この選択項目２３〜２５の１つがユーザにより選択されることにより所定の処理が実行される。なお、本システムにおいては、ディスプレイ２等上に表示された初期メニュー画面２１等の設定画面上で、ユーザにより、キーボード３やマウス４等を介して各種処理の選択、設定値の入力等が行われる。ステップＳ１の後、初期メニュー画面２１上でユーザによるメニュー選択がなされたか否かを判定する（Ｓ２）。ステップＳ２において、「テクスチャ抽出」２３が選択されれば、指定された画像データからテクスチャの基本パターンを抽出し、画像データとともに画像データベース５０に登録する等の処理を行うテクスチャ抽出処理（Ｓ３）へ進み、その後、ステップＳ６へ進む。ステップＳ２において、「テクスチャ比較検索」２４が選択されれば、指定された画像データと、データベース５０に登録されている画像データのテクスチャを比較し、類似する画像データを検索する処理を行うテクスチャ比較検索処理（Ｓ４）へ進み、その後、ステップＳ６へ進む。ステップＳ２において、「その他のメニュー」２５が選択されれば、その他のメニュー処理を行い（Ｓ５）、その後、ステップＳ６へ進む。ステップＳ２において、メニュー選択されなければ、なにもせずにステップＳ６へ進む。ステップＳ６では、その他の処理を実行し、すべての処理が終わるとステップＳ２へ戻り、以後、同様の処理が繰り返される。
【００２２】
ここで、その他のメニュー処理（Ｓ５）については、一般的な検索システムと基本的に同様であり、本願発明に直接関係しないのでここでの説明は省略する。以下に、テクスチャ抽出処理（ステップＳ３）およびテクスチャ比較検索処理（ステップＳ４）について詳細に説明する。
【００２３】
＜テクスチャ抽出処理＞
最初に、画像のテクスチャの基本パターンを抽出するテクスチャ抽出処理（ステップＳ３）について図６のフローチャートを用いて説明する。
【００２４】
まず、ユーザの指示によりデータベース５０から画面２９上で指定された画像データを取得する（Ｓ３０１）。次に、取得した画像データを正規化する（Ｓ３０２）。ここで、正規化とは、画像処理時間の短縮とノイズの削減の目的のために、画像データを所定の形状、大きさにすることである。本実施例では１２０×１２０ピクセルの大きさの画像に収まるように縦横比を維持したまま縮小する。画像データは正規化された後、以降の処理のためグレー化され、二値化される（Ｓ３０３）。
【００２５】
次に、画像のテクスチャを解析し、テクスチャの周期性を求める（Ｓ３０４）。周期性とは、テクスチャのある方向θにおいて、同じパターンが、ある距離間隔（周期）ｄ毎にある頻度以上で繰り返されることを示すものである。周期性は周期ｄと方向θとにより表される。なお、周期ｄと方向θが算出されても、繰り返しパターンの出現頻度が低いものは周期性がないとする。テクスチャの解析手法としては、従来より知られている濃度共起行列や濃度差分統計量や濃度ランレングス行列等を用いる手法がある。本実施形態では、濃度共起行列を用いて画像のテクスチャの周期ｄとその方向θを求めるものとする。すなわち、画像の中心を通る４つの方向θ（０°、４５°、９０°、１３５°）に対して、テクスチャの周期性を濃度共起行列を用いて求める。この濃度共起行列を用いたテクスチャの周期と方向を求める方法については、例えば、従来技術で示した「画像認識の基礎[II]−特徴抽出、エッジ検出、テクスチャ解析」に詳しく述べられているので、ここでの説明は省略する。
【００２６】
テクスチャの周期性（すなわち、周期ｄと方向θ）を求めた後、テクスチャに周期性があるか否かを判断する（Ｓ３０５）。本実施形態では、少なくとも２つの方向に対して周期性がある場合にテクスチャに周期性があると判断する。２つ以上の方向に対して周期性がある場合は、高い周期性を示すものから２つが選択される。すなわち、同じパターンが繰り返される頻度がより高い方向を２つ選択し、これらの方向に周期性があるとする。ステップＳ３０５での判断の結果、周期性がある場合はステップＳ３０６へ進み、周期性がない場合は処理を終了する。
【００２７】
ステップ３０６では、ステップＳ３０５で求めた２つの周期性に基づいてテクスチャの基本パターンを切り出す。ここで、この基本パターンの抽出方法について説明する。
【００２８】
例えば、テクスチャを解析した結果、２つの周期性（方向θ，周期d）＝（０°，３）、（４５°，２）が得られた場合を考える。これらの方向と周期に基づきテクスチャを構成する基本パターンを抽出する。この場合、抽出された基本パターンは図７の（ａ）に示すようになる。
【００２９】
さらに、本実施形態においては、抽出する基本パターンの各画素値の精度を向上させるため、図７の（ｂ）に示すように、パターンＰ５の位置を中心として画像の中心を含み、基本パターンと合同な９個のパターンＰ１〜Ｐ９からなる領域を検査領域とし、この検査領域内の各パターンＰ１〜Ｐ９の画素の値に基づいて、基本パターンの各画素値を求める。このとき、基本パターンの画素値は、検査領域を構成する各パターンＰ１〜Ｐ９内の対応する位置にある画素の値の平均を採用したり、画素の値の出現頻度の最も高い値を採用したり等の統計的処理により決定される。例えば、図７の（ｃ）に示すような、９個のパターンからなる領域により基本パターンの各画素値を決定する場合、１つのパターンにおいて上段の一番右側にある画素について見ると、パターンＰ３におけるこの位置の画素値は「１」（図中「黒」で示されるところを画素値「１」とする。）であり、他のパターンＰ１、Ｐ２、４〜Ｐ９におけるこの位置の画素は「０」（図中「白」で示されるところを画素値「０」とする。）であるため、基本パターンにおける当該位置の画素値は、最頻出の値である「０」とする。このようにして得られた基本パターンを図７の（ｄ）に示す。
【００３０】
このように、複数のパターンからなる領域から基本パターンの各画素値が決定されるため、基本パターン候補の範囲内に少々のノイズが入っていても取り除かれる。また、テクスチャのパターンにねじれがある場合（例えば、ビルの窓を斜めから撮影したときに近くは大きく、遠くは小さく見えるような場合）にも平均化された基本パターンを得ることができる。
【００３１】
ステップＳ３０６において基本パターンを抽出した後、この基本パターンを所定の大きさ、形状に正規化する（Ｓ３０７）。正規化は、例えば、基本パターンを３２×３２ピクセルの正方形の画像に変形することにより行われる。ここで、ピクセル数は、テクスチャ比較検索処理（Ｓ４）時に高速処理が可能なようにあまり大きな数にならないように、かつ基本パターンの特徴が失われないような大きさに設定される必要がある。
【００３２】
次に、正規化された基本パターンにおいて、基本パターンを構成する構成要素を、基本パターン全体として画像の特徴が失われないように、画像の中心に集中するようにシフトさせることにより最終的な基本パターンを得る（Ｓ３０８）。例えば、正規化（３０７）後に、図８の（ａ）に示す基本パターンが得られたとき、基本パターンを構成する構成要素を画像の中心にシフトさせ、図８の（ｂ）に示すような基本パターンにする。このように、画像の中心に集中するようにシフトした後の基本パターンを用いることにより、同じ基本パターンを有するテクスチャどうしを比較した場合、比較が容易になり、基本パターンを切り出す場所がずれた場合でも、同じ基本パターンを有するテクスチャであると判定できるようになる。また、基本パターンを人間が見た場合、感覚的に基本パターンを認識しやすいといった利点もある。基本パターンの具体的なシフト方法については後述する。
【００３３】
ステップ３０８で基本パターンをシフトした後、この基本パターンと、基本パターンの配置情報、すなわち、基本パターンを抽出するための２つの周期性に関する情報とを、画像のテクスチャ特徴量とし、画像データと関連づけて画像データベース５０に登録する（Ｓ３０９）。以上のようにして、本実施形態の画像特徴量比較装置は、画像からテクスチャの基本パターンを特徴量として抽出し、画像データと共に画像データベース５０に登録する。このようにして、本システムは、画像から特徴量として基本パターンを抽出し、画像に関連させて画像データベース５０に登録する。
【００３４】
以下に、前述のステップＳ３０８における基本パターンのシフト方法について具体的に説明する。
本実施形態では、基本パターンの画素値が１となる画素を質点とし、正規化された基本パターンの中心を通る二方向に軸をとり、これらの軸を回転軸として各回転方向に回転させた場合に、基本パターンのそれぞれの方向の慣性モーメントが最小となるように、基本パターンを構成する画像をシフトさせる。以下に、これを具体的に説明する。
【００３５】
今、図８において、（ａ）に示す基本パターンをシフトし、（ｂ）に示す基本パターンを得る場合を考える。なお、図８では、正規化サイズは８×８ピクセルとしている。最初に、図８の（ａ）に示す基本パターンのＸ方向、Ｙ方向それぞれの画素値「１」（図中、「黒」で示す画素）が出現する頻度を求める。まずＸ方向について考える。Ｘ方向の各列毎の画素値「１」となる画素の出現頻度をデータ列Ｐ＿Ｘで表すと、これは図９の（ａ）に示すようになる。
【００３６】
次に、Ｘ方向に垂直となる軸を中心として基本パターンを回転させたときの慣性モーメントＩxについて考える。まず、図９の（ａ）に示すデータ列Ｐ＿Ｘを半分に分割した後、前半部を元のデータ列Ｐ＿Ｘの後ろに付加し、後半部を元のデータ列Ｐ＿Ｘの前に付加することにより、図９の（ｂ）に示す拡張したデータ列Ｅｘｔ＿Ｘを生成する。このようにして得られるデータ列Ｅｘｔ＿Ｘを用いて慣性モーメントＩxを計算する。慣性モーメントＩxは正規化サイズ分のデータに対して計算される。したがって、図９の例では、Ｘ方向の正規化サイズは８ピクセルであるので、回転軸の前後４ピクセル分のデータが慣性モーメントＩxについて計算対象となる（Ｙ方向についても同様とする。）。
【００３７】
ここで、回転軸について考える。データ列Ｅｘｔ＿Ｘにおいて、慣性モーメントＩxを計算するときの回転軸の位置は、正規化されたときの画像サイズが奇数であるか偶数であるかにより異なる。図１０は正規化サイズが偶数および奇数の場合のデータ列Ｅｘｔ＿Ｘに対する回転軸の位置の決め方を説明したものである。画像サイズが偶数であるときは図１０の（ａ）のように列と列との間に回転軸を設定し、画像サイズが奇数であるときは図１０の（ｂ）のように列（画素）の中心に軸を設定する。したがって、図９に示す例では、正規化サイズが偶数であるので、図１０の（ａ）のように列と列との間に回転軸を設定する。
【００３８】
図９の（ｂ）に示すデータ列Ｅｘｔ＿Ｘにおいて、回転軸の位置ｉを０から７まで順次変更していき、その都度、慣性モーメントＩxを計算し、慣性モーメントＩxが最小となるときの回転軸の位置ｉを決定する。慣性モーメントＩxが最小となる回転軸の位置ｉを求めた後、このときの回転軸の位置と、正規化された基本パターンの中心軸Ａx、Ａyとの差分だけ、画像を中心位置にシフトさせることにより基本パターンが画像の中心に集中して位置するようになる。
【００３９】
図９で示す拡張したデータ列Ｅｘｔ＿Ｘについて回転軸の位置を順次変化させた場合の回転軸を中心として前後４列分による慣性モーメントＩx(i)を計算した結果を以下に示す。ここで、iは回転軸のｘ方向の位置を示す。回転軸からの距離は図１０の（ａ）に示す値を用いた。
Ｉx(0)＝０×３．５2＋０×２．５2＋１×１．５2＋６×０．５2＋６×０．５2＋５×１．５2＋４×２．５2＋０×３．５2＝４１．５…（１）
Ｉx(1)＝０×３．５2＋１×２．５2＋６×１．５2＋６×０．５2＋５×０．５2＋４×１．５2＋０×２．５2＋０×３．５2＝３１．５…（２）
Ｉx(2)＝１×３．５2＋６×２．５2＋６×１．５2＋５×０．５2＋４×０．５2＋０×１．５2＋０×２．５2＋０×３．５2＝６５．５…（３）
Ｉx(3)＝６×３．５2＋６×２．５2＋５×１．５2＋４×０．５2＋０×０．５2＋０×１．５2＋０×２．５2＋１×３．５2＝１３５．５…（４）
Ｉx(4)＝６×３．５2＋５×２．５2＋４×１．５2＋０×０．５2＋０×０．５2＋０×１．５2＋１×２．５2＋６×３．５2＝１９３．５…（５）
Ｉx(5)＝５×３．５2＋４×２．５2＋０×１．５2＋０×０．５2＋０×０．５2＋１×１．５2＋６×２．５2＋６×３．５2＝１９９．５…（６）
Ｉx(6)＝４×３．５2＋０×２．５2＋０×１．５2＋０×０．５2＋１×０．５2＋６×１．５2＋６×２．５2＋５×３．５2＝１６１．５…（７）
Ｉx(7)＝０×３．５2＋０×２．５2＋１×１．５2＋１×０．５2＋６×０．５2＋６×１．５2＋５×２．５2＋４×３．５2＝９５．５…（８）
【００４０】
上記の計算結果により、回転軸の位置ｉが１のとき慣性モーメントＩxが最小となる、すなわち、Ｘ方向において、第１列と第２列との間に回転軸がある場合に慣性モーメントＩxが最小となる。このとき、この回転軸と中心軸との差分は３画素となる。これにより、Ｘ方向に３画素分シフトさせる必要があることがわかる。
【００４１】
同様に、Ｙ方向の各行に対して画素「１」の出現頻度Ｐ＿Ｙ及びＹ方向の拡張したデータ列Ｅｘｔ＿Ｙを求めると、これらは図１１に示すようになる。慣性モーメントＩy(i)（i＝０〜７）を計算し、最小値を求めると、Ｉy(1)が最小となる。したがって、Ｙ方向に３画素分シフトさせればよいことがわかる。以上のようにして、Ｘ、Ｙ方向のシフト量を求めた後、図９の（ａ）に示す画像をＸ方向に３画素分、Ｙ方向に３画素分だけ、中心軸方向にシフトさせることにより、図９の（ｂ）に示す基本パターンが得られる。このように本実施形態では、基本パターンの中心を通過する軸に対する画像の慣性モーメントが最小となるように画像をシフトさせることにより、抽出したテクスチャの基本パターンを、基本パターンを切り出す位置にかかわらず認識が容易となる基本パターンにすることができる。
【００４２】
なお、本実施形態では、画像の慣性モーメントが最小となるように基本パターンを画像の中心に位置するようにシフトさせているが、他の方法として最も特徴量のある部分、例えば何かしら大きな固まりのようなものを中心に位置するようにシフトする方法も考えられる。
【００４３】
＜テクスチャ比較検索処理のフロー＞
次に、テクスチャ比較検索処理（Ｓ４）について図１２のフローチャートを用いて説明する。ここでは、画像検索を行う場合に、検索キーとなる画像（以下、「キー画像」という。）がユーザーによりキーボード３等を介して画面上で指定され、このキー画像のテクスチャの基本パターンとよく似た基本パターンを持つ画像を画像データベース５０から検索し、ディスプレイ２等の表示部に表示する処理を説明する。
【００４４】
まず、ユーザーが指定したキー画像のテクスチャ情報をデータベース５０からロードする（Ｓ４０１）。ここで、テクスチャ情報には、前述のテクスチャ抽出処理（Ｓ３）で抽出した画像の基本パターンや、その他の画像の特徴量が含まれる。検索対象の画像データベース５０においてレコードポインタをトップに移動する（Ｓ４０２）。レコードポインタにより指定される検索対象画像のテクスチャ情報をデータベース５０からロードする（Ｓ４０３）。キー画像のテクスチャ基本パターンと、検索対象画像のテクスチャ基本パターン画像との類似度を計算する（Ｓ４０４）。類似度の計算の詳細については後述する。その後、計算された類似度に基づいて、検索対象画像とキー画像が類似しているか否かを判定する（Ｓ４０５）。両画像が類似していない場合は、ステップＳ４０８に進み、類似している場合は、ステップＳ４０６に進む。
【００４５】
ステップＳ４０６では、現在のレコードポインタが示す画像の画像情報をロードする。ここで、画像情報には、画像データ並びに画像データのファイル名もしくは画像データの保管位置を示すパス名等の属性情報等が含まれる。ロードした画像情報を検索結果としてディスプレイ２等の表示部に表示し（Ｓ４０７）、ステップＳ４０８に進む。検索結果の表示例として、サムネイル画像を表示する方法、画像の名前を表示する方法、サムネイルを生成した元画像のファイル名やパスを表示する方法、元画像の入手先を表示する方法などのバリエーションが考えられる。又は、類似性があると判定した結果の画像の数をカウントし、その数を表示する方法も考えられる。
【００４６】
ステップＳ４０８では、レコードポインタを一つ進める。その後、画像データベース５０中に、レコードポインタで示される次の検索対象の画像データがあるか否かを判定する（Ｓ４０９）。画像データベース５０中に新たに検索するデータがなければ処理は終了し、データがあればステップＳ４０３に戻り、画像データベース５０において検索対象がなくなるまで、上記の処理を繰り返す。
【００４７】
このようにして、テクスチャ比較検索処理においては、画像間の比較を行う際に、テクスチャ抽出処理で抽出された後、正規化され、中心にシフトされた基本パターンを用いることにより、データベース５０からロードした基本パターンを、加工することなくそのまま比較検索処理に使用できるため、比較処理が効率よくかつ正確に行える。
【００４８】
以下に、ステップＳ４０４におけるキー画像と比較対象画像との間の類似度の計算方法の一例を示す。類似度は、２つの画像の濃度１の画素がどれだけ近くにあるかを定量的に算出することにより求められる。すなわち、以下の３つの値Ｐ0〜Ｐ2を用いて計算される；
Ｐ0：比較対象画像において、キー画像における濃度１の画素位置に対応する位置に濃度１の画素がある確率、
Ｐ1：比較対象画像において、キー画像における濃度１の画素位置に対応する位置の上下左右に濃度１の画素がある確率、
Ｐ2：比較対象画像において、キー画像における濃度１の画素位置に対応する位置から市外区距離が２となる位置に濃度１の画素がある確率。
【００４９】
これらの値を用いて、類似度Ｄは以下の式で求められる。
Ｄ＝（Ｗ0・Ｐ0＋Ｗ1・Ｐ1＋Ｗ2・Ｐ2）／（Ｗ0＋Ｗ1＋Ｗ2） …（９）
ここで、Ｗ0はＰ0のウェイト、Ｗ1はＰ1のウェイト、Ｗ2はＰ2のウェイトであり、Ｗ0＞Ｗ1＞Ｗ2を満たす関係にある。したがって、類似度Ｄは大きい程、２つの画像がより類似していることを示す。この類似度Ｄを所定値と比較し、類似度Ｄが所定値より大きいときに類似性があると判断する。
【００５０】
以上のようにして、本実施形態の画像特徴量比較装置では、画像の周期と方向に基づいてテクスチャの基本パターンを抽出し、正規化し、基本パターンが中心に集中するようにシフトさせた後、画像に対して特徴量として付加する。このようにして得られる画像のテクスチャの基本パターンを用いて画像間の比較を行うことにより、画像の比較検索時において効率よく画像の検索処理が行える。
【００５１】
【発明の効果】
本発明の第１の画像特徴量比較装置によれば、画像のテクスチャの周期性に基づいて、画像の特徴量として、テクスチャの基本パターンを抽出することができる。
【００５２】
また、第１の画像特徴量比較装置において、抽出された基本パターンを正規化し、所定の大きさ、形状にする。これにより、大きさ、形状の異なる画像間で、画像を比較し、類似性等の判断を行う場合に容易に判断を行うことができ、画像の検索比較処理等において処理効率を向上することができる。
【００５３】
また、第１の画像特徴量比較装置において、抽出した基本パターンが複数の構成要素からなる場合は、これらの構成要素ができるだけ集中するように、基本パターンの特徴を保持しつつ、構成要素をシフトすることにより、より認識しやすい基本パターンを形成することができ、画像の検索比較処理等において処理効率を向上することができる。
【００５４】
さらに、第１および第２の画像特徴量比較装置によれば、キー画像と類似の画像を比較・検索する際に、画像のテクスチャの基本パターンを用いて類似性の判断を行うため、類似性の判断が容易に行える。この際、所定の大きさ、形状に正規化され、また、画像が中心に位置するようにシフトされた基本パターンを用いることにより、より高速に、かつ、正確に比較・検索処理が行える。
【図面の簡単な説明】
【図１】 本実施形態の画像特徴量比較装置の構成の概略を示す図。
【図２】 制御装置を中心としたブロック図。
【図３】 画像データベースの構成図。
【図４】 画像特徴量比較装置のメインのフローチャート。
【図５】 データ入力または設定等の画面の表示例を示した図。
【図６】 画像特徴量比較装置におけるテクスチャ抽出処理のフローチャート。
【図７】 テクスチャの周期と方向に基づいて抽出された基本パターンを示す図。
【図８】 基本パターンのシフトの具体例を説明した図。
【図９】 慣性モーメントを求める方法を説明するためのＸ方向のデータ列を示した図。
【図１０】 回転軸の設定を説明するための図。
【図１１】 慣性モーメントを求める方法を説明するためのＹ方向のデータ列を示した図。
【図１２】 画像特徴量比較装置におけるテクスチャ比較検索処理のフローチャート。
【符号の説明】
１…制御装置、 ２…ディスプレイ、 ３…キーボード、 ４…マウス、 ５ａ…フロッピーディスク、 ５ｂ…フロッピーディスク装置、 ６…ハードディスク、 ７…プリンタ、 ８…スキャナ、 ９ａ…ＣＤ−ＲＯＭ、 ９ｂ…ＣＤ−ＲＯＭ装置、 １０…スピーカ、 １１…マイク、 ２１…初期設定画面、 ２３〜２５…選択用アイコン、 ２９，３０…設定用画面、 ５０…画像データベース、 ２０１…ＣＰＵ、 ２０２…クロック、 ２０３…ＲＯＭ、 ２０４…ＲＡＭ。
【発明の属する技術分野】
本発明は、画像の特徴量を用いて異なる画像間の比較を行う画像特徴量比較装置に関するものである。
【０００２】
【従来の技術】
一般に、画像データベースは、画像データに、作成日、修正日、ファイル名、ファイルフォーマット等の属性情報と、キーワード、形状特徴、色味、音声等の検索情報とを付加し、保管・管理する。このような画像データベースにおいて、データを登録する際に、属性情報が自動的に付加されることは一般的に行われている。画像データベースにおいて、画像データを検索する場合、キーとなる画像と、検索対象となる画像との特徴量を比較する必要があるが、このとき、特徴量として画像のテクスチャパターンを用いることは有効な手段である。このため、画像におけるテクスチャの構造的情報を抽出するための効率的な方法が要望される。
【０００３】
【発明が解決しようとする課題】
テクスチャの構造的情報を抽出する方法として、例えば、「画像認識の基礎[II]−特徴抽出、エッジ検出、テクスチャ解析」（森俊二他著、オーム社）に開示された方法がある。ここでは、厳密な手法により画像におけるテクスチャの基本パターンと配置を抽出する手法が説明されているが、処理が複雑で処理速度の面で現実的でない。
【０００４】
また、画像からテクスチャ情報を抽出する方法として、特開平５−２８２６６号公報に開示された発明がある。この発明では、画像を正方形状のブロックに分割し、各ブロック毎に特徴量を算出している。しかし、この方法では、テクスチャ構造パターンの抽出までは行っていない。
【０００５】
本発明は上記問題を解決するためになされたものであり、その目的とするところは、画像から画像特徴量としてテクスチャの基本パターンを抽出し、画像のテクスチャの基本パターンを用いて画像間の比較を行うことにより、精度よく画像検索が可能となる画像特徴量比較装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る画像特徴量比較装置は、多値化された画素情報が二次元格子状に配列されてなるテクスチャを含む画像から画像の特徴量を抽出し、該特徴量に基づいて異なる画像間の比較を行う画像特徴量比較装置において、画像を、画像の特徴量とともに記憶する画像記憶手段と、画像において、テクスチャの一定方向において同じパターンが一定間隔で繰り返し現れることを示す特性である周期性を求める周期性検出手段と、該周期性検出手段により求められた周期性に基づいて、画像から、画像のテクスチャ内に周期的に含まれるパターンを一旦抽出し、そのパターンの構成要素を画像の中心にシフトさせたパターンを基本パターンとして抽出する抽出手段と、前記基本パターンと、前記周期性に関する情報とを、特徴量として画像に付加して登録する登録手段とを備える。
【０００７】
また、前記第１の画像特徴量比較装置において、前記周期性検出手段により求められた周期性のうち二方向の周期性を用いて、前記画像からテクスチャの基本パターンを抽出してもよい。
【０００８】
また、前記画像特徴量比較装置において、前記抽出手段は、前記基本パターンを抽出した後に、さらに該基本パターンを所定の画像サイズおよび形状に正規化してもよい。
【０００９】
また、前記画像特徴量比較装置において、前記基本パターンが複数の構成要素からなる場合、前記抽出手段は、前記パターンを抽出した後に、前記パターンの中心付近において回転軸を設定し、該回転軸を中心に前記パターンを構成する構成要素を回転させたときに前記パターンの慣性モーメントが最小となるように、前記各構成要素を、画像の特徴を保持しながら前記回転軸付近に集中するようにシフトさせることで前記基本パターンを得てもよい。
【００１０】
また、前記画像特徴量比較装置において、検索キーとなる画像を指定する画像指定手段と、前記検索キーとなる画像に対するテクスチャの基本パターン及び周期性に関する情報と、前記画像記憶手段中に保持される検索対象の画像に対するテクスチャの基本パターン及び周期性に関する情報とに基づいて、両画像間の類似度を計算する類似度計算手段と、該類似度計算手段による類似度に基づき、両画像が類似しているか否かを判断する判断手段と、該類似度判断手段による判断結果に基づき、両画像が類似しているときに、前記検索対象の画像を検索結果として出力する画像出力手段とを備えてもよい。
【００１２】
本発明に係るコンピュータ読み取り可能な記録媒体は、多値化された画素情報が二次元格子状に配列されてなるテクスチャを含む画像から画像の特徴量を抽出し、該特徴量に基づいて画像間の比較を行う画像特徴量比較プログラムであって、画像を入力するステップと、画像において、テクスチャの一定方向において同じパターンが一定間隔で繰り返し現れることを示す特性である周期性を求めるステップと、該求められた周期性に基づいて、画像から、画像のテクスチャ内に周期的に含まれるパターンを一旦抽出し、そのパターンの構成要素を画像の中心にシフトさせたパターンを基本パターンとして抽出するステップと、前記基本パターンと、前記周期性に関する情報とを、特徴量として画像に付加して登録するステップとを有するプログラムを記録する。
【００１４】
【発明の実施の形態】
以下、添付の図面を用いて本発明に係る画像特徴量比較装置の実施の形態を説明する。
【００１５】
本実施形態の画像特徴量比較装置は、画像からテクスチャの中に周期的に現われる基本的なパターン（以下、「基本パターン」という。）をパターンの大きさや歪みに依存しない方法で抽出し、このパターンを画像の特徴量として保存する。また、このテクスチャの基本パターンを用いて画像間の比較を行うことにより、正確かつ高速な画像の比較検索を可能とする。
【００１６】
＜画像特徴量比較装置の全体構成＞
図１に本実施形態の画像特徴量比較装置（以下、「システム」と称す。）の概略構成図を示す。図１に示すように、システムは中央演算処理（以下、「ＣＰＵ」と称す。）を備え、システム全体を制御する制御装置１を中心として構成される。ＣＰＵには例えばインテル社製のペンティアム等が用いられる。この制御装置１には、画像あるいは文字等の表示や、操作のための表示等を行うディスプレイ２と、各種入力、指示操作等を行うためのキーボード３およびマウス４と、データ保管媒体であるフロッピーディスク装置５ａおよびハードディスク装置６と、文字や画像データ等を印刷するプリンタ７と、画像データを取り込むためのスキャナ８と、ＣＤ−ＲＯＭ９ａに格納されたデータを読み出すためのＣＤ−ＲＯＭ装置９ｂと、音声出力のためのスピーカ１０と、音声入力のためのマイクロホン１１とが接続される。
【００１７】
図２に本システムのブロック図を示す。ＣＰＵ２０１には、データバス２２０を介して、本システムを制御するプログラムが格納されているＲＯＭ２０３と、ＣＰＵ２０１が制御のために実行するプログラムやデータを一時的に格納するＲＡＭ２０４とが接続される。また、ＣＰＵ２０１にデータバス２２０を介して接続される回路には、画像あるいは文字等の表示のためディスプレイ２を制御する表示制御回路２０５と、キーボード３からの入力を転送制御するキーボード制御回路２０６と、マウス４からの入力を転送制御するマウス制御回路２０７と、フロッピーディスク装置５ｂを制御するフロッピーディスク装置制御回路２０８と、ハードディスク装置６を制御するハードディスク装置制御回路２０９と、プリンタ７への出力を制御するプリンタ制御回路２１０と、スキャナ８を制御するスキャナ制御回路２１１と、ＣＤ−ＲＯＭ装置９ｂを制御するＣＤ−ＲＯＭ装置制御回路２１２と、スピーカ１０を制御するスピーカ制御回路２１３と、マイクロホン１１を制御するマイクロホン制御回路２１４とがある。さらに、ＣＰＵ２０１には、システムを動作させるために必要な基準クロックを発生させるためのクロック２０２が接続され、また、各種拡張ボードを接続するための拡張スロット２１５がデータバス２２０を介して接続される。なお、拡張スロット２１５にＳＣＳＩＩボードを接続し、このＳＣＳＩＩボードを介してフロッピーディスク装置５ｂ、ハードディスク装置６、スキャナ８またはＣＤ−ＲＯＭ装置９ｂ等を接続してもよい。
【００１８】
なお、上記システムにおいて、画像データ保管媒体としてはフロッピーディスク５ａ、ハードディスク装置６を用いているが、光磁気ディスク（ＭＯ）等の他の情報記憶媒体でもよい。また、画像データ入力装置としてスキャナ８を用いているが、スチルビデオカメラやデジタルカメラ等の他のデータ入力装置であってもよい。さらに、出力装置としてプリンタ７を用いているが、デジタル複写機等の他の出力装置であってもよい。また、本システムでは、データの管理システムを実現するプログラムをＲＯＭ２０３に格納する。しかし、本プログラムの一部または全部をフロッピーディスク５ａやハードディスク装置６やＣＤ−ＲＯＭ９ｂ等の情報記憶媒体に格納しておき、必要に応じて情報記憶媒体よりプログラムおよびデータをＲＡＭ２０４に読み出し、これを実行させてもよい。
【００１９】
＜画像特徴量比較装置で用いるデータベース＞
また、本システムは画像データを保管、管理するため、データおよびその検索キーとなる付加情報等を含む画像データベースを有する。この画像データベースはハードディスク装置６等の情報記憶媒体上に論理的に構成されている。図３に、本システムの画像データベースの構成の一例を示す。図３に示すデータベース５０は、管理する画像情報である「画像データ」と、その画像データに対する検索キーの１つである「キーワード」と、画像データの特徴を示す特徴量等の情報から構成される。なお、図３においては、特徴量の１つとして、基本パターンを特定するためのテクスチャの周期性を示す情報（方向θ、周期ｄ）およびパターン情報を保持している例を示している。
【００２０】
＜画像特徴量比較装置の制御動作＞
以下に、本システムの具体的な制御動作についてフローチャートを用いて説明する。
【００２１】
＜メインフロー＞
図４は本システムにおいて実行されるプログラムのメインルーチンを示すフローチャートである。本プログラムが起動されると、まず、以降の各処理で必要なフラグ等のイニシャライズや、初期メニュー画面の表示等を行う初期設定処理が行われる（Ｓ１）。図５にこの初期メニュー画面の一例を示す。初期メニュー画面２１上では、所定の処理を選択するための選択項目２３〜２５がアイコンとして表示されており、この選択項目２３〜２５の１つがユーザにより選択されることにより所定の処理が実行される。なお、本システムにおいては、ディスプレイ２等上に表示された初期メニュー画面２１等の設定画面上で、ユーザにより、キーボード３やマウス４等を介して各種処理の選択、設定値の入力等が行われる。ステップＳ１の後、初期メニュー画面２１上でユーザによるメニュー選択がなされたか否かを判定する（Ｓ２）。ステップＳ２において、「テクスチャ抽出」２３が選択されれば、指定された画像データからテクスチャの基本パターンを抽出し、画像データとともに画像データベース５０に登録する等の処理を行うテクスチャ抽出処理（Ｓ３）へ進み、その後、ステップＳ６へ進む。ステップＳ２において、「テクスチャ比較検索」２４が選択されれば、指定された画像データと、データベース５０に登録されている画像データのテクスチャを比較し、類似する画像データを検索する処理を行うテクスチャ比較検索処理（Ｓ４）へ進み、その後、ステップＳ６へ進む。ステップＳ２において、「その他のメニュー」２５が選択されれば、その他のメニュー処理を行い（Ｓ５）、その後、ステップＳ６へ進む。ステップＳ２において、メニュー選択されなければ、なにもせずにステップＳ６へ進む。ステップＳ６では、その他の処理を実行し、すべての処理が終わるとステップＳ２へ戻り、以後、同様の処理が繰り返される。
【００２２】
ここで、その他のメニュー処理（Ｓ５）については、一般的な検索システムと基本的に同様であり、本願発明に直接関係しないのでここでの説明は省略する。以下に、テクスチャ抽出処理（ステップＳ３）およびテクスチャ比較検索処理（ステップＳ４）について詳細に説明する。
【００２３】
＜テクスチャ抽出処理＞
最初に、画像のテクスチャの基本パターンを抽出するテクスチャ抽出処理（ステップＳ３）について図６のフローチャートを用いて説明する。
【００２４】
まず、ユーザの指示によりデータベース５０から画面２９上で指定された画像データを取得する（Ｓ３０１）。次に、取得した画像データを正規化する（Ｓ３０２）。ここで、正規化とは、画像処理時間の短縮とノイズの削減の目的のために、画像データを所定の形状、大きさにすることである。本実施例では１２０×１２０ピクセルの大きさの画像に収まるように縦横比を維持したまま縮小する。画像データは正規化された後、以降の処理のためグレー化され、二値化される（Ｓ３０３）。
【００２５】
次に、画像のテクスチャを解析し、テクスチャの周期性を求める（Ｓ３０４）。周期性とは、テクスチャのある方向θにおいて、同じパターンが、ある距離間隔（周期）ｄ毎にある頻度以上で繰り返されることを示すものである。周期性は周期ｄと方向θとにより表される。なお、周期ｄと方向θが算出されても、繰り返しパターンの出現頻度が低いものは周期性がないとする。テクスチャの解析手法としては、従来より知られている濃度共起行列や濃度差分統計量や濃度ランレングス行列等を用いる手法がある。本実施形態では、濃度共起行列を用いて画像のテクスチャの周期ｄとその方向θを求めるものとする。すなわち、画像の中心を通る４つの方向θ（０°、４５°、９０°、１３５°）に対して、テクスチャの周期性を濃度共起行列を用いて求める。この濃度共起行列を用いたテクスチャの周期と方向を求める方法については、例えば、従来技術で示した「画像認識の基礎[II]−特徴抽出、エッジ検出、テクスチャ解析」に詳しく述べられているので、ここでの説明は省略する。
【００２６】
テクスチャの周期性（すなわち、周期ｄと方向θ）を求めた後、テクスチャに周期性があるか否かを判断する（Ｓ３０５）。本実施形態では、少なくとも２つの方向に対して周期性がある場合にテクスチャに周期性があると判断する。２つ以上の方向に対して周期性がある場合は、高い周期性を示すものから２つが選択される。すなわち、同じパターンが繰り返される頻度がより高い方向を２つ選択し、これらの方向に周期性があるとする。ステップＳ３０５での判断の結果、周期性がある場合はステップＳ３０６へ進み、周期性がない場合は処理を終了する。
【００２７】
ステップ３０６では、ステップＳ３０５で求めた２つの周期性に基づいてテクスチャの基本パターンを切り出す。ここで、この基本パターンの抽出方法について説明する。
【００２８】
例えば、テクスチャを解析した結果、２つの周期性（方向θ，周期d）＝（０°，３）、（４５°，２）が得られた場合を考える。これらの方向と周期に基づきテクスチャを構成する基本パターンを抽出する。この場合、抽出された基本パターンは図７の（ａ）に示すようになる。
【００２９】
さらに、本実施形態においては、抽出する基本パターンの各画素値の精度を向上させるため、図７の（ｂ）に示すように、パターンＰ５の位置を中心として画像の中心を含み、基本パターンと合同な９個のパターンＰ１〜Ｐ９からなる領域を検査領域とし、この検査領域内の各パターンＰ１〜Ｐ９の画素の値に基づいて、基本パターンの各画素値を求める。このとき、基本パターンの画素値は、検査領域を構成する各パターンＰ１〜Ｐ９内の対応する位置にある画素の値の平均を採用したり、画素の値の出現頻度の最も高い値を採用したり等の統計的処理により決定される。例えば、図７の（ｃ）に示すような、９個のパターンからなる領域により基本パターンの各画素値を決定する場合、１つのパターンにおいて上段の一番右側にある画素について見ると、パターンＰ３におけるこの位置の画素値は「１」（図中「黒」で示されるところを画素値「１」とする。）であり、他のパターンＰ１、Ｐ２、４〜Ｐ９におけるこの位置の画素は「０」（図中「白」で示されるところを画素値「０」とする。）であるため、基本パターンにおける当該位置の画素値は、最頻出の値である「０」とする。このようにして得られた基本パターンを図７の（ｄ）に示す。
【００３０】
このように、複数のパターンからなる領域から基本パターンの各画素値が決定されるため、基本パターン候補の範囲内に少々のノイズが入っていても取り除かれる。また、テクスチャのパターンにねじれがある場合（例えば、ビルの窓を斜めから撮影したときに近くは大きく、遠くは小さく見えるような場合）にも平均化された基本パターンを得ることができる。
【００３１】
ステップＳ３０６において基本パターンを抽出した後、この基本パターンを所定の大きさ、形状に正規化する（Ｓ３０７）。正規化は、例えば、基本パターンを３２×３２ピクセルの正方形の画像に変形することにより行われる。ここで、ピクセル数は、テクスチャ比較検索処理（Ｓ４）時に高速処理が可能なようにあまり大きな数にならないように、かつ基本パターンの特徴が失われないような大きさに設定される必要がある。
【００３２】
次に、正規化された基本パターンにおいて、基本パターンを構成する構成要素を、基本パターン全体として画像の特徴が失われないように、画像の中心に集中するようにシフトさせることにより最終的な基本パターンを得る（Ｓ３０８）。例えば、正規化（３０７）後に、図８の（ａ）に示す基本パターンが得られたとき、基本パターンを構成する構成要素を画像の中心にシフトさせ、図８の（ｂ）に示すような基本パターンにする。このように、画像の中心に集中するようにシフトした後の基本パターンを用いることにより、同じ基本パターンを有するテクスチャどうしを比較した場合、比較が容易になり、基本パターンを切り出す場所がずれた場合でも、同じ基本パターンを有するテクスチャであると判定できるようになる。また、基本パターンを人間が見た場合、感覚的に基本パターンを認識しやすいといった利点もある。基本パターンの具体的なシフト方法については後述する。
【００３３】
ステップ３０８で基本パターンをシフトした後、この基本パターンと、基本パターンの配置情報、すなわち、基本パターンを抽出するための２つの周期性に関する情報とを、画像のテクスチャ特徴量とし、画像データと関連づけて画像データベース５０に登録する（Ｓ３０９）。以上のようにして、本実施形態の画像特徴量比較装置は、画像からテクスチャの基本パターンを特徴量として抽出し、画像データと共に画像データベース５０に登録する。このようにして、本システムは、画像から特徴量として基本パターンを抽出し、画像に関連させて画像データベース５０に登録する。
【００３４】
以下に、前述のステップＳ３０８における基本パターンのシフト方法について具体的に説明する。
本実施形態では、基本パターンの画素値が１となる画素を質点とし、正規化された基本パターンの中心を通る二方向に軸をとり、これらの軸を回転軸として各回転方向に回転させた場合に、基本パターンのそれぞれの方向の慣性モーメントが最小となるように、基本パターンを構成する画像をシフトさせる。以下に、これを具体的に説明する。
【００３５】
今、図８において、（ａ）に示す基本パターンをシフトし、（ｂ）に示す基本パターンを得る場合を考える。なお、図８では、正規化サイズは８×８ピクセルとしている。最初に、図８の（ａ）に示す基本パターンのＸ方向、Ｙ方向それぞれの画素値「１」（図中、「黒」で示す画素）が出現する頻度を求める。まずＸ方向について考える。Ｘ方向の各列毎の画素値「１」となる画素の出現頻度をデータ列Ｐ＿Ｘで表すと、これは図９の（ａ）に示すようになる。
【００３６】
次に、Ｘ方向に垂直となる軸を中心として基本パターンを回転させたときの慣性モーメントＩxについて考える。まず、図９の（ａ）に示すデータ列Ｐ＿Ｘを半分に分割した後、前半部を元のデータ列Ｐ＿Ｘの後ろに付加し、後半部を元のデータ列Ｐ＿Ｘの前に付加することにより、図９の（ｂ）に示す拡張したデータ列Ｅｘｔ＿Ｘを生成する。このようにして得られるデータ列Ｅｘｔ＿Ｘを用いて慣性モーメントＩxを計算する。慣性モーメントＩxは正規化サイズ分のデータに対して計算される。したがって、図９の例では、Ｘ方向の正規化サイズは８ピクセルであるので、回転軸の前後４ピクセル分のデータが慣性モーメントＩxについて計算対象となる（Ｙ方向についても同様とする。）。
【００３７】
ここで、回転軸について考える。データ列Ｅｘｔ＿Ｘにおいて、慣性モーメントＩxを計算するときの回転軸の位置は、正規化されたときの画像サイズが奇数であるか偶数であるかにより異なる。図１０は正規化サイズが偶数および奇数の場合のデータ列Ｅｘｔ＿Ｘに対する回転軸の位置の決め方を説明したものである。画像サイズが偶数であるときは図１０の（ａ）のように列と列との間に回転軸を設定し、画像サイズが奇数であるときは図１０の（ｂ）のように列（画素）の中心に軸を設定する。したがって、図９に示す例では、正規化サイズが偶数であるので、図１０の（ａ）のように列と列との間に回転軸を設定する。
【００３８】
図９の（ｂ）に示すデータ列Ｅｘｔ＿Ｘにおいて、回転軸の位置ｉを０から７まで順次変更していき、その都度、慣性モーメントＩxを計算し、慣性モーメントＩxが最小となるときの回転軸の位置ｉを決定する。慣性モーメントＩxが最小となる回転軸の位置ｉを求めた後、このときの回転軸の位置と、正規化された基本パターンの中心軸Ａx、Ａyとの差分だけ、画像を中心位置にシフトさせることにより基本パターンが画像の中心に集中して位置するようになる。
【００３９】
図９で示す拡張したデータ列Ｅｘｔ＿Ｘについて回転軸の位置を順次変化させた場合の回転軸を中心として前後４列分による慣性モーメントＩx(i)を計算した結果を以下に示す。ここで、iは回転軸のｘ方向の位置を示す。回転軸からの距離は図１０の（ａ）に示す値を用いた。
Ｉx(0)＝０×３．５2＋０×２．５2＋１×１．５2＋６×０．５2＋６×０．５2＋５×１．５2＋４×２．５2＋０×３．５2＝４１．５…（１）
Ｉx(1)＝０×３．５2＋１×２．５2＋６×１．５2＋６×０．５2＋５×０．５2＋４×１．５2＋０×２．５2＋０×３．５2＝３１．５…（２）
Ｉx(2)＝１×３．５2＋６×２．５2＋６×１．５2＋５×０．５2＋４×０．５2＋０×１．５2＋０×２．５2＋０×３．５2＝６５．５…（３）
Ｉx(3)＝６×３．５2＋６×２．５2＋５×１．５2＋４×０．５2＋０×０．５2＋０×１．５2＋０×２．５2＋１×３．５2＝１３５．５…（４）
Ｉx(4)＝６×３．５2＋５×２．５2＋４×１．５2＋０×０．５2＋０×０．５2＋０×１．５2＋１×２．５2＋６×３．５2＝１９３．５…（５）
Ｉx(5)＝５×３．５2＋４×２．５2＋０×１．５2＋０×０．５2＋０×０．５2＋１×１．５2＋６×２．５2＋６×３．５2＝１９９．５…（６）
Ｉx(6)＝４×３．５2＋０×２．５2＋０×１．５2＋０×０．５2＋１×０．５2＋６×１．５2＋６×２．５2＋５×３．５2＝１６１．５…（７）
Ｉx(7)＝０×３．５2＋０×２．５2＋１×１．５2＋１×０．５2＋６×０．５2＋６×１．５2＋５×２．５2＋４×３．５2＝９５．５…（８）
【００４０】
上記の計算結果により、回転軸の位置ｉが１のとき慣性モーメントＩxが最小となる、すなわち、Ｘ方向において、第１列と第２列との間に回転軸がある場合に慣性モーメントＩxが最小となる。このとき、この回転軸と中心軸との差分は３画素となる。これにより、Ｘ方向に３画素分シフトさせる必要があることがわかる。
【００４１】
同様に、Ｙ方向の各行に対して画素「１」の出現頻度Ｐ＿Ｙ及びＹ方向の拡張したデータ列Ｅｘｔ＿Ｙを求めると、これらは図１１に示すようになる。慣性モーメントＩy(i)（i＝０〜７）を計算し、最小値を求めると、Ｉy(1)が最小となる。したがって、Ｙ方向に３画素分シフトさせればよいことがわかる。以上のようにして、Ｘ、Ｙ方向のシフト量を求めた後、図９の（ａ）に示す画像をＸ方向に３画素分、Ｙ方向に３画素分だけ、中心軸方向にシフトさせることにより、図９の（ｂ）に示す基本パターンが得られる。このように本実施形態では、基本パターンの中心を通過する軸に対する画像の慣性モーメントが最小となるように画像をシフトさせることにより、抽出したテクスチャの基本パターンを、基本パターンを切り出す位置にかかわらず認識が容易となる基本パターンにすることができる。
【００４２】
なお、本実施形態では、画像の慣性モーメントが最小となるように基本パターンを画像の中心に位置するようにシフトさせているが、他の方法として最も特徴量のある部分、例えば何かしら大きな固まりのようなものを中心に位置するようにシフトする方法も考えられる。
【００４３】
＜テクスチャ比較検索処理のフロー＞
次に、テクスチャ比較検索処理（Ｓ４）について図１２のフローチャートを用いて説明する。ここでは、画像検索を行う場合に、検索キーとなる画像（以下、「キー画像」という。）がユーザーによりキーボード３等を介して画面上で指定され、このキー画像のテクスチャの基本パターンとよく似た基本パターンを持つ画像を画像データベース５０から検索し、ディスプレイ２等の表示部に表示する処理を説明する。
【００４４】
まず、ユーザーが指定したキー画像のテクスチャ情報をデータベース５０からロードする（Ｓ４０１）。ここで、テクスチャ情報には、前述のテクスチャ抽出処理（Ｓ３）で抽出した画像の基本パターンや、その他の画像の特徴量が含まれる。検索対象の画像データベース５０においてレコードポインタをトップに移動する（Ｓ４０２）。レコードポインタにより指定される検索対象画像のテクスチャ情報をデータベース５０からロードする（Ｓ４０３）。キー画像のテクスチャ基本パターンと、検索対象画像のテクスチャ基本パターン画像との類似度を計算する（Ｓ４０４）。類似度の計算の詳細については後述する。その後、計算された類似度に基づいて、検索対象画像とキー画像が類似しているか否かを判定する（Ｓ４０５）。両画像が類似していない場合は、ステップＳ４０８に進み、類似している場合は、ステップＳ４０６に進む。
【００４５】
ステップＳ４０６では、現在のレコードポインタが示す画像の画像情報をロードする。ここで、画像情報には、画像データ並びに画像データのファイル名もしくは画像データの保管位置を示すパス名等の属性情報等が含まれる。ロードした画像情報を検索結果としてディスプレイ２等の表示部に表示し（Ｓ４０７）、ステップＳ４０８に進む。検索結果の表示例として、サムネイル画像を表示する方法、画像の名前を表示する方法、サムネイルを生成した元画像のファイル名やパスを表示する方法、元画像の入手先を表示する方法などのバリエーションが考えられる。又は、類似性があると判定した結果の画像の数をカウントし、その数を表示する方法も考えられる。
【００４６】
ステップＳ４０８では、レコードポインタを一つ進める。その後、画像データベース５０中に、レコードポインタで示される次の検索対象の画像データがあるか否かを判定する（Ｓ４０９）。画像データベース５０中に新たに検索するデータがなければ処理は終了し、データがあればステップＳ４０３に戻り、画像データベース５０において検索対象がなくなるまで、上記の処理を繰り返す。
【００４７】
このようにして、テクスチャ比較検索処理においては、画像間の比較を行う際に、テクスチャ抽出処理で抽出された後、正規化され、中心にシフトされた基本パターンを用いることにより、データベース５０からロードした基本パターンを、加工することなくそのまま比較検索処理に使用できるため、比較処理が効率よくかつ正確に行える。
【００４８】
以下に、ステップＳ４０４におけるキー画像と比較対象画像との間の類似度の計算方法の一例を示す。類似度は、２つの画像の濃度１の画素がどれだけ近くにあるかを定量的に算出することにより求められる。すなわち、以下の３つの値Ｐ0〜Ｐ2を用いて計算される；
Ｐ0：比較対象画像において、キー画像における濃度１の画素位置に対応する位置に濃度１の画素がある確率、
Ｐ1：比較対象画像において、キー画像における濃度１の画素位置に対応する位置の上下左右に濃度１の画素がある確率、
Ｐ2：比較対象画像において、キー画像における濃度１の画素位置に対応する位置から市外区距離が２となる位置に濃度１の画素がある確率。
【００４９】
これらの値を用いて、類似度Ｄは以下の式で求められる。
Ｄ＝（Ｗ0・Ｐ0＋Ｗ1・Ｐ1＋Ｗ2・Ｐ2）／（Ｗ0＋Ｗ1＋Ｗ2） …（９）
ここで、Ｗ0はＰ0のウェイト、Ｗ1はＰ1のウェイト、Ｗ2はＰ2のウェイトであり、Ｗ0＞Ｗ1＞Ｗ2を満たす関係にある。したがって、類似度Ｄは大きい程、２つの画像がより類似していることを示す。この類似度Ｄを所定値と比較し、類似度Ｄが所定値より大きいときに類似性があると判断する。
【００５０】
以上のようにして、本実施形態の画像特徴量比較装置では、画像の周期と方向に基づいてテクスチャの基本パターンを抽出し、正規化し、基本パターンが中心に集中するようにシフトさせた後、画像に対して特徴量として付加する。このようにして得られる画像のテクスチャの基本パターンを用いて画像間の比較を行うことにより、画像の比較検索時において効率よく画像の検索処理が行える。
【００５１】
【発明の効果】
本発明の第１の画像特徴量比較装置によれば、画像のテクスチャの周期性に基づいて、画像の特徴量として、テクスチャの基本パターンを抽出することができる。
【００５２】
また、第１の画像特徴量比較装置において、抽出された基本パターンを正規化し、所定の大きさ、形状にする。これにより、大きさ、形状の異なる画像間で、画像を比較し、類似性等の判断を行う場合に容易に判断を行うことができ、画像の検索比較処理等において処理効率を向上することができる。
【００５３】
また、第１の画像特徴量比較装置において、抽出した基本パターンが複数の構成要素からなる場合は、これらの構成要素ができるだけ集中するように、基本パターンの特徴を保持しつつ、構成要素をシフトすることにより、より認識しやすい基本パターンを形成することができ、画像の検索比較処理等において処理効率を向上することができる。
【００５４】
さらに、第１および第２の画像特徴量比較装置によれば、キー画像と類似の画像を比較・検索する際に、画像のテクスチャの基本パターンを用いて類似性の判断を行うため、類似性の判断が容易に行える。この際、所定の大きさ、形状に正規化され、また、画像が中心に位置するようにシフトされた基本パターンを用いることにより、より高速に、かつ、正確に比較・検索処理が行える。
【図面の簡単な説明】
【図１】 本実施形態の画像特徴量比較装置の構成の概略を示す図。
【図２】 制御装置を中心としたブロック図。
【図３】 画像データベースの構成図。
【図４】 画像特徴量比較装置のメインのフローチャート。
【図５】 データ入力または設定等の画面の表示例を示した図。
【図６】 画像特徴量比較装置におけるテクスチャ抽出処理のフローチャート。
【図７】 テクスチャの周期と方向に基づいて抽出された基本パターンを示す図。
【図８】 基本パターンのシフトの具体例を説明した図。
【図９】 慣性モーメントを求める方法を説明するためのＸ方向のデータ列を示した図。
【図１０】 回転軸の設定を説明するための図。
【図１１】 慣性モーメントを求める方法を説明するためのＹ方向のデータ列を示した図。
【図１２】 画像特徴量比較装置におけるテクスチャ比較検索処理のフローチャート。
【符号の説明】
１…制御装置、 ２…ディスプレイ、 ３…キーボード、 ４…マウス、 ５ａ…フロッピーディスク、 ５ｂ…フロッピーディスク装置、 ６…ハードディスク、 ７…プリンタ、 ８…スキャナ、 ９ａ…ＣＤ−ＲＯＭ、 ９ｂ…ＣＤ−ＲＯＭ装置、 １０…スピーカ、 １１…マイク、 ２１…初期設定画面、 ２３〜２５…選択用アイコン、 ２９，３０…設定用画面、 ５０…画像データベース、 ２０１…ＣＰＵ、 ２０２…クロック、 ２０３…ＲＯＭ、 ２０４…ＲＡＭ。
Claims (6)
- 多値化された画素情報が二次元格子状に配列されてなるテクスチャを含む画像から画像の特徴量を抽出し、該特徴量に基づいて異なる画像間の比較を行う画像特徴量比較装置において、
画像を、画像の特徴量とともに記憶する画像記憶手段と、
画像において、テクスチャの一定方向において同じパターンが一定間隔で繰り返し現れることを示す特性である周期性を求める周期性検出手段と、
該周期性検出手段により求められた周期性に基づいて、画像から、画像のテクスチャ内に周期的に含まれるパターンを一旦抽出し、そのパターンの構成要素を画像の中心にシフトさせたパターンを基本パターンとして抽出する抽出手段と、
前記基本パターンと、前記周期性に関する情報とを、特徴量として画像に付加して登録する登録手段と
を備えたことを特徴とする画像特徴量比較装置。 - 請求項１に記載の画像特徴量比較装置において、
前記周期性検出手段により求められた周期性のうち二方向の周期性を用いて、前記画像からテクスチャの基本パターンを抽出することを特徴とする画像特徴量比較装置。 - 請求項１に記載の画像特徴量比較装置において、
前記抽出手段は、前記基本パターンを抽出した後に、さらに該基本パターンを所定の画像サイズおよび形状に正規化することを特徴とする画像特徴量比較装置。 - 請求項１に記載の画像特徴量比較装置において、
前記抽出手段は、前記パターンを抽出した後に、前記パターンの中心付近において回転軸を設定し、該回転軸を中心に前記パターンを構成する構成要素を回転させたときに前記パターンの慣性モーメントが最小となるように、前記各構成要素を、画像の特徴を保持しながら前記回転軸付近に集中するようシフトさせることで前記基本パターンを得ることを特徴とする画像特徴量比較装置。 - 請求項１ないし請求項４のいずれか１つに記載の画像特徴量比較装置において、
検索キーとなる画像を指定する画像指定手段と、
前記検索キーとなる画像に対するテクスチャの基本パターン及び周期性に関する情報と、前記画像記憶手段中に保持される検索対象の画像に対するテクスチャの基本パターン及び周期性に関する情報とに基づいて、両画像間の類似度を計算する類似度計算手段と、
該類似度計算手段による類似度に基づき、前記両画像が類似しているか否かを判断する判断手段と、
該類似度判断手段による判断結果に基づき、両画像が類似しているときに、前記検索対象の画像を検索結果として出力する画像出力手段と
を備えたことを特徴とする画像特徴量比較装置。 - 多値化された画素情報が二次元格子状に配列されてなるテクスチャを含む画像から画像の特徴量を抽出し、該特徴量に基づいて画像間の比較を行う画像特徴量比較プログラムであって、
画像を入力するステップと、
画像において、テクスチャの一定方向において同じパターンが一定間隔で繰り返し現れることを示す特性である周期性を求めるステップと、
該求められた周期性に基づいて、画像から、画像のテクスチャ内に周期的に含まれるパターンを一旦抽出し、そのパターンの構成要素を画像の中心にシフトさせたパターンを基本パターンとして抽出するステップと、
前記基本パターンと、前記周期性に関する情報とを、特徴量として画像に付加して登録するステップと
を有することを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23597997A JP3726442B2 (ja) | 1997-09-01 | 1997-09-01 | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 |
| US09/137,234 US6381365B2 (en) | 1997-08-22 | 1998-08-20 | Image data processing apparatus and image data processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23597997A JP3726442B2 (ja) | 1997-09-01 | 1997-09-01 | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1185982A JPH1185982A (ja) | 1999-03-30 |
| JP3726442B2 true JP3726442B2 (ja) | 2005-12-14 |
Family
ID=16994033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23597997A Expired - Fee Related JP3726442B2 (ja) | 1997-08-22 | 1997-09-01 | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3726442B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019078520A1 (ko) * | 2017-10-18 | 2019-04-25 | 삼성전자주식회사 | 전자 장치 및 그의 제어방법 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6463432B1 (en) * | 1998-08-03 | 2002-10-08 | Minolta Co., Ltd. | Apparatus for and method of retrieving images |
| KR100367932B1 (ko) * | 1999-11-26 | 2003-01-14 | 주식회사 메디슨 | 초음파영상검색장치 |
| EP1510075B1 (en) * | 2002-05-22 | 2014-04-02 | Civolution B.V. | Method of extracting a watermark |
| JP4497399B2 (ja) * | 2004-01-20 | 2010-07-07 | 株式会社リコー | 模様画像検索装置及び模様画像検索プログラム |
| JP5741007B2 (ja) * | 2011-01-21 | 2015-07-01 | 株式会社リコー | 画像処理装置、画素補間方法およびプログラム |
| JP5703777B2 (ja) * | 2011-01-24 | 2015-04-22 | 株式会社リコー | 画像処理装置、画素補間方法およびプログラム |
| JP7346343B2 (ja) * | 2020-03-23 | 2023-09-19 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
-
1997
- 1997-09-01 JP JP23597997A patent/JP3726442B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019078520A1 (ko) * | 2017-10-18 | 2019-04-25 | 삼성전자주식회사 | 전자 장치 및 그의 제어방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1185982A (ja) | 1999-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3747589B2 (ja) | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 | |
| JP5665125B2 (ja) | 画像処理方法、及び、画像処理システム | |
| US6381365B2 (en) | Image data processing apparatus and image data processing method | |
| US7392233B2 (en) | Image searching system, image searching method, and a recording medium storing an image searching program | |
| CN101419612B (zh) | 图像处理设备和图像处理方法 | |
| JP2816241B2 (ja) | 画像情報検索装置 | |
| JP2004234228A (ja) | 画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラム | |
| JP2004334334A (ja) | 文書検索装置、文書検索方法及び記憶媒体 | |
| US20080244384A1 (en) | Image retrieval apparatus, method for retrieving image, and control program for image retrieval apparatus | |
| JP3726442B2 (ja) | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 | |
| JP2008225692A (ja) | 画像検索方法、装置およびプログラム | |
| JPH10260983A (ja) | 画像検索装置及び方法 | |
| JP3718967B2 (ja) | 画像特徴量抽出装置および方法並びに画像特徴量抽出プログラムを記録した記録媒体 | |
| JP2000305946A (ja) | 情報検索装置、情報検索方法、及び記憶媒体 | |
| US20080181524A1 (en) | Image evaluation method, apparatus, and program | |
| JP2001319232A (ja) | 類似画像検索装置および類似画像検索方法 | |
| JP2007034613A (ja) | 画像処理装置及びその方法 | |
| JP4628278B2 (ja) | 表認識装置、及びコンピュータプログラム | |
| JP2005208977A (ja) | 文書ファイリング装置および文書ファイリング方法 | |
| US20080181525A1 (en) | Image evaluation method, apparatus, and program | |
| JP2009223563A (ja) | 表示処理装置、表示処理方法、表示処理プログラムおよび記録媒体 | |
| JP2000305933A (ja) | 情報検索装置、情報検索方法、及び記憶媒体 | |
| JP3948943B2 (ja) | 図形認識方法及び装置 | |
| JP2006134079A (ja) | 画像処理装置及びプログラム | |
| JP2000285237A (ja) | 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050318 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050331 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050331 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050331 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050531 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050726 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050919 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091007 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091007 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101007 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111007 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |