JP2004192121A - 画像検索装置、画像分類方法、画像検索方法、及びプログラム - Google Patents
画像検索装置、画像分類方法、画像検索方法、及びプログラム Download PDFInfo
- Publication number
- JP2004192121A JP2004192121A JP2002356681A JP2002356681A JP2004192121A JP 2004192121 A JP2004192121 A JP 2004192121A JP 2002356681 A JP2002356681 A JP 2002356681A JP 2002356681 A JP2002356681 A JP 2002356681A JP 2004192121 A JP2004192121 A JP 2004192121A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pattern
- teacher
- candidate
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】本発明は、多数の画像中から、多様性のある画像を自動的に抽出することができる、画像検索装置、画像分類方法、画像検索方法、及びプログラムを提供することを目的とする。
【解決手段】デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置であって、分類対象となる候補画像を選択するための候補画像選択手段と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手段と、前記注目領域算出手段により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手段とを具備する。
【選択図】 図１
【解決手段】デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置であって、分類対象となる候補画像を選択するための候補画像選択手段と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手段と、前記注目領域算出手段により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手段とを具備する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル画像の分類と検索を行う画像検索装置、画像分類方法、画像検索方法、及びプログラムに関し、特に、多数の画像中から、多様性のある画像を自動的に抽出することができる、画像検索装置、画像分類方法、画像検索方法、及びプログラムに関する。
【０００２】
【従来の技術】
近時、デジタルカメラが普及し、撮影したデジタル画像（単に「画像」ともいう）をＰＣ（パーソナルコンピュータ）等に保存しておき、後日、ＰＣ画面上でデジタル画像を編集し、アルバムなどを作成することも多くなってきた。
このような場合に、ＰＣ等に保存されたデジタル画像を検索して多数の画像の中から所望の画像を取り出すことが必要になるが、この画像検索を行いやすくするための方法として、以下に示す従来の方法がある。
（１）予め検索対象となる画像に外部情報（撮影場所や撮影日時、撮影内容）を付与し、この外部情報を検索に使用する。
（２）また、画像自身の特徴量を使う製品も市販されている。例えば、画像特徴量（色や形状）で対象画像を３次元空間上に配置し、ユーザの画像検索を効率的に行わせる装置が市販されている。
【０００３】
（３）また、例えば、特許文献１「画像の階層的分類方法、および画像の分類・検索装置、およびこの方法を実行するプログラムを記録した記録媒休」に開示された先行技術がある。
特許文献１で開示された発明は、予め作成した画像辞書を用いながら、インタラクティブ、階層的に画像の分類、検索を行う技術である。この発明においては、ナビゲーションの途中の画像集合に対し、領域色、直線、オブジェクト、画像辞書という大分類観点がシステムから利用者に提示される。利用者が画像辞書を選択すると、システムは「人の顔」、「空」、「屋根」といった分類観点を提示する。利用者が「人の顔」を選択すると、システムは人物画の集合を提示し、同様にその画像集合に対し、領域色、直線、オブジェクト、画像辞書という小分類観点が利用者に提示され、分類観点の選択による分類が階層的に行われる。このナビゲーションの履歴は、画像ＤＢの分類に有効なので、システムに分類木情報として蓄積される。蓄積された分類木の全体像をキーワードや合成画、サンプル画像を用いて閲覧することで、画像ＤＢが概観できる。
【０００４】
ところで、ユーザが旅行した際に画像（デジタル写真）を取りだめし、後でこれらの写真から一定枚数を選び出し、印刷あるいは電子アルバムを作成するようなことはよくあることである。このような場合、ユーザは、多様性を持つように、即ちできるだけ注目する領域、注目する領域パターンが異なった画像を意識的に選びだしている。
【０００５】
ユーザのこのような行動に照らした場合に、上述した従来の方法には、以下のような問題点がある。
（１）の項で説明した、画像に外部情報を付与する方法では、全ての画像に外部情報を適切に付与する必要がある。しかしながら、多様性を持った検索ができるように画像に外部情報を付与することは、著しく手間がかかる作業となり、現実的とは言えない。
（２）の項で説明した、画像自身の特徴量を使う方法では、同じ特徴量を持つ複数の画像を一定の法則にしたがって画面上に表示させ、その中から所望の画像を抽出することができるが、多様性を持つようにするには、やはりユーザ自身が画像を選び出す必要がある。
（３）の項で説明した、特許文献１に開示された方法では、多様性を持つように画像を選び出すという視点での技術的な配慮はなされておらず、多様性のある画像を選択するには、やはりユーザ自身の手で画像の選択を行わなければならない。
また、類似の注目領域のパターンを持つ画像を一度に検索したい時も、従来例の方法では対処できない。
【０００６】
【特許文献１】
特開２００１−１６００５７号公報
【０００７】
【発明が解決しようとする課題】
本発明はこのような問題を解決するためになされたもので、その目的は、多数の画像中から、多様性のある画像を自動的に抽出することができる、画像検索装置、画像分類方法、画像検索方法、及びプログラムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明の画像検索装置は、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置であって、分類対象となる候補画像を選択するための候補画像選択手段と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手段と、前記注目領域算出手段により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手段とを具備することを特徴とする
このような構成であれば、前記候補画像選択手段により、分類対象となる候補画像が選択され、前記注目領域算出手段により、候補画像の注目領域のパターン画像が生成される。また、前記パターン識別手段により、注目領域のパターン画像に基づき、候補画像の分類が行われる。これにより、注目領域のパターンを基にした画像の分類が可能になり、多量の画像から、人間が通常行うように、注目領域を基準とした画像の選択を行うことができる。
【０００９】
また、本発明の画像検索装置は、注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手段と、前記複数の教師画像の中から、分類の基準となる教師画像を選択するための教師画像選択手段と、前記分類対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像を基に前記候補画像を分類するためのパターン識別手段とを具備することを特徴とする。
このような構成であれば、前記教師画像選択手段により、前記複数の教師画像の中から分類の基準となる教師画像が選択され、また、パターン識別手段により、候補画像の注目領域のパターンと教師画像のパターンとが比較され、教師画像に類似する画像が識別されて分類が行われる。これにより、教師画像として多様性のあるパターンを使用し、候補画像を多様性のある画像に分類することができる。
【００１０】
また、本発明の画像検索装置は、前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手段と、前記候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手段とを具備することを特徴とする。
このような構成であれば、前記教師画像選択手段により、前記複数の教師画像の中から検索の基準となる教師画像が選択される。そして、前記パターン識別手段により、候補画像の注目領域のパターンと教師画像のパターンとが比較され、教師画像に類似する画像が識別されて抽出される。これにより、教師画像として多様性のあるパターンを使用し、候補画像の中から多様性のある画像を抽出（検索）することができる。
【００１１】
また、本発明の画像検索装置は、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置であって、検索対象となる候補画像を選択するための候補画像選択手段と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手段と、注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手段と、前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手段と、検索対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手段とを具備することを特徴とする。
このような構成であれば、前記候補画像選択手段により、検索対象となる候補画像が選択され、前記注目領域算出手段により、候補画像の注目領域のパターン画像が生成される。また、前記教師画像選択手段により、前記複数の教師画像の中から検索の基準となる教師画像が選択される。そして、前記パターン識別手段により、候補画像の注目領域のパターンと教師画像のパターンとが比較され、教師画像のパターンに一致または類似する画像が識別されて抽出される。これにより、教師画像として多様性のあるパターンを使用し、注目領域のパターンを基準とした多様性のある画像を抽出（検索）することができる。
【００１２】
また、本発明の画像検索方法は、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置における画像分類方法であって、分類対象となる候補画像を選択するための候補画像選択手順と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、前記注目領域算出手順により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手順とを含むことを特徴とする。
このような手順を使用すれば、前記候補画像選択手順により、分類対象となる候補画像が選択され、前記注目領域算出手順により、候補画像の注目領域のパターン画像が生成される。また、前記パターン識別手順により、注目領域のパターン画像に基づき、候補画像の分類が行われる。これにより、注目領域のパターンを基にした画像の分類が可能になり、多量の画像から、人間が通常行うように、注目領域を基準とした画像の選択を行うことができる。
【００１３】
また、本発明の画像検索方法は、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置における画像検索方法であって、検索対象となる候補画像を選択するための候補画像選択手順と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手順と、前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手順と、検索対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手順とを含むことを特徴とする。
このような手順を使用すれば、前記候補画像選択手順により、検索対象となる候補画像が選択され、前記注目領域算出手順により、候補画像の注目領域のパターン画像が生成される。そして、前記教師画像選択手順により、前記複数の教師画像の中から検索の基準となる教師画像が選択される。そして、前記パターン識別手順により、候補画像の注目領域のパターンと教師画像のパターンとが比較され、教師画像のパターンに一致または類似する画像が識別されて抽出される。これにより、教師画像として多様性のあるパターンを使用し、注目領域のパターンを基準とした多様性のある画像を抽出（検索）することができる。
【００１４】
また、本発明のコンピュータプログラムは、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置内のコンピュータに、分類対象となる候補画像を選択するための候補画像選択手順と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、前記注目領域算出手順により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手順とを実行させるためのプログラムである。
【００１５】
また、本発明のコンピュータプログラムは、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置内のコンピュータに、検索対象となる候補画像を選択するための候補画像選択手順と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手順と、前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手順と、検索対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手順とを実行させるためのプログラムである。
【００１６】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【００１７】
図１は、本発明の基本概念について説明するための図であり、図１において、１１、１２、１３及び１４は、模式的に示した画像（静止画）の例を示している。また、２１、２２、２３及び２４は、それぞれ、画像１１、１２、１３及び１４に対応して算出した注目領域のパターン（誘目度のパターン）を模式的に示したものである。画像２１〜２４中で、誘目度は、領域Ａが最も高く算出され、領域Ｂ、領域Ｃがこの順に低く算出されている。なお、本例では、注目領域のパターンを求める際に、「誘目度」を使用しているが、「注目領域の分割」と「誘目度」については、「特開２００１−１２６０７０号公報」に詳細に開示されており、後述する「誘目度についての補足説明」の項目で、その概要について説明する。
【００１８】
図１に示す例で分かるように、画像１１〜１４に示すように異なった構図、異なったオブジェクトの配置は、画像２１〜２４に示すように異なった誘目度のパターンを作り出すことができる。従って、これらの例から、誘目度のパターン（注目領域のパターン）から画像を分類することができることが分かり、また、この誘目度のパターンを利用することにより、多様性のある画像を選択するができることが分かる。
【００１９】
一方、この注目領域の算出方法においては、誘目度のパターンが同一クラスに分類されても、実際に写されているオブジェクトが異なることは十分ありうる。例えば、画像１２と、画像１４は異なったオブジェクトが撮影されているが、画像２２、画像２４に示すように類似の誘目度のパターン画像になりうる。しかしながら、変化をもたせて写真を選び出すという意味では、所定の目的を実現していると考えることができる。
【００２０】
また、本発明の画像検索装置では、画像を分類（又は検索）するにあたり、図２に例示する教師画像のグループ（クラス１〜クラスｍ）を使用することができる。まず、類似の誘目度のパターン画像を幾つか作成し、同一クラスの教師画像を形成する。誘目度のパターン画像は、人為的に作成してもよいし、あるいは事前にクラス分けをした静止画から誘目度のパターン画像を作成して、この誘目度のパターンを基に、各クラスの教師画像を作成してもよい。なお、検索する候補画像が属するクラスの判定方法については、後で詳述する。
【００２１】
また、図３は、本発明の画像検索装置１００が備える手段の構成例を示す図である。図３に示す画像検索装置１００に設けられた各手段は、以下に示す処理を行う。
・検索条件入力手段１０１は、画像をクラス分け（分類）する場合や、画像を検索する場合の、候補画像の範囲、教師画像の指定、その他の検索条件を入力するための手段である。
・画像選択手段１０２は、検索条件入力手段１０１で指定された条件を基にして、候補画像データベース１１１内の候補画像から、順次、１つの候補画像を選び出すための手段（候補画像選択手段１０２ａ）である。また、教師画像データベース１１０から、順次、１つの教師画像を選び出すための手段（教師画像選択手段１０２ｂ）でもある。
・画像読取手段１０３は、候補画像及び教師画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための手段である。
・注目領域算出手段１０４は、注目領域を算出するための手段である。注目領域算出手段１０４は、候補画像内を複数の領域に分割し、分割した領域ごとに、注目度（誘目度）の程度を２段階以上に区分けし、誘目度のパターン画像を生成する。また、誘目度のパターン画像は教師画像データベース１１０に記録される。
・画像スケーリング手段１０５は、画像、または誘目度のパターン画像のサイズを縮小または拡大するための手段である。
・画像回転手段１０６は、画像、または、誘目度のパターン画像を回転するための手段である。
・パターン識別手段１０７は、誘目度のパターン画像を、教師画像で構成されるパターンのクラス（図２参照）の内の、どのクラスに属するかを判定するための手段である。そのために、候補画像の誘目度のパターンと教師画像のパターンとを比較する。
・検索結果表示手段１０８は、検索した結果を表示するための手段である。
・教師画像データベース（教師画像記憶手段）１１０は、候補画像のクラス分け（分類）や検索を行うために使用する教師画像を記憶するデータベースである。また、教師画像データベース１１０には、クラス分けされた画像と共に、誘目度のパターン画像が格納される、この誘目度のパターン画像は、教師画像として使用することができる。
・候補画像データベース１１１は、検索の対象となる候補画像を格納するデータベースである。なお、クラス分けされた候補画像のクラス分け情報も記録される。
【００２２】
次に、パターン識別手段１０７により、候補画像をクラス分け（分類）する手法について説明する。
（１）まず、誘目度のパターンの類似度を式（１）で定義する。
【数１】
ここで、
ｎ：：分類する画像の画素数
Ｘｉ：分類する画像の画素ｉの誘目度
ｔｍ，ｉ：クラスＫに属する、画像ｍの、画素ｉにおける誘目度
ωｉ：重み係数（＝１）
なお、重み係数ωｉは、本例では‘１’を使用しているが、ユーザの好みや経験値により異なる値とすることができる。
【００２３】
なお、式（１）を適用するに先立って、必要に応じて、次のように誘目度の値を正規化する。あるいは、必要に応じて、通常よく用いるように標準偏差により正規化するようにしてもよい。
【数２】
（２）次に、式（１）の値が最も小さくなる教師画像をＫ個選び出す。選び出した画像数が最も多いクラスを候補画像が属するクラスと考える。Ｋの値は、経験的に設定するものとする。
（３）また、撮影した候補画像は撮像素子の性能により、様々な解像度、例えば、ＶＧＡやＳＶＧＡなどになりうる。式（１）を適用する前に、画像スケーリング手段１０５により、解像度、即ち画像サイズを教師画像の大きさに合わせるものとする。
また、人間によって撮影する場合は手ぶれなどによって、同じ構図で撮影しても、撮影されるオブジェクトの大きさが異なってしまうことは避けられない。同じように、撮影されたオブジェクトが見かけ上、回転してしまうことも避けられない。以上の点を考慮して、式（１）を適用する必要がある。
【００２４】
次に、候補画像のクラス分け（分類）と検索の処理手順について、フローチャートを参照して、さらに詳細に説明する。
【００２５】
図４は、本発明の画像検索装置の処理手順を示す図であり、候補画像のクラス分けと検索の処理手順を示すフローチャートであり、候補画像をクラス分け（分類）した後に、検索処理を行う手順を示すものである。
（１）ステップＳ１０１：検索条件入力手段１０１により、検索対象とする候補画像、教師画像および検索の詳細な条件を指定する。
例えば、以下に示す条件を設定する。
・撮影日時、撮影場所
・検索して抽出する画像の数
・同一クラスに重複して選択しても良い画像数
・誘目度のパターンを教師画像のパターンと比較する際に、誘目度のパターン画像の回転、スケーリング（サイズの縮小・拡大）条件などを指定する。たとえば、回転角は±１０度、スケーリングは９０〜１１０％などと指定する。
【００２６】
（２）ステップＳ１０２：ステップＳ１０１で指定された条件を基に、候補画像データベース１１１から、１つの候補画像を画像選択手段１０２により選択する。
（３）ステップＳ１０３：画像読取手段１０３により、候補画像を構成する各画素のデータ（ＲＧＢ値等）を読み取る。
（４）ステップＳ１０４：注目領域算出手段１０４により、選択した画像の誘目度の計算を行い、誘目度のパターンを生成する。すなわち、画像内を複数の領域に分割し、分割した領域ごとに誘目度を求め、注目度の程度を２段階以上に区分けする。なお、「領域分割」と「誘目度」については、後述する「誘目度についての補足説明」の項目で、その概要について説明する。
【００２７】
（５）ステップＳ１０５：誘目度のパターン画像を、画像スケーリング手段１０５により、教師画像の大きさに合わせる。
（６）ステップＳ１０６：選択した画像が、どのクラスに属するかパターン識別手段１０７により調べる。クラス分けの手法については、前述したパターン識別手段１０７におけるクラス分けの方法を適用する。
（７）ステップＳ１０７：クラス分けができたか判定する。クラス分けの結果については、画像と対応させて候補画像データベース１１１に記憶する。
（８）ステップＳ１０８：クラス分けの判定を再度行うために、画像の変形を行う。指定された条件の範囲内で誘目度の画像パターンの変形と判定が終わったかどうかをチェックする。
【００２８】
（９）ステップＳ１０９：誘目度のパターン画像を変形させても、属するクラスを判定できない場合は、いずれのクラスにも属さない「その他」のクラスと判定する。
（１０）ステップＳ１１０：指定された範囲内で、誘目度のパターン画像を、画像スケーリング手段１０５、画像回転手段１０６により変形させる。
（１１）ステップＳ１１１：全候補画像について処理したかチェックする。未処理の画像があれば、ステップＳ１０２に戻る。全対象画像のクラス分けが終われば、次のステップに進む。
（１２）ステップＳ１１２：検索条件に沿って、画像を選択する。
（１３）ステップＳ１１３：選択した画像を検索結果表示手段１０８によりユーザに表示する。
以上手順により、候補画像のクラス分けと検索が行われ、その結果が表示される。
【００２９】
また、図５は、画像検索装置１００において、最初にクラスを選択し、これと同一クラスに属する画像を検索する場合の処理手順を示すフローチャートである。
（１）ステップＳ２０１：候補画像の範囲、検索対象とするクラスに属する教師画像をユーザが選択する。合わせて、その他の検索条件を指定する。
例えば、以下に示す条件を設定する。
・撮影日時、撮影場所
・検索して抽出する画像の数
・誘目度のパターンを教師画像のパターンと比較する際に、誘目度のパターン画像の回転、スケーリング（サイズの縮小・拡大）条件などを指定する。たとえば、回転角は±１０度、スケーリングは９０〜１１０％などと指定する。
【００３０】
（２）ステップＳ２０２：ステップＳ２０１で指定された条件の基で、候補画像データベース１１１から、１つの候補画像を画像選択手段１０２により選択する。
（３）ステップＳ２０３：画像読取手段１０３により、候補画像を構成する各画素のデータ（ＲＧＢ値等）を読み取る。
（４）ステップＳ２０４：注目領域算出手段１０４により、候補画像の誘目度の計算を行い、誘目度のパターンを生成する。
（５）ステップＳ２０５：誘目度のパターン画像を画像スケーリング手段１０５により、教師画像の大きさに合わせる。
（６）ステップＳ２０６：読み込んだ候補画像が指定されたクラスに属するか調べる。
（７）ステップＳ２０７：パターン識別手段１０７により、候補画像が指定されたクラスに属するかどうかを判定する。
（８）ステップＳ２０８：指定された範囲内で誘目度の画像パターンの変形と判定が終わったかどうかをチェックする。
（９）ステップＳ２０９：誘目度のパターン画像を変形させても、指定クラスに属すると判定できない場合は、いずれのクラスにも属さない「その他」のクラスと判定する。
（１０）ステップＳ２１０：指定された範囲内で、誘目度のパターン画像を、画像回転手段１０６、画像スケーリング手段１０５により変形させる。
（１１）ステップＳ２１１：判定した結果を検索結果表示手段１０８によりユーザに表示する。すなわち、指定されたクラスに属すると判定された画像を表示する。
（１２）ステップＳ２１２：全対象画像について処理したかチェックする。未処理の画像があれば、ステップＳ２０２に戻る。全候補画像の判定が終われば、終了する。
以上説明した処理手順により画像の検索を行うことができる。
【００３１】
また、図６は、画像検索装置の構成例を示すブロック図であり、本発明に直接関係する部分についてのみ示したものである。図６において、１００は画像検索装置、１はインターネット網などの通信ネットワーク、１１２は画像検索装置と通信ネットワーク１とを接続する通信用インタフェース、１１３は画像検索装置の全体を統括制御する制御部、１２０は処理プログラム部を示している。なお、画像検索装置１００には、ＰＣ（パーソナルコンピュータ）を使用してもよい。
【００３２】
また、処理プログラム部１２０には、以下の処理部が含まれる。
・検索条件入力処理部１２１は、画像をクラス分け（分類）する場合や、画像を検索する場合の、候補画像の範囲、教師画像の指定、その他の検索条件を入力するための処理部である。
・画像選択処理部１２２は、検索条件入力処理部１２１で指定された条件を基にして、候補画像データベース１１１内の候補画像から、順次、１つの候補画像を選び出すための処理部である。また、教師画像データベース１１０から、順次、１つの教師画像を選び出すための処理部でもある。
・画像読取処理部１２３は、候補画像及び教師画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための処理部である。
・注目領域算出処理部１２４は、注目領域を算出するための処理部である。注目領域算出処理部１２４は、候補画像内を複数の領域に分割し、分割した領域ごとに、注目度（誘目度）の程度を２段階以上に区分けし、誘目度のパターン画像を生成する。また、誘目度のパターン画像は教師画像データベース１１０に記録される。
・画像スケーリング処理部１２５は、画像、または誘目度のパターン画像のサイズを縮小または拡大するための処理部である。
・画像回転処理部１２６は、画像、または、誘目度のパターン画像を回転するための処理部である。
・パターン識別処理部１２７は、誘目度のパターン画像を、教師画像で構成されるパターンのクラス（図２参照）の内の、どのクラスに属するかを判定するための処理部である。そのために、候補画像の誘目度のパターンと教師画像のパターンとを比較する。
・検索結果表示処理部１２８は、検索した結果を表示するための処理部である。
【００３３】
なお、この処理プログラム部１２０は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部はメモリおよびＣＰＵ（中央処理装置）等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム（図示せず）をメモリにロードして実行することによりその機能を実現させるものであってもよい。また、この画像検索装置１００には、周辺機器として入力装置、表示装置、印刷装置等（いずれも図示せず）が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶表示装置等のことをいう。印刷装置とは、レーザープリンタ、インクジェットプリンタ等のことをいう。
【００３４】
また、図６に示す画像検索装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の画像検索装置１００に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可般媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの（伝送媒体ないしは伝送波）、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３５】
以上、本発明の実施の形態について説明したが、本発明の画像検索装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００３６】
［誘目度についての補足説明］
本発明の実施の形態では、注目領域の抽出基準として「誘目度」を使用しているが、この「誘目度」の算出方法の一例が、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）に詳細に開示されている。
ここでは、その概要についてだけ説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、色の３要素（色相、彩度、明度）についても評価する場合であれば、人間の主観による目立つ色（赤色）に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【００３７】
また、誘目度の評価は、以下の手順により行う。
（１）最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。この領域分割の方法には、１９９７ＩＥＥＥにおいてＷ．Ｙ．ＭａやＢ．Ｓ．Ｍａｎｊｕｎａｔｈ らが「Ｅｄｇｅ Ｆｌｏｗ：Ａ Ｆｒａｍｅｗｏｒｋ ｏｆ Ｂｏｕｎｄａｒｙ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」に記載した“ｅｄｇｅ ｆｌｏｗ ”に基づく境界検出方法が適用される。
（２）次に、分割した図領域を抽出し、領域の誘目度を評価する。
この誘目度の評価は、概略以下のようにして行う。
・最初に各領域の異質性誘目度を求める。この場合、色の異質度，テクスチャの異質度，形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
・次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
・次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、この特徴量統合値を、所定のベータ関数により評価して、誘目度を算出する。
（３）また、原画像から誘目度を評価したパターン図を生成する。
【図面の簡単な説明】
【図１】本発明の基本概念について説明するための図。
【図２】教師画像の例を示す図。
【図３】本発明の画像検索装置が備える手段の構成例を示す図。
【図４】本発明の画像検索装置の処理手順を示す図。
【図５】同一クラスに属する画像を検索する場合の処理手順を示す図。
【図６】画像検索装置の構成例を示すブロック図。
【符号の説明】
１００ 画像検索装置、１０１ 検索条件入力手段
１０２ 画像選択手段 、１０３ 画像読取手段
１０４ 注目領域算出手段、１０５ 画像スケーリング手段
１０６ 画像回転手段、１０７ パターン識別手段
１０８ 検索結果表示手段
【発明の属する技術分野】
本発明は、デジタル画像の分類と検索を行う画像検索装置、画像分類方法、画像検索方法、及びプログラムに関し、特に、多数の画像中から、多様性のある画像を自動的に抽出することができる、画像検索装置、画像分類方法、画像検索方法、及びプログラムに関する。
【０００２】
【従来の技術】
近時、デジタルカメラが普及し、撮影したデジタル画像（単に「画像」ともいう）をＰＣ（パーソナルコンピュータ）等に保存しておき、後日、ＰＣ画面上でデジタル画像を編集し、アルバムなどを作成することも多くなってきた。
このような場合に、ＰＣ等に保存されたデジタル画像を検索して多数の画像の中から所望の画像を取り出すことが必要になるが、この画像検索を行いやすくするための方法として、以下に示す従来の方法がある。
（１）予め検索対象となる画像に外部情報（撮影場所や撮影日時、撮影内容）を付与し、この外部情報を検索に使用する。
（２）また、画像自身の特徴量を使う製品も市販されている。例えば、画像特徴量（色や形状）で対象画像を３次元空間上に配置し、ユーザの画像検索を効率的に行わせる装置が市販されている。
【０００３】
（３）また、例えば、特許文献１「画像の階層的分類方法、および画像の分類・検索装置、およびこの方法を実行するプログラムを記録した記録媒休」に開示された先行技術がある。
特許文献１で開示された発明は、予め作成した画像辞書を用いながら、インタラクティブ、階層的に画像の分類、検索を行う技術である。この発明においては、ナビゲーションの途中の画像集合に対し、領域色、直線、オブジェクト、画像辞書という大分類観点がシステムから利用者に提示される。利用者が画像辞書を選択すると、システムは「人の顔」、「空」、「屋根」といった分類観点を提示する。利用者が「人の顔」を選択すると、システムは人物画の集合を提示し、同様にその画像集合に対し、領域色、直線、オブジェクト、画像辞書という小分類観点が利用者に提示され、分類観点の選択による分類が階層的に行われる。このナビゲーションの履歴は、画像ＤＢの分類に有効なので、システムに分類木情報として蓄積される。蓄積された分類木の全体像をキーワードや合成画、サンプル画像を用いて閲覧することで、画像ＤＢが概観できる。
【０００４】
ところで、ユーザが旅行した際に画像（デジタル写真）を取りだめし、後でこれらの写真から一定枚数を選び出し、印刷あるいは電子アルバムを作成するようなことはよくあることである。このような場合、ユーザは、多様性を持つように、即ちできるだけ注目する領域、注目する領域パターンが異なった画像を意識的に選びだしている。
【０００５】
ユーザのこのような行動に照らした場合に、上述した従来の方法には、以下のような問題点がある。
（１）の項で説明した、画像に外部情報を付与する方法では、全ての画像に外部情報を適切に付与する必要がある。しかしながら、多様性を持った検索ができるように画像に外部情報を付与することは、著しく手間がかかる作業となり、現実的とは言えない。
（２）の項で説明した、画像自身の特徴量を使う方法では、同じ特徴量を持つ複数の画像を一定の法則にしたがって画面上に表示させ、その中から所望の画像を抽出することができるが、多様性を持つようにするには、やはりユーザ自身が画像を選び出す必要がある。
（３）の項で説明した、特許文献１に開示された方法では、多様性を持つように画像を選び出すという視点での技術的な配慮はなされておらず、多様性のある画像を選択するには、やはりユーザ自身の手で画像の選択を行わなければならない。
また、類似の注目領域のパターンを持つ画像を一度に検索したい時も、従来例の方法では対処できない。
【０００６】
【特許文献１】
特開２００１−１６００５７号公報
【０００７】
【発明が解決しようとする課題】
本発明はこのような問題を解決するためになされたもので、その目的は、多数の画像中から、多様性のある画像を自動的に抽出することができる、画像検索装置、画像分類方法、画像検索方法、及びプログラムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明の画像検索装置は、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置であって、分類対象となる候補画像を選択するための候補画像選択手段と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手段と、前記注目領域算出手段により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手段とを具備することを特徴とする
このような構成であれば、前記候補画像選択手段により、分類対象となる候補画像が選択され、前記注目領域算出手段により、候補画像の注目領域のパターン画像が生成される。また、前記パターン識別手段により、注目領域のパターン画像に基づき、候補画像の分類が行われる。これにより、注目領域のパターンを基にした画像の分類が可能になり、多量の画像から、人間が通常行うように、注目領域を基準とした画像の選択を行うことができる。
【０００９】
また、本発明の画像検索装置は、注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手段と、前記複数の教師画像の中から、分類の基準となる教師画像を選択するための教師画像選択手段と、前記分類対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像を基に前記候補画像を分類するためのパターン識別手段とを具備することを特徴とする。
このような構成であれば、前記教師画像選択手段により、前記複数の教師画像の中から分類の基準となる教師画像が選択され、また、パターン識別手段により、候補画像の注目領域のパターンと教師画像のパターンとが比較され、教師画像に類似する画像が識別されて分類が行われる。これにより、教師画像として多様性のあるパターンを使用し、候補画像を多様性のある画像に分類することができる。
【００１０】
また、本発明の画像検索装置は、前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手段と、前記候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手段とを具備することを特徴とする。
このような構成であれば、前記教師画像選択手段により、前記複数の教師画像の中から検索の基準となる教師画像が選択される。そして、前記パターン識別手段により、候補画像の注目領域のパターンと教師画像のパターンとが比較され、教師画像に類似する画像が識別されて抽出される。これにより、教師画像として多様性のあるパターンを使用し、候補画像の中から多様性のある画像を抽出（検索）することができる。
【００１１】
また、本発明の画像検索装置は、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置であって、検索対象となる候補画像を選択するための候補画像選択手段と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手段と、注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手段と、前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手段と、検索対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手段とを具備することを特徴とする。
このような構成であれば、前記候補画像選択手段により、検索対象となる候補画像が選択され、前記注目領域算出手段により、候補画像の注目領域のパターン画像が生成される。また、前記教師画像選択手段により、前記複数の教師画像の中から検索の基準となる教師画像が選択される。そして、前記パターン識別手段により、候補画像の注目領域のパターンと教師画像のパターンとが比較され、教師画像のパターンに一致または類似する画像が識別されて抽出される。これにより、教師画像として多様性のあるパターンを使用し、注目領域のパターンを基準とした多様性のある画像を抽出（検索）することができる。
【００１２】
また、本発明の画像検索方法は、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置における画像分類方法であって、分類対象となる候補画像を選択するための候補画像選択手順と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、前記注目領域算出手順により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手順とを含むことを特徴とする。
このような手順を使用すれば、前記候補画像選択手順により、分類対象となる候補画像が選択され、前記注目領域算出手順により、候補画像の注目領域のパターン画像が生成される。また、前記パターン識別手順により、注目領域のパターン画像に基づき、候補画像の分類が行われる。これにより、注目領域のパターンを基にした画像の分類が可能になり、多量の画像から、人間が通常行うように、注目領域を基準とした画像の選択を行うことができる。
【００１３】
また、本発明の画像検索方法は、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置における画像検索方法であって、検索対象となる候補画像を選択するための候補画像選択手順と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手順と、前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手順と、検索対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手順とを含むことを特徴とする。
このような手順を使用すれば、前記候補画像選択手順により、検索対象となる候補画像が選択され、前記注目領域算出手順により、候補画像の注目領域のパターン画像が生成される。そして、前記教師画像選択手順により、前記複数の教師画像の中から検索の基準となる教師画像が選択される。そして、前記パターン識別手順により、候補画像の注目領域のパターンと教師画像のパターンとが比較され、教師画像のパターンに一致または類似する画像が識別されて抽出される。これにより、教師画像として多様性のあるパターンを使用し、注目領域のパターンを基準とした多様性のある画像を抽出（検索）することができる。
【００１４】
また、本発明のコンピュータプログラムは、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置内のコンピュータに、分類対象となる候補画像を選択するための候補画像選択手順と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、前記注目領域算出手順により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手順とを実行させるためのプログラムである。
【００１５】
また、本発明のコンピュータプログラムは、デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置内のコンピュータに、検索対象となる候補画像を選択するための候補画像選択手順と、前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手順と、前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手順と、検索対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手順とを実行させるためのプログラムである。
【００１６】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【００１７】
図１は、本発明の基本概念について説明するための図であり、図１において、１１、１２、１３及び１４は、模式的に示した画像（静止画）の例を示している。また、２１、２２、２３及び２４は、それぞれ、画像１１、１２、１３及び１４に対応して算出した注目領域のパターン（誘目度のパターン）を模式的に示したものである。画像２１〜２４中で、誘目度は、領域Ａが最も高く算出され、領域Ｂ、領域Ｃがこの順に低く算出されている。なお、本例では、注目領域のパターンを求める際に、「誘目度」を使用しているが、「注目領域の分割」と「誘目度」については、「特開２００１−１２６０７０号公報」に詳細に開示されており、後述する「誘目度についての補足説明」の項目で、その概要について説明する。
【００１８】
図１に示す例で分かるように、画像１１〜１４に示すように異なった構図、異なったオブジェクトの配置は、画像２１〜２４に示すように異なった誘目度のパターンを作り出すことができる。従って、これらの例から、誘目度のパターン（注目領域のパターン）から画像を分類することができることが分かり、また、この誘目度のパターンを利用することにより、多様性のある画像を選択するができることが分かる。
【００１９】
一方、この注目領域の算出方法においては、誘目度のパターンが同一クラスに分類されても、実際に写されているオブジェクトが異なることは十分ありうる。例えば、画像１２と、画像１４は異なったオブジェクトが撮影されているが、画像２２、画像２４に示すように類似の誘目度のパターン画像になりうる。しかしながら、変化をもたせて写真を選び出すという意味では、所定の目的を実現していると考えることができる。
【００２０】
また、本発明の画像検索装置では、画像を分類（又は検索）するにあたり、図２に例示する教師画像のグループ（クラス１〜クラスｍ）を使用することができる。まず、類似の誘目度のパターン画像を幾つか作成し、同一クラスの教師画像を形成する。誘目度のパターン画像は、人為的に作成してもよいし、あるいは事前にクラス分けをした静止画から誘目度のパターン画像を作成して、この誘目度のパターンを基に、各クラスの教師画像を作成してもよい。なお、検索する候補画像が属するクラスの判定方法については、後で詳述する。
【００２１】
また、図３は、本発明の画像検索装置１００が備える手段の構成例を示す図である。図３に示す画像検索装置１００に設けられた各手段は、以下に示す処理を行う。
・検索条件入力手段１０１は、画像をクラス分け（分類）する場合や、画像を検索する場合の、候補画像の範囲、教師画像の指定、その他の検索条件を入力するための手段である。
・画像選択手段１０２は、検索条件入力手段１０１で指定された条件を基にして、候補画像データベース１１１内の候補画像から、順次、１つの候補画像を選び出すための手段（候補画像選択手段１０２ａ）である。また、教師画像データベース１１０から、順次、１つの教師画像を選び出すための手段（教師画像選択手段１０２ｂ）でもある。
・画像読取手段１０３は、候補画像及び教師画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための手段である。
・注目領域算出手段１０４は、注目領域を算出するための手段である。注目領域算出手段１０４は、候補画像内を複数の領域に分割し、分割した領域ごとに、注目度（誘目度）の程度を２段階以上に区分けし、誘目度のパターン画像を生成する。また、誘目度のパターン画像は教師画像データベース１１０に記録される。
・画像スケーリング手段１０５は、画像、または誘目度のパターン画像のサイズを縮小または拡大するための手段である。
・画像回転手段１０６は、画像、または、誘目度のパターン画像を回転するための手段である。
・パターン識別手段１０７は、誘目度のパターン画像を、教師画像で構成されるパターンのクラス（図２参照）の内の、どのクラスに属するかを判定するための手段である。そのために、候補画像の誘目度のパターンと教師画像のパターンとを比較する。
・検索結果表示手段１０８は、検索した結果を表示するための手段である。
・教師画像データベース（教師画像記憶手段）１１０は、候補画像のクラス分け（分類）や検索を行うために使用する教師画像を記憶するデータベースである。また、教師画像データベース１１０には、クラス分けされた画像と共に、誘目度のパターン画像が格納される、この誘目度のパターン画像は、教師画像として使用することができる。
・候補画像データベース１１１は、検索の対象となる候補画像を格納するデータベースである。なお、クラス分けされた候補画像のクラス分け情報も記録される。
【００２２】
次に、パターン識別手段１０７により、候補画像をクラス分け（分類）する手法について説明する。
（１）まず、誘目度のパターンの類似度を式（１）で定義する。
【数１】
ｎ：：分類する画像の画素数
Ｘｉ：分類する画像の画素ｉの誘目度
ｔｍ，ｉ：クラスＫに属する、画像ｍの、画素ｉにおける誘目度
ωｉ：重み係数（＝１）
なお、重み係数ωｉは、本例では‘１’を使用しているが、ユーザの好みや経験値により異なる値とすることができる。
【００２３】
なお、式（１）を適用するに先立って、必要に応じて、次のように誘目度の値を正規化する。あるいは、必要に応じて、通常よく用いるように標準偏差により正規化するようにしてもよい。
【数２】
（３）また、撮影した候補画像は撮像素子の性能により、様々な解像度、例えば、ＶＧＡやＳＶＧＡなどになりうる。式（１）を適用する前に、画像スケーリング手段１０５により、解像度、即ち画像サイズを教師画像の大きさに合わせるものとする。
また、人間によって撮影する場合は手ぶれなどによって、同じ構図で撮影しても、撮影されるオブジェクトの大きさが異なってしまうことは避けられない。同じように、撮影されたオブジェクトが見かけ上、回転してしまうことも避けられない。以上の点を考慮して、式（１）を適用する必要がある。
【００２４】
次に、候補画像のクラス分け（分類）と検索の処理手順について、フローチャートを参照して、さらに詳細に説明する。
【００２５】
図４は、本発明の画像検索装置の処理手順を示す図であり、候補画像のクラス分けと検索の処理手順を示すフローチャートであり、候補画像をクラス分け（分類）した後に、検索処理を行う手順を示すものである。
（１）ステップＳ１０１：検索条件入力手段１０１により、検索対象とする候補画像、教師画像および検索の詳細な条件を指定する。
例えば、以下に示す条件を設定する。
・撮影日時、撮影場所
・検索して抽出する画像の数
・同一クラスに重複して選択しても良い画像数
・誘目度のパターンを教師画像のパターンと比較する際に、誘目度のパターン画像の回転、スケーリング（サイズの縮小・拡大）条件などを指定する。たとえば、回転角は±１０度、スケーリングは９０〜１１０％などと指定する。
【００２６】
（２）ステップＳ１０２：ステップＳ１０１で指定された条件を基に、候補画像データベース１１１から、１つの候補画像を画像選択手段１０２により選択する。
（３）ステップＳ１０３：画像読取手段１０３により、候補画像を構成する各画素のデータ（ＲＧＢ値等）を読み取る。
（４）ステップＳ１０４：注目領域算出手段１０４により、選択した画像の誘目度の計算を行い、誘目度のパターンを生成する。すなわち、画像内を複数の領域に分割し、分割した領域ごとに誘目度を求め、注目度の程度を２段階以上に区分けする。なお、「領域分割」と「誘目度」については、後述する「誘目度についての補足説明」の項目で、その概要について説明する。
【００２７】
（５）ステップＳ１０５：誘目度のパターン画像を、画像スケーリング手段１０５により、教師画像の大きさに合わせる。
（６）ステップＳ１０６：選択した画像が、どのクラスに属するかパターン識別手段１０７により調べる。クラス分けの手法については、前述したパターン識別手段１０７におけるクラス分けの方法を適用する。
（７）ステップＳ１０７：クラス分けができたか判定する。クラス分けの結果については、画像と対応させて候補画像データベース１１１に記憶する。
（８）ステップＳ１０８：クラス分けの判定を再度行うために、画像の変形を行う。指定された条件の範囲内で誘目度の画像パターンの変形と判定が終わったかどうかをチェックする。
【００２８】
（９）ステップＳ１０９：誘目度のパターン画像を変形させても、属するクラスを判定できない場合は、いずれのクラスにも属さない「その他」のクラスと判定する。
（１０）ステップＳ１１０：指定された範囲内で、誘目度のパターン画像を、画像スケーリング手段１０５、画像回転手段１０６により変形させる。
（１１）ステップＳ１１１：全候補画像について処理したかチェックする。未処理の画像があれば、ステップＳ１０２に戻る。全対象画像のクラス分けが終われば、次のステップに進む。
（１２）ステップＳ１１２：検索条件に沿って、画像を選択する。
（１３）ステップＳ１１３：選択した画像を検索結果表示手段１０８によりユーザに表示する。
以上手順により、候補画像のクラス分けと検索が行われ、その結果が表示される。
【００２９】
また、図５は、画像検索装置１００において、最初にクラスを選択し、これと同一クラスに属する画像を検索する場合の処理手順を示すフローチャートである。
（１）ステップＳ２０１：候補画像の範囲、検索対象とするクラスに属する教師画像をユーザが選択する。合わせて、その他の検索条件を指定する。
例えば、以下に示す条件を設定する。
・撮影日時、撮影場所
・検索して抽出する画像の数
・誘目度のパターンを教師画像のパターンと比較する際に、誘目度のパターン画像の回転、スケーリング（サイズの縮小・拡大）条件などを指定する。たとえば、回転角は±１０度、スケーリングは９０〜１１０％などと指定する。
【００３０】
（２）ステップＳ２０２：ステップＳ２０１で指定された条件の基で、候補画像データベース１１１から、１つの候補画像を画像選択手段１０２により選択する。
（３）ステップＳ２０３：画像読取手段１０３により、候補画像を構成する各画素のデータ（ＲＧＢ値等）を読み取る。
（４）ステップＳ２０４：注目領域算出手段１０４により、候補画像の誘目度の計算を行い、誘目度のパターンを生成する。
（５）ステップＳ２０５：誘目度のパターン画像を画像スケーリング手段１０５により、教師画像の大きさに合わせる。
（６）ステップＳ２０６：読み込んだ候補画像が指定されたクラスに属するか調べる。
（７）ステップＳ２０７：パターン識別手段１０７により、候補画像が指定されたクラスに属するかどうかを判定する。
（８）ステップＳ２０８：指定された範囲内で誘目度の画像パターンの変形と判定が終わったかどうかをチェックする。
（９）ステップＳ２０９：誘目度のパターン画像を変形させても、指定クラスに属すると判定できない場合は、いずれのクラスにも属さない「その他」のクラスと判定する。
（１０）ステップＳ２１０：指定された範囲内で、誘目度のパターン画像を、画像回転手段１０６、画像スケーリング手段１０５により変形させる。
（１１）ステップＳ２１１：判定した結果を検索結果表示手段１０８によりユーザに表示する。すなわち、指定されたクラスに属すると判定された画像を表示する。
（１２）ステップＳ２１２：全対象画像について処理したかチェックする。未処理の画像があれば、ステップＳ２０２に戻る。全候補画像の判定が終われば、終了する。
以上説明した処理手順により画像の検索を行うことができる。
【００３１】
また、図６は、画像検索装置の構成例を示すブロック図であり、本発明に直接関係する部分についてのみ示したものである。図６において、１００は画像検索装置、１はインターネット網などの通信ネットワーク、１１２は画像検索装置と通信ネットワーク１とを接続する通信用インタフェース、１１３は画像検索装置の全体を統括制御する制御部、１２０は処理プログラム部を示している。なお、画像検索装置１００には、ＰＣ（パーソナルコンピュータ）を使用してもよい。
【００３２】
また、処理プログラム部１２０には、以下の処理部が含まれる。
・検索条件入力処理部１２１は、画像をクラス分け（分類）する場合や、画像を検索する場合の、候補画像の範囲、教師画像の指定、その他の検索条件を入力するための処理部である。
・画像選択処理部１２２は、検索条件入力処理部１２１で指定された条件を基にして、候補画像データベース１１１内の候補画像から、順次、１つの候補画像を選び出すための処理部である。また、教師画像データベース１１０から、順次、１つの教師画像を選び出すための処理部でもある。
・画像読取処理部１２３は、候補画像及び教師画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための処理部である。
・注目領域算出処理部１２４は、注目領域を算出するための処理部である。注目領域算出処理部１２４は、候補画像内を複数の領域に分割し、分割した領域ごとに、注目度（誘目度）の程度を２段階以上に区分けし、誘目度のパターン画像を生成する。また、誘目度のパターン画像は教師画像データベース１１０に記録される。
・画像スケーリング処理部１２５は、画像、または誘目度のパターン画像のサイズを縮小または拡大するための処理部である。
・画像回転処理部１２６は、画像、または、誘目度のパターン画像を回転するための処理部である。
・パターン識別処理部１２７は、誘目度のパターン画像を、教師画像で構成されるパターンのクラス（図２参照）の内の、どのクラスに属するかを判定するための処理部である。そのために、候補画像の誘目度のパターンと教師画像のパターンとを比較する。
・検索結果表示処理部１２８は、検索した結果を表示するための処理部である。
【００３３】
なお、この処理プログラム部１２０は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部はメモリおよびＣＰＵ（中央処理装置）等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム（図示せず）をメモリにロードして実行することによりその機能を実現させるものであってもよい。また、この画像検索装置１００には、周辺機器として入力装置、表示装置、印刷装置等（いずれも図示せず）が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶表示装置等のことをいう。印刷装置とは、レーザープリンタ、インクジェットプリンタ等のことをいう。
【００３４】
また、図６に示す画像検索装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の画像検索装置１００に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可般媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの（伝送媒体ないしは伝送波）、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３５】
以上、本発明の実施の形態について説明したが、本発明の画像検索装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００３６】
［誘目度についての補足説明］
本発明の実施の形態では、注目領域の抽出基準として「誘目度」を使用しているが、この「誘目度」の算出方法の一例が、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）に詳細に開示されている。
ここでは、その概要についてだけ説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、色の３要素（色相、彩度、明度）についても評価する場合であれば、人間の主観による目立つ色（赤色）に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【００３７】
また、誘目度の評価は、以下の手順により行う。
（１）最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。この領域分割の方法には、１９９７ＩＥＥＥにおいてＷ．Ｙ．ＭａやＢ．Ｓ．Ｍａｎｊｕｎａｔｈ らが「Ｅｄｇｅ Ｆｌｏｗ：Ａ Ｆｒａｍｅｗｏｒｋ ｏｆ Ｂｏｕｎｄａｒｙ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」に記載した“ｅｄｇｅ ｆｌｏｗ ”に基づく境界検出方法が適用される。
（２）次に、分割した図領域を抽出し、領域の誘目度を評価する。
この誘目度の評価は、概略以下のようにして行う。
・最初に各領域の異質性誘目度を求める。この場合、色の異質度，テクスチャの異質度，形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
・次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
・次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、この特徴量統合値を、所定のベータ関数により評価して、誘目度を算出する。
（３）また、原画像から誘目度を評価したパターン図を生成する。
【図面の簡単な説明】
【図１】本発明の基本概念について説明するための図。
【図２】教師画像の例を示す図。
【図３】本発明の画像検索装置が備える手段の構成例を示す図。
【図４】本発明の画像検索装置の処理手順を示す図。
【図５】同一クラスに属する画像を検索する場合の処理手順を示す図。
【図６】画像検索装置の構成例を示すブロック図。
【符号の説明】
１００ 画像検索装置、１０１ 検索条件入力手段
１０２ 画像選択手段 、１０３ 画像読取手段
１０４ 注目領域算出手段、１０５ 画像スケーリング手段
１０６ 画像回転手段、１０７ パターン識別手段
１０８ 検索結果表示手段
Claims (8)
- デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置であって、
分類対象となる候補画像を選択するための候補画像選択手段と、
前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手段と、
前記注目領域算出手段により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手段と
を具備することを特徴とする画像検索装置。 - 注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手段と、
前記複数の教師画像の中から、分類の基準となる教師画像を選択するための教師画像選択手段と、
前記分類対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像を基に前記候補画像を分類するためのパターン識別手段と
を具備することを特徴とする請求項１に記載の画像検索装置。 - 前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手段と、
前記候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手段と
を具備することを特徴とする請求項２に記載の画像検索装置。 - デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置であって、
検索対象となる候補画像を選択するための候補画像選択手段と、
前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手段と、
注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手段と、
前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手段と、
検索対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手段と
を具備することを特徴とする画像検索装置。 - デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置における画像分類方法であって、
分類対象となる候補画像を選択するための候補画像選択手順と、
前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、
前記注目領域算出手順により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手順と
を含むことを特徴とする画像分類方法。 - デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置における画像検索方法であって、
検索対象となる候補画像を選択するための候補画像選択手順と、
前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、
注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手順と、
前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手順と、
検索対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手順と
を含むことを特徴とする画像検索方法。 - デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置内のコンピュータに、
分類対象となる候補画像を選択するための候補画像選択手順と、
前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、
前記注目領域算出手順により生成した注目領域のパターン画像に基づき、前記候補画像の分類行うためのパターン識別手順と
を実行させるためのプログラム。 - デジタル画像を保存すると共に、保存したデジタル画像の分類と検索を行う画像検索装置内のコンピュータに、
検索対象となる候補画像を選択するための候補画像選択手順と、
前記候補画像を領域分割し、分割した領域ごとに注目度を算出し、注目領域のパターン画像を生成するための注目領域算出手順と、
注目領域のパターンの異なる複数の教師画像を記憶する教師画像記憶手順と、
前記複数の教師画像の中から、検索の基準となる教師画像を選択するための教師画像選択手順と、
検索対象となる候補画像の注目領域のパターンと前記選択された教師画像のパターンとを比較し、前記選択された教師画像と一致または類似するパターンの画像を抽出するためのパターン識別手順と
を実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002356681A JP2004192121A (ja) | 2002-12-09 | 2002-12-09 | 画像検索装置、画像分類方法、画像検索方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002356681A JP2004192121A (ja) | 2002-12-09 | 2002-12-09 | 画像検索装置、画像分類方法、画像検索方法、及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004192121A true JP2004192121A (ja) | 2004-07-08 |
Family
ID=32756955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002356681A Withdrawn JP2004192121A (ja) | 2002-12-09 | 2002-12-09 | 画像検索装置、画像分類方法、画像検索方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004192121A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006018886A1 (ja) * | 2004-08-19 | 2006-02-23 | Mitsubishi Denki Kabushiki Kaisha | 画像検索方法及び画像検索装置 |
| JP2007199749A (ja) * | 2004-08-19 | 2007-08-09 | Mitsubishi Electric Corp | 画像検索方法及び画像検索装置 |
| KR100790865B1 (ko) | 2005-01-10 | 2008-01-03 | 삼성전자주식회사 | 상황기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 디지털 사진 앨범 시스템 및 방법 |
| JP2008242543A (ja) * | 2007-03-26 | 2008-10-09 | Canon Inc | 画像検索装置、画像検索装置の画像検索方法、及び画像検索装置の制御プログラム |
| JP2008282099A (ja) * | 2007-05-08 | 2008-11-20 | Canon Inc | 画像検索装置および画像検索方法ならびにそのプログラムおよび記憶媒体 |
| JP2016218652A (ja) * | 2015-05-19 | 2016-12-22 | シャープ株式会社 | 表示装置、情報処理プログラムおよび情報処理方法 |
-
2002
- 2002-12-09 JP JP2002356681A patent/JP2004192121A/ja not_active Withdrawn
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006018886A1 (ja) * | 2004-08-19 | 2006-02-23 | Mitsubishi Denki Kabushiki Kaisha | 画像検索方法及び画像検索装置 |
| JP2007199749A (ja) * | 2004-08-19 | 2007-08-09 | Mitsubishi Electric Corp | 画像検索方法及び画像検索装置 |
| US7724944B2 (en) | 2004-08-19 | 2010-05-25 | Mitsubishi Electric Corporation | Image retrieval method and image retrieval device |
| CN1973299B (zh) * | 2004-08-19 | 2010-08-11 | 三菱电机株式会社 | 图像检索方法和图像检索装置 |
| JP4632830B2 (ja) * | 2004-08-19 | 2011-02-16 | 三菱電機株式会社 | 画像検索方法及び画像検索装置 |
| KR100790865B1 (ko) | 2005-01-10 | 2008-01-03 | 삼성전자주식회사 | 상황기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 디지털 사진 앨범 시스템 및 방법 |
| JP2008242543A (ja) * | 2007-03-26 | 2008-10-09 | Canon Inc | 画像検索装置、画像検索装置の画像検索方法、及び画像検索装置の制御プログラム |
| JP2008282099A (ja) * | 2007-05-08 | 2008-11-20 | Canon Inc | 画像検索装置および画像検索方法ならびにそのプログラムおよび記憶媒体 |
| US8532431B2 (en) | 2007-05-08 | 2013-09-10 | Canon Kabushiki Kaisha | Image search apparatus, image search method, and storage medium for matching images with search conditions using image feature amounts |
| JP2016218652A (ja) * | 2015-05-19 | 2016-12-22 | シャープ株式会社 | 表示装置、情報処理プログラムおよび情報処理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11615559B2 (en) | Methods and systems for human imperceptible computerized color transfer | |
| US10810454B2 (en) | Apparatus, method and program for image search | |
| TWI559242B (zh) | 視覺化服飾檢索 | |
| US6711291B1 (en) | Method for automatic text placement in digital images | |
| EP1555634A1 (en) | Method and apparatus for automatically determining image foreground color | |
| JP2004234228A (ja) | 画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラム | |
| EP1288798A2 (en) | Method and system for automated grouping of images | |
| JP2004361987A (ja) | 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法 | |
| US20040243602A1 (en) | Document processing apparatus | |
| JP2001084274A (ja) | 画像検索方法および画像処理方法 | |
| JP2002288687A (ja) | 特徴量算出装置および方法 | |
| US6847379B2 (en) | Display of static digital images | |
| JP2011039944A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP2004192121A (ja) | 画像検索装置、画像分類方法、画像検索方法、及びプログラム | |
| WO2020235862A1 (en) | Image manipulation | |
| JP2007199749A (ja) | 画像検索方法及び画像検索装置 | |
| JP2004228995A (ja) | 画像トリミング装置、画像のトリミング方法、及びプログラム | |
| JP4348956B2 (ja) | 画像レイアウト装置、画像レイアウト方法、画像レイアウト装置におけるプログラム | |
| JP4148642B2 (ja) | 類似画像検索装置、及びコンピュータ読み取り可能な記録媒体 | |
| JP2005208740A (ja) | 部分画像検索装置及び部分画像検索プログラム | |
| JP2003330941A (ja) | 類似画像分類装置 | |
| WO1999017250A1 (en) | Image comparing system | |
| JP2011043954A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP2008148183A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| KR101643550B1 (ko) | 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050527 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050530 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20071217 |