JP2009193187A - 画像検索方法、画像検索システム、画像検索端末および検索用サーバー - Google Patents

Abstract

【課題】任意の画像と類似する類似画像を容易に検索することを可能とする。
【解決手段】デジタルカメラ４は、使用者が任意の撮影画像を選択すると、撮影画像における各々の被写体ついて画像としての構造的な特徴を表すフラクタルデータを取得し、それを検索用サーバー２へ送信する。検索用サーバー２は、特定対象物の画像としての構造的な特徴を表す複数のフラクタルデータと、各フラクタルデータに対応する特定対象物を表すキーワードを記憶しており、送られたフラクタルデータに対応するキーワードを検索キーワードとしてインターネット１上で画像をキーワード検索する。検索結果の画像における各々の被写体ついてフラクタルデータを取得し、デジタルカメラ４から送られたフラクタルデータとの類似度に基づき一致度を演算し、一致度が一定以上の画像を最終的な検索結果として、一致度に応じた優先順位に従ってデジタルカメラ４へ順に送信する。
【選択図】図１

Description

本発明は、任意の画像に類似する類似画像の検索に用いられる画像検索方法と、画像検索システム、画像検索端末および検索用サーバーに関するものである。

従来、例えば下記特許文献１には、インターネットに接続可能なカメラ機能付の携帯電話機に用いられる技術として、画像データに対して文字認識（ＯＣＲ：optical character reader）処理を行い、その認識結果（画像情報として記録されている文字情報）を検索キーワードとして使用することにより、特定の情報を公開しているＷｅｂサイトを検索する技術が記載されている。係る技術によれば、画像データとして記録されている文字情報を使用者が自ら入力する必要がなく、特定の情報を公開しているＷｅｂサイトのキーワード検索を楽に行うことが可能となる。
特開２００７−１２８１５０号公報

しかしながら、上記技術は、周知のＯＣＲ技術を用いて静止画像に写っている文字を直接読み取ることによって画像データから文字情報を自動的に取得するものであり、文字が写っていない静止画像から文字情報を取得するものではない。そのため、例えば携帯電話機の使用者が、カメラ機能を用いて撮影した画像と内容が類似する類似画像をインターネット上において検索するような場合には、画像の内容に即したキーワード、すなわち文字情報を依然として手動で入力する必要があり、類似画像の検索作業が煩雑であるという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、任意の画像と類似する類似画像を容易に検索することが可能となる画像検索方法、画像検索システム、画像検索端末および検索用サーバー、それらに用いられるプログラムを提供することを目的とする。

前記課題を解決するため請求項１記載の発明に係る画像検索方法にあっては、画像データとして記憶されている任意の画像に類似する類似画像を検索する画像検索方法であって、前記画像の特徴を表す特徴情報を前記画像データに基づいて取得する第１の特徴取得ステップと、互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と複数の前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段の中から、前記第１の特徴取得ステップにおいて取得された特徴情報に類似する特徴情報を特定する特定ステップと、この特定ステップにおいて特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索ステップとを含むことを特徴とする。

また、請求項２記載の発明に係る画像検索方法にあっては、前記画像に対し前記特徴情報の取得対象となる対象領域を設定する領域設定ステップを含み、前記第１の特徴取得ステップは、前記特徴情報として、前記領域設定ステップにおいて設定された対象領域における画像が有する自己相似性をもつ図形情報を取得することを特徴とする。

また、請求項３記載の発明に係る画像検索方法にあっては、前記検索ステップにおいて検索された類似画像の前記特徴情報を取得する第２の特徴取得ステップと、前記検索ステップにおいて検索された複数の類似画像に対し、前記第１の特徴取得ステップにおいて取得された特徴情報と前記第２の特徴取得ステップにおいて取得された特徴情報とに基づき判断した第１の類似度に応じた順位付けを行う順位付けステップと前記検索ステップにおいて検索された複数の類似画像を、前記順位付けステップにおいて順位付けされた順に表示する表示ステップとを含むことを特徴とする。

また、請求項４記載の発明に係る画像検索方法にあっては、 前記画像の色を表す色情報を前記画像データに基づいて取得する第１の色情報取得ステップと、前記検索ステップにおいて検索された類似画像の前記色情報を取得する第２の色情報取得ステップと、を含み順位付けステップは、前記検索ステップにおいて検索された複数の類似画像に、前記第１の類似度と、前記第１の色情報取得ステップにおいて取得された色情報と前記第２の色情報取得ステップにおいて取得された色情報とに基づき判断した第２の類似度に応じた順位付けを行うことを特徴とする。

また、請求項５記載の発明に係る画像検索システムにあっては、情報検索端末と、当該情報検索端末に接続された検索用サーバーとを備え、画像データとして記憶されている任意の画像に類似する類似画像を検索する画像検索システムであって、前記情報検索端末は、前記画像の特徴を表す特徴情報を、前記画像データに基づいて取得する特徴取得手段と、前記特徴取得手段により取得された特徴情報を前記検索用サーバーに送信する送信手段と、を備え、前記検索用サーバーは、互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段と、前記情報検索端末からの要求に応じ、前記記憶手段に記憶されている複数の特徴情報の中から、前記送信手段により送信された特徴情報に類似する特徴情報を特定する特定手段と、この特定手段により特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索手段とを備えることを特徴とする。

また、請求項６記載の発明に係る検索用サーバーにあっては、画像データとして記憶されている任意の画像に類似する類似画像を検索する検索用サーバーであって、画像検索端末から送られた任意の画像に関する特徴情報であって、画像データに基づき取得された画像としての特徴を表す特徴情報を受信する受信手段と、互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段と、前記画像検索端末からの要求に応じ、前記記憶手段に記憶されている複数の特徴情報の中から、前記受信手段により受信された特徴情報に類似する特徴情報を特定する特定手段と、この特定手段により特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索手段と、この検索手段により検索された類似画像を前記画像検索端末へ送信する送信手段とを備えたことを特徴とする。

また、請求項７記載の発明に係る画像検索方法にあっては、画像データとして記憶されている任意の画像に類似する類似画像を検索する画像検索方法であって、画像検索端末から送られた任意の画像に関する特徴情報であって、画像データに基づき取得された画像としての特徴を表す特徴情報を受信する受信ステップと、前記画像検索端末からの要求に応じ、互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段の中から、前記受信ステップにおいて受信された特徴情報に類似する特徴情報を特定する特定ステップ、この特定ステップにおいて特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索ステップ、この検索ステップにおいて検索された類似画像を前記画像検索端末へ送信する送信ステップと、を含むことを特徴とする。

また、請求項８記載の発明にあっては、画像データとして記憶されている任意の画像に類似する類似画像を検索する検索用サーバーが有するコンピュータを、画像検索端末から送られた任意の画像に関する特徴情報であって、画像データに基づき取得された画像としての特徴を表す特徴情報を受信するよう受信手段を制御する受信制御手段、前記画像検索端末からの要求に応じ、互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段の中から、前記受信手段により受信された特徴情報に類似する特徴情報を特定する特定手段、この特定手段により特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索手段、この検索手段により検索された類似画像を前記画像検索端末へ送信するよう送信手段を制御する送信制御手段、として機能させるサーバー用プログラムとした。

また、請求項９記載の発明に係る画像検索端末にあっては、画像データとして記憶されている任意の画像に類似する類似画像を検索する画像検索端末であって、互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段と、前記画像の特徴を表す特徴情報を、前記画像データに基づいて取得する特徴取得手段と、前記記憶手段に記憶されている複数の特徴情報の中から、前記特徴取得手段により取得された特徴情報に類似する特徴情報を特定する特定手段と、この特定手段により特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索手段とを備えることを特徴とする。

また、請求項１０記載の発明に係る画像検索方法にあっては、画像データとして記憶されている任意の画像に類似する類似画像を検索する画像検索方法であって、前記画像の特徴を表す特徴情報を、前記画像データに基づいて取得する特徴取得ステップと、互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段の中から、前記特徴取得ステップにおいて取得された特徴情報に類似する特徴情報を特定する特定ステップと、この特定ステップにおいて特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索ステップとを含むことを特徴とする。

また、請求項１１記載の発明にあっては、画像データとして記憶されている任意の画像に類似する類似画像を検索する画像検索端末が有するコンピュータを、前記画像の特徴を表す特徴情報を、前記画像データに基づいて取得する特徴取得手段、互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段の中から、前記特徴取得手段により取得された特徴情報に類似する特徴情報を特定する特定手段、この特定手段により特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索手段、として機能させる端末用プログラムとした。

本発明によれば、任意の画像と類似する類似画像を容易に検索することが可能となる。

以下、本発明の一実施の形態を図にしたがって説明する。
（実施形態１）
図１は、本発明の画像検索端末と検索サーバーとを含む画像検索システムを示すシステム構成図である。本システムは、デジタルカメラ４の使用者が自己が撮影した画像と類似する画像をインターネット１上において検索可能とするものであって、図示したようにインターネット１に接続された検索用サーバー２と、無線基地局３を介してインターネット１へ接続可能なデータ通信機能を有するデジタルカメラ４とによって構成される。

前記検索用サーバー２は本発明の検索サーバーであり、またデジタルカメラ４は本発明の画像検索端末である。無線基地局３は、例えば商用の通信回線網（携帯電話回線、ＰＨＳ等）、公衆ＬＡＮ等の無線基地局である。また、インターネット１には、種々の画像（静止画像）を保有する複数の画像サーバー５，５，５，・・・が接続されている。画像サーバー５は、例えばＷｅｂアルバムを構成するＷｅｂサーバーや、画像情報を含む様々なＷｅｂサイトを構成する任意のＷｅｂサーバーである。

一方、前記検索用サーバー２は、図２に示すように、通信制御部２１、制御部２２、プログラムデータ記憶部２３、キーワード・データベース２４がシステムバス２５により相互に接続されたシステムであって、画像検索サービスを提供する。

通信制御部２１は本発明の送信手段及び受信手段であり、インターネット１を介して接続されたデジタルカメラ４や画像サーバー５との間におけるデータの送受信を行う。キーワード・データベース２４は、任意の記憶装置によって実現された本発明の記憶手段である。キーワード・データベース２４には、複数のフラクタルデータと、各々のフラクタルデータに対応するキーワードが記憶されている。

フラクタルデータは、木の葉や、木、山、雪等の異なる被写体を対象として撮影した画像における各々の被写体（特定対象物）の画像としての構造的な特徴を表す特徴情報である。より詳しくは、特定対象物の画像を自己相似性をもつ図形として解析することにより得られる所定のパラメータである。このパラメータの例としては、特定対象物の画像を複数の拡大倍率をもって順次拡大していく場合において、どの拡大倍率による拡大段階においても観察される自己相似性をもつ構図がある。また、キーワードは、上記の特定対象物を表す「葉」、「木」、「山」等の文字データである。

制御部２２は、プログラムデータ記憶部２３に記憶されているプログラムに基づき通信制御部２１の動作を制御するとともに、キーワード・データベース２４における特定のキーワードの検索、検索したキーワードを用いた画像検索等を行うものであって、本発明の特定手段、検索手段、送信制御手段、受信制御手段として機能する。なお、検索用サーバー２は、別途接続された図示しない他の装置により、必要に応じてプログラムデータ記憶部２３やキーワード・データベース２４の記憶データを更新される。

また、前記デジタルカメラ４は、図３に示すように、主としてカメラ部３１、ＣＰＵ３２、表示部３３、入力部３４、画像メモリ３５、プログラムメモリ３６、通信部３７、オブジェクト解析部３８、色合い解析部３９、フラクタル解析部４０から構成されている。

カメラ部３１は本発明の撮像手段であり、ＣＣＤやＣＭＯＳセンサ等の撮像素子と、撮像素子の出力信号を処理する種々の信号処理回路から構成され、図示しない光学系によって結像された被写体の光学像を撮像素子により画像信号に変換するとともに、信号処理回路により種々の信号処理を施し画像データとしてＣＰＵ３２へ出力する。

カメラ部３１により撮像された被写体の画像データは、ＣＰＵ３２によってＪＰＥＧ等の所定の圧縮方式に従い圧縮された後、画像メモリ３５に画像ファイルとして記録される。画像メモリ３５は本発明の画像記憶手段であり、例えばカメラ本体に着脱自在なメモリカードや、本体に内蔵されたデータの書き替えが可能な不揮発性メモリから構成される。

表示部３３は、ＬＣＤ３２ａ（図１参照）及びその駆動回路等からなり、デジタルカメラ４における基本となる動作モードのうち撮影モードが設定されているときには、撮像された被写体画像を表示するとともに、基本となる動作モードのうち再生モードにおいては画像メモリ３５に記録された画像を表示する。入力部３４は、使用者によるデジタルカメラ４の操作に使用される、電源キーやシャッターキー、モード切替キーを含む複数のスイッチ類から構成される。

通信部３７は、本発明の送信手段及び受信手段であって、無線基地局３との間でデジタル信号が重畳された電波を送受信するアンテナを含み、送受信する電波の変調／復調処理回路、デジタル信号の符号／復号処理回路等から構成され、ＣＰＵ３２の制御に従い動作することにより、後述する画像検索時においては、インターネット１を介して前記検索用サーバー２との間で各種のデータを送受信する。

オブジェクト解析部３８は本発明の領域設定手段であり、ＣＰＵ３２の命令に従い画像メモリ３５に画像ファイルとして記録されているとともに、使用者に指定された任意の画像（以下、撮影画像ともいう。）から、エッジ検出や、隣接する画素の色の連続性の検出等、パターンマッチングに基づく画像認識等を行い、画像内に存在する個々の被写体部分を解析（オブジェクトを特定）し、解析した個々の被写体部分にオブジェクト領域（対象領域）を設定する。

色合い解析部３９は本発明の色情報取得手段であり、ＣＰＵ３２の命令に従い、オブジェクト解析部３８により設定されたオブジェクト領域の色合いを画像データに基づき解析し、オブジェクト領域毎に、各領域における全体的の色合いを示す色情報を取得し、取得した色情報をＣＰＵ３２へ送る。

フラクタル解析部４０は本発明の特徴取得手段であり、ＣＰＵ３２の命令に従い、オブジェクト解析部３８により設定されたオブジェクト領域の画像データに基づきオブジェクト領域毎にフラクタルデータを取得し、取得したフラクタルデータをＣＰＵ３２へ送る。なお、係るフラクタルデータは、前述した前記検索用サーバー２が有するものと同様のデータであって、オブジェクト領域における画像としての構造的な特徴を表す特徴情報であるとともに、オブジェクト領域つまり個々の被写体部分の画像を自己相似性をもつ図形として解析することにより得られる所定のパラメータである。このパラメータの例としては、個々の被写体部分の画像を複数の拡大倍率をもって順次拡大していく場合において、どの拡大倍率による拡大段階においても観察される自己相似性をもつ構図がある。

ＣＰＵ３２は、プログラムメモリ３６に記憶されているプログラム、及び入力部３４におけるキーの操作に従い動作することにより前述した各部を制御する。

プログラムメモリ３６は、ＥＥＰＲＯＭやフラッシュメモリ等の書き換え可能なメモリであり、ＣＰＵ３２による前述した各部の制御に必要なプログラム、及びオブジェクト解析部３８、色合い解析部３９、フラクタル解析部４０の上述した動作に使用される種々のデータが記憶されている。なお、プログラムメモリ３６には、デジタルカメラ４の各種の機能設定に関する設定情報等も記憶されている。

次に、上述した図１の画像検索システムにおいて、デジタルカメラ４の使用者が自己が撮影した画像と類似する画像をインターネット１上において検索する時のデジタルカメラ４と検索用サーバー２の動作について説明する。図４は、それを示すフローチャートである。

すなわち、デジタルカメラ４にあっては、再生モードにおいて使用者から所定のキー操作によって画像検索指示があると、まず、前記ＬＣＤ３２ａに、画像メモリ３５に記憶されている撮影画像を一覧表示したり、撮影画像をキー操作に応じて順に表示したりするとともに、使用者に所定のキー操作によって所望する撮影画像を選択（指定）させる（ステップＳＡ１）。

次に、選択された撮影画像に対し、前記オブジェクト解析部３８によって画像内における個々の被写体部分を解析し、解析した個々の被写体部分に１又は複数のオブジェクト領域を設定し（ステップＳＡ２）、フラクタル解析部４０によってオブジェクト領域毎にフラクタルデータを取得するとともに（ステップＳＡ３）、色合い解析部３９によってオブジェクト領域毎に色情報を取得する（ステップＳＡ４）。

しかる後、取得した１又は複数のオブジェクト領域に関するフラクタルデータと色情報とを通信部３７によって検索用サーバー２へ送信する（ステップＳＡ５）。また、上記データの送信時にはＣＰＵ３２が検索用サーバー２に対して類似画像の検索要求を行う。

一方、検索用サーバー２にあっては、デジタルカメラ４からの類似画像の検索要求に応じて、まず、キーワード・データベース２４に記憶されているフラクタルデータの中から、送信された１又は複数のフラクタルデータのそれぞれについて最も類似するフラクタルデータ個別に検索し（ステップＳＢ１）、検索したフラクタルデータに対応する１又は複数のキーワードを取得し、それを検索キーワードとして決定する（ステップＳＢ２）。

引き続き、決定した検索キーワードを用いてインターネット１上に存在する（公開されている）画像を検索する（ステップＳＢ３）。本実施形態においては、テキスト検索技術を用いて画像を検索するインターネット１上で利用可能な所定の画像検索エンジンを利用して、つまり画像検索エンジンを構成する他の装置や他のシステムを介して、図１に示した複数の画像サーバー５，５，５，・・・等が保有する特定対象物の画像を対象として、前記検索キーワードに関連する特定対象物の画像を検索し、検索された特定対象物の画像のデータを取得する。なお、前記検索キーワードが複数の場合には全ての検索キーワードに対応する特定対象物の画像を検索する。

次に、上記検索により取得した特定対象物の画像、つまり複数の検索画像の各々に、デジタルカメラ４と同様にオブジェクト領域を設定するとともに、オブジェクト領域毎のフラクタルデータ及び色情報を取得する（ステップＳＢ４）。そして、キーワード・データベース２４に記憶されている前述した検索キーワードに対応するフラクタルデータと、検索画像から取得したフラクタルデータとの一致度（第１の一致度）、さらにデジタルカメラ４から送られた色情報と、検索画像から取得した色情報との一致度（第２の一致度）を所定の基準に応じて判断するとともに、それらに基づき検索画像の各々について総合的な一致度を演算する（ステップＳＢ５）。なお、係る処理に際して一致度は数値として取得する。

しかる後、上記の総合的な一致度が予め決められている基準以上の検索画像に優先順位を付与するとともに（ステップＳＢ６）、優先順位を付与した各々の検索画像を最終的な検索結果として優先順位に従いデジタルカメラ４へ順に送信する（ステップＳＢ７）。

これに応じてデジタルカメラ４においては、上記の一致度が基準以上の検索画像を受信するとともに、受信した複数の検索画像（複数の特定対象物の画像）、つまり類似画像を優先順位（ここでは受信順）に従い前記ＬＣＤ３２ａに表示する（ステップＳＡ６）。具体的には、複数の検索画像を受信順に一覧表示したり、使用者のキー操作に応じて１枚ずつ順に表示したりする。

以上のように本実施形態の画像検索システムにおいて、デジタルカメラ４の使用者は、ある撮影画像と類似する類似画像をインターネット上において検索（キーワード検索）する際には、撮影画像の内容に応じたキーワードを入力しなくとも、撮影画像を選択するといった簡単な操作を行うだけで類似画像を検索することができ、撮影画像と類似する画像の検索作業を極めて容易に行うことができる。

また、上述した画像検索システムにおいては、検索用サーバー２が、キーワード検索により得られた検索画像のうちから前述したフラクタルデータと色情報とに基づき総合的な一致度を演算し、一致度が基準以上の検索画像のみを最終的な検索結果とする画像の選別処理を行うため、検索結果としてより的確な画像のみを得ることができる。

なお、デジタルカメラ４に、前述した色情報に加えて、例えばオブジェクト領域毎に被写体の外観情報（例えば被写体形状に関する情報）を取得させ、それをフラクタルデータと色情報と共に検索用サーバー２へ送らせるとともに、検索用サーバー２に、当初取得した検索画像について上記外観情報に基づく一致度を演算させ、その演算結果とフラクタルデータと色情報とに基づき総合的な一致度を演算させ、それに基づき最終的な検索結果とする画像の選別処理を行わせてもよい。その場合には、類似画像の検索精度を向上させることができる。

また、最終的に検索結果として得られる画像数が多くてもよい場合には、検索用サーバー２における上記の選別処理を廃止したり、或いは、前述したフラクタルデータのみに基づき行ったり、色情報のみに基づき行ったりしてもよい。フラクタルデータのみに基づき行う場合には、当然、デジタルカメラ４におけるステップＳＡ４の色情報の取得処理は不要となる。無論、いずれの場合においても、デジタルカメラ４の使用者が所望する類似画像を検索する際の容易性は本実施形態と同様に確保することができる。

また、本実施形態の形態においては、デジタルカメラ４が、使用者によって選択された撮影画像にオブジェクト領域を設定するとともに、オブジェクト領域毎にフラクタルデータや色情報を取得し、取得したフラクタルデータや色情報を検索用サーバー２へ送るものについて説明したが、以下のような構成としてもよい。例えばデジタルカメラ４がフラクタルデータや色情報を取得せずに、選択された撮影画像を検索用サーバー２へ送り、検索用サーバー２側において、送られた撮影画像にオブジェクト領域を設定してオブジェクト領域毎にフラクタルデータや色情報を取得する構成としてもよい。

また、その場合には、デジタルカメラ４が撮影画像をそのまま検索用サーバー２へ送るのではなく、撮影画像をいったんオブジェクト領域の設定や、フラクタルデータや色情報の取得に最低限必要となる大きさに縮小した後、検索用サーバー２へ送る構成とすることにより、検索用サーバー２へ送信するデータ量を削減するようにしてもよい。

さらに、検索用サーバー２における前述した選別処理を廃止したり、選別処理をフラクタルデータのみに基づき行ったりする場合には、デジタルカメラ４において、撮影画像からオブジェクト領域の設定やフラクタルデータの取得に最低限必要となる画像情報（例えば２値化情報等）を抽出し、抽出した画像情報を検索用サーバー２に送る一方、検索用サーバー２が、係る画像情報に基づいてフラクタルデータを取得する構成とすれば、検索用サーバー２へ送信するデータ量をさらに削減することができる。

また、本実施形態においては、検索用サーバー２が、デジタルカメラ４から送られたフラクタルデータに基づき決定した検索キーワードによる画像検索をインターネット１上で利用可能な所定の画像検索エンジンを利用して行うものについて説明したが、前記検索用サーバー２は、それ自体が画像検索エンジンとしての機能を有する構成であってもよい。さらに、例えば検索用サーバー２が、多数の画像を１又は複数のキーワードと対応付けて記憶する画像データベースを有するものであれば、デジタルカメラ４からの要求に応じて、自己が有する画像データベース内の画像のみを対象として画像検索を行っても構わない。

また、本実施形態においては、本発明の画像検索端末の一例として、インターネット１に接続可能な構成を有するデジタルカメラ４を示したが、本発明は、デジタルカメラ４以外の装置、例えばインターネット１に接続可能な構成を有する携帯電話端末（カメラ機能の有無は問わない）にも適用することができる。

また、本発明の画像検索端末と検索サーバーとはデータ通信が可能であればよく、通信形態は無線に限らず有線によるものであってもよく、またインターネット１を利用しない特定のネットワーク上で使用されるものであっても構わない。

（実施形態２）
次に、本発明の第２の実施の形態について説明する。第１の実施の形態では、本発明の画像検索方法を実施するものとして、主として検索用サーバー２とデジタルカメラ４とによって構成される画像検索システムについて説明したが、本発明の画像検索方法は単独の装置によっても実施することができる。

例えば図３に示したデジタルカメラ４と同様の構成を有するデジタルカメラにおいて、前記プログラムメモリ３６に、第１の実施の形態において検索用サーバー２により行われていた、前述したインターネット１上で利用可能な所定の画像検索エンジンを利用した画像検索、及び最終的な検索結果の選別処理を行う制御プログラム、及び特定対象物の画像としての構造的な特徴を表す複数のフラクタルデータと、各フラクタルデータに対応するキーワードを記憶しておき、デジタルカメラのみで実施するようにしてもよい。

図５は、その場合におけるデジタルカメラの動作内容を示すフローチャートである。図から明らかなようにステップＳＡ１０７〜ステップＳＡ１１１が検索用サーバー２により行われていた画像検索、及び最終的な検索結果の選別処理である。それ以外のステップＳＡ１０１〜ステップＳＡ１０４の処理は、図５に示したステップＳＡ１〜ステップＳＡ４、ステップＳＡ６の処理と同一であり、ステップＳＡ１１１が図５に示したステップＳＡ７の処理に対応する処理である。

係る第２の本実施形態においても、デジタルカメラの使用者は、第１の実施の形態の画像検索システムを用いる場合と同様、撮影画像を選択するといった簡単な操作を行うだけで類似画像を検索することができ、撮影画像と類似する画像の検索作業を極めて容易に行うことができる。また、キーワード検索により得られた検索画像のうちから前述したフラクタルデータと色情報とに基づき総合的な一致度を演算し、一致度が基準以上の検索画像のみを最終的な検索結果とする画像の選別処理を行うことにより、検索結果としてより的確な画像のみを得ることができる。

なお、第１の実施形態において言及した、検索用サーバー２におけるキーワードに基づく画像の検索処理や、画像検索の選別処理の内容については、本実施形態のデジタルカメラにもそのまま当てはまる。

また、類似画像の検索対象については、インターネット１上に存在する（公開されている）画像に限らず、前記画像メモリ３５に記憶されている撮影画像であっても構わない。その場合、通信部３７（図３参照）を有していない、つまりインターネット１に接続するための通信機能を有していないデジタルカメラにも本発明を適用することができる。

本発明の第１の実施の形態を示す画像検索システムのシステム構成図である。 検索用サーバーの概略構成を示すブロック構成図である。 デジタルカメラの概略構成を示すブロック構成図である。 画像検索時における主としてデジタルカメラ及び検索用サーバーの動作を示すフローチャートである。 本発明の第２の実施の形態におけるデジタルカメラの動作を示すフローチャートである。

符号の説明

１ インターネット
２ 検索用サーバー
３ 無線基地局
４ デジタルカメラ
５ 画像サーバー
２１ 通信制御部
２２ 制御部
２３ プログラムデータ記憶部
２４ キーワード・データベース
２５ システムバス
３１ カメラ部
３２ ＣＰＵ
３３ 表示部
３４ 入力部
３５ 画像メモリ
３６ プログラムメモリ
３７ 通信部
３８ オブジェクト解析部
３９ 色合い解析部
４０ フラクタル解析部

Claims (11)

1. 画像データとして記憶されている任意の画像に類似する類似画像を検索する画像検索方法であって、
   前記画像の特徴を表す特徴情報を前記画像データに基づいて取得する第１の特徴取得ステップと、
   互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と複数の前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段の中から、前記第１の特徴取得ステップにおいて取得された特徴情報に類似する特徴情報を特定する特定ステップと、
   この特定ステップにおいて特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索ステップと
   を含むことを特徴とする画像検索方法。
2. 前記画像に対し前記特徴情報の取得対象となる対象領域を設定する領域設定ステップを含み、
   前記第１の特徴取得ステップは、前記特徴情報として、前記領域設定ステップにおいて設定された対象領域における画像が有する自己相似性をもつ図形情報を取得する
   ことを特徴とする請求項１記載の画像検索方法。
3. 前記検索ステップにおいて検索された類似画像の前記特徴情報を取得する第２の特徴取得ステップと、
   前記検索ステップにおいて検索された複数の類似画像に対し、前記第１の特徴取得ステップにおいて取得された特徴情報と前記第２の特徴取得ステップにおいて取得された特徴情報とに基づき判断した第１の類似度に応じた順位付けを行う順位付けステップと
   前記検索ステップにおいて検索された複数の類似画像を、前記順位付けステップにおいて順位付けされた順に表示する表示ステップと
   を含むことを特徴とする請求項１又は２記載の画像検索方法。
4. 前記画像の色を表す色情報を前記画像データに基づいて取得する第１の色情報取得ステップと、
   前記検索ステップにおいて検索された類似画像の前記色情報を取得する第２の色情報取得ステップと、を含み
   順位付けステップは、前記検索ステップにおいて検索された複数の類似画像に、前記第１の類似度と、前記第１の色情報取得ステップにおいて取得された色情報と前記第２の色情報取得ステップにおいて取得された色情報とに基づき判断した第２の類似度に応じた順位付けを行う
   ことを特徴とする請求項３記載の画像検索方法。
5. 情報検索端末と、当該情報検索端末に接続された検索用サーバーとを備え、画像データとして記憶されている任意の画像に類似する類似画像を検索する画像検索システムであって、
   前記情報検索端末は、
   前記画像の特徴を表す特徴情報を、前記画像データに基づいて取得する特徴取得手段と、
   前記特徴取得手段により取得された特徴情報を前記検索用サーバーに送信する送信手段と、を備え、
   前記検索用サーバーは、
   互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段と、
   前記情報検索端末からの要求に応じ、前記記憶手段に記憶されている複数の特徴情報の中から、前記送信手段により送信された特徴情報に類似する特徴情報を特定する特定手段と、
   この特定手段により特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索手段とを備える
   ことを特徴とする画像検索システム。
6. 画像データとして記憶されている任意の画像に類似する類似画像を検索する検索用サーバーであって、
   画像検索端末から送られた任意の画像に関する特徴情報であって、画像データに基づき取得された画像としての特徴を表す特徴情報を受信する受信手段と、
   互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段と、
   前記画像検索端末からの要求に応じ、前記記憶手段に記憶されている複数の特徴情報の中から、前記受信手段により受信された特徴情報に類似する特徴情報を特定する特定手段と、
   この特定手段により特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索手段と、
   この検索手段により検索された類似画像を前記画像検索端末へ送信する送信手段と
   を備えたことを特徴とする検索用サーバー。
7. 画像データとして記憶されている任意の画像に類似する類似画像を検索する画像検索方法であって、
   画像検索端末から送られた任意の画像に関する特徴情報であって、画像データに基づき取得された画像としての特徴を表す特徴情報を受信する受信ステップと、
   前記画像検索端末からの要求に応じ、互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段の中から、前記受信ステップにおいて受信された特徴情報に類似する特徴情報を特定する特定ステップ、
   この特定ステップにおいて特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索ステップ、
   この検索ステップにおいて検索された類似画像を前記画像検索端末へ送信する送信ステップと、
   を含むことを特徴とする画像検索方法。
8. 画像データとして記憶されている任意の画像に類似する類似画像を検索する検索用サーバーが有するコンピュータを、
   画像検索端末から送られた任意の画像に関する特徴情報であって、画像データに基づき取得された画像としての特徴を表す特徴情報を受信するよう受信手段を制御する受信制御手段、
   前記画像検索端末からの要求に応じ、互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段の中から、前記受信手段により受信された特徴情報に類似する特徴情報を特定する特定手段、
   この特定手段により特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索手段、
   この検索手段により検索された類似画像を前記画像検索端末へ送信するよう送信手段を制御する送信制御手段、
   として機能させるサーバー用プログラム。
9. 画像データとして記憶されている任意の画像に類似する類似画像を検索する画像検索端末であって、
   互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段と、
   前記画像の特徴を表す特徴情報を、前記画像データに基づいて取得する特徴取得手段と、
   前記記憶手段に記憶されている複数の特徴情報の中から、前記特徴取得手段により取得された特徴情報に類似する特徴情報を特定する特定手段と、
   この特定手段により特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索手段とを備える
   ことを特徴とする画像検索端末。
10. 画像データとして記憶されている任意の画像に類似する類似画像を検索する画像検索方法であって、
    前記画像の特徴を表す特徴情報を、前記画像データに基づいて取得する特徴取得ステップと、
    互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段の中から、前記特徴取得ステップにおいて取得された特徴情報に類似する特徴情報を特定する特定ステップと、
    この特定ステップにおいて特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索ステップと
    を含むことを特徴とする画像検索方法。
11. 画像データとして記憶されている任意の画像に類似する類似画像を検索する画像検索端末が有するコンピュータを、
    前記画像の特徴を表す特徴情報を、前記画像データに基づいて取得する特徴取得手段、
    互いに異なる特定対象物の画像の特徴をそれぞれ表す複数の特徴情報と前記特定対象物を表す複数のキーワードとが対応付けて記憶された記憶手段の中から、前記特徴取得手段により取得された特徴情報に類似する特徴情報を特定する特定手段、
    この特定手段により特定された特徴情報と対応付けられているキーワードを検索キーワードとして用いて、前記特定対象物の画像を前記類似画像として検索する検索手段、
    として機能させる端末用プログラム。

Images