JP5010624B2 - 検索装置 - Google Patents

Description

本発明は、クエリに関連するデータを検索する技術に関するものである。特に、本発明は、Ｗｅｂ検索に適した検索技術に関するものである。

下記特許文献１には、クエリを用いたＷｅｂ検索技術が開示されている。この技術では、クローリングと呼ばれる手法により、予め、Ｗｅｂ内に存在する各種の文書（一般にはテキストや画像を含む）が取得され、データベース中に蓄積される。蓄積時には、検索の容易性を考慮した索引付けが行われる。

この技術において、ユーザがユーザ端末にクエリを入力すると、検索エンジンは、クエリに基づいて、データベース内を検索し、類似するＷｅｂ文書を検索結果としてユーザ端末に返す。

さらに、この技術では、一つのクエリに基づいて、異なるカテゴリー（例えばニュース、ディスカッション・グループ、イメージなど）におけるそれぞれの検索結果を取得する。そして、それぞれのカテゴリーにおける検索結果をユーザに提示する。

この技術においては、ユーザは、興味のあるカテゴリーを指定することにより、当該カテゴリーに属する検索結果にアクセスすることができる。しかしながら、この技術は、各カテゴリーにおける検索結果を統合して表示するものではない。

一方、下記特許文献２には、複合メディア文書をクエリとして検索を行う技術が記載されている。この技術では、ユーザが指定した複合メディア文書（テキストや画像を含む文書）から特徴を自動的に抽出し、抽出された特徴をキーにしてデータベースを検索する。データベース中に、検索対象となる複合メディア文書と、そこから抽出された特徴とを対応して事前に記録しておくことによって、クエリに類似した複合メディア文書を取得する。

しかしながら、様々な情報を持つ複合メディア文書から検索キーを自動的に抽出すると、検索ノイズが増える傾向がある。このため、この技術を実装する場合は、検索ノイズを抑えるための工夫が必要になると考えられる。

また、一般的なウェブ検索では、文字列が検索キーとして入力される。しかしながら、特許文献２の技術では、各種コンテンツを含む複合メディア文書を検索キーとして入力しなければならない。すると、ユーザは、検索しようとしている文書に類似する複合メディア文書を用意しなければ検索ができず、検索作業が煩雑になる。また、このような複合メディア文書を検索キーとして受け付ける検索装置は、クエリの形態が著しく制約されるために、汎用性に欠ける。

特表２００７−５１７３１７号公報（段落００３９及び００４０） 特開２０００−１４８７９３号公報

本発明は、前記の状況に鑑みてなされたものである。本発明の目的の一つはユーザにおける操作の負担を低く抑えつつ、ユーザの検索意図に沿った高精度の検索が可能になる検索装置ないし手法を提供することである。

本発明は、以下のいずれかの項目に記載の構成とされている。

（項目１）
クエリ受付部と、検索結果取得部と、ランキング調整部と、検索結果出力部とを備えており、
前記クエリ受付部は、ユーザ端末から送られた、検索のためのクエリを受け付けて、第１検索エンジンと、第２検索エンジンとにそれぞれ送る構成となっており、
前記第１検索エンジンは、前記クエリに基づいて、Ｗｅｂ文書を検索することにより、ランク付けされた第１検索結果を生成する構成となっており、
前記第２検索エンジンは、前記クエリに基づいて、マルチメディアデータを検索することにより、第２検索結果を生成する構成となっており、
前記マルチメディアデータには、画像又は音声が含まれており、
前記検索結果取得部は、前記第１検索エンジンにおける前記第１検索結果と、前記第２検索エンジンにおける前記第２検索結果とをそれぞれ取得する構成となっており、
前記ランキング調整部は、前記第１検索エンジンによる前記第１検索結果と、前記第２検索エンジンによる前記第２検索結果との類似度を算出する処理と、算出された前記類似度によって、前記第１検索結果におけるランク付けを変更することによって、第３検索結果を生成する処理とを行う構成となっており、
前記検索結果出力部は、前記第１検索エンジンによるランク付けがされた前記第１検索結果と、前記ランキング調整部によってランク付けが変更された前記第３検索結果とを並列に表示するための、表示用文書を生成する処理と、前記表示用文書を前記ユーザ端末に向けて出力する処理とを行う構成となっている
ことを特徴とする検索装置。

この発明によれば、第１検索エンジンによる第１検索結果に対して、第２検索エンジンによる第２検索結果を用いてランク付けを行うことができる。これにより、この発明では、検索精度の向上が期待でき、しかも、操作者への負担を低く抑えることが可能になる。なお、第２検索エンジンが複数存在することは可能である。

（項目２）
前記第２検索エンジンが複数存在しており、
前記ランキング調整部は、
前記第１検索エンジンによる前記第１検索結果と、前記複数の第２検索エンジンによる複数の前記第２検索結果とのそれぞれの類似度を統合し、かつ、統合された類似度に基づいて前記のランク付けを行う構成となっている
項目１に記載の検索装置。

（項目３）
前記第２検索エンジンは、画像検索エンジン、動画検索エンジン及び商品検索エンジンのいずれか、又は、これらの組み合わせである
項目１又は２に記載の検索装置。

（項目４）
前記ランキング調整部は、
前記第１検索エンジンによる検索結果に含まれるコンテンツの種類に応じて、前記第２検索エンジンによる前記第２検索結果を参照する処理と、
前記第２検索エンジンによる前記第２検索結果との類似度が高い場合に、前記前記第１検索エンジンによる前記第１検索結果のランクを高くする処理と
を行う構成となっている
項目１〜３のいずれか１項に記載の検索装置。

（項目５）
前記第１検索エンジンによる検索結果には、テキスト、画像及び音声のいずれか又はこれらの組み合わせが含まれている
項目１〜４のいずれか１項に記載の検索装置。

（項目６）
第１検索エンジンと、第２検索エンジンとが、検索のための共通のクエリを受け取るステップと；
前記第１検索エンジンが、前記クエリに基づいて、Ｗｅｂ文書を検索することにより、ランク付けされた第１検索結果を生成するステップと；
前記第２検索エンジンが、前記クエリに基づいて、マルチメディアデータを検索することにより、第２検索結果を生成するステップと、
ここで、前記マルチメディアデータには、画像又は音声が含まれており；
前記第１検索エンジンによる前記第１検索結果と、前記第２検索エンジンによる前記第２検索結果との類似度を算出するステップと；
算出された前記類似度によって、前記第１検索結果におけるランク付けを変更することによって、第３検索結果を生成するステップと；
前記第１検索エンジンによるランク付けがされた前記第１検索結果と、前記ランキング調整部によってランク付けが変更された前記第３検索結果とを並列に表示するための、表示用文書を生成するステップと；
前記表示用文書をユーザ端末に向けて出力するステップと を備えたことを特徴とする検索方法。

（項目７）
項目６に記載のステップをコンピュータに実行させることを特徴とするコンピュータプログラム。

このコンピュータプログラムは、適宜な記録媒体（例えばＣＤ−ＲＯＭやＤＶＤディスクのような光学的な記録媒体、ハードディスクやフレキシブルディスクのような磁気的記録媒体、あるいはＭＯディスクのような光磁気記録媒体）に格納することができる。このコンピュータプログラムは、インターネットなどの通信回線を介して伝送されることができる。

本発明によれば、ユーザにおける操作の負担を低く抑えつつ、高精度の検索が可能になる検索装置ないし手法を提供することである。

本発明の一実施形態に係る検索装置の基本的な構成を示すブロック図である。 図１の検索装置における基本的な動作を説明するためのフローチャートである。 図１の検索装置における基本的な動作を説明するための説明図である。 図１の検索装置におけるランキング手法を説明するためのフローチャートである。 図１の検索装置におけるランキング手法を説明するための説明図である。 図１の検索装置におけるランキング手法を説明するための説明図である。 図１の検索装置におけるランキング手法を説明するための説明図である。図（ａ）は、Web検索エンジンによる検索結果を示す。図（ｂ）は、再ランキングされた検索結果を示す。 マルチメディア類似度の計算に関する変形例１を説明するための説明図である。 マルチメディア類似度の計算に関する変形例２を説明するための説明図である。

（本実施形態の装置構成）
本発明の一実施形態に係る検索装置を、添付の図面に基づいて説明する。本実施形態の装置は、クエリを用いてＷｅｂ検索を行うものである。

本実施形態の検索装置は、検索仲介サーバ１として実装されている（図１参照）。検索仲介サーバ１は、クエリ受付部１１と、検索結果取得部１２と、ランキング調整部１３と、検索結果出力部１４とを備えている。

また、検索仲介サーバ１は、インターネット２に接続されている。また、インターネット２には、検索仲介サーバ１にクエリを送るためのユーザ端末３と、検索を実行するための検索実行サーバ４とがさらに接続されている。なお、インターネット以外のネットワークにより、これらの各ノードを接続することも可能である。

（検索仲介サーバ１の説明）
検索仲介サーバ１のクエリ受付部１１は、ユーザ端末３から送られた、検索のためのクエリを受け付けて、後述する第１検索エンジン（Ｗｅｂ検索エンジン）と、第２検索エンジン（他の検索エンジン）とにそれぞれ送る構成となっている。第１検索エンジンは、前記クエリに基づいて、Ｗｅｂ文書を検索することにより、ランク付けされた第１検索結果を生成する構成となっている。また、第２検索エンジンは、前記クエリに基づいて、マルチメディアデータを検索することにより、第２検索結果を生成する構成となっている。これらの検索エンジンの詳細は、本実施形態の動作として追って詳しく説明する。なお、本実施形態におけるマルチメディアデータは、画像又は音声が含まれたものとなっている。

検索結果取得部１２は、第１検索エンジンにおける第１検索結果と、第２検索エンジンにおける第２検索結果とをそれぞれ取得する構成となっている。この検索結果取得部１２についても追って詳しく説明する。

ランキング調整部１３は、第１検索エンジンによる第１検索結果と、第２検索エンジンによる前記第２検索結果との類似度を算出する処理と、算出された類似度によって、第１検索結果におけるランク付けを変更することによって、第３検索結果を生成する処理とを行う構成となっている。これについても追って詳しく説明する。

検索結果出力部１４は、第１検索エンジンによるランク付けがされた第１検索結果と、ランキング調整部によってランク付けが変更された第３検索結果とを並列に表示するための、表示用文書を生成する処理と、表示用文書をユーザ端末３に向けて出力する処理とを行う構成となっている。

（ユーザ端末３の説明）
ユーザ端末３は、ユーザによるクエリの入力を受け付け、入力されたクエリを検索サーバ１に送るためのものである。

ユーザ端末３は、端末本体３１と、入力部３２と、表示部３３とを備えている。

端末本体３１は、ＣＰＵ、ネットワーク・インタフェース、入出力インタフェースなどを備えており、ユーザ端末３の動作を制御できるようになっている。このような端末本体３１としては、通常のパーソナルコンピュータを用いることができる。

入力部３２は、端末本体３１に対してユーザが指令を入力するための部分である。入力部３２としては、例えばキーボードやマウスを用いることができる。本実施形態においては、ユーザは、入力部３２を使ってクエリを入力することができる。

表示部３３は、検索仲介サーバ１から返された検索結果（すなわち表示用文書）をユーザに表示できるようになっている。表示部３３としては、例えば、各種のディスプレイやプリンタを使用することができる。

（検索実行サーバの説明）
検索実行サーバ４は、Ｗｅｂ検索エンジン４１と、画像検索エンジン４２と、動画検索エンジン４３と、商品検索エンジン４４とを備えている。各検索エンジン４１〜４４は、与えられたクエリに基づいて、検索結果をそれぞれ取得する構成となっている。

Ｗｅｂ検索エンジン１２は、Ｗｅｂ文書の検索を行うものである。Ｗｅｂ検索エンジンの具体例としては、Yahoo（登録商標）検索がある。Ｗｅｂ検索の一例としては、データベース中に、インデックスが付されたＷｅｂ文書を蓄積しておき、クエリとインデックスとの類似度に基づいて、Ｗｅｂ文書を検索するものがある。インデックスの例は、Ｗｅｂ文書から抽出されたテキストである。

画像検索エンジン４２は、インターネット上にある画像を検索するものである。その具体例としては、Yahoo（登録商標）画像検索がある。画像検索の一例としては、データベース中に、インデックスが付された画像を蓄積しておき、クエリと画像との類似度に基づいて、画像を検索するものがある。インデックスの例は、画像の特徴を表す文言（いわゆるタグないしラベル）である。ただし、画像の特徴量を用いて蓄積画像を検索することも可能である。

動画検索エンジン４３は、インターネット上にある動画を検索するものである。その具体例としては、Yahoo（登録商標）動画検索がある。動画検索の一例としては、データベース中に、インデックスが付された動画を蓄積しておき、クエリと動画との類似度に基づいて、動画を検索するものがある。インデックスの例は、動画の特徴を表す文言（いわゆるタグないしラベル）である。ただし、動画を構成する画像や音声の特徴量を用いて蓄積動画を検索することも可能である。

商品検索エンジン４４は、インターネット上にある販売サイト上のテキスト、画像または音声のいずれかを含む情報を検索するものである。その具体例としては、Yahoo（登録商標）商品検索がある。商品検索の一例としては、データベース中に、商品販売用のＷｅｂ文書を、インデックスを付した状態で蓄積しておき、クエリとインデックスとの類似度に基づいて、商品販売用のＷｅｂ文書を検索するものがある。インデックスの例は、商品販売用のＷｅｂ文書から抽出されたテキストである。ただし、商品検索エンジンとしては、商品販売用のＷｅｂ文書に含まれる画像や音声情報に基づく検索を行うものであってもよい。

各検索エンジン４１〜４４は、それぞれ、検索対象となるデータを格納したデータベース４１１〜４４１を備えている。各データベース４１１〜４４１には、予めインターネット上をクローリングすることによって収集されたデータが格納されている。あるいは、各データベース４１１〜４４１には、サービス提供者によって収集されたデータが格納されている。また、各データベース４１１〜４４１に格納されたデータには、効率的な検索を行うための索引が付されている。例えば、テキストをクエリとする場合、画像検索用のラベルを、当該画像に対応させた状態で、データベースに登録することが一般に行われている。同様に、検索対象が動画や音声である場合も、このようなラベル付けを行うことができる。このようなデータベース４１１〜４４１の構成は、従来の検索エンジンにおけるものと同様でよいので、これ以上詳しい説明は省略する。本実施形態では、Ｗｅｂ検索エンジン４１が第１検索エンジンの例に相当し、他の検索エンジン４２〜４４が第２検索エンジンの例に相当している。

（ランキング調整部１３）
ランキング調整部１３は、Ｗｅｂ検索エンジン４１による第１検索結果に対して、他の検索エンジン４２〜４４による第２検索結果との類似度によって、第１検索結果におけるランク付けを変更する構成となっている。ランク付けが変更された結果が、本発明における第３検索結果の例に相当する。このようにして、この実施形態では、第１検索エンジンによる第１検索結果と、第２検索エンジンによる第２検索結果との類似度を算出する処理と、算出された類似度によって、第１検索結果におけるランク付けを変更することによって、第３検索結果を生成する処理とを行う構成となっている。

ランキング調整部１３についてのさらに詳しい動作は後述する。

（本実施形態の動作）
ついで、本実施形態に係る検索仲介サーバ１の動作について、図２及び図３を主に参照しながら説明する。

（図２のステップＳＡ−１）
まず、ユーザは、ユーザ端末３の入力部３２を用いて、クエリを入力する。クエリとしては、この実施形態では、テキストが用いられている。ユーザ端末３で入力されたクエリは、インターネット２を介して、検索仲介サーバ１のクエリ受付部１１に送られる（図３のステップＳＢ−１）。

（図２のステップＳＡ−２）
ついで、クエリ受付部１１は、検索実行サーバ４の各検索エンジン４１〜４４にクエリを送る。

（図２のステップＳＡ−３）
クエリを受け取った各検索エンジン４１〜４４は、それぞれの検索アルゴリズムに従って、検索結果を取得する（図３のステップＳＢ−２及びＳＢ−３）。各検索エンジンにおける検索処理は、従来の検索エンジンと同様でよいので、詳しい説明は省略する。

これにより、各検索エンジン４１〜４４における検索に対応して、検索結果のリストを取得することができる。この実施形態では、Ｗｅｂ検索エンジン４１による検索結果を第１検索結果、他の検索エンジン４２〜４４による検索結果を第２検索結果と称している。各検索結果は、インターネット２を介して、検索仲介サーバ１の検索結果取得部１２に送られる。

（図２のステップＳＡ−４）
検索結果取得部１２は、前記の第１検索結果及び第２検索結果を取得した後、これらの検索結果を、ランキング調整部１３に送る。ついで、ランキング調整部１３は、Ｗｅｂ検索エンジン４１による第１検索結果に対するランキングを調整する（図３のステップＳＢ−４）。なお、この調整を、「再ランキング」と呼ぶことがある。

再ランキングの詳しい手順を、図４〜図７に基づいて、さらに詳しく説明する。

（図４のステップＳＣ−１）
まず、Ｗｅｂ検索エンジン４１による第１検索結果と、他の検索エンジン４２〜４４による第２検索結果とのマルチメディア類似度を計算する。

図５には、Ｗｅｂ検索エンジン４１による第１検索結果のリスト（図（ａ））と、画像検索エンジン４２による第２検索結果のリスト（図（ｂ））と、動画検索エンジン４３による第２検索結果のリスト（図（ｃ））と、商品検索エンジン４４による第２検索結果のリスト（図（ｄ））とを示している。

各検索結果のリストでは、図５に示されたように、各検索エンジンのアルゴリズムに従って、ランク付けが行われている。図５では、上位Ｎ件（Ｎは任意の自然数）の検索結果が示されている。Ｎの値は、各検索エンジンにおいて異なっていても良いし、同じでもよい。

図５の例では、Ｗｅｂ検索エンジンによる第１順位の検索結果（いわゆるＷｅｂ文書）には、一つのテキストと、二つの画像が含まれている。第２順位の検索結果（いわゆるＷｅｂ文書）には、二つの動画と一つのテキストが含まれている。

ここで、Ｗｅｂ検索エンジン４１による検索リストのうちの一項目が、図６（ａ）に示されるように、二つの画像と一つの動画をコンテンツとして含むとする。この場合は、含まれるコンテンツに対応して、画像検索エンジン４２による検索結果（図６（ｂ））と、動画検索エンジン４３による検索結果（図６（ｃ））とが参照される。以下、詳しく説明する。

まず、画像については、Ｗｅｂ検索エンジン４１による検索結果に含まれる画像と、画像検索エンジン４２による検索結果としての画像との類似度を算出する（図６（ｄ））。具体的には、この実施形態では、Ｗｅｂ検索結果におけるそれぞれの画像と、画像検索結果におけるそれぞれの画像との類似度を計算する。そして、得られた最大類似度の平均を、画像類似度として用いる。

すなわち、この実施形態での画像類似度は、以下のようになる。なお、ここで、Ｍａｘ｛｝は、最大値を選ぶ関数を意味し、類似度（）は、類似度を算出する関数を意味する。

画像類似度＝［ＭＡＸ｛類似度（画像Ａ，画像１），類似度（画像Ａ，画像２），類似度（画像Ａ，画像３），類似度（画像Ａ，画像４）｝＋ＭＡＸ｛類似度（画像Ｂ，画像１），類似度（画像Ｂ，画像２），類似度（画像Ｂ，画像３），類似度（画像Ｂ，画像４）｝］／２。

同様にして、動画類似度は、以下のようにして算出される（図６（ｅ））。

動画類似度＝ＭＡＸ｛類似度（動画Ａ，動画１），類似度（動画Ａ，動画２）｝。

なお、各類似度は、既存の計算手法で算出できる。例えば、画像データの場合は、色、形状、テクスチャーといった視覚的な特徴量を画像データから抽出し、類似度を計算する手法が一般的であ。よって、類似度の計算手法についての詳しい説明は省略する（参考文献："Content-based Multimedia Information Retrieval: State of the Art and Challenges", ACM Transactions on Multimedia Computing, Communications, and Applications, 2(1):1-19, Feb. 2006.）。なお、各類似度の値は、各メディア（例えばテキストや画像などの種類別）での最大類似度に対して正規化されていることが好ましい。

そして、本実施形態では、マルチメディア類似度を以下のようにして算出する。

マルチメディア類似度＝（画像類似度＋動画類似度）／２。

つまり、マルチメディア類似度は、得られた各類似度の平均として算出される。このようなマルチメディア類似度の計算を、Ｗｅｂ検索エンジンによる各検索結果について行う。検索された項目の中に音声やテキストが含まれる場合も、同様にしてマルチメディア類似度を計算することができる。

（図４のステップＳＣ−２）
ついで、ランキング調整部１３は、得られたマルチメディア類似度に基づいて、Ｗｅｂ検索エンジン４１による第１検索結果のランキングを並べ替える。並び替える前の状態を図７（ａ）に示し、並び替えた後の状態を図７（ｂ）に示す。ランキングを並べ替えた状態は、本発明における第３検索結果に相当する。

このような処理は、
「ランキング調整部が、第１検索エンジンによる第１検索結果と、第２検索エンジンによる第２検索結果との類似度を算出する処理と、算出された類似度によって、第１検索結果におけるランク付けを変更することによって、第３検索結果を生成する処理とを行う構成」
の一例に相当する。

（図２のステップＳＡ−５）
ついで、検索仲介サーバ１における検索結果出力部１４は、Ｗｅｂ検索エンジン４１によるランク付けがされた第１検索結果と、ランキング調整部１３によってランク付けが変更された第３検索結果とを並列に表示するための、表示用文書を生成する。表示用文書の生成例が図７に示されている。図７では、図（ａ）の部分が、第１検索結果に相当し、図（ｂ）の部分が、第３検索結果に相当している。なお、表示用文書には、各項目を取得した元のＷｅｂサイトにアクセスするためのリンクやＵＲＬ（図示せず）を表示することが好ましい。

このように第１検索結果と第３検索結果とを並列して表示することで、ユーザは、検索結果を容易に理解することができる。また、第３検索結果が第１検索結果と対に表示されることで、検索結果がＵＲＬやタイトル等で一覧表示された場合に、クエリに関連した画像や音声、動画が含まれてランキングが変動したＷｅｂサイトの確認が容易になる。

さらに、検索結果出力部１４は、生成した表示用文書をユーザ端末３に向けて出力する。ユーザ端末３では、ブラウザなどの適宜なソフトウエアにより、検索仲介サーバ１から送られた表示用文書（つまり検索結果）を表示する。ユーザは、検索結果に付されたＵＲＬをクリックするなどの適宜な手段により、所望の情報にアクセスすることができる。

本実施形態では、クエリを各検索エンジンに展開し、同じクエリを用いて、Ｗｅｂ検索エンジンによる第１検索結果と、他の検索エンジンによる第２検索結果との類似度に基づいて、出力用の第３検索結果の順位を決定している。しかも、第１検索結果に含まれるマルチメディアデータと、第２検索結果に含まれるマルチメディアデータとの類似度を考慮して、第３検索結果のランキングを調整している。このため、本実施形態によれば、ユーザの検索意図に沿った、精度の良い検索結果を、検索ノイズを低く抑えつつ、取得することができる。

また、本実施形態では、クエリを自動的に検索エンジンに展開し、さらに、検索結果の統合も自動的に行うことができるので、ユーザにおける操作の負担を低く抑えることができるという利点もある。

（類似度計算における変形例１）
以下においては、マルチメディア類似度の計算における別の処理手順を、図８を参照して説明する。

（図８の（ａ））
まず、前記した実施形態と同様に、Ｗｅｂ検索エンジン４１による第１検索結果を取得し、その上位Ｋ件の結果をリストとしてシステム側で取得する。図示の例では、上位４件までがリストとして取得されている。

（図８の（ｂ））
ついで、前記した実施形態と同様に、各検索エンジン４２〜４４で得た第２検索結果と第１検索結果との類似度を計算する。図８（ｂ）の例では、画像検索結果（第２検索結果）、動画検索結果（第２検索結果）、及び商品検索結果（第２検索結果）と第１検索結果との類似度の計算例がそれぞれ示されている。この例では、第１検索結果において、対応する内容がない場合、「なし」と記載されている。例えば、Ｗｅｂ検索結果としての項目（１）では、動画が存在しない（図８（ａ）参照）ので、「動画類似度」の項目には「なし」と記載されている。

（図８の（ｃ））
ついで、各メディア（上記の例では画像・動画・商品）における類似度をランク（順位）に変換する。ここでは、最も高い類似度をランク＝１、その次の類似度をランク＝２とし、以下同様にランク付けを行う。類似度が「なし」の場合は、本例では、ランクを「Ｋ＋１」に設定する。なお、「Ｋ」は、ウェブ検索結果リスト（つまり第１検索結果）における項目数であり、この例では、Ｋ＝４である。さらに、各項目について、平均ランクを計算する（図８（ｃ）の右端の欄を参照）。この平均ランクが、マルチメディア類似度に相当すると考えることができる。

（図８の（ｄ））
ついで、Ｗｅｂ検索結果リストにおける項目を、平均ランクの順にソートする。このソートを、ここでは再ランキングと称している。ランクが低いことは、この例では、高い類似度であることを示している。

このようにして再ランキングされた結果は、マルチメディア類似度に基づくランキングを表しているといえる。この手法の場合は、各メディアとの個別の類似度が高くないＷｅｂ検索結果であっても、多くのメディア（画像・動画・商品）を含むことにより、再ランキング後の検索結果リスト（つまり第３検索結果）において、上位となる傾向がある。

変形例１の方法では、類似度の正規化を行わなくても、マルチメディア類似度を用いた再ランキングが可能になるという利点がある。

（類似度計算における変形例２）
以下において、マルチメディア類似度の計算におけるさらに別の処理手順を、図９を参照して説明する。

（図９の（ａ））
まず、前記した変形例１と同様に、Ｗｅｂ検索エンジン４１による第１検索結果を取得し、その上位Ｋ件の結果をリストとしてシステム側で取得する。図示の例では、上位４件までがリストとして取得されている。

（図９の（ｂ））
ついで、前記した変形例１と同様に、各検索エンジン４２〜４４で得た第２検索結果との類似度を計算する。

（図９の（ｃ））
ついで、前記した変形例１と同様に、各メディア（上記の例では画像・動画・商品）における類似度をランク（順位）に変換する。ただし、この変形例２では、類似度が「なし」の場合は、ランクも「なし」に設定する。さらに、各項目について、平均ランクを計算する（図９（ｃ）の右端の欄を参照）。この平均ランクが、マルチメディア類似度に相当すると考えることができる。

（図９の（ｄ））
ついで、Ｗｅｂ検索結果リスト（第１検索結果）における項目を、平均ランクの順にソート、すなわち再ランキングする。ランクが低いことは、高い類似度であることを示している。このようにして再ランキングされた結果は、マルチメディア類似度に基づくランキングを表しているといえる。

この変形例２の手法の場合は、多くのメディアを含まなくても、あるメディアに対する類似度が高いウェブページが、再ランキング後の検索結果リスト（第３検索結果）において上位となる傾向がある。

変形例２の方法においても、類似度の正規化なしで、マルチメディア類似度を用いた再ランキングが可能になるという、変形例１と同様の利点がある。

前記した各実施形態の動作は、コンピュータに適宜のコンピュータソフトウエアを組み込むことにより実施することができる。

なお、本発明の内容は、前記実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。

例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。

また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。

本実施形態では、クエリとしてテキストを用いたが、検索キーとして利用できるものであれば、画像などの他のクエリを用いることが可能である。

さらに、本実施形態では、Ｗｅｂ検索エンジン（第１検索エンジン）以外の第２検索エンジンとして、画像、動画及び商品についての検索エンジンを用いたが、これに代えて、あるいはこれに追加して、音楽、ニュース、ブログ、地図など、他のメディアについての検索エンジンを用いることも可能である。

１ 検索仲介サーバ（検索装置）
１１ クエリ受付部
１２ 検索結果取得部
１３ ランキング調整部
１４ 検索結果出力部
３ ユーザ端末
３１ 端末本体
３２ 入力部
３３ 表示部
４ 検索実行サーバ
４１ Ｗｅｂ検索エンジン（第１検索エンジン）
４２ 画像検索エンジン（第２検索エンジン）
４３ 動画検索エンジン（第２検索エンジン）
４４ 商品検索エンジン（第２検索エンジン）

Claims (7)

1. クエリ受付部と、検索結果取得部と、ランキング調整部と、検索結果出力部とを備えており、
   前記クエリ受付部は、ユーザ端末から送られた、検索のためのクエリを受け付けて、第１検索エンジンと、第２検索エンジンとにそれぞれ送る構成となっており、
   前記第１検索エンジンは、前記クエリに基づいて、Ｗｅｂ文書を検索することにより、ランク付けされた第１検索結果を生成する構成となっており、
   前記第２検索エンジンは、前記クエリに基づいて、マルチメディアデータを検索することにより、第２検索結果を生成する構成となっており、
   前記マルチメディアデータには、画像又は音声が含まれており、
   前記検索結果取得部は、前記第１検索エンジンにおける前記第１検索結果と、前記第２検索エンジンにおける前記第２検索結果とをそれぞれ取得する構成となっており、
   前記ランキング調整部は、前記第１検索エンジンによる前記第１検索結果と、前記第２検索エンジンによる前記第２検索結果との類似度を算出する処理と、算出された前記類似度によって、前記第１検索結果におけるランク付けを変更することによって、第３検索結果を生成する処理とを行う構成となっており、
   前記検索結果出力部は、前記第１検索エンジンによるランク付けがされた前記第１検索結果と、前記ランキング調整部によってランク付けが変更された前記第３検索結果とを並列に表示するための、表示用文書を生成する処理と、前記表示用文書を前記ユーザ端末に向けて出力する処理とを行う構成となっている
   ことを特徴とする検索装置。
2. 前記第２検索エンジンが複数存在しており、
   前記ランキング調整部は、
   前記第１検索エンジンによる前記第１検索結果と、前記複数の第２検索エンジンによる複数の前記第２検索結果とのそれぞれの類似度を統合し、かつ、統合された類似度に基づいて前記のランク付けを行う構成となっている
   請求項１に記載の検索装置。
3. 前記第２検索エンジンは、画像検索エンジン、動画検索エンジン及び商品検索エンジンのいずれか、又は、これらの組み合わせである
   請求項１又は２に記載の検索装置。
4. 前記ランキング調整部は、
   前記第１検索エンジンによる検索結果に含まれるコンテンツの種類に応じて、前記第２検索エンジンによる前記第２検索結果を参照する処理と、
   前記第２検索エンジンによる前記第２検索結果との類似度が高い場合に、前記前記第１検索エンジンによる前記第１検索結果のランクを高くする処理と
   を行う構成となっている
   請求項１〜３のいずれか１項に記載の検索装置。
5. 前記第１検索エンジンによる検索結果には、テキスト、画像及び音声のいずれか又はこれらの組み合わせが含まれている
   請求項１〜４のいずれか１項に記載の検索装置。
6. 第１検索エンジンと、第２検索エンジンとが、検索のための共通のクエリを受け取るステップと；
   前記第１検索エンジンが、前記クエリに基づいて、Ｗｅｂ文書を検索することにより、ランク付けされた第１検索結果を生成するステップと；
   前記第２検索エンジンが、前記クエリに基づいて、マルチメディアデータを検索することにより、第２検索結果を生成するステップと、
   ここで、前記マルチメディアデータには、画像又は音声が含まれており；
   前記第１検索エンジンによる前記第１検索結果と、前記第２検索エンジンによる前記第２検索結果との類似度を算出するステップと；
   算出された前記類似度によって、前記第１検索結果におけるランク付けを変更することによって、第３検索結果を生成するステップと；
   前記第１検索エンジンによるランク付けがされた前記第１検索結果と、前記ランキング調整部によってランク付けが変更された前記第３検索結果とを並列に表示するための、表示用文書を生成するステップと；
   前記表示用文書をユーザ端末に向けて出力するステップと
   を備えたことを特徴とする検索方法。
7. 請求項６に記載のステップをコンピュータに実行させることを特徴とするコンピュータプログラム。

Images