JP2010108363A - クリックログを利用して専門検索用クローラのシード選択を行う検索処理装置、検索処理方法及びプログラム - Google Patents

Abstract

【課題】特定の専門分野についてのウェブページを効率的に収集し、かつ、ウェブページの収集漏れを抑制することのできる検索処理装置、検索処理方法及びプログラムを提供すること。
【解決手段】検索処理装置２０は、専門分野クリックログを抽出し、抽出した専門分野クリックログに含まれるクリックＵＲＬに対するクリック頻度に基づいて専門分野の検索に適したオーソリティページを抽出する。そして、抽出したオーソリティページへのバックリンク及び／又はフォワードリンクを探索し、抽出したオーソリティページをノードとし、探索したバックリンク及び／又はフォワードリンクを有向辺とする有向グラフを生成する。そして、有向グラフの各ノードであるオーソリティページのスコアを算出し、算出したスコアが所定値以上である場合、このスコアが算出されたオーソリティページを所定の専門分野の検索対象のクロールを行うためのハブページとして決定する。
【選択図】図３

Description

本発明は、クリックログを利用して専門検索用クローラのシード選択を行う検索処理装置、検索処理方法及びプログラムに関する。

従来、一般的なウェブページの検索において、ウェブページの情報を収集するためのクローラは、全てのウェブページを収集の対象としている。そして、クローラは、一定の周期でＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）上のウェブページを収集するように制御されている。

しかし、クローラが全てのウェブページを同一の条件で収集することは非効率的であるため、クローラには、ウェブページを効率的に収集するための様々な技術が用いられている。

このようなクローラの情報収集に関する技術としては、例えば、特許文献１のような技術が提案されている。
特開２００１−６０１９８号公報

ここで、特定の専門分野についてのウェブページの検索において、クローラは、一般的なウェブページの検索と同様に全てのウェブページを収集の対象とすると更新頻度が少ないウェブページ等の収集が遅れ、このようなウェブページが検索結果に反映されなくなるおそれがある。

一方、クローラに特定の専門分野向けのシードドキュメントを適用すれば、収集の対象となるウェブページが制限されるため更新頻度の少ないウェブページを検索結果に含むことが可能になる。しかしながら、この場合、本来ならば収集すべきである特定の専門分野のウェブページが収集されないおそれがある。

そこで、本発明は、特定の専門分野についてのウェブページを効率的に収集し、かつ、ウェブページの収集漏れを抑制することのできる検索処理装置、検索処理方法及びプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

（１）ユーザの操作する端末装置からのクエリと、当該クエリに対する検索結果のうち、前記端末装置の操作に応じて選択されたクリックＵＲＬとを対応付けさせて記憶させる記憶手段と、前記記憶手段を参照して、所定の専門分野を特徴付けるキーワードに基づいて専門分野クリックログを抽出する専門分野クリックログ抽出手段と、前記専門分野クリックログ抽出手段により抽出された前記専門分野クリックログに含まれるクリックＵＲＬに対するクリック頻度に基づいて前記専門分野の検索に適したオーソリティページを抽出するオーソリティページ抽出手段と、前記オーソリティページ抽出手段により抽出された前記オーソリティページへのバックリンク及び／又はフォワードリンクを探索する探索手段と、前記オーソリティページ抽出手段により抽出された前記オーソリティページをノードとし、前記探索手段により探索された前記バックリンク及び／又は前記フォワードリンクを有向辺とする有向グラフを生成するグラフ生成手段と、前記グラフ生成手段により生成された前記有向グラフの各ノードである前記オーソリティページのスコアを算出するスコア算出手段と、前記スコア算出手段により算出された前記スコアが所定値以上である場合、当該スコアが算出されたオーソリティページを前記所定の専門分野の検索対象のクロールを行うためのハブページとして決定するハブページ決定手段とを備える検索処理装置。

（１）の構成によれば、検索処理装置は、ユーザの操作する端末装置からのクエリと、このクエリに対する検索結果のうち、端末装置の操作に応じて選択されたクリックＵＲＬとを対応付けさせて記憶させる記憶手段と、記憶手段を参照して、所定の専門分野を特徴付けるキーワードに基づいて専門分野クリックログを抽出し、抽出した専門分野クリックログに含まれるクリックＵＲＬに対するクリック頻度に基づいて専門分野の検索に適したオーソリティページを抽出する。そして、抽出したオーソリティページへのバックリンクを及び／又はフォワードリンク探索し、抽出したオーソリティページをノードとし、探索したバックリンク及び／又はフォワードリンクを有向辺とする有向グラフを生成する。そして、生成した有向グラフの各ノードであるオーソリティページのスコアを算出し、算出したスコアが所定値以上である場合、このスコアが算出されたオーソリティページを所定の専門分野の検索対象のクロールを行うためのハブページとして決定する。

これにより、ハブページは、スコアが所定値以上のウェブページであるため、所定の専門分野の検索対象に適した良質なウェブページに接続可能である。したがって、クローラは、ハブページを特定するＵＲＬをシードＵＲＬとして用いて所定の専門分野の検索対象におけるクロールを行うことにより、少ない時間で多数の良質なウェブページを収集することができる。

（２）前記スコア算出手段は、前記スコアとして、ＰａｇｅＲａｎｋのスコア及びＨＩＴＳによるＨｕｂスコアのいずれか一つを算出する（１）に記載の検索処理装置。

（２）の構成によれば、検索処理装置は、スコアとして、ＰａｇｅＲａｎｋのスコア及びＨＩＴＳによるＨｕｂスコアのいずれか一つを算出する。これにより、シードＵＲＬとして好適なＵＲＬを抽出することができる。

（３）ユーザの操作する端末装置からのクエリと、当該クエリに対する検索結果のうち、前記端末装置の操作に応じて選択されたクリックＵＲＬとを対応付けさせて記憶させる記憶手段を参照して、所定の専門分野を特徴付けるキーワードに基づいて専門分野クリックログを抽出する専門分野クリックログ抽出ステップと、前記専門分野クリックログ抽出ステップにより抽出された前記専門分野クリックログに含まれるクリックＵＲＬに対するクリック頻度に基づいて前記専門分野の検索に適したオーソリティページを抽出するオーソリティページ抽出ステップと、前記オーソリティページ抽出ステップにより抽出された前記オーソリティページのバックリンク及び／又はフォワードリンクを探索する探索ステップと、前記オーソリティページ抽出ステップにより抽出された前記オーソリティページをノードとし、前記探索ステップにより探索された前記バックリンク及び／又は前記フォワードリンクを有向辺とする有向グラフを生成するグラフ生成ステップと、前記グラフ生成ステップにより生成された前記有向グラフの各ノードである前記オーソリティページのスコアを算出するスコア算出ステップと、前記スコア算出ステップにより算出された前記スコアが所定値以上である場合、当該スコアが算出されたオーソリティページを前記所定の専門分野の検索対象のクロールを行うためのハブページとして決定するハブページ決定ステップとをコンピュータに実行させる検索処理方法。

（３）の構成によれば、（１）の検索処理装置と同様な作用効果を奏する発明を方法として提供可能である。

（４）ユーザの操作する端末装置からのクエリと、当該クエリに対する検索結果のうち、前記端末装置の操作に応じて選択されたクリックＵＲＬとを対応付けさせて記憶させる記憶手段を参照して、所定の専門分野を特徴付けるキーワードに基づいて専門分野クリックログを抽出する専門分野クリックログ抽出ステップと、前記専門分野クリックログ抽出ステップにより抽出された前記専門分野クリックログに含まれるクリックＵＲＬに対するクリック頻度に基づいて前記専門分野の検索に適したオーソリティページを抽出するオーソリティページ抽出ステップと、前記オーソリティページ抽出ステップにより抽出された前記オーソリティページのバックリンク及び／又はフォワードリンクを探索する探索ステップと、前記オーソリティページ抽出ステップにより抽出された前記オーソリティページをノードとし、前記探索ステップにより探索された前記バックリンク及び／又は前記フォワードリンクを有向辺とする有向グラフを生成するグラフ生成ステップと、前記グラフ生成ステップにより生成された前記有向グラフの各ノードである前記オーソリティページのスコアを算出するスコア算出ステップと、前記スコア算出ステップにより算出された前記スコアが所定値以上である場合、当該スコアが算出されたオーソリティページを前記所定の専門分野の検索対象のクロールを行うためのハブページとして決定するハブページ決定ステップとをコンピュータに実行させるコンピュータプログラム。

（４）の構成によれば、（１）の検索処理装置と同様な作用効果を奏する発明をコンピュータプログラムとして提供可能である。

本発明によれば、特定の専門分野についてのウェブページを効率的に収集し、かつ、ウェブページの収集漏れを抑制することのできる検索処理装置、検索処理方法及びプログラムを提供することができる。

以下、本発明の実施形態について図を参照しながら説明する。

［全体構成］
図１は、本発明の一実施形態に係る検索システム１を含む構成の概略を示す図である。検索システム１、端末装置３及び外部サーバ４は、ネットワーク２を介して通信可能に接続されている。

端末装置３は、パソコン、携帯電話機、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ：登録商標）、モバイル、ノートＰＣ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の端末装置を代表とするものであり、有線又は無線通信を行うネットワーク２を介して、検索システム１から送信される情報を参照できるものであればどのようなものでもよい。また、検索システム１は、必要に応じてウェブサーバ、データベース（以下、データベースをＤＢという）サーバ及びアプリケーションサーバを含んで構成してよく、１台のサーバで構成しても、それぞれ別のサーバで構成してもよい。また、検索システム１は、検索処理装置２０を含んで構成される。

［検索処理装置２０のハードウェア構成］
図２は、本実施形態の検索処理装置２０のハードウェア構成を示す図である。図２に示すように、制御部２００を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１０（マルチプロセッサ構成ではＣＰＵ２２０等複数のＣＰＵが追加されてもよい）、バスライン１００、通信Ｉ／Ｆ（Ｉ／Ｆ：インタフェース）２３０、メインメモリ２４０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）２５０、Ｉ／Ｏコントローラ２６０、ハードディスク２７０、光ディスクドライブ２８０及び半導体メモリ２９０を備える。なお、ハードディスク２７０、光ディスクドライブ２８０及び半導体メモリ２９０は、まとめて記憶装置３１０と呼ばれる。

制御部２００は、検索処理装置２０を統括的に制御する部分であり、ハードディスク２７０に記憶された各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、本実施形態に係る各種機能を実現している。

通信Ｉ／Ｆ２３０は、検索処理装置２０がネットワーク２を介して端末装置３等の他の装置と情報を送受信する場合のネットワーク・アダプタである。

ＢＩＯＳ２５０は、検索処理装置２０の起動時にＣＰＵ２１０が実行するブートプログラムや、検索処理装置２０のハードウェアに依存するプログラム等を記録する。

Ｉ／Ｏコントローラ２６０には、ハードディスク２７０、光ディスクドライブ２８０及び半導体メモリ２９０等の記憶装置３１０を接続することができる。

ハードディスク２７０は、本ハードウェアを検索処理装置２０として機能させるための各種プログラム、本実施形態の機能を実行するプログラム及び後述するデータベース等を記憶する。なお、検索処理装置２０は、外部に別途設けたハードディスク（図示せず）を外部記憶装置として利用することもできる。

光ディスクドライブ２８０としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ及びＣＤ−ＲＡＭドライブを使用することができる。この場合は各ドライブに対応した光ディスク３００を使用する。光ディスク３００から光ディスクドライブ２８０によりプログラム又はデータを読み取り、Ｉ／Ｏコントローラ２６０を介してメインメモリ２４０又はハードディスク２７０に提供することもできる。

なお、本発明でいうコンピュータとは、記憶装置、制御部等を備えた情報処理装置をいい、検索処理装置２０は、記憶装置３１０、制御部２００等を備えた情報処理装置により構成される。

以上の例は、検索処理装置２０について主に説明したが、コンピュータに、プログラムをインストールして、そのコンピュータをサーバ装置として動作させることにより上記で説明した機能を実現することもできる。したがって、本発明において一実施形態として説明した検索処理装置２０により実現される機能は、上述の方法を当該コンピュータにより実行することにより、又は上述のプログラムを当該コンピュータに導入して実行することによっても実現可能である。

［検索システム１の機能構成］
図３は、本実施形態の検索システム１の機能構成を示す機能ブロック図である。検索システム１は、検索エンジン１１と、検索処理装置２０と、シードＤＢ３１と、クローラ３２とを備える。

検索エンジン１１は、端末装置３からクエリを受け付け、受け付けたクエリに応じたＵＲＬを含む情報を検索結果として端末装置３へ提示する。端末装置３を操作するユーザは、検索結果の中から任意のＵＲＬを選択し、外部サーバ４にて管理されるウェブページを閲覧する。

検索処理装置２０は、クリックログＤＢ１２（記憶手段）と、抽出部２１（専門分野クリックログ抽出手段）と、オーソリティページ抽出部２２（オーソリティページ抽出手段）と、探索部２３（探索手段）と、グラフ生成部２４（グラフ生成手段）と、スコア算出部２５（スコア算出手段）と、スコア判定部２６と、ハブページ決定部２７（ハブページ決定手段）と、オーソリティページＤＢ２８と、を備える。

クリックログＤＢ１２は、ユーザの操作する端末装置３からのクエリに対する検索エンジン１１による検索結果のうち、端末装置３の操作に応じて選択されたＵＲＬ（以下、クリックＵＲＬという）を記憶する。図４は、クリックログＤＢ１２に記憶されるクリックＵＲＬの一例を示すクリックデータテーブルである。図４に示すように、クリックログＤＢ１２には、クリックＵＲＬを選択した端末装置３のＩＰアドレスと、クリックＵＲＬを選択した時間と、セッションと、クリックＵＲＬの検索ランクと、クエリと、クリックＵＲＬとを対応付けさせて記憶させている。

また、クリックログＤＢ１２は、任意のＵＲＬからのリンク先、又はリンク元を示すＵＲＬ接続テーブルが記憶される。図５は、ＵＲＬ接続テーブルの一例を示す図である。図５に示すように、クリックログＤＢ１２には、ＵＲＬ接続テーブルとして、ＵＲＬと、ＵＲＬのリンク先と、ＵＲＬのリンク元とを記憶させている。

制御部２００は、機能部として、抽出部２１と、オーソリティページ抽出部２２と、探索部２３と、グラフ生成部２４と、スコア算出部２５と、スコア判定部２６と、ハブページ決定部２７とを有する。また、クリックログＤＢ１２及びオーソリティページＤＢ２８は、記憶装置３１０内に格納される。

抽出部２１は、検索対象としての所定の専門分野を特徴付けるキーワードに基づいて、専門分野のクリックログであるクエリ及びクリックＵＲＬをクリックログＤＢ１２から抽出する。所定の専門分野の検索対象としては、例えば、学術的な分野や、画像、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）上で商取引が行われる商品、音声、音楽等が挙げられる。

具体的には、図４に示すクリックログＤＢ１２から、専門分野として「火山」が検索対象である場合、抽出部２１は、専門分野を特徴付けるキーワードとして、「火山」に関連する文字列を含むクエリに対応するクリックＵＲＬをクリックログＤＢ１２から全て抽出する。

また、専門分野として「画像」が検索対象である場合、抽出部２１は、専門分野を特徴付けるキーワードとして、「画像」に関連する文字列である「画像」、「ｊｐｅｇ」及び「ｊｐｇ」を含むクエリに対応するクリックＵＲＬをクリックログＤＢ１２から全て抽出する。

なお、専門分野と、その専門分野を特徴付けるキーワードとは、一致してもよく、専門分野と、その専門分野を特徴付けるキーワードとが一致しない場合は、予め記憶装置３１０に専門分野及びその専門分野を特徴付けるキーワードを記憶させてもよい。

オーソリティページ抽出部２２は、抽出部２１により抽出されたクリックＵＲＬに基づいて、オーソリティページを抽出する。具体的には、オーソリティページ抽出部２２は、抽出部２１によりクリックログＤＢ１２から抽出したクリックＵＲＬが端末装置３により選択された頻度であるクリック頻度を算出する。

そして、オーソリティページ抽出部２２は、算出したクリック頻度が一定値以上であるか否かを判定する。クリック頻度が一定値以上である場合、オーソリティページ抽出部２２は、そのクリック頻度に対応するクリックＵＲＬにより特定されるウェブページをオーソリティページとして、オーソリティページＤＢ２８に記憶する。図６は、オーソリティページＤＢ２８に記憶されるクリックＵＲＬの一例を示すテーブルである。

なお、オーソリティページ抽出部２２は、クリック頻度に基づいてオーソリティページを抽出したがこれに限らず、クリックＵＲＬに関連するデータを用いてオーソリティページを抽出することができる。例えば、クリックＵＲＬに対するドメイン名からオーソリティページを抽出してもよい。

探索部２３は、少なくとも、オーソリティページ抽出部２２により抽出されたオーソリティページへのバックリンクを探索する。具体的には、探索部２３は、ＵＲＬ接続テーブルを参照して、オーソリティページＤＢ２８に記憶された各々のオーソリティページについてのリンク先（バックリンク）及び／又はリンク元（フォワードリンク）のＵＲＬを探索する。

グラフ生成部２４は、オーソリティページ抽出部２２により抽出されたオーソリティページをノードとして用い、探索部２３により探索されたバックリンク及び／又はフォワードリンクのＵＲＬを有向辺として用い、これらのノードと有向辺とから構成される有向グラフを生成する。

図７は、図５に示したＵＲＬ接続テーブルに基づいて、グラフ生成部２４により作成されたグラフＧを示す模式図である。図７に示すように、有向グラフであるグラフＧは、各々のオーソリティページを特定するＵＲＬからなるノードと、ＵＲＬのバックリンク及び／又はフォワードリンクからなる有向辺とから構成される。

スコア算出部２５は、グラフ生成部２４により生成された有向グラフの各ノードであるオーソリティページのスコアを算出する。

オーソリティページのスコアを算出する手法としては、例えば、ＰａｇｅＲａｎｋ（登録商標）のスコアや、ＨＩＴＳ（Ｈｙｐｅｒｌｉｎｋ Ｉｎｄｕｃｅｄ Ｔｏｐｉｃ Ｓｅａｒｃｈ）によるＨｕｂスコア等の公知の手法を用いることができる。

ＰａｇｅＲａｎｋをウェブページのスコアとして用いる場合、主として式（１）を用いて処理を行うことによりＰａｇｅＲａｎｋを算出することができる。

ページＴ１，Ｔ２，・・・，ＴＮからリンクされているページＡのＰａｇｅＲａｎｋのスコアであるＰＲ（Ａ）は、式（１）により定義される。

ＰＲ（Ａ）＝（１−ｄ）＋ｄ（ＰＲ（Ｔ１）／Ｃ（Ｔ１）＋ＰＲ（Ｔ２）／Ｃ（Ｔ２）＋・・・＋ＰＲ（ＴＮ）／Ｃ（ＴＮ））・・・（１）
ただし、０≦ｄ≦１

ＨＩＴＳは、ページｎのオーソリティスコアａｕｔｈ（ｎ）と、ハブスコアｈｕｂ（ｎ）からなり、以下のように定義される。

全てのページのａｕｔｈ（ｎ）＝ｈｕｂ（ｎ）＝１・・・（２）

オーソリティスコア及びハブスコアが収束するまで以下の式（３）及び（４）の処理を繰り返す。

ａｕｔｈ（ｎ）＝Σｈｕｂ（ｍ） ｆｏｒ ａｌｌ ｍ（ｍ→ｎ）・・・（３）

ｈｕｂ（ｎ）＝Σａｕｔｈ（ｍ） ｆｏｒ ａｌｌ ｍ（ｍ→ｎ）・・・（４）

スコア判定部２６は、スコア算出部２５により算出されたスコア、すなわちＰａｇｅＲａｎｋのスコア又はＨｕｂスコアが所定値以上であるか判定する。

ハブページ決定部２７は、スコア判定部２６によりスコアが所定値以上であると判定された場合、そのスコアが算出されたオーソリティページを、所定の専門分野の検索対象のクロールを行うためのハブページとして決定する。そして、ハブページ決定部２７は、決定したハブページを特定するためＵＲＬをシードＵＲＬとして、シードＤＢ３１に記憶させる。

シードＤＢ３１は、図８に示すように、クローラ３２が所定の専門分野の検索対象のクロールを行うためのシードＵＲＬを記憶する。

クローラ３２は、ネットワーク２を介して、ＷＷＷ３３上のウェブページ等の文書情報を収集する。なお、クローラとは一般的に検索ロボットともいわれ、ネットワーク２を通じて、ウェブページ等を収集するプログラムである。そして、クローラが、ウェブサイトを探し出す手段や、対象とするウェブページの種類は様々であり、クローラの管理者の設定により、収集されるウェブページの種類や分野も異なる。ここで、本実施形態のクローラ３２は、少なくともシードＤＢ３１に記憶されたシードＵＲＬに基づいて、ウェブサイトを探し出し、ウェブページを収集する。

このように、本実施形態の検索処理装置２０によれば、クリックログＤＢ１２を参照して、所定の専門分野を特徴付けるキーワードに基づいて専門分野のクエリ及びクリックＵＲＬを抽出し、抽出したクリックＵＲＬに対するクリック頻度に基づいて、専門分野の検索に適したオーソリティページを抽出する。そして、抽出したオーソリティページへのバックリンク及び／又はフォワードリンクを探索し、抽出したオーソリティページをノードとし、探索したバックリンク及び／又はフォワードリンクを有向辺とする有向グラフを生成する。そして、生成した有向グラフの各ノードであるオーソリティページのスコアを算出し、算出したスコアが所定値以上である場合、このスコアが算出されたオーソリティページを所定の専門分野の検索対象のクロールを行うためのハブページとして決定する。

ハブページは、スコアが所定値以上のウェブページであり、所定の専門分野の検索対象に適した良質なウェブページに接続可能である。したがって、クローラは、ハブページを特定するＵＲＬをシードＵＲＬとして用いて所定の専門分野の検索対象におけるクロールを行うことにより、少ない時間で多数の良質なウェブページを収集することができる。

また、良質なウェブページに接続可能なシードＵＲＬへのクロールを優先的に行うことにより、より良質なウェブページを頻繁に収集し、収集されたウェブページをクエリに対する検索結果に反映することができる。

また、本実施形態の検索処理装置２０によれば、スコアとして、ＰａｇｅＲａｎｋのスコア及びＨＩＴＳによるＨｕｂスコアのいずれか一つを算出する。これにより、シードＵＲＬとして好適なＵＲＬを抽出することができる。

また、本実施形態の検索処理装置２０によれば、学術分野、画像、音声、音楽及び商品情報を検索対象とした専門分野についてのクロールを好適に実行することができる。

［処理の流れ］
次に、本実施形態の検索処理装置２０の処理の流れについて図９のフローチャートを参照しながら説明する。

ステップＳ１において、抽出部２１は、検索対象である専門分野を特徴付けるキーワードに基づいて、その専門分野に関する文字列を含むクエリに対応したクリックＵＲＬを、クリックログＤＢ１２から全て抽出する。

ステップＳ２において、オーソリティページ抽出部２２は、抽出部２１によりクリックログＤＢ１２から抽出したクリックＵＲＬを集計して、クリックＵＲＬが端末装置３により選択された頻度であるクリック頻度を算出する。

ステップＳ３において、オーソリティページ抽出部２２は、ステップＳ２において算出したクリック頻度が一定値以上であるか否かを判定する。クリック頻度が一定値以上である場合（Ｙｅｓ）には、ステップＳ４へ移る。一方、クリック頻度が一定値未満である場合（Ｎｏ）には、一連の処理を終了する。

ステップＳ４において、オーソリティページ抽出部２２は、ステップＳ３において判定されたクリック頻度に対応するクリックＵＲＬにより特定されるウェブページをオーソリティページとしてオーソリティページＤＢ２８に記憶する。

ステップＳ５において、探索部２３は、ＵＲＬ接続テーブルを参照して、オーソリティページＤＢ２８に記憶された各々のオーソリティページについてのバックリンク及び／又はフォワードリンクのＵＲＬを探索する。

ステップＳ６において、グラフ生成部２４は、ステップＳ５におけるオーソリティページのバックリンク及び／又はフォワードリンクのウェブページのＵＲＬの探索が所定回数以上であるか否か判定する。ＵＲＬの探索が所定回数以上である場合（Ｙｅｓ）には、ステップＳ７へ移る。一方、ＵＲＬの探索が所定回数未満である場合（Ｎｏ）には、一連の処理を終了する。

ステップＳ７において、グラフ生成部２４は、オーソリティページを特定するＵＲＬをノードとして用い、各々のオーソリティページについてのバックリンク及び／又はフォワードリンクを有向辺として用いて、これらのノードと有向辺とから構成される有向グラフを生成する。

ステップＳ８において、スコア算出部２５は、グラフ生成部２４により生成されたグラフの各ノードであるオーソリティページのスコアを算出する。

ステップＳ９において、スコア判定部２６は、スコア算出部２５により算出されたスコアが所定値以上であるか判定する。スコアが所定値以上である場合（Ｙｅｓ）には、ステップＳ１０へ移る。一方、スコアが所定値未満である場合（Ｎｏ）には、一連の処理を終了する。

ステップＳ１０において、ハブページ決定部２７は、ステップＳ８において算出されたスコアに基づくオーソリティページを、専門分野の検索対象のクロールを行うためのハブページとして決定し、決定したハブページを特定するＵＲＬをシードＵＲＬとしてシードＤＢ３１に記憶させる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。

本発明の一実施形態に係る検索システム１を含む構成の概略を示す図である。 本実施形態の検索処理装置２０のハードウェア構成を示す図である。 本実施形態の検索システム１の機能構成を示す機能ブロック図である。 クリックログＤＢ１２に記憶されるクリックＵＲＬの一例を示すテーブルである。 ＵＲＬ接続テーブルの一例を示す図である。 オーソリティページＤＢ２８に記憶されるオーソリティページの一例を示すテーブルである。 グラフ生成部２４により作成されたグラフＧを示す模式図である。 シードＵＲＬの一例を示すテーブルである。 本実施形態の検索処理装置２０の処理の流れについて示すフローチャートである。

１ 検索システム
２ ネットワーク
３ 端末装置
４ 外部サーバ
１１ 検索エンジン
１２ クリックログＤＢ（記憶手段）
２０ 検索処理装置
２１ 抽出部（専門分野クリックログ抽出手段）
２２ オーソリティページ抽出部（オーソリティページ抽出手段）
２３ 探索部（探索手段）
２４ グラフ生成部（グラフ生成手段）
２５ スコア算出部（スコア算出手段）
２６ スコア判定部
２７ ハブページ決定部（ハブページ決定手段）
２８ オーソリティページＤＢ
３１ シードＤＢ
３２ クローラ

Claims (4)

1. ユーザの操作する端末装置からのクエリと、当該クエリに対する検索結果のうち、前記端末装置の操作に応じて選択されたクリックＵＲＬとを対応付けさせて記憶させる記憶手段と、
   前記記憶手段を参照して、所定の専門分野を特徴付けるキーワードに基づいて専門分野クリックログを抽出する専門分野クリックログ抽出手段と、
   前記専門分野クリックログ抽出手段により抽出されたクリックＵＲＬに対するクリック頻度に基づいて前記専門分野の検索に適したオーソリティページを抽出するオーソリティページ抽出手段と、
   前記オーソリティページ抽出手段により抽出されたオーソリティページへのバックリンクを探索するバックリンク探索手段と、
   前記オーソリティページ抽出手段により抽出されたオーソリティページをノードとし、前記バックリンク探索手段により探索されたバックリンクを有向辺とする有向グラフを生成するグラフ生成手段と、
   前記グラフ生成手段により生成された前記有向グラフの各ノードである前記オーソリティページのスコアを算出するスコア算出手段と、
   前記スコア算出手段により算出されたスコアが所定値以上である場合、当該スコアが算出されたオーソリティページを前記所定の専門分野の検索対象のクロールを行うためのハブページとして決定するハブページ決定手段とを備える検索処理装置。
2. 前記スコア算出手段は、前記スコアとして、ＰａｇｅＲａｎｋのスコア、ＨＩＴＳによるＨｕｂスコアのいずれか一つを算出する請求項１に記載の検索処理装置。
3. ユーザの操作する端末装置からのクエリと、当該クエリに対する検索結果のうち、前記端末装置の操作に応じて選択されたクリックＵＲＬとを対応付けさせて記憶させる記憶手段を参照して、所定の専門分野を特徴付けるキーワードに基づいて専門分野クリックログを抽出する専門分野クリックログ抽出ステップと、
   前記専門分野クリックログ抽出ステップにより抽出されたクリックＵＲＬに対するクリック頻度に基づいて前記専門分野の検索に適したオーソリティページを抽出するオーソリティページ抽出ステップと、
   前記オーソリティページ抽出ステップにより抽出されたオーソリティページのバックリンクを探索するバックリンク探索ステップと、
   前記オーソリティページ抽出ステップにより抽出されたオーソリティページをノードとし、前記バックリンク探索ステップにより探索されたバックリンクを有向辺とする有向グラフを生成するグラフ生成ステップと、
   前記グラフ生成ステップにより生成された前記有向グラフの各ノードである前記オーソリティページのスコアを算出するスコア算出ステップと、
   前記スコア算出ステップにより算出されたスコアが所定値以上である場合、当該スコアが算出されたオーソリティページを前記所定の専門分野の検索対象のクロールを行うためのハブページとして決定するハブページ決定ステップとを備える検索処理方法。
4. ユーザの操作する端末装置からのクエリと、当該クエリに対する検索結果のうち、前記端末装置の操作に応じて選択されたクリックＵＲＬとを対応付けさせて記憶させる記憶手段を参照して、所定の専門分野を特徴付けるキーワードに基づいて専門分野クリックログを抽出する専門分野クリックログ抽出ステップと、
   前記専門分野クリックログ抽出ステップにより抽出されたクリックＵＲＬに対するクリック頻度に基づいて前記専門分野の検索に適したオーソリティページを抽出するオーソリティページ抽出ステップと、
   前記オーソリティページ抽出ステップにより抽出されたオーソリティページのバックリンクを探索するバックリンク探索ステップと、
   前記オーソリティページ抽出ステップにより抽出されたオーソリティページをノードとし、前記バックリンク探索ステップにより探索されたバックリンクを有向辺とする有向グラフを生成するグラフ生成ステップと、
   前記グラフ生成ステップにより生成された前記有向グラフの各ノードである前記オーソリティページのスコアを算出するスコア算出ステップと、
   前記スコア算出ステップにより算出されたスコアが所定値以上である場合、当該スコアが算出されたオーソリティページを前記所定の専門分野の検索対象のクロールを行うためのハブページとして決定するハブページ決定ステップとをコンピュータに実行させるコンピュータプログラム。

Images