JP5739500B2 - ウェブ文書履歴情報提供方法およびシステム - Google Patents

Description

本発明は、原本文書判別方法に関し、より詳細には、オンライン上の様々なコピー文書のうちから原本を判別する方法に関する。

インターネットの発達および普及の増加により、インターネットを用いた多様なサービスが提供されているが、このうちの代表的な例が検索サービスであると言える。このような検索サービスは、ユーザが検索しようとする単語または単語の組み合わせを検索語として入力すれば、検索エンジンが入力された検索語に対応する検索結果の文書をユーザに提供するサービスを意味する。このような、検索結果の文書は、辞書、知識情報、ブログ、グループ、専門資料、サイト、本、ウェプページ、動画などのようなカテゴリで分類されてユーザに提供される。

最近では、特定の主題に対して文書を独創的に作成せずに、他のユーザが作成した文書をコピーしたり、自身のブログやグループなどにポスティングしたりした文書が検索結果の文書として増加している。これは、インターネットで用いられる文書を容易にコピーすることができるため、ユーザは主に新聞記事や専門資料または他人のブログやグループなどから原本文書そのものを同じようにコピーしたり、必要な部分のみを選択的にコピーしたりして文書を作成できるからである。したがって、このようなコピー文書は、原本文書と同一であるか実質的に同じ文書に該当する。したがって、検索結果の文書には、原本文書と同一であるか実質的に同じコピー文書が多数存在するようになる。このような場合、コピー文書が原本文書よりも検索ランキングが下位にランクされるべきであるにもかかわらず、上位にランクされることにより、ユーザに正確な検索結果を提供することができないという問題点がある。

このような問題点を解決するために、原本文書とコピー文書のうちから原本文書を判別する様々な方法が存在するが、コピー文書が原本文書と同一であるか実質的に同じ文書であるため、実質的に原本を判別することは難しい。また、一般的にはウェブ文書の配布時刻が最も早い文書を原本として判別しているが、配布時刻が操作される場合には、原本文書の判別がより一層難しくなるという問題点がある。

本発明は、上述した問題点を解決するためのものであり、ウェブ文書の履歴情報を用いてウェブ文書の原本を判別することができるウェブ文書原本判別方法およびウェブ文書原本判別システムを提供することを技術的課題とする。

また、本発明は、ウェブ文書の原本を判決するために必要なウェブ文書の履歴情報を提供することができるウェブ文書履歴情報提供方法およびウェブ文書履歴情報提供システムを提供することをもう１つの技術的課題とする。

上述した目的を達成するために、本発明の一実施形態に係るウェブ文書履歴情報提供システムと原本文書判別システムとを含むシステムにおけるウェブ文書履歴情報提供方法は、ウェブ文書の生成または変更に関するピング（ｐｉｎｇ）を受信するステップと、前記ピングを受信した時点の時間情報を用いて、前記ウェブ文書の生成または変更に関する履歴情報を生成するステップと、前記生成されたウェブ文書の履歴情報を原本文書判別システムに提供するステップとを実行し、前記原本文書判別システムは、前記履歴情報に該当するウェブ文書をクローリングし、前記履歴情報を用いてクローリングされたウェブ文書をフィルタリングし、前記フィルタリングは、前記ウェブ文書が生成または変更された時点のウェブ文書がクローリングされた時点で変更されたか否かを判断し、前記ウェブ文書が変更された場合には、前記クローリングされたウェブ文書を除外する。

上述した目的を達成するために、本発明の一実施形態に係るウェブ文書履歴情報提供システムと原本文書判別システムとを含むシステムにおいて、前記ウェブ文書履歴情報提供システムは、ウェブ文書の生成または変更に関するピングを受信するピング受信部と、前記ピングを受信した時点の時間情報を用いて、前記ウェブ文書の生成または変更に関する履歴情報を生成する履歴情報生成部と、前記生成されたウェブ文書の履歴情報を原本文書判別システムに提供する履歴情報提供部とを備え、前記原本文書判別システムは、前記履歴情報に該当するウェブ文書をクローリングし、前記履歴情報を用いてクローリングされたウェブ文書をフィルタリングし、前記フィルタリングは、前記ウェブ文書が生成または変更された時点のウェブ文書がクローリングされた時点で変更されたか否かを判断し、前記ウェブ文書が変更された場合には、前記クローリングされたウェブ文書を除外する収集部を備える。

本発明によると、ウェブ文書の生成または変更に関する履歴情報を用いることにより、ウェブ文書の生成時間が操作されても原本を正確に判別することができるという効果がある。

また、本発明によると、ウェブ文書の生成時間が操作されても原本を正確に判別することにより、検索システムが正確な検索ランキングサービスを提供できるという効果がある。

本発明の一実施形態に係るウェブ文書履歴情報提供システムおよび原本判別システムの概略的なブロック図である。 ピングバックプロトコルの例を示す図である。 ピングサーバの例を示す図である。 本発明の一実施形態に係るウェブ文書履歴情報提供方法を示すフローチャートである。 本発明の一実施形態に係るウェブ文書原本判別方法を示すフローチャートである。

以下、図面を参照しながら、本発明の実施形態について詳しく説明する。

図１は、本発明の一実施形態に係るウェブ文書履歴情報提供システムおよび原本判別システムを説明するための概略的なブロック図である。図１に示すように、ウェブ文書履歴情報提供システム２００は、ウェブサーバ１００と通信網を介して連結しており、ピング受信部２２０と、履歴情報生成部２４０と、履歴情報提供部２６０とを備える。ウェブ文書原本判別システム３００は、ウェブ文書履歴情報提供システム２００からウェブ文書履歴情報が提供され、履歴情報受信部３２０と、収集部３４０と、判別部３６０とを備える。

一方、ウェブ文書原本判別システム３００は、検索システム（図示せず）またはメタブログサーバ（図示せず）に含まれたり、別途構成されたりすることができる。これは、例えば、検索システムで検索サービスを提供するときに、ウェブ文書原本判別システム３００によって判別された原本を検索ランキングに反映させるためである。また、ウェブ文書原本判別システム３００は、ウェブサーバ１００が自主的に原本を判別するために、ウェブサーバ１００に含まれて構成されることができる。

ここで、ウェブサーバ１００は、説明の便宜上において１つで示したが、グループサーバ、ブログサーバ、ポータルサーバなどウェブ文書が掲示された多様な種類のウェブサーバとすることができる。以下、説明の便宜上、ウェブサーバ１００がブログサーバであるものと例示して説明する。

一方、ウェブ文書履歴情報提供システム２００は、ウェブサーバと１００のピングバックプロトコルによって履歴情報を生成する。ここで、ピングバックプロトコルの一例について図２を参照しながら説明すると、文書ａが文書ｂをリンクとして引用した場合、文書ａが掲示されたブログサーバＡが、文書ｂが掲示されたブログサーバＢに、文書ａが文書ｂを引用していることを、ピングを用いて自動で知らせるプロトコルを意味する。

言い換えれば、ピングとは、本文に有用な文書をリンクとして引用したときに、これを引用した文書が掲示されたサーバに自動で知らせる信号を意味する。したがって、本発明において、ウェブサーバは、掲示されたウェブ文書が生成または変更された場合、ウェブ文書の生成または変更に関する情報を、ピングを用いて自動でウェブ文書履歴情報提供システムに提供する。

一実施形態において、ウェブ文書履歴情報提供システム２００は、ピングサーバとすることができる。ここで、ピングサーバの一例について図３を参照しながら説明すると、ピングサーバは、ネイバー、イーグルス、ティ・ストーリーなどのような様々なブログサーバからブログ内の様々なウェブ文書の生成または変更に関するピングを受信し、ネイバー、ネイト、ダウムのなどの検索システム、またはイオリン、オールブログなどのようなメタブログサーバにウェブ文書の生成または変更に関する履歴情報を提供する役割をする。

再び図１を参照しながら、ウェブ文書履歴情報提供システム２００について詳察する。

ピング受信部２２０は、ウェブ文書の生成または変更に関するピングを受信する。ここで、ピングは、ウェブ文書が生成または変更されるたびに受信する。言い換えれば、上述したように、ウェブ文書履歴情報提供システム２００は、ウェブサーバ１００とのピングバックプロトコルによって履歴情報を生成するため、ウェブサーバからピングを受信する。

履歴情報生成部２４０は、ピング受信部２２０がピングを受信した時点の時間情報を用いて、ウェブ文書の生成または変更に関する履歴情報を生成する。言い換えれば、ピング受信部がピングを受信した時点は、ウェブ文書が生成または変更された時間を意味するため、履歴情報生成部２４０は、ウェブ文書が生成または変更された時間に関する履歴情報を生成する。

ここで、履歴情報は、ウェブ文書のＵＲＬ別に生成することができる。例えば、ブログで様々な文書が生成または変更されると仮定すれば、ブログ内のそれぞれの文書に該当するＵＲＬ別にウェブ文書の生成または変更に関する履歴情報を生成することができる。

一実施形態において、履歴情報生成部２４０は、受信したピングに該当するウェブ文書の題目およびテキストに関する情報のうちの少なくとも１つを収集し、履歴情報に題目およびテキストに関する情報のうちの少なくとも１つを含ませることができる。例えば、履歴情報生成部は、受信したピングに該当するブログを実際に訪問し、ウェブ文書が生成または変更される当時の題目またはテキストのうちの一部を収集して格納する。

これは、ブログ作成者がウェブ文書を生成または変更してもいないのにピングを操作することができるため、履歴情報生成部がウェブ文書の生成または変更当時に実際にウェブ文書が生成または変更されたかを確認するためである。

履歴情報提供部２６０は、ウェブ文書の履歴情報を原本文書判別システム３００に提供する。言い換えれば、ブログ内の各種ウェブ文書、すなわち、各種文書の生成または変更に関する履歴情報をウェブ文書原本判別システムに提供する。

次に、ウェブ文書原本判別システム３００について詳察する。

履歴情報受信部３２０は、ウェブ文書の生成または変更に関する履歴情報を受信する。言い換えれば、履歴情報受信部３２０には、ウェブ文書履歴情報提供部２００によって生成されたウェブ文書の生成または変更に関する履歴情報が提供される。

一実施形態において、履歴情報は、ウェブ文書が生成または変更された時点のピングバックプロトコルによって生成することができる。上述したように、履歴情報は、ウェブサーバ１００とウェブ文書履歴情報提供システム２００とのピングバックプロトコルによるピングによって生成することができる。

一実施形態において、履歴情報は、ウェブ文書のＵＲＬ別に生成することができる。言い換えれば、ウェブ文書のＵＲＬ別にウェブ文書の生成または変更に関する履歴情報が管理される。

一実施形態において、履歴情報は、ウェブ文書が生成または変更された時点の時間情報を含むことができる。これは、上述したように、履歴情報がピングを受信した時点の時間情報を用いて生成されたためである。

一実施形態において、履歴情報は、ウェブ文書が生成または変更された時点の題目およびテキストに関する情報のうちの少なくとも１つを含むことができる。

収集部３４０は、履歴情報に該当するウェブ文書をクローリングし、履歴情報を用いてクローリングされたウェブ文書をフィルタリングする。言い換えれば、収集部３４０は、すべてのウェブ文書をクローリングするのではなく、ウェブ文書履歴情報提供システムから受信した履歴情報に該当するウェブ文書のみを収集し、履歴情報を用いてクローリングされたウェブ文書をフィルタリングする。

一実施形態において、収集部は、ウェブ文書が生成または変更された時点のウェブ文書がクローリングされた時点で変更されたか否かを判断することができる。具体的に、収集部は、ウェブ文書の生成または変更された時点の題目およびテキストに関する情報のうちの少なくとも１つがクローリングされたウェブ文書の題目およびテキストに関する情報のうちの少なくとも１つと一致するか否かを判断することができる。

言い換えれば、収集部は、クローリングされたウェブ文書が生成または変更された時点に比べて変更されたか否かを判断し、変更された場合には、クローリングされたウェブ文書から除外する。これは、ウェブ文書が生成または変更された後、ウェブ文書を他の文書に変えることができるためである。

判別部３６０は、フィルタリングされたウェブ文書を類似文書グループ別にグルーピングし、履歴情報を基準としてグルーピングされた類似文書の原本を判別する。

一実施形態において、グルーピングされた類似文書は、クローリングされたウェブ文書のチャンクを用いてグルーピングすることができる。ここで、チャンクとは、ウェブ文書の本文を少なくとも１つの固まりに分けるとき、各固まりを指称するものを意味する。判別部は、原本およびコピー文書にこのようなチャンクが共通で存在することがあるため、チャンクを用いて原本およびコピー文書をグルーピングすることができる。一方、判別部は、チャンクを用いる方法に限定されるものではなく、タイムスタンプを用いたり、その他の方法によって類似文書をグルーピングしたりすることができる。

一実施形態において、判別部３６０は、グルーピングされた類似文書のうち、文書の生成または変更時間が最も早いウェブ文書を原本として判別することができる。言い換えれば、類似文書でグルーピングされた文書のうち、該当するウェブ文書の履歴情報には文書の生成または変更情報が含まれているため、グルーピングされた類似文書のうちで履歴情報に含まれた文書の生成または変更時間が最も早いウェブ文書を原本として判別する。

好ましくは、判別部３６０は、グルーピングされたそれぞれの類似文書の履歴情報に含まれている文書の生成または変更時間のうち、該当する文書と類似した内容を有する文書の生成または変更時間が最も早いウェブ文書を原本として判別することができる。

以下、図４を参照しながら、本発明の一実施形態に係るウェブ文書履歴情報提供方法について説明する。

ウェブ文書の生成または変更に関するピングを受信する（Ｓ４１０）。ここで、ピングとは、本文に有用な文書をリンクとして引用したとき、これを引用した文書が掲示されたサーバに自動で知らせる信号を意味する。

一実施形態において、ピングは、ウェブ文書が生成または変更されるたびに受信する。したがって、ピングを用いれば、ウェブ文書が生成または変更された時間情報が分かる。

次に、ピングを受信した時点の時間情報を用いて、ウェブ文書の生成または変更に関する履歴情報を生成する（Ｓ４３０）。

ここで、本発明の一実施形態に係るウェブ文書履歴情報提供方法は、ピングに該当するウェブ文書の題目およびテキストに関する情報のうちの少なくとも１つを収集するステップをさらに含むことができ、履歴情報は、題目およびテキストに関する情報のうちの少なくとも１つを含むことができる。

これは、ウェブ文書作成者がウェブ文書を生成または変更してもいないのにピングを操作することができるため、ウェブ文書の生成または変更当時に実際にウェブ文書が生成または変更されたかを確認するためである。

一実施形態において、履歴情報は、ウェブ文書のＵＲＬ別に生成することができる。例えば、ブログで様々な文書が生成または変更されると仮定すれば、ブログ内のそれぞれの文書に該当するＵＲＬ別にウェブ文書の生成または変更に関する履歴情報を生成することができる。

最後に、生成されたウェブ文書の履歴情報を原本文書判別システムに提供する（Ｓ４５０）。

したがって、本発明の一実施形態に係る原本文書判別システムは、ウェブ文書履歴情報提供システムから提供されたウェブ文書の履歴情報を用いて、ウェブ文書の原本を判別することができる。以下、図５を参照しながら、本発明の一実施形態に係るウェブ文書原本判別方法について説明する。

まず、ウェブ文書の生成または変更に関する履歴情報を受信する（Ｓ５１０）。一実施形態において、履歴情報は、ウェブ文書が生成または変更された時点のピングバックプロトコルによって生成されることができる。

一実施形態において、履歴情報は、ウェブ文書が生成または変更された時点の時間情報を含むことができる。これは、履歴情報が、ウェブ文書が生成または変更された時点のピングを用いて生成されるためである。

また、履歴情報は、ウェブ文書が生成または変更された時点の題目およびテキストに関する情報のうちの少なくとも１つを含むことができる。

次に、受信された履歴情報に該当するウェブ文書をクローリングし、履歴情報を用いてクローリングされたウェブ文書をフィルタリングする（Ｓ５３０）。

ここで、ウェブ文書が生成または変更された時点のウェブ文書がクローリングされた時点で変更されたか否かを判断することにより、クローリングされたウェブ文書をフィルタリングすることができる。具体的に、ウェブ文書が生成または変更された時点の題目およびテキストに関する情報のうちの少なくとも１つと、クローリングされたウェブ文書の題目およびテキストに関する情報のうちの少なくとも１つが一致するか否かを判断し、クローリングされたウェブ文書をフィルタリングすることができる。言い換えれば、ウェブ文書が生成または変更された時点のウェブ文書がクローリングされた時点で変更された場合には、クローリングされたウェブ文書から除外する。これは、ウェブ文書の検索ランキング操作のために、ウェブ文書が生成または変更された後に該当するウェブ文書を変えることを防ぐためである。

ここで、グルーピングされた類似文書は、クローリングされたウェブ文書のチャンクを用いてグルーピングすることができる。また、チャンクを用いる方法に限定されるものではなく、タイムスタンプを用いたり、その他方法によって類似文書別にグルーピングしたりすることができる。

最後に、フィルタリングされたウェブ文書を類似文書別にグルーピングし、履歴情報を基準としてグルーピングされた類似文書の原本を判別する（Ｓ５５０）。ここで、本発明の一実施形態に係るウェブ文書原本判別方法は、グルーピングされた類似文書のうち、文書の生成または変更時間が最も早いウェブ文書を原本として判別することができる。

好ましくは、グルーピングされたそれぞれの類似文書の履歴情報に含まれている文書の生成または変更時間のうち、該当する文書と類似した内容を有する文書の生成または変更時間が最も早いウェブ文書を原本として判別することができる。

したがって、本発明の一実施形態に係るウェブ文書原本判別方法は、ウェブ文書が生成または変更されるたびに生成された履歴情報を用いることにより、ウェブ文書の生成または変更時間が操作されても正確に原本を判別することができ、正確な原本判別によって検索サービスに正確なランキング情報を提供することができる。

なお、上述したウェブ文書履歴情報提供方法および原本判別システムは、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。

１００：ウェブサーバ
２００：ウェブ文書履歴情報提供システム
２２０：ピング受信部
２４０：履歴情報生成部
２６０：履歴情報提供部
３００：ウェブ文書原本判別システム
３２０：履歴情報受信部
３４０：収集部
３６０：判別部

Claims (7)

1. ウェブ文書履歴情報提供システムと原本文書判別システムとを含むシステムにおけるウェブ文書履歴情報提供方法であって、
   前記ウェブ文書履歴情報提供システムは、ウェブ文書の生成または変更に関するピングを受信するステップと、
   前記ピングを受信した時点の時間情報を用いて、前記ウェブ文書の生成または変更に関する履歴情報を生成するステップと、
   前記生成されたウェブ文書の履歴情報を原本文書判別システムに提供するステップと、
   を実行し、
   前記原本文書判別システムは、前記履歴情報に該当するウェブ文書をクローリングし、前記履歴情報を用いてクローリングされたウェブ文書をフィルタリングし、
   前記フィルタリングは、前記ウェブ文書が生成または変更された時点のウェブ文書がクローリングされた時点で変更されたか否かを判断し、
   前記ウェブ文書が変更された場合には、前記クローリングされたウェブ文書を除外することを特徴とするウェブ文書履歴情報提供方法。
2. 前記ピングは、前記ウェブ文書が生成または変更されるたびに受信することを特徴とする請求項１に記載のウェブ文書履歴情報提供方法。
3. 前記履歴情報は、前記ウェブ文書のＵＲＬ別に生成されることを特徴とする請求項１に記載のウェブ文書履歴情報提供方法。
4. 前記履歴情報を生成するステップは、
   前記ピングに該当するウェブ文書の題目およびテキストに関する情報のうちの少なくとも１つを収集するステップ、
   をさらに含み、
   前記履歴情報は、前記題目およびテキストに関する情報のうちの少なくとも１つを含むことを特徴とする請求項１に記載のウェブ文書履歴情報提供方法。
5. ウェブ文書履歴情報提供システムと原本文書判別システムとを含むシステムであって、
   前記ウェブ文書履歴情報提供システムは、ウェブ文書の生成または変更に関するピングを受信するピング受信部と、
   前記ピングを受信した時点の時間情報を用いて、前記ウェブ文書の生成または変更に関する履歴情報を生成する履歴情報生成部と、
   前記生成されたウェブ文書の履歴情報を原本文書判別システムに提供する履歴情報提供部と、を備え、
   前記原本文書判別システムは、前記履歴情報に該当するウェブ文書をクローリングし、前記履歴情報を用いてクローリングされたウェブ文書をフィルタリングし、
   前記フィルタリングは、前記ウェブ文書が生成または変更された時点のウェブ文書がクローリングされた時点で変更されたか否かを判断し、
   前記ウェブ文書が変更された場合には、前記クローリングされたウェブ文書を除外する収集部を備えることを特徴とするシステム。
6. 前記ピングは、前記ウェブ文書が生成または変更されるたびに受信することを特徴とする請求項５に記載のシステム。
7. 前記履歴情報生成部は、
   前記受信したピングに該当するウェブ文書の題目およびテキストに関する情報のうちの少なくとも１つを収集し、前記履歴情報に前記題目およびテキストに関する情報のうちの少なくとも１つを含ませることを特徴とする請求項５に記載のシステム。

Images