JP2003271494A - 情報収集システム、情報収集方法、情報収集プログラムおよび記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 Ｗｅｂサイト毎に最適な観測周期で自動的に
最新情報を収集する。 【解決手段】 サンプリング処理部２−３は、所定の期
間に渡って、所定の固定周期で、情報取得部２−２によ
り取得されたＷｅｂページが最新情報に更新される更新
間隔を取得する。次いで、自動観測処理部２−４は、グ
ループ分け処理部２−５により、Ｗｅｂページの更新間
隔の分布から作成されるグループに従って、上記登録さ
れたＵＲＬ毎にＷｅｂページの更新時刻を推測する。そ
して、情報取得部２−２は、自動観測処理部２−４によ
り推測された更新時刻に、上記登録されたＵＲＬ毎に提
供されるＷｅｂページによる最新情報を取得する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、Ｗｅｂサイトから
最新情報を取得する情報収集システム、情報収集方法、
情報収集プログラムおよび記録媒体に関する。

【０００２】

【従来の技術】インターネット上には、様々な情報を提
供する膨大なＷｅｂサイトが存在する。それぞれのＷｅ
ｂサイトでは、情報の種類、管理者の都合などに応じ
て、独自の更新周期（定期的、ランダム）で情報が更新
されている。このようなＷｅｂサイトから目的の最新情
報をタイムリに収集しようとする場合、Ｗｅｂサイトで
提供される情報の更新に合わせて収集できるのが理想で
ある。しかしながら、一般的にＷｅｂサイトの更新周期
を知る方法がない。そこで、このようにいつ更新される
か分からないＷｅｂサイトから最新情報を収集する場
合、観測周期を大きくすると最新情報を取得することが
できなくなる可能性があるため、観測周期を短くして常
時観測するしかない。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
た従来技術では、観測対象となるＷｅｂサイトの数が数
十〜数百以上と多い場合には、トラヒック、観測対象の
Ｗｅｂサーバ、情報取得システムに多大な負荷を強いる
という問題がある。

【０００４】この発明は上述した事情に鑑みてなされた
もので、トラヒック、観測対象のＷｅｂサーバ、本情報
取得システムの負荷を大きくすることなく、Ｗｅｂサイ
ト毎に最適な観測周期で自動的に最新情報を収集するこ
とができる情報収集システム、情報収集方法、情報収集
プログラムおよび記録媒体を提供することを目的とす
る。

【０００５】

【課題を解決するための手段】上述した問題点を解決す
るために、請求項１記載の発明では、ネットワーク上で
提供される情報を収集する情報収集システムにおいて、
観測対象となる情報のネットワーク上のアドレスを登録
する登録手段と、所定の情報収集タイミングで、前記登
録手段により登録されたアドレスに基づいて、前記情報
を収集する収集手段と、前記収集手段により収集された
情報が更新されているか否かを判別する判別手段と、前
記判別手段により更新されていると判別された場合、前
記収集手段により収集された情報の更新間隔を算出する
更新間隔算出手段と、前記更新間隔算出手段により算出
された更新間隔に基づいて、次回の情報収集時刻を推測
する収集時刻推測手段と、前記情報収集手段による情報
収集タイミングを、前記収集時刻推測手段により推測さ
れた次回の情報収集時刻に設定する収集制御手段とを具
備することを特徴とする。

【０００６】また、請求項２記載の発明では、請求項１
記載の情報収集システムにおいて、前記更新間隔算出手
段は、情報に最終更新日付が記されている場合、今回の
情報に記された最終更新日付から前回の最終更新日付を
減算することで、情報の更新間隔を算出する一方、情報
に最終更新日付が記されていない場合、情報を取得した
時点の日時を最終更新日付として情報の更新間隔を算出
することを特徴とする。

【０００７】また、請求項３記載の発明では、請求項２
記載の情報収集システムにおいて、前記収集時刻推測手
段は、前記更新間隔算出手段により算出された更新間隔
の分布を作成する分布作成手段と、前記分布作成手段に
より作成された更新間隔の分布に基づいて、情報の更新
間隔を、所定の範囲を有するグループに分けるグループ
分け手段とを具備し、前記グループ分け手段により作成
されたグループ内の更新間隔およびグループ範囲に基づ
いて、次回の情報収集時刻を推測することを特徴とす
る。

【０００８】また、請求項４記載の発明では、請求項３
記載の情報収集システムにおいて、前記収集時刻推測手
段は、情報に最終更新日付が記されている場合、前記グ
ループ分け手段により作成されたグループ毎に、今回の
最終更新日付＋グループ内の最小更新間隔＋グループ範
囲を、次回の情報収集時刻として推測することを特徴と
する。

【０００９】また、請求項５記載の発明では、請求項３
記載の情報収集システムにおいて、前記収集時刻推測手
段は、情報に最終更新日付が記されていない場合、前記
グループ分け手段により作成されたグループ毎に、今回
の最終更新日付＋グループ内の最小更新間隔を次回の最
小情報収集時刻、今回の最終更新日付＋グループ内の最
小更新間隔＋グループ範囲を次回の最大情報収集時刻、
およびその中間を次回の中間情報収集時刻として推測す
ることを特徴とする。

【００１０】また、請求項６記載の発明では、請求項４
または５記載の情報収集システムにおいて、前記収集時
刻推測手段は、前記判別手段により情報が更新されてい
ないと判別された場合、前記グループ毎に算出された次
回の情報収集時刻のうち、次に遅い情報収集時刻を、次
回の情報収集時刻とすることを特徴とする。

【００１１】また、上述した問題点を解決するために、
請求項７記載の発明では、ネットワーク上で提供される
情報を収集する情報収集方法において、所定期間に渡っ
て、所定の情報収集タイミングで、観測対象となる情報
のネットワーク上のアドレスに基づいて情報を収集し、
前記収集された情報の更新間隔を算出し、所定期間に渡
る情報の更新間隔の分布に基づいて、次回の情報収集時
刻を推測し、前記次回の情報収集時刻で観測対象となる
情報のネットワーク上のアドレスに基づいて情報を収集
することを特徴とする。

【００１２】また、請求項８記載の発明では、請求項７
記載の情報収集方法において、前記更新間隔は、情報に
最終更新日付が記されている場合、今回の情報に記され
た最終更新日付から前回の最終更新日付を減算すること
で算出される一方、情報に最終更新日付が記されていな
い場合、情報を取得した時点の日時を最終更新日付とし
て算出されることを特徴とする。

【００１３】また、請求項９記載の発明では、請求項８
記載の情報収集方法において、前記情報の更新間隔の分
布を作成し、前記更新間隔の分布に基づいて、情報の更
新間隔を、所定の範囲を有するグループに分けて、グル
ープ毎に、グループ内の更新間隔およびグループ範囲に
基づいて、次回の情報収集時刻を推測することを特徴と
する。

【００１４】また、請求項１０記載の発明では、請求項
９記載の情報収集方法において、前記情報に最終更新日
付が記されている場合、前記グループ毎に、今回の最終
更新日付＋グループ内の最小更新間隔＋グループ範囲
を、次回の情報収集時刻として推測することを特徴とす
る。

【００１５】また、請求項１１記載の発明では、請求項
９記載の情報収集方法において、前記情報に最終更新日
付が記されていない場合、前記グループ毎に、今回の最
終更新日付＋グループ内の最小更新間隔を次回の最小情
報収集時刻、今回の最終更新日付＋グループ内の最小更
新間隔＋グループ範囲を次回の最大情報収集時刻、およ
びその中間を次回の中間情報収集時刻として推測するこ
とを特徴とする。

【００１６】また、請求項１２記載の発明では、請求項
１０または１１記載の情報収集方法において、前記次回
の情報収集時刻で収集した情報が更新されていない場
合、前記グループ毎に算出された次回の情報収集時刻の
うち、次に遅い情報収集時刻を、次回の情報収集時刻と
することを特徴とする。

【００１７】また、上述した問題点を解決するために、
請求項１３記載の発明では、所定期間に渡って、所定の
情報収集タイミングで、観測対象となる情報のネットワ
ーク上のアドレスに基づいて情報を収集するステップ
と、前記収集された情報の更新間隔を算出するステップ
と、所定期間に渡る情報の更新間隔の分布に基づいて、
次回の情報収集時刻を推測するステップと、前記次回の
情報収集時刻で観測対象となる情報のネットワーク上の
アドレスに基づいて情報を収集するステップとをコンピ
ュータに実行させることを特徴とする。

【００１８】また、請求項１４記載の発明では、請求項
１３記載の情報収集プログラムにおいて、前記更新間隔
の分布に基づいて、情報の更新間隔を、所定の範囲を有
するグループに分けるステップと、前記グループ毎に、
グループ内の更新間隔およびグループ範囲に基づいて、
次回の情報収集時刻を推測するステップとをコンピュー
タに実行させることを特徴とする。

【００１９】また、請求項１５記載の発明では、請求１
４記載の情報収集プログラムにおいて、前記次回の情報
収集時刻で収集した情報が更新されていない場合、前記
グループ毎に算出された次回の情報収集時刻のうち、次
に遅い情報収集時刻を、次回の情報収集時刻とするステ
ップをコンピュータに実行させることを特徴とする。

【００２０】また、上述した問題点を解決するために、
請求項１６記載の発明では、所定期間に渡って、所定の
情報収集タイミングで、観測対象となる情報のネットワ
ーク上のアドレスに基づいて情報を収集するステップ
と、前記収集された情報の更新間隔を算出するステップ
と、所定期間に渡る情報の更新間隔の分布に基づいて、
次回の情報収集時刻を推測するステップと、前記次回の
情報収集時刻で観測対象となる情報のネットワーク上の
アドレスに基づいて情報を収集するステップとをコンピ
ュータに実行させる情報収集プログラムを記録すること
を特徴とする。

【００２１】また、請求項１７記載の発明では、請求項
１６記載の記録媒体において、前記更新間隔の分布に基
づいて、情報の更新間隔を、所定の範囲を有するグルー
プに分けるステップと、前記グループ毎に、グループ内
の更新間隔およびグループ範囲に基づいて、次回の情報
収集時刻を推測するステップとをコンピュータに実行さ
せる情報収集プログラムを記録することを特徴とする。

【００２２】また、請求項１８記載の発明では、請求項
１６記載の記録媒体において、前記次回の情報収集時刻
で収集した情報が更新されていない場合、前記グループ
毎に算出された次回の情報収集時刻のうち、次に遅い情
報収集時刻を、次回の情報収集時刻とするステップをコ
ンピュータに実行させる情報収集プログラムを記録する
ことを特徴とする。

【００２３】この発明では、観測対象となる情報のネッ
トワーク上のアドレスを登録する登録手段と、収集手段
により、所定の情報収集タイミングで、前記登録手段に
より登録されたアドレスに基づいて、前記情報を収集す
る際、判別手段により、収集された情報が更新されてい
るか否かを判別し、更新されていると判別された場合、
更新間隔算出手段により、前記収集手段により収集され
た情報の更新間隔を算出し、収集時刻推測手段により、
前記更新間隔に基づいて、次回の情報収集時刻を推測
し、収集制御手段により、前記情報収集手段による情報
収集タイミングを、前記次回の情報収集時刻に設定す
る。したがって、トラヒック、観測対象のＷｅｂサー
バ、本情報収集システムの負荷を大きくすることなく、
Ｗｅｂサイト毎に最適な観測周期で自動的に最新情報を
収集することが可能となる。

【００２４】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を説明する。 Ａ．実施形態の構成 図１は、本発明の実施形態によるシステムの全体構成を
示すブロック図である。図１において、ＷＷＷサーバ１
は、ＨＴＭＬ、ＸＭＬなどのマークアップ言語により記
述されたＷｅｂページによる情報を、インターネット４
を介してアクセスしてきた情報収集システム２やユーザ
端末３に提供する。

【００２５】情報収集システム２は、インターネット４
を介してＷＷＷサーバ１にアクセスし、該ＷＷＷサーバ
１が提供するＷｅｂページによる最新情報を取得する。
より具体的には、情報収集システム２は、後述するユー
ザ端末３に対して観測対象となるＵＲＬ（Ｗｅｂページ
のアドレス）を登録するための登録画面を提示する。

【００２６】また、情報収集システム２は、第１段階と
して、所定の固定周期で、上記登録されたＵＲＬに従っ
て、ＷＷＷサーバ１にアクセスし、登録されたＵＲＬ毎
に、Ｗｅｂページが更新される更新間隔を取得する（サ
ンプリングモード）。また、情報収集システム２は、第
２段階として、上記登録されたＵＲＬ毎に取得した更新
間隔に基づいて、登録されたＵＲＬ毎に自動的に更新時
刻を推測し（自動観測モード）、該更新時刻にＷＷＷサ
ーバ１にアクセスし、Ｗｅｂページによる最新情報を取
得する。上記更新時刻は、Ｗｅｂページの更新有無に応
じて、その都度、更新される。

【００２７】ユーザ端末３は、パーソナルコンピュータ
やＰＤＡなどの情報処理装置からなり、少なくとも、イ
ンターネット４への接続機能や、ＷＷＷサーバ１や情報
収集システム２が提供するＷｅｂページを閲覧するため
の閲覧機能（ブラウザ）を備えている。

【００２８】次に、図２は、図１に示す情報収集システ
ム２の構成を示すブロック図である。情報収集システム
２は、登録画面提示部２−１、情報取得部２−２、サン
プリング処理部２−３、自動観測処理部２−４、グルー
プ分け処理部２−５、データベース２−６、およびメイ
ン処理部２−７から構成されている。登録画面提示部２
−１は、インターネット４を介してアクセスしてきたユ
ーザ端末３に観測対象となるＵＲＬ（複数）を登録する
ための登録画面（Ｗｅｂページ）を提示する。

【００２９】情報取得部２−２は、メイン処理部２−７
の制御の下、後述するサンプリング処理部２−３により
取得された更新間隔、あるいは後述する自動観測処理部
２−４により推測された更新時刻に、上記登録されたＵ
ＲＬ毎に提供されるＷｅｂページによる最新情報を取得
する。サンプリング処理部２−３は、所定の固定周期
で、情報取得部２−２により取得されたＷｅｂページが
最新情報に更新される更新間隔を取得する。

【００３０】自動観測処理部２−４は、後述するグルー
プ分け処理部２−５により、Ｗｅｂページの更新間隔の
分布から作成されるグループに従って、上記登録された
ＵＲＬ毎にＷｅｂページの更新時刻を推測する。グルー
プ分け処理部２−５は、上記自動観測処理部２−４によ
り推測された更新時刻に、情報取得部２−２により取得
されたＷｅｂページの最終更新日付に従って、過去から
現在に至るＷｅｂページの更新間隔の分布を作成し、該
分布から統計的に有意となるように、更新間隔のグルー
プ分けを行なう。

【００３１】データベース２−６は、登録画面提示部２
−１により提供される登録画面から登録されたＵＲＬ
や、情報取得部２−２により取得されたＷｅｂページ
（過去から現在に至るまで）などを蓄積する。メイン処
理部２−７は、サンプリング処理部２−３により取得さ
れた更新間隔、自動観測処理部２−４で推測された更新
時刻に従って、情報取得部２−２によるＷｅｂページの
取得、サンプリング処理部２−３の動作、自動観測処理
部２−４の動作などを制御する。

【００３２】Ｂ．実施形態の動作 次に、本実施形態の動作について詳細に説明する。ここ
で、図３は、本実施形態のメイン動作を説明するための
フローチャートである。なお、ユーザ端末３は、予め情
報収集システム２にアクセスし、登録画面提示部２−１
が提供する登録画面から観測対象となる１つ以上のＵＲ
Ｌを登録しているものとする。

【００３３】情報収集システム２は、観測対象となるＵ
ＲＬが登録され、観測開始指示があると、まず、データ
ベース２−６に登録されているＵＲＬに従って、情報取
得部２−２によりインターネット４を介してＷＷＷサー
バ１へアクセスし、上記ＵＲＬのＷｅｂページを取得す
る（ステップＳ１）。次いで、メイン処理部２−７は、
動作モードを判定する（ステップＳ２）。観測開始時に
は、サンプリングモードになっており、サンプリングモ
ード処理を実行する（ステップＳ３）。

【００３４】サンプリング処理モードでは、サンプリン
グ処理部２−３により、情報取得部２−２により取得さ
れたＷｅｂページの最終更新日付に従って、最新情報に
更新される更新間隔を取得する。該更新間隔は、データ
ベース２−６に保存される。なお、サンプリング処理の
詳細は後述する。

【００３５】次いで、サンプリングモードが完了したか
否かを判断する（ステップＳ４）。サンプリングモード
は、自動観測モードによる更新時刻を得るために必要と
される十分な数の更新間隔が得られるまで完了しない。
そして、サンプルモードが完了していない場合には、サ
ンプリングモードのタイマを起動し（ステップＳ５）、
当該処理を終了する。

【００３６】サンプリングモードのタイマが起動したこ
とで、以後、サンプリングモードが完了するまで、当該
フローが所定の時間間隔（一定）で実行される。すなわ
ち、サンプリングモード処理が実行される。この結果、
自動観測モードによる更新時刻を得るために必要とされ
る十分な数の更新間隔が得られることになる。

【００３７】そして、十分な数の更新間隔が得られる
と、サンプリングモードが完了する。これにより、ステ
ップＳ２におけるモード判定、もしくはステップＳ４に
おいて、サンプリングモードが完了したと判断され、自
動モード処理を実行する（ステップＳ６）。上述したサ
ンプリングモード処理により取得されたＷｅｂページの
更新間隔は、Ｗｅｂページの実際の更新間隔であるた
め、定期的に更新されるＷｅｂページ以外では、ばらつ
きが生じる。更新間隔は、完全なランダムでない限り、
何かしらの傾向があるものである。自動観測モードで
は、該更新間隔の統計的な分布に基づいて、次の更新時
刻を推測する。なお、自動観測モード処理の詳細につい
ては後述する。

【００３８】次いで、自動観測モード処理で取得したＷ
ｅｂページの更新時刻で、自動観測モードのタイマを起
動し（ステップＳ７）、当該処理を終了する。

【００３９】自動観測モードのタイマが起動したこと
で、以後、更新時刻に達すると当該フローが実行され
る。この場合、更新時刻は、自動観測モード処理が実行
される度に、実際のＷｅｂページの更新間隔に応じて更
新される。ゆえに、自動観測モードのタイマが起動する
度に、ステップＳ１で、Ｗｅｂページの最新情報が取得
されることになる。

【００４０】次に、図４は、サンプリングモード処理の
動作を説明するためのフローチャートである。サンプリ
ング処理部２−３は、まず、上記情報取得部２−２によ
り取得されたＷｅｂページが観測最初の画面であるか否
かを判断する（ステップＳ１０）。そして、観測最初の
画面である場合には、該Ｗｅｂページをデータベース２
−６に格納する（ステップＳ１３）。

【００４１】次いで、該Ｗｅｂページの最終更新日付の
有無を確認する（ステップＳ１４）。Ｗｅｂページに
は、最終更新日付が記述されている場合と、記述されて
いない場合がある。最終更新日付が記述されている場合
には、Ｗｅｂページに記述されている最終更新日付を取
得する（ステップＳ１５）。次いで、前回の更新日付と
今回の更新日付とから該Ｗｅｂページの更新間隔を算出
する（ステップＳ１７）。Ｗｅｂページが観測最初の画
面である場合には、前回の更新日付はないので、更新間
隔は、当該サンプリングモード処理の実行間隔、すなわ
ちサンプリング間隔となる。

【００４２】一方、Ｗｅｂページに最終更新日付が記述
されていない場合には、現在の日時を最終更新日付とし
（ステップＳ１６）、前回の更新日付と今回の更新日付
とから該Ｗｅｂページの更新間隔を算出する（ステップ
Ｓ１７）。Ｗｅｂページが観測最初の画面である場合に
は、前回の更新日付はないので、更新間隔は、当該サン
プリングモード処理の実行間隔、すなわちサンプリング
間隔となる。

【００４３】一方、取得したＷｅｂページが観測最初の
画面でない場合には、前回の画面と今回の画面とを比較
する（ステップＳ１１）。画面の比較は、簡単に行なう
場合には、ファイル容量を比較してもよいし、厳密に行
なう場合には、ＨＴＭＬによるテキスト文を完全比較し
てもよい。次に、比較結果に基づいて、Ｗｅｂページが
更新されたか否かを判断する（ステップＳ１２）。前述
したように、サンプリングモード処理は、一定の時間間
隔で、Ｗｅｂページを取得しているため、必ずしも更新
された最新のＷｅｂページを取得しているとは限らな
い。ゆえに、前回取得したＷｅｂページと同じであるこ
ともあり得る。そして、Ｗｅｂページが更新されていな
い場合には、画面を格納することなく、当該処理を終了
する。

【００４４】一方、Ｗｅｂページが更新されている場合
には、該Ｗｅｂページをデータベース２−６に格納する
（ステップＳ１３）。次いで、該Ｗｅｂページの最終更
新日付の有無を確認し（ステップＳ１４）、最終更新日
付が記述されている場合には、Ｗｅｂページに記述され
ている最終更新日付を取得する（ステップＳ１５）。次
いで、該Ｗｅｂページの更新間隔を算出する（ステップ
Ｓ１７）。この場合、該Ｗｅｂページの更新間隔は、図
５（ａ）に示すように、（今回の更新日付）−（前回の
更新日付）となる。

【００４５】一方、Ｗｅｂページに最終更新日付が記述
されていない場合には、現在の日時を最終更新日付とし
（ステップＳ１６）、該Ｗｅｂページの更新間隔を算出
する（ステップＳ１７）。この場合、該Ｗｅｂページの
更新間隔は、図５（ｂ）に示すように、（今回の更新検
出日付）−（前回の更新検出日付）となる。

【００４６】このように、サンプリングモード処理が何
度か繰り返し実行されることにより、前述したように、
自動観測モードによる更新時刻を得るために必要とされ
る十分な数の更新間隔が得られることになる。

【００４７】次に、図６は、自動観測モード処理の動作
を説明するためのフローチャートである。自動観測処理
部２−４は、まず、上記情報取得部２−２により取得さ
れた前回の画面と今回の画面とを比較する（ステップＳ
２０）。画面の比較は、簡単に行なう場合には、ファイ
ル容量を比較してもよいし、厳密に行なう場合には、Ｈ
ＴＭＬによるテキスト文を完全比較してもよい。次に、
比較結果に基づいて、Ｗｅｂページが更新されたか否か
を判断する（ステップＳ２１）。そして、Ｗｅｂページ
が更新されていない場合には、画面を格納することな
く、次回の予測更新時刻を決定する（ステップＳ２
４）。詳細については後述する。

【００４８】一方、Ｗｅｂページが更新されていた場合
には、該Ｗｅｂページをデータベース２−６に格納する
（ステップＳ２２）。次いで、該Ｗｅｂページの最終更
新日付の有無を確認し（ステップＳ２３）、最終更新日
付が記述されている場合には、Ｗｅｂページに記述され
ている最終更新日付を取得する（ステップＳ２５）。次
いで、前述したグループ分け処理部２−５によるグルー
プ分け処理を行ない（ステップＳ２６）、各グループの
予測更新時刻を決定する（ステップＳ２７）。詳細につ
いては後述する。

【００４９】一方、Ｗｅｂページに最終更新日付が記述
されていない場合には、現在の日時を最終更新日付とし
（ステップＳ２８）、前述したグループ分け処理部２−
５によるグループ分け処理を行ない（ステップＳ２
９）、グループ毎に予測更新時刻の最小値、中間点、最
大点を決定する（ステップＳ３０）。詳細については後
述する。

【００５０】次に、図７は、グループ分け処理の動作を
説明するためのフローチャートである。グループ分け処
理部２−５は、まず、上述した自動観測モードで取得さ
れた最終更新日付を用いて、（今回の更新日付）−（前
回の更新日付）から更新間隔を算出する（ステップＳ４
０）。次いで、該更新間隔を更新間隔分布に追加する
（ステップＳ４１）。次いで、更新間隔分布を昇順にソ
ートする（ステップＳ４２）。

【００５１】ここで、図８は、更新間隔分布を示す概念
図である。前述したサンプリング処理部２−３および自
動観測処理部２−４に算出された、Ｗｅｂページの更新
間隔は、図８（ａ）に示すように、更新間隔分布に随時
追加されていく。前述したように、Ｗｅｂページの更新
間隔は、定期的に更新されるＷｅｂページ以外では、ば
らつきが生じる。しかしながら、更新間隔は、完全なラ
ンダムでない限り、何かしらの傾向があるものである。
そこで、本実施形態では、以下のようにして更新間隔を
グループ分けする。

【００５２】図７に戻り、Ｗｅｂページの画面をデータ
ベース２−６に格納する（ステップＳ４３）。次いで、
下限をある更新間隔、上限をある更新間隔＋更新間隔の
平均値（σt0）の１／Ｘの範囲内（図８（ａ）を参照、
Ｘ＝グループの範囲を決定する定数）に収まる更新間隔
数が２個以上であるか否かを判断する（ステップＳ４
４）。そして、範囲（σt0／Ｘ）に更新間隔が２個以上
ない場合には、グループとしない（ステップＳ４５）。
一方、２個以上ある場合には、グループとして登録する
（ステップＳ４６）。

【００５３】図８（ａ）に示す例では、ソート後の更新
間隔のうち、第１〜第４番目の更新間隔は、グループＡ
に分類される。第５番目の更新間隔は、２個以上存在し
ないので、グループに分類されない。第６番目〜第８番
目の更新間隔は、グループＢに分類される。図８（ｂ）
は、上記グループ分けの状態を更新間隔（σt）上に表
記したものである。

【００５４】次に、上述したグループ分けから次回の更
新時刻を推測する方法について説明する。まず、自動観
測モードで、画面更新がなかった場合において、次回の
予測更新時刻の決定（図６のＳ２４）について説明す
る。ここで、図９は、画面更新がなかった場合における
次回の予測更新時刻の決定方法を説明するための概念図
である。この場合、第１の予測更新時刻ｔ１は、前回の
最終更新日付＋の更新間隔＋（σt0／Ｘ）であり、第
２の予測更新時刻ｔ２は、前回の最終更新日付＋の更
新間隔＋（σt0／Ｘ）となる。

【００５５】次に、自動観測モードで、Ｗｅｂページか
ら最終更新日付を取得した場合において、次回の予測更
新時刻の決定（図６のＳ２７）について説明する。ここ
で、図１０は、Ｗｅｂページから最終更新日付を取得し
た場合における次回の予測更新時刻の決定方法を説明す
るための概念図である。この場合、第１の予測更新時刻
ｔ１は、今回の最終更新日付＋グループＡの最小更新間
隔＋（σt0／Ｘ）であり、第２の予測更新時刻ｔ２は、
今回の最終更新日付＋グループＢの最小更新間隔＋（σ
t0／Ｘ）となる。

【００５６】次に、自動観測モードで、現在の日時を最
終更新日付とした場合において、次回の予測更新時刻の
決定（図６のＳ３０）について説明する。ここで、図１
１は、現在の日時を最終更新日付とした場合における次
回の予測更新時刻の決定方法を説明するための概念図で
ある。この場合、図１１に示すように、グループＡ，Ｂ
毎に、最小値（今回の最終更新日付＋グループＡ，Ｂの
最小更新間隔）、中間点、最大点（今回の最終更新日付
＋グループＡ，Ｂの最小更新間隔＋（σt0／Ｘ））を、
次回の予測更新時刻とする。

【００５７】いずれの場合においても、自動観測モード
処理は、次回、最も小さい予測更新時刻で起動される。
このとき、Ｗｅｂページが更新されていれば、データベ
ース２−６に保存される。そして、新たに最終更新日付
が取得され、更新間隔が更新間隔分布に追加され、新た
な予測更新時刻が算出される。一方、上記予測更新時刻
で起動されたものの、Ｗｅｂページが更新されていなけ
れば、次の予測更新時刻で起動され、Ｗｅｂページを取
得する。いずれにしても、更新される可能性が最も高い
タイミングで、Ｗｅｂページを取得することができる。
ゆえに、トラヒック、観測対象のＷｅｂサーバ、本情報
取得システムの負荷を大きくすることなく、Ｗｅｂサイ
ト毎に最適な観測周期で自動的に最新情報を取得するこ
とができる。

【００５８】なお、上述した実施形態において、情報収
集システム２の機能は、図示しない記憶部に記憶された
プログラムを実行することで実現するようになってい
る。記憶部は、ハードディスク装置や光磁気ディスク装
置、フラッシュメモリ等の不揮発性メモリやＲＡＭ（Ra
ndom Access Memory）のような揮発性のメモリ、あるい
はこれらの組み合わせにより構成されるものとする。ま
た、上記記憶部とは、インターネット等のネットワーク
や電話回線等の通信回線を介してプログラムが送信され
た場合のサーバやクライアントとなるコンピュータシス
テム内部の揮発性メモリ（ＲＡＭ）のように、一定時間
プログラムを保持しているものも含む。

【００５９】また、上記プログラムは、このプログラム
を記憶装置等に格納したコンピュータシステムから、伝
送媒体を介して、あるいは、伝送媒体中の伝送波により
他のコンピュータシステムに伝送されてもよい。ここ
で、プログラムを伝送する「伝送媒体」は、インターネ
ット等のネットワークや電話回線等の通信回線のように
情報を伝送する機能を有する媒体のことをいう。また、
上記プログラムは、上述した処理の一部を実現するため
のものであってもよい。さらに、上述した処理を情報収
集システム２に既に記録されているプログラムとの組み
合わせで実現できるもの、いわゆる差分ファイル（差分
プログラム）であってもよい。

【００６０】以上、この発明の実施形態を図面を参照し
て詳述してきたが、具体的な構成は、上記実施形態に限
られるものではなく、この発明の要旨を逸脱しない範囲
の設計等も含まれる。

【００６１】

【発明の効果】以上説明したように、本発明によれば、
観測対象となる情報のネットワーク上のアドレスを登録
する登録手段と、収集手段により、所定の情報収集タイ
ミングで、前記登録手段により登録されたアドレスに基
づいて、前記情報を収集する際、判別手段により、収集
された情報が更新されているか否かを判別し、更新され
ていると判別された場合、更新間隔算出手段により、前
記収集手段により収集された情報の更新間隔を算出し、
収集時刻推測手段により、前記更新間隔に基づいて、次
回の情報収集時刻を推測し、収集制御手段により、前記
情報集手段による情報収集タイミングを、前記次回の情
報収集時刻に設定するようにしたので、トラヒック、観
測対象のＷｅｂサーバ、本情報収集システムの負荷を大
きくすることなく、Ｗｅｂサイト毎に最適な観測周期で
自動的に最新情報を収集することができるという利点が
得られる。

【図面の簡単な説明】

【図１】 本発明の実施形態によるシステムの全体構成
を示すブロック図である。

【図２】 図２は、図１に示す情報収集システム２の構
成を示すブロック図である。

【図３】 本実施形態のメイン動作を説明するためのフ
ローチャートである。

【図４】 サンプリングモード処理の動作を説明するた
めのフローチャートである。

【図５】 Ｗｅｂページの更新間隔を算出する方法を説
明するための概念図である。

【図６】 自動観測モード処理の動作を説明するための
フローチャートである。

【図７】 グループ分け処理の動作を説明するためのフ
ローチャートである。

【図８】 更新間隔分布を示す概念図である。

【図９】 画面更新がなかった場合における次回の予測
更新時刻の決定方法を説明するための概念図である。

【図１０】 Ｗｅｂページから最終更新日付を取得した
場合における次回の予測更新時刻の決定方法を説明する
ための概念図である。

【図１１】 現在の日時を最終更新日付とした場合にお
ける次回の予測更新時刻の決定方法を説明するための概
念図である。

【符号の説明】

１ ＷＷＷサーバ ２ 情報収集システム ３ ユーザ端末 ４ インターネット ２−１ 登録画面提示部（登録手段） ２−２ 情報取得部（収集手段） ２−３ サンプリング処理部（更新間隔算出手段、分布
作成手段） ２−４自動観測処理部（更新間隔算出手段、収集時刻推
測手段） ２−５ グループ分け処理部（分布作成手段、グループ
分け手段） ２−６ データベース ２−７ メイン処理部（判別手段、収集制御手段）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 戸田 直美 東京都港区港南一丁目９番１号 エヌ・テ ィ・ティ・コムウェア株式会社内 (72)発明者 西川 幸成 東京都港区港南一丁目９番１号 エヌ・テ ィ・ティ・コムウェア株式会社内 Ｆターム(参考） 5B075 PQ29 PQ44 5B082 GB02 GB06

Claims (18)

【特許請求の範囲】
1. 【請求項１】 ネットワーク上で提供される情報を収集
   する情報収集システムにおいて、 観測対象となる情報のネットワーク上のアドレスを登録
   する登録手段と、 所定の情報収集タイミングで、前記登録手段により登録
   されたアドレスに基づいて、前記情報を収集する収集手
   段と、 前記収集手段により収集された情報が更新されているか
   否かを判別する判別手段と、 前記判別手段により更新されていると判別された場合、
   前記収集手段により収集された情報の更新間隔を算出す
   る更新間隔算出手段と、 前記更新間隔算出手段により算出された更新間隔に基づ
   いて、次回の情報収集時刻を推測する収集時刻推測手段
   と、 前記情報収集手段による情報収集タイミングを、前記収
   集時刻推測手段により推測された次回の情報収集時刻に
   設定する収集制御手段とを具備することを特徴とする情
   報収集システム。
2. 【請求項２】 前記更新間隔算出手段は、 情報に最終更新日付が記されている場合、今回の情報に
   記された最終更新日付から前回の最終更新日付を減算す
   ることで、情報の更新間隔を算出する一方、情報に最終
   更新日付が記されていない場合、情報を取得した時点の
   日時を最終更新日付として情報の更新間隔を算出するこ
   とを特徴とする請求項１記載の情報収集システム。
3. 【請求項３】 前記収集時刻推測手段は、 前記更新間隔算出手段により算出された更新間隔の分布
   を作成する分布作成手段と、 前記分布作成手段により作成された更新間隔の分布に基
   づいて、情報の更新間隔を、所定の範囲を有するグルー
   プに分けるグループ分け手段とを具備し、 前記グループ分け手段により作成されたグループ内の更
   新間隔およびグループ範囲に基づいて、次回の情報収集
   時刻を推測することを特徴とする請求項２記載の情報収
   集システム。
4. 【請求項４】 前記収集時刻推測手段は、情報に最終更
   新日付が記されている場合、前記グループ分け手段によ
   り作成されたグループ毎に、今回の最終更新日付＋グル
   ープ内の最小更新間隔＋グループ範囲を、次回の情報収
   集時刻として推測することを特徴とする請求項３記載の
   情報収集システム。
5. 【請求項５】 前記収集時刻推測手段は、情報に最終更
   新日付が記されていない場合、前記グループ分け手段に
   より作成されたグループ毎に、今回の最終更新日付＋グ
   ループ内の最小更新間隔を次回の最小情報収集時刻、今
   回の最終更新日付＋グループ内の最小更新間隔＋グルー
   プ範囲を次回の最大情報収集時刻、およびその中間を次
   回の中間情報収集時刻として推測することを特徴とする
   請求項３記載の情報収集システム。
6. 【請求項６】 前記収集時刻推測手段は、前記判別手段
   により情報が更新されていないと判別された場合、前記
   グループ毎に算出された次回の情報収集時刻のうち、次
   に遅い情報収集時刻を、次回の情報収集時刻とすること
   を特徴とする請求項４または５記載の情報収集システ
   ム。
7. 【請求項７】 ネットワーク上で提供される情報を収集
   する情報収集方法において、 所定期間に渡って、所定の情報収集タイミングで、観測
   対象となる情報のネットワーク上のアドレスに基づいて
   情報を収集し、前記収集された情報の更新間隔を算出
   し、所定期間に渡る情報の更新間隔の分布に基づいて、
   次回の情報収集時刻を推測し、前記次回の情報収集時刻
   で観測対象となる情報のネットワーク上のアドレスに基
   づいて情報を収集することを特徴とする情報収集方法。
8. 【請求項８】 前記更新間隔は、 情報に最終更新日付が記されている場合、今回の情報に
   記された最終更新日付から前回の最終更新日付を減算す
   ることで算出される一方、情報に最終更新日付が記され
   ていない場合、情報を取得した時点の日時を最終更新日
   付として算出されることを特徴とする請求項７記載の情
   報収集方法。
9. 【請求項９】 前記情報の更新間隔の分布を作成し、前
   記更新間隔の分布に基づいて、情報の更新間隔を、所定
   の範囲を有するグループに分けて、グループ毎に、グル
   ープ内の更新間隔およびグループ範囲に基づいて、次回
   の情報収集時刻を推測することを特徴とする請求項８記
   載の情報収集方法。
10. 【請求項１０】 前記情報に最終更新日付が記されてい
    る場合、前記グループ毎に、今回の最終更新日付＋グル
    ープ内の最小更新間隔＋グループ範囲を、次回の情報収
    集時刻として推測することを特徴とする請求項９記載の
    情報収集方法。
11. 【請求項１１】 前記情報に最終更新日付が記されてい
    ない場合、前記グループ毎に、今回の最終更新日付＋グ
    ループ内の最小更新間隔を次回の最小情報収集時刻、今
    回の最終更新日付＋グループ内の最小更新間隔＋グルー
    プ範囲を次回の最大情報収集時刻、およびその中間を次
    回の中間情報収集時刻として推測することを特徴とする
    請求項９記載の情報収集方法。
12. 【請求項１２】 前記次回の情報収集時刻で収集した情
    報が更新されていない場合、前記グループ毎に算出され
    た次回の情報収集時刻のうち、次に遅い情報収集時刻
    を、次回の情報収集時刻とすることを特徴とする請求項
    １０または１１記載の情報収集方法。
13. 【請求項１３】 所定期間に渡って、所定の情報収集タ
    イミングで、観測対象となる情報のネットワーク上のア
    ドレスに基づいて情報を収集するステップと、 前記収集された情報の更新間隔を算出するステップと、 所定期間に渡る情報の更新間隔の分布に基づいて、次回
    の情報収集時刻を推測するステップと、 前記次回の情報収集時刻で観測対象となる情報のネット
    ワーク上のアドレスに基づいて情報を収集するステップ
    とをコンピュータに実行させることを特徴とする情報収
    集プログラム。
14. 【請求項１４】 前記更新間隔の分布に基づいて、情報
    の更新間隔を、所定の範囲を有するグループに分けるス
    テップと、 前記グループ毎に、グループ内の更新間隔およびグルー
    プ範囲に基づいて、次回の情報収集時刻を推測するステ
    ップとをコンピュータに実行させることを特徴とする請
    求項１３記載の情報収集プログラム。
15. 【請求項１５】 前記次回の情報収集時刻で収集した情
    報が更新されていない場合、前記グループ毎に算出され
    た次回の情報収集時刻のうち、次に遅い情報収集時刻
    を、次回の情報収集時刻とするステップをコンピュータ
    に実行させることを特徴とする請求１４記載の情報収集
    プログラム。
16. 【請求項１６】 所定期間に渡って、所定の情報収集タ
    イミングで、観測対象となる情報のネットワーク上のア
    ドレスに基づいて情報を収集するステップと、 前記収集された情報の更新間隔を算出するステップと、 所定期間に渡る情報の更新間隔の分布に基づいて、次回
    の情報収集時刻を推測するステップと、 前記次回の情報収集時刻で観測対象となる情報のネット
    ワーク上のアドレスに基づいて情報を収集するステップ
    とをコンピュータに実行させる情報収集プログラムを記
    録することを特徴とする記録媒体。
17. 【請求項１７】 前記更新間隔の分布に基づいて、情報
    の更新間隔を、所定の範囲を有するグループに分けるス
    テップと、 前記グループ毎に、グループ内の更新間隔およびグルー
    プ範囲に基づいて、次回の情報収集時刻を推測するステ
    ップとをコンピュータに実行させる情報収集プログラム
    を記録することを特徴とする請求項１６記載の記録媒
    体。
18. 【請求項１８】 前記次回の情報収集時刻で収集した情
    報が更新されていない場合、前記グループ毎に算出され
    た次回の情報収集時刻のうち、次に遅い情報収集時刻
    を、次回の情報収集時刻とするステップをコンピュータ
    に実行させる情報収集プログラムを記録することを特徴
    とする請求項１６記載の記録媒体。