JP3618917B2 - 情報収集方法 - Google Patents
情報収集方法 Download PDFInfo
- Publication number
- JP3618917B2 JP3618917B2 JP20614496A JP20614496A JP3618917B2 JP 3618917 B2 JP3618917 B2 JP 3618917B2 JP 20614496 A JP20614496 A JP 20614496A JP 20614496 A JP20614496 A JP 20614496A JP 3618917 B2 JP3618917 B2 JP 3618917B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- data
- update
- hyperlink
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Description
【発明の属する技術分野】
本発明は、ネットワーク上に分散され時刻と共に変化するデータを収集する情報収集方法に関する。
【0002】
【従来の技術】
ネットワーク上に分散して存在するデータの収集を、データ内のハイパーリンクを連鎖的に参照することで達成する、ネットワークロボットと呼ばれる装置がある。
【0003】
本明細書で用いる語句について説明する。
「ハイパーリンク」とは、ネットワーク上の特定データを指示する表現である。
【0004】
「ハイパーリンク群」とは、1以上のハイパーリンクの集まりを意味する。
「初期ハイパーリンク群」とは、ネットワークロボットが動作するにあたり、初期値として用いられるハイパーリンク群を意味する。
【0005】
「未取得モード」とは、(ハイパーリンクを記録格納する記録格納部内で)ハイパーリンクに付随する属性の一つで、そのハイパーリンクに指し示されるデータの取得が完了していないことを示す。
【0006】
「既取得モード」とは、(ハイパーリンクを記録格納する記録格納部内で)ハイパーリンクに付随する属性の一つで、そのハイパーリンクに指し示されるデータの取得が完了したことを示す。
【0007】
図11に、最も簡単な従来のネットワークロボットの一構成例を示す。なお、図11に示される構成のうち、点線枠に囲まれた内側が、ネットワークロボットである。
【0008】
ここで、図中のハイパーリンク入力装置1101は、ネットワークロボットとは独立に存在し、ネットワークロボットの動作の発端となる初期ハイパーリンク群を入力する機能を持つ。
【0009】
データ処理装置1102は、ネットワークロボットは独立に存在し、ネットワークロボットが動作中に取得したデータを用いて所定の処理を行う装置である。
ネットワーク1103は、ネットワークロボットとは独立に存在し、ネットワークロボットが通信対象とするサーバーとの通信を提供する装置である。
【0010】
次に、図11のネットワークロボットの構成について説明する。図11のように、本ネットワークロボットは、ハイパーリンクスタック部1104、ハイパーリンクマッチング部1151、ハイパーリンク記録格納部1152、送受信部1107、ハイパーリンク抽出部1109を備えている。
【0011】
ハイパーリンクスタック部1104は、ハイパーリンクを任意数格納できるデータ構造を有する。例えば、内部にハイパーリンクを要素としてもつリスト構造を有することで実現される。
【0012】
ハイパーリンクマッチング部1151は、ハイパーリンクの登録とモード変更を行なう。
ハイパーリンク記録格納部1152は、任意数のハイパーリンクを、未取得モードもしくは既取得モードという2つのモードのどちらかを持つ形で、格納できるデータ構造を持つ。例えば、内部にハイパーリンク及びそのモードを示すための二値変数を要素として有するリスト構造を持つことで実現される。
【0013】
送受信部1107は、ネットワーク1103との送受信を行なう。
ハイパーリンク抽出部1109は、データまたはその一部であるハイパーテキストからハイパーリンクを抽出する。
【0014】
この動作に関するフローチャートを図12に示し、そのネットワークロボットの動作機構を以下に示す。
ハイパーリンク入力装置1101は、ネットワークロボットに向けて初期ハイパーリンク群を伝送する(ステップS1101)。初期ハイパーリンク群は、ハイパーリンクスタック部1104に格納される。
【0015】
ハイパーリンクマッチング部1151は、ハイパーリンクスタックが空でない場合、データリンクを取り出し、それがハイパーリンク記録格納部1152に存在しないときにのみ、ハイパーリンク記録格納部1152に格納する(ステップS1102,S1103,S1104,S1105)。
【0016】
次に、ステップS1102でハイパーリンクスタックが空であれば、ハイパーリンクマッチング部104は、ハイパーリンク記録格納部1152に未取得モードで格納されているハイパーリンクが存在するかどうか調べる(ステップS1106)。そして、未取得モードで格納されているハイパーリンクが存在しない場合は、ネットワークロボットとしての動作を終えるべく停止する。
【0017】
一方、未取得モードで格納されているハイパーリンクが存在する場合は、ハイパーリンク記録格納部1152に未取得モードで格納されているハイパーリンクの一部または全部を送受信部1107へ伝送する(S1107)。
【0018】
次に、送受信部1107は、ネットワーク通信を行ない、ステップS1107でハイパーリンクマッチング部1151から得たハイパーリンクに指し示されるデータの取得を試みる(ステップS1108)。
【0019】
送受信部1107は、ステップS1108の完了をもって、ステップS1108で取得したデータを、データ処理装置1102へ出力するとともに、ハイパーリンク抽出部1109へ伝送する(ステップS1109,S1112)。これらの実行の順序は、通常問われない。
【0020】
また、送受信部1107は、ステップS1108の完了をもって、ステップS1108でハイパーリンクマッチング部1151から得たハイパーリンクのモードを未取得モードから既取得モードへ変更する信号をハイパーリンクマッチング部1151へ伝送する(ステップS1110)。そして、ハイパーリンクマッチング部1151は、ハイパーリンク記録格納部1152内の該当するデータリンクのモードを未取得モードから既取得モードへ変更する(S1111)。
【0021】
ハイパーリンク抽出部1109は、ステップS1112で伝送されたデータからハイパーリンク群を抽出し(ステップS1113)、このハイパーリンク群を未取得モードでハイパーリンクスタック部1104へ伝送する(ステップS1114)。
【0022】
そして、ステップS1102へ戻り、前述のようにハイパーリンクマッチング部1151は、ステップS1113で抽出されたハイパーリンク群のそれぞれについて、それがハイパーリンク記録格納部1152にないときにのみ、ハイパーリンク記録格納部1152に格納する(ステップS1102〜S1105)。
【0023】
以降、上記したような手順が繰り返し行われ、前述のようにステップS1106ハイパーリンク記録格納部1152に未取得モードで格納されているハイパーリンクが存在しなくなれば、ネットワークロボットとしての動作を終えるべく停止する。
【0024】
ここで、ハイパーリンクマッチング部1151の出力は、参照に関する重複のないリンクであると同時に、ネットワークロボットがその探索対象とすることを禁止されていないリンクとなる。
【0025】
また、通常、ネットワーク上の同一のサーバーに連続するアクセスを抑制するために、ハイパーリンクマッチング部は、以前に出力したハイパーリンクを記録しており、それと同一のサーバーに対する連続した通信をできるだけ避ける構成をとる。
【0026】
既存のネットワークロボットの具体例としては、インターネット・ワールドワイドウェブ上のAlta Visa検索サービス(1995,URL=http://www.altavista.digital.com/)がある。
【0027】
【発明が解決しようとする課題】
上記のような従来のネットワークロボットでは、例えば以下に示すような種々の問題点があった。
(1)データの内容が更新されてもすぐに参照することができなかった。
【0028】
(2)上記とは逆に、データの内容が非更新であるにもかかわらず無駄に参照してしまう場合があった。つまり、非更新のデータの参照を省略することによる参照の効率化、処理速度の向上が期待できなかった。
【0029】
(3)データを収集する際、ネットワークの動的な負荷やデータの更新の頻度に対する無計画性が律速となり、収集の効率及び速度に限界があった。
例えば、12時から14時(以下時間帯SAと呼ぶ)間は、ネットワーク負荷が重く参照速度が低下するサーバー群A上のデータ群aがある場合、aの多くが常に時間帯SAに参照されると、時間帯SA以外ではaのデータの参照が速やかであるにも関わらずその参照の間隔が不適当に伸ばされたり、常に負荷の高い状況下での参照をしたりということが容易に予想される。
【0030】
本発明は、上記事情を考慮してなされたものであり、ネットワーク上に分散されたデータを収集するにあたって、各データの更新の頻度と同程度の頻度でデータ参照を行うことを可能とする情報収集方法を提供することを目的とする。
【0031】
また、本発明は、更新されていないデータに対する不要な参照を事前に抑えることを可能とする情報収集方法を提供することを目的とする。
また、本発明は、各データ及びそれを有するサーバーに対する参照に最も適した時刻あるいは時間帯での参照を可能とする情報収集方法を提供することを目的とする。
【0032】
【課題を解決するための手段】
本発明は、ネットワーク上に分散されたデータを収集する情報収集方法において、所定の間隔で、登録された各ハイパーリンクの指し示すデータの取得を試行し、取得されたデータの更新状況を監視するとともに、前記データの更新状況の監視結果から求めたデータ更新履歴をもとに、該データを参照する前記所定の間隔を決定することを特徴とする。
【0033】
例えば、更新の間隔が短いデータについては参照の間隔を短くするように調整し、更新の間隔が長いものは参照の間隔を長くするように調整する。これらの調整は動的に行われる。
【0034】
好ましくは、前記更新履歴からデータの次回更新予測時刻を求め、該次回更新予測時刻を該データの次回参照時刻とすることを特徴とする。
これは、例えば、データの更新の有無の判定がデータを取得する迄不能または困難である場合に有効である。
【0035】
好ましくは、サーバとの通信状況に応じて、次回のデータの取得を試行する時刻を変更することを特徴とする。
例えば、各データの取得に掛かるネットワークの回線負荷が設定値よりも大きい際もしくはデータの取得に要した時間が設定値よりも長い際にそのデータの次回更新予測時刻の前または後への変更を必要に応じて行う。
【0036】
また、例えば、ネットワーク上に存在し参照対象とするデータを有する各サーバーの使用が可能な時間帯及び上記の時間帯の有限分割の中で平均して最も速やかな応答が期待される部分時間帯をサーバーに関する通信履歴から算出し、必要に応じて上記の時間帯及び部分時間帯内に対象サーバーとの通信を行なう。
【0037】
好ましくは、前記データ更新履歴をもとに、規定値より短い期間での更新の頻度が一定期間内に一定回数よりも多く生じたデータについては、データの取得の試行の停止または次回のデータの取得を試行する時刻を変更することを特徴とする。
【0038】
好ましくは、一定期間だけ取得不能となったデータについては、再度取得可能となった後も、取得不能となる以前の前記データ更新履歴を継続して用いることを特徴とする。
【0039】
すなわち、データを消去し同じハイパーリンクで指し示されるデータを再度設ける際にそのデータを新規に作成されたものでなく更新されたものとして処理する。
【0040】
好ましくは、データが次回に変更される予定時刻を該データ自体から求めることができる場合、該データについては、次の取得の試行の時刻を、該データから求めた該予定時刻以降とすることを特徴とする。
【0041】
好ましくは、データの大きさが設定値を超える場合、該データについては設定値を超えない範囲に相当する部分のみを前記取得の試行及び更新状況の監視の対象とすることを特徴とする。
【0042】
好ましくは、同一のハイパーリンクで有限複数個の種類内でデータが切り替わり得るハイパーリンクを扱う場合、該種類別に前記取得の試行及び更新状況の監視を行なうことを特徴とする。
【0043】
本発明の他の発明は、ネットワーク上に分散されたデータを収集する情報収集方法において、登録された各ハイパーリンクの指し示すデータの取得を試行し、取得されたデータの更新状況を監視するとともに、データを提供するサーバーとの通信状況をも監視して該サーバーの使用可能な時間帯を求め、求められた前記時間帯にデータの取得を試行することを特徴とする。
【0044】
例えば、ネットワーク上に存在し参照対象とするデータを有する各サーバーの使用が可能な時間帯及び上記の時間帯の有限分割の中で平均して最も速やかな応答が期待される部分時間帯をサーバーに関する通信履歴から算出し、必要に応じて上記の時間帯及び部分時間帯内に対象サーバーとの通信を行なう。
【0045】
好ましくは、サーバーの使用可能な時間帯の有限分割の中で統計的に最も速やかな通信が期待される時間帯区分内に、データの取得を試行することを特徴とする。
【0046】
好ましくは、データの取得に要した時間が設定値よりも長い場合、データの取得の試行を行う前記時間帯区分を変更することを特徴とする。
本発明では、各データの更新履歴情報を蓄積し、これをもとに各データの更新の特性を推定して、参照の時刻あるいは時間帯をスケジューリングすることにより、各データの更新の頻度と同程度の頻度でのデータ参照を実現することができる。
【0047】
また、更新されていないデータに対する不要な参照を事前に抑えることができる。これによって、データ収集の効率向上を図ることができる。
さらに、各データの内容の特性をも考慮することにより、さらなるデータ収集の効率向上を図ることができる。
【0048】
また、本発明では、各データ取得の際の通信状況を蓄積して、通信特性を把握し、これを考慮して参照の時刻あるいは時間帯をスケジューリングすることにより、各データ及びそれを有するサーバーに対する参照に最も適した時刻あるいは時間帯での参照を実現することができる。これによって、データ収集の効率向上を図ることができる。
【0049】
例えば、時間帯SA間はネットワーク負荷が重く参照速度が低下するサーバー群A上のデータ群aと、時間帯SA間において参照速度が高いサーバー群B上のデータ群bがあることが把握できれば、時間帯SA間にbのデータを探索対象とし、時間帯SA外でaのデータを探索対象とすることにより、効率的なデータ取得が期待できる。
【0050】
あるいは、より取得しにくいデータについては、次にハイパーリンクを選出する間隔を、より取得しやすいデータのハイパーリンクを選出する間隔よりも長く設定するなどといった制御も可能となる。
【0051】
このように本発明によれば、データ収集の効率と速度の向上と、最新もしくはそれに近いデータの参照を実現できる。
なお、以上の各方法に係る発明は、装置に係る説明としても成立する。
ところで、上記の発明は、相当する処理を実行させるためのプログラムを格納した記憶媒体としても成立する。
【0052】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
(第1の実施の形態)
まず、本発明の第1の実施形態について説明する。
【0053】
図1に、本実施形態に係る情報収集装置の一構成例を示す。なお、図1に示される構成のうち、点線枠に囲まれた内側が、本実施形態に係る情報収集装置である。
【0054】
ハイパーリンク入力装置201は、ネットワークロボットとは独立に存在し、ネットワークロボットの動作の発端となる初期ハイパーリンク群を入力する機能を持つ。
【0055】
データ処理装置202は、ネットワークロボットは独立に存在し、ネットワークロボットが動作中に取得したデータを用いて、処理する装置である。
ネットワーク203は、ネットワークロボットとは独立に存在し、ネットワークロボットが通信対象とするサーバーとの通信を提供する装置である。
【0056】
本情報収集装置は、ハイパーリンクスタック部204、次回更新予測時刻格納部205、時計部206、送受信部207、更新履歴格納部208、ハイパーリンク抽出部209を備えている。
【0057】
ハイパーリンクスタック部204は、ハイパーリンクを任意数格納できるデータ構造を有する。例えば、内部にハイパーリンクを要素としてもつリスト構造を有することで実現される。
【0058】
次回更新予測時刻格納部205は、ハイパーリンクとそれが指し示すデータの次回更新予測時刻を組とする構造体を持ち、その構造体の次回更新予測時刻を出力及び更新する機能をもつ。
【0059】
時計部206は、動作時の現在時刻を出力する。
更新履歴格納部208は、ハイパーリンクとそれが指し示すデータの更新履歴からなる構造体を記録し、その構造体内の更新履歴を追加し、及び各ハイパーリンクの次回更新予測時刻をその構造体の更新履歴から算出する機能を持つ。
【0060】
送受信部207は、ネットワーク203との送受信を行なう。
ハイパーリンク抽出部209は、データまたはその一部であるハイパーテキストからハイパーリンクを抽出する。
【0061】
以下、本実施形態に係る情報収集装置の動作について説明する。
図2は、本情報収集装置の動作を示すフローチャートである。
ステップS201において、ハイパーリンク入力装置201は、ハイパーリンクスタック部204に初期ハイパーリンク群を伝送する。
【0062】
ハイパーリンクスタック部204は、ステップS201またはステップS212で伝送されたハイパーリンク群のそれぞれを、次回更新予測時刻格納部205へ伝送する(ステップS202、S203)。
【0063】
次回更新予測時刻格納部205は、ステップS203で伝送されたハイパーリンクが未登録のものであれば、初期時刻と組にして登録する(ステップS204、S205)。
【0064】
ここで、本実施形態では、初期時刻には本情報収集装置の始動した時刻を用いるものとする。なお、初期時刻の値は、時計部206の出力と比較対象になり得て少なくともその時点で時計部206が出力する時刻よりも未来を指すものでなければ良く、例えば、時刻の最古値を用いても良い。
【0065】
次に、ステップS202においてデータリンクスタックが空になれば、次回更新予測時刻格納部205は、時計部206から現在時刻を得る(ステップS206)。また、他の例として、次回更新予測時刻格納部205から時計部206に現在時刻を求める通知をせず、時計部206側から自発的に次回更新予測時刻格納部205へ現在時刻の情報を伝送する構成にしても良い。
【0066】
次回更新予測時刻格納部205は、その対応する次回更新予測時刻がステップS206で伝送された時刻以前であるハイパーリンクの一部もしくは全部を送受信部207へ伝送する(ステップS207)。
【0067】
送受信部207は、ネットワーク203との通信を行ない、ステップS207で伝送されたハイパーリンクに指し示されるデータの取得を試みる(ステップS208)。
【0068】
データの取得にあたっては、予めある既定値を設定しておき、この既定値以上に大きいデータを取得対象とすることが、通信前もしくは通信制御中に判明している場合は、先頭から一定値までのみを実際に取得するようにしても良い。
【0069】
また、データのうちハイパーリンクが含まれない部分は実際には取得しないことで、実際に取得するサイズを減少させるようにしても良い。
送受信部207は、ステップS208で取得したデータを、データ処理装置202へ出力するとともに、更新履歴格納部208及びハイパーリンク抽出部209へ伝送する(ステップS209)。その際、出力及び伝送の順序は問わない。
【0070】
更新履歴格納部208は、ステップS209で伝送されたデータ内に最新の更新時刻の情報が存在するとき、その最新の更新時刻を抽出する(ステップS210)。
【0071】
なお、上記ステップは、全データ内に最新の更新時刻の情報が存在することを仮定した場合であるが、全データ内に最新の更新時刻の情報が存在しない場合は、例えば、データに関する更新の有無を判定し、更新があると判断された場合に、時計部206からの現在時刻もしくはステップS206で得られた時刻などを、最新の更新時刻の代用としても良い。また、データ内に最新の更新時刻の情報が存在するものとしないものが混在する可能性のある場合は、例えば、まず、データ内に最新の更新時刻の情報が存在するか否か判断し、存在する場合はその最新の更新時刻を抽出し、存在しない場合は、データ内の他の情報をもとにした推定あるいは最後に参照した同一ハイパーリンクにより指し示されるデータとの比較などにより、データに関する更新の有無を判定し、更新があると判断された場合に、時計部206からの現在時刻もしくはステップS206で得られた時刻などを、最新の更新時刻の代用としても良い。
【0072】
また、データがハイパーリンクの指し示す該当内容が実質的に存在しないことを示すものであるような場合がある。このような場合は、その際の最新の更新時刻は、時計部206からの現在時刻もしくはステップS206での時刻とする。
【0073】
なお、実質的なデータを指し示さないハイパーリンクに関しては、更新履歴格納部208及び次回更新予測時刻格納部205からの消去をせずに、参照対象として残しておく方法がある。例えば、実質的なデータを指し示さないハイパーリンクの発生として、サーバー側でデータを更新するために一時的に取得不可となっているデータの取得を試みた場合が想定され、このような場合にはサーバー側での更新作業が完了すれば取得可能となるので、上記のように参照対象として残しておくと有効である。
【0074】
なお、データの提供の中止あるいは長期間の中断などのために実質的なデータを指し示さないハイパーリンクが発生する場合も想定されるので、規定した期間以上、実質的なデータを指し示さないものとなったハイパーリンクを、更新履歴格納部208及び次回更新予測時刻格納部205から消去するようにしても良い。
【0075】
また、他の例としては、実質的なデータを指し示さないハイパーリンクを、即時に更新履歴格納部208及び次回更新予測時刻格納部205から消去し、記憶容量を節約する方法が挙げられる。
【0076】
次に、更新履歴格納部208は、ステップS207で送受信部207へ伝送されたハイパーリンクに対応する更新履歴に、上記のようにして抽出した最新の更新時刻を追加する(ステップS210)。
【0077】
さらに、更新履歴格納部208は、上記の追加更新された更新履歴から、次回更新予測時刻を算出する(ステップS210)。
次回更新予測時刻は、例えば、更新履歴内のハイパーリンクに対応する最新時刻T0と、T0の直前の更新履歴に記録された時刻T1とを用いて、T0+(T0−T1)で算出する方法がある。また、他の例として、最新からの一定数あるいは全ての記録された時刻を引数とし、統計分布関数を用いて次回更新予測時刻を算出する方法が挙げられる。その他、種々の方法が考えられる。
【0078】
なお、情報収集開始当初のデータについては、更新履歴に記録された時刻情報が、所定の次回更新予測時刻算出方法にとって十分な数量ではない場合がある。例えば、上記のT0+(T0−T1)で算出する方法では、少なくとも2つの更新時刻の情報が必要であり、最新からの一定数の記録された時刻を引数とし統計分布関数を用いて算出する方法では、少なくとも該一定数の更新時刻の情報が必要なものがある。このような場合、例えば、最新時刻T0に予め定めた定数を加えることにより次回更新予測時刻を算出し、あるいは上記一定数よりも少ない数を引数とした他の統計分布関数を用いて算出するなどの方法を取れば良い。
【0079】
更新履歴格納部208は、ステップS210で算出された次回更新予測時刻を次回更新予測時刻格納部205へ伝送する。
次回更新予測時刻格納部205は、ステップS207で送受信部207へ伝送されたハイパーリンクに対応する先回更新予測時刻を、伝送された次回更新予測時刻に置換する(ステップS211)。
【0080】
一方、ハイパーリンク抽出部209は、ステップS209で伝送されたデータからハイパーリンク群を抽出し(ステップS212)、このハイパーリンク群をハイパーリンクスタック部204へ伝送する。
【0081】
ハイパーリンクスタック部204は、伝送されたハイパーリンク群を格納する(S213)。
なお、このステップS212およびS213は、ステップS210、S211のいずれとも独立に実行可能である。
【0082】
次に、ステップS202へ戻り、前述のようにハイパーリンクスタック部204は、ステップS212で抽出されたハイパーリンク群のそれぞれについて、それが次回更新予測時刻格納部205に登録されたものではないときにのみ、初期時刻と組にして次回更新予測時刻格納部205に登録する(ステップS202〜S205)。
【0083】
以降、上記したような手順が繰り返し行われる。
以上のように本実施形態によれば、各データの更新履歴情報を蓄積し、これをもとに各データの更新の特性を推定して、参照の時刻をスケジューリングすることにより、各データの更新の頻度と同程度の頻度でのデータ参照を実現することができる。
【0084】
また、更新されていないデータに対する不要な参照を事前に抑えることができる。これによって、データ収集の効率向上を図ることができる。
(第2の実施の形態)
次に、本発明の第2の実施形態について説明する。
【0085】
図3に、本実施形態に係る情報収集装置の一構成例を示す。なお、図3に示される構成のうち、点線枠に囲まれた内側が、本実施形態に係る情報収集装置である。
【0086】
本情報収集装置は、ハイパーリンクスタック部304、次回更新予測時刻格納部305、時計部306、送受信部307、更新履歴格納部308、予想時刻変更部310、ハイパーリンク抽出部309を備えている。
【0087】
本実施形態におけるハイパーリンクスタック部304、次回更新予測時刻格納部305、時計部306、送受信部307、更新履歴格納部308、ハイパーリンク抽出部309は、それぞれ、第1の実施形態におけるハイパーリンクスタック部204、次回更新予測時刻格納部205、時計部206、送受信部207、更新履歴格納部208、ハイパーリンク抽出部209と同様である。
【0088】
すなわち、本実施形態に係る情報収集装置は、第1の実施形態に係る情報収集装置の構成に予想時刻変更部310を付加したものである。
この予想時刻変更部310は、送受信に要した時間差と更新履歴格納部308から伝送される次回更新予測時刻から、調整する次回更新予測時刻を出力するものである。
【0089】
なお、本実施形態におけるハイパーリンク入力装置301、データ処理装置302、ネットワーク303は、それぞれ、第1の実施形態におけるハイパーリンク入力装置201、データ処理装置202、ネットワーク203と同様である。
【0090】
以下、本実施形態に係る情報収集装置の動作について説明する。
図4は、本情報収集装置の動作を示すフローチャートである。
ステップS301において、ハイパーリンク入力装置301は、ハイパーリンクスタック部304に初期ハイパーリンク群を伝送する。
【0091】
ハイパーリンクスタック部304は、ステップS301またはステップS314で伝送されたハイパーリンク群のそれぞれを、次回更新予測時刻格納部305へ伝送する(ステップS302、S303)。
【0092】
次回更新予測時刻格納部305は、ステップS303で伝送されたハイパーリンクが未登録のものであれば、初期時刻と組にして登録する(ステップS304、S305)。
【0093】
ここで、本実施形態では、初期時刻には本情報収集装置の始動した時刻を用いるものとする。なお、初期時刻の値は、時計部306の出力と比較対象になり得て少なくともその時点で時計部306が出力する時刻よりも未来を指すものでなければよく、例えば、時刻の最古値を用いても良い。
【0094】
次に、ステップS302においてデータリンクスタックが空になれば、次回更新予測時刻格納部305は、時計部306から現在時刻を得る(ステップS306)。また、他の例として、次回更新予測時刻格納部305から時計部306に現在時刻を求める通知をせず、時計部306側から自発的に次回更新予測時刻格納部305へ現在時刻の情報を伝送する構成にしても良い。
【0095】
次回更新予測時刻格納部305は、その対応する次回更新予測時刻がステップS306で伝送された時刻以前であるハイパーリンクの一部もしくは全部を送受信部307へ伝送する(ステップS307)。
【0096】
送受信部307は、ネットワーク303との通信を行ない、ステップS307で伝送されたハイパーリンクに指し示されるデータの取得を試みる(ステップS308)。また、本実施形態では、その際に時計部306との通信により、送受信に要した時間の算出を行なっておく。
【0097】
なお、第1の実施形態で述べたように、データの取得にあたっては、予めある既定値を設定しておき、この既定値以上に大きいデータを取得対象とすることが、通信前もしくは通信制御中に判明している場合は、先頭から一定値までのみを実際に取得するようにしても良い。また、データのうちハイパーリンクが含まれない部分は実際には取得しないことで、実際に取得するサイズを減少させるようにしても良い。
【0098】
送受信部307は、ステップS308で取得したデータを、データ処理装置302へ出力するとともに、更新履歴格納部308及びハイパーリンク抽出部309へ伝送し、また、ステップS308で算出した送受信に要した時間の情報を予想時刻変更部310に伝送する(ステップS309)。その際、出力及び伝送の順序は問わない。
【0099】
更新履歴格納部308は、ステップS309で伝送されたデータ内に最新の更新時刻の情報が存在するとき、その最新の更新時刻を抽出する(ステップS310)。
【0100】
なお、上記ステップは、全データ内に最新の更新時刻の情報が存在することを仮定した場合であるが、全データ内に最新の更新時刻の情報が存在しない場合は、例えば、データに関する更新の有無を判定し、更新があると判断された場合に、時計部306からの現在時刻もしくはステップS306で得られた時刻などを、最新の更新時刻の代用としても良い。また、データ内に最新の更新時刻の情報が存在するものとしないものが混在する可能性のある場合は、例えば、まず、データ内に最新の更新時刻の情報が存在するか否か判断し、存在する場合はその最新の更新時刻を抽出し、存在しない場合は、データに関する更新の有無を判定し、更新があると判断された場合に、時計部306からの現在時刻もしくはステップS306で得られた時刻などを、最新の更新時刻の代用としても良い。
【0101】
また、データがハイパーリンクの指し示す該当内容が実質的に存在しないことを示すものであるような場合がある。このような場合は、その際の最新の更新時刻は、時計部306からの現在時刻もしくはステップS306での時刻とする。
【0102】
なお、実質的なデータを指し示さないハイパーリンクに関しては、第1の実施の形態で述べたように、更新履歴格納部308及び次回更新予測時刻格納部305からの消去をせずに、参照対象として残しておく方法、規定した期間以上、実質的なデータを指し示さないものとなったハイパーリンクを消去する方法、実質的なデータを指し示さないハイパーリンクを、即時に消去する方法などが考えられる。
【0103】
次に、更新履歴格納部308は、ステップS307で送受信部307へ伝送されたハイパーリンクに対応する更新履歴に、上記のようにして抽出した最新の更新時刻を追加する(ステップS310)。
【0104】
さらに、更新履歴格納部308は、上記の追加更新された更新履歴から、次回更新予測時刻を算出する(ステップS310)。
次回更新予測時刻は、例えば、更新履歴内のハイパーリンクに対応する最新時刻T0と、T0の直前の更新履歴に記録された時刻T1とを用いて、T0+(T0−T1)で算出する方法がある。また、他の例として、最新からの一定数あるいは全ての記録された時刻を引数とし、統計分布関数を用いて次回更新予測時刻を算出する方法が挙げられる。その他、種々の方法が考えられる。
【0105】
なお、情報収集開始当初のデータについては、更新履歴に記録された時刻情報が、所定の次回更新予測時刻算出方法にとって十分な数量ではない場合がある。例えば、上記のT0+(T0−T1)で算出する方法では、少なくとも2つの更新時刻の情報が必要であり、最新からの一定数の記録された時刻を引数とし統計分布関数を用いて算出する方法では、少なくとも該一定数の更新時刻の情報が必要なものがある。このような場合、例えば、最新時刻T0に予め定めた定数を加えることにより次回更新予測時刻を算出し、あるいは上記一定数よりも少ない数を引数とした他の統計分布関数を用いて算出するなどの方法を取れば良い。
【0106】
次に、更新履歴格納部308は、ステップS310で算出された次回更新予測時刻を予測時刻変更部310へ伝送する。
予想時刻変更部310は、ステップS309で伝送された送受信に要した時間に関し、それが予め設定してある時間値よりも大きかった場合には、ステップS310で伝送された次回更新予測時刻に対して予め設定した時間遅延値を加えて更新し、この更新後の次回更新予測時刻を次回更新予測時刻格納部305へ伝送する(ステップS311)。
【0107】
また、他の例として、次回更新予測時刻に予め設定した時間進み値(負の値)を加えることで、次回更新予測時刻の更新を遅延ではなく前倒し向きにすることが挙げられる。
【0108】
予想時刻変更部310により次回更新予測時刻を進める変更を行うか、遅延させる変更を行うかは、予めどちらかに決めておく方法と、当該次回更新予測時刻の値に応じて決めるなど、そのときの状況等に応じて決める方法が考えられる。また、次回更新予測時刻に加える変更量も、予め決めておく方法と、送受信に要した時間の程度に応じて決めるなど、そのときの状況等に応じて決める方法が考えられる。
【0109】
次回更新予測時刻格納部305は、ステップS307で送受信部307へ伝送されたハイパーリンクに対応する次回更新予測時刻を、ステップS311で伝送された次回更新予測時刻に置換する(ステップS312)。
【0110】
一方、ハイパーリンク抽出部309は、ステップS309で伝送されたデータからハイパーリンク群を抽出し(ステップS313)、このハイパーリンク群をハイパーリンクスタック部304へ伝送する。
【0111】
ハイパーリンクスタック部304は、伝送されたハイパーリンク群を格納する(S314)。
なお、このステップS313およびS314は、ステップS310、S311、S312のいずれとも独立に実行可能である。
【0112】
次に、ステップS302へ戻り、前述のようにハイパーリンクスタック部304は、ステップS313で抽出されたハイパーリンク群のそれぞれについて、それが次回更新予測時刻格納部305に登録されたものではないときにのみ、初期時刻と組にして次回更新予測時刻格納部305に登録する(ステップS302〜S305)。
【0113】
以降、上記したような手順が繰り返し行われる。
本実施形態では、送受信部307が予想時刻変更部310へ通信に要した時間を伝送するという形をとるが、その代わりに、送受信部307がデータの取得に関する通信負荷を監視する機能を持つ際、その通信負荷値を予想時刻変更部310へ伝送し、予想時刻変更部310はその通信負荷値が一定値以上であることで次回更新予測時刻の変更を行なうようにしても良い。
【0114】
以上のように本実施形態によれば、各データの更新履歴情報を蓄積し、これをもとに各データの更新の特性を推定して、参照の時刻をスケジューリングすることにより、各データの更新の頻度と同程度の頻度でのデータ参照を実現することができる。
【0115】
また、更新されていないデータに対する不要な参照を事前に抑えることができる。これによって、データ収集の効率向上を図ることができる。
また、各データ取得の際の通信状況を蓄積して、通信特性を把握し、これを考慮して参照の時刻をスケジューリングすることにより、各データ及びそれを有するサーバーに対する参照に最も適した時刻での参照を実現することができる。これによって、データ収集の効率向上を図ることができる。
【0116】
(第3の実施の形態)
次に、本発明の第3の実施形態について説明する。
図5に、本実施形態に係る情報収集装置の一構成例を示す。なお、図5に示される構成のうち、点線枠に囲まれた内側が、本実施形態に係る情報収集装置である。
【0117】
本情報収集装置は、ハイパーリンクスタック部404、次回更新予測時刻格納部405、時計部406、送受信部407、サーバー監視部411、サーバー通信歴格納部412、更新履歴格納部408、ハイパーリンク抽出部409を備えている。
【0118】
本実施形態におけるハイパーリンクスタック部404、次回更新予測時刻格納部405、時計部406、送受信部407、更新履歴格納部408、ハイパーリンク抽出部409は、それぞれ、第1の実施形態におけるハイパーリンクスタック部204、次回更新予測時刻格納部205、時計部206、送受信部207、更新履歴格納部208、ハイパーリンク抽出部209と同様である。
【0119】
すなわち、本実施形態に係る情報収集装置は、第1の実施形態に係る情報収集装置の構成にサーバー監視部411とサーバー通信歴格納部412を付加したものである。
【0120】
サーバー監視部411は、サーバー通信歴格納部412との入出力を行なう。
サーバー通信歴格納部412は、各サーバーとネットワークロボットとの送受信時刻と通信速度に関する履歴を持つ。
【0121】
なお、図5におけるサーバー監視部411から更新履歴格納部408への点線矢印は、ネットワークロボット内で(ここでは更新履歴格納部408で)、サーバー監視部411の算出した結果を用いる場合に対応するものである。
【0122】
本実施形態におけるハイパーリンク入力装置401、データ処理装置402、ネットワーク403は、それぞれ、第1の実施形態におけるハイパーリンク入力装置201、データ処理装置202、ネットワーク203と同様である。
【0123】
以下、本実施形態に係る情報収集装置の動作について説明する。
図6は、本情報収集装置の動作を示すフローチャートである。
ステップS401において、ハイパーリンク入力装置401は、ハイパーリンクスタック部404に初期ハイパーリンク群を伝送する。
【0124】
ハイパーリンクスタック部404は、ステップS401またはステップS417で伝送されたハイパーリンク群のぞれぞれを、次回更新予測時刻格納部405へ伝送する(ステップS402、S403)。
【0125】
次回更新予測時刻格納部405は、ステップS403で伝送されたハイパーリンクが未登録のものであれば、初期時刻と組にして登録する(ステップS404、S405)。
【0126】
ここで、本実施形態では、初期時刻には本情報収集装置の始動した時刻を用いるものとする。なお、初期時刻の値は、時計部406の出力と比較対象になり得て少なくともその時点で時計部406が出力する時刻よりも未来を指すものでなければ良く、例えば、時刻の最古値を用いても良い。
【0127】
次に、ステップS402においてデータリンクスタックが空になれば、次回更新予測時刻格納部405は、時計部406から現在時刻を得る(ステップS406)。また、他の例として、次回更新予測時刻格納部405から時計部406に現在時刻を求める通知をせず、時計部406側から自発的に次回更新予測時刻格納部405へ現在時刻の情報を伝送する構成にしても良い。
【0128】
次回更新予測時刻格納部405は、その対応する次回更新予測時刻がステップS406で伝送された時刻以前であるハイパーリンクの一部もしくは全部を送受信部407及びサーバー監視部411へ伝送する(ステップS407)。
【0129】
送受信部407は、ネットワーク403との通信を行ない、ステップS407で伝送されたハイパーリンクを指し示されるデータの取得を試みる(ステップS408)。また、本実施形態では、その際に時計部306との通信により、送受信に要した時間の算出を行なっておく。
【0130】
なお、第1の実施形態で述べたように、データの取得にあたっては、予めある既定値を設定しておき、この既定値以上に大きいデータを取得対象とすることが、通信前もしくは通信制御中に判明している場合は、先頭から一定値までのみを実際に取得するようにしても良い。また、データのうちハイパーリンクが含まれない部分は実際には取得しないことで、実際に取得するサイズを減少させるようにしても良い。
【0131】
送受信部407は、ステップS408で取得したデータを、データ処理装置402へ出力するとともに、更新履歴格納部408及びハイパーリンク抽出部409へ伝送する(ステップS409)。その際、出力及び伝送の順序は問わない。
【0132】
また、送受信部407は、ステップS408で算出した送受信に要した時間と取得したデータの大きさから通信速度を算出し、送信時刻とあわせてサーバー監視部411に伝送する(ステップS410)。
【0133】
なお、ステップS410とステップS409とは、実行の順序を入れ換えても良いし、並列的に実行しても良い。
サーバー監視部411は、ステップS407で伝送されたハイパーリンクからネットワーク上のサーバー名を抽出する(ステップS411)。
【0134】
なお、ステップS411は、ステップS407以降、ステップS412以前であれば、例えばステップS407直後など、どのタイミングで行なっても良い。
サーバー監視部411は、ステップS410で伝送された送信時刻が予め設定しておいた時間帯区内のどこに属するかを算出し、その時間帯区分番号と、ステップS410で伝送された通信速度と、ステップS411で抽出したサーバー名を、サーバー通信歴格納部412へ伝送する。
【0135】
サーバー通信歴格納部412は、伝送されたサーバー名と時間帯区分番号と通信速度を組として追加登録する(ステップS412)。
そして、サーバー通信歴格納部412は、伝送されたサーバー名と組になって登録されている通信速度の値の中で最も高速である値を示すものを選出し、これと組となっている時間帯区分番号をサーバー監視部411へ伝送する(ステップS413)。他の例として、同じサーバー名を持つ組について、各時間帯区分番号ごとの平均通信速度値を算出し、この平均通信速度値が最高速を示す時間帯区分番号を伝送することや、さらに各時間帯区分番号ごとの平均通信速度値の集まりを正規分布等の統計分布関数に当てはめ、分布関数上最高速を示す時間帯区分番号を算出し伝送することが挙げられる。
【0136】
サーバー監視部411は、サーバー名と上記の伝送された時間帯区分番号をデータ処理装置402へ伝送する(ステップS413)。なお、この処理の代わりにまたはこの処理に加えて、前述したようにサーバー監視部411は、サーバー名と上記の時間帯区分番号を更新履歴格納部408へ伝送し、更新履歴格納部408の次回更新予測時刻算出の引数とするようにしても良い。
【0137】
更新履歴格納部408は、ステップS409で伝送されたデータに最新の更新時刻の情報が存在するとき、その最新の更新時刻を抽出する(ステップS414)。
【0138】
なお、上記ステップは、全データ内に最新の更新時刻の情報が存在することを仮定した場合であるが、全データ内に最新の更新時刻の情報が存在しない場合は、例えば、データに関する更新の有無を判定し、更新があると判断された場合に、時計部406からの現在時刻もしくはステップS406で得られた時刻などを、最新の更新時刻の代用としても良い。また、データ内に最新の更新時刻の情報が存在するものとしないものが混在する可能性のある場合は、例えば、まず、データ内に最新の更新時刻の情報が存在するか否か判断し、存在する場合はその最新の更新時刻を抽出し、存在しない場合は、データに関する更新の有無を判定し、更新があると判断された場合に、時計部406からの現在時刻もしくはステップS406で得られた時刻などを、最新の更新時刻の代用としても良い。
【0139】
また、データがハイパーリンクの指し示す該当内容が実質的に存在しないことを示すものであるような場合がある。このような場合は、その際の最新の更新時刻は、時計部406からの現在時刻もしくはステップS406での時刻とする。
【0140】
なお、実質的なデータを指し示さないハイパーリンクに関しては、第1の実施の形態で述べたように、更新履歴格納部408及び次回更新予測時刻格納部405からの消去をせずに、参照対象として残しておく方法、規定した期間以上、実質的なデータを指し示さないものとなったハイパーリンクを消去する方法、実質的なデータを指し示さないハイパーリンクを、即時に消去する方法などが考えられる。
【0141】
次に、更新履歴格納部408は、ステップS407で送受信部407へ伝送されたハイパーリンクに対応する更新履歴に、上記のようにして抽出した最新の更新時刻を追加する(ステップS414)。
【0142】
さらに、更新履歴格納部408は、上記の追加更新された更新履歴から、次回更新予測時刻を算出する(ステップS414)。
次回更新予測時刻は、例えば、更新履歴内のハイパーリンクに対応する最新時刻T0と、T0の直前の更新履歴に記録された時刻T1とを用いて、T0+(T0−T1)で算出する方法がある。また、他の例として、最新からの一定数あるいは全ての記録された時刻を引数とし、統計分布関数を用いて次回更新予測時刻を算出する方法が挙げられる。その他、種々の方法が考えられる。
【0143】
なお、情報収集開始当初のデータについては、更新履歴に記録された時刻情報が、所定の次回更新予測時刻算出方法にとって十分な数量ではない場合がある。例えば、上記のT0+(T0−T1)で算出する方法では、少なくとも2つの更新時刻の情報が必要であり、最新からの一定数の記録された時刻を引数とし統計分布関数を用いて算出する方法では、少なくとも該一定数の更新時刻の情報が必要なものがある。このような場合、例えば、最新時刻T0に予め定めた定数を加えることにより次回更新予測時刻を算出し、あるいは上記一定数よりも少ない数を引数とした他の統計分布関数を用いて算出するなどの方法を取れば良い。
【0144】
ところで、前述のようにステップS413でサーバー監視部411から更新履歴格納部408にサーバー名と時間帯区分番号を伝送する場合は、例えば、該当するサーバー内のデータについての次回更新予測時刻を、上記のようにして求められた次回更新予測時刻の直後にあるこの時間帯区分番号上の時刻とするようにしても良い。
【0145】
更新履歴格納部408は、ステップS414で算出された次回更新予測時刻を次回更新予測時刻格納部405へ伝送する。
次回更新予測時刻格納部405は、ステップS407で送受信部407へ伝送されたハイパーリンクに対応する次回更新予測時刻を、伝送された次回更新予測時刻に置換する(ステップS415)。
【0146】
一方、ハイパーリンク抽出部409は、ステップS409で伝送されたデータからハイパーリンク群を抽出し(ステップS416)、このハイパーリンク群をハイパーリンクスタック部404へ伝送する。
【0147】
ハイパーリンクスタック部404は、伝送されたハイパーリンク群を格納する(S417)。
なお、このステップS416およびS417は、ステップS410〜S415のいずれとも独立に実行可能である。
【0148】
次に、ステップS402へ戻り、前述のようにハイパーリンクスタック部404は、ステップS416で抽出されたハイパーリンク群のそれぞれについて、それが次回更新予測時刻格納部405に登録されたものではないときにのみ、初期時刻と組にして次回更新予測時刻格納部405に登録する(ステップS402〜S405)。
【0149】
以降、上記したような手順が繰り返し行われる。
以上のように本実施形態によれば、各データの更新履歴情報を蓄積し、これをもとに各データの更新の特性を推定して、参照の時刻あるいは時間帯をスケジューリングすることにより、各データの更新の頻度と同程度の頻度でのデータ参照を実現することができる。
【0150】
また、更新されていないデータに対する不要な参照を事前に抑えることができる。これによって、データ収集の効率向上を図ることができる。
また、各データ取得の際の通信状況をサーバーと関連付けて蓄積して、通信特性を把握し、これを考慮して参照の時刻あるいは時間帯をスケジューリングすることにより、各データ及びそれを有するサーバーに対する参照に最も適した時刻あるいは時間帯での参照を実現することができる。これによって、データ収集の効率向上を図ることができる。
【0151】
(第4の実施の形態)
次に、本発明の第4の実施形態について説明する。
図7に、本実施形態に係る情報収集装置の一構成例を示す。なお、図7に示される構成のうち、点線枠に囲まれた内側が、本実施形態に係る情報収集装置である。
【0152】
図7(a)に示される情報収集装置は、ハイパーリンクスタック部504、次回更新予測時刻格納部505、時計部506、送受信部507、更新頻度監視部513、更新履歴格納部508、ハイパーリンク抽出部509を備えている。
【0153】
本実施形態におけるハイパーリンクスタック部504、次回更新予測時刻格納部505、時計部506、送受信部507、更新履歴格納部508、ハイパーリンク抽出部509は、それぞれ、第1の実施形態におけるハイパーリンクスタック部204、次回更新予測時刻格納部205、時計部206、送受信部207、更新履歴格納部208、ハイパーリンク抽出部209と同様である。
【0154】
すなわち、本実施形態に係る情報収集装置は、第1の実施形態に係る情報収集装置の構成に更新頻度監視部513を付加したものである。
更新頻度監視部513は、データの更新の間隔を監視する機能を持つ。
【0155】
なお、図7(b)に示されるように、さらにデータ分類部514を付加した構成も考えられる。
本実施形態におけるハイパーリンク入力装置501、データ処理装置502、ネットワーク503は、それぞれ、第1の実施形態におけるハイパーリンク入力装置201、データ処理装置202、ネットワーク203と同様である。
【0156】
以下、本実施形態に係る情報収集装置の動作について説明する。
図8は、本情報収集装置の動作を示すフローチャートである。
ステップS501において、ハイパーリンク入力装置501は、ハイパーリンクスタック部504に初期ハイパーリンク群を伝送する。
【0157】
ハイパーリンクスタック部504は、ステップS501またはS515で伝送されたハイパーリンク群のそれぞれを、次回更新予測時刻格納部505へ伝送する(ステップS502、S503)。
【0158】
次回更新予測時刻格納部505は、ステップS503で伝送されたハイパーリンクが未登録のものであれば、初期時刻と組にして登録する(ステップS504、S505)。
【0159】
ここで、本実施形態では、初期時刻には本情報収集装置の始動した時刻を用いるものとする。なお、初期時刻の値は、時計部506の出力と比較対象になり得て少なくともその時点で時計部506が出力する時刻よりも未来を指すものでなければ良く、例えば、時刻の最古値を用いても良い。
【0160】
次に、次回更新予測時刻格納部505は、ステップS502においてデータリンクスタックが空ならば、時計部506から現在時刻を得る(ステップS506)。また、他の例として、次回更新予測時刻格納部505から時計部506に現在時刻を求める通知をせず、時計部506側から自発的に次回更新予測時刻格納部505へ現在時刻の情報を伝送する構成にしても良い。
【0161】
次回更新予測時刻格納部505は、その対応する次回更新予測時刻がステップS506で伝送された時刻以前であるハイパーリンクの一部もしくは全部を送受信部507へ伝送する(ステップS507)。
【0162】
送受信部507は、ネットワーク503との通信を行ない、ステップS507で伝送されたハイパーリンクに指し示されるデータの取得を試みる(ステップS508)。
【0163】
なお、第1の実施形態で述べたように、データの取得にあたっては、予めある既定値を設定しておき、この既定値以上に大きいデータを取得対象とすることが、通信前もしくは通信制御中に判明している場合は、先頭から一定値までのみを実際に取得するようにしても良い。また、データのうちハイパーリンクが含まれない部分は実際には取得しないことで、実際に取得するサイズを減少させるようにしても良い。
【0164】
送受信部507は、ステップS508で取得したデータを、データ処理装置502へ出力するとともに、更新履歴格納部508及びハイパーリンク抽出部509へ伝送する(ステップS509)。その際、出力及び伝送の順序は問わない。
【0165】
更新履歴格納部508は、ステップS509で伝送されたデータに最新の更新時刻の情報が存在するとき、その最新の更新時刻を抽出する(ステップS510)。
【0166】
なお、上記ステップは、全データ内に最新の更新時刻の情報が存在することを仮定した場合であるが、全データ内に最新の更新時刻の情報が存在しない場合は、例えば、データに関する更新の有無を判定し、更新があると判断された場合に、時計部506からの現在時刻もしくはステップS506で得られた時刻などを、最新の更新時刻の代用としても良い。また、データ内に最新の更新時刻の情報が存在するものとしないものが混在する可能性のある場合は、例えば、まず、データ内に最新の更新時刻の情報が存在するか否か判断し、存在する場合はその最新の更新時刻を抽出し、存在しない場合は、データに関する更新の有無を判定し、更新があると判断された場合に、時計部506からの現在時刻もしくはステップS506で得られた時刻などを、最新の更新時刻の代用としても良い。
【0167】
また、データがハイパーリンクの指し示す該当内容が実質的に存在しないことを示すものであるような場合がある。このような場合は、その際の最新の更新時刻は、時計部506からの現在時刻もしくはステップS506での時刻とする。
【0168】
なお、実質的なデータを指し示さないハイパーリンクに関しては、第1の実施の形態で述べたように、更新履歴格納部308及び次回更新予測時刻格納部305からの消去をせずに、参照対象として残しておく方法、規定した期間以上、実質的なデータを指し示さないものとなったハイパーリンクを消去する方法、実質的なデータを指し示さないハイパーリンクを、即時に消去する方法などが考えられる。
【0169】
次に、更新履歴格納部508は、ステップS507で送受信部507へ伝送されたハイパーリンクに対応する更新履歴に、上記のようにして抽出した最新の更新時刻を追加する(ステップS510)。
【0170】
さらに、更新履歴格納部508は、上記の追加更新された更新履歴のうち、時計部506が示す現在時刻以前の予め設定した時間帯にある部分を更新頻度監視部513へ伝送する(ステップS511)。他の例として、時計部506が示す現在時刻でなく、ステップS505の際の時刻を用いることが挙げられる。
【0171】
更新頻度監視部513は、ステップS511で伝送された部分的な更新履歴から、各更新間の間隔を算出し、その間隔が予め設定した値よりも低いものの回数を算出する(ステップS512)。他の例として、既にステップS507の時点で、各更新間の間隔が予め設定した値よりも低いものの回数を、更新頻度監視部513が算出及び保存しておき、ステップS511では更新履歴格納部508が、ステップS510で抽出した最新の更新時刻とその直前の更新時刻のみを更新頻度監視部513へ伝送し、このステップS512では、最新の更新の間隔のみを新たに追加する検査対象とすることが挙げられる。
【0172】
更新頻度監視部513は、ステップS513で算出した回数値が予め設定した値よりも大きいか否かの情報を、更新履歴格納部508へ伝送する(ステップS512)。ここでは、ステップS513で算出した回数値が予め設定した値よりも大きい場合、情報の内容を真とし、大きくない場合、情報の内容を偽とする。
【0173】
なお、図7(b)に示されるように、「データの先頭から一定長の部分を切り出し、それを数種類保持することで、同一のハイパーリンクでデータが数種類交替する場合に、保持してあるデータ部分との比較を行ない、データごとの予め設定しておいた上限枠内での分類を行ない、その分類別に更新の間隔を算出する機能」を持つデータ分類部514を、更新履歴格納部508と更新頻度監視部513の中間に置くことで、同一のハイパーリンクでデータが数種類交替する場合に、更新の間隔の取り扱いをより緩やかな扱いとすることができる。
【0174】
更新履歴格納部508は、ステップS510で追加更新された更新履歴から、次回更新予測時刻の仮値を算出する(ステップS512)。
次回更新予測時刻の仮値は、例えば、更新履歴内のハイパーリンクに対応する最新時刻T0と、T0の直前の更新履歴に記録された時刻T1とを用いて、T0+(T0−T1)で算出する方法がある。また、他の例として、最新からの一定数あるいは全ての記録された時刻を引数とし、統計分布関数を用いて次回更新予測時刻の仮値を算出する方法が挙げられる。その他、種々の方法が考えられる。
【0175】
なお、情報収集開始当初のデータについては、更新履歴に記録された時刻情報が、所定の次回更新予測時刻の仮値の算出方法にとって十分な数量ではない場合がある。例えば、上記のT0+(T0−T1)で算出する方法では、少なくとも2つの更新時刻の情報が必要であり、最新からの一定数の記録された時刻を引数とし統計分布関数を用いて算出する方法では、少なくとも該一定数の更新時刻の情報が必要なものがある。このような場合、例えば、最新時刻T0に予め定めた定数を加えることにより次回更新予測時刻の仮値を算出し、あるいは上記一定数よりも少ない数を引数とした他の統計分布関数を用いて算出するなどの方法を取れば良い。
【0176】
更新履歴格納部508は、更新頻度監視部513から伝送された値が真である(回数値が予め設定した値よりも大きい)場合に、ステップS512で算出した次回更新予測時刻の仮値に予め設定した値を加えて次回更新予測時刻とし、偽である場合に、次回更新予測時刻の仮値をそのまま次回更新予測時刻とする(ステップS512)。他の例として、更新頻度監視部513から伝送された値が偽である場合は、次回更新予測時刻の仮値をそのまま次回更新予測時刻とするが、真である場合は、参照の一時停止を意味する値を次回更新予測時刻として用いる方法や、更新履歴格納部508と次回更新予測時刻格納部505と必要に応じて更新頻度監視部513からステップS507で送受信部507へ伝送されたハイパーリンクに関する登録を消去する方法が挙げられる。
【0177】
更新履歴格納部508は、ステップS512で算出された次回更新予測時刻を次回更新予測時刻格納部505へ伝送する。
次回更新予測時刻格納部505は、ステップS507で送受信部507へ伝送されたハイパーリンクに対応する次回更新予測時刻を、ステップS517で伝送された次回更新予測時刻に置換する(ステップS513)。
【0178】
一方、ハイパーリンク抽出部509は、ステップS508で伝送されたデータからハイパーリンク群を抽出し(ステップS514)、このハイパーリンク群をハイパーリンクスタック部504へ伝送する。
【0179】
ハイパーリンクスタック部504は、伝送されたハイパーリンク群を格納する(S516)。
なお、このステップS514およびS515は、ステップS510〜S513のいずれとも独立に実行可能である。
【0180】
次に、ステップS502へ戻り、前述のようにハイパーリンクスタック部504は、ステップS512で抽出されたハイパーリンク群のそれぞれについて、それが次回更新予測時刻格納部505に登録されたものではないときにのみ、初期時刻と組にして次回更新予測時刻格納部505に登録する(ステップS502〜S505)。
【0181】
以降、上記したような手順が繰り返し行われる。
以上のように本実施形態によれば、各データの更新履歴情報を蓄積し、これをもとに各データの更新の特性を推定して、参照の時刻あるいは時間帯をスケジューリングすることにより、各データの更新の頻度と同程度の頻度でのデータ参照を実現することができる。
【0182】
また、更新されていないデータに対する不要な参照を事前に抑えることができる。これによって、データ収集の効率向上を図ることができる。また、本実施形態によれば、頻繁に変更されるデータを監視し、そのようなデータについては、参照を遅延させたり、参照を一時停止させたり、そのハイパーリンクの情報の登録を消去して参照不可とするなど、所定の対応をとることができる。これによって、データ収集の効率向上を図ることができる。
【0183】
(第5の実施の形態)
次に、本発明の第5の実施形態について説明する。
図9に、本実施形態に係る情報収集装置の一構成例を示す。なお、図9に示される構成のうち、点線枠に囲まれた内側が、本実施形態に係る情報収集装置である。
【0184】
ここで、図中のハイパーリンク入力装置1001は、ネットワークロボットとは独立に存在し、ネットワークロボットの動作の発端となる初期ハイパーリンク群を入力する機能を持つ。
【0185】
データ処理装置1002は、ネットワークロボットとは独立に存在し、ネットワークロボットが通信対象とするサーバーとの通信を提供する装置である。
ネットワーク1003は、ネットワークロボットとは独立に存在し、ネットワークロボットが通信対象とするサーバーとの通信を提供する装置である。
【0186】
次に、図19に示す本実施形態の情報収集装置の構成について説明する。図19のように、本情報収集装置は、ハイパーリンクスタック部1004、次回参照時間帯格納部1005、時計部1006、送受信部1007、サーバー監視部1011、サーバー通信歴格納部1012、ハイパーリンク抽出部1009を備えている。
【0187】
ハイパーリンクスタック部1004は、ハイパーリンクを任意数格納できるデータ構造を有する。
次回参照時間帯格納部1005は、ハイパーリンクとそれが指し示すデータの次回参照時間帯区分を組とする構造体を持ち、その構造体の次回参照時間帯区分を出力及び更新する機能を持つ。
【0188】
時計部1006は、動作時の現在時刻を出力する。
送受信部1007は、ネットワーク1003との送受信を行う。
サーバー監視部1011は、サーバー通信履歴格納部1012との入出力を行う。
【0189】
サーバー通信履歴格納部1012は、各サーバーとネットワークロボットとの送受信時間帯区分と、「通信異常」、「通信不適」、「通信適当」のいずれかの値との組からなる情報の履歴を持つ。
【0190】
ハイパーリンク抽出部1009は、データまたはその一部であるハイパーテキストからハイパーリンクを抽出する。
以下、本実施形態に係る情報収集装置の動作について説明する。
【0191】
図10は、本情報収集装置の動作を示すフローチャートである。
ステップS1001において、ハイパーリンク入力装置1001は、ハイパーリンクスタック部1004に初期ハイパーリンク群を伝送する(ステップS1001)。
【0192】
ハイパーリンクスタック部1004は、ステップS1001もしくはステップS1016で伝送されたハイパーリンク群のそれぞれを、次回参照時間帯格納部1005へ伝送する(ステップS1002、S1003)。
【0193】
次回参照時間帯格納部1005は、ステップS1003で伝送されたハイパーリンクが未登録のものであれば、初期時間帯区分と組にして登録する(ステップS1004、S1005)。
【0194】
次に、ステップS1002においてデータリンクスタックが空になれば、次回参照時間帯格納部1005は、時計部1006から現在時刻を得る(ステップS1006)。また、他の例として、次回参照時間帯格納部(1005)から時計部1006に現在時刻を求める通知をせず、時計部1006側から自発的に次回参照時間帯格納部1005へ現在時刻の情報を伝送する構成にしても良い。
【0195】
次回参照時間帯格納部1005は、ステップS1006で伝送された時刻に対応する時間帯区分を持つハイパーリンクの一部もしくは全部を送受信部1007へ伝送する(ステップS1008)。
【0196】
送受信部1007は、ネットワーク1003との通信を行い、ステップS1007で伝送されたハイパーリンクに指し示されているデータの取得を試みる(ステップS1008)。
【0197】
なお、第1の実施形態で述べたように、データの取得にあたっては、予めある既定値を設定しておき、この既定値以上に大きいデータを取得対象とすることが、通信前もしくは通信制御中に判明している場合は、先頭から一定値までのみを実際に取得するようにしても良い。また、データのうちハイパーリンクが含まれない部分は実際には取得しないことで、実際に取得するサイズを減少させるようにしても良い。
【0198】
送受信部1007は、サーバー監視部1011へ、ステップS1008の結果として、通信機構が正常状態を示さない場合、あるいはその時点でのデータ参照の不能がデータによらず判明する場合、通信異常を示す情報を伝送し、上記以外の場合、通信時間と取得データのサイズから得られる通信単位サイズ当たりの通信速度を伝送する(ステップS1009)。
【0199】
また、送受信部1007は、ステップS1008で取得したデータを、データ処理部1002へ出力するとともに、ハイパーリンク抽出部1012へ伝送する(ステップS1010)。その際、出力及び伝送の順序は問わない。
【0200】
なお、上記のステップS1009とステップS1010の実行順序は、入れ替えても良いし、並列的に実行しても良い。
サーバー監視部1011は、ステップS1009で通信単位サイズ当たりの通信速度が伝送された場合、その値が設定値以上である場合、通信不適を示す情報を、設定値以上でない場合、通信適当を示す情報を、通信異常を示す情報が伝送された場合、通信異常を示す情報を、通信履歴格納部1012へ伝送する(ステップS1011)。
【0201】
通信履歴格納部1012は、ステップS1011で伝送された情報をその時間帯区分と併せて通信したサーバーとの通信履歴に追加し、次回の参照に適当である時間帯区分を算出し、次回参照時間帯としてサーバー監視部1011へ伝送する(ステップS1012)。また、一定条件を満たす時間帯区分がない場合に、通信拒否を示す情報をサーバー監視部1011へ伝送するようにしても良い。
【0202】
サーバー監視部1011は、ステップS1012で伝送された時間帯区分を、次回参照時間帯格納部1005へ伝送する。
なお、データ処理装置1002が必要とする場合に、ステップS1012で伝送された時間帯区分もしくはステップS1008を行った時間帯区分や通信単位サイズ当たりの通信速度や通信時間や取得データのサイズを、データ処理装置1002へ出力するようにしても良い。
【0203】
次回参照時間帯格納部1005は、ステップS1010で送受信部1007へ伝送されたハイパーリンクに対応する次回参照時間帯区分を、ステップS1013で伝送された次回参照時間帯に置換する(ステップS1014)。
【0204】
一方、ハイパーリンク抽出部1012は、ステップS1009で伝送されたデータからハイパーリンク群を抽出し(ステップS1015)、このハイパーリンク群をハイパーリンクスタック部1004へ伝送する。
【0205】
ハイパーリンクスタック部1004は、伝送されたハイパーリンク群を格納する(S1016)。
なお、このステップS1015およびS1016は、ステップS1011〜S1014のいずれとも独立に実行可能である。
【0206】
次に、ステップS1002へ戻り、前述のようにハイパーリンクスタック部1004は、ステップS1012で抽出されたハイパーリンク群のそれぞれについて、それが次回参照時間帯格納部1005に登録されたものではないときにのみ、初期時刻と組にして次回参照時間帯格納部1005に登録する(ステップS1002〜S1005)。
【0207】
以降、上記したような手順が繰り返し行われる。
以上のように本実施形態によれば、各データの更新履歴情報を蓄積し、これをもとに各データの更新の特性を推定して、参照の時間帯をスケジューリングすることにより、各データの更新の頻度と同程度の頻度でのデータ参照を実現することができる。
【0208】
また、更新されていないデータに対する不要な参照を事前に抑えることができる。これによって、データ収集の効率向上を図ることができる。
また、各データ取得の際の通信状況を蓄積して、通信特性を把握し、これを考慮して参照の時間帯をスケジューリングすることにより、各データ及びそれを有するサーバーに対する参照に最も適した時間帯での参照を実現することができる。これによって、データ収集の効率向上を図ることができる。
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【0209】
【発明の効果】
本発明によれば、各データの更新履歴情報をもとに各データの参照の時刻あるいは時間帯をスケジューリングすることにより、各データの更新の頻度と同程度の頻度でのデータ参照を実現することができる。
【0210】
また、本発明によれば、各データの更新履歴情報をもとに各データの参照の時刻あるいは時間帯をスケジューリングすることにより、更新されていないデータに対する不要な参照を事前に抑えることができる。これによって、データ収集の効率向上を図ることができる。
【0211】
また、本発明によれば、各データ取得の際の通信特性をもとに各データの参照の時刻あるいは時間帯をスケジューリングすることにより、各データ及びそれを有するサーバーに対する参照に最も適した時刻あるいは時間帯での参照を実現することができる。これによって、データ収集の効率向上を図ることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る情報収集装置の構成を示す図
【図2】同実施の形態に係る情報収集装置の動作を示すフローチャート
【図3】本発明の第2の実施の形態に係る情報収集装置の構成を示す図
【図4】同実施の形態に係る情報収集装置の動作を示すフローチャート
【図5】本発明の第3の実施の形態に係る情報収集装置の構成を示す図
【図6】同実施の形態に係る情報収集装置の動作を示すフローチャート
【図7】本発明の第4の実施の形態に係る情報収集装置の構成を示す図
【図8】同実施の形態に係る情報収集装置の動作を示すフローチャート
【図9】本発明の第5の実施の形態に係る情報収集装置の構成を示す図
【図10】同実施の形態に係る情報収集装置の動作を示すフローチャート
【図11】従来のネットワークロボットの一構成例を示す図
【図12】図11のネットワークロボットの動作を示すフローチャート
【符号の説明】
201,301,401,501,1001…ハイパーリンク入力装置
202,302,402,502,1002…データ処理装置
203,303,403,503,1003…ネットワーク
204,304,404,504,1004…ハイパーリンクスタック部
205,305,405,505,1005…次回更新予測時刻格納部
206,306,406,506,1006…時計部
207,307,407,507,1007…送受信部
208,308,408,508,1008…更新履歴格納部
209,309,409,509,1009…ハイパーリンク抽出部
310…予想時刻変更部
411,1011…サーバー監視部
412,1012…サーバー通信歴格納部
513…更新頻度監視部
514…データ分類部
Claims (5)
- ネットワーク上に分散されたデータを収集する情報収集方法において、
収集対象のデータを指し示すハイパーリンクを登録するステップと、
登録されたハイパーリンクの指し示すデータの取得を試行するステップと、
前記試行ステップにより取得されたデータの最新更新時刻を求めるとともに、該最新更新時刻をデータ更新履歴に追加することによりデータの更新状況を監視するステップと、
前記データ更新履歴における前記最新更新時刻を含む少なくとも2つ以上の時刻情報から次回更新予測時刻を算出するステップと、
前記試行ステップにより前記データの取得を次回に試行する時刻として、前記次回更新予測時刻を記憶するステップと、
を有することを特徴とする情報収集方法。 - サーバーとの通信状況に応じて、前記次回更新予測時刻を変更することを特徴とする請求項1に記載の情報収集方法。
- 一定期間だけ取得不能となったデータについては、再度取得可能となった後も、取得不能となる以前の前記データ更新履歴を継続して用いることを特徴とする請求項1に記載の情報収集方法。
- データの大きさが設定値を超える場合、該データについては設定値を超えない範囲に相当する部分のみを前記取得の試行及び更新状況の監視の対象とすることを特徴とする請求項1に記載の情報収集方法。
- 同一のハイパーリンクで有限複数個の種類内でデータが切り替わり得るハイパーリンクを扱う場合、該種類別に前記取得の試行及び更新状況の監視を行なうことを特徴とする請求項1に記載の情報収集方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20614496A JP3618917B2 (ja) | 1996-08-05 | 1996-08-05 | 情報収集方法 |
US08/906,618 US6167436A (en) | 1996-08-05 | 1997-08-05 | Data acquisition system and storage medium for storing the data used in the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20614496A JP3618917B2 (ja) | 1996-08-05 | 1996-08-05 | 情報収集方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1049553A JPH1049553A (ja) | 1998-02-20 |
JP3618917B2 true JP3618917B2 (ja) | 2005-02-09 |
Family
ID=16518526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20614496A Expired - Fee Related JP3618917B2 (ja) | 1996-08-05 | 1996-08-05 | 情報収集方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6167436A (ja) |
JP (1) | JP3618917B2 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11312172A (ja) * | 1998-04-28 | 1999-11-09 | Sharp Corp | 情報処理装置及び方法並びにその制御プログラムを記憶した媒体 |
JPH11328191A (ja) * | 1998-05-13 | 1999-11-30 | Nec Corp | Wwwロボット検索システム |
JP3045704B2 (ja) * | 1998-06-02 | 2000-05-29 | 株式会社アクセス | 参照予測サブセットの選択方法および情報処理装置 |
US7421723B2 (en) * | 1999-01-07 | 2008-09-02 | Nielsen Media Research, Inc. | Detection of media links in broadcast signals |
JP3685967B2 (ja) * | 1999-12-06 | 2005-08-24 | 大崎電気工業株式会社 | 端末データ収集方法 |
JP3240411B1 (ja) | 2000-08-25 | 2001-12-17 | オムロン株式会社 | 写真シール自動販売機 |
US7653654B1 (en) * | 2000-09-29 | 2010-01-26 | International Business Machines Corporation | Method and system for selectively accessing files accessible through a network |
US6760813B1 (en) * | 2001-12-20 | 2004-07-06 | Cisco Technology, Inc. | Devices, softwares and methods for preemptively updating expiring entries in a cache memory to anticipate future inquiries |
JP2003271494A (ja) * | 2002-03-13 | 2003-09-26 | Ntt Comware Corp | 情報収集システム、情報収集方法、情報収集プログラムおよび記録媒体 |
JP2005122704A (ja) * | 2003-09-22 | 2005-05-12 | Fujitsu Ltd | プログラム |
JP2007323672A (ja) * | 2003-09-22 | 2007-12-13 | Fujitsu Ltd | プログラム、情報処理装置、アクセス分散方法、システム |
US7412345B2 (en) * | 2004-05-18 | 2008-08-12 | General Electric Company | System, method, and article of manufacture for obtaining data |
JP4271162B2 (ja) * | 2005-03-30 | 2009-06-03 | 株式会社東芝 | 通信装置、通信方法及び通信制御プログラム |
JP2007334864A (ja) * | 2006-05-16 | 2007-12-27 | Fujifilm Corp | 表示システム、表示方法、および表示プログラム |
CA2654933C (en) | 2006-06-15 | 2013-07-30 | The Nielsen Company (Us), Llc | Methods and apparatus to meter content exposure using closed caption information |
JP2008090369A (ja) * | 2006-09-29 | 2008-04-17 | Sharp Corp | コンテンツ受信装置およびコンテンツ受信方法 |
JP2008158589A (ja) * | 2006-12-20 | 2008-07-10 | Oki Electric Ind Co Ltd | 更新情報通知装置及び更新情報通知プログラム |
JP4795258B2 (ja) * | 2007-01-29 | 2011-10-19 | 三菱電機株式会社 | Webページ再収集方式 |
JP5049618B2 (ja) * | 2007-03-15 | 2012-10-17 | 株式会社日立製作所 | ディザスタリカバリシステムおよび方法 |
US20090222926A1 (en) * | 2008-02-28 | 2009-09-03 | Honeywell International Inc. | Software license management system that functions in a disconnected or intermittently connected mode |
US20090222505A1 (en) * | 2008-02-28 | 2009-09-03 | Honeywell International Inc. | Peer to peer software license management system for temporarily relocating available software licenses |
JP5328177B2 (ja) * | 2008-03-07 | 2013-10-30 | キヤノン株式会社 | 情報処理装置、情報処理装置のデータ処理方法、記憶媒体及びプログラム |
JP5247192B2 (ja) * | 2008-03-14 | 2013-07-24 | 三菱電機株式会社 | 周期更新データ管理システム |
JP5448428B2 (ja) * | 2008-11-27 | 2014-03-19 | 三菱電機株式会社 | データ管理システム及びデータ管理方法及びデータ管理プログラム |
CN101510217B (zh) * | 2009-03-09 | 2013-06-05 | 阿里巴巴集团控股有限公司 | 图像数据库中的图像更新方法、服务器及*** |
JP2010252049A (ja) * | 2009-04-15 | 2010-11-04 | Sony Corp | 通信装置及び通信方法、コンピューター・プログラム、並びに通信システム |
JP5464908B2 (ja) * | 2009-05-27 | 2014-04-09 | 三菱電機株式会社 | 電力系統インピーダンス推定装置および電力系統インピーダンス推定方法 |
JP5356343B2 (ja) * | 2010-09-21 | 2013-12-04 | ヤフー株式会社 | クロール装置及びその方法 |
CN112231353B (zh) * | 2020-10-15 | 2023-05-23 | 中电工业互联网有限公司 | 一种数据采集方法及*** |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4855906A (en) * | 1987-10-23 | 1989-08-08 | Allen-Bradley Company, Inc. | System for handling unsolicited messages from lower-tier controllers |
US4972367A (en) * | 1987-10-23 | 1990-11-20 | Allen-Bradley Company, Inc. | System for generating unsolicited messages on high-tier communication link in response to changed states at station-level computers |
US5142623A (en) * | 1988-06-10 | 1992-08-25 | Westinghouse Electric Corp. | High performance memory imaging network for a real time process control system |
JPH04318637A (ja) * | 1991-04-17 | 1992-11-10 | Fuji Xerox Co Ltd | 分散ディレクトリ装置 |
JPH0589019A (ja) * | 1991-09-26 | 1993-04-09 | Nec Corp | 電子計算機方式 |
US5471461A (en) * | 1993-04-28 | 1995-11-28 | Allen-Bradley Company, Inc. | Digital communication network with a moderator station election process |
JP3377880B2 (ja) * | 1995-04-19 | 2003-02-17 | 富士通株式会社 | 自動情報取得装置および方法 |
US5855020A (en) * | 1996-02-21 | 1998-12-29 | Infoseek Corporation | Web scan process |
US5852717A (en) * | 1996-11-20 | 1998-12-22 | Shiva Corporation | Performance optimizations for computer networks utilizing HTTP |
-
1996
- 1996-08-05 JP JP20614496A patent/JP3618917B2/ja not_active Expired - Fee Related
-
1997
- 1997-08-05 US US08/906,618 patent/US6167436A/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US6167436A (en) | 2000-12-26 |
JPH1049553A (ja) | 1998-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3618917B2 (ja) | 情報収集方法 | |
CN105917618A (zh) | 数据转发监视***、数据转发监视方法以及据点*** | |
CN104220996B (zh) | 通信***、客户端终端以及服务器装置 | |
CA2495896A1 (en) | Method and apparatus for preloading caches | |
JPH09219702A (ja) | メッシュ構成の空き経路の検索方法 | |
JPH08328975A (ja) | データ管理装置 | |
CN108694188A (zh) | 一种索引数据更新的方法以及相关装置 | |
CN110018969A (zh) | 数据缓存方法、装置、计算机设备和存储介质 | |
JP5322019B2 (ja) | 関連する情報を事前にキャッシュする予測型キャッシュ方法、そのシステム及びそのプログラム | |
JP2000082971A (ja) | デジタルデ―タ受信装置及びデジタルデ―タ受信方法並びにコンピュ―タ読み取り可能な記録媒体 | |
JP5163171B2 (ja) | キャッシュシステムおよびサーバ | |
CN106484814A (zh) | 数据搜索方法及装置 | |
CN106202293B (zh) | 一种突发事件语料库的更新方法及装置 | |
JP4314126B2 (ja) | 同時実行制御方法及び装置 | |
CN114220510A (zh) | 基于大数据的电子病历跨域联合管理***及其方法 | |
CN108920344B (zh) | 一种存储方法及设备、计算机可读存储介质 | |
JP2003271494A (ja) | 情報収集システム、情報収集方法、情報収集プログラムおよび記録媒体 | |
JP3699267B2 (ja) | 検索方法及び検索装置並びにデータベース方法及びデータベース装置 | |
JP2009181188A (ja) | 利用される可能性の高い情報をキャッシュする予測型キャッシュ方法、そのシステム及びそのプログラム | |
JPH1139324A (ja) | 分散型情報検索方法及びシステム及び分散型情報検索プログラムを格納した記憶媒体 | |
JPH06243011A (ja) | データベースの自動メンテナンス方式 | |
JPH05167610A (ja) | 電子メールシステム | |
JP3864655B2 (ja) | ファイル滞留装置 | |
CN114385081B (zh) | 针对kafka集群的磁盘保护方法及相关设备 | |
JP4902621B2 (ja) | ログ通信システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041111 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |