JP2023151992A - データ収集システム、方法およびプログラム - Google Patents

Abstract

【課題】データの順序保証と高いスケーラビリティとを実現する。
【解決手段】データ受信部１０３，１１３は、互いに同期した時刻管理を行っており、データソースから受け付けたデータに対して、時刻管理に基づく時刻を表すタイムスタンプを付与し、データと、データの識別情報とタイムスタンプとを対応づけた対応付け情報とをデータ転送部１０４，１１４に送信し、データ転送部１０４，１１４は、データ受信部１０３，１１３からデータと対応付け情報とを受信し、対応付け情報を一時的に保存してデータおよび対応付け情報をデータ蓄積部１０５に転送し、データがデータ蓄積部１０５に保存されたことを確認してから対応付け情報の一時的な保存を解除する。
【選択図】図１

Description

本開示は、データを収集する技術に関する。

複数の情報システムによるデータの連携を図るためにデータハブが注目されている。データハブにはデータロスが少なくかつスケーラビリティが高いという特徴がある。近年では、データハブが適用される領域が拡大し、それに伴ってデータハブによって扱うデータも多様化している。例えば、データハブには、装置から出力される数値情報の収集だけでなく、ファイル転送への利用も要求される。ファイル転送ではデータ間の順序保証が要求される場合も多い。そして、バッチ処理を行う情報システムからは同時期に大量のデータがデータハブに出力される。

特許文献１には、データの順序保証を行う技術が開示されている。特許文献１に開示されたデータ処理システムは、ネットワークに接続されるルータと、ルータに接続される負荷分散サーバと、負荷分散サーバに接続される複数の受付サーバと、複数の受付サーバに接続される処理サーバとから構成される。ルータは、入力されるパケットに対しタイムスタンプを付与する。受付サーバは、同一の識別子を有する複数のパケットに分割されて伝送されたトランザクションに対し、複数のパケットに付与したタイムスタンプの最も遅い時刻をトランザクションの受付時刻として付与する。処理サーバは、複数の受付サーバから受信した複数のトランザクションを、予め設定した最大遅延時間を経過したトランザクションに対し付与されたトランザクションの受付時刻に従ってソートして処理する。

特開２０１２－１２９８５７号公報

上述のように特許文献１の技術ではルータがパケットにタイムスタンプを付与する。ルータはパケットが必ず通る経路となり、そこでタイムスタンプを付与することによりパケットの順序保証が実現される。

しかしながら、順序保証を実現するために１箇所のルータでパケットにタイムスタンプを付与するため、複数の受付サーバによってパケットの処理負荷を分散する構成であっても、システム全体としてのスケーラビリティに限界がある。

本開示の目的のひとつは、データの順序保証と高いスケーラビリティとを実現する技術を提供することである。

本開示のひとつの態様に従うデータ収集システムは、データソースからのデータの受け付けの処理を分担する複数のデータ受信部と、前記データ受信部のそれぞれに対応して設けられ、前記データ受信部で受け付けられたデータを転送する複数のデータ転送部と、前記複数のデータ転送部から転送された前記データを受信して保存するデータ蓄積部と、を有し、前記複数のデータ受信部は、互いに同期した時刻管理を行っており、前記受け付けたデータに対して、前記時刻管理に基づく時刻を表すタイムスタンプを付与し、前記データと、前記データの識別情報と前記タイムスタンプとを対応づけた対応付け情報とを前記データ転送部に送信し、前記データ転送部は、前記データ受信部から前記データと前記対応付け情報とを受信し、前記対応付け情報を一時的に保存して前記データおよび前記対応付け情報を前記データ蓄積部に転送し、前記データが前記データ蓄積部に保存されたことを確認してから前記対応付け情報の一時的な保存を解除する。

本開示のひとつの態様によれば、データの順序保証と高いスケーラビリティとを実現することが可能となる。

本実施形態の情報収集システムを示すブロック図である。 図１に示した情報収集システムにおいてデータ受信部及びデータ転送部にて障害が発生していない場合の処理を説明するためのシーケンス図である。 図２に示したデータ受信部における処理の詳細を説明するためのフローチャートである。 図２に示したデータ転送部における処理の詳細を説明するためのフローチャートである。 図１に示した仕掛中状態管理データベースの構成の一例を示す図である。 図１に示したデータ保存先データベースの構成の一例を示す図である。 図１に示した情報収集システムにおいてデータ収集処理中にデータ受信部にて障害が発生した場合の処理を説明するためのシーケンス図である。 図１に示した情報収集システムにおいてデータ受信部からデータ転送部にデータ転送後にデータ受信部にて障害が発生した場合の処理を説明するためのシーケンス図である。 図１に示した情報収集システムにおいてデータ転送部からデータ蓄積部にデータを転送する前にデータ転送部にて障害が発生した場合の処理を説明するためのシーケンス図である。 図１に示した情報収集システムにおいてデータ転送部からデータ蓄積部にデータを転送中にデータ転送部にて障害が発生した場合の処理を説明するためのシーケンス図である。 図９及び図１０に示したデータ転送部における処理の詳細を説明するためのフローチャートである。 図１に示した情報収集システムにおいてデータ受信部及びデータ転送部にて障害が発生していない場合の処理の他の例を説明するためのシーケンス図である。 図１２に示したデータ転送部における処理の詳細を説明するためのフローチャートである。 図１に示した仕掛中状態管理データベースの構成の一例を示す図である。 図１に示した情報収集システムにおいてデータ転送部からデータ蓄積部にデータを転送する前にデータ転送部にて障害が発生した場合の処理の他の例を説明するためのシーケンス図である。 図１５に示したデータ転送部における処理の詳細を説明するためのフローチャートである。

以下に、本発明の実施の形態について図面を参照して説明する。

図１は、本実施形態の情報収集システムを示すブロック図である。

本実施形態のデータ収集システム１００は、図１に示すように、データソース１０１，１１１から送信されてきたデータをデータ利活用１０６のために転送するシステムであって、負荷分散部１０２と、データ受信部１０３，１１３と、データ転送部１０４，１１４と、データ蓄積部１０５とを有する。なお、データ受信部１０３，１１３及びデータ転送部１０４，１１４の数はそれぞれ２つに限らない。

負荷分散部１０２は、データソース１０１，１１１から送信されてきたデータを、例えばラウンドロビン等の決められた負荷分散方式でデータ受信部１０３，１１３に振り分けて送信する。なお、データを振り分ける方式は、負荷分散方式に限らず、また、振り分けたデータをチャンクと称する場合もある。

データ受信部１０３,１１３は、データソース１０１，１１１から負荷分散部１０２を介して送信されてきたデータの受付の処理を分担するものであって、それぞれ、互いに同期した時刻管理を行っており、受け付けたデータに対して、時刻管理に基づく時刻を表すタイムスタンプを時刻同期生成部１３１，１３２にて生成して付与し、受け付けたデータと、データの識別情報となるＩＤとタイムスタンプとを対応づけた対応付け情報とをデータ転送部１０４，１１４に送信する。

データ転送部１０４，１１４は、データ受信部１０３,１１３のそれぞれに対応して設けられ、データ受信部１０３，１１３で受け付けられたデータを転送するものであって、データ受信部１０３，１１３からデータと対応付け情報とを受信し、対応付け情報を一時的に保存してデータおよび対応付け情報をデータ蓄積部１０５に転送し、データがデータ蓄積部１０５に保存されたことを確認してから対応付け情報の一時的な保存を解除する。また、データ転送部１０４，１１４は、データ受信部１０３，１１３から受信したデータと対応付け情報とを用いて、仕掛中状態管理データベース１４１，１４２に新たなレコードを生成し、データ受信部１０３，１１３から受信したデータと対応付け情報とを仕掛中状態管理データベース１４１，１４２に保存するとともに、その転送状態となる仕掛中の状態を設定する。また、データ転送部１０４，１１４は、データ受信部１０３，１１３からデータと対応付け情報とを受信した後に障害となり、その障害から再開した場合、データの再送を促す応答を、データ受信部１０３，１１３を介してデータソース１０１，１１１に送信するとともに、対応付け情報を保持しておき、再送されてきたデータに対して、保持しておいた対応付け情報内のタイムスタンプを用いる。

データ蓄積部１０５は、データ転送部１０４，１１４から転送されたデータを受信して保存するものであって、データ転送部１０４，１１４から転送されてきた対応付け情報内のタイムスタンプにより示された時刻をデータの作成時刻とし、データとその作成時刻とを対応づけてデータ保存先データベース１５１に保存する。

以下に、上記のように構成された情報収集システムにおける処理について説明する。

まず、データ受信部１０３，１１３及びデータ転送部１０４，１１４にて障害が発生していない場合の処理について説明する。

図２は、図１に示した情報収集システムにおいてデータ受信部１０３，１１３及びデータ転送部１０４，１１４にて障害が発生していない場合の処理を説明するためのシーケンス図である。なお、図２においては、データソース１０１，１１１、データ受信部１０３，１１３及びデータ転送部１０４，１１４のうち、データソース１０１、データ受信部１０３及びデータ転送部１０４にデータを転送する場合を例に挙げて説明する。

ステップ２０１においてデータソース１０１からデータが送信されてくると、負荷分散部１０２は、ステップ２０２において、決められた負荷分散方式で転送先のデータ受信部を決定し、決定したデータ受信部１０３に対してステップ２２２にてデータを転送する。

負荷分散部１０２から転送されたデータを受信したデータ受信部１０３は、ステップ２０３における処理を行う。

図３は、図２に示したデータ受信部１０３における処理の詳細を説明するためのフローチャートである。

ステップ２０３における処理では、データ受信部１０３は、負荷分散部１０２から転送されたデータを受信すると、まずステップ２３１において、互いに同期した時刻管理を行うために時刻同期生成部１３１にて高精度時刻同期（例えば、ＧＰＳ（Global Positioning System）やＰＴＰ（Precision Time Protocol））により生成されたタイムスタンプを取得し、また、ステップ２３２において、データを識別するためのデータＩＤを生成する。なお、データＩＤは、例えば、「ファイル名」＋「データソースのＩＤ」（ＩＰアドレスやクライアントＩＤ等）からなり、同一のデータソースからの同一の名前のファイルには同一のＩＤが付与され、同一の名前のファイルであってもそれらが互いに異なるデータソースからのものであれば異なるＩＤが付与される。なお、ＧＰＳやＰＴＰによって時刻管理を行うことで、高精度の時刻同期が可能となる。

次に、データ受信部１０３は、ステップ２３３において、時刻同期生成部１３１から取得したタイムスタンプと、データ名と、データＩＤとを組み合わせて、対応付け情報となる三つ組を作成する。

次に、データ受信部１０３は、ステップ２３４において、負荷分散部１０２から転送されたデータと、ステップ２３３にて作成した三つ組とをデータ転送部１０４に転送し、ステップ７０５において、ステップ２０３における処理を終了する。

データ受信部１０３から転送されたデータ及び三つ組を受信したデータ転送部１０４は、ステップ２０４における処理を行う。

図４は、図２に示したデータ転送部１０４における処理の詳細を説明するためのフローチャートである。

ステップ２０４における処理では、データ転送部１０４は、データ受信部１０３から転送されたデータ及び三つ組を受信すると、まずステップ８０１において、仕掛中状態管理データベース１４１に、受信した三つ組が保存されているかどうかを判断する。これは、三つ組内のデータＩＤを用いて行う。

仕掛中状態管理データベース１４１に、受信した三つ組が保存されていない場合は、データ転送部１０４は、ステップ２４１において、仕掛中状態管理データベース１４１に新たなレコードを生成し、データ受信部１０３から受信したデータと三つ組とを仕掛中状態管理データベース１４１に保存するとともに、その転送状態となる仕掛中の状態を「受信」に設定する。

また、仕掛中状態管理データベース１４１に、受信した三つ組が保存されている場合は、データ転送部１０４は、ステップ２４２において、保存されている三つ組の転送状態となる仕掛中の状態を「転送中」に変更する。

図５は、図１に示した仕掛中状態管理データベース１４１，１４２の構成の一例を示す図である。

図５に示すように、図１に示した仕掛中状態管理データベース１４１，１４２には、タイムスタンプ１００１，データ名１０２及びデータＩＤ１００３からなる三つ組について、その転送状態１００４が対応づけて設定されている。

次に、データ転送部１０４は、ステップ２４３において、データ受信部１０３から受信したデータと三つ組とをデータ蓄積部１０５に転送し、ステップ８０２においてデータ蓄積部１０５からの応答を待つ。

データ蓄積部１０５は、データ転送部１０４から転送されてきたデータとその三つ組を受信すると、ステップ２０５における処理において、受信したデータをデータ保存先データベース１５１にステップ２５１にて保存し、ステップ２５２において、データ転送部１０４から受信したデータをデータ保存先データベース１５１にステップ２５１にて保存した旨をＡＣＫとしてデータ転送部１０４に返す。

また、データ蓄積部１０５は、その際、ステップ２５３において、三つ組内のタイムスタンプにより示された時刻をデータの作成時刻とし、データとその作成時刻とを対応づけてデータ保存先データベース１５１に保存する。

図６は、図１に示したデータ保存先データベース１５１の構成の一例を示す図である。

図６に示すように、図１に示したデータ保存先データベース１５１には、データ蓄積部１０５がデータ転送部１０４から受信した三つ組内のデータ名１１０１、データＩＤ１１０２及びタイムスタンプ１１０３が、そのデータのコンテンツを示すデータコンテンツ１１０４と対応づけて保存される。

このように、データ受信部１０３でのタイムスタンプをデータの作成時刻とするので、複数のデータ受信部が管理する精度の高い時刻により作成時刻を設定することができる。

データ転送部１０４は、データ蓄積部１０５からのＡＣＫを受信すると、ステップ２４４において、仕掛中状態管理データベース１４１に保存されている三つ組のうち、データ蓄積部１０５からのＡＣＫに対応する三つ組についてデータがデータ蓄積部１０５に保存されたことを確認し、その転送状態となる仕掛中の状態を「転送完了」に変更する。

その後、データ転送部１０４は、ステップ２４５において、データ蓄積部１０５からのＡＣＫに対応する三つ組についてのＡＣＫをデータ受信部１０３に返し、ステップ２４６において、仕掛中状態管理データベース１４１に保存されていた三つ組の一時的な保存を解除して削除し、ステップ８０７において、ステップ２０４における処理を終了する。

データ受信部１０３は、データ転送部１０４からのＡＣＫを受信すると、ステップ２０６において、ステップ２６１として負荷分散部１０２にＡＣＫを返し、負荷分散部１０２は、データ受信部１０３からのＡＣＫを受信すると、ステップ２０２において、ステップ２２３としてデータソース１０１にＡＣＫを返す。

その後、データソース１０１は、ステップ２１２において、負荷分散部１０２に送信したデータを削除する。

このように、複数で負荷分散するデータ受信部での時刻管理に基づいてデータの順序保証を行うので、データの順序保証と高いスケラビリティとを併せて実現することができる。

次に、データ収集処理中にデータ受信部１０３，１１３にて障害が発生した場合の処理について説明する。

図７は、図１に示した情報収集システムにおいてデータ収集処理中にデータ受信部１０３にて障害が発生した場合の処理を説明するためのシーケンス図である。

図２に示したデータソース１０１におけるステップ２０１の処理からデータ受信部１０３におけるステップ２３３の処理を行った後に、データ受信部１０３においてステップ３０１にて障害が発生し、負荷分散部１０２において、ステップ３２１にて例えばタイムアウトやハートビートを用いて障害を検出した場合、負荷分散部１０２は、データの収集処理に失敗した旨を示すネガティブＡＣＫをステップ３２２にてデータソース１０１に返す。

その後、データ受信部１０３は、ステップ３０２にて障害から回復したとしても、負荷分散部１０２から送信されてきたデータを保持していないため、図２に示した処理と同様の処理が行われることになる。

次に、データ受信部１０３からデータ転送部１０４にデータ転送後にデータ受信部１０３にて障害が発生した場合の処理について説明する。

図８は、図１に示した情報収集システムにおいてデータ受信部１０３からデータ転送部１０４にデータ転送後にデータ受信部１０３にて障害が発生した場合の処理を説明するためのシーケンス図である。

図２に示したデータソース１０１におけるステップ２０１の処理からデータ受信部１０３におけるステップ２３４の処理を行った後に、データ受信部１０３においてステップ４０１にて障害が発生したとしても、データ受信部１０３からデータ転送部１０４にデータとその三つ組が転送されているため、データ転送部１０４とデータ蓄積部１０５においては、図２の示したものと同様の処理が行われる。

また、データ転送部１０４からステップ２４５にてＡＣＫが返された際、ステップ４０２にてデータ受信部１０３が障害から回復していれば、その後のデータ受信部１０３，負荷分散部１０２及びデータソース１０１においては、図２の示したものと同様の処理が行われる。

次に、データ転送部１０４からデータ蓄積部１０５にデータを転送する前にデータ転送部１０４にて障害が発生した場合の処理について説明する。

図９は、図１に示した情報収集システムにおいてデータ転送部１０４からデータ蓄積部１０５にデータを転送する前にデータ転送部１０４にて障害が発生した場合の処理を説明するためのシーケンス図である。

図２に示したデータソース１０１におけるステップ２０１の処理からデータ転送部１０４におけるステップ２４１の処理を行った後に、データ転送部１０４においてステップ５０１にて障害が発生した場合、その後、データ転送部１０４がステップ５０２にて障害から回復すると、データ転送部１０４は、ステップ５０４において、仕掛中状態管理データベース１４１から、状態が「受信」となっている三つ組をステップ５４１として検出する。

そして、データ転送部１０４は、データの収集処理に失敗した旨を示すネガティブＡＣＫをステップ５４２にてデータ受信部１０３に返す。この際、データ転送部１０４は、仕掛中状態管理データベース１４１から検出した三つ組を削除しない。

データ受信部１０３は、データ転送部１０４からネガティブＡＣＫを受け取ると、ステップ５０６においてネガティブＡＣＫをステップ５６１として負荷分散部１０２に返す。

負荷分散部１０２は、データ受信部１０３からネガティブＡＣＫを受け取ると、ステップ２０２においてネガティブＡＣＫをステップ５２１としてデータソース１０１に返す。

その後、図２に示した一連の処理が再度行われることなるが、データ転送部１０４においては、仕掛中状態管理データベース１４１から検出した三つ組を削除していないため、再送されてきたデータに、保持していたタイムスタンプを用いることになる。

このように、データの再送時に前回のタイムスタンプを用いるので、再送によるデータの順序入れ替わりを防止することができる。

次に、データ転送部１０４からデータ蓄積部１０５にデータを転送中にデータ転送部１０４にて障害が発生した場合の処理について説明する。

図１０は、図１に示した情報収集システムにおいてデータ転送部１０４からデータ蓄積部１０５にデータを転送中にデータ転送部１０４にて障害が発生した場合の処理を説明するためのシーケンス図である。

図２に示したデータソース１０１におけるステップ２０１の処理からデータ転送部１０４におけるステップ２４３の処理を行った後に、データ転送部１０４においてステップ６０１にて障害が発生した場合、データ蓄積部１０５においては、ステップ２０５において、データ蓄積部１０５から転送されてきたデータをデータ保存先データベース１５１に保存しているものの、全てのデータを転送したか不明である。

そのため、その後にデータ転送部１０４がステップ６０２にて障害から回復すると、ステップ６０４における処理を行う。

図１１は、図９及び図１０に示したデータ転送部１０４における処理の詳細を説明するためのフローチャートである。

データ転送部１０４はステップ９０１にて処理を開始すると、まず、ステップ９０２において、仕掛中状態管理データベース１４１の中に、状態が「受信」の三つ組があるか判断する。

そして、仕掛中状態管理データベース１４１の中に、状態が「受信」の三つ組がある場合は、図９に示したように、ステップ５４２において、状態が「受信」の三つ組に関するネガティブＡＣＫをデータ受信部１０３に返す。

仕掛中状態管理データベース１４１の中に、状態が「受信」の三つ組がない場合や、仕掛中状態管理データベース１４１の中に、状態が「受信」の三つ組がある場合であって、状態が「受信」の三つ組に関するネガティブＡＣＫをデータ受信部１０３に返した後、データ転送部１０４は、ステップ９０３において、仕掛中状態管理データベース１４１の中に、状態が「転送中」の三つ組があるか判断する。

そして、仕掛中状態管理データベース１４１の中に、状態が「転送中」の三つ組がある場合は、ステップ６４１において、仕掛中状態管理データベース１４１の中に、状態が「転送中」の三つ組を検出したとして、ステップ６４２において、データ蓄積部１０５に対して、検出した三つ組のデータＩＤが示すデータの削除を依頼し、ステップ９３１において、それに対するデータ蓄積部１０５からのＡＣＫを待つ。

データ蓄積部１０５は、ステップ６５１において、データ転送部１０４からの依頼に従ってデータ保存先データベース１５１からデータを削除し、ステップ６５２において、データを削除した旨を示すＡＣＫをデータ転送部１０４に返す。

データ転送部１０４は、データ蓄積部１０５からのＡＣＫを受け取ると、ステップ６０４において、データ蓄積部１０５に削除を依頼した三つ組のデータの収集処理に失敗した旨を示すネガティブＡＣＫをステップ６４３としてデータ受信部１０３に返す。

また、データ転送部１０４は、仕掛中状態管理データベース１４１に保存された三つ組を削除せず、ステップ６４４において、その状態を「転送中」から「受信」に変更する。

そして、データ転送部１０４は、ステップ９０４にてその処理を終了する。

データ受信部１０３は、データ転送部１０４からネガティブＡＣＫを受け取ると、ステップ６６１においてネガティブＡＣＫをステップ６６２として負荷分散部１０２に返す。

負荷分散部１０２は、データ受信部１０３からネガティブＡＣＫを受け取ると、ステップ２０２においてネガティブＡＣＫをステップ６２１としてデータソース１０１に返す。

その後、図２に示した一連の処理が再度行われることなるが、データ転送部１０４においては、仕掛中状態管理データベース１４１から検出した三つ組を削除していないため、再送されてきたデータに、保持していたタイムスタンプを用いることになる。

（他の実施の形態）

以下に、図１に示した情報収集システムにおいて、情報収集システム１側のリソースを用いて、データソース１０１，１１１側でデータを削除できるタイミングを早める実施形態について説明する。

まず、データ受信部１０３，１１３及びデータ転送部１０４，１１４にて障害が発生していない場合の処理について説明する。

図１２は、図１に示した情報収集システムにおいてデータ受信部１０３，１１３及びデータ転送部１０４，１１４にて障害が発生していない場合の処理の他の例を説明するためのシーケンス図である。

図２に示したデータソース１０１におけるステップ２０１の処理からデータ転送部１０４におけるステップ２４３の処理を行った後に、データ転送部１０４においてステップ１２０４の処理を行う。

図１３は、図１２に示したデータ転送部１０４における処理の詳細を説明するためのフローチャートである。

ステップ１２０４における処理では、データ転送部１０４は、データ受信部１０３から転送されたデータ及び三つ組を受信すると、まずステップ１８０１において、仕掛中状態管理データベース１４１に、受信した三つ組及びデータが保存されているかどうかを判断する。これは、三つ組内のデータＩＤを用いて行う。

仕掛中状態管理データベース１４１に、受信した三つ組及びデータが保存されていない場合は、データ転送部１０４は、ステップ１２４１において、仕掛中状態管理データベース１４１に新たなレコードを生成し、データ受信部１０３から受信したデータと三つ組とを仕掛中状態管理データベース１４１に保存するとともに、その転送状態となる仕掛中の状態を「受信」に設定する。

データ転送部１０４は、データ受信部１０３から受信したデータと三つ組とを仕掛中状態管理データベース１４１に保存するとともにその転送状態となる仕掛中の状態を「受信」に設定した後や、仕掛中状態管理データベース１４１に、受信した三つ組及びデータが保存されている場合は、データ転送部１０４は、ステップ１２０１において、データ受信部１０３に対して受信した三つ組に関するＡＣＫを返す。

データ受信部１０３は、データ転送部１０４からのＡＣＫを受信すると、ステップ２０６において、ステップ２６１として負荷分散部１０２にＡＣＫを返し、負荷分散部１０２は、データ受信部１０３からのＡＣＫを受信すると、ステップ２０２において、ステップ２２３としてデータソース１０１にＡＣＫを返す。

その後、データソース１０１は、ステップ２１２において、負荷分散部１０２に送信したデータを削除する。

データ転送部１０４は、ステップ１２４２において、保存されている三つ組の転送状態となる仕掛中の状態を「転送中」に変更する。

図１４は、図１に示した仕掛中状態管理データベース１４１，１４２の構成の一例を示す図である。

図１４に示すように、図１に示した仕掛中状態管理データベース１４１，１４２には、タイムスタンプ１６０１，データ名１６０２及びデータＩＤ１６０３からなる三つ組について、そのデータとなるデータコンテンツ１６０４とその転送状態１６０５とが対応づけて設定されている。

次に、データ転送部１０４は、ステップ２４３において、データ受信部１０３から受信したデータと三つ組とをデータ蓄積部１０５に転送し、ステップ８０２においてデータ蓄積部１０５からの応答を待つ。

データ蓄積部１０５は、データ転送部１０４から転送されてきたデータとその三つ組を受信すると、ステップ２０５における処理において、受信したデータをデータ保存先データベース１５１にステップ２５１にて保存し、ステップ２５２において、データ転送部１０４から受信したデータをデータ保存先データベース１５１にステップ２５１にて保存した旨をＡＣＫとしてデータ転送部１０４に返す。

また、データ蓄積部１０５は、その際、ステップ２５３において、三つ組内のタイムスタンプにより示された時刻をデータの作成時刻とし、データとその作成時刻とを対応づけてデータ保存先データベース１５１に保存する。

データ転送部１０４は、データ蓄積部１０５からのＡＣＫを受信すると、ステップ１２４４において、仕掛中状態管理データベース１４１に保存されている三つ組及びデータのうち、データ蓄積部１０５からのＡＣＫに対応する三つ組及びデータについてデータがデータ蓄積部１０５に保存されたことを確認し、その転送状態となる仕掛中の状態を「転送完了」に変更する。

その後、データ転送部１０４は、ステップ１２４５において、仕掛中状態管理データベース１４１に保存されていた三つ組及びデータの一時的な保存を解除して削除し、ステップ１４０５において、ステップ１２０４における処理を終了する。

このように、データ転送部１０４が、三つ組と共にデータを一時的に保存し、データが保存されたことを示すＡＣＫをデータ受信部１０３を介してデータソース１０１に送信し、三つ組およびデータをデータ蓄積部１０５に転送し、データがデータ蓄積部１０５に保存されたことを確認してから三つ組およびデータの一時的な保存を解除するので、データソースにおけるデータの削除が早い段階で可能となる。

次に、データ転送部１０４からデータ蓄積部１０５にデータを転送する前にデータ転送部１０４にて障害が発生した場合の処理について説明する。

図１５は、図１に示した情報収集システムにおいてデータ転送部１０４からデータ蓄積部１０５にデータを転送する前にデータ転送部１０４にて障害が発生した場合の処理の他の例を説明するためのシーケンス図である。

図１２に示したデータソース１０１におけるステップ２０１の処理からデータ転送部１０４におけるステップ１２０１の処理を行った後に、データ転送部１０４においてステップ１３０１にて障害が発生した場合、その後、データ転送部１０４がステップ１３０２にて障害から回復すると、データ転送部１０４は、ステップ１３０４の処理を行う。

データ転送部１０４は、ステップ１３４１において、仕掛中状態管理データベース１４１から、状態が「受信」となっている三つ組とデータを検出し、ステップ１３４２において、その状態を「転送中」に変更する。

次に、データ転送部１０４は、ステップ１３４３において、仕掛中状態管理データベース１４１に保存されたデータおよび三つ組をデータ蓄積部１０５に転送する。

データ蓄積部１０５は、データ転送部１０４から転送されてきたデータとその三つ組を受信すると、ステップ２０５における処理において、受信したデータをデータ保存先データベース１５１にステップ２５１にて保存し、ステップ２５２において、データ転送部１０４から受信したデータをデータ保存先データベース１５１にステップ２５１にて保存した旨をＡＣＫとしてデータ転送部１０４に返す。

また、データ蓄積部１０５は、その際、ステップ２５３において、三つ組内のタイムスタンプにより示された時刻をデータの作成時刻とし、データとその作成時刻とを対応づけてデータ保存先データベース１５１に保存する。

データ転送部１０４は、データ蓄積部１０５からのＡＣＫを受信すると、ステップ１２４４において、仕掛中状態管理データベース１４１に保存されている三つ組及びデータのうち、データ蓄積部１０５からのＡＣＫに対応する三つ組及びデータについてデータがデータ蓄積部１０５に保存されたことを確認し、その転送状態となる仕掛中の状態を「転送完了」に変更する。

その後、データ転送部１０４は、ステップ１２４５において、仕掛中状態管理データベース１４１に保存されていた三つ組及びデータの一時的な保存を解除して削除する。

図１６は、図１５に示したデータ転送部１０４における処理の詳細を説明するためのフローチャートである。

ステップ１２０４における処理では、データ転送部１０４は、ステップ１５０１にて処理を開始すると、まず、ステップ１５０２において、データ転送部１０４は、仕掛中状態管理データベース１４１に、状態が「受信」の三つ組及びデータが保存されているかどうかを判断する。

仕掛中状態管理データベース１４１に、状態が「受信」の三つ組及びデータが保存されている場合は、データ転送部１０４は、ステップ１５２１において、図１３に示したステップ１２０１の処理を行う。

また、仕掛中状態管理データベース１４１に、状態が「受信」の三つ組及びデータが保存されていない場合は、データ転送部１０４は、ステップ１５０３において、仕掛中状態管理データベース１４１に、状態が「転送中」の三つ組及びデータが保存されているかどうかを判断する。

仕掛中状態管理データベース１４１に、状態が「転送中」の三つ組及びデータが保存されている場合は、データ転送部１０４は、ステップ１５３１において、データ蓄積部１０５に対して、その三つ組のデータＩＤが示すデータの削除を依頼し、ステップ１５３２においてデータ蓄積部１０５からのＡＣＫを待つ。

その後、データ転送部１０４は、データ蓄積部１０５からデータを削除した旨のＡＣＫを受けると、ステップ１５３３において、図１３のステップ２４３の処理を行う。

データ転送部１０４は、上述した一連の処理を行い、ステップ１５０４にて終了する。

なお、本実施形態の情報収集システムが実行する方法はソフトウェアプログラムとして記述することもできる。また、そのソフトウェアプログラムを記憶媒体に格納することも可能であり、ネットワークを介して外部に提供することも可能である。コンピュータがそのソフトウェアプログラムを実行することにより本実施形態の情報収集システムを実現することができる。

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態のみに限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。

１００…データ収集システム、１０１，１１１…データソース、１０２…付加分散部、１０３，１１３…データ受信部、１０４，１１４…データ転送部、１０５…データ蓄積部、１３１，１３２…時刻同期生成部、１４１，１４２…仕掛中状態管理データベース、１５１…データ保存先データベース

Claims (11)

1. データソースからのデータの受け付けの処理を分担する複数のデータ受信部と、
   前記データ受信部のそれぞれに対応して設けられ、前記データ受信部で受け付けられたデータを転送する複数のデータ転送部と、
   前記複数のデータ転送部から転送された前記データを受信して保存するデータ蓄積部と、
   を有し、
   前記複数のデータ受信部は、互いに同期した時刻管理を行っており、前記受け付けたデータに対して、前記時刻管理に基づく時刻を表すタイムスタンプを付与し、前記データと、前記データの識別情報と前記タイムスタンプとを対応づけた対応付け情報とを前記データ転送部に送信し、
   前記データ転送部は、前記データ受信部から前記データと前記対応付け情報とを受信し、前記対応付け情報を一時的に保存して前記データおよび前記対応付け情報を前記データ蓄積部に転送し、前記データが前記データ蓄積部に保存されたことを確認してから前記対応付け情報の一時的な保存を解除する、
   データ収集システム。
2. 前記データ蓄積部は、前記対応付け情報内の前記タイムスタンプにより示された時刻を前記データの作成時刻とし、前記データと該作成時刻とを対応づけて保存する、
   請求項１に記載のデータ収集システム。
3. 前記データ転送部は、前記データと前記対応付け情報とを受信した後に障害となり該障害から再開した場合、前記データの再送を促す応答を前記データ受信部を介して前記データソースに送信するとともに、前記対応付け情報を保持しておき、再送されてきたデータに対して該対応付け情報内のタイムスタンプを用いる、
   請求項１に記載のデータ収集システム。
4. 前記データ転送部は、前記対応付け情報と共に前記データを一時的に保存し、前記データが保存されたことを示す応答を前記データ受信部を介して前記データソースに送信し、前記対応付け情報および前記データを前記データ蓄積部に転送し、前記データが前記データ蓄積部に保存されたことを確認してから前記対応付け情報および前記データの一時的な保存を解除する、
   請求項１に記載のデータ収集システム。
5. 前記複数のデータ受信部は、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ ＳｙｓｔｅｍまたはＰｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌにより互いに同期した時刻管理を行う、
   請求項１に記載のデータ収集システム。
6. データソースからのデータの受け付けの処理を分担する複数のデータ受信部と、前記データ受信部のそれぞれに対応して設けられ、前記データ受信部で受け付けられたデータを転送する複数のデータ転送部と、前記複数のデータ転送部から転送された前記データを受信して保存するデータ蓄積部と、を有するデータ収集システムにおけるデータ収集方法であって、
   前記複数のデータ受信部が、互いに同期した時刻管理を行っており、前記受け付けたデータに対して、前記時刻管理に基づく時刻を表すタイムスタンプを付与し、前記データと、前記データの識別情報と前記タイムスタンプとを対応づけた対応付け情報とを前記データ転送部に送信し、
   前記データ転送部が、前記データ受信部から前記データと前記対応付け情報とを受信し、前記対応付け情報を一時的に保存して前記データおよび前記対応付け情報を前記データ蓄積部に転送し、前記データが前記データ蓄積部に保存されたことを確認してから前記対応付け情報の一時的な保存を解除する、
   データ収集方法。
7. 前記データ蓄積部が、前記対応付け情報内の前記タイムスタンプにより示された時刻を前記データの作成時刻とし、前記データと該作成時刻とを対応づけて保存する、
   請求項６に記載のデータ収集方法。
8. 前記データ転送部が、前記データと前記対応付け情報を受信した後に障害となり該障害から再開した場合、前記データの再送を促す応答を前記データ受信部を介して前記データソースに送信するとともに、前記対応付け情報を保持しておき、再送されてきたデータに対して該対応付け情報内のタイムスタンプを用いる、
   請求項６に記載のデータ収集方法。
9. データソースからのデータの受け付けの処理を分担する複数のデータ受信部と、前記データ受信部のそれぞれに対応して設けられ、前記データ受信部で受け付けられたデータを転送する複数のデータ転送部と、前記複数のデータ転送部から転送された前記データを受信して保存するデータ蓄積部と、を有するデータ収集システムをコンピュータが動作させるためのデータ収集プログラムであって、
   前記複数のデータ受信部が、互いに同期した時刻管理を行っており、前記受け付けたデータに対して、前記時刻管理に基づく時刻を表すタイムスタンプを付与し、前記データと、前記データの識別情報と前記タイムスタンプとを対応づけた対応付け情報とを前記データ転送部に送信し、
   前記データ転送部が、前記データ受信部から前記データと前記対応付け情報とを受信し、前記対応付け情報を一時的に保存して前記データおよび前記対応付け情報を前記データ蓄積部に転送し、前記データが前記データ蓄積部に保存されたことを確認してから前記対応付け情報の一時的な保存を解除する、ことを前記コンピュータに実行させるためのデータ収集プログラム。
10. 前記データ蓄積部が、前記対応付け情報内の前記タイムスタンプにより示された時刻を前記データの作成時刻とし、前記データと該作成時刻とを対応づけて保存する、ことをコンピュータに実行させる、
    請求項９に記載のデータ収集プログラム。
11. 前記データ転送部が、前記データと前記対応付け情報を受信した後に障害となり該障害から再開した場合、前記データの再送を促す応答を前記データ受信部を介して前記データソースに送信するとともに、前記対応付け情報を保持しておき、再送されてきたデータに対して該対応付け情報内のタイムスタンプを用いる、ことをコンピュータに実行させる、
    請求項９に記載のデータ収集プログラム。

Images