JP2019133468A - データ蓄積システム及びデータ蓄積装置 - Google Patents

データ蓄積システム及びデータ蓄積装置 Download PDF

Info

Publication number
JP2019133468A
JP2019133468A JP2018015879A JP2018015879A JP2019133468A JP 2019133468 A JP2019133468 A JP 2019133468A JP 2018015879 A JP2018015879 A JP 2018015879A JP 2018015879 A JP2018015879 A JP 2018015879A JP 2019133468 A JP2019133468 A JP 2019133468A
Authority
JP
Japan
Prior art keywords
data
compressed
data storage
unit
recompression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018015879A
Other languages
English (en)
Inventor
智 天木
Satoshi Amagi
智 天木
拓紀 松山
Hiroki Matsuyama
拓紀 松山
小林 亘
Wataru Kobayashi
亘 小林
幸輝 野澤
Yukiteru Nozawa
幸輝 野澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2018015879A priority Critical patent/JP2019133468A/ja
Publication of JP2019133468A publication Critical patent/JP2019133468A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】データ容量を抑制させつつ、安定的に運用可能なデータ蓄積システム及びデータ蓄積装置を提供する。【解決手段】データ蓄積システムは、計測対象機器の計測データを収集したデータを送信するデータ収集装置と、データ収集装置から送信されたデータを受信して蓄積するデータ蓄積装置と、を備える。データ蓄積装置は、データ収集装置から送信されたデータを受信する受信部と、データ蓄積部と、受信部で受信されたデータが圧縮データの場合には、圧縮データの圧縮方式に基づいて、圧縮データを展開した後に再圧縮してからデータ蓄積部に保存するか、又はデータを展開及び再圧縮せずにデータ蓄積部に保存するかを制御する再圧縮制御部と、を有する。【選択図】図1

Description

本発明の実施形態は、データ蓄積システム及びデータ蓄積装置に関する。
近年、クラウドコンピューティング環境の発達や高速通信網の普及を背景として、携帯端末や、自動車、工場の製造設備などあらゆる装置をインターネット等のネットワークに接続して、各装置で計測された大量のデータを分析して、新規サービスの創造、装置・部品の故障予知、製造効率の改善など、いわゆるIoT(Internet of Things)による付加価値創造が活発に行われている。通常、携帯端末や自動車、製造装置といった現場機器から計測したデータは、サーバ側のストレージに統合的に蓄積されるのが一般的である。サーバ側ストレージに蓄積されるデータ量は、時間の経過と共に増大していくため、データを圧縮保存することにより、ストレージ運用コストの低減を図ることが求められている。
IoTシステムに限らず、種々のシステムにおいて、ストレージに蓄積されるデータ容量を抑制する技術が求められている。例えば、ロスを伴う方式で圧縮された画像データや映像データ等に含まれるJPEGヘッダ、JPEGブロック、I−フレームなどのコアデータユニット毎に最適化された手法でロスレス圧縮を行うことにより、ファイル容量を抑制する技術が提案されている。圧縮方式にも複数通りがあり、ロスレスの圧縮データといっても、圧縮効率が圧縮方式ごとに異なっており、ストレージに蓄積する圧縮データの圧縮方式を適正に管理及び運用する技術が求められている。
特許第5215442号公報
本発明が解決しようとする課題は、データ容量を抑制させつつ、安定的に運用可能なデータ蓄積システム及びデータ蓄積装置を提供するものである。
本実施形態によれば、計測対象機器の計測データを収集したデータを送信するデータ収集装置と、
前記データ収集装置から送信されたデータを受信して蓄積するデータ蓄積装置と、を備え、
前記データ蓄積装置は、
前記データ収集装置から送信されたデータを受信する受信部と、
データ蓄積部と、
前記受信部で受信されたデータが圧縮データの場合には、前記圧縮データの圧縮方式に基づいて、前記圧縮データを展開した後に再圧縮してから前記データ蓄積部に保存するか、又は前記データを展開及び再圧縮せずに前記データ蓄積部に保存するかを制御する再圧縮制御部と、を有する、データ蓄積システムが提供される。
第1の実施形態によるデータ蓄積システムの概略構成を示すブロック図。 集約部が生成する集約データの一例を示す図。 第1の実施形態による再圧縮制御部が行う処理手順の一例を示すフローチャート。 再圧縮情報記憶部のデータ構成を示す図。 第2の実施形態による再圧縮制御部が行う処理手順の一例を示すフローチャート。 第3の実施形態による再圧縮制御部が行う処理手順の一例を示すフローチャート。 図6の一変形例の処理手順を示すフローチャート。 第4の実施形態による再圧縮制御部が行う処理手順の一例を示すフローチャート。
以下、図面を参照して実施の形態について説明する。なお、本件明細書と添付図面においては、理解のしやすさと図示の便宜上、一部の構成部分を省略、変更または簡易化して説明および図示しているが、同様の機能を期待し得る程度の技術内容も、本実施の形態に含めて解釈することとする。
(第1の実施形態)
図1は第1の実施形態によるデータ蓄積システム1の概略構成を示すブロック図である。図1のデータ蓄積システム1は、不図示のIoTシステムに組み込まれる場合もありうる。図1のデータ蓄積システム1は、データ収集装置2と、データ蓄積装置3とを備えている。データ収集装置2とデータ蓄積装置3は、有線又は無線のネットワーク4を介して種々のデータを送受する。
データ収集装置2は、移動端末や自動車、製造装置など計測対象の現場機器から様々なデータを収集し、データ蓄積装置3に時系列データを送信する。データ収集装置2は、現場機器に付随して設置される。このため、データ蓄積システム1を内蔵するIoTシステムには、大量(数百台〜数万台)のデータ収集装置2が設けられる場合もありうる。また、IoTシステム全体の製造コストを抑えるため、処理性能の高い少数のデータ収集装置2と、処理性能の低い多数のデータ収集装置2とが混在して設けられる場合もありうる。
図1のデータ収集装置2は、複数のセンサ5と、複数の計測部6と、集約部7と、圧縮部8と、送信部9とを有する。複数のセンサ5は、現場機器の電圧、電流、温度、速度などの種々のデータを計測するものであり、現場機器の複数の場所に設置されている。複数の計測部6のそれぞれは、対応するセンサ5の出力信号を取得し、電圧値、電流値、温度、速度などの物理量データに変換する。集約部7は、複数の計測部6で収集されたデータを一定周期の時系列データの集合として集約データを生成する。図1のデータ収集装置2には、センサ5としてセンサAとセンサBの二つを設ける例を示しているが、センサ5の数には特に制限はない。センサ5の数に応じた数の計測部6が設けられる。
図2は集約部7が生成する集約データの一例を示す図である。図2の集約データは、時刻と、データ収集装置2の識別情報(ID:Identification)と、ある部位の電圧[V]と、ある部位を流れる電流[A]と、ある部位の温度[℃]とを対応づけたものである。図2に示すように、集約データは、時系列データである。時系列データの生成周期は、現場機器の特性により異なるが、例えば数ミリ秒〜数十秒程度である。図2は集約データの一例にすぎず、種々の変形例が考えられる。図2の集約データにデータ収集装置2の識別情報が含まれているのは、複数のデータ収集装置2が共通のネットワーク4を介してデータ蓄積装置3に集約データを送信することを念頭に置いたためである。
図1の圧縮部8は、集約データを圧縮して圧縮データを生成する。圧縮データを生成するのは、ネットワーク4を介して送受されるデータ量を削減して、通信コストを削減するためである。圧縮部8が採用する圧縮方式は任意であるが、本実施形態では、データ蓄積装置3に蓄積されたデータに基づいて、センサ5の計測データの特異点を検出したり、長期間のトレンドを分析することを念頭に置いている。よって、圧縮部8が集約データを圧縮する際には、元の集約データを無劣化で復元できることが求められる。このため、本実施形態では、ロスレスの圧縮方式が採用される。なお、ロスレスの圧縮方式にも複数通りがあり、各圧縮方式ごとに圧縮率やデータ収集装置2の処理負荷が異なる。よって、データ収集装置2の処理性能やネットワーク4の通信容量などにより、最適な圧縮方式を選択するのが望ましい。
送信部9は、圧縮部8で圧縮された圧縮データをネットワーク4に送信する。圧縮データは時系列データであるため、ネットワーク4には連続的又は断続的に圧縮データが送信される。なお、集約データのデータサイズが小さい場合など、圧縮効率のよいデータ圧縮ができない場合には、圧縮部8が圧縮データを生成しないこともありうる。この場合、送信部9は、集約データを無圧縮のままネットワーク4に送信する。
ネットワーク4は、データ収集装置2から送信されたデータをデータ蓄積装置3に送信する。センサ5の計測対象が自動車のような移動体の場合、携帯電話回線網などの無線ネットワーク4が利用される。また、工場の製造設備のような固定設備の場合は、有線ネットワーク4と無線ネットワーク4のいずれが利用されてもよい。
データ蓄積装置3は、データ収集装置2からの計測データをデータ蓄積装置3に送信する。IoTシステムは、ネットワーク4に接続されるデータ収集装置2の数や、送信データ量の増減に柔軟に対応できるようにクラウドコンピューティング技術を活用して構築されることが多い。大量のデータ収集装置2から継続的に計測データが送信される場合には、データを圧縮して保存することが必須である。これにより、データ蓄積装置3のデータ容量を抑制して、データ蓄積装置3の運用コストを削減することが重要である。
データ蓄積装置3は、受信部11と、再圧縮制御部12と、データ蓄積部13とを有する。受信部11は、ネットワーク4を介してデータ収集装置2から送信されたデータを受信する。再圧縮制御部12は、受信部11で受信されたデータが圧縮データの場合には、圧縮データの圧縮方式に基づいて、圧縮データを展開した後に再圧縮してからデータ蓄積部13に保存するか、又は圧縮データを展開及び再圧縮せずにデータ蓄積部13に保存するかを制御する。このように、再圧縮制御部12は、受信部11で受信されたデータを、そのデータの特徴により、より圧縮効率がよくなるように再圧縮または圧縮してデータ蓄積部13に保存するか、あるいは受信部11で受信されたデータをそのままデータ蓄積部13に保存する。
データ蓄積装置3は、再圧縮情報記憶部14とバッファ15の少なくとも一方を有していてもよい。再圧縮情報記憶部14は、後述するように、受信部11で受信されたデータの圧縮方式と再圧縮の可否との対応関係の情報を記憶する。バッファ15は、後述するように、無圧縮データのデータサイズが閾値以下の場合に、一時的に無圧縮データを保存する。
図3は第1の実施形態による再圧縮制御部12が行う処理手順の一例を示すフローチャートである。このフローチャートは、受信部11がネットワーク4経由でデータ収集装置2からのデータを受信したときに開始される。まず、受信部11で受信されたデータ(以下、受信データ)の圧縮方式を取得する(ステップS1)。受信データが圧縮データの場合、圧縮データのファイル名の拡張子から圧縮方式を決定することができる。例えば、拡張子が"zip"であればZIP方式、"lzh"であればLZH方式、"xz"であればLZMA方式のように決定する。また、圧縮データ中のマジックナンバにより圧縮方式を決定してもよい。マジックナンバとは、圧縮データ中の特定位置(通常は、圧縮データのファイルのヘッダ部分)に埋め込まれている圧縮方式固有のバイナリコードである。例えば、ZIP方式の場合、圧縮データのファイルのヘッダ部分の先頭から"PK¥03¥04"というバイナリコードが埋め込まれている。同様に、LZH方式のマジックナンバは、"−lh?−"(?はバージョン)、LZMA方式のマジックナンバは"¥FD7zXZ¥00"と決められている。
次に、ステップS1で取得された圧縮方式に基づいて、受信データの圧縮方式を判定する(ステップS2)。例えば、圧縮方式がLZMA方式の場合、それ以上の高効率の圧縮はできないと判断して、再圧縮は行わず、受信データをそのままデータ蓄積部13に保存して(ステップS3)、図3の処理を終了する。
図3の処理では、LZMA方式を最も高効率の圧縮方式としており、それ以外の圧縮方式の場合は、LZMA方式での再圧縮を行う。より具体的には、ステップS2で圧縮方式がZIP方式と判定された場合は、圧縮データの展開(ZIP展開)処理を行って、無圧縮データを生成する(ステップS4)。同様に、ステップS2で圧縮方式がLZH方式と判定された場合は、圧縮データの展開(LZH展開)処理を行って、無圧縮データを生成する(ステップS5)。
ステップS2で受信データが無圧縮データと判定された場合、あるいはステップS4又はS5の処理が終了した場合、無圧縮データをLZMA方式で圧縮した再圧縮データを生成し(ステップS6)、データ蓄積部13に保存する(ステップS7)。LZMA方式で圧縮された再圧縮データのデータサイズは、ZIP方式やLZH方式の圧縮データのデータサイズよりも小さいため、データ蓄積部13のデータ容量を抑制できる。
ステップS2〜S6の処理を行うにあたって、図4に示す再圧縮情報記憶部14を参照して再圧縮の有無を判定してもよい。図4の再圧縮情報記憶部14は、複数の圧縮方式のそれぞれと、再圧縮を行うか否かを示す再圧縮情報とを対応づけて記憶している。より具体的には、圧縮方式が無圧縮、ZIP方式又はLZH方式の場合は再圧縮を行うことを示す「可」であり、圧縮方式がLZMA方式の場合は再圧縮を行わないことを示す「否」である。再圧縮制御部12は、受信されたデータの圧縮方式を取得した場合には、再圧縮情報記憶部14を参照して、再圧縮の有無を判断して、ステップS3〜S6の処理を行ってもよい。
このように、第1の実施形態では、データ蓄積装置3で受信されたデータ収集装置2からの受信データの圧縮方式に基づいて、圧縮効率が最大のLZMA方式にて再圧縮又は圧縮したデータをデータ蓄積部13に保存するため、データ蓄積部13のデータ容量を抑制でき、データ蓄積装置3の運用コストを削減できる。特に、受信データがLZMA方式以外の圧縮方式で圧縮されている場合には、いったん受信データを無圧縮データに展開して、その後にLZMA方式に再圧縮するため、圧縮効率に優れたLZMA方式の圧縮データに統一的に揃えてからデータ蓄積部13に保存することができる。
(第2の実施形態)
もともとデータサイズが小さい受信データ等では、圧縮効率が高い圧縮方式で圧縮しても、必ずしもデータサイズが小さくなるとは限らない。そこで、第2の実施形態では、再圧縮又は圧縮後のデータと受信データのデータサイズを比較して、受信データのデータサイズの方が小さければ、受信データを再圧縮又は圧縮せずにデータ蓄積部13に保存するものである。
図5は第2の実施形態による再圧縮制御部12が行う処理手順の一例を示すフローチャートである。図5は図3と比べて、ステップS8が追加になっている。ステップS8は、ステップS6にて、LZMA方式で圧縮を行った後に行われる。例えば、データサイズが小さいデータ等については、LZMA方式で再圧縮を行っても、それほどデータサイズが小さくならないことがある。そこで、ステップS8では、受信データが再圧縮データよりもデータサイズが大きいか否かを判定する。受信データの方がデータサイズが大きい場合には、再圧縮データをデータ蓄積部13に保存し(ステップS7)、再圧縮データの方がデータサイズが大きい場合には、受信データをデータ蓄積部13に保存する(ステップS3)。
このように、第2の実施形態では、圧縮効率の高いLZMA方式で再圧縮した場合であっても、必ずしもデータサイズが小さくなるとは限らないことに着目して、再圧縮データのデータサイズを受信データのデータサイズと比較して、データサイズが小さい方のデータをデータ蓄積部13に保存するため、第1の実施形態よりもさらにデータ蓄積部13のデータ容量を抑制できる。
(第3の実施形態)
無圧縮データのデータサイズが小さい場合は、圧縮効率の高いLZMA方式で再圧縮又は圧縮しても、それほどデータサイズは小さくならない。そこで、第3の実施形態は、無圧縮データのデータサイズが小さい場合には、LZMA方式での再圧縮又は圧縮を行わないようにして、データ蓄積装置3の処理負荷を軽減するものである。
図6は第3の実施形態による再圧縮制御部12が行う処理手順の一例を示すフローチャートである。図6は図3と比べて、ステップS9が追加になっている。ステップS9は、ステップS2で受信データが無圧縮データと判定された場合、あるいはステップS4又はS5の処理が終了した場合に行われる。ステップS9では、無圧縮データのデータサイズが所定の閾値よりも大きいか否かを判定する。閾値の具体的な値は任意であり、任意に設定変更できるようにしてもよい。
無圧縮データのデータサイズが閾値よりも大きい場合には、無圧縮データをLZMA方式で再圧縮又は圧縮する(ステップS6)。無圧縮データのデータサイズが閾値以下の場合には、LZMA方式での再圧縮又は圧縮を行わずに、受信データをそのままデータ蓄積部13に保存する(ステップS3)。
図7は図6の一変形例の処理手順を示すフローチャートである。図7は、図6と比べて、ステップS9で無圧縮データのデータサイズが閾値以下であると判定された場合の処理が異なっている。図7では、ステップS9で無圧縮データのデータサイズが閾値以下であると判定されると、バッファ15に無圧縮データを保存する(ステップS10)。次に、バッファ15内のすべての無圧縮データを合わせたデータサイズが閾値以下か否かを判定する(ステップS11)。ステップS11で閾値以下と判定されると図7の処理を終了し、ステップS11で閾値より大きいと判定されると、ステップS6に移行し、バッファ15内のすべての無圧縮データを一括してLZMA方式で再圧縮又は圧縮する。
このように、第3の実施形態では、無圧縮データのデータサイズが小さい場合には、無圧縮データをどの圧縮方式で圧縮しても、それほどデータサイズを縮小できないことに着目して、無圧縮データのデータサイズが閾値以下の場合には、LZMA方式での再圧縮又は圧縮を行わずに、無圧縮データをデータ蓄積部13に保存する。これにより、データ蓄積装置3の処理負荷を軽減できる。
また、第3の実施形態では、データサイズが小さい複数の無圧縮データのデータサイズ総量が閾値を超えたときに、これら無圧縮データをまとめてLZMA方式で再圧縮又は圧縮するため、データ蓄積装置3の処理負荷を増やすことなく、効率よくLZMA方式での再圧縮又は圧縮を行うことができる。
(第4の実施形態)
第4の実施形態は、データ蓄積装置3が過負荷状態のときには、LZMA方式での再圧縮又は圧縮を行わないようにするものである。
図8は第4の実施形態による再圧縮制御部12が行う処理手順の一例を示すフローチャートである。図8は図3と比べてステップS12が追加になっている。ステップS12はステップS1の前に行われる。ステップS12では、データ蓄積装置3の処理負荷を計測し、過負荷状態か否かを判定する。過負荷状態と判定された場合は、ステップS2、S4〜S7の圧縮データの展開処理と、LZMA方式での再圧縮又は圧縮処理を行わずに、受信データをそのままデータ蓄積部13に保存する(ステップS3)。過負荷状態でないと判定された場合には、図3と同様にステップS2〜S7の処理を行う。
データ蓄積装置3が過負荷状態か否かは、例えば、データ蓄積装置3内の不図示のCPU(Central Processing Unit)の使用率や、不図示のメインメモリの使用率等をモニタして判断する。例えば、CPUの使用率が80%を超えていれば、過負荷状態と判断してもよい。
このように、第4の実施形態では、データ蓄積装置3が過負荷状態か否かをまず判定し、過負荷状態であれば、圧縮データの展開処理と、LZMA方式での再圧縮又は圧縮処理を行わずに、受信データをそのままデータ蓄積部13に保存するため、データ蓄積装置3に過度の処理負荷をかけなくて済み、データ蓄積装置3を安定に運用することができる。
上述した第1〜第4の実施形態では、圧縮方式として、ZIP方式、LZH方式及びLZMA方式を例示し、LZMA方式が最も圧縮効率がよい例を説明したが、LZMA方式よりも圧縮効率がよい圧縮方式が存在する場合には、その圧縮方式にて再圧縮を行ってもよい。また、データ収集装置2が集約データを圧縮する圧縮方式は、上述した3つの圧縮方式以外の任意の圧縮方式を採用可能である。
上述した実施形態で説明したデータ蓄積システム1及びデータ蓄積装置3の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、データ蓄積システム1及びデータ蓄積装置3の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
また、データ蓄積システム1及びデータ蓄積装置3の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 データ蓄積システム、2 データ収集装置、3 データ蓄積装置、4 ネットワーク、5 センサ、6 計測部、7 集約部、8 圧縮部、9 送信部、11 受信部、12 再圧縮制御部、13 データ蓄積部、14 再圧縮情報記憶部、15 バッファ

Claims (8)

  1. 計測対象機器の計測データを収集したデータを送信するデータ収集装置と、
    前記データ収集装置から送信されたデータを受信して蓄積するデータ蓄積装置と、を備え、
    前記データ蓄積装置は、
    前記データ収集装置から送信されたデータを受信する受信部と、
    データ蓄積部と、
    前記受信部で受信されたデータが圧縮データの場合には、前記圧縮データの圧縮方式に基づいて、前記圧縮データを展開した後に再圧縮してから前記データ蓄積部に保存するか、又は前記データを展開及び再圧縮せずに前記データ蓄積部に保存するかを制御する再圧縮制御部と、を有する、データ蓄積システム。
  2. 前記再圧縮制御部は、前記圧縮データが所定の圧縮方式で圧縮されている場合には、前記圧縮データを展開及び再圧縮せずに前記データ蓄積部に保存し、前記圧縮データが前記所定の圧縮方式以外の圧縮方式で圧縮されている場合には、前記圧縮データを展開して無圧縮データを生成した後、前記無圧縮データを前記所定の圧縮方式で圧縮したデータを生成して前記データ蓄積部に保存し、前記受信部で受信されたデータが無圧縮の場合には、前記受信部で受信されたデータを前記所定の圧縮方式で圧縮したデータを前記データ蓄積部に保存する、請求項1に記載のデータ蓄積システム。
  3. 前記データ蓄積装置は、複数の圧縮方式のそれぞれと、再圧縮を行うか否かを示す再圧縮情報とを対応づけて記憶する再圧縮情報記憶部を有し、
    前記再圧縮制御部は、前記再圧縮情報記憶部を参照することにより、前記受信部で受信されたデータの圧縮方式に対応する前記再圧縮情報に基づいて、前記無圧縮データを前記所定の圧縮方式で圧縮したデータを生成して前記データ蓄積部に保存するか、又は前記圧縮データを展開及び再圧縮せずに前記データ蓄積部に保存するかを制御する、請求項2に記載のデータ蓄積システム。
  4. 前記再圧縮制御部は、前記受信部で受信されたデータのデータサイズが前記所定の圧縮方式で圧縮されたデータのデータサイズよりも大きい場合には、前記所定の圧縮方式で圧縮されたデータを前記データ蓄積部に保存し、前記受信部で受信されたデータのデータサイズが前記所定の圧縮方式で圧縮されたデータのデータサイズ以下の場合には、前記受信部で受信されたデータを前記データ蓄積部に保存する、請求項2に記載のデータ蓄積システム。
  5. 前記再圧縮制御部は、前記圧縮データを展開した無圧縮データ又は前記受信部で受信された無圧縮データのデータサイズが所定の閾値より大きい場合には、前記無圧縮データを前記所定の圧縮方式で圧縮したデータを前記データ蓄積部に保存し、前記圧縮データを展開した無圧縮データ又は前記受信部で受信された無圧縮データのデータサイズが前記閾値以下と判定された場合には、前記無圧縮データを前記データ蓄積部に保存する、請求項2に記載のデータ蓄積システム。
  6. 前記再圧縮制御部は、前記圧縮データを展開した無圧縮データ又は前記受信部で受信された無圧縮データのデータサイズが所定の閾値より大きい場合には、前記無圧縮データを前記所定の圧縮方式で圧縮したデータを前記データ蓄積部に保存し、前記閾値以下と判定された複数の前記無圧縮データのデータサイズの総量が前記閾値を超えた場合に、前記複数の無圧縮データをまとめて前記所定の圧縮方式で圧縮して前記データ蓄積部に保存する、請求項2に記載のデータ蓄積システム。
  7. 前記再圧縮制御部は、前記データ蓄積装置が過負荷状態か否かを判定し、前記過負荷状態と判定された場合には、前記受信部で受信されたデータを展開及び再圧縮せずに前記データ蓄積部に保存する、請求項2乃至6のいずれか一項に記載のデータ蓄積システム。
  8. 計測対象機器の計測データを収集して圧縮した圧縮データを送信するデータ収集装置からの前記圧縮データを受信する受信部と、
    データ蓄積部と、
    前記受信部で受信されたデータが圧縮データの場合には、前記圧縮データの圧縮方式に基づいて、前記圧縮データを展開した後に再圧縮してから前記データ蓄積部に保存するか、又は前記データを展開及び再圧縮せずに前記データ蓄積部に保存するかを制御する再圧縮制御部と、を備える、データ蓄積装置。
JP2018015879A 2018-01-31 2018-01-31 データ蓄積システム及びデータ蓄積装置 Pending JP2019133468A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018015879A JP2019133468A (ja) 2018-01-31 2018-01-31 データ蓄積システム及びデータ蓄積装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018015879A JP2019133468A (ja) 2018-01-31 2018-01-31 データ蓄積システム及びデータ蓄積装置

Publications (1)

Publication Number Publication Date
JP2019133468A true JP2019133468A (ja) 2019-08-08

Family

ID=67546298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018015879A Pending JP2019133468A (ja) 2018-01-31 2018-01-31 データ蓄積システム及びデータ蓄積装置

Country Status (1)

Country Link
JP (1) JP2019133468A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021043843A (ja) * 2019-09-13 2021-03-18 日立オートモティブシステムズ株式会社 転送装置、電子制御装置及びこれを製造する方法
CN112749129A (zh) * 2019-10-30 2021-05-04 大唐移动通信设备有限公司 文件处理方法、文件处理服务器、文件汇聚服务器及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021043843A (ja) * 2019-09-13 2021-03-18 日立オートモティブシステムズ株式会社 転送装置、電子制御装置及びこれを製造する方法
CN112749129A (zh) * 2019-10-30 2021-05-04 大唐移动通信设备有限公司 文件处理方法、文件处理服务器、文件汇聚服务器及装置
CN112749129B (zh) * 2019-10-30 2024-03-19 大唐移动通信设备有限公司 文件处理方法、文件处理服务器、文件汇聚服务器及装置

Similar Documents

Publication Publication Date Title
US20080025298A1 (en) Techniques for balancing throughput and compression in a network communication system
US8902090B2 (en) Compressing and decompressing signal data
US8599048B2 (en) Systems and methods for compression of logical data objects for storage
US20110167173A1 (en) Optimal Compression Process Selection Methods
US8238290B2 (en) Compressing data in a wireless multi-hop network
US20130198272A1 (en) Operation log storage system, device, and program
CN114731162A (zh) 压缩数据的部分下载
US20200250129A1 (en) Rdma data sending and receiving methods, electronic device, and readable storage medium
KR102559290B1 (ko) 하이브리드 클라우드 기반의 실시간 데이터 아카이빙 방법 및 시스템
US20200210411A1 (en) Data storage in blockchain-type ledger
JP2019133468A (ja) データ蓄積システム及びデータ蓄積装置
JP6647340B2 (ja) 改善されたファイルの圧縮及び暗号化
US20230132037A1 (en) Storage system and data processing method in storage system
US11470002B2 (en) Data compression transmission system, intermediate server, method, and program
CN110597461B (zh) 块链式账本中的数据存储方法、装置及设备
CN112335203B (zh) 处理局域网诊断数据
Vestergaard et al. Titchy: Online time-series compression with random access for the internet of things
CN104572964A (zh) 一种压缩文件的解压方法和装置
WO2021166039A1 (ja) 端末、集約装置、制御回路、記憶媒体、および、データ収集方法
CN113590021B (zh) 存储***
JP2830697B2 (ja) データ処理装置
Fehér et al. Stream compression of dlms smart meter readings
Mrewa et al. Optimizing Medical IoT Disaster Management with Data Compression
CN114337680B (zh) 一种压缩处理方法、装置、存储介质及电子设备
CN116208168A (zh) 一种数据压缩方法、数据解压方法及装置