JP7328799B2 - ストレージシステムおよび記憶制御方法 - Google Patents

ストレージシステムおよび記憶制御方法 Download PDF

Info

Publication number
JP7328799B2
JP7328799B2 JP2019109585A JP2019109585A JP7328799B2 JP 7328799 B2 JP7328799 B2 JP 7328799B2 JP 2019109585 A JP2019109585 A JP 2019109585A JP 2019109585 A JP2019109585 A JP 2019109585A JP 7328799 B2 JP7328799 B2 JP 7328799B2
Authority
JP
Japan
Prior art keywords
data
statistics
statistic
compression
types
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019109585A
Other languages
English (en)
Other versions
JP2020201185A (ja
Inventor
貴洋 成子
弘明 圷
彬史 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019109585A priority Critical patent/JP7328799B2/ja
Priority to CN202010160384.9A priority patent/CN112087234A/zh
Priority to EP20163179.3A priority patent/EP3751743A1/en
Priority to US16/822,982 priority patent/US11580196B2/en
Publication of JP2020201185A publication Critical patent/JP2020201185A/ja
Application granted granted Critical
Publication of JP7328799B2 publication Critical patent/JP7328799B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3068—Precoding preceding compression, e.g. Burrows-Wheeler transformation
    • H03M7/3079—Context modeling
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Recording Measured Values (AREA)
  • Debugging And Monitoring (AREA)

Description

本発明は、概して、データの圧縮および伸長を行う記憶制御に関するものである。
データ量を削減するストレージシステムが知られている（例えば特許文献１）。その種のストレージシステムは、一般に、圧縮によりデータ量を削減する。既存の圧縮方法の１つとして、ランレングス法のように、所定のブロック単位内で出現頻度の高い文字列を辞書化し、より小さなサイズの符号に置換する方法が知られている。
ランレングス法のような可逆圧縮よりも、データ量を削減する技術として、非可逆圧縮技術が知られている。例えば、特許文献２は、センサデータをパワースペクトルと位相スペクトルに変換し、パワーの値が予め設定された閾値を下回る周波数において、パワーと位相の値を記録対象から除外することで、データ量を削減する。
特開2007-199891号公報 US6529927B1
センサデータの解析では、統計的な解析を行うために、データの確率分布（例えば、ノイズの平均と分散など）を保つことが精度要件として求められる場合がある。しかし、特許文献２では、確率分布を保つことが精度要件として与えられた場合に、圧縮率が悪化しうるという課題がある。例えば、ホワイトノイズを含むセンサデータを仮定する。特許文献２に開示の技術は、センサデータのパワースペクトルが周波数帯によって異なる場合に、相対的にパワーが小さい周波数帯において、パワーと位相の値を破棄することで、センサデータを圧縮する。しかし、ホワイトノイズでは、パワーが全周波数帯に均等に分布する。このため、センサデータの統計的な性質を保つ場合、特許文献２では、特定の周波数帯の値を破棄することができず、圧縮率が悪化する。
近年、機械学習ベースの圧縮伸長器が知られている。その種の圧縮伸長器の一例として、オートエンコーダがある。オートエンコーダは、ニューラルネットワークにより構成されており、特定分野のデータを学習することで、学習データと同一分野のデータに特化した圧縮が可能になる。
一般に、ニューラルネットワークは、ロス関数に設定された関数の値を小さくするように学習される。圧縮伸長器を構成するニューラルネットワークにおいては、典型的には、入力と出力の誤差を指標化する関数（誤差関数）がロス関数として設定される。
オートエンコーダを圧縮伸長器として採用した一比較例に係るストレージシステムを本願発明者が鋭意検討した結果、以下の知見を得るに至った。
ロス関数に設定された誤差関数が精度要件に従う誤差関数と異なる場合、精度要件を満たすうえで不要な情報が圧縮結果に残ることとなり、結果として、圧縮率が悪化する。例えば、センサデータにおいて、1秒毎の平均値を統計量として保つことが精度要件である場合を考える。この精度要件を充足させるためには、センサデータを1秒間のウィンドウに区切ったときに、各ウィンドウ内の値の和が圧縮前後で一致していれば十分であり、ウィンドウ内の個々の値を記録する必要はない。この場合、ロス関数の一例として平均2乗誤差が設定されると、統計量の精度に影響しない情報（例えば、ウィンドウ内の個々の値）が圧縮結果に記録されてしまい、結果として、圧縮率が悪化する。
以上のような課題は、センサデータ以外の時系列データの非可逆圧縮が、オートエンコーダ以外の機械学習ベースの圧縮伸長器を用いて行われるケースについてもあり得る。
時系列データの非可逆圧縮を機械学習ベースの圧縮伸長器を用いて行うストレージシステムが、元データ（圧縮伸長器に入力される時系列データ）に関し、１種類以上の統計量の各々について、前記１つ以上のパラメタを基に統計量値を計算し、当該元データに対応した伸長データ（圧縮伸長器から出力された時系列データ）に関し、上記１種類以上の統計量の各々について、１つ以上のパラメタを基に統計量値を計算する。圧縮伸長器の機械学習は、元データに関し１種類以上の統計量の各々について計算された統計量値と、伸長データに関し１種類以上の統計量の各々について計算された統計量値とを基に行われる。
本発明によれば、１つ以上のパラメタに基づき計算される統計量の精度である精度要件に影響しない情報（つまり、統計量の計算に必要な情報以外の情報）を、圧縮結果（圧縮後データ）から除外できる。このため、統計量の同一の精度要件に関し、比較例に比べ、圧縮率が改善する。
一実施形態に係るシステム全体の構成図。 統計量パラメタ設定画面の構成図。 統計量品質確認画面の構成図。 RAMの構成図。 統計量パラメタ管理テーブルの構成図。 統計量品質管理テーブルの構成図。 初期設定処理のフロー図。 第1のプログラム設定処理のフロー図。 第2のプログラム設定処理のフロー図。 データ書き込み処理のフロー図。 統計量品質計算処理のフロー図。 データ読み出し処理のフロー図。 ストレージシステムの概要の一例を示す模式図。
以下の説明では、「インタフェース装置」は、1つ以上のインタフェースデバイスでよい。当該1つ以上のインタフェースデバイスは、下記のうちの少なくとも1つでよい。
・1つ以上のI/O（Input/Output）インタフェースデバイス。I/O（Input/Output）インタフェースデバイスは、I/Oデバイスと遠隔の表示用計算機とのうちの少なくとも1つに対するインタフェースデバイスである。表示用計算機に対するI/Oインタフェースデバイスは、通信インタフェースデバイスでよい。少なくとも1つのI/Oデバイスは、ユーザインタフェースデバイス、例えば、キーボードおよびポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでもよい。
・1つ以上の通信インタフェースデバイス。1つ以上の通信インタフェースデバイスは、1つ以上の同種の通信インタフェースデバイス（例えば1つ以上のNIC（Network Interface Card））であってもよいし二つ以上の異種の通信インタフェースデバイス（例えばNICとHBA（Host Bus Adapter））であってもよい。
また、以下の説明では、「メモリ」は、1つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも1つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。
また、以下の説明では、「永続記憶装置」は、1つ以上の永続記憶デバイスである。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）であり、具体的には、例えば、HDD（Hard Disk Drive）またはSSD（Solid State Drive）である。
また、以下の説明では、「記憶装置」は、永続記憶装置のような物理的な記憶装置でもよいし、物理的な記憶装置に関連付けられた論理的な記憶装置でもよい。
また、以下の説明では、「プロセッサ」は、1つ以上のプロセッサデバイスである。少なくとも1つのプロセッサデバイスは、典型的には、CPU（Central Processing Unit）のようなマイクロプロセッサデバイスであるが、GPU（Graphics Processing Unit）のような他種のプロセッサデバイスでもよい。少なくとも1つのプロセッサデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも1つのプロセッサデバイスは、プロセッサコアでもよい。少なくとも1つのプロセッサデバイスは、処理の一部または全部を行うハードウェア回路（例えばFPGA（Field-Programmable Gate Array）またはASIC（Application Specific Integrated Circuit））といった広義のプロセッサデバイスでもよい。
また、以下の説明では、「ｘｘｘテーブル」といった表現にて、入力に対して出力が得られる情報を説明することがあるが、当該情報は、どのような構造のデータでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、1つのテーブルは、2つ以上のテーブルに分割されてもよいし、2つ以上のテーブルの全部または一部が1つのテーブルであってもよい。
また、以下の説明では、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶装置および／またはインタフェース装置等を用いながら行うため、処理の主語が、プロセッサ（或いは、そのプロセッサを有する装置）とされてもよい。プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読み取り可能な（例えば非一時的な）記録媒体であってもよい。また、以下の説明において、2つ以上のプログラムが1つのプログラムとして実現されてもよいし、1つのプログラムが2つ以上のプログラムとして実現されてもよい。
また、以下の説明では、「ストレージシステム」は、オンプレミス型のストレージシステムでもよいし、クラウド型のストレージシステムでもよいし、エッジシステム（例えば、複数のセンサからデータを収集するシステム）とコアシステム（例えば、複数のセンサから収集されたデータをエッジシステムから受信するシステム）とのうちの一方または全体でもよい。
また、以下の説明では、「圧縮伸長器」の一例として、オートエンコーダが採用されるが、オートエンコーダ以外の圧縮伸長器が採用されてもよい。圧縮伸長器の一例は、データモデルでよい。データモデルは、データの生成規則、モデルおよび実行主体のいずれでもよい。例えば、データモデルは、数式処理、波形の形状、確率分布などの規則性を表現したバイナリ列でよい。データモデルは、元データ（圧縮前の時系列データ）を入力とし伸長データ（元データの圧縮後のデータが伸長されたデータ）を出力としてよい。データモデルに、例えば、一般的なニューラルネットワークや、生成モデル（例えば、GMM（Gaussian Mixture Models）、HMM（Hidden Markov Model）、SCFG（Stochastic Context-Free Grammar）、GAN（Generative Adversarial Nets）またはVAE（Variational Auto Encoder））、遺伝的プログラミングなどが用いられてもよい。また、データモデルの情報量削減のためにMimic Model等のモデル圧縮が適用されてもよい。
また、以下の説明では、「時系列データ」の一例として、複数の時刻に対応した複数のセンサデータセットを有するセンサデータが採用される。「センサデータセット」は、例えば、センサID、測定値、および、時刻（例えば、測定時刻または付与されたタイムスタンプ）を示す情報を含んだデータセットでよい。「データセット」は、アプリケーションプログラムのようなプログラムから見た1つの論理的な電子データの塊であり、例えば、レコード、ファイル、キーバリューペアおよびタプルのうちのいずれでもよい。本発明は、センサデータ以外の時系列データにも適用されてよい。たとえば、カメラにより撮影された画像の集合を時系列データとしてみなしてもよい。この場合、時刻あたりのデータは3次元のテンソルとなる。この場合、センサデータセットは、例えば、カメラのID、画像を表す3次元テンソル、および、撮影時刻を示す情報を含んだデータセットとなる。
次に、本発明の実施形態を図面に基づいて説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。
（1）システム構成
まず、本発明が適用されるシステム構成について図1を用いて説明する。図1は、本発明が適用されるシステム例の概要について示しており、本発明は、図1を例とするシステムに適用可能なものである。
ストレージノード100、センササーバ120、および、管理サーバ130が、スイッチ140に接続される。スイッチ140は、ストレージノード100、センササーバ120および管理サーバ130を相互に接続する。なお、ストレージノード100、センササーバ120および管理サーバ130は、それぞれ独立したコンピュータであってもよいし、同一のコンピュータ上で動作する異なる仮想マシン等の仮想的なコンピュータであってもよいし、それらの組み合わせにより構成されてもよい。また、ストレージノード100、センササーバ120、および、管理サーバ130の各々は、1つである必要はなく、複数あってもよい。また、スイッチ140に代えて、通信ネットワーク（例えば、LAN（Local Area Network）、WAN（Wide Area Network）またはインターネット）が採用されてもよい。
センササーバ120は、プロセッサ、メモリおよびインタフェース装置などのハードウェア資源と、センサのドライバなどのソフトウェア資源を備えたコンピュータである。センササーバ120は、1つ、または、複数のセンサ110がそれぞれ生成するデータ（センサデータセット）を集約し、ストレージノード100に送信する。
管理サーバ130は、プロセッサ、メモリ、インタフェース装置およびローカル入出力デバイスなどのハードウェア資源と、管理プログラムなどのソフトウェア資源を備えたコンピュータである。管理サーバ130は、管理プログラムによって、ローカル出力デバイス（典型的には表示デバイス）を介して、図2、および、図3のような管理画面を表示する。さらに、管理サーバ130は、システムユーザ（例えば管理者）が統計量パラメタ設定画面200（図2参照）に入力した装置設定を、ストレージノード100からの要求に対して応答する機能を有する。なお、管理サーバ130は、ローカル出力デバイスを備える代わりに、ネットワークにより接続された他のコンピュータへ出力を転送してもよい。また、ローカル入力デバイスを備える代わりに、スイッチ140経由で他のコンピュータから入力を受領してもよい。
ストレージノード100は、フロントエンドインタフェース101、プロセッサ102、キャッシュメモリ103、RAM104、バックエンドインタフェース107、および、これらを相互に接続するスイッチ108を備える。フロントエンドインタフェース101およびバックエンドインタフェース107がインタフェース装置の一例である。キャッシュメモリ103およびRAM104が、記憶装置（例えばメモリ）の一例である。
フロントエンドインタフェース101は、スイッチ140を介して、ストレージノード100を、センササーバ120と管理サーバ130に通信可能に接続するデバイスである。
プロセッサ102は、スイッチ108を介して、RAM104のプログラム領域105に記録された1つ以上のプログラム、および、RAM104の管理領域106に記録された管理情報を基に、ストレージノード100全体を制御する。プロセッサ102は、CPUのような、汎用的な演算処理器のほかに、GPUやFPGAのような、アクセラレータであってもよく、また、それらの組み合わせであってもよい。
キャッシュメモリ103は、書き込み対象のデータを、圧縮処理が完了するまで、一時的に保持する記憶装置である。キャッシュメモリ103は、DRAM（Dynamic Random Access Memory）などの揮発性素子で構成されてもよいし、HDDやSSDなどの不揮発性ドライブであってもよい。
バックエンドインタフェース107は、ストレージノード100と、HDDやSSDなどの不揮発性ドライブ150を通信可能に接続するデバイスである。
以上で説明した、フロントエンドインタフェース101、プロセッサ102、キャッシュメモリ103、RAM104、および、バックエンドインタフェース107は、ASICや、FPGAとして、1つの半導体素子により構成されてもよいし、複数の個別のIC（Integrated Circuit）を相互に接続した構成であってもよい。また、ストレージノード100および管理サーバ130が、ストレージシステムの構成要素であってもよいし、さらに、一つ以上のドライブ150も、ストレージシステムの構成要素であってもよい。
（2）管理画面
図2は、管理サーバ130のローカル出力デバイスに出力される統計量パラメタ設定画面200を表す図である。
統計量パラメタ設定画面200は、第1のインタフェース（例えば、第1のUI（User Interface））の一例であり、例えばGUI（Graphical User Interface）である。統計量パラメタ設定画面200は、統計量パラメタ入力フィールド201と、完了ボタン204とを有する。
統計量パラメタ入力フィールド201は、ユーザに統計量の種別とパラメタを入力させるためのテーブル形式の領域である。統計量パラメタ入力フィールド201の各行202は、統計量の種類とパラメタとの1つの組合せに対応する。統計量パラメタ入力フィールドの各列203は、統計量の種類やパラメタに対応する。1つの組合せを例に取ると、例えば、下記の通りである。
・「統計量種類」の列203には、“平均”や“分散”などの、統計量の種類が入力される（以下、この段落において、「対象種類」）。
・「センサ」の列203には、対象種類に属する統計量の計算対象とするセンサのIDが入力される。
・「サンプル数」の列203には、対象種類に属する統計量の計算に用いる値のサンプル数が入力される。
・「計算頻度」の列203には、対象種類に属する統計量を計算する時間間隔が入力される。
なお、「サンプル数」や「計算頻度」といったパラメタ項目は、一例にすぎず、故に、図2に例示したパラメタ項目以外のパラメタ項目が追加されてもよいし、例示した少なくとも1つのパラメタ項目が省略されてもよい。また、統計量パラメタ入力フィールド201は、統計量の種類やパラメタを、ユーザにテキスト形式で指定させるインタフェースほか、ドロップダウンリストやラジオボタンなどのインタフェースで実装されてもよい。また、統計量パラメタ設定画面200は、統計量の種類やパラメタを、JSON（JavaScript Object Notation）などのデータ記述言語により、ユーザに指定させてもよい（JavaScriptは登録商標）。
完了ボタン204は、ユーザ（例えばシステムユーザ）から統計量パラメタ入力フィールド201への入力の完了の通知を受け付けるためのボタンである。
図3は、管理サーバ130のローカル出力デバイスに出力される統計量品質確認画面300を表す図である。
統計量品質確認画面300は、第2のインタフェース（例えば、第2のUI）の一例であり、例えばGUI（Graphical User Interface）である。統計量品質確認画面300は、統計量パラメタ入力フィールド201で指定された各統計量について、圧縮により生じる誤差の大きさを、ユーザに表示するための画面である。統計量品質確認画面300は、データID入力フィールド301と、表示ボタン302と、統計量品質フィールド303とを有する。
データID入力フィールド301は、統計量の誤差を表示する対象とするデータを指定させるための入力フィールドである。データID入力フィールド301には、センサ110がデータを生成した時刻の区間が指定されてもよいし、センササーバ120がストレージノード100に何度目に送信したデータであるかを表す番号が指定されてもよいし、その他、センサデータ（時系列データの一例）の範囲を特定する任意の情報が指定されてもよい。
表示ボタン302は、データID入力フィールド301に入力された情報をユーザに確定させるためのボタンである。表示ボタン302が押下されると、管理サーバ130は、データID入力フィールド301に入力された情報をストレージノード100に送信し、ストレージノード100からの応答が示す値を、統計量品質フィールド303に設定する。
統計量品質フィールド303の行304は、統計量の種類とパラメタの組合せに対応し、故に、統計量パラメタ入力フィールド201の行202と一対一で対応する。統計量品質フィールド303の各列305は、データID入力フィールド301に入力された情報から特定されるセンサデータにおける統計量の誤差（例えば、平均2乗誤差や最大誤差といった種々の誤差）に対応する。なお、統計量の指標化は、例に示した平均2乗誤差と最大誤差に限定するものではなく、任意の指標が追加されてもよい。
（3）RAM構成
図4は、RAM104の構成を表す図である。
RAM104は、プロセッサ102が実行するプログラムを格納するプログラム領域105と、プロセッサ102がプログラムの命令に従って読み書きする管理情報を格納する管理領域106とを含む。
プログラム領域105に格納される1つ以上のプログラムは、例えば、初期設定動作プログラム400、統計設定プログラム401、ロス設定プログラム402、データ書き込みプログラム403、データ読み出しプログラム404、統計量品質計算プログラム405、指定統計量計算プログラム406、統計量計算プログラム407、ロス関数プログラム408、データベースプログラム409、および、圧縮伸長プログラム420を含む。
初期設定動作プログラム400は、管理情報の初期化を行う。統計設定プログラム401は、指定統計量計算プログラム406の設定を行う。ロス設定プログラム402は、ロス関数プログラム408の設定を行う。
データ書き込みプログラム403は、センササーバ120からの要求に応じて、圧縮伸長器の学習、書き込み対象データの圧縮、および、圧縮結果（圧縮後データ）の不揮発性ドライブ150への書き込みを行う。
データ読み出しプログラム404は、センササーバ120や管理サーバ130などからの要求に対して、不揮発性ドライブ150から圧縮結果を読み出し、データを伸長し、伸長されたデータを応答する。
統計量品質計算プログラム405は、統計量パラメタ設定画面200を介してユーザに指定された統計量について、圧縮伸長処理によりデータに生じる誤差を計算する。
指定統計量計算プログラム406は、プログラムに入力として与えられたデータに対し、統計量パラメタ設定画面200を介してユーザに指定された統計量の値を計算するプログラムである。
指定統計量計算プログラム406は、統計量パラメタ設定画面200にてユーザに指定された統計量に基づいて、初期設定動作プログラム400が設定する。
統計量計算プログラム407は、平均、分散、中央値などの、統計量を計算するプログラムの集合である。これらのプログラムは、引数として、統計量の計算対象となるセンサデータに加え、対象センサ、サンプル数、計算頻度などの、パラメタを受け取る。一般に、センサデータのサイズ（例えば、センサデータを構成するセンサデータセットの数）は、統計量を計算する際のサンプル数よりも大きい。このため、少なくとも1つの統計量計算プログラム407は、センサデータを指定されたサンプル数のウィンドウに区切り、各ウィンドウについて統計量を計算する。このため、1つのセンサデータから複数の統計量の値が計算できる。ゆえに、統計量計算プログラム407の戻り値は、一般に、統計量からなるテンソルとなる。なお、統計量の計算は、時刻の異なるデータの間で行うものに限らない。例えば、時系列データの各時刻におけるデータが画像などのテンソルである場合、同テンソルに対して統計量を計算してもよい。また、各テンソルをより小さなテンソルに分割し、各サブテンソルについて統計量を計算してもよい。
ロス関数プログラム408は、指定統計量計算プログラム406で計算される統計量を用いて、ニューラルネットワークの学習に用いるロス関数の値を計算するプログラムである。ロス関数プログラム408は、初期設定動作プログラム400により、初期化時に設定される。
データベースプログラム409は、圧縮結果を管理するためのデータベースのソフトウェアのプログラムである。データベースプログラム409には、圧縮結果を複数の不揮発性ドライブ150に分散して書き込む機能や、ストレージノード100が複数存在する場合には複数のストレージノード100間でデータを分散して格納する機能を含んでよい。また、データベースプログラム409は、他のプログラムに対し、データの格納と読み出しを提供するための、機能およびAPI（Application Programming Interface）を提供してよい。
圧縮伸長プログラム420は、センサデータの圧縮伸長器を構成するニューラルネットワークを、指定された学習データとロス関数で学習する機能と、学習した圧縮伸長器によりセンサデータを圧縮する機能と、圧縮後のデータからセンサデータを伸長する機能を提供する。圧縮伸長プログラム420が、圧縮伸長器を含んでもよい。
管理領域106に格納される管理情報は、例えば、統計量パラメタ管理テーブル410、および、統計量品質管理テーブル411を含む。なお、これらのテーブルは、ハッシュテーブルや2分木など、テーブル以外のデータ構造で実装されてもよい。
図5は、統計量パラメタ管理テーブル410を表す図である。
統計量パラメタ管理テーブル410は、管理サーバ130を介して、ユーザに設定された統計量のパラメタを保持する。統計量パラメタ管理テーブル410の各行501は、管理サーバ130の統計量パラメタ設定画面200において、ユーザにより指定された各統計量に対応する。統計量パラメタ管理テーブル410の列502には、管理サーバ130の統計量パラメタ設定画面200において、ユーザにより指定された、統計量の種類が格納される。統計量パラメタ管理テーブル410の列503は、管理サーバ130の統計量パラメタ設定画面200において、ユーザにより指定された、統計量のパラメタ（例えば、計算対象とするセンサ、統計量を計算する際のサンプル数、統計量の計算頻度など）に対応する。
図6は、統計量品質管理テーブル411を表す図である。
統計量品質管理テーブル411は、統計量品質計算プログラムの計算結果を保持するテーブルである。統計量品質管理テーブル411の各行601は、管理サーバ130において、ユーザにより指定された各統計量に対応する。また、統計量品質管理テーブルの各列602は、平均2乗誤差や、最大誤差など、ストレージノード100にプリセットされた、統計量の誤差を測る指標に対応する。指標は平均2乗誤差や最大誤差に限定するものではなく、2つのテンソルを入力として、1つのスカラ値を計算する関数により計算される任意の指標が使われてもよい。
（4）ストレージノード100の初期設定動作概要
図7は、初期設定処理のフロー図である。
初期設定動作プログラム400は、ストレージノード100の初回起動、ユーザによるストレージノード100のリセットボタンの押下、および、管理サーバ130からの指示などを契機として、プロセッサ102により開始される（S700）。
S701では、プロセッサ102が、スイッチ108、フロントエンドインタフェース101、および、スイッチ140を介して、管理サーバ130に対し、統計量パラメタ設定画面200をローカル出力デバイスへ表示する処理を指示する。指示を受領すると、管理サーバ130は、統計量パラメタ設定画面200をローカル出力デバイスに出力し、ユーザに統計量の種類とパラメタを入力させる。
S702では、プロセッサ102が、スイッチ108、フロントエンドインタフェース101、および、スイッチ140を介して、管理サーバ130に、統計量パラメタ入力フィールド201に入力された値を要求し、応答された値を受領する。管理サーバ130は、ストレージノード100からの要求に対し、完了ボタン204がユーザに押下された後であれば、統計量パラメタ入力フィールド201内のパラメタをストレージノード100に応答する。完了ボタン204がユーザに押下されていない場合、管理サーバ130は、押下まで待機し、押下され次第、統計量パラメタ入力フィールド201内のパラメタをストレージノード100に応答する。なお、S702は、プロセッサ102が管理サーバ130にパラメタを要求するプル型の情報採取を前提としたステップであるが、プル型の情報採取に代えて、管理サーバ130がストレージノード100へ能動的にパラメタを送信するプッシュ型の情報採取が採用されてもよい。その場合、管理サーバ130が送信したパラメタをフロントエンドインタフェース101が受領するまで、プロセッサ102が、待機してよい。
S703では、プロセッサ102が、S702にて取得したパラメタを、統計量パラメタ管理テーブル410に格納する。
S704では、プロセッサ102が、統計設定プログラム401を呼び出す。
S705では、プロセッサ102が、ロス設定プログラム402を呼び出す。
S705の後、プロセッサ102は、初期設定動作プログラム400を終了する（S706）。
図8は、第1のプログラム設定処理のフロー図である。
第1のプログラム設定処理は、統計設定プログラム401により行われる。統計設定プログラム401は、図7のS704での呼び出しにより、開始される（S800）。
S801では、プロセッサ102が、図示しない指定プログラム領域（RAM104における一領域）に、「処理なし（NOP）」を意味するプログラムを書き込むことで、指定プログラム領域を初期化する。
S802～S806は、統計量パラメタ管理テーブル410の行501ごとに実行される。以下、一つの行501を例に取る（図8の説明において「ループ対象行」と呼ぶ）。
S803では、プロセッサ102が、統計量パラメタ管理テーブル410のループ対象行の列502から、統計量の種類を特定する。
S804では、プロセッサ102が、統計量パラメタ管理テーブル410のループ対象行の列503から、統計量のパラメタを取得する。
S805では、「S803で特定した統計量種類に属する統計量値を計算する統計量計算プログラム407を、S804で取得したパラメタを引数にして呼び出す処理」を、指定プログラム領域におけるプログラム（S801で書き込まれたプログラム）に、プロセッサ102が追記する。
S807では、「S805で計算した統計量値群（1つ以上の統計量値）を戻り値として、指定統計量計算プログラム406を終了する処理」を、指定プログラム領域におけるプログラム（S805での追記の後のプログラム）に、プロセッサ102が追記する。
S807の後、プロセッサ102は、統計設定プログラム401を終了する（S808）。
これにより、指定プログラム領域に指定統計量計算プログラム406が作成されたことになる。
図9は、第2のプログラム設定処理のフロー図である。
第2のプログラム設定処理は、ロス設定プログラム402により行われる。ロス設定プログラム402は、図7のS705での呼び出しにより、開始される（S900）。
S901では、プロセッサ102が、ロス関数プログラム領域（RAM104における一領域）に、「処理なし（NOP）」を表すプログラムを書き込み、ロス関数プログラム領域を初期化する。
S902では、「圧縮伸長器の入力データを引数として、指定統計量計算プログラム406を呼び出す処理」を、ロス関数プログラム領域におけるプログラム（S901で書き込まれたプログラム）に、プロセッサ102が追記する。
S903では、「圧縮伸長器の出力データを引数として、指定統計量計算プログラム406を呼び出す処理」を、ロス関数プログラム領域におけるプログラム（S902での追記の後のプログラム）に、プロセッサ102が追記する。
S904では、「S902で追記録された処理にて計算される統計量値群である統計量値群Aと、S903で追記された処理にて計算される統計量値群である統計量値群Bとの間の誤差群を構成する1つ以上の誤差の各々を指標化する処理」を、ロス関数プログラム領域におけるプログラム（S903での追記の後のプログラム）に、プロセッサ102が追記する。指標化の方法の例として、統計量値群Aと統計量値群Bの間の平均2乗誤差が挙げられるが、指標化の方法はこれに限定するものではなく、複数の統計量からなる統計量群2組から、スカラ値を計算する関数であれば、どのような方法であってもよい。また、指標化の方法は、ストレージノード100に静的に設定されている必要はなく、管理サーバ130が統計量パラメタ設定画面200を介して、ユーザに指定させてもよい。例えば、統計量パラメタ設定画面200を介して、各統計量nについて、誤差の指標化方法f_nと、その目標値g_nを、ユーザに指定させ、統計量値群Aの統計量値a_nと、統計量値群Bの統計量値b_nに対して、誤差を指定の方法で指標化(f_n(a_n, b_n))し、その値と目標値g_nの最大値max(f_n(a_n, b_n), g_n)を求め、その値の全統計量における和Sum(max(f_n(a_n, b_n), g_n))を最終的な誤差の指標とすることができる。このとき、各統計量の誤差指標f_n(a_n, b_n)を、目標値g_nより小さくするように、圧縮伸長器を学習しても、ロス関数の値は減少しない。ゆえに、圧縮伸長器を構成するニューラルネットワークは、既に誤差指標が目標値を下回る統計量ではなく、他の統計量や、他の時刻における統計量nの誤差の指標化値f_n(a_n, b_n)を改善するように、学習される。これにより、時刻や特徴量による誤差のバラツキを抑制し、ユーザに指定される誤差目標を満たす、時刻と統計量の割合を増加させることができる。なお、各統計量値a_nおよびb_nは、各統計量種類に対応する、時間方向の長さを持つベクトルであってもよいし、また、その時刻ごとの値であってもよい。また、時系列データの各時刻におけるデータが画像などのテンソルである場合、そのテンソルをより小さなテンソルに分解し、その各サブテンソルについて誤差を計算し、目標値との最大値を採ってもよい。たとえば、複数の画像から構成される時系列データについて、各画像をパッチに区切り、そのパッチ毎に、元画像のパッチa_nと、圧縮伸長後の画像のパッチb_nの間の画質（例えば、ピーク信号対雑音比やMulti-scale Structured Similarity）をf_nとすることができる。このとき、上記の方法で定義されるロス関数を用いることで、画像間および画像内のパッチ間で画質が目標値付近で均一化されるように、圧縮伸長器を学習させることができる。
また、ロス関数に、誤差を表す項に加え、圧縮率を改善するための項、たとえば、圧縮器の出力値のエントロピーを表す項、を加える場合がある。この場合、誤差の項と圧縮率の項の割合、つまり、圧縮率の項に乗算する係数（以下、圧縮係数）により、圧縮率と誤差のトレードオフを調節することが可能である。一般に、圧縮係数は手動で設定されるが、本発明の一実施形態では、誤差が目標値を下回る統計量が存在する場合に、圧縮係数に小さい値を設定し、その他の場合に、圧縮係数に大きい値を設定するように、圧縮係数を制御する。これにより、誤差が目標を満たすまでは、誤差の最小化を優先した学習がなされる一方、目標達成後は圧縮率の改善を優先した学習となり、誤差と圧縮率のトレードオフにおいて、ユーザにとって最適な圧縮伸長器が得られる。以上によって、ユーザから指定された統計量の誤差が、指定の目標値を下回る範囲内で、圧縮率が最適化されるという効果が得られる。
S905では、「S904で追記した処理にて計算した指標を戻り値として、ロス関数プログラム408を終了する処理」を、ロス関数プログラム領域におけるプログラム（S904での追記の後のプログラム）に、プロセッサ102が追記する。
S905の後、プロセッサ102は、ロス設定プログラム402を終了する（S906）。
これにより、ロス関数プログラム領域にロス関数プログラム408が作成されたことになる。
以上、図9のステップにより設定されるロス関数プログラム408は、圧縮伸長器の入力データと出力データを入力として受け取り、ユーザにより統計量パラメタ設定画面200に入力された統計量について、2つの入力の間の誤差を出力するプログラムとなる。
なお、図9のフロー図では、ユーザに指定された統計量の誤差をロス関数として計算するように、ロス関数プログラム408を設定したが、圧縮後のデータ量や、圧縮伸長器の入力データと出力データの間の平均2乗誤差など、統計量の誤差以外の指標を、統計量の誤差に加算する処理などを、ロス関数プログラム領域にプロセッサ102が追記してもよい。それにより、それらの指標をロス関数に反映させることができる。
（5）データ書き込み処理
図10は、データ書き込み処理のフロー図である。
データ書き込み処理は、データ書き込みプログラム403により行われる。データ書き込みプログラム403は、センササーバ120からの書き込みデータを、ストレージノード100のフロントエンドインタフェース101が受領することを契機として、プロセッサ102により開始される（S1000）。
S1001では、フロントエンドインタフェース101が受領した書き込み対象データを、プロセッサ102が、キャッシュメモリ103に格納する。
S1002では、プロセッサ102が、圧縮伸長器を構成するニューラルネットワークを、圧縮伸長プログラム420により学習する。学習データには、S1001にてキャッシュメモリ103内に格納したセンサデータが用いられる。ロス関数の値は、元データ（キャッシュメモリ103内のセンサデータ）と、伸長データ（当該元データを圧縮伸長器の入力としたときに、圧縮伸長器から得られる出力データ）との組を引数として、ロス関数プログラム408を実行することで計算される。ニューラルネットワークの学習アルゴリズムとして、逆誤差伝播法が用いられている場合、ロス関数における勾配の値は、一般に知られる自動微分法にて計算されてもよいし、ロス設定プログラム402において、偏微分の値を計算するプログラムを生成し、それを実行することにより計算されてもよい。また、S1002をスキップし、前回S1002を実行した際に学習された圧縮伸長器を、以降のステップで再利用してもよい。
S1003では、圧縮伸長プログラム420が提供する圧縮機能により、S1002にて学習した圧縮伸長器を用いて、S1001にてキャッシュメモリ103内に格納したセンサデータを、プロセッサ102が圧縮する。圧縮後データには、データを伸長するために必要な全ての情報が含まれる。圧縮後データに含まれる情報は、圧縮伸長器の方式により異なるが、例えば、圧縮伸長器がオートエンコーダにより構成される場合、デコーダのパラメタの値と、中間ベクトルの値を、圧縮後データが含む。
S1004では、プロセッサ102が、S1003にて得た圧縮後データを引数として、統計量品質計算プログラム405を呼び出す。
S1005では、プロセッサ102が、S1003にて得た圧縮後データを、データベースプログラム409が提供するデータベースに登録する。
S1006では、プロセッサ102が、統計量品質管理テーブル411から、統計量品質に関する全ての値を取得し、データベースプログラム409が提供するデータベースに登録する。
S1006の後、プロセッサ102は、データ書き込みプログラム403を終了する（S1007）。
図11は、統計量品質計算処理のフロー図である。
統計量品質計算処理は、統計量品質計算プログラム405により行われる。統計量品質計算プログラム405は、図10のS1004での呼び出しにより、開始される（S1100）。
S1101では、プロセッサ102が、圧縮伸長プログラム420が提供する伸長機能を用いて、引数として与えられた圧縮後データから、センサデータを伸長する。センサデータの伸長方法は、圧縮伸長器の方式により異なるが、例えば、圧縮伸長器がオートエンコーダにより構成される場合、圧縮後データに含まれるパラメタの値を設定したデコーダに、圧縮後データに含まれる中間ベクトルの値を入力することにより、センサデータを得る。
S1102～S1111は、統計量パラメタ管理テーブル410の行501ごとに実行される。以下、一つの行501を例に取る（図11の説明において「ループ対象行」と呼ぶ）。
S1103では、プロセッサ102が、統計量パラメタ管理テーブル410のループ対象行の列502から、統計量の種類を特定する。
S1104では、プロセッサ102が、統計量パラメタ管理テーブル410のループ対象行の列503から、統計量のパラメタを取得する。
S1105では、プロセッサ102が、S1101にて伸長したセンサデータと、S1104にて取得したパラメタを引数に、S1103にて特定した統計量種類に対応する統計量計算プログラム407を呼び出す。
S1106では、プロセッサ102が、キャッシュメモリ103内のセンサデータと、S1104にて取得したパラメタとを引数に、S1103にて特定した統計量種類に対応する統計量計算プログラム407を呼び出す。
S1107～S1110は、統計量品質管理テーブル411の列602ごとに実行される。以下、一つ列602を例に取る（図11の説明において「ループ対象列」と呼ぶ）。
S1108では、プロセッサ102が、S1105にて計算した統計量のテンソルと、S1106にて計算した統計量のテンソルとから、ループ対象列の指標に対応する誤差を計算する。例えば、ループ対象列が「平均2乗誤差」を表す列である場合、プロセッサ102は、2つのテンソルの平均2乗誤差を計算する。
S1109では、プロセッサ102が、統計量品質管理テーブル411の、ループ対象行に対応する行601の、ループ対象列602に、S1108にて計算した誤差を格納する。
S1102～S1111のループが終了すると、プロセッサ102は、統計量品質計算プログラム405を終了する（S1112）。
（6）センサデータ読み出し処理
図12は、データ読み出し処理のフロー図である。
データ読み出し処理は、データ読み出しプログラム404により行われる。データ読み出しプログラム404は、フロントエンドインタフェース101が、センササーバ120や管理サーバ130などのコンピュータからのデータ読み出し要求を受領することを契機として、プロセッサ102により開始される（S1200）。なお、データ読み出しの要求元は、センササーバ120と管理サーバ130に限定されるものでなく、スイッチ140を介してストレージノード100と接続された任意のコンピュータでもよい。
S1201では、プロセッサ102が、フロントエンドインタフェース101が受領した読み出し要求を解析し、読み出し対象の圧縮後データを、データベースプログラム409が提供するデータベースから取得する。
S1202では、プロセッサ102が、圧縮伸長プログラム420が提供する伸長機能を用いて、S1201にて取得した圧縮後データから、センサデータを伸長する。センサデータの伸長方法は、圧縮伸長器の方式により異なるが、例えば、圧縮伸長器がオートエンコーダにより構成される場合、圧縮後データに含まれるパラメタの値を設定したデコーダに、圧縮後データに含まれる中間ベクトルの値を入力することにより、センサデータを得る。
S1203では、プロセッサ102が、S1202にて伸長したセンサデータを、フロントエンドインタフェース101を介して、要求元のコンピュータへ応答する。
S1203の後、プロセッサ102は、データ読み出しプログラム404を終了する（S1204）。
（7）統計量品質応答処理
統計量品質確認画面300において、表示ボタン302がユーザによって押下されると、管理サーバ130は、データID入力フィールド301に設定された値とともに、統計量品質の要求を、ストレージノード100に送信する。
ストレージノード100のフロントエンドインタフェース101が統計量品質の要求を受領することを契機として、プロセッサ102は、統計量の品質を管理サーバ130に応答するための処理を開始する。
まず、プロセッサ102は、フロントエンドインタフェース101が受領したデータIDを取得する。次に、プロセッサ102は、S1006にてデータベースに登録した統計量品質の情報のうち、当該IDに対応する情報を、データベースプログラム409が提供するデータベースから取得する。次に、プロセッサ102は、データベースから取得した統計量品質を、フロントエンドインタフェース101を介して、管理サーバ130に応答する。
管理サーバ130は、ストレージノード100からの応答を受領すると、受領した統計量品質の値を、統計量品質確認画面300の、統計量品質フィールド303に表示する。
このような統計量品質応答処理は、例えば、データ読み出しプログラム404および統計量品質計算プログラム405のうちの少なくとも1つがプロセッサ102により実行されることで行われてよい。
以上、本発明の一実施形態に係るストレージシステムについて説明した。
上述の説明を、例えば、図13を参照して、下記のように総括することができる。
ストレージシステム50は、記憶装置59（例えばドライブ150）に接続されたインタフェース装置58（例えばバックエンドインタフェース107）と、時系列データ（例えばセンサデータ）の非可逆圧縮を機械学習ベースの圧縮伸長器13を用いて行い当該非可逆圧縮がされた時系列データである圧縮後データを記憶装置59に格納するプロセッサ52（例えばプロセッサ102）とを有する。圧縮伸長器13への入力は、圧縮前の時系列データである元データ16であり、当該元データ16についての当該圧縮伸長器からの出力は、当該元データ16の圧縮後データが伸長されたデータである伸長データ17である。プロセッサ52が、1種類以上の統計量の各々について当該統計量の計算に必要な1つ以上のパラメタの入力を受け付けるインタフェースである第1のインタフェース55を提供する。1種類以上の統計量の各々について第1のインタフェース55を介して入力された1つ以上のパラメタを基に圧縮伸長器13の機械学習が行われる。機械学習が行われた後の圧縮伸長器13を用いて元データ16の圧縮が行われ元データ16の圧縮後データが記憶装置59に格納される。これにより、第1のインタフェース55を介して指定されたパラメタに基づき計算される統計量の精度である精度要件に影響しない情報（つまり、統計量の計算に必要な情報以外の情報）を、圧縮結果（圧縮後データ）から除外できる。すなわち、第1のインタフェース55を介して指定されたパラメタに基づき学習された圧縮伸長器13による圧縮後のデータには、統計量の精度要件に影響しない情報が含まれない。このため、統計量の同一の精度要件に関し、比較例に比べ、圧縮率が改善する。
例えば、センサデータの非可逆圧縮では、そのアプリケーションが必要とする統計量等の情報はデータごとに異なるが、上述のストレージシステム50によれば、ユーザの指定に基づいて、圧縮結果に残す統計量を制御することができる。
また、上述のストレージシステム50には、センサデータ以外の時系列データ、例えば、音声データの非可逆圧縮にも適用できる。例えば、第1のインタフェース55は、統計量種類“パワースペクトル”についてパラメタ（周波数：100Hz-200Hz）を受け付けてもよい。
プロセッサ52が、1種類以上の統計量の各々について第1のインタフェースを介して入力された1つ以上のパラメタを含む管理情報41（例えば統計量パラメタ管理テーブル410を含む情報）を管理する。これにより、統計量種類ごとに1以上のパラメタの管理が可能である。なお、ストレージシステム50は、例えばメモリ54（例えばRAM104）を有し、メモリ54が、管理情報41を格納してよい。
プロセッサ52が、元データ16に関し、1種類以上の統計量の各々について、第1のインタフェース55を介して入力された1つ以上のパラメタを基に統計量値を計算する。プロセッサ52が、当該元データ16に対応した伸長データ17に関し、1種類以上の統計量の各々について、第1のインタフェース55を介して入力された1つ以上のパラメタを基に統計量値を計算する。圧縮伸長器13の機械学習は、元データ16に関し1種類以上の統計量の各々について計算された統計量値と、伸長データ17に関し1種類以上の統計量の各々について計算された統計量値とを基に行われる。このようにして、第1のインタフェース55を介して入力された1つ以上のパラメタを基に圧縮伸長器13の機械学習を行うことができる。
圧縮伸長器13の機械学習は、当該圧縮伸長器に設定された目的関数20を基に行われるようになっている。プロセッサ52が、1種類以上の統計量の各々について、元データ16に関し1種類以上の統計量の各々について計算された統計量値と、伸長データ17に関し1種類以上の統計量の各々について計算された統計量値との差に関する1種類以上の値（誤差）を、圧縮伸長器13の目的関数20に設定する。目的関数20の一例として、ロス関数がある。一般的に、ロス関数には、時刻間などで誤差の平均値が用いられる。しかし、時刻間で誤差を均一化する方法は、存在しない。このため、時刻毎に誤差のバラツキが生じる課題がある。また、ロス関数に、誤差を表す項に加え、圧縮率を改善するための項を加える場合がある。この場合、誤差の項と圧縮率の項の割合、つまり、圧縮率の項に乗算する係数（以下、圧縮係数）により、圧縮率と誤差のトレードオフを調節することが可能である。しかし、一般に、圧縮係数と誤差と圧縮率との関係は分からない。そのような関係の調整のために、圧縮係数を変えた多数の圧縮伸長器を学習させなければならず、時間を要する。ストレージシステム50によれば、そのような課題が解決される。すなわち、時刻や統計量間の誤差のバラツキを削減できる。例えば、ユーザから指定された誤差の目標値を受け付けるインタフェース（例えばUI）が提供されてよく、そのようなインタフェースを介して指定された目標値を満たす範囲内で、圧縮率を最適化するように、ロス関数を設定したり、圧縮係数を自動調整することができる。
1種類以上の統計量は、平均と分散のうちの少なくとも1つを含んでよい。1種類以上の統計量のうちの少なくとも1種類の統計量について、1つ以上のパラメタは、サンプル数および計算頻度を含んでよい。このようなパラメタを、統計量の計算に必要なパラメタとして指定することがされてよい。
プロセッサ102が、元データ16に関し1種類以上の統計量の各々について計算された統計量値と機械学習後の圧縮伸長器の圧縮後データが伸長されたデータ17に関し1種類以上の統計量の各々について計算された統計量値との差に従う統計量品質を表示したインタフェースである第2のインタフェース56を提供してよい。これにより、ユーザは、機械学習後の圧縮伸長器13により圧縮され伸長されたデータ17から得られる統計量の品質を知ることができる。なお、統計量品質は、元データ16に関し1種類以上の統計量の各々について計算された統計量値と、当該元データ16の圧縮後データの伸長データ17に関し1種類以上の統計量の各々について計算された統計量値との差に関する1種類以上の値でよい。
統計量種類も、第1のインタフェース55を介して指定されてよい。これにより、統計量の計算に必要な情報をより正確に指定することが可能である。
以上、一実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲をこの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実行することが可能である。
100：ストレージノード

Claims (9)

  1. 記憶装置に接続されたインタフェース装置と、
    時系列データの非可逆圧縮を機械学習ベースの圧縮伸長器を用いて行い、当該非可逆圧縮がされた時系列データである圧縮後データを前記記憶装置に格納するプロセッサと
    を有し、
    前記圧縮伸長器への入力は、圧縮前の時系列データである元データであり、当該時系列データについての前記圧縮伸長器からの出力は、当該時系列データの圧縮後データが伸長されたデータである伸長データであり、
    機械学習が行われた後の圧縮伸長器を用いて前記時系列データの圧縮が行われ、当該時系列データの圧縮後データが前記記憶装置に格納され、
    前記圧縮伸長器の機械学習は、当該圧縮伸長器に設定された目的関数を基に行われるようになっており、
    前記プロセッサが、
    前記元データに関し、１種類以上の統計量の各々について、１つ以上のパラメタを基に統計量値を計算し、
    当該元データに対応した前記伸長データに関し、前記１種類以上の統計量の各々について、前記１つ以上のパラメタを基に統計量値を計算し、
    前記元データに関し前記１種類以上の統計量の各々について計算された統計量値と、前記伸長データに関し前記１種類以上の統計量の各々について計算された統計量値との差に関する１種類以上の値を、前記圧縮伸長器の目的関数に設定する、
    ストレージシステム。
  2. 前記目的関数は、ロス関数である、
    請求項１に記載のストレージシステム。
  3. 前記１種類以上の統計量は、平均と分散のうちの少なくとも１つを含み、
    前記１種類以上の統計量のうちの少なくとも１種類の統計量について、前記１つ以上のパラメタは、サンプル数および計算頻度を含む、
    請求項１に記載のストレージシステム。
  4. 前記プロセッサが、１種類以上の統計量の各々について当該統計量の計算に必要な１つ以上のパラメタの入力を受け付けるインタフェースである第１のインタフェースを提供する
    請求項１に記載のストレージシステム。
  5. 前記プロセッサが、前記１種類以上の統計量の各々について前記第１のインタフェースを介して入力された１つ以上のパラメタを含む情報を管理する、
    請求項４に記載のストレージシステム。
  6. 前記プロセッサが、
    前記元データに関し、前記１種類以上の統計量の各々について、前記第１のインタフェースを介して入力された１つ以上のパラメタを基に統計量値を計算し、
    前記機械学習後の圧縮伸長器の圧縮後データに対応した伸長データに関し、前記１種類以上の統計量の各々について、前記第１のインタフェースを介して入力された１つ以上のパラメタを基に統計量値を計算し、
    前記元データに関し前記１種類以上の統計量の各々について計算された統計量値と前記伸長データに関し前記１種類以上の統計量の各々について計算された統計量値との差に従う統計量品質を表示したインタフェースである第２のインタフェースを提供する、
    請求項４に記載のストレージシステム。
  7. 前記統計量品質は、前記元データに関し前記１種類以上の統計量の各々について計算された統計量値と、前記伸長データに関し前記１種類以上の統計量の各々について計算された統計量値との差に関する１種類以上の値である、
    請求項６に記載のストレージシステム。
  8. 前記統計量の種類は、前記第１のインタフェースを介して指定された種類である、
    請求項４に記載のストレージシステム。
  9. データを圧縮して記憶装置に格納するストレージシステムの記憶制御方法であって、
    非可逆圧縮に使用され機械学習ベースの圧縮伸長器に入力される時系列データである元データに関し、１種類以上の統計量の各々について、１つ以上のパラメタを基に統計量値を計算し、
    前記圧縮伸長器の機械学習は、当該圧縮伸長器に設定された目的関数を基に行われるようになっており、
    前記圧縮伸長器から出力され前記元データに対応した伸長データに関し、前記１種類以上の統計量の各々について、前記１つ以上のパラメタを基に統計量値を計算し、
    前記元データに関し前記１種類以上の統計量の各々について計算された統計量値と、前記伸長データに関し前記１種類以上の統計量の各々について計算された統計量値との差に関する１種類以上の値を、前記圧縮伸長器の目的関数に設定する、
    記憶制御方法。
JP2019109585A 2019-06-12 2019-06-12 ストレージシステムおよび記憶制御方法 Active JP7328799B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019109585A JP7328799B2 (ja) 2019-06-12 2019-06-12 ストレージシステムおよび記憶制御方法
CN202010160384.9A CN112087234A (zh) 2019-06-12 2020-03-10 存储***和存储控制方法
EP20163179.3A EP3751743A1 (en) 2019-06-12 2020-03-13 Storage system and storage control method
US16/822,982 US11580196B2 (en) 2019-06-12 2020-03-18 Storage system and storage control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019109585A JP7328799B2 (ja) 2019-06-12 2019-06-12 ストレージシステムおよび記憶制御方法

Publications (2)

Publication Number Publication Date
JP2020201185A JP2020201185A (ja) 2020-12-17
JP7328799B2 true JP7328799B2 (ja) 2023-08-17

Family

ID=69845845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019109585A Active JP7328799B2 (ja) 2019-06-12 2019-06-12 ストレージシステムおよび記憶制御方法

Country Status (4)

Country Link
US (1) US11580196B2 (ja)
EP (1) EP3751743A1 (ja)
JP (1) JP7328799B2 (ja)
CN (1) CN112087234A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114077609B (zh) * 2022-01-19 2022-04-22 北京四维纵横数据技术有限公司 数据存储及检索方法，装置，计算机可读存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323401A (ja) 2006-06-01 2007-12-13 Kagawa Univ データ処理装置，データ復元装置，データ処理方法及びデータ復元方法
JP2017161973A (ja) 2016-03-07 2017-09-14 三菱電機インフォメーションネットワーク株式会社 データ格納装置及びデータ格納プログラム
JP2018061091A (ja) 2016-10-03 2018-04-12 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ データ圧縮装置、データ再現装置、データ圧縮方法、データ再現方法及びデータ転送方法
JP2018206016A (ja) 2017-06-02 2018-12-27 株式会社日立製作所 機械学習システム及び機械学習方法
JP2019040423A (ja) 2017-08-25 2019-03-14 日本電信電話株式会社 検知装置、検知方法および検知プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5423325A (en) * 1993-03-12 1995-06-13 Hewlett-Packard Corporation Methods for enhancement of HRV and late potentials measurements
US6011868A (en) * 1997-04-04 2000-01-04 Hewlett-Packard Company Bitstream quality analyzer
US6529927B1 (en) 2000-03-31 2003-03-04 The Regents Of The University Of California Logarithmic compression methods for spectral data
JP4757038B2 (ja) 2006-01-25 2011-08-24 株式会社日立製作所 ストレージシステム及び記憶制御装置
US8306039B2 (en) * 2008-12-15 2012-11-06 Ciena Corporation Methods and systems for automatic transport path selection for multi-homed entities in stream control transmission protocol
JP7017861B2 (ja) * 2017-03-23 2022-02-09 株式会社日立製作所 異常検知システムおよび異常検知方法
US20190081637A1 (en) * 2017-09-08 2019-03-14 Nvidia Corporation Data inspection for compression/decompression configuration and data type determination
US10679129B2 (en) * 2017-09-28 2020-06-09 D5Ai Llc Stochastic categorical autoencoder network
JP6826021B2 (ja) * 2017-11-20 2021-02-03 株式会社日立製作所 ストレージシステム
US11717686B2 (en) * 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
US20190228110A1 (en) * 2018-01-19 2019-07-25 General Electric Company System and method for abstracting characteristics of cyber-physical systems
US11902369B2 (en) * 2018-02-09 2024-02-13 Preferred Networks, Inc. Autoencoder, data processing system, data processing method and non-transitory computer readable medium
CA3095109A1 (en) * 2018-03-23 2019-09-26 Memorial Sloan Kettering Cancer Center Deep encoder-decoder models for reconstructing biomedical images
WO2019199995A1 (en) * 2018-04-11 2019-10-17 Dolby Laboratories Licensing Corporation Perceptually-based loss functions for audio encoding and decoding based on machine learning
US11915144B2 (en) * 2018-10-02 2024-02-27 Nokia Technologies Oy Apparatus, a method and a computer program for running a neural network
US11037278B2 (en) * 2019-01-23 2021-06-15 Inception Institute of Artificial Intelligence, Ltd. Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323401A (ja) 2006-06-01 2007-12-13 Kagawa Univ データ処理装置，データ復元装置，データ処理方法及びデータ復元方法
JP2017161973A (ja) 2016-03-07 2017-09-14 三菱電機インフォメーションネットワーク株式会社 データ格納装置及びデータ格納プログラム
JP2018061091A (ja) 2016-10-03 2018-04-12 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ データ圧縮装置、データ再現装置、データ圧縮方法、データ再現方法及びデータ転送方法
JP2018206016A (ja) 2017-06-02 2018-12-27 株式会社日立製作所 機械学習システム及び機械学習方法
JP2019040423A (ja) 2017-08-25 2019-03-14 日本電信電話株式会社 検知装置、検知方法および検知プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Caglar Aytekin, Francesco Cricri, Antti Hallapuro, Jani Lainema, Emre Aksu, Miska Hannuksela，A Compression Objective and a Cycle Loss for Neural Image Compression，Electrical Engineering and Systems Science，米国，2019年05月24日，p.1-5，https://doi.org/10.48550/arXiv.1905.10371

Also Published As

Publication number Publication date
US20200394256A1 (en) 2020-12-17
EP3751743A1 (en) 2020-12-16
US11580196B2 (en) 2023-02-14
JP2020201185A (ja) 2020-12-17
CN112087234A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN106960219B (zh) 图片识别方法及装置、计算机设备及计算机可读介质
US11604584B2 (en) Storage system
JP2020522794A (ja) ニューラルネットワーク分類
CN111026915A (zh) 视频分类方法、视频分类装置、存储介质与电子设备
US8005992B1 (en) Scalable storage and retrieval of multiple asynchronous signals
US11775806B2 (en) Method of compressing neural network model and electronic apparatus for performing the same
EP3889795A1 (en) Data management system, data management method, and recording medium with data management program recorded thereon
US20150012644A1 (en) Performance measurement method, storage medium, and performance measurement device
US10334011B2 (en) Efficient sorting for a stream processing engine
WO2023020456A1 (zh) 网络模型的量化方法、装置、设备和存储介质
JP7328799B2 (ja) ストレージシステムおよび記憶制御方法
CN113723618A (zh) 一种shap的优化方法、设备及介质
WO2021177394A1 (ja) データ処理システムおよびデータ圧縮方法
CN116703659A (zh) 一种应用于工程咨询的数据处理方法、装置及电子设备
JP6772737B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP6346378B2 (ja) データの管理装置及びデータの管理方法
US20240153260A1 (en) Information processing system, information processing device, information processing method, and storage medium
CN112035159B (zh) 一种稽核模型的配置方法、装置、设备及存储介质
EP3716489A1 (en) Storage system and data recording method
CN112085218A (zh) 特征衍生方法、装置、电子设备以及计算机可读介质
CN108664368B (zh) 处理器性能指标评估方法及设备
WO2023070424A1 (zh) 一种数据库数据的压缩方法及存储设备
KR102413753B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체에 저장된 정보 처리 프로그램
CN112612415B (zh) 一种数据处理方法、装置、电子设备及存储介质
US11924069B2 (en) Time-series telemetry data compression

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230804

R150 Certificate of patent or registration of utility model

Ref document number: 7328799

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150