JP2022000940A - Data compression evaluation system, data compression system, and data compression evaluation method - Google Patents
Data compression evaluation system, data compression system, and data compression evaluation method Download PDFInfo
- Publication number
- JP2022000940A JP2022000940A JP2020106033A JP2020106033A JP2022000940A JP 2022000940 A JP2022000940 A JP 2022000940A JP 2020106033 A JP2020106033 A JP 2020106033A JP 2020106033 A JP2020106033 A JP 2020106033A JP 2022000940 A JP2022000940 A JP 2022000940A
- Authority
- JP
- Japan
- Prior art keywords
- data
- model
- unit
- compression
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 107
- 238000013144 data compression Methods 0.000 title claims abstract description 62
- 238000004458 analytical method Methods 0.000 claims abstract description 244
- 238000006243 chemical reaction Methods 0.000 claims abstract description 186
- 238000007906 compression Methods 0.000 claims abstract description 103
- 230000006835 compression Effects 0.000 claims abstract description 103
- 238000012360 testing method Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims description 9
- 230000006872 improvement Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Debugging And Monitoring (AREA)
Abstract
Description
本発明は、状況解析手法に適したデータ圧縮方法を評価するデータ圧縮評価システムに関する。 The present invention relates to a data compression evaluation system that evaluates a data compression method suitable for a situation analysis method.
高精度カメラやＬｉＤＡＲ等のセンサ類を安価に使用できるようになり、多様なシーンで質の高いデータを取得が可能になっている。一方、解析技術に関しても、ＧＰＵの数値計算能力の向上によって、非常に多くの行列演算が実行できるようになっている。このようなデータの取得技術と解析技術の進歩によって、解析精度は大幅に向上している。しかし、記録装置や通信端末の容量制限により、センサ記録端末から得られるデータは圧縮されて記録及び伝送されることから、その後の解析精度が低下することがある。解析精度の低下原因の一つとして、解析手法によってデータにおける重要な特徴量は異なるが、重要性を考慮せずに均一的にデータを圧縮していることがある。そこで、圧縮の際に解析推定精度の低下を抑制できるデータを多く残すように圧縮することが求められる。 Sensors such as high-precision cameras and LiDAR can be used at low cost, and high-quality data can be acquired in various scenes. On the other hand, with regard to analysis technology, the improvement of the numerical calculation ability of the GPU has made it possible to execute a large number of matrix operations. With such advances in data acquisition technology and analysis technology, analysis accuracy has been greatly improved. However, due to the capacity limitation of the recording device or the communication terminal, the data obtained from the sensor recording terminal is compressed and recorded and transmitted, so that the subsequent analysis accuracy may decrease. One of the causes of the decrease in analysis accuracy is that the important features in the data differ depending on the analysis method, but the data is compressed uniformly without considering the importance. Therefore, it is required to compress so as to leave a large amount of data that can suppress a decrease in analysis estimation accuracy during compression.
特許文献１（特開２０１７-９１２３４号）には、車両に搭載され車両の制御を行う車両制御装置であって、車両制御装置に設けられたプログラムの処理結果を診断する診断部と、前記診断部による診断結果からデータ容量を低減するように情報の抽出を行う情報抽出部と、前記情報抽出部から抽出された情報を、前記車両の外部に設けたセンタに対して送信する送信部と、を備えることを特徴とする車両制御装置が記載されている（請求項１参照）。 Patent Document 1 (Japanese Patent Laid-Open No. 2017-91234) describes a vehicle control device mounted on a vehicle and controlling the vehicle, and includes a diagnostic unit for diagnosing the processing result of a program provided in the vehicle control device, and the diagnosis. An information extraction unit that extracts information so as to reduce the data capacity from the diagnosis result by the unit, a transmission unit that transmits the information extracted from the information extraction unit to a center provided outside the vehicle, and a transmission unit. A vehicle control device comprising the above (see claim 1).
また、特許文献２（特開２０１８-１８６３９１号）には、センサデバイスからデータを受信する受信部と、サーバ装置へ転送されるデータ量を削減するための複数の変換方法の中から、受信されたデータに適用する変換方法を選択する選択部と、前記受信されたデータに対して、前記選択部によって選択された変換方法を適用する変換部と、変換後のデータを前記サーバ装置へ送信する送信部と、過去に選択された変換方法が適用された際のデータの転送に利用されるネットワークの負荷状況、又は当該変換方法が適用された際の前記サーバ装置による前記データの分析精度の履歴に基づいて、前記変換方法と前記負荷状況又は前記分析精度との関係を推定する第１の推定部とを有し、前記選択部は、前記関係に基づいて、前記受信されたデータに適用する変換方法を選択する、ことを特徴とする転送装置が記載されている（請求項１参照）。 Further, in Patent Document 2 (Japanese Patent Laid-Open No. 2018-186391), data is received from a receiving unit that receives data from a sensor device and a plurality of conversion methods for reducing the amount of data transferred to a server device. A selection unit that selects a conversion method to be applied to the data, a conversion unit that applies the conversion method selected by the selection unit to the received data, and transmission of the converted data to the server device. History of the load status of the transmitter and the network used for data transfer when the conversion method selected in the past is applied, or the analysis accuracy of the data by the server device when the conversion method is applied. It has a first estimation unit that estimates the relationship between the conversion method and the load condition or the analysis accuracy based on the above, and the selection unit applies to the received data based on the relationship. A transfer device comprising selecting a conversion method is described (see claim 1).
特許文献１に記載された車両制御装置では、車両制御装置に設けられたプログラムの処理結果を診断する診断部と、前記診断部による診断結果からデータ容量を低減するように情報の抽出を行う情報抽出部を有するものの、車両制御装置に設けられたプログラムの処理結果を診断し、異常である場合のみデータ抽出することに限定されており、正常、異常では抽出すべきか判定できない画像等のセンサデータへの対処方法については考慮されていない。さらに、解析精度を向上するために必要な高精度な画像や点群データはサイズが大きくなる傾向があり、一定期間のデータを保存するためには、圧縮は不可欠であるが、そのような想定はされていない。
In the vehicle control device described in
特許文献２に記載された転送装置では、モデル推定部は、情報記憶部に記憶された過去の負荷状況、分析精度、及びデータ変換ポリシーの組み合わせを用いて、データ変換ポリシーと負荷状況の関係、及びデータ変換ポリシーと分析精度の関係モデルを推定し、データ変換部は、センサデータのデータ量を削減するための変換処理を実行するものであり、状況解析手法ごとに精度向上に有効なデータは異なるが、それを考慮せずに圧縮するため、均一的に情報が失われて解析精度が低下する。
In the transfer device described in
例えば、非特許文献１には、状況解析手法ごとに推定精度向上に有効なデータが異なることが記載されている。非特許文献１においは、単眼画像を入力として距離を推定するＤｅｅｐ Ｌｅａｒｎｉｎｇを用いた状況解析手法において、対象物の縦方向の移動が推定精度に最も影響を与えることが示されている。つまり、Ｄｅｅｐ Ｌｅａｒｎｉｎｇを用いて距離を推定する場合、縦方向の情報をできるだけ残した縦長の画像を作成し、圧縮した方が復元後の画像で精度の高い推定が可能になる。
For example, Non-Patent
そこで、本発明は、状況解析手法に適したデータ変換モデルやその変換モデルに適した圧縮モデル及び復元モデルを学習し、データを変換をしないで圧縮及び復元を行う場合より解析精度の向上を可能にするデータ圧縮システムを提供し、状況解析手法に適したデータ圧縮方法を評価するデータ圧縮評価システムを提供することを目的とする。 Therefore, the present invention can improve the analysis accuracy as compared with the case where the data conversion model suitable for the situation analysis method and the compression model and the restoration model suitable for the conversion model are learned and the compression and restoration are performed without converting the data. It is an object of the present invention to provide a data compression system for evaluating a data compression method suitable for a situation analysis method.
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、演算処理を実行する演算装置と、前記演算装置がアクセス可能な記憶装置と、を有する計算機によって構成され、前記計算機は、学習データ及びテストデータが入力される学習・テストデータ入力部と、学習データ及びテストデータを含むデータを変換する変換モデルと、前記変換モデルにより変換されたデータを圧縮する圧縮モデルと、前記圧縮モデルにより圧縮されたデータを復元する復元モデルと、を生成し、前記変換モデル、前記圧縮モデル及び前記復元モデルを用いて、前記学習・テストデータ入力部に入力されたデータを、状況解析方法に合わせて変換し、圧縮し、復元することで状況解析値を算出する変換・圧縮・復元モデル生成部と、前記変換・圧縮・復元モデル生成部により算出された状況解析値と前記学習・テストデータ入力部に入力された学習データ及びテストデータとを比較して、状況解析方法に最適な変換モデル、圧縮モデル及び復元モデルを選定又は修正する状況解析値評価部と、前記状況解析値評価部で選定又は修正された復元モデルを用いて圧縮されたデータを復元するデータ復元部と、前記データ復元部から出力されたデータを用いて状況を解析する状況解析部とを備えることを特徴とする。 A typical example of the invention disclosed in the present application is as follows. That is, it is composed of a computer having a calculation device that executes calculation processing and a storage device that the calculation device can access, and the computer includes a learning / test data input unit in which training data and test data are input. A conversion model for converting data including training data and test data, a compression model for compressing the data converted by the conversion model, and a restoration model for restoring the data compressed by the compression model are generated. Using the conversion model, the compression model, and the restoration model, the data input to the learning / test data input unit is converted according to the situation analysis method, compressed, and restored to calculate the situation analysis value. The situation is compared between the conversion / compression / restoration model generation unit, the situation analysis value calculated by the conversion / compression / restoration model generation unit, and the training data and the test data input to the training / test data input unit. Data that restores data compressed using a situation analysis value evaluation unit that selects or modifies the optimum conversion model, compression model, and restoration model for the analysis method, and a restoration model selected or modified by the situation analysis value evaluation unit. It is characterized by including a restoration unit and a situation analysis unit that analyzes the situation using the data output from the data restoration unit.
本発明の一態様によれば、解析精度を向上できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。 According to one aspect of the present invention, the analysis accuracy can be improved. Issues, configurations and effects other than those mentioned above will be clarified by the description of the following examples.
以下、実施例について図面を参照して説明する。 Hereinafter, examples will be described with reference to the drawings.
＜実施例１＞
本実施例では、状況解析方法が与えられ、その解析精度を向上させるために有効なデータの変換、圧縮、復元モデルの学習、及び、当該学習モデルを用いた状況解析方法を行い、車両への適用が好適なデータ圧縮システムについて説明する。
<Example 1>
In this embodiment, a situation analysis method is given, data conversion, compression, and restoration model learning that are effective for improving the analysis accuracy, and a situation analysis method using the learning model are performed, and the vehicle is subjected to a situation analysis method. A data compression system that is suitable for application will be described.
図１は、本発明を適用した車両の記録装置用のデータ圧縮システムの例を示すブロック図である。 FIG. 1 is a block diagram showing an example of a data compression system for a vehicle recording device to which the present invention is applied.
図１に示すデータ圧縮システムは、学習データ及びテストデータが入力される学習・テストデータ入力部１０と、状況解析方法に合わせた変換、圧縮、復元モデルを学習する変換・圧縮・復元モデル生成部２０と、そのモデルを評価する状況解析値評価部３０と、解析すべきデータが入力される解析データ入力部４０と、状況解析値評価部３０で最も評価された変換モデルにより解析データを変換するデータ変換部５０と、前記データ変換部の出力を変換・圧縮・復元モデル生成部２０で生成された圧縮モデルで圧縮するデータ圧縮部６０と、前記圧縮データの出力を保存するメモリ７０と、前記メモリの出力を変換・圧縮・復元モデル生成部２０で生成された復元モデルで復元するデータ復元部８０と、データ復元部８０の出力から状況解析を行う状況解析部９０と、を有する。変換・圧縮・復元モデル生成部２０と、状況解析値評価部３０とで学習部分を構成する。この学習部分と、学習・テストデータ入力部１０と、状況解析部９０とでデータ圧縮評価システムを構成する。また、データ変換部５０と、データ圧縮部６０と、メモリ７０とで記録端末装置を構成する。なお、前述した記録端末装置の構成は、オフラインで事後的にデータを解析するためのものであるが、オンラインでリアルタイムにデータを解析する場合、データ変換部５０と、データ圧縮部６０と、メモリ７０と、データ復元部８０と、状況解析部９０とが、記録端末装置を構成する。
The data compression system shown in FIG. 1 includes a learning / test
学習・テストデータ入力部１０は、学習部分で利用されるデータの入力を受ける。具体的には、学習・テストデータ入力部１０は、学習に使用されるデータと、学習したモデルを評価するためのテストデータと、状況解析方法と、当該状況解析方法で使用される値に対応する真値を含む。学習データやテストデータは、単眼カメラやステレオカメラ等が撮影した画像や、ＬｉＤＡＲが取得した点群データや、制御データや、慣性データ等である。状況解析方法は、物体までの距離を算出する距離推定や、夜間など悪環境下での周囲の対象物把握である。例えば、衝突事故を調査するために衝突物と自車の間の距離を知りたい場合は、状況解析方法は距離推定である。真値とは、距離推定の場合、自車から対象物までの距離である。
The learning / test
変換・圧縮・復元モデル生成部２０は、学習・テストデータ入力部１０に入力された状況解析方法に合わせて解析精度が低下しないように有効なデータを残す変換モデルと、当該変換に対応する圧縮モデル及び復元モデルを学習する。変換・圧縮・復元モデル生成部２０の詳細な構成は図２を参照して説明する。
The conversion / compression / restoration
状況解析値評価部３０は、変換・圧縮・復元モデル生成部２０からの出力と、学習・テストデータ入力部１０に入力された真値データとの比較によって最適な変換モデル、圧縮モデル、及び復元モデルを決定する。
The situation analysis
解析データ入力部４０は、学習・テストデータ入力部１０と同様に、画像等の車両で収集されたセンサデータ（解析データ）や状況解析方法の入力を受ける。入力された状況解析方法に適するように、データ変換部５０、データ圧縮部６０、データ復元部８０で使用されるモデルが選択される。
Similar to the learning / test
データ変換部５０は、変換・圧縮・復元モデル生成部２０が生成し、状況解析値評価部３０で高い評価となった変換モデルを用いて、解析データ入力部４０に入力された解析データを変換する。変換モデルの選択方法の詳細は図８を参照して後述する。また、データ変換部５０が使用する変換モデルは、状況解析方法によって動的に変更できる。例えば、技術の進歩によって、より高精度の解析が可能になった場合、当該状況解析方法に適する変換モデルを変換・圧縮・復元モデル生成部２０及び状況解析値評価部３０で学習し、データ変換部５０は、従来のモデルを学習によって新たに生成されたモデルに置換できる。
The
データ圧縮部６０は、変換・圧縮・復元モデル生成部２０で学習し、状況解析値評価部３０で選定された圧縮モデルでデータ変換部１２の出力を変換する。ただし、データ圧縮部６０から出力されるデータのサイズは、メモリ７０の記録容量より小さくなるように選択された圧縮モデルを用いる。また、データ圧縮部６０で使用される圧縮モデルは状況解析方法によって動的に変更できる。例えば、技術の進歩によって、より高精度の解析が可能になった場合、当該状況解析方法に適する圧縮モデルを変換・圧縮・復元モデル生成部２０及び状況解析値評価部３０で学習し、データ圧縮部６０は、従来のモデルを学習によって新たに生成されたモデルに置換できる。
The
メモリ７０は、データ圧縮部６０から出力されたデータを保存する記憶領域である。
The
データ復元部８０は、変換・圧縮・復元モデル生成部２０が生成し、状況解析値評価部３０で高い評価となった復元モデルを用いて、メモリ７０に保存された圧縮データから圧縮前の画像を復元する。また、データ復元部８０が使用する復元モデルは、状況解析方法によって動的に変更できる。例えば、技術の進歩によって、より高精度の解析が可能になった場合、当該状況解析方法に適する復元モデルを変換・圧縮・復元モデル生成部２０及び状況解析値評価部３０で学習し、データ復元部８０は、従来のモデルを学習によって新たに生成されたモデルに置換できる。
The
状況解析部９０は、学習・テストデータ入力部１０に入力された状況解析方法を実行する。例えば距離推定であれば、対象物までの距離を算出する。また、状況解析部９０で算出された状況解析値の中で真値との差が大きいものを学習データに加え、新たな学習データを用いて、変換・圧縮・復元モデル生成部２０及び状況解析値評価部３０で再学習し、新たに生成したモデルをデータ変換部５０、データ圧縮部６０及びデータ復元部８０で使用することによって、モデルを補強でき、解析精度を改善できる。
The
データ圧縮システムは、図示を省略するプロセッサ（ＣＰＵ）、メモリ、補助記憶装置及び通信インターフェースを有する計算機によって構成される。データ圧縮システムは、オペレータの操作によってデータを入出力するための入出力インターフェースを有してもよい。 The data compression system includes a processor (CPU), a memory, an auxiliary storage device, and a computer having a communication interface (not shown). The data compression system may have an input / output interface for inputting / outputting data by the operation of an operator.
プロセッサは、メモリに格納されたプログラムを実行する演算装置である。プロセッサが、各種プログラムを実行することによって、データ圧縮システムの各部（例えば、学習・テストデータ入力部１０、変換・圧縮・復元モデル生成部２０、状況解析値評価部３０、解析データ入力部４０、データ変換部５０、データ圧縮部６０、データ復元部８０、状況解析部９０など）による機能が実現される。なお、プロセッサがプログラムを実行して行う処理の一部を、他の演算装置（例えば、ＡＳＩＣ、ＦＰＧＡ等のハードウェア）で実行してもよい。
A processor is an arithmetic unit that executes a program stored in memory. When the processor executes various programs, each part of the data compression system (for example, learning / test
メモリは、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、プロセッサが実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。 The memory includes a ROM which is a non-volatile storage element and a RAM which is a volatile storage element. The ROM stores an invariant program (for example, BIOS) and the like. A RAM is a high-speed and volatile storage element such as a DRAM (Dynamic Random Access Memory), and temporarily stores a program executed by a processor and data used when the program is executed.
補助記憶装置は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置である。また、補助記憶装置は、プロセッサがプログラムの実行時に使用するデータ、及びプロセッサが実行するプログラムを格納する。すなわち、プログラムは、補助記憶装置から読み出されて、メモリにロードされて、プロセッサによって実行されることによって、データ圧縮システムの各機能を実現する。 The auxiliary storage device is, for example, a large-capacity non-volatile storage device such as a magnetic storage device (HDD) or a flash memory (SSD). In addition, the auxiliary storage device stores the data used by the processor when executing the program and the program executed by the processor. That is, the program is read from the auxiliary storage device, loaded into the memory, and executed by the processor to realize each function of the data compression system.
通信インターフェースは、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。 The communication interface is a network interface device that controls communication with other devices according to a predetermined protocol.
入出力インターフェースは、キーボードやマウスなどの入力装置が接続され、オペレータからの入力を受けるインターフェースであるが、音声入力などに対応するものでもよい。出力インターフェースは、ディスプレイ装置やプリンタなどの出力装置が接続され、プログラムの実行結果をオペレータが視認可能な形式で出力するインターフェースである。なお、データ圧縮システムにネットワークを介して接続された端末が入力装置及び出力装置を提供してもよい。 The input / output interface is an interface to which an input device such as a keyboard or a mouse is connected and receives input from an operator, but it may be an interface corresponding to voice input or the like. The output interface is an interface to which an output device such as a display device or a printer is connected and outputs a program execution result in a format that can be visually recognized by an operator. A terminal connected to the data compression system via a network may provide an input device and an output device.
データ圧縮システムのプロセッサが実行するプログラムは、リムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）又はネットワークを介してデータ圧縮システムに提供され、非一時的記憶媒体である不揮発性の補助記憶装置に格納される。このため、データ圧縮システムは、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。 The program executed by the processor of the data compression system is provided to the data compression system via removable media (CD-ROM, flash memory, etc.) or a network, and is stored in a non-volatile auxiliary storage device which is a non-temporary storage medium. To. For this reason, the data compression system may have an interface for reading data from removable media.
データ圧縮システムは、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。 A data compression system is a computer system composed of a plurality of computers physically configured on one computer or logically or physically configured, and is a virtual system constructed on a plurality of physical computer resources. It may operate on a computer.
図２は、変換・圧縮・復元モデル生成部２０の詳細な構成を示すブロック図である。
FIG. 2 is a block diagram showing a detailed configuration of the conversion / compression / restoration
変換・圧縮・復元モデル生成部２０は、収集された学習データ及びテストデータから状況解析方法の精度向上に寄与するデータを抽出する学習・テストデータ変換部２１と、学習・テストデータ変換部２１から出力されたデータから状況解析方法を用いて状況解析値を算出する変換データ状況解析部２２と、学習・テストデータ変換部２１から出力されたデータを圧縮するための圧縮モデルを生成する圧縮モデル生成部２３と、圧縮モデル生成部２３から出力されたデータを復元するための復元モデルを生成する復元モデル生成部２４と、復元モデル生成部２４から出力された復元データから状況解析方法を用いて状況解析値を算出する復元データ状況解析部２５とを有する。
The conversion / compression / restoration
学習・テストデータ変換部２１は、学習・テストデータ入力部１０に入力された学習データ及びテストデータを、状況解析方法の精度向上に寄与する部分が最大限残るように変換する。
The learning / test
変換データ状況解析部２２は、学習・テストデータ変換部２１で変換された学習データから、状況解析方法を用いて状況解析値を算出する。算出された状況解析値は、状況解析値評価部３０において、真値と比較され、最も真値に近い値を算出可能な変換モデルがデータ変換モデルとして選択される。
The converted data
圧縮モデル生成部２３は、生成学習・テストデータ変換部２１で変換されたデータをメモリ７０の記録容量より小さくなるように圧縮するための圧縮モデルを生成する。
The compression
復元モデル生成部２４は、圧縮モデル生成部２３で圧縮されたデータを学習・テストデータ変換部２１から出力されたデータに近くなるように復元するための復元モデルを生成する。
The restoration
復元データ状況解析部２５では、学習・テストデータ変換部２１で変換された学習データを、圧縮モデル生成部２３が生成した圧縮モデル及び復元モデル生成部２４が生成した復元モデルを用いて圧縮及び復元した後に状況解析方法によって解析値を算出する。圧縮及び復元された学習データは、変換データ状況解析部２２と同様の状況解析方法を用いて、復元データから状況解析値を算出する。算出された状況解析値は、状況解析値評価部３０において、真値と比較され、最も真値に近い値が算出された変換モデル、圧縮モデル及び復元モデルを、それぞれデータ変換部５０、データ圧縮部６０及びデータ復元部８０に提供する。
The restored data
図３は、変換・圧縮・復元モデル生成部２０が実行する処理のフローチャートである。
FIG. 3 is a flowchart of the process executed by the conversion / compression / restoration
まず、ステップ１００で、変換・圧縮・復元モデル生成部２０は、初期値として、例えばＳ＝５０、Ｎ＝１、Ｔ＝０を設定して、ステップ１１０に進む。Ｓはステップ１２０でデータ変換モデルについて探索する試行回数であり、Ｎはステップ１２０で固定するデータ変換モデルを決める評価順位であり、Ｔはステップ１９０においてテストデータを入力し、変換、圧縮、復元した後に状況解析値を算出し、再学習するか判断する許容時間である。但し、Ｓ、Ｎの値は自然数、Ｔは正の値である。
First, in
ステップ１１０では、変換モデル、圧縮モデル、及び復元モデルを学習するための学習データ、状況解析方法、真値、及び状況解析方法が入力され、ステップ１２０に進む。複数の状況解析方法が入力される場合は、優先順位が付される。例えば、二つの状況解析方法のうち、状況解析方法１の算出精度を状況解析方法２の算出精度よりも優先する場合は、状況解析方法１の優先順位が１、状況解析方法２の優先順位が２となる。また、優先順位を考慮しない場合は、状況解析方法１と状況解析方法２どちらも優先順位が１となる。
In
ステップ１２０では、Ｓ個の変換モデルを実行し、各変換モデルで状況解析値を算出して真値と比較し、評価順位Ｎ位のモデルに固定し、ステップ１３０へ進む。ステップ１２０の処理の詳細は、図８を参照して説明する。
In
ステップ１３０では、ステップ１１０と同じ学習データが再度入力され、ステップ１４０へ進む。
In
ステップ１４０では、ステップ１２０で固定したデータ変換モデルを用いて、ステップ１３０で入力された学習データを変換し、ステップ１５０に進む。
In
ステップ１５０では、ステップ１４０で変換されたデータを、圧縮及び復元して、復元結果がステップ１４０で変換されたデータ（すなわち、圧縮前のデータ）に近くなるように、圧縮モデル及び復元モデルを学習する。ステップ１４０の処理の詳細は、図１１を参照して説明する。
In
ステップ１６０では、学習した変換モデル、圧縮モデル、及び復元モデルを評価するためのテストデータ、状況解析方法、及び真値が入力され、ステップ１７０に進む。
In
ステップ１７０では、ステップ１２０で固定した変換モデル、及びステップ１５０で学習した圧縮モデル及び復元モデルを用いてテストデータを変換、圧縮及び復元して、状況解析値を算出し、算出された状況解析値を真値とを比較して、比較結果を復元評価テーブルに保存して、ステップ１８０に進む。
In
ステップ１８０では、復元評価テーブルに保存された比較結果を参照し、状況解析値と真値の差が最も小さくなる変換モデル、圧縮モデル、及び復元モデルを選定し、ステップ１９０に進む。
In
ステップ１９０では、ステップ１２０〜１８０の処理の実行時間が許容時間Ｔより小さければ、圧縮モデル及び復元モデルの再学習を実行するためのステップ２００に進む。一方、ステップ１２０〜１８０の処理の実行時間が許容時間Ｔより大きければ、圧縮モデル及び復元モデルの学習を終了し、ステップ１８０で選定した変換モデル、圧縮モデル及び復元モデルを、データ変換部５０、データ圧縮部６０及びデータ復元部８０で使用する用に、各モデルを提供する。
In
ステップ２００では、変換モデルの評価順位Ｎに１を加算してＮの値を更新し、ステップ１２０に進む。例えば、ステップ１９０においてＮ＝１である場合、ステップ２００にてＮ＝２となり、ステップ１２０〜１８０では真値との差が２番目に小さい変換モデルによって変換された学習データを用いて、圧縮モデル及び復元モデルを学習する。
In
図４、図５、図６、図７は、学習の結果を保存する復元評価テーブルの例を示す図である。図４は状況解析方法により算出した値が間隔尺度（例えば距離推定）である場合を示し、図５は状況解析方法により算出した値が名義尺度（例えば緊急ブレーキが作動した対象物が車両、人、オートバイクのいずれであるか推定し、不正解の場合は０とし、正解の場合は１とする）である場合を示し、図６は複数の状況解析方法があり、状況解析値は間隔尺度と名義尺度の両方であり、それら両方を考慮した全体評価では同値の値がない場合を示し、図７は状況解析方法等が図６と同じであるが、全体評価では同値の値がある場合を示す。 4, FIG. 5, FIG. 6, and FIG. 7 are diagrams showing an example of a restoration evaluation table that stores learning results. FIG. 4 shows a case where the value calculated by the situation analysis method is an interval scale (for example, distance estimation), and FIG. 5 shows a case where the value calculated by the situation analysis method is a nominal scale (for example, the object on which the emergency brake is activated is a vehicle or a person). , If it is an incorrect answer, it is set to 0, and if it is a correct answer, it is set to 1). FIG. 6 shows a case where there are multiple situation analysis methods, and the situation analysis value is an interval scale. And the nominal scale, and the case where there is no equivalent value in the overall evaluation considering both of them is shown. FIG. 7 shows the case where the situation analysis method and the like are the same as those in FIG. Is shown.
図４は、状況解析方法（間隔尺度等）で真値との差２１０を表した復元評価テーブルを示す図である。図４に示す復元評価テーブルは、３種類の変換モデル１〜３のそれぞれを用いてテストデータを変換したデータを圧縮及び復元した状況解析値と真値の差を表している（２２０〜２４０）。図４に示す場合、状況解析値と真値との差が最も小さい変換モデル１（２２０）がステップ１８０で選定される。
FIG. 4 is a diagram showing a restoration evaluation table showing a
図５は、状況解析方法（名義尺度等）で真値と比較した正解数２５０を表した復元評価テーブルを示す図である。図５に示す復元評価テーブルは、２種類の変換モデル１〜２のそれぞれを用いてテストデータを変換したデータを圧縮及び復元した状況解析値と真値と比較した正解数を表している（２６０、２７０）。図５に示す場合、正解数が最も多い反感も出る２（２７０）がステップ１８０で選定される。
FIG. 5 is a diagram showing a restoration evaluation table showing the number of
図６は、複数の状況解析方法（間隔尺度、名義尺度）の両方を考慮した全体評価を表した復元評価テーブルを示す図である。図６に示す復元評価テーブルは、状況解析方法１（間隔尺度等）での状況解析値と真値の差２８０と、状況解析方法２（名義尺度等）での真値と比較した状況解析値の正解数２９０と、状況解析方法１（間隔尺度等）で状況解析値と真値との差２８０が小さい順に１から順位をつけた状況解析方法１（間隔尺度等）で評価順位３００と、状況解析方法２（名義尺度等）での真値と比較した状況解析値の正解数２９０が多い順に１から順位をつけた状況解析方法２（名義尺度等）での評価順位３１０と、二つの評価順位３００、３１０から算出された全体評価３２０を含む。
FIG. 6 is a diagram showing a restoration evaluation table showing an overall evaluation considering both of a plurality of situation analysis methods (interval scale, nominal scale). The restoration evaluation table shown in FIG. 6 shows a situation analysis value comparing the
図６では、３種類の変換モデル１〜３のそれぞれを用いてテストデータを変換したデータを圧縮及び復元した状況解析値の評価を表している（３３０〜３５０）。全体評価３２０は、図３のステップ１１０での状況解析方法の優先順位に基づいて、数（１）を用いて計算する。なお、数（１）のαｋは、数（２）のように全て足すと１になるように設定する。例えば、状況解析方法が二つで、状況解析方法１の優先順位が１、状況解析方法２の優先順位が２である場合、数（１）においてｋ＝２となり、状況解析方法１の解析精度が高いモデルが選択されるように、α１＝０．７、α２＝０．３と設定し、数（１）を用いて計算した全体評価３２０を計算した。この場合、全体評価３２０が最も小さい変換モデル１（３３０）がステップ１８０で選定される。
FIG. 6 shows the evaluation of the situation analysis value obtained by compressing and restoring the data obtained by converting the test data using each of the three types of
図７は、図６と同じ状況解析方法や評価結果の値が記録されており、は復元評価テーブルを示す図である。状況解析方法１と状況解析方法２のどちらも優先順位が１である、つまり、α１＝０．５、α２＝０．５での復元評価テーブルの例を表す。数１を用いて、状況解析方法１（間隔尺度等）での評価順位３８０と状況解析方法（名義尺度等）での評価順位３９０から全体評価４００を計算する。その結果、変換モデル１（４１０）と変換モデル２（４２０）が１．５で同値になっている。この場合、状況解析方法の入力順に状況解析値と真値が最も近い変換モデル、圧縮モデル及び復元モデルを選定する。例えば、図７に示す場合、状況解析方法１（間隔尺度等）での真値との誤差３６０を、変換モデル１（４１０）と変換モデル２（４２０）で比較すると、変換モデル１（４１０）の方が真値に近い値になっているため、変換モデル１（４１０）が図３のステップ１８０で選定される。
FIG. 7 is a diagram in which the same situation analysis method and evaluation result values as in FIG. 6 are recorded, and is a diagram showing a restoration evaluation table. Both the
図８は、図３のステップ１２０の詳細を示すフローチャートである。
FIG. 8 is a flowchart showing the details of
まず、変換・圧縮・復元モデル生成部２０は、ステップ１１０で入力された学習データをステップ１２１で変換し、ステップ１２２に進む。例えば、画像データが入力された場合、サイズや色情報等がデータ変換の対象である。画像サイズを変換する変換モデルは、アスペクト比を維持した縮小や、アスペクト比を変更して縦長画像を作成する等がある。色情報を変換する変換モデルは、白黒画像への変換や、緑情報のみを削除した赤と青の２色画像への変換がある。例えば、夜間での緊急ブレーキ作動対象物を把握したい場合には、画像全体が暗く、車のライト等の情報が重要になるため、白黒画像ではなく、サイズを小さくしても色情報を残した画像変換モデルを選定するとよい。このようなデータ変換を行う理由としては、状況解析方法に必要なデータは全体の一部であり、状況解析に有用なデータを多く残し、その情報を圧縮により失わないようにするためである。例えば、非特許文献１には、単眼画像を入力として距離を推定するＤｅｅｐ Ｌｅａｒｎｉｎｇにおいて、対象物の縦方向の移動が推定精度に最も影響を与えることが示されている。つまり、Ｄｅｅｐ Ｌｅａｒｎｉｎｇを用いて距離を推定する場合、縦方向の情報をできるだけ残した縦長の画像に圧縮すると、復元後の画像で高精度に距離を推定できる。
First, the conversion / compression / restoration
ステップ１２２では、ステップ１２１で変換したデータから状況解析値を算出し、ステップ１２３に進む。状況解析値を算出する方法は、例えば、Ｄｅｅｐ Ｌｅａｒｎｉｎｇを使用して画像から距離を直接推定するモデルや、カメラパラメータを使用して画像と空間の幾何学的関係から距離を推定するモデル等がある。
In
ステップ１２３では、ステップ１２２で算出した状況解析値と真値を比較し、比較結果をデータ変換評価テーブルに記録し、ステップ１２４に進む。データ変換評価テーブルについては図９、図１０で説明する。
In
ステップ１２４では、試行回数Ｓが０以外の場合は１２５に進み、試行回数Ｓが０の場合は１２６に進む。
In
ステップ１２５では、試行回数Ｓを１減じて更新し、試行回数Ｓが０に到達するまで、すなわち、試行回数Ｓ回だけステップ１２１〜１２３を繰り返す。つまり、試行回数Ｓ回のデータ変換が実行され、データ変換評価テーブルの行数がＳになる。
In
ステップ１２６では、データ変換評価テーブルの全体評価でＮ位のモデルをデータ変換モデルとして固定する。つまり、Ｎが初期値１である場合、真値に一番近い状況解析値の算出を可能にした変換モデルに固定され、ステップ１３０に進む。
In
図９、図１０は、図８のステップ１２３で作成又は更新されるデータ変換評価テーブルの例を示す図である。図９は一つの状況解析方法に合わせて算出した値が間隔尺度の場合であり、図１０は二つの状況解析方法のそれぞれに合わせて算出した値が間隔尺度と名義尺度の場合である。状況解析方法の構成は、図４〜図８の復元評価テーブルと同じである。
9 and 10 are diagrams showing an example of a data conversion evaluation table created or updated in
図９は、状況解析方法（間隔尺度等）での真値との誤差４３０が記録されたデータ変換評価テーブルの例を示す図である。図９に示すデータ変換評価テーブルは、変換モデル１（４４０）、…、変換モデル４９（４５０）、変換モデル５０（４６０）の各々を用いた場合の状況解析値と真値との差が記録されている。図９に示す場合、状況解析値と真値との差が最も小さい変換モデル５０（４６０）が、図８のステップ１２６で固定される変換モデルとなる。
FIG. 9 is a diagram showing an example of a data conversion evaluation table in which an
図１０は、複数の状況解析方法（間隔尺度、名義尺度）の両方を考慮した全体評価を表したデータ変換評価テーブルを示す図である。図１０に示すデータ変換評価テーブルは、状況解析方法１（間隔尺度等）での状況解析値と真値の差５００と、状況解析方法２（名義尺度等）での真値と比較した状況解析値の正解数５１０と、状況解析方法１（間隔尺度等）で状況解析値と真値との差５００が小さい順に１から順位をつけた状況解析方法１（間隔尺度等）での評価順位５２０と、状況解析方法（名義尺度等）での真値と比較した状況解析値の正解数５１０が多い順に１から順位をつけた状況解析方法２（名義尺度等）での評価順位５３０と、二つの評価順位５２０、５３０から算出された全体評価５４０を含む。状況解析方法１の優先順位が１であり、状況解析方法２の優先順位が２である場合、数（１）においてｋ＝２となり、状況解析方法１の解析精度が高いモデルが選択されるように、α１＝０．７，α２＝０．３と設定し、数（１）で計算した結果が全体評価５４０に記録される。変換モデル（４７０）、…、変換モデル４９（４８０）、変換モデル５０（４９０）の中で、全体評価５４０が最も小さい変換モデル４９（４８０）がステップ１２６で固定される変換モデルとなる。
FIG. 10 is a diagram showing a data conversion evaluation table showing an overall evaluation considering both of a plurality of situation analysis methods (interval scale, nominal scale). The data conversion evaluation table shown in FIG. 10 is a situation analysis comparing the
図１１は、図３のステップ１５０の詳細を示すフローチャートである。
FIG. 11 is a flowchart showing the details of
まず、ステップ１５１では、変換・圧縮・復元モデル生成部２０は、ステップ１４０で変換されたデータを圧縮し、ステップ１５２に進む。例えば、圧縮モデルは、畳み込み層等を連続して利用して画像サイズを小さくするものがある。
First, in
ステップ１５２では、ステップ１５１で圧縮されたデータがメモリ容量や通信容量の制限を満たしているか判定し、容量制限を満たしている場合はステップ１５３に進み、容量制限を満たしていない場合はステップ１５１に戻り、異なる圧縮方法で容量制限を満たすように変換されたデータを圧縮する。
In
ステップ１５３では、ステップ１５１で圧縮されたデータを復元し、ステップ１５４に進む。復元は、例えば、ステップ１５１で畳み込み層を利用して画像サイズを小さくした場合は、逆畳み込みを使用して画像サイズを大きくする復元モデルを用いる。
In
ステップ１５４では、ステップ１５３で復元されたデータがステップ１５１で圧縮する前のデータを再現できるように学習する。データが画像データである場合、学習モデルは、復元された画像が圧縮前の画像の間で各画素の値を比較し、差が小さくなるように圧縮モデル及び復元モデルのパラメータを調整するモデルがある。
In
以上に説明したように、本実施例のデータ圧縮評価システムは、学習データ及びテストデータが入力される学習・テストデータ入力部１０と、学習データ及びテストデータを含むデータを変換する変換モデルと、前記変換モデルにより変換されたデータを圧縮する圧縮モデルと、前記圧縮モデルにより圧縮されたデータを復元する復元モデルとを生成し、前記変換モデル、前記圧縮モデル及び前記復元モデルを用いて、学習・テストデータ入力部１０に入力されたデータを、状況解析方法に合わせて変換し、圧縮し、復元することで状況解析値を算出する変換・圧縮・復元モデル生成部２０と、前記変換・圧縮・復元モデル生成部２０により算出された状況解析値と前記学習・テストデータ入力部１０に入力された学習データ及びテストデータとを比較して、状況解析方法に最適な変換モデル、圧縮モデル及び復元モデルを選定又は修正する状況解析値評価部３０と、状況解析値評価部３０で選定又は修正された復元モデルを用いて圧縮されたデータを復元するデータ復元部８０と、データ復元部８０から出力されたデータを用いて状況を解析する状況解析部９０とを備えるので、状況解析の精度を向上可能なデータの変換、圧縮、復元を事前に学習でき、解析に有効なデータを限られた容量のメモリへの保存を可能にし、通信容量の制約があってもデータを送信できる。このため、解析精度を向上できる。例えば、車両事故の検証、老朽化が進んだ建造物における保守時期の見極めや点検の効率化、乳幼児や高齢者の危険行動の事前警告、工場内での製造ロボットの動作確認、一次産業での植物や養殖魚の生育状況の把握などに適用すると好適である。
As described above, the data compression evaluation system of this embodiment includes a training / test
また、状況解析値評価部３０は、学習・テストデータ変換部２１によって生成された変換モデルを状況解析方法毎に評価し、圧縮モデル及び復元モデルを学習する際に、学習・テストデータ変換部２１で評価が高い順に変換モデルを使用するので、好適な変換モデルを先に圧縮モデル及び復元モデルの学習に用いることができ、適切なモデルが早くかつ確実に選択できる。
Further, the situation analysis
また、学習・テストデータ変換部２１は、学習・テストデータ入力部１０に入力されたデータから、状況解析方法における精度向上に寄与するデータを多く残すように学習して、変換モデルを生成するので、状況解析方法毎に異なる重要なデータを多く含む変換モデルを選定できる。
Further, since the learning / test
また、学習・テストデータ入力部１０には、車両等の移動体から取得されたデータが入力されるので、車両が取得したセンサデータの解析によって事故を検証できる。
Further, since the data acquired from the moving body such as the vehicle is input to the learning / test
また、状況解析部９０は、状況解析方法によって算出した値で真値との差が大きいデータを学習・テストデータ入力部１０に入力するので、真値との差が大きい学習データによって再学習して、モデルを補強でき、解析精度を改善できる。
Further, since the
また、本実施例のデータ圧縮システムは、前述したいずれかのデータ圧縮評価システムと、解析すべきデータが入力される解析データ入力部４０と、解析データ入力部４０に入力されたデータを、状況解析値評価部３０で選定又は修正された変換モデルを用いて変換するデータ変換部５０と、データ変換部５０で変換されたデータを、状況解析値評価部３０で選定又は修正された圧縮モデルを用いて圧縮するデータ圧縮部６０と、圧縮されたデータを保存するメモリ７０とを備え、データ変換部５０、データ圧縮部６０及びデータ復元部８０が使用するモデルは、動的に変更可能としたので、モデルの置換によって、モデルの改善や解析手法の変更に対応できる。例えば、より精度が高い解析手法が提案された場合には、その解析手法に適する変換モデル、圧縮モデル及び復元モデルを再学習することによって技術の進歩に合わせてモデルを更新できる。
Further, in the data compression system of this embodiment, any of the above-mentioned data compression evaluation systems, the analysis
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。 It should be noted that the present invention is not limited to the above-mentioned examples, but includes various modifications and equivalent configurations within the scope of the attached claims. For example, the above-mentioned examples have been described in detail in order to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to those having all the described configurations. Further, a part of the configuration of one embodiment may be replaced with the configuration of another embodiment. Further, the configuration of another embodiment may be added to the configuration of one embodiment. In addition, other configurations may be added / deleted / replaced with respect to a part of the configurations of each embodiment.
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。 Further, each configuration, function, processing unit, processing means, etc. described above may be realized by hardware by designing a part or all of them by, for example, an integrated circuit, and the processor realizes each function. It may be realized by software by interpreting and executing the program to be executed.
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。 Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a storage device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。 In addition, the control lines and information lines show what is considered necessary for explanation, and do not necessarily show all the control lines and information lines necessary for mounting. In practice, it can be considered that almost all configurations are interconnected.
１０…学習・テストデータ入力部、２０…変換・圧縮・復元モデル生成部、３０…状況解析値評価部、４０…解析データ入力部、５０…データ変換部、６０…データ圧縮部、７０…メモリ、８０…データ復元部、９０…状況解析部 10 ... Learning / test data input unit, 20 ... Conversion / compression / restoration model generation unit, 30 ... Situation analysis value evaluation unit, 40 ... Analysis data input unit, 50 ... Data conversion unit, 60 ... Data compression unit, 70 ... Memory , 80 ... Data restoration unit, 90 ... Situation analysis unit
Claims (9)
前記計算機は、
学習データ及びテストデータが入力される学習・テストデータ入力部と、
学習データ及びテストデータを含むデータを変換する変換モデルと、前記変換モデルにより変換されたデータを圧縮する圧縮モデルと、前記圧縮モデルにより圧縮されたデータを復元する復元モデルと、を生成し、前記変換モデル、前記圧縮モデル及び前記復元モデルを用いて、前記学習・テストデータ入力部に入力されたデータを、状況解析方法に合わせて変換し、圧縮し、復元することで状況解析値を算出する変換・圧縮・復元モデル生成部と、
前記変換・圧縮・復元モデル生成部により算出された状況解析値と前記学習・テストデータ入力部に入力された学習データ及びテストデータとを比較して、状況解析方法に最適な変換モデル、圧縮モデル及び復元モデルを選定又は修正する状況解析値評価部と、
前記状況解析値評価部で選定又は修正された復元モデルを用いて圧縮されたデータを復元するデータ復元部と、
前記データ復元部から出力されたデータを用いて状況を解析する状況解析部とを備えることを特徴とするデータ圧縮評価システム。 It is composed of a computer having an arithmetic unit for executing arithmetic processing and a storage device accessible to the arithmetic unit.
The calculator
Learning / test data input section where learning data and test data are input,
A conversion model for converting data including training data and test data, a compression model for compressing the data converted by the conversion model, and a restoration model for restoring the data compressed by the compression model are generated. Using the conversion model, the compression model, and the restoration model, the data input to the learning / test data input unit is converted according to the situation analysis method, compressed, and restored to calculate the situation analysis value. Conversion / compression / restoration model generator and
Comparing the situation analysis value calculated by the conversion / compression / restoration model generation unit with the training data and test data input to the learning / test data input unit, the conversion model and compression model most suitable for the situation analysis method. And the situation analysis value evaluation unit that selects or modifies the restoration model,
A data restoration unit that restores compressed data using the restoration model selected or modified by the situation analysis value evaluation unit, and a data restoration unit.
A data compression evaluation system including a situation analysis unit that analyzes a situation using the data output from the data restoration unit.
前記変換・圧縮・復元モデル生成部は、
前記学習・テストデータ入力部に入力されたデータを変換する変換モデルを生成し、前記変換モデルを用いてデータを変換する学習・テストデータ変換部と、
前記学習・テストデータ変換部で変換されたデータに前記状況解析方法を適用して状況解析値を算出する変換データ状況解析部と、
前記学習・テストデータ変換部で変換されたデータを圧縮する圧縮モデルを生成し、前記圧縮モデルを用いて前記変換されたデータを圧縮する圧縮モデル生成部と、
前記圧縮モデル生成部で圧縮されたデータを復元する復元モデルを生成し、前記復元モデルを用いて前記圧縮されたデータを復元する復元モデル生成部と、
前記復元モデル生成部で復元されたデータに前記状況解析方法を適用して状況解析値を算出する復元データ状況解析部とを有することを特徴とするデータ圧縮評価システム。 The data compression evaluation system according to claim 1.
The conversion / compression / restoration model generation unit
A learning / test data conversion unit that generates a conversion model that converts the data input to the learning / test data input unit and converts the data using the conversion model.
A conversion data situation analysis unit that calculates a situation analysis value by applying the situation analysis method to the data converted by the learning / test data conversion unit, and
A compression model generation unit that generates a compression model that compresses the converted data by the training / test data conversion unit, and compresses the converted data using the compression model, and a compression model generation unit.
A restoration model generation unit that generates a restoration model that restores the compressed data by the compression model generation unit and restores the compressed data using the restoration model, and a restoration model generation unit.
A data compression evaluation system comprising a restored data situation analysis unit that calculates a situation analysis value by applying the situation analysis method to the data restored by the restoration model generation unit.
前記状況解析値評価部は、前記学習・テストデータ変換部によって生成された変換モデルを状況解析方法毎に評価し、
前記圧縮モデル及び復元モデルを学習する際に、前記学習・テストデータ変換部で評価が高い順に変換モデルを使用することを特徴とするデータ圧縮評価システム。 The data compression evaluation system according to claim 2.
The situation analysis value evaluation unit evaluates the conversion model generated by the learning / test data conversion unit for each situation analysis method.
A data compression evaluation system characterized in that when learning the compression model and the restoration model, the conversion models are used in descending order of evaluation in the learning / test data conversion unit.
前記学習・テストデータ変換部は、前記学習・テストデータ入力部に入力されたデータから、前記状況解析方法における精度向上に寄与するデータを多く残すように学習して、前記変換モデルを生成することを特徴とするデータ圧縮評価システム。 The data compression evaluation system according to claim 2.
The learning / test data conversion unit generates the conversion model by learning from the data input to the learning / test data input unit so as to leave a large amount of data that contributes to the improvement of accuracy in the situation analysis method. A data compression evaluation system featuring.
前記学習・テストデータ入力部には、車両等の移動体から取得されたデータが入力されることを特徴とするデータ圧縮評価システム。 The data compression evaluation system according to claim 1.
A data compression evaluation system characterized in that data acquired from a moving body such as a vehicle is input to the learning / test data input unit.
前記状況解析部は、状況解析方法によって算出した値で真値との差が大きいデータを前記学習・テストデータ入力部に入力することを特徴とするデータ圧縮評価システム。 The data compression evaluation system according to claim 1.
The situation analysis unit is a data compression evaluation system characterized in that data calculated by a situation analysis method and having a large difference from the true value is input to the learning / test data input unit.
前記学習・テストデータ入力部には、モデルの学習に用いられる学習データ、対象物の状況を解析するための状況解析方法、学習したモデルを評価するためのテストデータ、及び当該状況解析方法で使用される値に対応する真値が入力されることを特徴とするデータ圧縮評価システム。 The data compression evaluation system according to claim 1.
The learning / test data input unit is used in the training data used for model training, the situation analysis method for analyzing the situation of the object, the test data for evaluating the learned model, and the situation analysis method. A data compression evaluation system characterized in that the true value corresponding to the value to be input is input.
解析すべきデータが入力される解析データ入力部と、
前記解析データ入力部に入力されたデータを、前記状況解析値評価部で選定又は修正された変換モデルを用いて変換するデータ変換部と、
前記データ変換部で変換されたデータを、前記状況解析値評価部で選定又は修正された圧縮モデルを用いて圧縮するデータ圧縮部と、
前記圧縮されたデータを保存するメモリとを備え、
前記データ変換部、前記データ圧縮部、及び前記データ復元部が使用するモデルは、動的に変更可能であることを特徴とするデータ圧縮システム。 The data compression evaluation system according to any one of claims 1 to 7.
Analysis data input section where data to be analyzed is input, and
A data conversion unit that converts the data input to the analysis data input unit using a conversion model selected or modified by the situation analysis value evaluation unit, and a data conversion unit.
A data compression unit that compresses the data converted by the data conversion unit using a compression model selected or modified by the situation analysis value evaluation unit.
Equipped with a memory for storing the compressed data
A data compression system characterized in that the model used by the data conversion unit, the data compression unit, and the data restoration unit can be dynamically changed.
前記演算装置が、学習データ及びテストデータが入力される学習・テストデータ入力手順と、
前記演算装置が、学習データ及びテストデータを含むデータを変換する変換モデルと、前記変換モデルにより変換されたデータを圧縮する圧縮モデルと、前記圧縮モデルにより圧縮されたデータを復元する復元モデルとを生成し、前記変換モデル、前記圧縮モデル及び前記復元モデルを用いて、前記学習・テストデータ入力手順で入力されたデータを、状況解析方法に合わせて変換し、圧縮し、復元することで状況解析値を算出する変換・圧縮・復元モデル生成手順と、
前記演算装置が、前記変換・圧縮・復元モデル生成部により算出された状況解析値と前記学習・テストデータ入力手順で入力されたデータとを比較して、状況解析方法に最適な変換モデル、圧縮モデル及び復元モデルを選定又は修正する状況解析値評価手順と、
前記演算装置が、前記状況解析値評価手順で選定又は修正された復元モデルを用いて圧縮されたデータを復元するデータ復元手順と、
前記演算装置が、前記データ復元手順で出力されたデータを用いて状況を解析する状況解析手順とを備えることを特徴とするデータ圧縮評価方法。 It is a data compression evaluation method executed by a data compression evaluation system composed of a computer having an arithmetic unit for executing arithmetic processing and a storage device accessible to the arithmetic unit.
The arithmetic unit has a learning / test data input procedure in which training data and test data are input, and
The arithmetic unit includes a conversion model that converts data including training data and test data, a compression model that compresses the data converted by the conversion model, and a restoration model that restores the data compressed by the compression model. Situation analysis by generating, using the conversion model, the compression model, and the restoration model, converting, compressing, and restoring the data input in the learning / test data input procedure according to the situation analysis method. Conversion / compression / restoration model generation procedure to calculate the value,
The arithmetic unit compares the situation analysis value calculated by the conversion / compression / restoration model generation unit with the data input in the learning / test data input procedure, and the conversion model and compression most suitable for the situation analysis method. Situation analysis value evaluation procedure for selecting or modifying models and restoration models, and
A data restoration procedure in which the arithmetic unit restores the compressed data using the restoration model selected or modified in the situation analysis value evaluation procedure, and
A data compression evaluation method, wherein the arithmetic unit includes a situation analysis procedure for analyzing a situation using the data output in the data restoration procedure.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020106033A JP2022000940A (en) | 2020-06-19 | 2020-06-19 | Data compression evaluation system, data compression system, and data compression evaluation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020106033A JP2022000940A (en) | 2020-06-19 | 2020-06-19 | Data compression evaluation system, data compression system, and data compression evaluation method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022000940A true JP2022000940A (en) | 2022-01-04 |
Family
ID=79242012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020106033A Pending JP2022000940A (en) | 2020-06-19 | 2020-06-19 | Data compression evaluation system, data compression system, and data compression evaluation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022000940A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022159084A (en) * | 2021-03-31 | 2022-10-17 | 立和 姚 | Electric power trading device and electrical equipment applying the same |
-
2020
- 2020-06-19 JP JP2020106033A patent/JP2022000940A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022159084A (en) * | 2021-03-31 | 2022-10-17 | 立和 姚 | Electric power trading device and electrical equipment applying the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11645744B2 (en) | Inspection device and inspection method | |
| JP6547275B2 (en) | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| KR20180136720A (en) | Image processing apparatus and method using multiple-channel feature map | |
| JP4970408B2 (en) | An adaptive driver assistance system using robust estimation of object properties | |
| JP6348431B2 (en) | Image processing method and image processing apparatus | |
| US11842575B2 (en) | Method and system for vehicle analysis | |
| JP6499737B2 (en) | Telescopic cover abnormality occurrence estimation device and abnormality occurrence estimation method | |
| JP2018529298A (en) | A system and computer-based method for simulating human-like control behavior in an environmental context. | |
| CN113557536B (en) | Learning system, data generation device, data generation method, and storage medium | |
| JP7434829B2 (en) | Model generation device, estimation device, model generation method, and model generation program | |
| JP7279821B2 (en) | Intention feature quantity extraction device, learning device, method and program | |
| JP2022000940A (en) | Data compression evaluation system, data compression system, and data compression evaluation method | |
| JP7472471B2 (en) | Estimation system, estimation device, and estimation method | |
| CN114616595A (en) | Jointly training neural networks to reduce data and perform object recognition of image data | |
| CN109743200B (en) | Resource feature-based cloud computing platform computing task cost prediction method and system | |
| KR102105951B1 (en) | Constructing method of classification restricted boltzmann machine and computer apparatus for classification restricted boltzmann machine | |
| US20220309771A1 (en) | Method, device, and computer program for an uncertainty assessment of an image classification | |
| US20220270351A1 (en) | Image recognition evaluation program, image recognition evaluation method, evaluation apparatus, and evaluation system | |
| CN113191306A (en) | Equipment abnormal state prediction method based on edge calculation | |
| Mohammed et al. | Multilevel artificial intelligence classification of faulty image data for enhancing sensor reliability | |
| CN111936942B (en) | Method for controlling an actuator, computer system and computer program | |
| JP7495833B2 (en) | DNN model compression system | |
| JP7204717B2 (en) | A system and computer-based method for simulating human-like control behavior in an environmental context. | |
| US20240177004A1 (en) | Method for training an artificial neural network | |
| JP7279685B2 (en) | Information processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20220602 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230202 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240307 |