KR20190134308A

KR20190134308A - Data augmentation method and apparatus using convolution neural network

Info

Publication number: KR20190134308A
Application number: KR1020180059777A
Authority: KR
Inventors: 양지훈; 임세희
Original assignee: 서강대학교산학협력단
Priority date: 2018-05-25
Filing date: 2018-05-25
Publication date: 2019-12-04
Also published as: KR102177728B1

Abstract

According to the present invention, a method for data expansion utilizing a convolutional neural network comprises: a first step of receiving continuous time series data; a second step of detecting features for the respective time series data and generating input data by expressing the features of the respective time series data in a two-dimensional array; a third step of receiving two or more pieces of continuous input data among the input data and processing a convolutional neural network to generate novel data; and a fourth step of generating expanded data by combining the novel data and input data. The method may maintain prediction performance even for small and fluctuating time series data.

Description

합성곱 신경망을 활용한 데이터 확장방법 및 장치{Data augmentation method and apparatus using convolution neural network}Data augmentation method and apparatus using convolution neural network

본 발명은 데이터 확장 기술에 관한 것으로, 더욱 상세하게는 작은 크기이며 변동이 심한 시계열 데이터에 대해서도 예측 성능을 유지할 수 있게 합성곱 신경망을 활용하여 시계열 데이터를 확장하는 합성곱 신경망을 활용한 데이터 확장방법 및 장치에 관한 것이다. The present invention relates to a data expansion technology, and more particularly, to a data expansion method using a composite product neural network that extends time series data by using a composite product neural network to maintain prediction performance even for small size and variable time series data. And to an apparatus.

시계열 데이터를 예측하는 것은 데이터 분석 및 머신 러닝 분야에서 큰 관심을 받아왔다. 금융, 의학, 생명 등 산업 분야와 무관하게 과거를 통해 미래를 예측하는 것에 관심을 가져왔고, 이는 머신 러닝(Machine Learning), 통계학 등의 학문의 발전을 촉진하였다. Predicting time series data has received a great deal of interest in data analysis and machine learning. Regardless of industries such as finance, medicine, and life, he has been interested in predicting the future through the past, which has facilitated the development of academics such as machine learning and statistics.

최근에는 인공지능이 많은 관심을 받으며 여러 분야에 응용되고 있다. 이러한 알고리즘이 충분히 성능을 발휘하기 위해서는 데이터 집합의 확보가 우선되어야 한다. 그러나 데이터 집합의 크기가 충분히 크지 않으면 과적합(Overfitting)이 일어날 확률이 높아져 예측 성능을 떨어뜨리기 때문이다. Recently, artificial intelligence has received a lot of attention and has been applied to various fields. In order for these algorithms to perform well enough, securing a data set should be a priority. However, if the size of the data set is not large enough, there is a high probability of overfitting, which reduces prediction performance.

이에 종래에는 데이터를 확장하여 데이터 집합의 크기를 충분히 크게 만들고 있다. 종래의 데이터 확장 방법을 설명한다. 상기 데이터 확장은 데이터 변환(translating), 데이터 크기 재조정(re-scaling), 데이터 왜곡(distorting) 방식으로 이루어진다. 이러한 방식은 데이터의 라벨(label)에는 영향을 주지 않으면서 새로운 데이터를 생성할 수 있다. Therefore, conventionally, data is expanded to make the size of the data set large enough. A conventional data expansion method will be described. The data expansion is performed by data translating, data re-scaling, and data distortion. This approach can generate new data without affecting the label of the data.

먼저 음성 인식 분야에서의 데이터 확장 과정을 설명한다. 상기 음성 인식 분야에서의 데이터 확장은 짧은 길이의 발화로 신뢰성있는 모델 설계가 어려운 경우에는 성도 길이 변화(vaocal tract length perturbation)을 통해 발화를 확장하였다. 상기 성도는 발성기관의 일부를 일컫는데, 상기 성도의 길이 차이에 따라 발화의 변이가 생긴다. 이러한 변이를 제거하는 방법으로 성도 길이 정규화(vocal tract length normalization) 방법이 있으며, 이를 역으로 적용하여 임의의 변화를 주는 방법을 성도 길이 변화라고 한다. 또한 말 속도를 조절하여 데이터 집합을 확장하는 방법도 존재한다. First, the data expansion process in the speech recognition field will be described. The data expansion in the speech recognition field extends speech through vocal tract length perturbation when it is difficult to design a reliable model due to short speech. The saints refer to a part of the vocal organs, and variations in ignition occur according to the difference in length of the saints. There is a vocal tract length normalization method to remove this variation, and the method of applying random change by applying the reverse is called the vocal tract length change. There is also a way to scale the data set by adjusting the speed of speech.

그리고 이미지 분야에서의 데이터 확장 과정을 설명하면, 상기 이미지 분야에서 데이터 확장은 자르기, 반전, 색변화 또는 아핀 변환(affine transformation) 등으로 데이터를 확장하였다. 노게이라(nogueira) 등은 이미지의 0.8배 크기만큼 잘라내어 데이터를 확장하는 방법을 사용하였으며, 이는 Nogueira, R. F., de Alencar Lotufo, R., & Machado, R. C. (2014, October). Evaluating software-based fingerprint liveness detection using Convolutional Networks and Local Binary Patterns. In Biometric Measurements and Systems for Security and Medical Applications (BIOMS) Proceedings, 2014 IEEE Workshop on (pp. 22-29). IEEE.에 개시되었다. 그리고 krizhevsky 등은 이미지 반전과 RGB의 색변화를 통하여 데이터를 확장하였으며, 이는 Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems(pp. 1097-1105).에 개시되었다. 그리고 ciregan은 이미지를 무작위 이동(random translation), 회전 등을 적용하여 데이터를 확장하였으며, 이는 Ciregan, D., Meier, U., & Schmidhuber, J.(2012, June). Multi-column deep neural networks for image classification. In Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on (pp.3642-3649). IEEE.에 개시되었다. 또한 아핀변환(affine transformation)과 왜곡을 활용하여 데이터를 확장하는 방법도 개시되어 있으며, 이는 Cire, D. C., Meier, U., Masci, J., Gambardella, L. M., & Schmidhuber, J.(2011). High-performance neural networks for visual object classification. arXiv preprint arXiv:1102.0183. Simard, P. Y., Steinkraus, D., & Platt, J. C.(2003, August). Best practices for convolutional neural networks applied to visual document analysis. In ICDAR (Vol. 3, pp. 958-962).에 개시되었다. In addition, the data expansion process in the image field will be described. The data expansion in the image field has been expanded by cropping, inversion, color change, or affine transformation. Nogueira et al. Used a method that scales data by cropping 0.8 times the size of an image, which is Nogueira, R. F., de Alencar Lotufo, R., & Machado, R. C. (2014, October). Evaluating software-based fingerprint liveness detection using Convolutional Networks and Local Binary Patterns. In Biometric Measurements and Systems for Security and Medical Applications (BIOMS) Proceedings, 2014 IEEE Workshop on (pp. 22-29). Disclosed in IEEE. And krizhevsky et al. Extended the data through image inversion and color change of RGB, which are Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems (pp. 1097-1105). And ciregan extended the data by applying random translation, rotation, and so on to the image, which is described by Ciregan, D., Meier, U., & Schmidhuber, J. (2012, June). Multi-column deep neural networks for image classification. In Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on (pp.3642-3649). Disclosed in IEEE. Also disclosed are methods for extending data using affine transformation and distortion, which are described by Cire, D. C., Meier, U., Masci, J., Gambardella, L. M., & Schmidhuber, J. (2011). High-performance neural networks for visual object classification. arXiv preprint arXiv: 1102.0183. Simard, P. Y., Steinkraus, D., & Platt, J. C. (2003, August). Best practices for convolutional neural networks applied to visual document analysis. In ICDAR (Vol. 3, pp. 958-962).

상기한 바와 같은 노력에도 불구하고 시계열 데이터에 대한 데이터 확장은 용이하지 않았다. 이는 시계열 데이터의 특성상 새로운 지표가 등장하거나 신규 시계열 데이터가 등장하는 경우가 잦기 때문이다.Despite the efforts described above, data expansion on time series data was not easy. This is because new characteristics or new time series data often appear due to the characteristics of time series data.

즉 주식 데이터나 전력 예측 데이터 등과 같은 시계열 데이터는 회계 지표가 새로이 등장하거나 새로운 가전 기기가 포함되는 등 다양한 경우가 존재하는 작은 크기의 변동이 심한 시계열 데이터의 경우에는 데이터 예측시에 데이터 모델에 과적합되어 데이터 예측 성능이 저하될 수 있는 원인이 되었다. In other words, time series data such as stock data or power forecast data may be overfitted in the data model when forecasting data in the case of small and fluctuating time series data such as new accounting indicators or new home appliances. As a result, data prediction performance may be degraded.

이에 종래에는 작은 크기이며 변동이 심한 시계열 데이터에 대해서도 예측 성능을 유지할 수 있게 데이터 모델에 대한 데이터 확장을 이행할 수 있는 기술의 개발이 절실하게 요망되었다. Accordingly, there is an urgent need to develop a technology capable of performing data expansion on a data model to maintain prediction performance even for small size and fluctuating time series data.

한국특허공개 제1020160102690호Korean Patent Publication No. 1020160102690 한국특허공개 제1020180028893호Korean Patent Publication No. 1020180028893 한국특허공개 제1020170134508호Korean Patent Publication No. 1020170134508

본 발명은 작은 크기이며 변동이 심한 시계열 데이터에 대해서도 예측 성능을 유지할 수 있게 합성곱 신경망을 활용하여 시계열 데이터를 확장하는 합성곱 신경망을 활용한 데이터 확장방법 및 장치를 제공하는 것을 목적으로 한다. An object of the present invention is to provide a data expansion method and apparatus using a composite product neural network that extends time series data by using a composite product neural network to maintain prediction performance even for small size and highly variable time series data.

상기한 목적을 달성하기 위한 본 발명에 따르는 합성곱 신경망을 활용한 데이터 확장방법은, 연속되는 시계열 데이터들을 입력받는 제1단계; 상기 시계열 데이터들 각각에 대해 특징들을 검출하여 시계열 데이터들 각각의 특징들을 2차원 배열로 표현하여 입력 데이터들을 생성하는 제2단계; 상기 입력 데이터들 중 연속된 두개 이상의 입력 데이터를 입력받아 합성곱 신경망 처리하여 새로운 데이터를 생성하는 제3단계; 및 상기 새로운 데이터와 입력 데이터를 결합하여 확장된 데이터를 생성하는 제4단계;를 구비함을 특징으로 한다. A data expansion method using a composite product neural network according to the present invention for achieving the above object comprises a first step of receiving continuous time series data; A second step of detecting features for each of the time series data and generating input data by expressing features of each of the time series data in a two-dimensional array; A third step of receiving new input data of two or more consecutive ones of the input data and processing a multiplicative neural network to generate new data; And a fourth step of generating extended data by combining the new data and the input data.

본 발명은 합성곱 신경망을 활용하여 시계열 데이터를 확장하며 작은 크기이며 변동이 심한 시계열 데이터에 대해서도 예측 성능을 유지할 수 있게 하는 효과를 야기한다. The present invention expands time series data by using a composite product neural network, and causes an effect of maintaining prediction performance even for small size and fluctuating time series data.

도 1은 본 발명에 따르는 합성곱 신경망을 활용한 데이터 확장장치의 구성도.
도 2는 도 1의 데이터 확장부의 상세구성도.
도 3은 도 2의 데이터 전처리부의 처리과정도.
도 4는 도 2의 합성곱 신경망 처리부의 처리과정도.
도 5는 도 4의 합성곱 신경망 처리부에 의한 데이터 처리를 예시한 도면.
도 6은 도 1의 데이터 예측부의 구성도.
도 7 내지 도 9는 본 발명에 따르는 성능 실험 결과를 도시한 도면.1 is a block diagram of a data expansion device using a composite product neural network according to the present invention.
FIG. 2 is a detailed configuration diagram of the data expansion unit of FIG. 1. FIG.
3 is a process diagram of a data preprocessor of FIG. 2;
4 is a process chart of the composite product neural network processor of FIG. 2.
5 is a diagram illustrating data processing by the composite multiplication neural network processing unit of FIG. 4.
6 is a configuration diagram of a data predicting unit of FIG. 1.
7 to 9 show the results of a performance experiment according to the invention.

본 발명은 합성곱 신경망을 활용하여 시계열 데이터를 확장하며 작은 크기이며 변동이 심한 시계열 데이터에 대해서도 예측 성능을 유지할 수 있게 한다.The present invention extends time series data by using a composite product neural network and maintains predictive performance even with time series data having small size and fluctuation.

상기한 본 발명의 바람직한 실시예에 따르는 합성곱 신경망을 활용한 학습 데이터 확장장치를 도면을 참조하여 상세히 설명한다. An apparatus for expanding learning data using a composite product neural network according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

<합성곱 신경망을 활용한 학습 데이터 확장장치의 구성><Configuration of Learning Data Expansion Device Using Synthetic Product Neural Network>

도 1은 본 발명의 바람직한 실시예에 따르는 합성곱 신경망을 활용한 학습 데이터 확장장치의 구성을 도시한 것이다. 1 illustrates a configuration of a learning data extension apparatus using a composite product neural network according to a preferred embodiment of the present invention.

상기 합성곱 신경망을 활용한 학습 데이터 확장장치는 데이터 확장부(100)와 데이터 예측부(200)로 구성된다. The learning data extension apparatus using the composite product neural network includes a data expansion unit 100 and a data prediction unit 200.

상기 데이터 확장부(100)는 연속된 시점의 학습 데이터인 시계열 데이터를 전처리하여 합성곱 신경망에 입력하고, 상기 합성곱 신경망은 상기 전처리된 시계열 데이터를 입력받아 확장하여 출력한다. The data expansion unit 100 preprocesses time series data, which is learning data of consecutive views, is input to a composite product neural network, and the composite product neural network receives and expands and outputs the preprocessed time series data.

상기 데이터 예측부(200)는 상기 학습 데이터 확장부(100)에 의해 확장된 시계열 데이터를 이용하여 집합을 생성하고, 여러개의 LSTM을 사용하여 앙상블하여 예측결과를 생성하여 출력한다. The data predictor 200 generates a set using time series data extended by the learning data expander 100, and generates and outputs a prediction result by ensemble using a plurality of LSTMs.

<합성곱 신경망을 활용한 학습 데이터 확장부(100)의 구성 및 동작><Configuration and Operation of Learning Data Expansion Unit 100 Using Synthetic Product Neural Network>

상기 학습 데이터 확장부(100)는 데이터 전처리부(102)와 합성곱 신경망 처리부(104)와 MSE 최소화 처리부(106)로 구성된다. The learning data expansion unit 100 includes a data preprocessor 102, a composite product neural network processor 104, and an MSE minimization processor 106.

상기 데이터 전처리부(102)는 훈련 데이터인 시계열 데이터를 제공받아 합성곱 신경망 처리부(104)에서 처리 가능한 2차원 배열 형태로 변환한다. The data preprocessor 102 receives time series data, which is training data, and converts the data into a two-dimensional array form that can be processed by the composite product neural network processor 104.

상기 데이터 전처리부(102)의 처리과정을 도시한 것이 도 3이다. 상기 도 3을 참조하여 상기 데이터 전처리부(102)의 동작을 설명한다. 3 illustrates a process of the data preprocessor 102. An operation of the data preprocessor 102 will be described with reference to FIG. 3.

상기 데이터 전처리부(102)는 시계열 데이터를 입력받아 특징들로 표현한다(300단계). The data preprocessor 102 receives time series data and expresses them as features (300).

좀더 설명하면, 상기 시계열 데이터는 시간순으로 색인화된 일련의 데이터 요소이며, 상기 시계열 데이터가 수집된 기간이 T라면 시계열 데이터 집합은 수학식 1과 같이 나타낼 수 있다. In more detail, the time series data is a series of data elements indexed in chronological order, and if the time period in which the time series data is collected is T, the time series data set may be represented by Equation 1 below.

상기 수학식 1에서 x는 시계열 데이터를 나타내며, x_t는 t 시각에서의 데이터를 나타낸다. In Equation 1, x represents time series data, and x _t represents data at t time.

그리고 상기 데이터의 특징을 f라 하고, 데이터가 N개의 특징으로 구성되어 있다면 상기 데이터는 수학식 2로 나타낼 수 있다. If the feature of the data is f and the data is composed of N features, the data may be represented by Equation 2.

상기 데이터 전처리부(102)는 상기 데이터의 특징 N이 제곱수인지를 판별하고(302단계), 상기 데이터의 특징 N이 제곱수가 아니면 이 데이터를 2차원 구조 배열로 바꾸기 위해 특징 선택(feature selection)을 통해 N보다 작은 제곱수로 변환한다.The data preprocessor 102 determines whether the feature N of the data is a square number (step 302), and if the feature N of the data is not a square number, a feature selection is performed to convert the data into a two-dimensional structure array. Converts to less than N squares.

상기 데이터 전처리부(102)는 입력 데이터의 특징들

각각과 라벨의 피어슨 상관계수(pearson correlation coefficient)를 계산한다(304단계).The data preprocessor 102 is characterized by input data

The Pearson correlation coefficient of each and the label is calculated (step 304).

상기 피어슨 상관계수는 수학식 3에 따라 계산된다.The Pearson's correlation coefficient is calculated according to equation (3).

여기서, 입력 데이터가 주식 데이터라 가정하면, 상기 입력 데이터는 거래량, 가격변동 등으로 구성되는 특징

과 주식의 등락(+,-) 등의 라벨로 구성된다. 상기 수학식 3에서 xi는

이며, yi는 라벨값이다. Here, assuming that the input data is stock data, the input data is composed of trading volume, price fluctuation, etc.

And stocks such as fluctuations in stocks (+,-). In Equation 3, xi is

Where yi is the label value.

상기 데이터 전처리부(102)는 입력 데이터의 특징들

각각과 라벨의 피어슨 상관계수(pearson correlation coefficient)의 계산결과를 토대로, 입력 데이터들의 특징들 중 미리 정해둔 수, 즉 제곱수만큼 상관관계가 높은 특징들을 선택한다(306단계). 여기서 상기 특징들의 선택시에는 피어슨 상관계수 계산결과 중 양의 상관관계나 음의 상관관계에 무관하게 상관관계가 높은 상위 특징들이 선택된다. 그리고 상기 제곱수는 N보다 작은 제곱수 중 가장 큰 수인 K개로 선택된다. 이에 따라 데이터 x는

로 표현된다. 그리고 임의의 자연수 k에 대해

이므로 데이터 x는 가로, 세로 크기가 k인 2차원 배열로 표현될 수 있으므로, 상기 데이터 전처리부(102)는 입력 데이터의 특징들을 2차원 배열로 표현하여 합성곱 신경망에 적합한 신경망에 적합한 입력 데이터로 변환한다(308단계). The data preprocessor 102 is characterized by input data

Based on the calculation results of the Pearson correlation coefficient of each label and the label, features having a high correlation with a predetermined number, i.e., squares, among the features of the input data are selected (step 306). In the selection of the above features, upper features having a high correlation are selected regardless of the positive correlation or the negative correlation among the Pearson correlation coefficient calculation results. The number of squares is selected as K, which is the largest number among the squares smaller than N. Accordingly, data x is

It is expressed as And for any natural number k

Since data x may be represented as a two-dimensional array having a horizontal and vertical size of k, the data preprocessor 102 expresses the characteristics of the input data in a two-dimensional array to input data suitable for a neural network suitable for a multiplicative neural network. Convert (step 308).

상기한 바와 달리 상기 특징들의 수가 제곱수이면, 데이터 전처리부(102)는 입력 데이터의 특징들을 2차원 배열로 표현하여 합성곱 신경망에 적합한 신경망에 적합한 입력 데이터로 변환한다(308단계). Unlike the above, if the number of features is a square number, the data preprocessor 102 converts the features of the input data into a two-dimensional array and converts the input data into input data suitable for the neural network suitable for the composite-product neural network (step 308).

상기 데이터 전처리부(102)는 상기한 데이터 전처리 과정을 모든 데이터

에 적용하여 합성곱 신경망에 적합한 입력 데이터 집합

를 생성한다. The data preprocessing unit 102 performs all the data on the data preprocessing process.

Input data set suitable for composite product neural network

Create

상기 합성곱 신경망 처리부(104) 및 MES 최소화 처리부(106)는 상기 입력 데이터 집합

를 입력받아 확장하여 출력한다. The composite product neural network processing unit 104 and the MES minimization processing unit 106 are the input data set.

Takes as input and expands and outputs.

먼저 합성곱 신경망을 이용하여 데이터를 확장하는 전체 과정을 간략하게 설명한다. First, the entire process of expanding data using the composite-product neural network is briefly described.

이미지의 분류를 목표로 하는 합성곱 신경망과 다르게 본 발명의 합성곱 신경망은 시계열 데이터의 확장을 목표로 하므로, 연속된 k개의 데이터를 입력으로 하여 생성한 합성곱 신경망의 결과는 입력 데이터의 다음 데이터인 (k+1)번째 데이터와 유사해야 한다. 이에 본 발명은 비용함수에 반영하여 합성곱 신경망이 시계열 데이터의 정보를 파악할 수 있도록 하여 시계열 데이터를 훈련한다.Unlike the multiplicative neural network aiming at classification of images, the multiplicative neural network of the present invention aims to extend time series data. Therefore, the result of a multiplicative neural network generated by inputting k consecutive data is the next data of the input data. It should be similar to the (k + 1) th data. Accordingly, the present invention trains time series data by allowing the multiplicative neural network to grasp information of time series data by reflecting the cost function.

상기 시계열 데이터의 훈련이 끝난 후, 기존 데이터 집합을 다시 합성곱 신경망에 입력으로 집어넣어 기존 데이터 집합과 동일한 기간의 데이터 집합을 새로 생성할 수 있다. After the training of the time series data is completed, the existing data set may be input to the composite product neural network again to generate a new data set having the same period as the existing data set.

이러한 과정을 거쳐 원본 데이터 집합과 유사한 새로운 데이터 집합의 생성하여 데이터 확장을 이룰 수 있다. Through this process, data expansion can be achieved by creating a new data set similar to the original data set.

이러한 합성곱 신경망 처리부(104) 및 MES 최소화 처리부(106)의 처리과정을 도 4를 참조하여 상세히 설명한다. The process of the multiplication neural network processing unit 104 and the MES minimization processing unit 106 will be described in detail with reference to FIG. 4.

이미지 처리를 위한 합성곱 신경망은 이미지의 크기에 따른 폭(width)과 높이(height)와 컬러에 따른 깊이(depth)가 입력되므로, 상기 합성곱 신경망 처리부(104)는 입력 데이터 집합

의 크기에 따라 폭(width)과 높이(height)를 결정하고, 연속된 시점의 데이터 쌍의 개수를 깊이(depth)로 결정한다(400단계). 여기서, 상기 입력 데이터 집합

이

와 같은 2차원 배열이라면 입력 데이터는

구조이며, 이는 도 5의 (a)에 도시한 바와 같다. Since the composite product neural network for image processing is input with the width, height, and depth according to the size of the image, the composite product neural network processing unit 104 may input the data set.

The width and the height are determined according to the size of, and the number of data pairs at successive viewpoints is determined as the depth (400). Where the input data set

this

If it is a two-dimensional array such as

Structure, which is as shown in Fig. 5A.

상기한 바와 같은 과정을 거쳐 합성곱 신경망의 입력 데이터 집합

를 구성하면 수학식 4와 같이 표현할 수 있다. Input data set of composite product neural network through the process as described above

If the configuration can be expressed as shown in Equation 4.

상기 수학식 4에서

은 합성곱 신경망의 입력 데이터 집합이고, 상기 순차적인 입력 데이터

는 순차적인 입력 데이터 쌍을 나타내며, T는 시계열 데이터의 전체 시간을 나타낸다. In Equation 4

Is an input data set of a convolutional neural network, and the sequential input data

Denotes sequential input data pairs, and T denotes the total time of the time series data.

상기 합성곱 신경망 처리부(104)는 상기 입력 데이터 쌍인

를 입력으로 받아 합성곱 신경망 처리하여 MSE 최소화 처리부(106)로 출력한다(402단계). The composite product neural network processing unit 104 is the input data pair

Is received as an input and processed by a multiplicative neural network output to the MSE minimization processing unit 106 (step 402).

상기 MSE 최소화 처리부(106)는 상기 합성곱 신경망의 결과와 다음 시점, 즉 (t+2) 시점의 데이터

와 비교하여 MSE가 최소화되도록 합성곱 신경망을 훈련한다(404단계). The MSE minimization processing unit 106 performs the result of the convolutional neural network and data at a next time point, that is, (t + 2) time point.

In step 404, a multiplicative neural network is trained to minimize MSE.

좀더 설명하면, 상기 (t+2) 시점의 데이터 집합

은 수학식 5와 같이 구성될 수 있다. In more detail, the data set at the time point (t + 2)

May be configured as shown in Equation 5.

즉,

는 입력 데이터이고,

는 라벨값으로 합성곱 신경망에 적용된다. In other words,

Is the input data,

Is the label value and is applied to the convolutional neural network.

상기 데이터 확장을 위한 합성곱 신경망 구조는 일반적인 합성곱 신경망과 유사하지만 마지막 결과(output)를 출력하는 계층이 다르다. 일반적인 이미지를 분류하는 합성곱 신경망의 경우 마지막 계층에서 소프트맥스(softmax)를 사용하여 가장 큰 값을 가진 클래스(class)로 분류한다. 그러나 본 발명에서는 새로운 데이터를 생성하는 것이 목적이므로, 소프트맥스 계층을 사용하지 않고 입력 데이터와 같은 폭(width)과 높이(height)를 갖는

구조를 결과 값으로 받을 수 있도록 합성곱 신경망의 구조가 결정된다. 예를 들어, 입력 데이터가

구조라면, 결과 값은

구조가 되도록 설계한다. The convolutional neural network structure for data expansion is similar to that of a general convolutional neural network, but has a different layer for outputting the final output. In the case of composite product neural networks that classify general images, they are classified into the class with the largest value using softmax in the last layer. However, in the present invention, since the purpose is to generate new data, it has the same width and height as the input data without using the softmax layer.

The structure of the convolutional neural network is determined to receive the structure as a result. For example, if the input data

Structure, the result is

Design to be a structure.

그리고 합성곱 신경망의 결과와

의 데이터의 차이가 적도록 비용함수를 설정하여 합성곱 신경망을 훈련시킨다. 여기서 합성곱 신경망의 결과와

의 차이는 MSE(Mean Squared Error)로 계산한다. 상기 MSE는 수학식 6에 따라 계산되며, 이를 비용함수로 설정한다.And the result of the composite product neural network

We train the multiplicative neural network by setting the cost function so that the data difference is small. Where the result of the convolutional neural network

The difference is calculated by Mean Squared Error (MSE). The MSE is calculated according to Equation 6, and is set as a cost function.

상기 수학식 6에서

는 합성곱 신경망의 결과값이고

는

이다. In Equation 6

Is the result of the convolutional neural network

Is

to be.

상기의 합성곱 신경망의 훈련이 끝나면, 상기 합성곱 신경망 처리부(104)는 기존 데이터 집합을 훈련된 합성곱 신경망 처리하여 데이터를 생성한다(404단계). 이후 상기 합성곱 신경망 처리부(104)는 기존 데이터 집합에 새로운 데이터를 추가하여 데이터를 확장한다(406단계). After the training of the composite multiplicative neural network, the composite multiplicative neural network processing unit 104 generates data by processing a trained multiplicative neural network of the existing data set (step 404). The convolutional neural network processor 104 expands the data by adding new data to the existing data set (step 406).

이러한 데이터 확장 과정은 도 5의 (b)에 도시한 바와 같다. 상기 도 5의 (b)를 참조하면, 상기 합성곱 신경망 처리부(104)는 입력 데이터

...

를 입력받아

,

...

가 생성되어 출력한다. 이로서 입력 데이터는

...

,

...

로 확장된다. 이렇게 확장된 데이터들은

의 2차원 배열 형태이다. This data expansion process is as shown in FIG. Referring to FIG. 5B, the composite product neural network processing unit 104 inputs data.

...

Take input

,

...

Is generated and output. This means that the input data

...

,

...

Is extended to. This expanded data

Is a two-dimensional array of.

이후 상기 합성곱 신경망 처리부(104)는

의 2차원 배열 형태의 확장된 데이터들을 실제 예측을 위해

의 형태로 변환하여 최종 확장된 데이터 집합을 구성하여 출력한다(408단계). Then the composite product neural network processing unit 104

For the actual prediction of extended data

In step 408, a final extended data set is constructed and converted into a form of a.

상기한 본 발명의 바람직한 실시예에서는 연속된 두 데이터를 이용하여 새로운 데이터를 생성하였으나, 연속된 두개 이상의 데이터를 이용하여 새로운 데이터를 생성할 수도 있으며, 이는 본 발명에 의해 당업자에게 자명하다. In the above-described preferred embodiment of the present invention, new data is generated using two consecutive data, but new data may be generated using two or more consecutive data, which is obvious to those skilled in the art by the present invention.

상기한 데이터 확장부(100)가 생성한 확장된 데이터 집합은 시계열 데이터를 예측하는 데이터 예측부(200)로 제공된다. The extended data set generated by the data expander 100 is provided to the data predictor 200 for predicting time series data.

<시계열 데이터를 예측하는 데이터 예측부(200)의 구성 및 동작><Configuration and Operation of Data Prediction Unit 200 for Predicting Time Series Data>

도 6은 시계열 데이터를 예측하는 데이터 예측부(200)의 구성을 도시한 것이다. 상기 도 6을 참조하면, 상기한 시계열 데이터를 예측하는 데이터 예측부(200)는 제1 내지 제N LSTM(Long Short-Term Memory Networks) 예측부(5001~500N)와 앙상블부(502)로 구성된다. 6 illustrates a configuration of the data predictor 200 predicting time series data. Referring to FIG. 6, the data predictor 200 for predicting the time series data includes first to Nth long short-term memory networks (LSTM) predictors 5001 to 500N and an ensemble 502. do.

상기 제1 내지 제N LSTM부(5001~500N)는 원본 데이터 집합과 새로이 생성된 확장된 데이터 집합들의 개수에 대응되게 구비되며, 상기 제1 내지 제N LSTM부(5001~500N) 각각은 입력된 데이터 집합에 대해 예측을 이행하고 그 결과를 출력한다. 상기 제1 내지 제N LSTM부(5001~500N)는 RNN( Recurrent Neural Network)의 히든 노드에 셀 상태(cell-state)를 추가한 구조를 가진다. The first to Nth LSTM units 5001 to 500N are provided to correspond to the number of original data sets and newly created extended data sets, and each of the first to Nth LSTM units 5001 to 500N is input data. Perform predictions on the set and output the results. The first to Nth LSTM units 5001 to 500N have a structure in which a cell state is added to a hidden node of a recurrent neural network (RNN).

상기 제1 내지 제N LSTM부(5001~500N) 각각의 출력은 앙상블 처리부(504)에 입력된다. 상기 앙상블 처리부(504)는 상기 제1 내지 제N LSTM부(5001~500N) 각각의 출력의 평균을 취하여 최종 예측 결과를 출력한다. The output of each of the first to Nth LSTM units 5001 to 500N is input to the ensemble processing unit 504. The ensemble processing unit 504 averages the output of each of the first to Nth LSTM units 5001 to 500N, and outputs a final prediction result.

상기 앙상블 처리부(504)는 상기 제1 내지 제N LSTM부(5001~500N)에서 나온 값으로부터 다수결 판단을 적용하여 최종 예측 결과를 출력한다. The ensemble processing unit 504 outputs a final prediction result by applying a majority decision from values derived from the first to Nth LSTM units 5001 to 500N.

<실험 및 결과>Experiment and Results

상기한 바와 같이 구성되는 본 발명의 바람직한 실시예에 따르는 합성곱 신경망을 활용한 데이터 확장장치의 성능을 증명하기 위해 실험을 이행하였으며 그 결과는 다음과 같다. Experiments were carried out to prove the performance of the data expansion device using the composite-product neural network according to the preferred embodiment of the present invention configured as described above. The results are as follows.

먼저 본 발명의 성능을 증명하기 위한 데이터로는 주식 수익률 데이터, 이더리움 가격 데이터 및 기기의 에너지 사용량 데이터를 사용하였다. First, as data for proving the performance of the present invention, stock return data, Ethereum price data, and energy usage data of the device were used.

상기 주식 수익률 데이터는 2000년 1월 ~2016년 12월까지 월별 주식의 수익률과 195개의 특징으로 구성되며, 월별로 200개의 주식 정보가 수집되었고 매월마다 구성되는 주식 종목에는 변동이 있다. 또한 상기 195개의 특징들도 전체 기간동안 수집되지 않아 실제 활용할 수 있는 데이터는 기간이 매우 짧다. 따라서 본 실험에서는 주식별로 데이터를 따로 분리하여 실험을 진행하였다. The stock return data is composed of monthly stock returns and 195 features from January 2000 to December 2016, 200 stock information was collected monthly, and stocks composed monthly. In addition, the 195 features are not collected for the entire period, so the data that can be used in practice is very short. Therefore, in this experiment, we conducted the experiment by separating the data for each stock separately.

그리고 상기 이더리움 가격 데이터는 kaggle을 통해 얻을 수 있으며, 총 특징의 개수는 15개이고 789행으로 이루어져 있고, 라벨은 이더리움의 가격이다. And the Ethereum price data can be obtained through kaggle, the total number of features is 15 and consists of 789 rows, the label is the price of Ethereum.

그리고 기기의 에너지 사용량 데이터는 가전 기기의 에너지 데이터는 Candanedo, L. M., Feldheim, V., & Deramaix, D. (2017). Data driven prediction models of energy use of appliances in a low-energy house. Energy and Buildings, 140, 81-97.을 통해 얻을 수 있었다. 상기 기기의 에너지 사용량 데이터의 특징은 27개이고 75,030행으로 이루어져 있고, 라벨은 에너지 사용량이다. And the energy usage data of the appliance is shown in Candanedo, L. M., Feldheim, V., & Deramaix, D. (2017). Data driven prediction models of energy use of appliances in a low-energy house. Energy and Buildings, 140, 81-97. The energy usage data of the device is characterized by 27 and consists of 75,030 rows, and the label is energy usage.

이제 실험방법에 대해 설명한다. 본 발명에 따른 방법과 랜덤 노이즈 확장 기법을 이용하여 데이터를 확장하는 실험을 이행하였다. 상기 랜덤 노이즈 확장 기법은 일반적으로 적용할 수 있는 임의의 난수를 더해주는 방식이 있다. 이 방식은 원본 데이터에 노이즈를 더하는 방식으로 여러 분포를 통해 노이즈를 생성할 수 있다. 특히 본 실험에서는 각 특징의 표준편차에 해당하는 가우시안 분포를 사용하여 노이즈를 생성하였다. 또한 생성된 노이즈는

을 곱하여 조정한 후 더해주었다. The experimental method will now be described. Experiments were performed to expand the data using the method according to the invention and the random noise extension technique. The random noise extension technique has a method of adding an arbitrary random number that can be generally applied. This method adds noise to the original data and can generate noise through multiple distributions. In particular, in this experiment, noise was generated using a Gaussian distribution corresponding to the standard deviation of each feature. Also, the generated noise

Multiply by and add it.

상기한 실험방법에 따른 실험결과를 설명한다. 본 발명에 따른 방법과 랜덤 노이즈 확장 방법을 실험한 결과는 도 7에 도시한 표 1과 같다. 상기 표 1을 참조하면 원본 데이터 집합만 사용하였을 때보다 합성곱 신경망을 통해 데이터를 확장하고 그 데이터 집합을 포함한 실험이 더 좋은 결과를 보인 것을 나타낸다. 즉, 본 발명에 따라 데이터 확장 방법을 이용했을 때와 랜덤 노이즈(Random Noise)를 이용해 데이터 확장을 했을 때 학습한 결과와 실제 라벨(label)사이의 오차 값을 나타낸다. 즉, 오차가 작을수록 더 좋은 결과를 나타냈다고 볼 수 있다. 그리고 Metric이란 오차를 계산할 때 사용한 비용함수를 말하는 것이며, Stock return data와 Ethreum price data에서는 MSE(Mean squared Error)를 사용하였고, Energy use data에서는 RMSE(Root Mean Square Error)를 사용하였다. 그리고 RMSE는 MSE에 root를 계산한 값이다. The experimental results according to the experimental method described above will be described. Experimental results of the method according to the present invention and the random noise expansion method are shown in Table 1 shown in FIG. 7. Referring to Table 1 above, it is shown that the experiment including the data set was expanded and the results were better than the original data set using only the multiplication neural network. That is, the error value between the result of the learning and the actual label is shown when the data extension method is used and when the data is extended using the random noise according to the present invention. In other words, the smaller the error, the better the result. In addition, Metric refers to a cost function used to calculate an error. Mean squared error (MSE) is used for stock return data and ethreum price data, and root mean square error (RMSE) is used for energy use data. RMSE is the value calculated by root in MSE.

그리고 데이터 집합의 개수에 따른 성능은 도 7에 도시한 표 2와 같다. 확장 데이터 1은 입력으로 들어가는 연속된 시점의 데이터를 2개 선택했을 때, 확장 데이터 2는 연속된 시점의 데이터를 3개 선택했을 때, 확장 데이터 3과 4는 연속된 시점의 데이터를 4, 5개 선택한 결과로 생성된 확장 데이터 집합이다. 즉, 원본데이터만 사용하였을 때와, 순차적으로 확장데이터 1, 2, 3, 4까지 더한 결과로서, 표 2와 같이 주식 수익률과 이더리움 가격 데이터는 MSE를 에너지 사용량의 경우 RMSE를 사용한 결과 값이다.Performance according to the number of data sets is shown in Table 2 shown in FIG. When extended data 1 selects two pieces of data at consecutive points of time into the input, the extended data 2 selects three pieces of data at consecutive points of view, and the extended data 3 and 4 selects data of consecutive points of view 4, 5. An extended data set created as a result of. That is, when only the original data is used, and as the result of adding extended data 1, 2, 3, and 4 sequentially, as shown in Table 2, the stock returns and the Ethereum price data are the results of using MSE and RMSE for energy consumption. .

그리고 에너지 데이터의 경우 일반적인 시계열 예측 알고리즘을 추가하여 실험하였고, 타 알고리즘 대비 성능이 좋은 것을 확인하였다.In the case of energy data, general time series prediction algorithm was added and tested, and it was confirmed that the performance was better than other algorithms.

확장 데이터 집합을 포함했을 경우와 포함하지 않을 경우와 더불어 4개의 알고리즘을 실험한 결과는 도 8에 도시한 표 3과 같고, 확장 데이터를 포함한 LSTM이 가장 좋은 성능을 보인다. The results of experimenting with four algorithms, with and without the extended data set, are shown in Table 3, and LSTM with extended data shows the best performance.

이러한 실험을 통해 임의의 노이즈를 더한 데이터 확장 기법과 합성곱 신경망을 통한 데이터 확장 기법을 비교하였고, 합성곱 신경망을 통해 데이터를 확장한 경우가 성능이 더 좋은 것을 확인할 수 있었다. 이를 통해, 데이터를 확장할 때 데이터의 정보를 담은 확장이 필요함을 알 수 있다.Through these experiments, we compared the data expansion method with random noise and the data expansion method through the composite-product neural network, and we found that the performance is better when the data is expanded through the composite-product neural network. Through this, it can be seen that when the data is expanded, an expansion containing information of the data is required.

그리고 각각의 확장된 데이터 집합과 원본 데이터 집합의 성능을 비교했다. 이를 통해 입력의 깊이(DEPTH)가 성능에 영향을 미치는 것을 확인할 수 있었다. 입력으로 들어가는 연속된 데이터 개수가 2개 이하일 때는 원본 데이터보다 보통 좋은 성능을 보였다. We then compared the performance of each extended dataset with the original dataset. This confirmed that the depth of input (DEPTH) affects the performance. When the number of consecutive data entering the input is less than 2, the performance is usually better than the original data.

또한 원본 데이터와 앙상블하는 확장된 데이터 집합의 개수를 달리하며 예측하였을 때에도, 원본 데이터와 확장 데이터 집합 1,2개를 사용하였을 때 좋은 성능을 보였다. Also, when predicted by varying the number of extended data sets ensemble with the original data, good performance was obtained when using the original data and one or two extended data sets.

이는 확장된 데이터 집합의 MSE와 연관지어 각 모델의 성능과 유사한 성능을 보인 것으로 해석된다. It is interpreted that the performance is similar to that of each model in association with the MSE of the extended data set.

이러한 앙상블을 사용한 결과를 통해 확장된 데이터 집합이 원본 데이터보다 시계열 정보를 더 포함하고 있음을 확인할 수 있다. The results of using this ensemble show that the extended dataset contains more time series information than the original data.

이러한 본 발명은 주식 데이터와 같이 특징들을 수집할 수 있는 유효한 기간이 짧아 데이터 집합이 작아질 때, 이를 확장하여 더 좋은 성능을 낼 수 있다. 이러한 측면은 주로 개장, 폐장 가격, 거래 볼륨(Volume) 등을 특징으로 한 기존 모델들과는 다르게 더 많은 경제지표를 특징으로 활용할 수 있고, 더 좋은 성능을 보일 수 있는 가능성을 열어준다. The present invention can shorten the valid period for collecting features such as stock data so that when the data set is small, it can be extended to achieve better performance. This aspect opens up the possibility of using more economic indicators and showing better performance, unlike existing models that mainly feature opening, closing prices, and trading volumes.

100 : 데이터 확장부
200 : 데이터 예측부100: data expansion unit
200: data prediction unit

Claims

합성곱 신경망을 활용한 데이터 확장방법에 있어서,
연속되는 시계열 데이터들을 입력받는 제1단계;
상기 시계열 데이터들 각각에 대해 특징들을 검출하여 시계열 데이터들 각각의 특징들을 2차원 배열로 표현하여 입력 데이터들을 생성하는 제2단계;
상기 입력 데이터들 중 연속된 두개 이상의 입력 데이터를 입력받아 합성곱 신경망 처리하여 새로운 데이터를 생성하는 제3단계; 및
상기 새로운 데이터와 입력 데이터를 결합하여 확장된 데이터를 생성하는 제4단계;를 구비함을 특징으로 하는 합성곱 신경망을 활용한 데이터 확장방법. In the data expansion method using a composite product neural network,
A first step of receiving continuous time series data;
A second step of detecting features for each of the time series data and generating input data by expressing features of each of the time series data in a two-dimensional array;
A third step of receiving new input data of two or more consecutive ones of the input data and processing a multiplicative neural network to generate new data; And
And a fourth step of generating extended data by combining the new data with the input data.

제1항에 있어서,
상기 제2단계가,
상기 시계열 데이터들 각각에 대해 특징들을 검출하는 단계;
상기 시계열 데이터들 각각에 대한 특징들의 수가 제곱수인지를 판별하는 단계;
상기 시계열 데이터들 각각에 대한 특징들의 수가 제곱수가 아니면 제곱수만큼의 특징만을 선택하여 특징들의 수를 줄이는 단계;
상기 시계열 데이터들 각각에 대한 제곱수의 특징들을 2차원 배열로 변환하여 입력 데이터를 생성하는 단계;로 구성됨을 특징으로 하는 합성곱 신경망을 활용한 데이터 확장방법. The method of claim 1,
The second step,
Detecting features for each of the time series data;
Determining whether the number of features for each of the time series data is a square number;
Reducing the number of features by selecting only features by the number of squares if the number of features for each of the time series data is not square;
And generating input data by converting the features of the square number of each of the time series data into a two-dimensional array. 2.

제2항에 있어서,
상기 특징들 중 선택되는 특징들은,
해당 시계열 데이터의 라벨과 상관관계가 높은 특징들임을 특징으로 하는 합성곱 신경망을 활용한 데이터 확장방법. The method of claim 2,
Among the features selected among the features,
A method of expanding data using a composite product neural network, characterized by high correlation with labels of the corresponding time series data.

제1항에 있어서,
상기 제3단계는,
상기 입력 데이터들 중 연속된 두개 이상의 입력 데이터를 입력받아 합성곱 신경망 처리하는 단계;
상기 합성곱 신경망 처리한 결과와 다음 입력 데이터를 비교하여 MSE가 최소화되도록 합성곱 신경망을 학습하는 단계;
학습된 합성곱 신경망에 의해 상기 입력 데이터들 중 연속된 두개 이상의 입력 데이터를 처리하여 새로운 데이터를 생성하는 단계;로 구성됨을 특징으로 하는 합성곱 신경망을 활용한 데이터 확장방법. The method of claim 1,
The third step,
Processing a multiplication neural network by receiving two or more consecutive input data among the input data;
Learning a convolutional neural network to minimize MSE by comparing the result of the convolutional neural network with next input data;
And generating new data by processing two or more consecutive input data among the input data by the trained multiplicative neural network.

합성곱 신경망을 활용한 데이터 확장장치에 있어서,
연속되는 시계열 데이터들을 입력받아, 상기 시계열 데이터들 각각에 대해 특징들을 검출하여 시계열 데이터들 각각의 특징들을 2차원 배열로 표현하여 입력 데이터들을 생성하는 데이터 전처리부;
상기 입력 데이터들 중 연속된 두개 이상의 입력 데이터를 입력받아 합성곱 신경망 처리하여 새로운 데이터를 생성하고, 상기 새로운 데이터와 입력 데이터를 결합하여 확장된 데이터를 생성하는 합성곱 신경망 처리부;를 구비함을 특징으로 하는 합성곱 신경망을 활용한 데이터 확장장치. In the data expansion device using a composite product neural network,
A data preprocessor which receives continuous time series data, detects features of each of the time series data, and expresses features of each of the time series data in a two-dimensional array to generate input data;
And a multiplicative neural network processing unit configured to receive two or more consecutive input data among the input data, process a multiplicative neural network to generate new data, and generate extended data by combining the new data and the input data. Data expansion device using composite product neural network.

제5항에 있어서,
상기 데이터 전처리부가,
상기 시계열 데이터들 각각에 대해 특징들을 검출하고,
상기 시계열 데이터들 각각에 대한 특징들의 수가 제곱수인지를 판별하고,
상기 시계열 데이터들 각각에 대한 특징들의 수가 제곱수가 아니면 제곱수만큼의 특징만을 선택하여 특징들의 수를 줄이고,
상기 시계열 데이터들 각각에 대한 제곱수의 특징들을 2차원 배열로 변환하여 입력 데이터를 생성함을 특징으로 하는 합성곱 신경망을 활용한 데이터 확장장치. The method of claim 5,
The data preprocessing unit,
Detect features for each of the time series data,
Determine whether the number of features for each of the time series data is a square number,
If the number of features for each of the time series data is not a square number, select only as many features as the square number to reduce the number of features,
And an input product by converting features of a square number of each of the time series data into a two-dimensional array to generate input data.

제6항에 있어서,
상기 특징들 중 선택되는 특징들은,
해당 시계열 데이터의 라벨과 상관관계가 높은 특징들임을 특징으로 하는 합성곱 신경망을 활용한 데이터 확장장치. The method of claim 6,
Among the features selected among the features,
A data expansion device using a composite product neural network, characterized by high correlation with labels of the corresponding time series data.

제5항에 있어서,
상기 합성곱 신경망 처리부는,
상기 입력 데이터들 중 연속된 두개 이상의 입력 데이터를 입력받아 합성곱 신경망 처리하고,
상기 합성곱 신경망 처리한 결과와 다음 입력 데이터를 비교하여 MSE가 최소화되도록 합성곱 신경망을 학습하고,
학습된 합성곱 신경망에 의해 상기 입력 데이터들 중 연속된 두개 이상의 입력 데이터를 처리하여 새로운 데이터를 생성함을 특징으로 하는 합성곱 신경망을 활용한 데이터 확장장치.
The method of claim 5,
The composite product neural network processing unit,
Process two or more consecutive input data among the input data and process a multiplicative neural network;
Comparing the result of the convolutional neural network processing with the next input data to learn a convolutional neural network to minimize MSE,
A data expansion device using a composite product neural network, characterized by processing two or more consecutive input data among the input data by a trained composite product neural network to generate new data.