KR102429233B1

KR102429233B1 - Method and system for Prognostics and Health Management(PHM) model design through data enhancement based on cloud platform service

Info

Publication number: KR102429233B1
Application number: KR1020200159607A
Authority: KR
Inventors: 이종수; 김진영; 이형운; 김진혁
Original assignee: 연세대학교 산학협력단
Priority date: 2019-11-28
Filing date: 2020-11-25
Publication date: 2022-08-05
Also published as: KR20210066730A

Abstract

본 발명은 건전성 예측 관리(PHM, Prognostics and Health Management) 모델 생성 시 필요한 많은 데이터들을 클라우드 플랫폼 서비스(Cloud Platform Service)기반 조건부 생성적 적대 신경망(GAN, Generative Adversarial Networks)을 이용한 데이터 증강(Data Augmentation)과 전이 학습(Transfer Learning)을 적용하여 데이터 부족에 따른 PHM 모델의 성능저하 문제를 해결하는 방법 및 시스템에 관한 것이다.The present invention is a data augmentation (Data Augmentation) using a conditional generative adversarial network (GAN, Generative Adversarial Networks) based on a cloud platform service (Cloud Platform Service) of a lot of data required for generating a health prediction management (PHM, Prognostics and Health Management) model. It relates to a method and system for solving the problem of performance degradation of PHM models due to lack of data by applying and transfer learning.

Description

클라우드 플랫폼 서비스 기반 데이터 증강을 통한 건전성 예측 관리 모델 설계 방법 및 시스템{Method and system for Prognostics and Health Management(PHM) model design through data enhancement based on cloud platform service}A method and system for designing a health prediction management model through data enhancement based on cloud platform service

PHM의 머신러닝 또는 딥러닝은 공학적 시스템의 상태 기반 정비(CBM, Condition Based Management)의 솔루션으로 공학적 문제를 해결한다. 이때 공학적 문제란 운용 중인 시스템이나 장치에 대해 시스템의 이상상황을 감지하고 분석 및 예지 진단을 통해 고장시점을 사전에 예측해 설비관리를 최적화 할 수 있는가 여부의 문제이다.PHM's machine learning or deep learning solves engineering problems as a solution for condition-based maintenance (CBM) of engineering systems. At this time, the engineering problem is the problem of whether it is possible to optimize the facility management by detecting the abnormal situation of the system for the operating system or device and predicting the failure point in advance through analysis and predictive diagnosis.

성능이 좋은 PHM 모델을 가지게 되면 현재 운용중인 시스템이나 장치를 오랫동안 사용할 수 있고, 사용 중 성능 저하를 막아 많은 비용의 절감으로 이어진다. 여기서 PHM 모델이란 건전성 예측 관리에 사용되는 신경망의 모든 종류이다. 대표적으로 이미지 분류 신경망인 합성곱 신경망(CNN, Convolutional Neural Network)과 시계열 데이터 분류 신경망인 장단기 기억 순환 신경망(LSTM, Long Short Term Memory)가 있다.If you have a PHM model with good performance, you can use the currently operating system or device for a long time, and prevent performance degradation during use, leading to significant cost savings. Here, a PHM model is any kind of neural network used for predictive health management. Representatively, there are a convolutional neural network (CNN), which is an image classification neural network, and a long short-term memory (LSTM), a long short-term memory (LSTM) neural network, which is a time series data classification neural network.

성능이 좋은 PHM모델 설계에는 2가지 문제가 존재한다. 첫 번째로 건전성 예측 관리의 대상이 되는 시스템이 바뀔 때마다, PHM 모델의 학습을 반복해야 한다는 점이다. 도 1은 데이터 셋이 상이한 PHM 모델을 나타낸 것으로, 도시된 바와 같이 PHM 모델이 적용되는 시스템이 바뀔 때 마다 그에 맞는 모델을 학습해야 한다. 이때 모델을 학습하면서 드는 시간비용이 소모되며, 특정 모델에서의 데이터가 부족 할 시에는 학습률이 낮아 PHM 모델의 성능이 저하 된다. There are two problems in designing a good PHM model. First, it is necessary to repeat the training of the PHM model whenever the system that is the target of sanity prediction management changes. FIG. 1 shows PHM models with different data sets. As shown, whenever the system to which the PHM model is applied changes, it is necessary to learn a suitable model. In this case, the time and cost of learning the model is consumed, and when there is insufficient data in a specific model, the learning rate is low and the performance of the PHM model is deteriorated.

예를 들어 상대적으로 개체 수도 많고, 종류도 많고, 운행 환경 및 운행 시간도 다양한 자동차 엔진의 PHM 모델은 데이터가 많고 다양하기 때문에 모델의 성능이 좋은 반면, 상대적으로 적은 데이터를 가지고 있는 선박 엔진의 PHM 모델은 성능이 떨어진다. 즉, 데이터 셋(set)의 크기가 확연하게 차이가 난다면, PHM 모델 성능은 확연히 차이가 나게 되며, 예를 들어 상대적으로 부족한 크기의 선박 엔진 데이터 셋으로 PHM 모델을 학습할 시, 부정확한 예측모델이 생성 될 수 있다. For example, the PHM model of a car engine with a relatively large number and variety of objects and different operating environments and operating times has good performance because of the large amount of data and variety, while the PHM of a marine engine with relatively little data. The model has poor performance. That is, if the size of the data set is significantly different, the performance of the PHM model will be significantly different. A model can be created.

이런 데이터 부족 문제 해결을 위해 원본 데이터에 노이즈를 인가하는 전통적인 데이터 증강 방법을 사용해서 보완할 수 있다. 전통적인 데이터 증강은 주로 원본 데이터에 노이즈를 인가해 이미지파일의 경우 이미지 회전, 중심 좌표 변경(shifting), 색상, 채도, 밝기 등을 임의 조정하여 데이터를 생성한다. 이렇게 만들어 지는 데이터는 데이터의 종류가 매우 제한적이라는 단점이 존재 한다. 즉, 제한된 범위의 이상감지를 벗어나면 감지를 못하는 모델이 생성된다. To solve this data shortage problem, it can be supplemented by using a traditional data augmentation method that applies noise to the original data. Traditional data augmentation mainly generates data by applying noise to the original data and arbitrarily adjusting image rotation, center coordinate shifting, color, saturation, and brightness in the case of an image file. The data created in this way has the disadvantage that the type of data is very limited. That is, a model that cannot be detected is created when it is out of the limited range of anomaly detection.

성능이 좋은 PHM 모델을 설계하는 것에 있어서 2번째 문제점으로는 데이터 수집이다. 선박 엔진과 자동차 엔진은 데이터 셋의 크기와 다양성에서 차이가 나지만, 둘 다 데이터 수집이 쉽지 않다. 특히 선박 모델의 경우 바다에 넓게 분포되어 있고, 항해시간이 길기 때문에 데이터 수집이 어렵다. 또한, 넓은 범위의 데이터를 얻기 위해 다양한 환경(극지방, 적도지역, 다양한 기상상태 등)에서 운행 중인 선박들의 데이터를 수집하여 데이터 증강을 실행 해야 하는데, 이와 같은 물리적, 환경적 요인은 데이터 수집에 제약으로 작용될 수 밖에 없다.The second problem in designing a PHM model with good performance is data collection. Although marine engines and automobile engines differ in the size and diversity of data sets, both are difficult to collect data. In particular, in the case of ship models, it is difficult to collect data because they are widely distributed in the sea and the sailing time is long. In addition, in order to obtain a wide range of data, it is necessary to collect data of ships operating in various environments (polar regions, equatorial regions, various weather conditions, etc.) and execute data augmentation. can only act as

KR2019-0091868A(2019.08.07.)KR2019-0091868A(2019.08.07.)

본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 멀리 떨어져 있는 객체들의 이상 징후 데이터(다양한 환경에서의 이상 데이터)를 시간과 거리의 제약을 받지 않고 수집할 수 있는 방법을 제시하는 것에 그 목적이 있다.The present invention has been devised to solve the above-described problems, and to provide a method for collecting anomaly data (abnormal data in various environments) of distant objects without time and distance restrictions. There is a purpose.

또한, 본 발명은 수집된 데이터 수가 부족한 경우 PHM 모델 생성을 위한 많은 데이터를 확보할 수 있는 방법을 제시하는 것에 그 목적이 있다.Another object of the present invention is to provide a method for securing a large amount of data for generating a PHM model when the number of collected data is insufficient.

또한, 본 발명은 PHM 모델에 사용되는 머신러닝 또는 딥러닝 신경망의 성능을 높여 예지보전을 더욱 정확하게 할 수 있는 방법을 제시하는 것에 그 목적이 있다.In addition, an object of the present invention is to present a method for more accurate predictive maintenance by increasing the performance of a machine learning or deep learning neural network used in a PHM model.

본 발명의 일 예에 따른 PHM 모델 설계 시스템은, 건전성 예측 관리(PHM, Prognostics and Health Management) 모델을 생성할 대상 시스템 또는 장치의 각 객체에 대한 데이터를 획득하는 데이터 획득부; 상기 데이터 획득부가 획득한 데이터를 전달받아, 상기 전달받은 데이터를 증강하여 증강 데이터를 생성하는 데이터 증강부; 및 상기 데이터 증강부가 생성한 증강 데이터를 전달받아, 상기 증강 데이터를 기반으로 상기 대상 시스템 또는 장치의 PHM 모델을 생성하는 PHM 모델 생성부;를 포함할 수 있다.A PHM model design system according to an embodiment of the present invention includes: a data acquisition unit that acquires data for each object of a target system or device for generating a prognostics and health management (PHM) model; a data augmentation unit receiving the data acquired by the data acquisition unit and generating augmented data by augmenting the received data; and a PHM model generator configured to receive the augmented data generated by the data augmentation unit and generate a PHM model of the target system or device based on the augmented data.

상기 데이터 증강부는 클라우드 플랫폼 상에서 구현되는 것으로, 상기 클라우드 플랫폼은, 클라우드 저장공간을 이용하여 상기 데이터 획득부가 획득한 상기 데이터를 수집하고, 클라우드 컴퓨팅을 이용하여 상기 데이터를 기반으로 증강 데이터를 생성할 수 있다.The data augmentation unit may be implemented on a cloud platform, and the cloud platform may collect the data acquired by the data acquisition unit using a cloud storage space and generate augmented data based on the data using cloud computing. have.

상기 클라우드 컴퓨팅은, 생성적 적대 신경망(GAN, Generative Adversarial Network)을 이용하여 데이터 증강을 수행할 수 있다.The cloud computing may perform data augmentation using a generative adversarial network (GAN).

상기 PHM 모델 생성부는, 상기 증강 데이터를 기반으로 머신러닝 또는 딥러닝하여 상기 시스템 또는 장치의 PHM 모델을 생성할 수 있다.The PHM model generator may generate a PHM model of the system or device by performing machine learning or deep learning based on the augmented data.

다른 시스템 또는 장치에 대해 기 학습된 PHM 모델을 저장하는 기 학습 PHM 모델 저장부;를 더 포함하고, 상기 PHM 모델 생성부는, 상기 기 학습 PHM 모델 저장부로부터 전달받은 기 학습된 PHM 모델을 전이 학습하여 상기 대상 시스템 또는 장치의 PHM 모델을 생성할 수 있다.Further comprising; a pre-learning PHM model storage unit for storing a pre-trained PHM model for another system or device, wherein the PHM model generation unit transfers learning the pre-trained PHM model received from the pre-learning PHM model storage unit to generate a PHM model of the target system or device.

상기 PHM 모델 생성부는, 상기 기 학습 PHM 모델 저장부로부터 상기 기 학습된 PHM 모델의 합성곱이 학습한 가중치를 전달받고, 상기 가중치를 새로 생성할 상기 대상 시스템 또는 장치의 PHM 모델의 합성곱에 그대로 전달하여, 상기 대상 시스템 또는 장치의 PHM 모델을 생성할 수 있다.The PHM model generation unit receives the weights learned by the convolution of the pre-trained PHM model from the previously-learned PHM model storage unit, and directly transmits the weights to the convolution of the PHM model of the target system or device to be newly generated. Thus, a PHM model of the target system or device may be generated.

상기 전이 학습은, 특성 추출기, 분류기 및 도메인 판별기를 포함하는 도메인 적응 기법(DANN, Domain Adversarial Neural Network)이 적용될 수 있다.In the transfer learning, a domain adaptation technique (DANN, Domain Adversarial Neural Network) including a feature extractor, a classifier, and a domain discriminator may be applied.

상기 데이터는, 상기 각 객체의 이상 징후에 대한 정보를 포함할 수 있다.The data may include information on abnormal symptoms of each of the objects.

본 발명의 일 예에 따른 PHM 모델 설계 방법은, 건전성 예측 관리 모델을 생설할 대상 시스템 또는 장치의 각 객체에 대한 데이터를 획득하는 단계; 상기 데이터를 증강하여 증강 데이터를 생성하는 단계; 및 상기 증강 데이터를 기반으로 상기 대상 시스템 또는 장치의 PHM 모델을 생성하는 단계;를 포함할 수 있다.A method for designing a PHM model according to an embodiment of the present invention includes: acquiring data for each object of a target system or device for generating a health prediction management model; augmenting the data to generate augmented data; and generating a PHM model of the target system or device based on the augmented data.

상기 증강 데이터를 생성하는 단계는 클라우드 플랫폼 상에서 구현되는 것으로, 상기 클라우드 플랫폼은, 클라우드 저장공간을 이용하여 상기 데이터를 수집하고, 클라우드 컴퓨팅을 이용하여 상기 데이터를 기반으로 증강 데이터를 생성할 수 있다.The generating of the augmented data is implemented on a cloud platform, and the cloud platform may collect the data using a cloud storage space and generate augmented data based on the data using cloud computing.

상기 클라우드 컴퓨팅은, 생성적 적대 신경망을 이용하여 데이터 증강을 수행할 수 있다.The cloud computing may perform data augmentation using a generative adversarial neural network.

상기 PHM 모델을 생성하는 단계는, 상기 증강 데이터를 기반으로 머신러닝 또는 딥러닝하여 상기 시스템 또는 장치의 PHM 모델을 생성할 수 있다.The generating of the PHM model may include machine learning or deep learning based on the augmented data to generate a PHM model of the system or device.

상기 PHM 모델을 생성하는 단계 이전에, 다른 시스템 또는 장치에 대해 기 학습된 PHM 모델을 저장하는 단계;를 더 포함하고, 상기 PHM 모델을 생성하는 단계는, 기 학습된 PHM 모델을 전이 학습하여 상기 대상 시스템 또는 장치의 PHM 모델을 생성할 수 있다.Prior to generating the PHM model, storing a pre-trained PHM model for another system or device; generating the PHM model further includes, in the step of generating the PHM model, transfer learning the pre-trained PHM model. You can create a PHM model of the target system or device.

상기 PHM 모델을 생성하는 단계는, 상기 기 학습된 PHM 모델의 합성곱이 학습한 가중치를 전달받고, 상기 가중치를 새로 생성할 상기 대상 시스템 또는 장치의 PHM 모델의 합성곱에 그대로 전달하여, 상기 대상 시스템 또는 장치의 PHM 모델을 생성할 수 있다.The generating of the PHM model includes receiving the weights learned by the convolution of the pre-trained PHM model, and transferring the weights to the convolution of the PHM model of the target system or device to be newly generated, as it is, the target system Alternatively, you can create a PHM model of the device.

상기 PHM 모델을 생성하는 단계는, 상기 기 학습된 PHM 모델의 합성곱이 학습한 가중치를 새로 생성될 상기 대상 시스템 또는 장치의 PHM 모델의 합성곱에 그대로 전달하여, 상기 대상 시스템 또는 장치의 PHM 모델을 생성할 수 있다.In the generating of the PHM model, the weights learned by the convolution of the pre-trained PHM model are transferred directly to the convolution of the PHM model of the target system or device to be newly generated, thereby generating the PHM model of the target system or device. can create

본 발명에 따르면, 멀리 떨어져 있는 객체들의 이상 징후 데이터(다양한 환경에서의 이상 데이터)를 클라우드 플랫폼 서비스를 이용해 수집할 수 있고, GAN을 이용한 데이터 증강을 통해, 수집된 데이터보다 더 많은 데이터를 확보할 수 있게 되어 부족한 데이터수에 따른 PHM모델 성능 저하 방지를 방지할 수 있다.According to the present invention, anomaly data (abnormal data in various environments) of distant objects can be collected using a cloud platform service, and more data than collected data can be secured through data augmentation using GAN. Therefore, it is possible to prevent the performance degradation of the PHM model due to the insufficient number of data.

또한, 본 발명에 따르면 전이 학습을 통한 PHM 모델에 사용되는 머신러닝 또는 딥러닝 신경망의 성능을 높여 예지보전을 더욱 정확하게 할 수 있다.In addition, according to the present invention, predictive maintenance can be performed more accurately by increasing the performance of a machine learning or deep learning neural network used in a PHM model through transfer learning.

또한, 본 발명에 따르면 시간과 거리의 제약을 받지 않고, PHM 모델을 지속적으로 운용할 수 있다.In addition, according to the present invention, it is possible to continuously operate the PHM model without being limited by time and distance.

도 1은 데이터 셋이 상이한 PHM 모델을 나타낸다.
도 2는 건전선 예측 관리 프로세스를 나타낸다.
도 3은 본 발명의 일 예에 따른 PHM 모델 설계 방법의 흐름을 나타낸다.
도 4는 본 발명의 일 예에 따른 PHM 모델 설계 시스템의 구성을 나타낸다.
도 5는 클라우드 플랫폼 서비스를 이용하여 객체의 데이터(선박 엔진 데이터)를 수집하는 경우의 개념도이다.
도 6은 클라우드 플랫폼의 구성도이다.
도 7은 GAN의 흐름도이다.
도 8은 생성기와 판별기의 학습 과정을 나타낸다.
도 9는 CGAN의 아키텍쳐를 나타낸다.
도 10은 DGCAN의 아키텍쳐를 나타낸다.
도 11은 전이 학습의 학습 효과를 나타낸다.
도 12는 전이 학습의 원리를 나타낸다.
도 13은 많은 데이터를 사용하여 만든 신경망을 새로운 신경망에 전이 학습을 통해 적용한 예시이다.
도 14는 신경망의 구조를 나타낸다.
도 15는 node의 구조를 나타낸다.
도 16은 본 발명의 일 예에 따른 전이학습을 이용한 베어링 상태의 예지분류 학습을 나타낸다.
도 17은 DANN의 구조를 나타낸다.
도 18은 DANN의 학습과정을 나타낸다.
도 19는 전이학습을 적용한 근사 최적설계의 개념을 나타낸다.
도 20은 DANN을 적용한 베어링 고장 진단 방법을 나타낸다.
도 21는 DANN을 적용한 베어링 고장 진단의 학습 및 진단 과정을 나타낸다.
도 22는 본 발명을 이용하여 선박 엔진의 PHM 모델을 생성하는 과정을 나타낸다.1 shows a PHM model with different data sets.
Figure 2 shows the sound line prediction management process.
3 shows a flow of a PHM model design method according to an example of the present invention.
4 shows the configuration of a PHM model design system according to an example of the present invention.
5 is a conceptual diagram illustrating a case of collecting object data (ship engine data) using a cloud platform service.
6 is a block diagram of a cloud platform.
7 is a flowchart of a GAN.
8 shows the learning process of the generator and the discriminator.
9 shows the architecture of CGAN.
10 shows the architecture of DGCAN.
11 shows the learning effect of transfer learning.
12 shows the principle of transfer learning.
13 is an example in which a neural network created using a lot of data is applied to a new neural network through transfer learning.
14 shows the structure of a neural network.
15 shows the structure of a node.
16 shows predictive classification learning of a bearing state using transfer learning according to an example of the present invention.
17 shows the structure of a DANN.
18 shows the learning process of DANN.
19 shows the concept of an approximate optimal design to which transfer learning is applied.
20 shows a bearing failure diagnosis method to which DANN is applied.
21 shows the learning and diagnosis process of bearing failure diagnosis to which DANN is applied.
22 shows a process of generating a PHM model of a marine engine using the present invention.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 2는 건전선 예측 관리 프로세스를 나타낸 것으로서, 건전성 예측 관리(PHM)는 운용 중인 객체(시스템, 장치 등)에 대해 건전성(결함이나 성능저하)을 지속관찰(Monitoring)하고, 이상 징후를 진단(Diagnosis)하며 언제 고장수준 또는 사용불능에 도달할지 미리 예지(Prognosis)하여 필요한 경우에만 정비조치를 하는 건전성 관리(Health Management)를 수행하는 기술이다.Figure 2 shows the sound line predictive management process, and the health predictive management (PHM) continuously observes the health (defect or performance degradation) of the object (system, device, etc.) in operation, and diagnoses abnormal symptoms ( Diagnosis), it is a technology that performs health management, which predicts when a failure level or unusability will be reached in advance (Prognosis) and performs maintenance measures only when necessary.

PHM 모델을 생성할 때 머신러닝 또는 딥러닝을 사용할 수 있다. 사용되는 딥러닝 기법은 예를 들면 CNN(Convolutional Neural Network), LSTM(Long Short Term Memory)등이 있으며, CNN은 이미지를 이용한 이상 분류에 사용된다. 또한 CNN은 시계열 데이터 분류에도 사용되기도 한다. LSTM은 시계열 데이터를 다루는 신경망으로 센서로부터 받는 진동 데이터들이 이러한 시계열 데이터의 예가 된다.Machine learning or deep learning can be used when creating a PHM model. Deep learning techniques used include, for example, CNN (Convolutional Neural Network) and LSTM (Long Short Term Memory), and CNN is used for anomaly classification using images. CNNs are also used for time series data classification. LSTM is a neural network that handles time series data, and vibration data received from sensors is an example of such time series data.

이하에서는 이해를 돕기 위해 선박 엔진에 대한 PHM 모델 생성을 예로 들어 설명하기로 한다.Hereinafter, generation of a PHM model for a ship engine will be described as an example for better understanding.

모든 종류의 PHM 모델은 시스템이나 장치마다 모델의 성능이 다르다. 모델의 성능이 다른 이유는 다음과 같다.All types of PHM models have different performance for each system or device. The reasons for the different performance of the models are as follows.

첫째, 데이터 셋(set) 생성에 유리한 모델과, 불리한 모델이 있다. 예를 들어 자동차 엔진은 많은 자동차 모델과 수가 있으며, 다양한 환경에서 작동하기 때문에, 정상 데이터뿐만 아니라 넓은 범위의 이상 징후 데이터를 다량으로 수집하는 것도 용이하여 데이터 셋 생성에 유리하다. 하지만 선박 엔진의 경우 모델도 적으며, 이상 징후 데이터 숫자도 적어 범위도 한정되어 있고, 자동차보다는 상대적으로 다양한 환경에서 작동하지 않아 양질의 데이터 셋 생성이 힘들다. 선박 엔진 데이터 같이 데이터가 적은 경우 건전성 예측 관리 모델이 제대로 학습 하지 못해 PHM 모델 성능이 떨어진다.First, there are models that are favorable to data set creation and models that are unfavorable. For example, since car engines have many car models and numbers, and operate in various environments, it is easy to collect a large amount of not only normal data but also a wide range of anomaly data, which is advantageous for data set creation. However, in the case of marine engines, there are few models, and the range is limited due to the small number of anomaly data. If there is little data such as ship engine data, the predictive health prediction management model does not train properly, and the PHM model performance deteriorates.

둘째, 연구실 환경과 같이 인위적 데이터를 만들기 힘든 모델이 있다. 예를 들어 선박 엔진은 구동 환경에서 이상 징후 데이터를 얻는 것이 어렵기 때문에, 데이터를 보완하기 위해 인위적인 이상 징후 데이터를 만들어야 할 필요가 있다. 하지만 크기가 너무 크고, 다양한 이상 징후 환경을 만들기가 어려워, 연구실 환경에서 인위적인 데이터를 만드는 것이 어렵다.Second, there are models in which it is difficult to create artificial data, such as in a laboratory environment. For example, for a marine engine, it is difficult to obtain anomaly data in a driving environment, so it is necessary to create artificial anomaly data to supplement the data. However, the size is too large and it is difficult to create a variety of anomaly environments, making it difficult to create artificial data in a laboratory environment.

건전성 예측관리 모델 생성에는 데이터 셋 구성이 모델 성능에 가장 중요한 요인이며, 특히 이상 징후 데이터를 다양한 환경에서 얻을 수 없다면 성능이 좋은 모델 생성이 힘들어 예측의 정확도가 부정확해 지는 결과를 초래 할 수도 있다.Data set configuration is the most important factor in model performance in creating a sound prediction management model. In particular, if anomaly data cannot be obtained in various environments, it is difficult to create a high-performing model, which may result in inaccurate prediction.

이러한 문제점들을 극복하기 위하여, 본 발명에서는 각 선박에서 이상 징후 데이터와 다양한 고장 유형을 클라우드 플랫폼 서비스(Cloud Platform Service)의 저장장치(Cloud Storage)에 수집 한 뒤, 클라우드 컴퓨팅 서비스(Cloud Computing Service)를 이용, GAN신경망으로 데이터 증강을 한다. 그리고 클라우드 저장장치 서비스를 이용해 각 객체(ex. 각각의 선박)에 데이터를 공유 한다. 그리고 풍부한 데이터 셋(ex. 자동차)을 이용해 만들었던 PHM모델의 가중치를 객체(ex. 선박)의 PHM모델에 전이 학습하여, PHM모델의 학습을 높여 성능을 향상 시킨다.In order to overcome these problems, in the present invention, after collecting anomaly data and various failure types from each vessel in a cloud storage device of a cloud platform service, a cloud computing service is provided. Data augmentation with GAN neural network. And it shares data with each object (ex. each ship) using the cloud storage service. And, by transferring the weights of the PHM model created using a rich data set (ex. car) to the PHM model of an object (ex. ship), the learning of the PHM model is increased to improve performance.

도 3은 본 발명의 일 예에 따른 PHM 모델 설계 방법의 흐름을 나타내는 것으로, 도 3을 참조하면 본 발명은, 건전성 예측 관리 모델을 생설할 대상 시스템 또는 장치의 각 객체에 대한 데이터를 획득하는 단계(S100); 상기 데이터를 증강하여 증강 데이터를 생성하는 단계(S200); 및 상기 증강 데이터를 기반으로 상기 대상 시스템 또는 장치의 PHM 모델을 생성하는 단계(S300);를 포함하며, 다른 시스템 또는 장치에 대해 기 학습된 PHM 모델을 저장하는 단계(S400);를 더 포함할 수 있다.3 is a flowchart showing a method for designing a PHM model according to an example of the present invention. Referring to FIG. 3 , the present invention includes the steps of acquiring data for each object of a target system or device for generating a health prediction management model. (S100); generating augmented data by augmenting the data (S200); and generating (S300) a PHM model of the target system or device based on the augmented data, and storing a pre-trained PHM model for another system or device (S400). can

도 4는 본 발명의 일 예에 따른 PHM 모델 설계 시스템의 구성을 나타내는 것으로, 도 4를 참조하면 본 발명은, 건전성 예측 관리 모델을 생성할 대상 시스템 또는 장치의 각 객체에 대한 데이터를 획득하는 데이터 획득부(100); 데이터 획득부가 획득한 데이터를 전달받아, 전달받은 데이터를 증강하여 증강 데이터를 생성하는 데이터 증강부(200); 데이터 증강부가 생성한 증강 데이터를 전달받아, 증강 데이터를 기반으로 대상 시스템 또는 장치의 PHM 모델을 생성하는 PHM 모델 생성부(300);을 포함하며, 나아가 다른 시스템 또는 장치에 대해 기 학습된 PHM 모델을 저장하는 기 학습 PHM 모델 저장부(400);를 더 포함할 수 있다.4 is a diagram showing the configuration of a PHM model design system according to an example of the present invention. Referring to FIG. 4 , the present invention provides data for acquiring data for each object of a target system or device for generating a health prediction management model. acquisition unit 100; a data augmentation unit 200 that receives the data acquired by the data acquisition unit and generates augmented data by augmenting the received data; The PHM model generator 300 receives the augmented data generated by the data augmentation unit, and generates a PHM model of the target system or device based on the augmented data; It may further include a; pre-learning PHM model storage unit 400 for storing.

이하에서는 구체적으로 도 3 내지 도 22를 참조하여, 각 단계별로 본 발명에 따른 PHM 모델의 성능 향상 방법 및 시스템에 대해 설명한다.Hereinafter, with reference to FIGS. 3 to 22 in detail, a method and system for improving the performance of the PHM model according to the present invention for each step will be described.

(1) 대상 시스템 또는 장치의 각 객체에 대한 데이터를 획득하는 단계(S100)(1) obtaining data for each object of the target system or device (S100)

데이터 획득부(100)는 PHM 모델을 생성하고자 할 시스템 또는 장치의 각 객체로부터, 각 객체에 대한 데이터를 획득할 수 있다.The data acquisition unit 100 may acquire data for each object from each object of a system or device for which a PHM model is to be generated.

(2) 데이터를 증강하여 증강 데이터를 생성하는 단계(S200)(2) generating augmented data by augmenting data (S200)

데이터 증강부(200)는 데이터 획득부(100)로부터 객체에 대한 데이터를 전달받아 데이터 증강을 수행할 수 있다. 이때, 데이터 증강부는 클라우드 플랫폼 상에서 구현될 수 있다.The data augmentation unit 200 may receive data about an object from the data acquisition unit 100 and perform data augmentation. In this case, the data augmentation unit may be implemented on a cloud platform.

도 5는 클라우드 플랫폼 서비스를 이용하여 객체의 데이터(선박 엔진 데이터)를 수집하는 경우의 개념도이고, 도 6은 클라우드 플랫폼의 구성도이다.5 is a conceptual diagram illustrating a case of collecting object data (ship engine data) using a cloud platform service, and FIG. 6 is a configuration diagram of a cloud platform.

클라우드 플랫폼 서비스는 클라우드(인터넷)를 이용해 컴퓨터 시스템 리소스를 제공하는 클라우드 컴퓨팅(Cloud Computing)과 클라우드 저장 공간(Cloud Storage)등을 제공하는 서비스이다. 구글 클라우드 플랫폼 서비스가 대표적이다. 구글에서 제공하는 프로그래밍 언어는 자바, 파이썬 등이 있으며, 이러한 프로그래밍 언어를 이용하여, 수집되어오는 데이터를 이용해 신경망을 학습시킨다. The cloud platform service is a service that provides cloud computing (Cloud Computing) and cloud storage (Cloud Storage) that provide computer system resources using the cloud (Internet). Google Cloud Platform service is an example. The programming languages provided by Google include Java and Python, and using these programming languages, the neural network is trained using the collected data.

본 발명에서는, 다양한 환경과 물리적으로 멀리 떨어져 운행중인 객체(선박)들의 데이터를 수집한다. 이렇게 수집된 각 선박들의 데이터들을 클라우드 플랫폼 서비스의 저장공간(저장장치)에 업로드를 하고, 이를 클라우드 컴퓨팅 서비스를 이용해서 후술할 GAN의 데이터 셋으로 이용하여 데이터 증강을 실행한다.In the present invention, data of objects (ships) operating in various environments and physically far away are collected. The data of each vessel collected in this way is uploaded to the storage space (storage device) of the cloud platform service, and data augmentation is executed by using it as a data set of the GAN to be described later using the cloud computing service.

(3) 증강 데이터를 기반으로 대상 시스템 또는 장치의 PHM 모델을 생성하는 단계(S300)(3) generating a PHM model of the target system or device based on the augmented data (S300)

PHM 모델 생성부(300)는 데이터 증강부(200)로부터 증강 데이터를 전달받아, 증강 데이터를 기반으로 대상 시스템 또는 장치의 PHM 모델을 생성할 수 있다.The PHM model generator 300 may receive the augmented data from the data augmentation unit 200 and generate a PHM model of the target system or device based on the augmented data.

여기서, 본 발명은 GAN을 이용하여 새로운 데이터를 만들어내어 더 풍부한 데이터를 얻을 수 있다. GAN을 이용한 데이터 증강 방법은 선박 데이터와 같이 정상 데이터 및 비정상 데이터의 불균형이 있을 때 특히 중요하다고 할 수 있는데, 새로운 데이터를 만들어 내기 위해서는 먼저 기존의 데이터가 갖고 있는 분포를 파악해야 한다. 고차원 데이터의 경우 분포가 매우 복잡하게 나타나는 것이 일반적인데, 최근 많은 주목을 받고 있는 인공 신경망을 사용할 경우 이러한 데이터를 효과적으로 처리할 수 있다.Here, according to the present invention, more abundant data can be obtained by generating new data using the GAN. The data augmentation method using GAN can be said to be particularly important when there is an imbalance between normal data and abnormal data such as ship data. In the case of high-dimensional data, it is common that the distribution appears very complex, and if an artificial neural network, which has recently received a lot of attention, is used, such data can be effectively processed.

GAN은 데이터 생성에 사용되는 대표적인 알고리즘으로, 게임 이론(game theory)에 기반하여 개발되었으며, 판별기(discriminator)와 생성기(generator)라는 두 개의 신경망으로 이루어져 있다.GAN is a representative algorithm used for data generation, developed based on game theory, and consists of two neural networks, a discriminator and a generator.

도 7은 GAN의 흐름도를 나타내고, 도 8은 생성기와 판별기의 학습 과정을 나타낸다. 생성기는 기존 데이터의 분포를 학습하여 새로운 데이터를 만들어 내고, 판별기는 입력 받은 데이터가 실제 존재하는 데이터일 확률을 계산한다. 즉, 두 개의 신경망은 제로섬 게임(zero-sum game)을 하게 되며, 도 8과 같이 이러한 상황의 균형점(Nash equilibrium)은 생성기가 실제 데이터와 구별이 안 되는 데이터를 만들어 내고, 판별기는 실제와 가상 데이터 모두에 대해 0.5의 확률을 배정하는 지점이 된다.7 shows a flowchart of the GAN, and FIG. 8 shows a learning process of a generator and a discriminator. The generator creates new data by learning the distribution of the existing data, and the discriminator calculates the probability that the input data is actual data. That is, the two neural networks play a zero-sum game. As shown in FIG. 8, the Nash equilibrium of this situation is that the generator creates data indistinguishable from the real data, and the discriminator creates real and virtual data. It becomes a point to assign a probability of 0.5 to all of the data.

본 발명에서는 조건부 생성적 적대 신경망(Conditional Generative Adversarial Network; CGAN)이 사용될 수도 있다. 도 9는 CGAN의 아키텍쳐를 나타낸다.In the present invention, a Conditional Generative Adversarial Network (CGAN) may be used. 9 shows the architecture of CGAN.

일반적인 GAN의 경우, 생성되는 데이터의 모드(mode)를 제어하기 불가능하다는 단점이 있다. 이러한 특징은 특정한 종류의 데이터를 만들고자 할 때 큰 단점이 된다. 예를 들어, 정상이 아닌 비정상 상태의 데이터나 특정한 비정상 타입의 데이터만을 필요로 할 경우 일반적인 GAN을 사용하는 것은 많은 제약이 따르게 된다. 도 8은 조건부 생성적 적대 신경망의 구조를 나타낸 것으로, CGAN은 일반적인 GAN의 단점을 극복할 수 있는 신경망으로서, 데이터의 레이블(label) 또한 신경망의 입력 값으로 사용할 수 있다.In the case of a general GAN, there is a disadvantage in that it is impossible to control a mode of generated data. This feature is a big disadvantage when you want to create a specific kind of data. For example, when only data of a non-normal state or data of a specific abnormal type are required, using a general GAN is subject to many restrictions. 8 shows the structure of a conditional generative adversarial neural network. CGAN is a neural network that can overcome the disadvantages of general GAN, and a label of data can also be used as an input value of the neural network.

또는, 본 발명에서는 합성곱 생성적 적대 신경망(DGCAN, Deep convolutional Generative Adversarial Network)이 사용될 수도 있다. 도 10은 DGCAN의 아키텍쳐를 나타낸다.Alternatively, a deep convolutional generative adversarial network (DGCAN) may be used in the present invention. 10 shows the architecture of DGCAN.

일반적인 GAN의 경우, 각 층의 모든 노드(node)가 서로 연결되어 있는(fully connected) 특징을 갖는다. 이는 이미지와 같은 데이터가 갖고 있는 공간적인 특징을 고려하지 않은 것으로, 공간적인 특징을 고려하면 더 효율적으로 데이터를 처리할 수 있게 된다. 도 9는 합성곱 생성적 적대 신경망의 구조를 나타낸 것으로, DCGAN은 GAN의 모든 층을 합성곱 층(convolutional layer)으로 교체함으로써 더 효과적인 신경망 학습을 가능하게 한다.In the case of a general GAN, all nodes of each layer are fully connected to each other. This does not take into account the spatial characteristics of data such as images, and when spatial characteristics are considered, data can be processed more efficiently. 9 shows the structure of a convolutional adversarial neural network. DCGAN enables more effective neural network learning by replacing all layers of the GAN with convolutional layers.

(4) PHM 모델을 생성하는 단계(S300) 이전에,(4) before the step of generating the PHM model (S300), 다른 시스템 또는 장치에 대해 기 학습된 PHM 모델을 저장하는 단계(S400)Storing the pre-trained PHM model for another system or device (S400)

기 학습 PHM 모델 저장부(400)는 다른 시스템 또는 장치에 대해 기 학습된 PHM 모델을 저장할 수 있으며, 이때 PHM 모델 생성부(300)는, 기 학습 PHM 모델 저장부(400)로부터 전달받은 기 학습된 PHM 모델을 전이 학습하여 대상 시스템 또는 장치의 PHM 모델을 생성할 수 있다.The pre-learning PHM model storage unit 400 may store a pre-trained PHM model for another system or device, and in this case, the PHM model generating unit 300 is the pre-learning received from the pre-learning PHM model storage unit 400 . A PHM model of a target system or device can be generated by transfer learning the PHM model.

PHM 모델을 생성하는 단계(S300)에서, 데이터 또는 이미지 생성 및 분류 문제에 사용되는 신경망의 구조 설계와 학습에는 제약 조건이 발생한다. 먼저 훈련 데이터의 수가 충분해야 하며, 학습하기 충분한 시간과 비용이 필요하다. 하지만 PHM 모델을 생성 할 때 마다 신경망을 학습시키기는 것은 시간과 비용 측면에서 비효율적이다.In the step of generating the PHM model ( S300 ), constraints occur in the structural design and training of the neural network used for data or image generation and classification problems. First, the number of training data must be sufficient, and sufficient time and cost are required to learn. However, training the neural network every time a PHM model is created is inefficient in terms of time and cost.

이러한 제약조건에 따른 데이터 수, 시간과 비용에 대한 문제를 전이 학습으로 해결한다. 예를 들어 설명하고 있는 선박 엔진 데이터와 같이, 모든 모델에 대한 데이터 수가 항상 충분히 확보되진 않는다. 만약 적은 데이터 수로 PHM 모델을 학습을 시킨다면 과적합을 발생시키는데, 이는 잘못된 건전성 예측 관리를 할 수 있으며, 이를 방지하기 위하여 전이 학습을 사용할 수 있다. 이때 전이 학습시 비슷한 유형의 신경망끼리 가중치를 공유하도록 하여 신경망의 계산비용을 감소시킬 수 있다.Transfer learning solves the problems of the number of data, time and cost according to these constraints. For example, the number of data for all models, such as the ship engine data described, is not always sufficient. If the PHM model is trained with a small number of data, overfitting occurs, which can lead to incorrect health prediction management, and transfer learning can be used to prevent this. In this case, it is possible to reduce the computational cost of neural networks by allowing similar types of neural networks to share weights during transfer learning.

예를 들어, 자동차 엔진의 PHM 모델과 선박 엔진의 PHM 모델은 양자 모두 엔진의 성능과 관련된 건전성 예측관리 모델이라는 점에서 유사한 모델이라고 볼 수 있다. 이때, 많은 데이터 셋으로 학습된 성능이 좋은 자동차 엔진 PHM 모델의 가중치(신경망 학습내용)를 선박 엔진 PHM 모델에 전이 학습해 기존 모델보다 더 나은 성능을 나타 낼 수 있다.For example, the PHM model of an automobile engine and the PHM model of a marine engine are similar models in that they are both predictive and predictive management models for engine performance. At this time, the weights (neural network learning contents) of the car engine PHM model with good performance learned from many data sets can be transferred to the ship engine PHM model to show better performance than the existing model.

도 11은 전이 학습의 학습 효과를 나타내는 것으로, 도 11을 참조하면, 전이 학습을 할 경우 더 높은 학습률(higher start)에서 학습을 시작할 수 있으며, 학습 속도(higher slope)가 전이 학습을 적용하지 않았을 때보다 더 가파른 것을 볼 수 있다. 또한 더 높은 성능 최대치(higher asymptote)를 가진다.11 shows the learning effect of transfer learning. Referring to FIG. 11 , when transfer learning is performed, learning can be started at a higher learning rate (higher start), and the learning speed (higher slope) indicates that transfer learning is not applied. You can see it's steeper than ever. It also has a higher performance peak.

도 12는 전이 학습의 원리를 나타내는 것으로, 도 12(a)와 같이 전이 학습 미적용 시 학습 수렴을 위해 많은 시행착오를 겪지만, 도 12(b)와 같이 전이 학습을 적용 시키면 적은 시행착오로 학습을 수렴 할 수 있다.12 shows the principle of transfer learning. As shown in FIG. 12(a), when transfer learning is not applied, many trials and errors are experienced for learning convergence, but when transfer learning is applied as shown in FIG. 12(b), learning is performed with little trial and error. can converge.

이처럼 전이 학습은 많은 데이터 수로 학습된 신경망 모델을 새로운 신경망에 적용시켜, 학습의 시간과 비용을 줄이고 상대적으로 적은 데이터 수로 학습을 효율적으로 할 수 있다.In this way, transfer learning applies a neural network model trained with a large number of data to a new neural network, reducing the learning time and cost, and effectively learning with a relatively small number of data.

도 13은 많은 데이터를 사용하여 만든 신경망을 새로운 신경망에 전이 학습을 통해 적용한 예시이다. 도 13(a)는 기존에 학습된 신경망 모델을 의미하고, 도13(b)는 새로운 신경망 모델을 의미한다. (a)의 합성곱(Convolutional Layer)이 학습한 가중치를 (b)의 합성곱에 그대로 전달해, (b)의 합성곱를 빠르게 학습하는데 도움을 준다. 그리고 (b)신경망은 완전 연결 층(Fully Connected Layer-FC Layer)을 학습해 결과 도출을 한다. 도 13에서 가장 마지막에 위치 한 완전 연결 층은 합성곱의 특징을 받아 분류기를 생성하는 층이다. 여기서 분류기란 정상 또는 비정상을 판별하는 층이다. 여기서 가중치란 신경망의 hidden layer의 node를 계산할 때 사용되는 가중치이다.13 is an example in which a neural network created using a lot of data is applied to a new neural network through transfer learning. FIG. 13(a) shows a previously learned neural network model, and FIG. 13(b) shows a new neural network model. The convolutional layer of (a) transfers the learned weights to the convolution of (b) as it is, helping to quickly learn the convolution of (b). And (b) the neural network learns the Fully Connected Layer-FC Layer and derives the result. The last fully connected layer in FIG. 13 is a layer that generates a classifier by receiving the features of convolution. Here, the classifier is a layer that discriminates normal or abnormal. Here, the weight is the weight used when calculating the nodes of the hidden layer of the neural network.

도 14는 신경망의 구조를 나타내고, 도 15는 node의 구조를 나타낸다. 신경망의 구조는 도 13과 같은데, 이 구조에서 hidden layer를 구성하는 것을 node라고 하며, node의 구조는 도 14와 같다. 입력 데이터

에 가중치(weight)

를 곱해서 y값을 도출 한다.Fig. 14 shows the structure of a neural network, and Fig. 15 shows the structure of a node. The structure of the neural network is the same as that of FIG. 13. In this structure, a hidden layer is called a node, and the structure of the node is as shown in FIG. 14. input data

weight on

Multiply by to get the y value.

신경망은 데이터를 이용하여 가중치를 업데이트하면서 학습한다. 전이 학습은 가중치를 초기 보정한 상태로 학습을 실시할 수 있으며 이 상태가 상술한 도 10에 표시된 higher start이다.A neural network learns by updating weights using data. Transfer learning can be performed in a state in which weights are initially corrected, and this state is the higher start shown in FIG. 10 described above.

전이 학습은 상대적으로 다량의 데이터에도 적용 하거나, 완전 다른 종류의 신경망에도 적용 할 수 있는데, 하기 표 1은 데이터 수와 신경망 모델의 종류에 따른 전이 학습 적용 범위를 정리한 것이다.Transfer learning can be applied to a relatively large amount of data or to a completely different type of neural network. Table 1 below summarizes the transfer learning application range according to the number of data and types of neural network models.

비슷한 종류의 신경망 학습Learning a similar kind of neural network 다른 종류의 신경망 학습Learning different kinds of neural networks 매우 적은 데이터very little data 완전 연결층만 학습Learn only fully connected layers 데이터가 서로 다르기 때문에 다른 학습 방법 필요Different training methods are required because the data are different 많은 데이터lots of data 완전 연결층 뿐만 아니라 합성곱도 부분적으로 최적화Fully connected layers as well as partially optimized convolutions 전체적으로 최적화 하면서 학습Learning while optimizing as a whole

여기서 다른 종류의 신경망은 진동데이터 분류 신경망과 이미지 분류 신경망을 예로 들 수 있다.데이터 부족으로 인한 신경망의 성능 저하와 과적합을 극복하기 위해, 비슷한 범주의 빅 데이터로 학습을 시키고, 전이 학습을 이용해 적은 데이터수의 단점을 보완한다.Here, other types of neural networks include vibration data classification neural networks and image classification neural networks. It compensates for the shortcomings of the small number of data.

도 16은 본 발명의 일 예에 따른 전이학습을 이용한 베어링 상태의 예지분류 학습을 나타낸 것으로, 비슷한 종류의 신경망 학습의 유형의 예시로는 기관차의 베어링의 상태를 진단 예지하는 신경망 모델을 들 수 있다. 실험실에서 만들어진 모터 베어링의 데이터를 가지고 신경망을 학습한 후, 부족한 결함 데이터에 대해 보완하기 위하여, 전이 학습을 통해 기관차 베어링의 상태 진단 예지하는 신경망을 학습할 수 있다.16 shows predictive classification learning of a bearing state using transfer learning according to an example of the present invention, and an example of a similar type of neural network learning is a neural network model that diagnoses and predicts the state of a bearing of a locomotive. . After learning the neural network with the data of motor bearings made in the laboratory, in order to compensate for the insufficient defect data, the neural network that predicts the diagnosis of the state of the locomotive bearing can be trained through transfer learning.

한편, 이와 같은 전이 학습에 있어서, 본 발명은 특히 전이 학습의 여러 기법 중 도메인 적응(domain adaptation) 기법을 적용시킬 수 있다. 도메인 적응 기법은 레이블(Label)이 풍부한 소스 도메인(source domain)에서 학습된 신경망이 레이블이 없는 유사하지만 다른 도메인(target domain)에서도 잘 작동하도록 하는 방법이다. 이를 이용하여 데이터가 풍부한 도메인에서 학습이 된 신경망을 이용하여 데이터가 부족한 도메인에서의 신경망의 학습을 더욱 효율적으로 할 수 있게 된다.On the other hand, in such transfer learning, the present invention can apply a domain adaptation technique among various techniques of transfer learning. The domain adaptation technique is a method that allows a neural network trained in a label-rich source domain to work well in a similar but non-labeled target domain. Using this, the neural network learned in the data-rich domain can be used to more efficiently learn the neural network in the data-poor domain.

보다 구체적으로, 본 발명은 도메인 적응 기법 중 DANN(Domain Adversarial Neural Netwrok) 기법을 적용할 수 있다. DANN은 특성 추출기(feature extractor), 분류기(classifier), 도메인 판별기(domain discriminator)로 구성된다. 특성 추출기는 두 도메인 데이터의 특성을 추출한다. 그 후 레이블이 풍부한 데이터의 특성을 이용하여 분류기를 학습시킨다. 그와 동시에 도메인 판별기를 이용하여 두 도메인의 특성이 어느 도메인의 특성인지 구별한다. DANN은 신경망의 학습 과정인 오차 역전파 과정에서 그래디언트 반전층(gradient reversal layer)를 이용하여 도메인 판별기 오차의 부호를 바꾸어 전달하여 두 도메인의 구별 성능을 약화시키고, 결과적으로 두 도메인을 잘 구별할 수 없는 공통의 특성을 얻을 수 있게 한다. 이렇게 얻어낸 특성을 이용하여 데이터가 풍부한 도메인에서 잘 작동하는 분류기를 데이터가 부족한 도메인에서도 잘 작동하게 만들 수 있다. 도 17은 DANN의 구조를 나타내며, 도 18은 DANN의 학습과정을 나타낸다.More specifically, the present invention may apply a Domain Adversarial Neural Network (DANN) technique among domain adaptation techniques. DANN consists of a feature extractor, a classifier, and a domain discriminator. The feature extractor extracts features of two domain data. Then, the classifier is trained using the characteristics of the label-rich data. At the same time, the domain discriminator is used to discriminate which domain's characteristics are the characteristics of the two domains. DANN uses a gradient reversal layer to change the sign of the domain discriminator error in the error backpropagation process, which is the learning process of the neural network, and transmits it to weaken the discrimination performance of the two domains, and as a result, it can distinguish the two domains well. It allows to obtain common characteristics that cannot be obtained. Using the obtained properties, a classifier that works well in a data-rich domain can also work well in a data-poor domain. 17 shows the structure of the DANN, and FIG. 18 shows the learning process of the DANN.

여기서, 근사 최적설계를 진행할 때 계산량 감소를 위해서 복잡한 모델을 근사하는 근사모델(surrogate model)을 사용할 수 있다. 정확한 데이터를 얻어내기 위해서는 충분한 양의 데이터가 필요하나, 이러한 데이터를 얻어내는 과정은 많은 비용과 시간이 소요된다. 이러한 상황에서 많은 양의 데이터가 존재하는 비슷한 모델의 데이터를 활용한다면 데이터 부족을 극복하고 정확한 근사모델을 얻을 수 있다. 입력 데이터를 그대로 복원하는 자기부호화기(autoencoder)에 DANN을 적용하여 데이터가 풍부한 모델(source domain)의 데이터를 데이터가 부족한 모델(target domain)의 데이터로 변형할 수 있다. 자기부호화기는 입력 데이터를 압축하여 특징을 추축하는 Encoder와, 압축된 특징을 원래대로 복원하는 Decoder로 구성되어 있다. 특징을 추출하는 Encoder에 DANN을 적용하여 두 개의 서로 다른 모델의 데이터를 구별할 수 없는 공통의 특징을 추출한다. 그 후 데이터가 부족한 모델의 데이터를 복원하는 Decoder에 이러한 특징을 입력하면 공통의 특징으로 바뀌고 데이터가 부족한 모델(target domain)의 형태로 변형될 수 있다. 도 19는 전이학습을 적용한 근사 최적설계의 개념을 나타낸다.Here, in order to reduce the amount of computation when performing approximate optimal design, a surrogate model that approximates a complex model may be used. A sufficient amount of data is required to obtain accurate data, but the process of obtaining such data is costly and time consuming. In such a situation, if data from a similar model with a large amount of data is used, the lack of data can be overcome and an accurate approximate model can be obtained. By applying DANN to an autoencoder that restores input data as it is, data from a data-rich model (source domain) can be transformed into data from a model lacking data (target domain). The self-encoder consists of an encoder that compresses input data to extract features, and a decoder that restores the compressed features to their original state. DANN is applied to the encoder that extracts features to extract common features that cannot distinguish data of two different models. After that, if these features are input to the decoder that restores the data of the model lacking data, they are converted into common features and can be transformed into the form of a model (target domain) lacking data. 19 shows the concept of an approximate optimal design to which transfer learning is applied.

이때, 정확한 고장 진단을 위한 가장 중요한 조건은 충분한 양의 고장 데이터이다. 하지만 실제 산업현장에서 고장 데이터를 확보하는 것에는 상당한 어려움이 따른다. 이러한 고장 데이터의 부족은 고장 진단을 더욱 어렵게 만드는 요소 중에 하나이다. 충분한 고장데이터가 확보된 유사한 시스템(source domain)이 있다면 전이학습 기법을 적용하여 고장 데이터가 부족한 시스템(target domain)의 고장 진단에 활용할 수 있다.At this time, the most important condition for accurate fault diagnosis is a sufficient amount of fault data. However, it is quite difficult to obtain failure data in actual industrial sites. The lack of such fault data is one of the factors that make fault diagnosis more difficult. If there is a similar system (source domain) with sufficient failure data, transfer learning can be applied to diagnose the failure of a system (target domain) lacking failure data.

본 발명에서는 일예로서 전이학습 기법을 적용하여 고장에 대한 정보가 없는 상황에서 베어링의 고장(inner race fault, outer race fault, ball faoult)를 진단한다. 이때 상술한 도 18의 DANN 구조를 사용하여 학습을 진행할 수 있다. 특성 추출기와 분류기를 이용하여 고장에 대한 정보가 풍부한 시스템의 고장을 진단함과 동시에 두 시스템의 구별을 어렵게 하는 특성을 DANN을 이용하여 추출할 수 있다. 학습이 완료된 이후, 고장에 대한 정보가 부족한 데이터를 특성 추출기와 분류기를 이용하여 고장을 진단할 수 있다. 도 20은 DANN을 적용한 베어링 고장 진단 방법을 나타내고, 도 21는 DANN을 적용한 베어링 고장 진단의 학습 및 진단 과정을 나타낸다.In the present invention, as an example, a bearing failure (inner race fault, outer race fault, ball fault) is diagnosed in a situation where there is no information about the failure by applying the transfer learning technique. In this case, learning may be performed using the above-described DANN structure of FIG. 18 . By using the feature extractor and classifier, it is possible to diagnose the failure of a system rich in information about the failure, and at the same time extract the characteristics that make it difficult to distinguish between the two systems using DANN. After the learning is completed, the failure can be diagnosed using a feature extractor and a classifier on data lacking information about the failure. 20 shows a bearing failure diagnosis method to which DANN is applied, and FIG. 21 shows a learning and diagnosis process of bearing failure diagnosis to which DANN is applied.

도 22는 본 발명을 이용하여 선박 엔진의 PHM 모델을 생성하는 과정을 나타낸다. 선박모델의 경우 비정상 데이터를 수집하기 어렵다. 비정상데이터를 수집하여, 더 나은 PHM 모델을 만들고자 하지만, 물리적 거리가 멀리 떨어져 있는 각 객체들의 데이터를 수집하기는 어렵다. 그리고 선박은 정해진 항로로만 운행을 하기 때문에 다양한 환경에서 운행된 이상 데이터를 모으기가 어렵다는 단점이 있다. 이러한 이유로 선박의 PHM 모델 생성시 높은 성능을 기대하기가 어렵다.22 shows a process of generating a PHM model of a marine engine using the present invention. In the case of a ship model, it is difficult to collect abnormal data. We want to make a better PHM model by collecting anomalous data, but it is difficult to collect data of each object that is far away from each other. In addition, since the ship operates only on a set route, it is difficult to collect data since it is operated in various environments. For this reason, it is difficult to expect high performance when generating a PHM model of a ship.

이러한 단점을 보완하기 위하여, 본 발명의 PHM 모델 생성 방법을 사용하면, 즉, 클라우딩 플랫폼 서비스와 데이터증강 및 다양한 데이터를 가진 모델을 이용한 전이 학습을 사용하면 더 나은 PHM 모델 생성을 할 수 있다.In order to compensate for these drawbacks, a better PHM model can be generated by using the PHM model generation method of the present invention, that is, by using the clouding platform service, data augmentation, and transfer learning using a model with various data.

이상과 같이, 본 발명에 따르면, 멀리 떨어져 있는 객체들의 이상 징후 데이터(다양한 환경에서의 이상 데이터)를 클라우딩 플랫폼 서비스를 이용해 수집하고, GAN을 이용한 데이터 증강을 통해 수집된 데이터보다 더 많은 데이터를 확보할 수 있게 되어 부족한 데이터수에 따른 PHM 모델 성능 저하 방지를 방지할 수 있다.As described above, according to the present invention, anomaly data (abnormal data in various environments) of distant objects is collected using a clouding platform service, and more data than data collected through data augmentation using GAN is collected. It is possible to prevent deterioration of PHM model performance due to insufficient number of data.

또한, 본 발명에 따르면 전이 학습을 통한 PHM 모델에 사용되는 머신러닝 또는 딥러닝 신경망의 성능을 높여 예지보전을 더욱 정확하게 할 수 있고 시간과 거리의 제약을 받지 않고, PHM 모델을 지속적으로 운용할 수 있다.In addition, according to the present invention, predictive maintenance can be performed more accurately by increasing the performance of the machine learning or deep learning neural network used in the PHM model through transfer learning, and the PHM model can be continuously operated without being limited by time and distance. have.

이상 본 발명의 설명을 위하여 예시로 든 실시예는 본 발명이 구체화되는 하나의 실시예에 불과하며, 본 발명의 요지가 실현되기 위하여 다양한 형태로 조합이 가능하다. 따라서 본 발명은 상기한 실시예에 한정되지 않고, 이하의 청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경실시가 가능한 범위까지 본 발명의 기술적 특징이 있다고 할 것이다.The embodiments given as examples for the purpose of description of the present invention are merely one embodiment in which the present invention is embodied, and combinations are possible in various forms in order to realize the gist of the present invention. Therefore, the present invention is not limited to the above embodiments, and as claimed in the following claims, anyone with ordinary skill in the art to which the invention pertains can implement various modifications without departing from the gist of the present invention. It will be said that there are technical features of the present invention to the extent.

Claims

건전성 예측 관리(PHM, Prognostics and Health Management) 모델을 생성할 대상 시스템 또는 장치의 각 객체에 대한 데이터를 획득하는 데이터 획득부;
상기 데이터 획득부가 획득한 데이터를 전달받아, 상기 전달받은 데이터를 증강하여 증강 데이터를 생성하는 데이터 증강부;
상기 데이터 증강부가 생성한 증강 데이터를 전달받아, 상기 증강 데이터를 기반으로 상기 대상 시스템 또는 장치의 PHM 모델을 생성하는 PHM 모델 생성부; 및
다른 시스템 또는 장치에 대해 기 학습된 PHM 모델을 저장하는 기 학습 PHM 모델 저장부;를 포함하고,
상기 데이터 증강부는 클라우드 플랫폼 상에서 구현되는 것으로,
상기 클라우드 플랫폼은,
클라우드 저장공간을 이용하여 상기 데이터 획득부가 획득한 상기 데이터를 수집하고, 클라우드 컴퓨팅을 이용하여 상기 데이터를 기반으로 증강 데이터를 생성하고,
상기 클라우드 컴퓨팅은 생성적 적대 신경망(GAN, Generative Adversarial Network)을 이용하여 데이터 증강을 수행하며,
상기 PHM 모델 생성부는,
상기 증강 데이터를 기반으로 머신러닝 또는 딥러닝하여 상기 시스템 또는 장치의 PHM 모델을 생성하되,
상기 기 학습 PHM 모델 저장부로부터 전달받은 기 학습된 PHM 모델을 전이 학습하고,
상기 기 학습된 PHM 모델의 합성곱이 학습한 가중치를 전달받고, 상기 가중치를 새로 생성할 상기 대상 시스템 또는 장치의 PHM 모델의 합성곱에 그대로 전달하여 상기 대상 시스템 또는 장치의 PHM 모델을 생성하며,
상기 전이 학습은, 특성 추출기, 분류기 및 도메인 판별기를 포함하는 도메인 적응 기법(DANN, Domain Adversarial Neural Network)이 적용되는, PHM 모델 설계 시스템.
a data acquisition unit that acquires data for each object of a target system or device to generate a health prediction management (PHM, Prognostics and Health Management) model;
a data augmentation unit that receives the data acquired by the data acquisition unit and generates augmented data by augmenting the received data;
a PHM model generator configured to receive the augmented data generated by the data augmentation unit and generate a PHM model of the target system or device based on the augmented data; and
Including; a pre-learning PHM model storage unit for storing a pre-trained PHM model for another system or device;
The data augmentation unit is implemented on a cloud platform,
The cloud platform is
Collect the data acquired by the data acquisition unit using a cloud storage space, and generate augmented data based on the data using cloud computing,
The cloud computing performs data augmentation using a generative adversarial network (GAN),
The PHM model generation unit,
Generate a PHM model of the system or device by machine learning or deep learning based on the augmented data,
Transfer learning the pre-learned PHM model received from the pre-learning PHM model storage unit,
Receives the weights learned by the convolution of the pre-trained PHM model, and passes the weights to the convolution of the PHM model of the target system or device to be newly generated to generate the PHM model of the target system or device,
The transfer learning is a PHM model design system to which a domain adaptation technique (DANN, Domain Adversarial Neural Network) including a feature extractor, a classifier, and a domain discriminator is applied.

삭제delete

제1항에 있어서,
상기 데이터는, 상기 각 객체의 이상 징후에 대한 정보를 포함하는 것을 특징으로 하는, PHM 모델 설계 시스템.
According to claim 1,
The data, PHM model design system, characterized in that it includes information about the abnormality of each object.

건전성 예측 관리 모델을 생설할 대상 시스템 또는 장치의 각 객체에 대한 데이터를 획득하는 단계;
상기 데이터를 증강하여 증강 데이터를 생성하는 단계;
상기 증강 데이터를 기반으로 상기 대상 시스템 또는 장치의 PHM 모델을 생성하는 단계; 및
상기 PHM 모델을 생성하는 단계 이전에, 다른 시스템 또는 장치에 대해 기 학습된 PHM 모델을 저장하는 단계;를 포함하고,
상기 증강 데이터를 생성하는 단계는 클라우드 플랫폼 상에서 구현되는 것으로,
상기 클라우드 플랫폼은,
클라우드 저장공간을 이용하여 상기 데이터를 수집하고, 클라우드 컴퓨팅을 이용하여 상기 데이터를 기반으로 증강 데이터를 생성하고,
상기 클라우드 컴퓨팅은 생성적 적대 신경망을 이용하여 데이터 증강을 수행하며,
상기 PHM 모델을 생성하는 단계는,
상기 증강 데이터를 기반으로 머신러닝 또는 딥러닝하여 상기 시스템 또는 장치의 PHM 모델을 생성하되,
상기 기 학습된 PHM 모델 저장 단계의 기 학습된 PHM 모델을 전이 학습하고,
상기 기 학습된 PHM 모델의 합성곱이 학습한 가중치를 전달받고, 상기 가중치를 새로 생성할 상기 대상 시스템 또는 장치의 PHM 모델의 합성곱에 그대로 전달하여 상기 대상 시스템 또는 장치의 PHM 모델을 생성하며,
상기 전이 학습은, 특성 추출기, 분류기 및 도메인 판별기를 포함하는 도메인 적응 기법(DANN, Domain Adversarial Neural Network)이 적용되는, PHM 모델 설계 방법.
acquiring data for each object of a target system or device for generating a health prediction management model;
augmenting the data to generate augmented data;
generating a PHM model of the target system or device based on the augmented data; and
Including; before the step of generating the PHM model, storing a pre-trained PHM model for another system or device;
The step of generating the augmented data is implemented on a cloud platform,
The cloud platform is
Collect the data using cloud storage, and generate augmented data based on the data using cloud computing,
The cloud computing performs data augmentation using a generative adversarial neural network,
The step of generating the PHM model comprises:
Generate a PHM model of the system or device by machine learning or deep learning based on the augmented data,
Transfer learning the pre-trained PHM model of the pre-trained PHM model storage step,
Receives the weights learned by the convolution of the pre-trained PHM model, and passes the weights to the convolution of the PHM model of the target system or device to be newly generated to generate the PHM model of the target system or device,
In the transfer learning, a domain adaptation technique (DANN, Domain Adversarial Neural Network) including a feature extractor, a classifier, and a domain discriminator is applied, a PHM model design method.

삭제delete

제9항에 있어서,
상기 데이터는, 상기 각 객체의 이상 징후에 대한 정보를 포함하는 것을 특징으로 하는, PHM 모델 설계 방법.
10. The method of claim 9,
The data, PHM model design method, characterized in that it includes information about the abnormality of each object.