KR20210111089A - E-nose Gas Data Reconstruction System and Method Using Neural Networks - Google Patents

E-nose Gas Data Reconstruction System and Method Using Neural Networks Download PDF

Info

Publication number
KR20210111089A
KR20210111089A KR1020200026179A KR20200026179A KR20210111089A KR 20210111089 A KR20210111089 A KR 20210111089A KR 1020200026179 A KR1020200026179 A KR 1020200026179A KR 20200026179 A KR20200026179 A KR 20200026179A KR 20210111089 A KR20210111089 A KR 20210111089A
Authority
KR
South Korea
Prior art keywords
gas data
electronic nose
reconstruction
vector
nose gas
Prior art date
Application number
KR1020200026179A
Other languages
Korean (ko)
Other versions
KR102428334B1 (en
Inventor
최상일
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020200026179A priority Critical patent/KR102428334B1/en
Publication of KR20210111089A publication Critical patent/KR20210111089A/en
Application granted granted Critical
Publication of KR102428334B1 publication Critical patent/KR102428334B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
    • Y02A50/20Air quality improvement or preservation, e.g. vehicle emission control or emission reduction by using catalytic converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Complex Calculations (AREA)

Abstract

The present invention relates to an e-nose gas data reconstruction system and method using a deep-learning network. The e-nose gas data reconstruction system comprises: a gas data input unit measuring a reaction by gas flowing into a chamber and receiving damaged electronic nose gas data; and a first reconstruction unit extracting semantics of a received electronic nose gas data using a latent vector, and encapsulating and reconstructing the received electronic nose gas data based on the extracted semantics. The present invention has the effect of effectively reconstructing and restoring the damaged electronic nose gas data.

Description

딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 시스템 및 방법{E-nose Gas Data Reconstruction System and Method Using Neural Networks}E-nose Gas Data Reconstruction System and Method Using Neural Networks

본 발명은 전자코 가스 데이터 재구성 기술에 관한 것으로, 더욱 상세하게는 손상된 전자코 가스 데이터를 딥러닝 네트워크를 기반으로 재구성하여 복원하는 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 시스템 및 방법에 관한 것이다.The present invention relates to an electronic nose gas data reconstruction technology, and more particularly, to a electronic nose gas data reconstruction system and method using a deep learning network for reconstructing and restoring damaged electronic nose gas data based on a deep learning network.

전자코(E-nose)는 전자 장치의 일종으로 설계된 것으로, 기기에 장착된 센서를 통해 다른 유형의 가스를 구별 또는 분류한다. 그 중 전자코가 장착된 가스 구별(또는 분류) 시스템은 일반적으로 휘발성 유기 화합물(VOCs: Volatile Organic Compounds)을 분석해왔다.An electronic nose (E-nose) is a type of electronic device designed to distinguish or classify different types of gas through a sensor mounted on the device. Among them, gas identification (or fractionation) systems equipped with electronic noses have generally analyzed volatile organic compounds (VOCs).

다만 이러한 초기 전자코 시스템은 가스 크로마토그래피(GC: Gas Chromatography)와 질량 분광계(MS: Mass Spectrometers)와 같은 복잡한 장비를 필요로 한다. 이에 주로 실험실과 같은 고정된 환경에서만 사용 가능하여, 적용에 한계가 있었다.However, these early electronic nose systems require complex equipment such as gas chromatography (GC) and mass spectrometers (MS). Therefore, it can be used only in a fixed environment such as a laboratory, so there is a limit to its application.

한편, 전자코 시스템의 컴퓨팅 시스템은 센서 어레이에서 측정한 데이터의 다른 특성을 이용하여 가스 종류를 구분하도록 설계되었으며, 다양한 VOCs(Volatile Organic Compounds)의 이미지 형태로 변환 및 템플릿 매칭을 통해 기체 종류를 효과적으로 분류하였다. 이 때 기능 추출 및 형상 선택 방법과 같은 기계 학습 기법도 휴대용 전자코 시스템의 기체 유형을 분류하는 데에 사용되었다.On the other hand, the computing system of the electronic nose system is designed to classify gas types using different characteristics of the data measured by the sensor array. classified. At this time, machine learning techniques such as feature extraction and shape selection methods were also used to classify the gas types of the portable electronic nose system.

처음에는 PCA(주요 성분 분석: Principal Component Analysis) 방법을 사용하여 고차원 전자코 데이터를 저차원 형상공간으로 변환한 다음, LDA(Linear Discriminant Analysis) 방법을 사용하여 기체 분류를 위한 형상을 추출하였다.First, the high-dimensional electronic nose data was converted into a low-dimensional shape space using the PCA (Principal Component Analysis) method, and then the shape for gas classification was extracted using the LDA (Linear Discriminant Analysis) method.

이러한 컴퓨팅 시스템에서 사용되는 형상 추출에 관한 대부분의 연구는 전체 데이터셋을 측정하기 위해 수행되었다. 이는 안정화, 노출 및 퍼징(purging)의 세 단계로 구성되는데, 안정화 단계부터 퍼징 단계까지 단일 벡터로 표현된다. 이는 분류를 위한 특징 공간을 통계분석에 근거하여 구성된다.Most of the studies on shape extraction used in these computing systems have been conducted to measure the entire dataset. It consists of three steps: stabilization, exposure and purging, which are expressed as a single vector from stabilization to purging. It is constructed based on statistical analysis of the feature space for classification.

다만 이러한 전자코 시스템의 경우 전원 공급이나, 센서 결함 등의 문제로 품질 데이터를 수집하는 것이 어려운 한계점을 가지고 있다. 그 이유는 어플리케이션 분야에서 시스템의 실제 운영 환경이 좋지 않은 경우가 많기 때문이다. 이 경우, 특징 추출을 위한 학습 데이터로서 사용되는 데이터의 차이로 인해 프로브 데이터의 분류 성능이 크게 저하될 수 있는 한계점이 존재한다.However, in the case of such an electronic nose system, it is difficult to collect quality data due to problems such as power supply or sensor defects. The reason is that the actual operating environment of the system in the application field is often not good. In this case, there is a limit in that classification performance of the probe data may be greatly deteriorated due to a difference in data used as training data for feature extraction.

이에 전자코 시스템에 있어서, 가스 데이터 측정에 큰 손상이 있을 때에도 기체 유형을 견고하게 분류할 수 있도록 하는 기술을 개발할 필요성이 있다. 특히, 최근 딥러닝 알고리즘에 대한 관심이 높아지고 있는 만큼, 기체 유형 분류의 효율성을 높이고자 학습된 정보를 바탕으로 손상된 데이터를 효과적으로 재구성하는 기술을 개발할 필요성이 있다.Accordingly, in the electronic nose system, there is a need to develop a technology capable of firmly classifying gas types even when there is a large damage to gas data measurement. In particular, as interest in deep learning algorithms is increasing recently, there is a need to develop a technology that effectively reconstructs damaged data based on learned information to increase the efficiency of gas type classification.

한국등록특허공보 제10-1260728호Korean Patent Publication No. 10-1260728

이에 본 발명은 상기와 같은 제반 사항을 고려하여 제안된 것으로, 손상된 전자코 가스 데이터를 딥러닝 네트워크에 기반하여 재구성 및 복원함으로써, 가스 유형을 견고하게 분류할 수 있도록 하는 것을 목적으로 한다.Accordingly, the present invention has been proposed in consideration of the above, and it is an object of the present invention to reliably classify gas types by reconstructing and restoring damaged electronic nose gas data based on a deep learning network.

또한, 본 발명은 전자코 가스 데이터의 의미론적인(semantic) 특징을 기반으로 딥러닝 네트워크를 설계함으로써, 전자코 가스 데이터 재구성의 신뢰도를 높이는 것을 목적으로 한다.In addition, an object of the present invention is to increase the reliability of electronic nose gas data reconstruction by designing a deep learning network based on the semantic characteristics of the electronic nose gas data.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해할 수 있을 것이다.Objects of the present invention are not limited to the objects mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 시스템은 챔버 내부로 유입되는 가스에 의한 반응을 측정하여 손상된 전자코 가스 데이터를 입력받는 가스 데이터 입력부, 상기 입력받은 전자코 가스 데이터의 시멘틱(semantics)을 잠재변수(latent vector)를 이용하여 추출하고, 상기 추출된 시멘틱을 기준으로 상기 입력받은 전자코 가스 데이터를 캡슐화(encapsulate)하여 재구성하는 1차 재구성부를 포함할 수 있다.In order to achieve the above object, the electronic nose gas data reconstruction system using a deep learning network according to the technical idea of the present invention measures the reaction by the gas flowing into the chamber and receives the damaged electronic nose gas data as a gas data input unit , extracting the semantics of the received electronic nose gas data using a latent vector, and encapsulating and reconstructing the received electronic nose gas data based on the extracted semantics It may include a reconstruction unit.

상기 1차 재구성부는 상기 입력받은 전자코 가스 데이터의 시멘틱(semantics)을 잠재변수(latent vector)를 이용하여 추출하고, 상기 추출된 시멘틱을 기준으로 상기 입력받은 전자코 가스 데이터를 캡슐화(encapsulate)하여 인코딩(encoding)하는 인코딩부, 상기 인코딩된 전자코 가스 데이터를 디코딩(decoding)하여 1차적으로 재구성하는 디코딩부를 포함할 수 있다.The primary reconstruction unit extracts semantics of the received electronic nose gas data using a latent vector, and encapsulates the received electronic nose gas data based on the extracted semantics. It may include an encoding unit for encoding, and a decoding unit for primarily reconstructing by decoding the encoded electronic nose gas data.

상기 1차 재구성부는 완전 연결층(fully-connected architectural layer)이 적용된 콘볼루션 신경망을 사용하여 설계된 네트워크라 할 수 있다.The primary reconstruction unit may be referred to as a network designed using a convolutional neural network to which a fully-connected architectural layer is applied.

상기 1차 재구성부는 상기 디코딩부에 의해 1차적으로 재구성된 전자코 가스 데이터를 2차적으로 재구성하는 추가 재구성부를 더 포함할 수 있다.The primary reconstruction unit may further include an additional reconstruction unit for secondary reconstructing the electron nose gas data primarily reconstructed by the decoding unit.

상기 추가 재구성부는 상기 디코딩부에 의해 1차적으로 재구성된 전자코 가스 데이터가 정상적인 전자코 가스 데이터로 수렴되도록 학습(training)된 네트워크라 할 수 있다.The additional reconstruction unit may be referred to as a network trained so that the electronic nose gas data primarily reconstructed by the decoding unit converges to the normal electronic nose gas data.

상기 디코딩부는 하기 수학식 1 및 수학식 2에 기초하여 상기 인코딩된 전자코 가스 데이터를 디코딩하여 1차적으로 재구성할 수 있다.The decoding unit may primarily reconstruct by decoding the encoded electronic nose gas data based on Equations 1 and 2 below.

<수학식 1><Equation 1>

Figure pat00001
Figure pat00001

(

Figure pat00002
: 변형된 가스벡터,
Figure pat00003
: 정상적인 가스벡터,
Figure pat00004
: 노이즈 벡터)(
Figure pat00002
: transformed gas vector,
Figure pat00003
: normal gas vector,
Figure pat00004
: noise vector)

<수학식 2><Equation 2>

Figure pat00005
}
Figure pat00005
}

(

Figure pat00006
: 노이즈 벡터,
Figure pat00007
: 균일분포 랜덤변수,
Figure pat00008
, U: 균일분포(uniform distribution))(
Figure pat00006
: noise vector,
Figure pat00007
: uniformly distributed random variable,
Figure pat00008
, U: uniform distribution)

상기 추가 재구성부는 하기 수학식 3에 기초하여 상기 디코딩부에 의해 1차적으로 재구성된 전자코 가스 데이터를 2차적으로 재구성할 수 있다.The additional reconstruction unit may secondarily reconstruct the electron nose gas data primarily reconstructed by the decoding unit based on Equation 3 below.

<수학식 3><Equation 3>

Figure pat00009
Figure pat00009

(f(·): 재구성 함수,

Figure pat00010
: 재구성 함수 f(·)의 파라미터, loss l(·): 가스벡터와 변형된 벡터에서 재구성된 카운터파트(counterpart) 사이의 거리를 모델링한 함수,
Figure pat00011
: 변형된 가스벡터,
Figure pat00012
: 정상적인 가스벡터)(f(·): reconstruction function,
Figure pat00010
: parameters of the reconstruction function f(·), loss l(·): a function that models the distance between the gas vector and the reconstructed counterpart in the transformed vector,
Figure pat00011
: transformed gas vector,
Figure pat00012
: Normal gas vector)

상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 방법은 가스 데이터 입력부에서 챔버 내부로 유입되는 가스에 의한 반응을 측정하여 손상된 전자코 가스 데이터를 입력받는 가스 데이터 입력단계, 1차 재구성부에서 상기 입력받은 전자코 가스 데이터의 시멘틱(semantics)을 잠재변수(latent vector)를 이용하여 추출하고, 상기 추출된 시멘틱을 기준으로 상기 입력받은 전자코 가스 데이터를 캡슐화(encapsulate)하여 재구성하는 1차 재구성단계를 포함할 수 있다.In order to achieve the above object, the electronic nose gas data reconstruction method using a deep learning network according to the technical idea of the present invention measures the reaction by the gas flowing into the chamber from the gas data input unit to input damaged electronic nose gas data. In the receiving gas data input step, the primary reconstruction unit extracts the semantics of the received electronic nose gas data using a latent vector, and based on the extracted semantics, the received electronic nose gas data It may include a first reconstruction step of reconstructing by encapsulating the.

상기 1차 재구성단계는 인코딩부에서 상기 입력받은 전자코 가스 데이터의 시멘틱(semantics)을 잠재변수(latent vector)를 이용하여 추출하고, 상기 추출된 시멘틱을 기준으로 상기 입력받은 전자코 가스 데이터를 캡슐화(encapsulate)하여 인코딩(encoding)하는 인코딩단계, 디코딩부에서 상기 인코딩된 전자코 가스 데이터를 디코딩(decoding)하여 1차적으로 재구성하는 디코딩단계를 포함할 수 있다.In the first reconstruction step, the encoding unit extracts semantics of the received electronic nose gas data using a latent vector, and encapsulates the received electronic nose gas data based on the extracted semantics. It may include an encoding step of encapsulating and encoding, and a decoding step of primarily reconstructing the encoded electronic nose gas data by decoding the encoded electronic nose gas data in a decoding unit.

상기 1차 재구성부는 완전 연결층(fully-connected architectural layer)이 적용된 콘볼루션 신경망을 사용하여 설계된 네트워크라 할 수 있다.The primary reconstruction unit may be referred to as a network designed using a convolutional neural network to which a fully-connected architectural layer is applied.

상기 1차 재구성단계는 1차 재구성부에서 상기 디코딩단계에 의해 1차적으로 재구성된 전자코 가스 데이터를 2차적으로 재구성하는 추가 재구성단계를 더 포함할 수 있다.The first reconstruction step may further include an additional reconstruction step of secondarily reconstructing the electron nose gas data primarily reconstructed by the decoding step in the first reconstruction unit.

상기 추가 재구성단계는 상기 디코딩단계에 의해 1차적으로 재구성된 전자코 가스 데이터가 정상적인 전자코 가스 데이터로 수렴되도록 학습(training)된 네트워크라 할 수 있다.The additional reconstruction step may be referred to as a network trained so that the electronic nose gas data primarily reconstructed by the decoding step converges to the normal electronic nose gas data.

상기 디코딩단계는 하기 수학식 1 및 수학식 2에 기초하여 상기 인코딩된 전자코 가스 데이터를 디코딩하여 1차적으로 재구성할 수 있다.The decoding step may be primarily reconstructed by decoding the encoded electronic nose gas data based on Equations 1 and 2 below.

<수학식 1><Equation 1>

Figure pat00013
Figure pat00013

(

Figure pat00014
: 변형된 가스벡터,
Figure pat00015
: 정상적인 가스벡터,
Figure pat00016
: 노이즈 벡터)(
Figure pat00014
: transformed gas vector,
Figure pat00015
: normal gas vector,
Figure pat00016
: noise vector)

<수학식 2><Equation 2>

Figure pat00017
Figure pat00017

(

Figure pat00018
: 노이즈 벡터,
Figure pat00019
: 균일분포 랜덤변수,
Figure pat00020
, U: 균일분포(uniform distribution))(
Figure pat00018
: noise vector,
Figure pat00019
: uniformly distributed random variable,
Figure pat00020
, U: uniform distribution)

상기 추가 재구성단계는 하기 수학식 3에 기초하여 상기 디코딩부에 의해 1차적으로 재구성된 전자코 가스 데이터를 2차적으로 재구성할 수 있다.In the additional reconstruction step, the electron nose gas data primarily reconstructed by the decoding unit may be secondarily reconstructed based on Equation 3 below.

<수학식 3><Equation 3>

Figure pat00021
Figure pat00021

(f(·): 재구성 함수,

Figure pat00022
: 재구성 함수 f(·)의 파라미터, loss l(·): 가스벡터와 변형된 벡터에서 재구성된 카운터파트(counterpart) 사이의 거리를 모델링한 함수,
Figure pat00023
: 변형된 가스벡터,
Figure pat00024
: 정상적인 가스벡터)(f(·): reconstruction function,
Figure pat00022
: parameters of the reconstruction function f(·), loss l(·): a function that models the distance between the gas vector and the reconstructed counterpart in the transformed vector,
Figure pat00023
: transformed gas vector,
Figure pat00024
: Normal gas vector)

이상에서 설명한 바와 같은 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 시스템 및 방법에 따르면, According to the electronic nose gas data reconstruction system and method using the deep learning network as described above,

첫째, 손상된 전자코 가스 데이터를 딥러닝 네트워크에 기반하여 재구성 및 복원함으로써, 가스 유형을 견고하게 분류할 수 있는 효과를 가진다.First, by reconstructing and restoring damaged electronic nose gas data based on a deep learning network, it has the effect of robustly classifying gas types.

둘째, 전자코 가스 데이터의 의미론적인(semantic) 특징을 기반으로 딥러닝 네트워크를 설계함으로써, 전자코 가스 데이터 재구성의 신뢰도를 높일 수 있는 효과를 가진다.Second, by designing a deep learning network based on the semantic characteristics of the electronic nose gas data, it has the effect of increasing the reliability of the electronic nose gas data reconstruction.

도 1은 본 발명의 실시예로서, 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 시스템을 나타낸 구성도.
도 2는 본 발명의 실시예로서, 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 방법을 나타낸 순서도.
도 3은 본 발명의 실시예로서, 전자코 시스템에서의 데이터 재구성 및 분류 방법에 관한 도면.
도 4는 본 발명의 실시예로서, 에탄올 증기(ethanol vapor)에 대한 16채널 센서 어레이의 일반적인 응답 시간을 나타낸 도면.
도 5는 본 발명의 실시예에 따른 데이터 재구성을 위한 전제 DAE 구조를 나타낸 도면.
도 6은 본 발명의 실시예에 따른 CNN 분류기를 나타낸 도면.
도 7은 본 발명의 실시예로서, 첫 번째 채널에 대한 데이터 샘플을 벡터 형태로 표현한 도면.
도 8은 본 발명의 실시예로서, 데이터 샘플의 분포도를 나타낸 도면.
도 9는 본 발명의 실시예로서, 본 발명에서 제안된 시스템 및 방법과 다른 방법 사이의 분류율을 비교한 도면.
1 is a configuration diagram showing an electronic nose gas data reconstruction system using a deep learning network as an embodiment of the present invention.
Figure 2 is an embodiment of the present invention, a flowchart showing a method for reconstructing electronic nose gas data using a deep learning network.
Figure 3 is an embodiment of the present invention, a diagram related to a data reconstruction and classification method in the electronic nose system.
4 is a view showing a typical response time of a 16-channel sensor array to ethanol vapor as an embodiment of the present invention.
5 is a diagram showing the entire DAE structure for data reconstruction according to an embodiment of the present invention.
6 is a diagram illustrating a CNN classifier according to an embodiment of the present invention.
7 is a diagram illustrating a data sample for a first channel in a vector form according to an embodiment of the present invention;
8 is a diagram illustrating a distribution diagram of data samples according to an embodiment of the present invention;
9 is an embodiment of the present invention, and is a diagram comparing the classification rate between the system and method proposed in the present invention and another method.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. 본 발명의 특징 및 이점들은 첨부 도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명의 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한 본 발명과 관련된 공지 기능 및 그 구성에 대한 구체적인 설명은 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 구체적인 설명을 생략하였음에 유의해야할 것이다.In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings. The features and advantages of the present invention will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Prior to this, the terms or words used in the present specification and claims are based on the technical idea of the present invention based on the principle that the inventor can appropriately define the concept of the term in order to describe his invention in the best way. It should be interpreted with the corresponding meaning and concept. In addition, it should be noted that, when it is determined that the detailed description of known functions and configurations related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof is omitted.

도 1은 본 발명의 실시예로서, 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 시스템을 나타낸 구성도이다.1 is a configuration diagram showing an electronic nose gas data reconstruction system using a deep learning network as an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예로서의 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 시스템은 크게 가스 데이터 입력부(100) 및 1차 재구성부(200)를 포함할 수 있다.Referring to FIG. 1 , an electronic nose gas data reconstruction system using a deep learning network as an embodiment of the present invention may largely include a gas data input unit 100 and a primary reconstruction unit 200 .

가스 데이터 입력부(100)는 챔버 내부로 유입되는 가스에 의한 반응을 측정하여 손상된 전자코 가스 데이터를 입력받을 수 있다. 이는 본 발명의 최종 목적인 가스 데이터의 분류를 위해, 분류하고자 하는 전자코 가스 데이터를 입력받기 위한 구성요소라 할 수 있다.The gas data input unit 100 may receive damaged electronic nose gas data by measuring a reaction caused by the gas flowing into the chamber. This can be said to be a component for receiving electronic nose gas data to be classified for classification of gas data, which is the final object of the present invention.

1차 재구성부(200)는 상기 가스 데이터 입력부(100)로부터 입력받은 전자코 가스 데이터의 시멘틱(semantics)을 잠재변수(latent vector)를 이용하여 추출하고, 상기 추출된 시멘틱을 기준으로 상기 가스 데이터 입력부(100)로부터 입력받은 전자코 가스 데이터를 캡슐화(encasulate)하여 재구성할 수 있다. 이는 전자코 가스 데이터의 의미론적인(semantic) 특징을 기반으로 딥러닝 네트워클 설계하여 전자코 가스 데이터 재구성의 신뢰도를 높이기 위한 구성요소라 할 수 있다.The primary reconstruction unit 200 extracts semantics of the electronic nose gas data input from the gas data input unit 100 using a latent vector, and based on the extracted semantics, the gas data The electronic nose gas data input from the input unit 100 may be encapsulated and reconstructed. This is a component to increase the reliability of electronic nose gas data reconstruction by designing a deep learning network based on the semantic characteristics of the electronic nose gas data.

1차 재구성부(200)는 완전 연결층(fully-connected architectural layer)이 적용된 콘볼루션 신경망을 사용하여 설계된 네트워크라 할 수 있다.The primary reconstruction unit 200 may be referred to as a network designed using a convolutional neural network to which a fully-connected architectural layer is applied.

이 때 1차 재구성부(200)는 인코딩부(210) 및 디코딩부(230)를 포함할 수 있다.In this case, the primary reconstruction unit 200 may include an encoding unit 210 and a decoding unit 230 .

인코딩부(210)는 상기 입력받은 전자코 가스 데이터의 시멘틱(semantics)을 잠재변수(latent vector)를 이용하여 추출하고, 상기 추출된 시멘틱을 기준으로 상기 입력받은 전자코 가스 데이터를 캡슐화(encapsulate)하여 인코딩(encoding)할 수 있다. 이는 전자코 가스 데이터의 의미론적인 특징, 즉 시멘틱(semantics)을 추출하기 위한 구성요소라 할 수 있다.The encoding unit 210 extracts semantics of the received electronic nose gas data using a latent vector, and encapsulates the received electronic nose gas data based on the extracted semantics. can be encoded. This can be said to be a component for extracting semantic characteristics, that is, semantics, of electronic nose gas data.

디코딩부(230)는 상기 인코딩부(210)로부터 인코딩된 전자코 가스 데이터를 디코딩(decoding)하여 1차적으로 재구성할 수 있다.The decoding unit 230 may decode the electronic nose gas data encoded by the encoding unit 210 to primarily reconstruct it.

이 때, 디코딩부(230)는 하기 수학식 1 및 수학식 2에 기초하여 상기 인코딩부(210)로부터 인코딩된 전자코 가스 데이터를 디코딩하여 1차적으로 재구성할 수 있다.At this time, the decoding unit 230 may decode the electronic nose gas data encoded from the encoding unit 210 based on Equations 1 and 2 below and reconstruct it primarily.

<수학식 1><Equation 1>

Figure pat00025
Figure pat00025

(

Figure pat00026
: 변형된 가스벡터,
Figure pat00027
: 정상적인 가스벡터,
Figure pat00028
: 노이즈 벡터)(
Figure pat00026
: transformed gas vector,
Figure pat00027
: normal gas vector,
Figure pat00028
: noise vector)

<수학식 2><Equation 2>

Figure pat00029
Figure pat00029

(

Figure pat00030
: 노이즈 벡터,
Figure pat00031
: 균일분포 랜덤변수,
Figure pat00032
, U: 균일분포(uniform distribution))(
Figure pat00030
: noise vector,
Figure pat00031
: uniformly distributed random variable,
Figure pat00032
, U: uniform distribution)

한편, 1차 재구성부(200)는 상기 디코딩부(230)에 의해 1차적으로 재구성된 전자코 가스 데이터를 2차적으로 재구성하는 추가 재구성부(250)를 더 포함할 수 있다.Meanwhile, the primary reconstructing unit 200 may further include an additional reconstructing unit 250 for secondary reconstructing the electron nose gas data primarily reconstructed by the decoding unit 230 .

추가 재구성부(250)는 상기 디코딩부(230)에 의해 1차적으로 재구성된 전자코 가스 데이터가 정상적인 전자코 가스 데이터로 수렴되도록 학습(training)된 네트워크라 할 수 있다.The additional reconstruction unit 250 may be a network trained so that the electronic nose gas data primarily reconstructed by the decoding unit 230 converges to the normal electronic nose gas data.

이 때 추가 재구성부(250)는 하기 수학식 3에 기초하여 상기 디코딩부(230)에 의해 1차적으로 재구성된 전자코 가스 데이터를 2차적으로 재구성할 수 있다.At this time, the additional reconstruction unit 250 may secondarily reconstruct the electron nose gas data primarily reconstructed by the decoding unit 230 based on Equation 3 below.

<수학식 3><Equation 3>

Figure pat00033
Figure pat00033

(f(·): 재구성 함수,

Figure pat00034
: 재구성 함수 f(·)의 파라미터, loss l(·): 가스벡터와 변형된 벡터에서 재구성된 카운터파트(counterpart) 사이의 거리를 모델링한 함수,
Figure pat00035
: 변형된 가스벡터,
Figure pat00036
: 정상적인 가스벡터)(f(·): reconstruction function,
Figure pat00034
: parameters of the reconstruction function f(·), loss l(·): a function that models the distance between the gas vector and the reconstructed counterpart in the transformed vector,
Figure pat00035
: transformed gas vector,
Figure pat00036
: Normal gas vector)

도 2는 본 발명의 실시예로서, 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 방법을 나타낸 순서도이다.2 is a flowchart illustrating a method of reconstructing electronic nose gas data using a deep learning network as an embodiment of the present invention.

도 2를 참조하면, 도 2는 본 발명의 실시예로서의 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 방법은 크게 가스 데이터 입력단계(S100), 인코딩단계(S210), 디코딩단계(S230) 및 추가 재구성단계(S250)를 포함할 수 있다.2, the electronic nose gas data reconstruction method using a deep learning network as an embodiment of the present invention is largely a gas data input step (S100), an encoding step (S210), a decoding step (S230) and an additional reconstruction step (S250) may be included.

가스 데이터 입력단계는 가스 데이터 입력부(100)에서 챔버 내부로 유입되는 가스에 의한 반응을 측정하여 손상된 전자코 가스 데이터를 입력받을 수 있다(S100). 이는 본 발명의 최종 목적인 가스 데이터의 분류를 위해, 분류하고자 하는 전자코 가스 데이터를 입력받기 위한 단계라 할 수 있다.In the gas data input step, the gas data input unit 100 measures a reaction by the gas flowing into the chamber to receive damaged electronic nose gas data (S100). This is a step for receiving electronic nose gas data to be classified for classification of gas data, which is the final object of the present invention.

인코딩단계는 상기 입력받은 전자코 가스 데이터의 시멘틱(semantics)을 잠재변수(latent vector)를 이용하여 추출하고, 상기 추출된 시멘틱을 기준으로 상기 입력받은 전자코 가스 데이터를 캡슐화(encapsulate)하여 인코딩(encoding)할 수 있다(S210). 이는 전자코 가스 데이터의 의미론적인 특징, 즉 시멘틱(semantics)을 추출하기 위한 단계라 할 수 있다.The encoding step extracts semantics of the received electronic nose gas data using a latent vector, and encapsulates and encodes the received electronic nose gas data based on the extracted semantics ( encoding) can be performed (S210). This is a step for extracting semantic features, ie, semantics, of electronic nose gas data.

디코딩단계는 상기 인코딩단계(S210)로부터 인코딩된 전자코 가스 데이터를 디코딩(decoding)하여 1차적으로 재구성할 수 있다(S230).The decoding step can be primarily reconstructed by decoding the electronic nose gas data encoded from the encoding step (S210) (S230).

이 때 디코딩단계(S230)는 하기 수학식 1 및 수학식 2에 기초하여 상기 인코딩단계(S210)로부터 인코딩된 전자코 가스 데이터를 디코딩하여 1차적으로 재구성할 수 있다.At this time, the decoding step (S230) can be primarily reconstructed by decoding the electronic nose gas data encoded from the encoding step (S210) based on Equations 1 and 2 below.

<수학식1><Equation 1>

Figure pat00037
Figure pat00037

(

Figure pat00038
: 변형된 가스벡터,
Figure pat00039
: 정상적인 가스벡터,
Figure pat00040
: 노이즈 벡터)(
Figure pat00038
: transformed gas vector,
Figure pat00039
: normal gas vector,
Figure pat00040
: noise vector)

<수학식 2><Equation 2>

Figure pat00041
Figure pat00041

(

Figure pat00042
: 노이즈 벡터,
Figure pat00043
: 균일분포 랜덤변수,
Figure pat00044
, U: 균일분포(uniform distribution))(
Figure pat00042
: noise vector,
Figure pat00043
: uniformly distributed random variable,
Figure pat00044
, U: uniform distribution)

한편, 1차 재구성단계(S200)는 상기 디코딩단계(S230)에 의해 1차적으로 재구성된 전자코 가스 데이터를 2차적으로 재구성하는 추가 재구성단계(S250)를 더 포함할 수 있다.On the other hand, the primary reconstruction step (S200) may further include an additional reconstruction step (S250) of secondary reconstructing the electron nose gas data primarily reconstructed by the decoding step (S230).

추가 재구성단계(S250)는 상기 디코딩단계(S230)에 의해 1차적으로 재구성된 전자코 가스 데이터가 정상적인 전자코 가스 데이터로 수렴되도록 학습(training)된 네트워크라 할 수 있다.The additional reconstruction step (S250) may be referred to as a network trained so that the electronic nose gas data primarily reconstructed by the decoding step (S230) converge to the normal electronic nose gas data.

이 때 추가 재구성단계(S250)는 하기 수학식 3에 기초하여 상기 디코딩단계(S230)에 의해 1차적으로 재구성된 전자코 가스 데이터를 2차적으로 재구성할 수 있다.At this time, in the additional reconstruction step (S250), the electron nose gas data primarily reconstructed by the decoding step (S230) may be secondarily reconstructed based on Equation 3 below.

<수학식 3><Equation 3>

Figure pat00045
Figure pat00045

(f(·): 재구성 함수,

Figure pat00046
: 재구성 함수 f(·)의 파라미터, loss l(·): 가스벡터와 변형된 벡터에서 재구성된 카운터파트(counterpart) 사이의 거리를 모델링한 함수,
Figure pat00047
: 변형된 가스벡터,
Figure pat00048
: 정상적인 가스벡터)(f(·): reconstruction function,
Figure pat00046
: parameters of the reconstruction function f(·), loss l(·): a function that models the distance between the gas vector and the reconstructed counterpart in the transformed vector,
Figure pat00047
: transformed gas vector,
Figure pat00048
: Normal gas vector)

한편, 본 발명은 1차 재구성단계에 인코딩단계(S210), 디코딩단계(S230) 및 추가 재구성단계(250)가 포함되어있으며, 이 때 1차 재구성단계는, 완전 연결층(fully-connected architectural layer)이 적용된 콘볼루션 신경망을 사용하여 설계된 네트워크라 할 수 있다.On the other hand, in the present invention, the encoding step (S210), the decoding step (S230), and the additional reconstruction step 250 are included in the first reconstruction step, wherein the first reconstruction step is a fully-connected architectural layer ) can be said to be a network designed using a convolutional neural network.

본 발명을 보다 상세하게 설명하면 도 3 내지 도 10을 참조할 수 있다.The present invention may be described in more detail with reference to FIGS. 3 to 10 .

도 3은 본 발명의 실시예로서, 전자코 시스템에서의 데이터 재구성 및 분류 방법에 관한 도면이다.3 is a diagram of a data reconstruction and classification method in an electronic nose system as an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시예인 전자코 시스템에는 K=32,000 차원 벡터로 표현되는 N개의 서로 다른 가스가 있으며, 이들의 재구성 및 분류를 위해 전자코 센서를 사용할 수 있다. 여기서는 주로 가스의 일부가 손상되었을 경우를 고려한 것이라 할 수 있다. 이를 위해 본 발명의 실시예인 전자코 시스템은 시그모이드 활성함수(sigmoid activation)가 있는 완전 연결층(fully-connected layers)으로 구성된 자동 인코더(auto-encoder) 구조가 설계되어, 가스 벡터의 시멘틱(semantics)을 효과적으로 캡슐화(encapsulate)할 수 있다. 자동 인코더는 입력 가스 벡터의 손상을 디노이징(denoising)하고, 원래 가스 벡터의 정보를 재구성하는 데에 사용될 수 있다. 재구성 이후, 분류 성능은 분류 알고리즘에 기초한 심층 학습에 의해 수행되었기 때문에 재구성 능력이 테스트되었다. 또한, 데이터 재구성 전후의 데이터 샘플 분포도에 대해서도 비교를 실시했다.Referring to FIG. 3 , in the electronic nose system according to an embodiment of the present invention, there are N different gases expressed by K=32,000 dimensional vectors, and an electronic nose sensor can be used for their reconstruction and classification. Here, it can be said that it is mainly considering the case where a part of the gas is damaged. To this end, in the electronic nose system according to an embodiment of the present invention, an auto-encoder structure composed of fully-connected layers with sigmoid activation is designed, and the semantic ( semantics) can be effectively encapsulated. Autoencoders can be used to denoise the damage of the input gas vector and reconstruct the information in the original gas vector. After the reconstruction, the reconstruction ability was tested because the classification performance was performed by deep learning based on the classification algorithm. In addition, the data sample distribution map before and after data reconstruction was also compared.

도 4는 본 발명의 실시예로서, 에탄올 증기(ethanol vapor)에 대한 16채널 센서 어레이의 일반적인 응답 시간을 나타낸 도면이다.4 is a diagram illustrating a typical response time of a 16-channel sensor array to ethanol vapor as an embodiment of the present invention.

도 4를 참조하면, 전자코 센서와 관련하여 폴리머 복합 센서(polymer composite sensors)는 수명, 센서 드리프트(sensor drift), 온도와 습도에 대한 민감도 등 한계가 있으나 일부 장점을 가지고 있다.Referring to FIG. 4 , in relation to the electronic nose sensor, polymer composite sensors have limitations, such as lifespan, sensor drift, and sensitivity to temperature and humidity, but have some advantages.

예를 들어, 이 센서는 저렴하고, 전력을 덜 소비하며, 상온에서 안정적으로 작동할 수 있다. 또한, 이러한 센서는 다른 가스 센서에 비해 다양한 종류의 폴리머 소재에 사용될 수 있기 때문에 전자코 시스템에서 널리 사용되고 있다.For example, the sensor is inexpensive, consumes less power, and can operate reliably at room temperature. In addition, these sensors are widely used in electronic nose systems because they can be used in a variety of polymer materials compared to other gas sensors.

이를 기반으로 본 발명에서는 도 4에 도시된 바와 같이, 실시예로서 전자코 시스템에 마이크로매치 센서 어레이 칩을 사용하였다. 센서 어레이는 16개 채널로 구성되어있다. 각 채널에는 디지털화된 전극과 마이크로히터, 가공된 막이 있는 탄소-블랙(CB) 폴리머 복합 센서가 장착되어있다.Based on this, in the present invention, as shown in FIG. 4 , a micromatch sensor array chip is used in the electronic nose system as an embodiment. The sensor array consists of 16 channels. Each channel is equipped with a carbon-black (CB) polymer composite sensor with digitized electrodes, microheaters and engineered films.

아래 <표 1>은 센서에서 사용되는 16(CB) 폴리머 컴포지트를 나타낸 표이다.<Table 1> below is a table showing the 16 (CB) polymer composite used in the sensor.

<표 1><Table 1>

Figure pat00049
Figure pat00049

센서가 화학가스에 노출되면, 그 가스는 각 폴리터 복합 필름에 접착될 수 있다. 저항의 변화를 관찰하고, 0.1초 간격으로 총 200초 동안 기록한다. 가스의 측정 절차는 다음과 같다.When the sensor is exposed to a chemical gas, the gas can adhere to each polyter composite film. Observe the change in resistance and record for a total of 200 seconds at 0.1 second intervals. The gas measurement procedure is as follows.

첫째, 센서 배열을 챔버에 배치한 후 저항신호가 안정화되면, 시스템의 유량제어가 60초간 가스의 유입을 활성화하고, 110초 동안 나머지 가스를 외부로 배출한다. 측정된 데이터는 DAQ6062E 데이터 수집 (DAQ) 보드와 LabVIEW(미국 국립 계측기)를 사용하여 PC에 저장된다. 전압 분배기는 -10V에서 10V까지 작동하며, 최대 DAQ 분해능을 달성하기 위해 16개의 동일한 증폭기의 이득이 10로 설정된다. 요약하면, 해당 가스는 각각 2,000 치수의 채널이 16개인 매트릭스로 설명된다.First, when the resistance signal is stabilized after placing the sensor array in the chamber, the flow control of the system activates the inflow of gas for 60 seconds, and discharges the remaining gas to the outside for 110 seconds. The measured data is stored on a PC using a DAQ6062E data acquisition (DAQ) board and LabVIEW (US National Instruments). The voltage divider operates from -10V to 10V and the gain of 16 identical amplifiers is set to 10 to achieve maximum DAQ resolution. In summary, the gas is described as a matrix with 16 channels of 2,000 dimensions each.

본 발명의 실시예에 따라, DAE(Denoising AutoEncoder)을 사용하여 데이터를 재구성하는 특징, 그 중에서도 Deep Neural Network Architecture을 설명하면 다음과 같다.According to an embodiment of the present invention, a feature of reconstructing data using a Denoising AutoEncoder (DAE), among others, Deep Neural Network Architecture will be described as follows.

학습 데이터 T = {(vi, ci | i = 1, ..., N)}, 여기서 벡터 vi는 가스벡터이고, 요소 ci은 상기 가스벡터의 라벨에 상응하는 것을 나타낸다. 여기서, 상기 가스벡터는 랜덤 노이즈 ni에 의해 변형된 것이라 가정된다. : 변형된 가스벡터는

Figure pat00050
라 한다. 그런 다음,
Figure pat00051
은 다음 <수학식 1>와 같이 vi와 ni 사이 element-wise multiplication(*)로 정의된다.Training data T = {(vi, ci | i = 1, ..., N)}, where the vector vi is a gas vector, and the element ci represents the corresponding label of the gas vector. Here, it is assumed that the gas vector is transformed by random noise ni. : The transformed gas vector is
Figure pat00050
say after that,
Figure pat00051
is defined as element-wise multiplication(*) between vi and ni as shown in the following <Equation 1>.

<수학식 1><Equation 1>

Figure pat00052
Figure pat00052

(

Figure pat00053
: 변형된 가스벡터,
Figure pat00054
: 정상적인 가스벡터,
Figure pat00055
: 노이즈 벡터)(
Figure pat00053
: transformed gas vector,
Figure pat00054
: normal gas vector,
Figure pat00055
: noise vector)

노이즈 벡터 ni은 다음 <수학식 2>과 같이 균일 분포(uniform distribution)에 의해 샘플된 것이라 가정된다.It is assumed that the noise vector ni is sampled by a uniform distribution as shown in Equation 2 below.

<수학식 2><Equation 2>

Figure pat00056
Figure pat00056

(

Figure pat00057
: 노이즈 벡터,
Figure pat00058
: 균일분포 랜덤변수,
Figure pat00059
, U: 균일분포(uniform distribution))(
Figure pat00057
: noise vector,
Figure pat00058
: uniformly distributed random variable,
Figure pat00059
, U: uniform distribution)

여기서, 용어 0<=k<=1은 0과 1의 평균 비율을 지배한다. 용어 U은 균일 분포를 나타낸다.Here, the term 0<=k<=1 governs the average ratio of 0 to 1. The term U denotes a uniform distribution.

다음 목표는 가스벡터의 변형을 재구성하는 가스벡터의 함수 f(·)을 정의하는 것이다. 이는 다음 <수학식 3>로 표현될 수 있다.The next goal is to define a function f(·) of the gas vector that reconstructs the transformation of the gas vector. This can be expressed by the following <Equation 3>.

<수학식 3><Equation 3>

Figure pat00060
Figure pat00060

(f(·): 재구성 함수,

Figure pat00061
: 재구성 함수 f(·)의 파라미터, loss l(·): 가스벡터와 변형된 벡터에서 재구성된 카운터파트(counterpart) 사이의 거리를 모델링한 함수,
Figure pat00062
: 변형된 가스벡터,
Figure pat00063
: 정상적인 가스벡터)(f(·): reconstruction function,
Figure pat00061
: parameters of the reconstruction function f(·), loss l(·): a function that models the distance between the gas vector and the reconstructed counterpart in the transformed vector,
Figure pat00062
: transformed gas vector,
Figure pat00063
: Normal gas vector)

여기서 용어 θ은 재구성 함수 f(·)의 파라미터를 나타낸다. 상기 손실 l(·)은 가스벡터와 변형된 벡터로부터 재구성된 상대역(counterpart) 사이의 거리를 모델링한 함수이다.Here, the term θ denotes the parameters of the reconstruction function f(·). The loss l(·) is a function of modeling the distance between the gas vector and the counterpart reconstructed from the transformed vector.

도 5는 본 발명의 실시예에 따른 데이터 재구성을 위한 전제 DAE 구조를 나타낸 도면이다. 여기서, xik, oik, 및 lil은 벡터들 xi ∈ RK, oi ∈ RK, 및 li ∈ RL.의 k번째 또는 I번째 요소를 나타낼 수 있다. 도 5의 사각형 박스들은 활성화 함수를 나타낸다. 여기서, 활성화 함수는 시그모이달(sigmoidal)로 정의되는 함수이다. 그리고 각 화살표는 요소들 사이의 접속을 나타낸다. 따라서, WE와 WD의 네트워크 매개변수는 매트릭스 형태로 표현된다.5 is a diagram illustrating the entire DAE structure for data reconstruction according to an embodiment of the present invention. Here, xik, oik, and lil may represent the k-th or I-th element of the vectors xi ∈ RK, oi ∈ RK, and li ∈ RL. The square boxes in Fig. 5 represent activation functions. Here, the activation function is a function defined as sigmoidal. And each arrow represents a connection between the elements. Accordingly, the network parameters of WE and WD are expressed in matrix form.

도 5를 참조하면, 본 발명의 실시예에 따른 전체 DAE에서는 재구성 함수 f(·)을 정의할 때, 각각 파라미터 WE와 WD을 가진 인코더 fE(·)와 fD(·)으로 구성된다. 도 5에 도시된 바와 같이, 가스벡터 vi = [vi1, .., viK]T의 정보는 인코더 li = fE(xi;WE)로부터 요약(encapsulate)된다. 여기서, 잠재벡터 li = [li1, .., liK]T은 가스벡터의 중요한 시멘틱(semantics)을 캡쳐한다. 그런 다음, 이 잠재벡터 li은 디코더 oi = fD(li ; WD)에 의해 디코딩된다.Referring to FIG. 5 , when defining the reconstruction function f(·) in the entire DAE according to the embodiment of the present invention, it is composed of encoders fE(·) and fD(·) having parameters WE and WD, respectively. As shown in Fig. 5, the information of the gas vector vi = [vi1, .., viK]T is encapsulated from the encoder li = fE(xi;WE). Here, the latent vector li = [li1, .., liK]T captures the important semantics of the gas vector. Then, this latent vector li is decoded by the decoder oi = fD(li; WD).

본 발명에서 제안된 문제에서, 입력 xi = [xi1, .., xiK]T은 가스벡터

Figure pat00064
로 설정되고, 출력 oi = [oi1, .., oiK]T은 재구성된 가스벡터
Figure pat00065
로 정의된다. 이 파라미터 WE와 WD은 재구성된 벡터
Figure pat00066
가 원래 가스벡터 vi로 수렴되도록 훈련된다. 여기서, 가스벡터 vi의 필수정보를 캡슐화(encapsulating)하는 잠재벡터는 256으로 설정되고, 이는 vi의 치수(dimension)보다 훨씬 더 작다. 입력 및 출력벡터는 평범한(plain) 1차원 벡터로 분해되기 때문에, 인코더와 디코더 네트워크는 fully-connected architectural layer을 사용하여 설계된다. 여기서, 인코더에 대한 네트워크 파라미터 WE은 32,000X256차원 매트리스에 의해 정의되고, 파라미터 WD은 256X32,000차원 매트리스로 정의된다. 이 두 개의 네트워크는 zero-mean Gaussian으로 초기화된다. 디코더 네트워크의 마지막 활성함수는 시그모이달 함수
Figure pat00067
이다. ; 여기서 출력 oij의 각 요소는 (0,1) 범위 내에 있다.In the problem proposed in the present invention, the input xi = [xi1, .., xiK]T is a gas vector
Figure pat00064
set to , and the output oi = [oi1, .., oiK]T is the reconstructed gas vector
Figure pat00065
is defined as These parameters WE and WD are the reconstructed vectors
Figure pat00066
is trained to converge to the original gas vector vi. Here, the latent vector encapsulating the essential information of the gas vector vi is set to 256, which is much smaller than the dimension of vi. Since input and output vectors are decomposed into plain one-dimensional vectors, the encoder and decoder networks are designed using a fully-connected architectural layer. Here, the network parameter WE for the encoder is defined by a 32,000X256-dimensional matrix, and the parameter WD is defined by a 256X32,000-dimensional matrix. These two networks are initialized with zero-mean Gaussian. The last activation function of the decoder network is the sigmoidal function.
Figure pat00067
am. ; where each element of the output oij is in the range (0,1).

네트워크 아키텍처 학습에 관해, 평균 제곱 오차 거리(mean square error distance)는 정의될 필요가 있다. 여기서, 상기 <수학식 3>의 전사함수(subjection function)는 다음 <수학식 4>와 같이 정의된다.For network architecture learning, the mean square error distance needs to be defined. Here, the transcription function of <Equation 3> is defined as the following <Equation 4>.

<수학식 4><Equation 4>

Figure pat00068
Figure pat00068

여기서, 파라미터 θ은 {WD, WE}로 설정된다. 따라서, 상기 제안된 문제는 다음 <수학식 5>와 같은 최소화 문제로 정의될 수 있다.Here, the parameter θ is set to {WD, WE}. Accordingly, the proposed problem can be defined as a minimization problem as shown in Equation 5 below.

<수학식 5><Equation 5>

Figure pat00069
Figure pat00069

이 네트워크 파라미터, WD와 WE은 학습된 파라미터이고, 이는 확률적 경사 하강법(stochastic gradient descent)의 변수(variant)이다. 이는 상기 <수학식 4>에 의해 정의된 손실 표면(loss surface)의 지역 최소를 탐구함으로써 달성된다. WD와 WE의 적용은 오버피팅(over-fitting)의 방지뿐 아니라, 가스 유형의 견고함을 향상시킨다.These network parameters, WD and WE, are learned parameters, which are variants of stochastic gradient descent. This is achieved by exploring the local minima of the loss surface defined by Equation 4 above. The application of WD and WE improves the robustness of the gas type as well as the prevention of over-fitting.

인코더 fE(·)와 디코더 fD(·)을 사용하여, 변형된 가스벡터

Figure pat00070
을 재구성할 수 있다. 질적 및 정량적 분석으로부터, 본 발명에서 제안한 디노이징 오토 인코더 아키텍쳐는 기존 PCA기반 방법 대비 우수한 성능을 달성할 수 있다. 이는 변형된 데이터를 처리하는 데에 폭넓게 사용될 수 있다.Using the encoder fE(·) and the decoder fD(·), the transformed gas vector
Figure pat00070
can be reconstructed. From the qualitative and quantitative analysis, the denoising auto-encoder architecture proposed in the present invention can achieve superior performance compared to the existing PCA-based method. It can be widely used for processing deformed data.

다시 도 3을 참조하면, 인코더 fE(·)와 디코더 fD(·)을 사용하여 재구성된 가스벡터는 CNN 기반 분류기에 의해 가스 유형이 분류될 수 있다.Referring back to FIG. 3 , the gas vector reconstructed using the encoder fE(·) and the decoder fD(·) may be classified into gas types by a CNN-based classifier.

본 발명에서는 디노이징 오토 인코더를 사용함으로써 재구성된 전자코 데이터로부터 가스 타입을 분류하기 위해 차별적인 특징들을 추출할 수 있다. 재구성된 데이터를 사용함으로써, 분류기는 가스 샘플들을 분류하기 위한 차별적인 깊은 특징들을 학습할 수 있다. 분류기는 가스벡터의 서로 다른 채널 정보의 표현을 학습하는 몇 개의 1차원 컨볼루션 필터로 구성된다. 최종 특징벡터를 얻기 위해, 채널 측 표현(channel-wise representation)이 병합된다.In the present invention, by using a denoising auto-encoder, it is possible to extract differential features to classify gas types from the reconstructed electronic nose data. By using the reconstructed data, the classifier can learn differential deep features to classify gas samples. The classifier consists of several one-dimensional convolutional filters that learn representations of different channel information of gas vectors. To obtain the final feature vector, the channel-wise representation is merged.

도 6은 본 발명의 실시예에 따른 CNN 분류기를 나타낸 도면이다.6 is a diagram illustrating a CNN classifier according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 분류기는 크게 세 개의 블록으로 구성되어있다. 첫 번째 블록은 채널 측 인코딩 블록이다. 채널 측 인코딩 블록은 1차원 콘볼루션(Conv) 필터 세트를 사용하여 채널측 벡터 정보를 암호화한다. 구체적으로는, 4개의 1 × 3 콘브 필터를 적층하고, 그 뒤에 배치 정상화 및 채널측 d = 125를 감소시키기 위한 ReLU 활성화가 뒤따른다. Conv filter의 채널은

Figure pat00071
로 설정되고, 여기서 co은 default에 의해 8로 설정된다. 그 결과, 채널 측 특징 yc은 다음 <수학식 6>과 같이 획득된다.Referring to FIG. 6 , the classifier of the present invention is largely composed of three blocks. The first block is the channel-side encoding block. The channel-side encoding block encrypts the channel-side vector information using a one-dimensional convolution (Conv) filter set. Specifically, four 1×3 convex filters are stacked, followed by batch normalization and ReLU activation to reduce channel-side d=125. Conv filter channels are
Figure pat00071
, where co is set to 8 by default. As a result, the channel-side feature yc is obtained as in Equation 6 below.

<수학식 6><Equation 6>

Figure pat00072
Figure pat00072

여기서 용어 xc은 입력 샘플 x에서 c번째 열에서 d차원벡터이고, f은 채널 측 인코딩 블록을 나타낸다. 값 Wc은 채널 측 특징 블록 f의 네트워크 파라미터를 나타낸다. 각 채널에서 벡터의 표현을 추출할 때는 단일 블록 f를 사용해도 충분하다는 점에 유의해야 한다.Here, the term xc is a d-dimensional vector in the c-th column of the input sample x, and f denotes a channel-side encoding block. The value Wc represents the network parameter of the channel-side feature block f. It should be noted that a single block f is sufficient when extracting the representation of a vector from each channel.

두 번째 블록은 채널 집약 블록(channel-aggregation block)이다. 채널 집약 블록은 다음 <수학식 7>과 같이 서로 다른 채널의 정보를 병합한다.The second block is a channel-aggregation block. The channel aggregation block merges information of different channels as shown in Equation 7 below.

<수학식 7><Equation 7>

Figure pat00073
Figure pat00073

여기서 블록 g은 특징 yc ∈ y을 병합하는 채널 집약 블록을 나타내고, 여기서 채널 측 인코딩 블록으로부터 추출된다. 여기서, 이 블록은 채널 축을 따라 각 특징 yc의 평균으로 정의된다.; 여기서, 마지막 특징은 Nc=1000*co을 가진다. 이 실험은 이 간단한 설정이 이 경우에 적절하게 작용한다는 것을 보여준다. 마지막 블록은 특징 분류 블록이다. 블록에서 완전히 연결된 레이어는 W ∈ RC×Nc로 정의되고, 이는 특징 ya을 C차원 공간에 투영한다. 여기서 용어 C는 다음 <수학식 8>과 같이 클래스(classes)의 수를 나타낸다.:where block g represents a channel aggregation block incorporating features yc ∈ y, where it is extracted from the channel-side encoding block. Here, this block is defined as the average of each feature yc along the channel axis; Here, the last feature has Nc=1000*co. This experiment shows that this simple setup works well in this case. The last block is the feature classification block. A fully connected layer in the block is defined as W ∈ RC×Nc, which projects the feature ya into the C-dimensional space. Here, the term C represents the number of classes as in Equation 8:

<수학식 8><Equation 8>

Figure pat00074
Figure pat00074

여기서 함수 q(·)은 소프트맥스(softmax) 함수에 의해 정의된다. 학습을 위해 다음과 같이 예측 클래스 벡터 yf 와 binary ground truth class vector yg ∈ RC를 통해 binary cross-entropy loss을 사용했다.Here, the function q(·) is defined by the softmax function. For training, we used binary cross-entropy loss through prediction class vector yf and binary ground truth class vector yg ∈ RC as follows.

<수학식 9><Equation 9>

Figure pat00075
Figure pat00075

여기서 요소 yf(c)와 yg(c)은 각각 벡터 yf 및 yg의 c번째 요소를 나타낸다. 여기서, 본 발명에서 제안한 분류기의 네트워크 파라미터 Wc 및 W를 찾기 위해 stochastic gradient descent 방법이 적용된다.Here, the elements yf(c) and yg(c) represent the c-th element of the vectors yf and yg, respectively. Here, the stochastic gradient descent method is applied to find the network parameters Wc and W of the classifier proposed in the present invention.

한편, 본 발명은 휴대용 전자코 시스템용 센서 배열을 사용하여 측정된 가스 데이터를 대상으로 수행된 실험을 통해, 본 발명에서 제안된 시스템 및 방법의 재구성 성능 및 가스 분류 성능을 확인할 수 있다. 센서 어레이는 16개의 채널로 구성되며, 각 데이터 샘플은 2,000개 이상의 시점으로 측정되었으며, 이는 16X2,000 매트릭스로 볼 수 있다. 데이터 세트는 8개의 다른 클래스의 가스(유형)에 대한 측정으로 구성되며, 클래스 당 20개의 데이터 샘플을 포함하고 있다. 딥러닝 네트워크와 함께 사용되는 특징 추출 방법에 따라, 데이터 샘플은 16X2,000 배열로 사용되거나 어휘 순서 연산자(lexicographic ordering operator)를 사용하여 32,000차원 벡터로 변환된다.On the other hand, in the present invention, the reconstruction performance and gas classification performance of the system and method proposed in the present invention can be confirmed through an experiment performed on gas data measured using a sensor array for a portable electronic nose system. The sensor array consists of 16 channels, each data sample measured over 2,000 time points, which can be viewed as a 16X2,000 matrix. The data set consists of measurements for 8 different classes of gases (types), containing 20 data samples per class. Depending on the feature extraction method used with the deep learning network, the data samples are either used as a 16X2,000 array or transformed into a 32,000-dimensional vector using a lexicographic ordering operator.

데이터 손실이 발생할 때 본 발명에서 제안된 방법을 사용하여 데이터를 얼마나 효과적으로 복원할 수 있는지 확인하기 위해서, 데이터 샘플의 성능을 전체 측정치의 5%~75%에 이르는 데이터 손실을 분석하였다. 실제 전자코 설치 환경에서 발생될 수 있는 전기적 문제를 고려하였을 때, 손실 간격은 2초 단위(20 time points)에서 발생하며, 해당 간격의 데이터 값은 0으로 설정되었다고 가정한다.In order to confirm how effectively data can be restored using the method proposed in the present invention when data loss occurs, data loss ranging from 5% to 75% of the total measurement was analyzed for the performance of the data sample. Considering the electrical problems that may occur in the actual electronic nose installation environment, it is assumed that the loss interval occurs in units of 2 seconds (20 time points), and the data value of the interval is set to 0.

손실된 데이터 재구성에 대해 관해 보다 상세히 설명하면 다음과 같다.A more detailed description of the lost data reconstruction is as follows.

본 발명에서 제안된 시스템 및 방법의 재구성 성능 및 가스 분류 성능을 확인하고자 수행된 실험은 데이터 재구성 성과를 Re-L2PCA 및 ReIL1PCA와 같은 재구성 방법과 비교하여 확인할 수 있다.Experiments performed to confirm the reconstruction performance and gas classification performance of the system and method proposed in the present invention can be confirmed by comparing the data reconstruction performance with reconstruction methods such as Re-L2PCA and ReIL1PCA.

도 7은 본 발명의 실시예로서, 첫 번째 채널에 대한 데이터 샘플을 벡터 형태로 표현한 도면이다. 여기서, (a)은 원본 데이터, (b)은 손실율 55%로 손상된 데이터, (c)은 Re-L2PCA에 의해 재구성된 데이터, (d)은 Re-IL1PCA에 의해 재구성된 데이터, (e)은 본 발명에서 제안된 시스템 및 방법에 의해 재구성된 데이터이다.7 is a diagram in which a data sample for a first channel is expressed in a vector form according to an embodiment of the present invention. Here, (a) is original data, (b) is data damaged with a loss rate of 55%, (c) is data reconstructed by Re-L2PCA, (d) is data reconstructed by Re-IL1PCA, (e) is It is data reconstructed by the system and method proposed in the present invention.

즉, 도 7은 원래(손실이 없는) 데이터 샘플을 보여준다. 이 데이터 샘플은 전체 측정치의 55%가 손실된 데이터 샘플이었으며, 이는 본 발명에서 제안된 시스템 및 방법이 포함된 다양한 방법으로 재구성되었다. 도 7의 수평 축은 가스벡터 치수를 나타내고, 수직축은 가스의 센서 출력을 나타낸다.That is, Fig. 7 shows the original (lossless) data sample. This data sample was a data sample in which 55% of the total measurements were lost, which was reconstructed by various methods including the system and method proposed in the present invention. The horizontal axis of FIG. 7 represents the gas vector dimension, and the vertical axis represents the sensor output of the gas.

도 7(b) 내지 도 7(e)에 도시된 바와 같이, 손실된 데이터 값은 각 재구성 방법에 의해 원래 데이터 값과 유사하게 재구성된다. 다만, Re-L2PCA와 Re-IL1PCAT의 경우, 센서 응답의 노출 단계에 대해 재구성된 데이터의 왜곡이 눈에 띄었다. 이와는 대조적으로 본 발명에서 제안된 시스템 및 방법에 의해 재구성된 데이터는 전체적인 모양이 고주파 잡음에도 불구하고 원래 데이터와 매우 유사하다는 것을 보여준다.As shown in Figs. 7(b) to 7(e), the lost data value is reconstructed similarly to the original data value by each reconstruction method. However, in the case of Re-L2PCA and Re-IL1PCAT, the distortion of the reconstructed data for the exposure stage of the sensor response was noticeable. In contrast, the data reconstructed by the system and method proposed in the present invention show that the overall shape is very similar to the original data despite the high-frequency noise.

도 8은 본 발명의 실시예로서, 데이터 샘플의 분포도를 나타낸 도면이다. 여기서, (a)은 손실율 65%을 가진 손상된 데이터, (b)은 Re-L2PCA에 의해 재구성된 데이터, (c)은 Re-IL1PCA에 의해 재구성된 데이터, (d)은 본 발명에서 제안된 시스템 및 방법에 의해 재구성된 데이터이다.8 is a diagram illustrating a distribution diagram of data samples according to an embodiment of the present invention. Here, (a) is damaged data with a loss rate of 65%, (b) is data reconstructed by Re-L2PCA, (c) is data reconstructed by Re-IL1PCA, (d) is the system proposed in the present invention and data reconstructed by the method.

도 8을 참조하면, 본 발명에서 제안된 시스템 및 방법에 의한 재구성이 가스의 유형을 구분하는 데에 효과적인지 검증하기 위해, 8종류의 가스 데이터 샘플에 대해 데이터 재구성 전후의 데이터 샘플의 2차원 분포 사이의 비교를 수행할 수 있다. 이로 인해 전체 데이터 측정치의 55%가 손실되었다. 평면에 32,000차원 고차원 가스 샘플을 시각화하기 위해, 비선형 치수 감소를 수행하고 기계 학습 어플리케이션에 널리 사용되는 t-분산 확률 이웃(t-distributed stochastic neighbor)을 사용했다. 하위 구조에서, 각 색상은 개별적인 가스 클래스를 나타내며, 포인트들은 개별적인 데이터 샘플을 나타낸다. 도 8(a)에서 데이터 손실이 있는 샘플은 클래스에 상관없이 산재(scattered)된다. Re-L2PCA와 Re-IL1PCA는 클래스(도 8(b) 및 도 8(c))에 의해 클러스터링 효과를 보였지만, 본 발명에서 제안된 재구성 프로세스는 클래스(도 8(d)에 의해 데이터 샘플의 클러스터링이 더 향상된 결과는 보였다.Referring to FIG. 8 , in order to verify whether the reconstruction by the system and method proposed in the present invention is effective in classifying gas types, two-dimensional distribution of data samples before and after data reconstruction for 8 types of gas data samples comparisons can be made between This resulted in a loss of 55% of all data measures. To visualize 32,000-dimensional high-dimensional gas samples in a plane, we performed nonlinear dimensional reduction and used the t-distributed stochastic neighbor, which is widely used in machine learning applications. In the substructure, each color represents an individual gas class, and the points represent individual data samples. In FIG. 8( a ), samples with data loss are scattered regardless of class. Re-L2PCA and Re-IL1PCA showed a clustering effect by class (Fig. 8(b) and Fig. 8(c)), but the reconstruction process proposed in the present invention shows clustering of data samples by class (Fig. 8(d)). This more improved result was seen.

데이터의 재구성이 전자코 시스템의 가스 분류 성능에 어떤 영향을 미치는지 확인하고자, 가스 분류 실험은 총 160개의 가스 종류로 구성된 가스 데이터 샘플을 대상으로 실시하였다. 분류 성능은 8배의 교차 검증 전략으로 평가되었다. 즉, 데이터를 임의로 혼합한 다음 140개의 샘플로 구성된 학습 데이터 세트로 나눈다. 테스트 데이터 세트는 각 폴드(fold)에 대해 20개의 샘플로 구성되었다. 분류율은 8개의 실험에서 분류율을 평균하여 계산하였다. 또한, 8배 교차 검증의 통계적 유의성을 높이고자, 상기 절차를 8회 반복하고, 최종 결과에 대한 평균 분류율을 계산하였다.In order to check how the reconstruction of the data affects the gas classification performance of the electronic nose system, a gas classification experiment was conducted on a gas data sample consisting of a total of 160 gas types. Classification performance was evaluated with an 8-fold cross-validation strategy. That is, the data is randomly mixed and then divided into a training data set of 140 samples. The test data set consisted of 20 samples for each fold. The classification rate was calculated by averaging the classification rate in 8 experiments. In addition, in order to increase the statistical significance of the 8-fold cross-validation, the above procedure was repeated 8 times, and the average classification rate for the final result was calculated.

도 9는 본 발명의 실시예로서, 본 발명에서 제안된 시스템 및 방법과 다른 방법 사이의 분류율을 비교한 도면이다.9 is a diagram comparing classification rates between the system and method proposed in the present invention and other methods as an embodiment of the present invention.

도 9는 데이터 손실률이 10%~70%인 경우

Figure pat00076
의 분류 성능을 보여주며, 본 발명에서 제안된 시스템 및 방법(
Figure pat00077
Figure pat00078
)의 분류 성능을 보여준다. 데이터 재구성이 분류 성능에 미치는 영상을 조사하기 위해, 분류 결과를
Figure pat00079
와 비교하고, 상기에서 제안된 분류 네트워크에 대한 데이터 재구성인
Figure pat00080
을 하지 않았다.9 is a case in which the data loss rate is 10% to 70%
Figure pat00076
shows the classification performance of, and the system and method proposed in the present invention (
Figure pat00077
and
Figure pat00078
) of the classification performance. In order to investigate the image of data reconstruction on the classification performance, the classification results
Figure pat00079
Comparing with , the data reconstruction for the classification network proposed above is
Figure pat00080
didn't

데이터 손실량이 적을 때(10% 손실) 모든 재구성 방법은 95% 이상의 양호한 분류 성능을 보였다. 단, 데이터 손실률이 20%을 넘어서면서,

Figure pat00081
Figure pat00082
의 분류 성능은 급속히 저하되는 것을 확인할 수 있었다,When the amount of data loss is small (10% loss), all reconstruction methods showed good classification performance of 95% or more. However, as the data loss rate exceeds 20%,
Figure pat00081
and
Figure pat00082
It was confirmed that the classification performance of

한편, 본 발명에서 제안된

Figure pat00083
Figure pat00084
은 50% 이상의 데이터가 손실되더라도 높은 분류 성능을 보였다. 단, 데이터가 손실되더라도 높은 분류율을 유지하고 있었다.On the other hand, proposed in the present invention
Figure pat00083
and
Figure pat00084
showed high classification performance even if more than 50% of data was lost. However, even if data was lost, the high classification rate was maintained.

도 9에 도시된 바와 같이, 본 발명에서 제안된 분류 네트워크만 손실 데이터의 50%의 재구성 없이 높은 분류 속도를 유지한다. 그 이유는 본 발명이 딥러닝을 기반으로 하는데, 이 때 딥러닝은 시간 축 방향에의 가스 데이터와 채널 간 동기화 정보의 상관관계를 사용하여 효과적으로 일정 정도 데이터 손실에 대한 강력한 특징을 추출할 수 있기 때문이다.As shown in Fig. 9, only the classification network proposed in the present invention maintains a high classification rate without 50% reconstruction of the lost data. The reason is that the present invention is based on deep learning, in which deep learning uses the correlation between gas data in the time axis direction and synchronization information between channels to effectively extract strong features for data loss to a certain extent. Because.

결론적으로, 전자코 시스템은 전기적 장애뿐만 아니라, 센서의 설치 환경에서의 데이터 손실이 발생할 수 있다. 이는 전자코를 이용하여 가스를 안정적으로 분류하는 것을 어렵게 하는 원인이 될 수 있다.In conclusion, the electronic nose system may cause data loss in the installation environment of the sensor as well as electrical failure. This may cause difficulty in stably classifying the gas using the electronic nose.

본 발명은 이러한 문제점을 개선하고자 한 기술로서, 데이터 손실을 효과적으로 재구성하고, 대규모 데이터 손상에 대해 가스 유형을 강력하게 분류하기 위해 디노이징 오토 인코더를 사용하는 심층 학습 네트워크를 설계하였다. 나아가 이는 CNN 기반의 분류기와의 결합이 가능하여 전자코 가스 데이터의 분류 신뢰도를 효과적으로 높일 수 있다.As a technique to improve this problem, the present invention designed a deep learning network using a denoising autoencoder to effectively reconstruct data loss and to strongly classify gas types for large-scale data corruption. Furthermore, it can be combined with a CNN-based classifier, effectively increasing the classification reliability of electronic nose gas data.

이상에서 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정들도 본 발명의 범위에 속하는 것으로 간주되어야할 것이다.Although described and illustrated in connection with a preferred embodiment for illustrating the technical idea of the present invention above, the present invention is not limited to the configuration and operation as shown and described as such, and deviates from the scope of the technical idea. It will be apparent to those skilled in the art that many changes and modifications can be made to the invention without reference to the invention. Accordingly, all such suitable changes and modifications are to be considered as falling within the scope of the present invention.

100 : 가스 데이터 입력부 200 : 1차 재구성부
210 : 인코딩부 230 : 디코딩부
250 : 추가 재구성부
100: gas data input unit 200: primary reconstruction unit
210: encoding unit 230: decoding unit
250: additional reconstruction unit

Claims (14)

챔버 내부로 유입되는 가스에 의한 반응을 측정하여 손상된 전자코 가스 데이터를 입력받는 가스 데이터 입력부; 및
상기 입력받은 전자코 가스 데이터의 시멘틱(semantics)을 잠재변수(latent vector)를 이용하여 추출하고, 상기 추출된 시멘틱을 기준으로 상기 입력받은 전자코 가스 데이터를 캡슐화(encapsulate)하여 재구성하는 1차 재구성부;를 포함하는 것을 특징으로 하는 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 시스템.
a gas data input unit receiving damaged electronic nose gas data by measuring a reaction caused by the gas flowing into the chamber; and
Primary reconstruction of extracting semantics of the received electronic nose gas data using a latent vector and encapsulating and reconstructing the received electronic nose gas data based on the extracted semantics Part; Electronic nose gas data reconstruction system using a deep learning network, characterized in that it includes.
제 1 항에 있어서, 상기 1차 재구성부는,
상기 입력받은 전자코 가스 데이터의 시멘틱(semantics)을 잠재변수(latent vector)를 이용하여 추출하고, 상기 추출된 시멘틱을 기준으로 상기 입력받은 전자코 가스 데이터를 캡슐화(encapsulate)하여 인코딩(encoding)하는 인코딩부; 및
상기 인코딩된 전자코 가스 데이터를 디코딩(decoding)하여 1차적으로 재구성하는 디코딩부;를 포함하는 것을 특징으로 하는 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 시스템.
According to claim 1, wherein the primary reconstruction unit,
Extracting the semantics of the received electronic nose gas data using a latent vector, and encapsulating and encoding the received electronic nose gas data based on the extracted semantics encoding unit; and
Electronic nose gas data reconstruction system using a deep learning network, characterized in that it comprises a; decoding unit for primary reconstruction by decoding the encoded electronic nose gas data.
제 1 항에 있어서, 상기 1차 재구성부는,
완전 연결층(fully-connected architectural layer)이 적용된 콘볼루션 신경망을 사용하여 설계된 네트워크인 것을 특징으로 하는 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 시스템.
According to claim 1, wherein the primary reconstruction unit,
Electronic nose gas data reconstruction system using a deep learning network, characterized in that it is a network designed using a convolutional neural network to which a fully-connected architectural layer is applied.
제 2 항에 있어서, 상기 1차 재구성부는,
상기 디코딩부에 의해 1차적으로 재구성된 전자코 가스 데이터를 2차적으로 재구성하는 추가 재구성부;를 더 포함하는 것을 특징으로 하는 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 시스템.
The method of claim 2, wherein the primary reconstruction unit,
Electron nose gas data reconstruction system using a deep learning network, characterized in that it further comprises; an additional reconstruction unit for secondary reconstructing the electronic nose gas data primarily reconstructed by the decoding unit.
제 4 항에 있어서, 상기 추가 재구성부는,
상기 디코딩부에 의해 1차적으로 재구성된 전자코 가스 데이터가 정상적인 전자코 가스 데이터로 수렴되도록 학습(training)된 네트워크인 것을 특징으로 하는 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 시스템.
The method of claim 4, wherein the additional reconstruction unit,
Electronic nose gas data reconstruction system using a deep learning network, characterized in that it is a network trained to converge the electronic nose gas data primarily reconstructed by the decoding unit to normal electronic nose gas data.
제 2 항에 있어서, 상기 디코딩부는,
하기 수학식 1 및 수학식 2에 기초하여 상기 인코딩된 전자코 가스 데이터를 디코딩하여 1차적으로 재구성하는 것을 특징으로 하는 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 시스템.
<수학식 1>
Figure pat00085

(
Figure pat00086
: 변형된 가스벡터,
Figure pat00087
: 정상적인 가스벡터,
Figure pat00088
: 노이즈 벡터)
<수학식 2>
Figure pat00089
}
(
Figure pat00090
: 노이즈 벡터,
Figure pat00091
: 균일분포 랜덤변수,
Figure pat00092
, U: 균일분포(uniform distribution))
The method of claim 2, wherein the decoding unit comprises:
Electronic nose gas data reconstruction system using a deep learning network, characterized in that based on the following Equations 1 and 2, decoding the encoded electronic nose gas data and reconstructing it primarily.
<Equation 1>
Figure pat00085

(
Figure pat00086
: transformed gas vector,
Figure pat00087
: normal gas vector,
Figure pat00088
: noise vector)
<Equation 2>
Figure pat00089
}
(
Figure pat00090
: noise vector,
Figure pat00091
: uniformly distributed random variable,
Figure pat00092
, U: uniform distribution)
제 6 항에 있어서, 상기 추가 재구성부는,
하기 수학식 3에 기초하여 상기 디코딩부에 의해 1차적으로 재구성된 전자코 가스 데이터를 2차적으로 재구성하는 것을 특징으로 하는 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 시스템.
<수학식 3>
Figure pat00093

(f(·): 재구성 함수,
Figure pat00094
: 재구성 함수 f(·)의 파라미터, loss l(·): 가스벡터와 변형된 벡터에서 재구성된 카운터파트(counterpart) 사이의 거리를 모델링한 함수,
Figure pat00095
: 변형된 가스벡터,
Figure pat00096
: 정상적인 가스벡터)
The method of claim 6, wherein the additional reconstruction unit,
Electron nose gas data reconstruction system using a deep learning network, characterized in that secondarily reconstructing the electronic nose gas data primarily reconstructed by the decoding unit based on Equation 3 below.
<Equation 3>
Figure pat00093

(f(·): reconstruction function,
Figure pat00094
: parameters of the reconstruction function f(·), loss l(·): a function that models the distance between the gas vector and the reconstructed counterpart in the transformed vector,
Figure pat00095
: transformed gas vector,
Figure pat00096
: Normal gas vector)
가스 데이터 입력부에서 챔버 내부로 유입되는 가스에 의한 반응을 측정하여 손상된 전자코 가스 데이터를 입력받는 가스 데이터 입력단계; 및
1차 재구성부에서 상기 입력받은 전자코 가스 데이터의 시멘틱(semantics)을 잠재변수(latent vector)를 이용하여 추출하고, 상기 추출된 시멘틱을 기준으로 상기 입력받은 전자코 가스 데이터를 캡슐화(encapsulate)하여 재구성하는 1차 재구성단계;를 포함하는 것을 특징으로 하는 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 방법.
a gas data input step of receiving damaged electronic nose gas data by measuring a reaction by the gas flowing into the chamber from the gas data input unit; and
The primary reconstruction unit extracts the semantics of the received electronic nose gas data using a latent vector, and encapsulates the received electronic nose gas data based on the extracted semantics. Electronic nose gas data reconstruction method using a deep learning network, characterized in that it comprises; the first reconstruction step of reconfiguring.
제 8 항에 있어서, 상기 1차 재구성단계는,
인코딩부에서 상기 입력받은 전자코 가스 데이터의 시멘틱(semantics)을 잠재변수(latent vector)를 이용하여 추출하고, 상기 추출된 시멘틱을 기준으로 상기 입력받은 전자코 가스 데이터를 캡슐화(encapsulate)하여 인코딩(encoding)하는 인코딩단계; 및
디코딩부에서 상기 인코딩된 전자코 가스 데이터를 디코딩(decoding)하여 1차적으로 재구성하는 디코딩단계;를 포함하는 것을 특징으로 하는 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 방법.
The method of claim 8, wherein the first reconstruction step,
The encoding unit extracts semantics of the received electronic nose gas data using a latent vector, and encapsulates and encodes the received electronic nose gas data based on the extracted semantics ( encoding) an encoding step; and
A decoding step of primarily reconstructing by decoding the encoded electronic nose gas data in a decoding unit; Electronic nose gas data reconstruction method using a deep learning network, comprising: a.
제 8 항에 있어서, 상기 1차 재구성부는,
완전 연결층(fully-connected architectural layer)이 적용된 콘볼루션 신경망을 사용하여 설계된 네트워크인 것을 특징으로 하는 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 방법.
The method of claim 8, wherein the primary reconstruction unit,
Electronic nose gas data reconstruction method using a deep learning network, characterized in that it is a network designed using a convolutional neural network to which a fully-connected architectural layer is applied.
제 9 항에 있어서, 상기 1차 재구성단계는,
1차 재구성부에서 상기 디코딩단계에 의해 1차적으로 재구성된 전자코 가스 데이터를 2차적으로 재구성하는 추가 재구성단계;를 더 포함하는 것을 특징으로 하는 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 방법.
10. The method of claim 9, wherein the first reconstruction step,
Electron nose gas data reconstruction method using a deep learning network, characterized in that it further comprises; an additional reconstruction step of secondarily reconstructing the electronic nose gas data primarily reconstructed by the decoding step in the primary reconstruction unit.
제 11 항에 있어서, 상기 추가 재구성단계는,
상기 디코딩단계에 의해 1차적으로 재구성된 전자코 가스 데이터가 정상적인 전자코 가스 데이터로 수렴되도록 학습(training)된 네트워크인 것을 특징으로 하는 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 방법.
The method of claim 11, wherein the further reconfiguration step comprises:
Electronic nose gas data reconstruction method using a deep learning network, characterized in that the network is trained so that the electronic nose gas data primarily reconstructed by the decoding step converges to the normal electronic nose gas data.
제 11 항에 있어서, 상기 추가 재구성단계는,
하기 수학식 1 및 수학식 2에 기초하여 상기 인코딩된 전자코 가스 데이터를 디코딩하여 1차적으로 재구성하는 것을 특징으로 하는 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 방법.
<수학식 1>
Figure pat00097

(
Figure pat00098
: 변형된 가스벡터,
Figure pat00099
: 정상적인 가스벡터,
Figure pat00100
: 노이즈 벡터)
<수학식 2>
Figure pat00101

(
Figure pat00102
: 노이즈 벡터,
Figure pat00103
: 균일분포 랜덤변수,
Figure pat00104
, U: 균일분포(uniform distribution))
The method of claim 11, wherein the further reconfiguration step comprises:
Electron nose gas data reconstruction method using a deep learning network, characterized in that based on the following Equations 1 and 2, decoding the encoded electronic nose gas data and reconstructing it primarily.
<Equation 1>
Figure pat00097

(
Figure pat00098
: transformed gas vector,
Figure pat00099
: normal gas vector,
Figure pat00100
: noise vector)
<Equation 2>
Figure pat00101

(
Figure pat00102
: noise vector,
Figure pat00103
: uniformly distributed random variable,
Figure pat00104
, U: uniform distribution)
제 13 항에 있어서, 상기 추가 재구성단계는,
하기 수학식 3에 기초하여 상기 디코딩부에 의해 1차적으로 재구성된 전자코 가스 데이터를 2차적으로 재구성하는 것을 특징으로 하는 딥러닝 네트워크를 이용한 전자코 가스 데이터 재구성 방법.
<수학식 3>
Figure pat00105

(f(·): 재구성 함수,
Figure pat00106
: 재구성 함수 f(·)의 파라미터, loss l(·): 가스벡터와 변형된 벡터에서 재구성된 카운터파트(counterpart) 사이의 거리를 모델링한 함수,
Figure pat00107
: 변형된 가스벡터,
Figure pat00108
: 정상적인 가스벡터)
14. The method of claim 13, wherein the further reconfiguration step comprises:
Electron nose gas data reconstruction method using a deep learning network, characterized in that secondarily reconstructing the electronic nose gas data primarily reconstructed by the decoding unit based on Equation 3 below.
<Equation 3>
Figure pat00105

(f(·): reconstruction function,
Figure pat00106
: parameters of the reconstruction function f(·), loss l(·): a function that models the distance between the gas vector and the reconstructed counterpart in the transformed vector,
Figure pat00107
: transformed gas vector,
Figure pat00108
: Normal gas vector)
KR1020200026179A 2020-03-02 2020-03-02 E-nose Gas Data Reconstruction System and Method Using Neural Networks KR102428334B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200026179A KR102428334B1 (en) 2020-03-02 2020-03-02 E-nose Gas Data Reconstruction System and Method Using Neural Networks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200026179A KR102428334B1 (en) 2020-03-02 2020-03-02 E-nose Gas Data Reconstruction System and Method Using Neural Networks

Publications (2)

Publication Number Publication Date
KR20210111089A true KR20210111089A (en) 2021-09-10
KR102428334B1 KR102428334B1 (en) 2022-08-02

Family

ID=77777276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200026179A KR102428334B1 (en) 2020-03-02 2020-03-02 E-nose Gas Data Reconstruction System and Method Using Neural Networks

Country Status (1)

Country Link
KR (1) KR102428334B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101260728B1 (en) 2011-08-08 2013-05-06 국민대학교산학협력단 Method for selecting time horizon by feature feedback in e-nose systems
KR101852074B1 (en) * 2016-11-29 2018-04-25 단국대학교 산학협력단 Electronic Nose System and Method for Gas Classification
JP2019200551A (en) * 2018-05-15 2019-11-21 株式会社日立製作所 Neural network finding latent factor from data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101260728B1 (en) 2011-08-08 2013-05-06 국민대학교산학협력단 Method for selecting time horizon by feature feedback in e-nose systems
KR101852074B1 (en) * 2016-11-29 2018-04-25 단국대학교 산학협력단 Electronic Nose System and Method for Gas Classification
JP2019200551A (en) * 2018-05-15 2019-11-21 株式会社日立製作所 Neural network finding latent factor from data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Natasha Jaques et al., "Multimodal Autoencoder: A Deep Learning Approach to Filling In Missing Sensor Data and Enabling Better Mood Prediction," 2017 Seventh International Conference on Affective Computing and Intelligent Interaction (ACII) (2017.10.23.)* *

Also Published As

Publication number Publication date
KR102428334B1 (en) 2022-08-02

Similar Documents

Publication Publication Date Title
Zou et al. Hierarchical suppression method for hyperspectral target detection
Wang et al. An artificial olfactory inference system based on memristive devices
Licciardi et al. Spectral transformation based on nonlinear principal component analysis for dimensionality reduction of hyperspectral images
Zhu et al. Hyperspectral band selection via rank minimization
CN109446804B (en) Intrusion detection method based on multi-scale feature connection convolutional neural network
Liu et al. Review on algorithm design in electronic noses: Challenges, status, and trends
Wang et al. Classification and concentration prediction of VOCs with high accuracy based on an electronic nose using an ELM-ELM integrated algorithm
Huang et al. Double‐step block division plant‐wide fault detection and diagnosis based on variable distributions and relevant features
Feng et al. Rank diminishing in deep neural networks
Pan et al. Lightweight neural network for gas identification based on semiconductor sensor
Girard et al. Uranium oxide synthetic pathway discernment through unsupervised morphological analysis
Shen et al. Sparse representation classification beyond ℓ1 minimization and the subspace assumption
Shankaranarayana et al. Attention augmented convolutional transformer for tabular time-series
Chang et al. A study of drift effect in a popular metal oxide sensor and gas recognition using public gas datasets
Boujnah et al. An electronic nose using conductometric gas sensors based on P3HT doped with triflates for gas detection using computational techniques (PCA, LDA, and kNN)
KR102428334B1 (en) E-nose Gas Data Reconstruction System and Method Using Neural Networks
Liu et al. Domain adaptation on asymmetric drift data for an electronic nose
KR102590395B1 (en) E-nose Gas Data Classification System and Method Using Neural Networks
Chu et al. Microchip Employing Short Period Thermal Modulation for the Detection of H₂S and SO₂ Mixtures
CN114830242A (en) Machine vision for characterization based on analytical data
Yamashita et al. Direct feature extraction from two-dimensional X-ray diffraction images of semiconductor thin films for fabrication analysis
Sotiris et al. Support Vector Prognostics Analysis of Electronic Products and Systems.
CN113804833B (en) Universal electronic nose drift calibration method based on convex set projection and extreme learning machine
ul Haq et al. Hyperspectral data classification via sparse representation in homotopy
Ortega et al. Collaborative filtering to predict sensor array values in large iot networks

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant