KR102370622B1 - 심층학습에 기반한 신호 압축 시스템 및 방법 - Google Patents

심층학습에 기반한 신호 압축 시스템 및 방법 Download PDF

Info

Publication number
KR102370622B1
KR102370622B1 KR1020200049716A KR20200049716A KR102370622B1 KR 102370622 B1 KR102370622 B1 KR 102370622B1 KR 1020200049716 A KR1020200049716 A KR 1020200049716A KR 20200049716 A KR20200049716 A KR 20200049716A KR 102370622 B1 KR102370622 B1 KR 102370622B1
Authority
KR
South Korea
Prior art keywords
signal
extracted
compressed
weight
generate
Prior art date
Application number
KR1020200049716A
Other languages
English (en)
Other versions
KR20210047235A (ko
Inventor
김동주
이학진
왕인내
이승보
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to PCT/KR2020/009428 priority Critical patent/WO2021075673A1/ko
Publication of KR20210047235A publication Critical patent/KR20210047235A/ko
Application granted granted Critical
Publication of KR102370622B1 publication Critical patent/KR102370622B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/33—Heart-related electrical modalities, e.g. electrocardiography [ECG] specially adapted for cooperation with other devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

측정 신호를 기록하는 측정 장치; 및 전처리를 수행하여 정규 신호를 생성하고, 가중치를 이용하여 상기 정규 신호로부터 압축 신호를 생성하며, 가중치를 이용하여 압축 신호로부터 복원 신호를 생성하고, 정규 신호와 복원 신호의 차이가 사전에 마련되는 임계 범위를 만족하도록 가중치를 학습하는 오토 인코더 장치를 포함하는, 신호 압축 시스템을 제공한다.

Description

심층학습에 기반한 신호 압축 시스템 및 방법{SIGNAL COMPRESSION SYSTEM AND METHOD BASED ON DEEP LEARNING}
본 발명은 심층학습에 기반한 신호 압축 시스템 및 방법에 관한 것으로, 보다 상세하게는, 하나 이상의 인코딩 블록과 하나 이상의 디코딩 블록을 이용하여 신호를 압축하고, 복원하는 신호 압축 시스템 및 방법에 관한 것이다.
또한, 본 발명은 신호의 압축 및 복원 과정에서 학습되는 가중치를 이용하여 네트워크를 통해 전달되는 신호의 보안성과 배터리 효율성을 향상시키는 신호 압축 시스템 및 방법에 관한 것이다.
신호를 측정하는 기기에서 신호를 압축하는 기술은 배터리의 효율성을 재고할 수 있는 매우 중요한 기술이다. IoT 혹은 웨어러블 기기들의 경우, 다양한 센서를 통해 신호를 측정하거나, 통신을 수행하며, 이때, 기기에 마련되는 배터리는 한정된 용량으로, 신호를 측정할 수 있는 시간과 측정 가능한 신호의 종류, 획득한 신호를 분석하거나, 또는, 시각화하기 위한 정보의 양 등에 대한 제약으로 작용한다. 따라서, 신호를 측정하는 기기의 배터리 효율은 매우 중요하다. 기존에는, 배터리 효율성을 높이기 위해 배터리 자체의 크기를 증가시켜 용량을 높이거나, 여러 개의 배터리를 병렬로 연결하여 사용하고 있다. 그러나, 이러한 방법은 배터리의 발열, 크기, 충전 시간 등에 영향을 주게 되며, 이에 따라, 다양한 기기에 적용하기에 한계가 존재한다. 또한, 기존의 생체신호를 측정하는 기기들의 경우, 한정된 배터리 용량으로 인해 고품질, 대용량의 원본 신호를 통신으로 다른 기기에 전달하지 못하는 단점이 있다.
한편, 기존의 개인정보 보호법 상에서 보호 대상이란, 개인을 식별할 수 있는 요소로 정의되며, 일반적으로 기술을 통해 개인을 식별할 수 있는 요소는 홍채, 지문 등에 한정되었다. 그러나, 기술의 발전에 따라 높은 정확도의 신호 분석을 통한 개인의 식별이 가능해지면서 개인 정보로서 보호되어야 하는 정보의 종류와 형태가 다양해지고 있다.
기존에는 개인정보보호를 위해, 난수를 사용한 단순한 암호화 기술들이 권장되어 사용되었으나, 이러한 종래의 기술은 컴퓨터의 성능이 좋아짐에 따라 단시간 내에 임의의 난수들을 생성하고, 지속적으로 암호 복구를 시도하는 등의 방식으로 해킹될 수 있는 가능성이 높아지고 있다. 이에 따라, 새로운 암호화 기술이 필요하며 이러한 맥락에서 개인정보를 보호하기 위한 기술로 블록체인이 주목받고 있으나, 블록체인의 경우 데이터가 체인 형태로 얽혀 있어 보안에 강하다는 장점에 반해, 데이터의 삭제가 어렵다는 치명적인 단점이 존재한다. 이러한 블록체인의 단점은 개인정보 보호법 제36조의 사항인 사용자의 의지대로 개인 정보의 삭제가 자유로이 가능해야 한다는 조항을 만족하기 어렵다.
이에 따라, 배터리와 통신의 효율성을 높이기 위해 정보를 효율적으로 압축하는 방안이 요구되는 실정이며, 또한, 개인을 식별할 수 있으며, 삭제가 용이한 새로운 형태의 보안 방안이 요구되는 실정이다.
본 발명이 해결하고자 하는 기술적 과제는 하나 이상의 인코딩 블록과 하나 이상의 디코딩 블록을 이용하여 신호를 압축하고, 복원하는 신호 압축 시스템 및 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 다른 기술적 과제는 신호의 압축 및 복원 과정에서 학습되는 가중치를 이용하여 네트워크를 통해 전달되는 신호의 보안성과 배터리 효율성을 향상시키는 신호 압축 시스템 및 방법을 제공하는 것이다.
본 발명의 일측면은, 측정 신호를 기록하는 측정 장치; 및 상기 측정 신호에 대한 전처리를 수행하여 정규 신호를 생성하고, 상기 정규 신호를 압축하도록 설정되는 가중치를 이용하여 상기 정규 신호로부터 압축 신호를 생성하며, 상기 가중치를 이용하여 상기 압축 신호로부터 복원 신호를 생성하고, 상기 정규 신호와 상기 복원 신호의 차이가 사전에 마련되는 임계 범위를 만족하도록 상기 가중치를 학습하는 오토 인코더 장치를 포함할 수 있다.
또한, 상기 오토 인코더 장치는, 측정 신호를 수집하는 수집부; 상기 측정 신호에 대한 전처리를 수행하여 정규 신호를 생성하는 전처리부; 사전에 설정된 가중치가 적용되는 하나 이상의 인코딩 블록을 이용하여 상기 정규 신호로부터 압축 신호를 생성하는 인코더부; 상기 가중치가 적용되는 하나 이상의 디코딩 블록을 이용하여 상기 압축 신호로부터 복원 신호를 생성하는 디코더부; 및 상기 정규 신호와 상기 복원 신호를 비교하여 차이 정보를 생성하고, 상기 정규 신호와 상기 복원 신호의 차이에 대한 기준을 나타내도록 마련되는 임계 범위를 상기 차이 정보가 만족하도록 상기 가중치를 학습하는 학습부를 더 포함할 수 있다.
또한, 상기 인코더부는, 상기 정규 신호에 상기 가중치를 적용하여 상기 정규 신호의 특징이 추출된 제 1 추출 신호를 생성하고, 상기 제 1 추출 신호를 추출된 특징에 따라 축소시켜 제 1 축소 신호를 생성하고, 상기 정규 신호에 상기 가중치를 적용하여 상기 정규 신호의 특징이 추출된 제 2 추출 신호를 생성하고, 상기 제 2 추출 신호를 사전에 설정되는 크기로 변환시켜 제 1 변환 신호를 생성하며, 상기 제 1 축소 신호와 상기 제 1 변환 신호를 합산하여 제 1 인코딩 신호를 생성할 수 있다.
또한, 상기 인코더부는, 복수개의 인코딩 블록이 마련되는 경우, 상기 제 1 인코딩 신호에 상기 가중치를 적용하여 상기 제 1 인코딩 신호의 특징이 추출된 제 3 추출 신호를 생성하고, 상기 제 3 추출 신호를 추출된 특징에 따라 축소시켜 제 2 축소 신호를 생성하고, 상기 정규 신호에 상기 가중치를 적용하여 상기 정규 신호의 특징이 추출된 제 4 추출 신호를 생성하고, 상기 제 4 추출 신호를 사전에 설정되는 크기로 변환시켜 제 2 변환 신호를 생성하며, 상기 제 2 축소 신호와 상기 제 2 변환 신호를 합산하여 제 2 인코딩 신호를 생성할 수 있다.
또한, 상기 디코더부는, 상기 압축 신호에 상기 가중치를 적용하여 상기 압축 신호의 특징이 추출된 제 5 추출 신호를 생성하고, 상기 제 5 추출 신호를 추출된 특징에 따라 확대시켜 제 1 확대 신호를 생성하고, 상기 압축 신호에 상기 가중치를 적용하여 상기 압축 신호의 특징이 추출된 제 6 추출 신호를 생성하고, 상기 제 6 추출 신호를 사전에 설정되는 크기로 변환시켜 제 3 변환 신호를 생성하며, 상기 제 1 확대 신호와 상기 제 3 변환 신호를 합산하여 제 1 디코딩 신호를 생성할 수 있다.
또한, 상기 디코더부는, 복수개의 디코딩 블록이 마련되는 경우, 상기 제 1 디코딩 신호에 상기 가중치를 적용하여 상기 제 1 디코딩 신호의 특징이 추출된 제 7 추출 신호를 생성하고, 상기 제 7 추출 신호를 추출된 특징에 따라 축소시켜 제 2 확대 신호를 생성하고, 상기 압축 신호에 상기 가중치를 적용하여 상기 압축 신호의 특징이 추출된 제 8 추출 신호를 생성하고, 상기 제 8 추출 신호를 사전에 설정되는 크기로 변환시켜 제 4 변환 신호를 생성하며, 상기 제 2 확대 신호와 상기 제 4 변환 신호를 합산하여 제 2 디코딩 신호를 생성할 수 있다.
또한, 상기 전처리부는, 상기 측정 신호로부터 동일한 시간 간격으로 나타나는 하나 이상의 분할 신호를 추출하고, 상기 하나 이상의 분할 신호가 동일한 크기 범위를 만족하도록 정규화를 수행하여 정규 신호를 생성할 수 있다.
또한, 상기 측정 신호가 생체로부터 부정맥을 판단할 수 있도록 측정되어 기록되는 생체 신호인 경우, 부정맥 종류에 따라 생성된 압축 신호의 분포를 학습하여 분류 모델을 생성하고, 상기 분류 모델에 기초하여, 상기 압축 신호의 분포에 따라 부정맥을 판단하여 부정맥 정보를 생성하는 부정맥 분류 장치를 더 포함할 수 있다.
또한, 상기 부정맥 분류 장치는, 상기 측정 신호에 기초하여 생성된 하나 이상의 압축 신호에 대한 부정맥 정보를 각각 판단하고, 상기 하나 이상의 압축 신호에 대한 부정맥 정보에 따라 가장 높은 빈도를 나타내는 부정맥 정보를 상기 측정 신호에 대한 부정맥 판단 결과로 결정할 수 있다.
또한, 상기 정규 신호를 압축하도록 설정되는 가중치를 저장하고, 상기 압축 신호를 전달받으며, 상기 가중치가 적용되는 하나 이상의 디코딩 블록을 마련하여, 상기 압축 신호로부터 복원 신호를 생성하는 스마트 장치를 더 포함할 수 있다.
또한, 상기 스마트 장치는, 상기 오토 인코더 장치에 의해 상기 가중치가 변경되는 경우, 변경된 가중치를 전달받을 수 있다.
본 발명의 다른 일측면은, 심층학습에 기반하여 압축된 신호를 이용한 부정맥 분류 시스템에 의한 부정맥 분류 방법에 있어서, 측정 신호를 기록하는 단계; 상기 측정 신호에 대한 전처리를 수행하여 정규 신호를 생성하는 단계; 상기 정규 신호를 압축하도록 설정되는 가중치를 이용하여 상기 정규 신호로부터 압축 신호를 생성하는 단계; 상기 가중치를 이용하여 상기 압축 신호로부터 복원 신호를 생성하는 단계; 및 상기 정규 신호와 상기 복원 신호의 차이가 사전에 마련되는 임계 범위를 만족하도록 상기 가중치를 학습하는 단계를 포함할 수 있다.
상술한 본 발명의 일측면에 따르면, 심층학습에 기반한 신호 압축 시스템 및 방법을 제공함으로써, 하나 이상의 인코딩 블록과 하나 이상의 디코딩 블록을 이용하여 신호를 압축하고, 복원할 수 있다.
또한, 상술한 본 발명의 일측면에 따르면, 심층학습에 기반한 신호 압축 시스템 및 방법을 제공함으로써, 신호의 압축 및 복원 과정에서 학습되는 가중치를 이용하여 네트워크를 통해 전달되는 신호의 보안성과 배터리 효율성을 향상시킬 수 있다.
도1은 본 발명의 일 실시예에 따른 신호 압축 시스템의 개략도이다.
도2는 본 발명의 일 실시예에 따른 신호 압축 시스템의 다른 실시예를 나타낸 개략도이다.
도3은 도1의 오토 인코더 장치의 제어블록도이다.
도4는 도2의 부정맥 분류 장치의 제어블록도이다.
도5는 도3의 오토 인코더 장치가 측정 신호를 압축 및 복원하는 과정을 나타낸 블록도이다.
도6은 도3의 학습부에서 가중치를 학습하는 과정을 나타낸 블록도이다.
도7은 도4의 제어부에서 부정맥을 분류하는 과정을 나타낸 블록도이다.
도8은 도2의 스마트 장치가 복원 신호를 생성하는 과정을 나타낸 블록도이다.
도9는 도1의 오토 인코더 장치에서 수행되는 압축 및 복원의 일 실시예를 나타낸 개략도이다.
도10은 도1의 오토 인코더 장치에 의해 압축되는 신호의 일 실시예를 나타낸 개략도이다.
도11은 도3의 인코더부에 마련되는 인코딩 블록의 일 실시예를 나타낸 개략도이다.
도12는 도3의 디코더부에 마련되는 디코딩 블록의 일 실시예를 나타낸 개략도이다.
도13은 본 발명의 일 실시예에 따른 신호 압축 방법의 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도1은 본 발명의 일 실시예에 따른 신호 압축 시스템의 개략도이다.
신호 압축 시스템(1)은 측정 장치(100) 및 오토 인코더 장치(200)를 포함할 수 있다.
측정 장치(100)는 측정 신호를 기록할 수 있다. 이때, 측정 신호는 생체로부터 측정되는 측정 신호를 포함할 수 있으며, 측정 신호는 지면, 금속, 생체, 기계, 전자부품 등으로부터 나타나는 진동 및 전기 신호 등을 포함할 수도 있다.
이에 따라, 측정 장치(100)는 측정되는 측정 신호를 시간에 따른 파형의 변동을 나타내도록 기록할 수 있으며, 이때, 측정 신호는 동일한 시간에 복수개의 파형이 나타나도록 측정될 수도 있다.
측정 장치(100)는 기록된 측정 신호를 오토 인코더 장치(200)에 전달할 수 있다.
오토 인코더 장치(200)는 측정 신호에 대한 전처리를 수행하여 정규 신호를 생성할 수 있고, 오토 인코더 장치(200)는 정규 신호를 압축하도록 설정되는 가중치를 이용하여 상기 정규 신호로부터 압축 신호를 생성할 수 있다. 또한, 오토 인코더 장치(200)는 가중치를 이용하여 압축 신호로부터 복원 신호를 생성할 수 있고, 오토 인코더 장치(200)는 정규 신호와 복원 신호의 차이가 사전에 마련되는 임계 범위를 만족하도록 가중치를 학습할 수 있다.
이와 관련하여, 오토 인코더 장치(200)는 측정 장치(100)에서 측정된 측정 신호를 전달받아 수집할 수 있으며, 오토 인코더 장치(200)는 수집된 측정 신호에 대한 전처리를 수행하여 정규 신호를 생성할 수 있다.
이를 위해, 오토 인코더 장치(200)는 측정 신호로부터 동일한 시간 간격으로 나타나는 하나 이상의 분할 신호를 추출할 수 있으며, 오토 인코더 장치(200)는 하나 이상의 분할 신호가 동일한 크기 범위를 만족하도록 정규화를 수행하여 정규 신호를 생성할 수 있다.
이때, 오토 인코더 장치(200)는 측정 신호에서 나타나는 한 주기의 파형이 하나의 분할 신호에서 나타나도록 분할 신호를 추출하는 시간 간격이 설정될 수 있으며, 이에 따라, 오토 인코더 장치(200)는 측정 신호로부터 하나 이상의 분할 신호를 추출할 수 있다.
예를 들어, 오토 인코더 장치(200)는 신호로부터 사전에 마련되는 윈도우 영역에 존재하는 정보를 추출하고, 정보의 추출이 완료되는 경우에, 윈도우 영역을 추출된 정보의 이후 영역으로 이동시키고, 이동된 윈도우 영역에 존재하는 정보를 추출하는 슬라이딩 윈도우(Sliding Window) 기법을 이용하여 분할 신호를 추출할 수 있다.
또한, 오토 인코더 장치(200)는 추출된 하나 이상의 분할 신호로부터 나타나는 값의 크기 범위가 동일해지도록 정규화를 수행할 수 있으며, 이때, 오토 인코더 장치(200)는 정규화를 수행하기 위해 마련되는 분할 신호의 크기 범위를 벗어나는 값이 존재하는 경우에, 해당 값을 분할 신호의 크기 범위 내에서 가장 가까운 값으로 치환할 수 있다.
여기에서, 오토 인코더 장치(200)는 측정 신호의 시간에 따른 각각의 값의 크기가 다른 값에 의해 무의미한 값이 되지 않도록 정규 신호를 생성하는 값의 크기 범위를 설정할 수 있다.
이에 따라, 정규 신호는 시간의 흐름에 따라 복수개의 값이 나열되는 것으로 이해할 수 있으며, 이때, 나열되는 복수개의 값은 측정 신호에 기초하여 정규화가 수행된 값으로 이해할 수 있다.
오토 인코더 장치(200)는 사전에 설정된 가중치가 적용되는 하나 이상의 인코딩 블록을 마련할 수 있으며, 오토 인코더 장치(200)는 하나 이상의 인코딩 블록을 이용하여 정규 신호로부터 압축 신호를 생성할 수 있다.
여기에서, 인코딩 블록은 정규 신호에 가중치를 적용하여 정규 신호의 특징을 추출하도록 마련될 수 있으며, 인코딩 블록은 가중치가 적용된 정규 신호로부터 추출된 특징에 기초하여 정규 신호를 축소시키도록 마련될 수 있다.
이에 따라, 오토 인코더 장치(200)는 정규 신호에 가중치를 적용하여 정규 신호의 특징이 추출된 추출 신호를 생성할 수 있고, 오토 인코더 장치(200)는 추출 신호를 추출된 특징에 따라 축소시켜 축소 신호를 생성할 수 있다.
이때, 오토 인코더 장치(200)는 복수개의 인코딩 블록이 마련되는 경우에, 하나 이상의 인코딩 블록에 의해 처리된 신호를 연결된 인코딩 블록에 입력할 수 있으며, 오토 인코더 장치(200)는 입력된 신호로부터 특징을 추출하고, 축소시키는 과정을 반복하여 측정 신호의 압축률을 높일 수 있다.
이와 관련하여, 정규 신호의 특징을 추출하는 것은 정규 신호에 1D-CNN(1-Dimension Convolution Neural Network)를 적용하는 것으로 이해할 수 있으며, 정규 신호를 축소시키는 것은 정규 신호를 Pooling Layer에 입력하는 것으로 이해할 수 있다. 이에 따라, 가중치는 1D-CNN의 필터를 의미하는 것으로 이해할 수 있다.
또한, 인코딩 블록은 정규 신호에 가중치를 적용하여 정규 신호의 특징을 추출하도록 마련될 수 있으며, 인코딩 블록은 가중치가 적용된 정규 신호로부터 추출된 특징에 기초하여 사전에 설정되는 크기로 변환하도록 마련될 수 있다.
이에 따라, 오토 인코더 장치(200)는 정규 신호에 가중치를 적용하여 정규 신호의 특징이 추출된 추출 신호를 생성할 수 있고, 오토 인코더 장치(200)는 추출 신호를 사전에 설정되는 크기로 변환시켜 변환 신호를 생성할 수 있다.
이때, 오토 인코더 장치(200)는 복수개의 인코딩 블록이 마련되는 경우에, 전처리가 수행되어 생성된 정규 신호를 각각의 인코딩 블록에 입력할 수 있으며, 오토 인코더 장치(200)는 인코딩 블록에 입력된 정규 신호로부터 특징을 추출하고, 크기를 변환시키는 과정을 반복하도록 제어할 수 있다.
이와 관련하여, 특징이 추출된 정규 신호가 변환되는 크기는 측정 신호가 압축된 압축 신호의 크기와 동일하도록 설정될 수 있으며, 압축 신호의 크기는 정규 신호의 크기와 동일하도록 설정될 수 있다.
이에 따라, 인코딩 블록은 정규 신호로부터 특징이 추출되어 축소된 신호와 정규 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호가 합산되도록 마련될 수 있다. 이때, 오토 인코더 장치(200)는 축소 신호와 변환 신호를 합산하여 인코딩 신호를 생성할 수 있다.
이와 관련하여, 오토 인코더 장치(200)는 복수개의 인코딩 블록이 마련되는 경우에, 정규 신호로부터 특징이 추출되어 축소된 신호와 정규 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있으며, 이후, 오토 인코더 장치(200)는 합산된 신호로부터 특징이 추출되어 축소된 신호와 정규 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산하는 과정을 반복할 수 있다.
예를 들어, 오토 인코더 장치(200)는 정규 신호에 가중치를 적용하여 정규 신호의 특징이 추출된 제 1 추출 신호를 생성할 수 있고, 오토 인코더 장치(200)는 제 1 추출 신호를 추출된 특징에 따라 축소시켜 제 1 축소 신호를 생성할 수 있다.
또한, 오토 인코더 장치(200)는 정규 신호에 가중치를 적용하여 정규 신호의 특징이 추출된 제 2 추출 신호를 생성할 수 있고, 오토 인코더 장치(200)는 제 2 추출 신호를 사전에 설정되는 크기로 변환시켜 제 1 변환 신호를 생성할 수 있다.
이에 따라, 오토 인코더 장치(200)는 제 1 축소 신호와 제 1 변환 신호를 합산하여 제 1 인코딩 신호를 생성할 수 있으며, 이어서, 오토 인코더 장치(200)는 제 1 인코딩 신호에 가중치를 적용하여 제 1 인코딩 신호의 특징이 추출된 제 3 추출 신호를 생성할 수 있고, 오토 인코더 장치(200)는 제 3 추출 신호를 추출된 특징에 따라 축소시켜 제 2 축소 신호를 생성할 수 있다.
또한, 오토 인코더 장치(200)는 정규 신호에 가중치를 적용하여 정규 신호의 특징이 추출된 제 4 추출 신호를 생성할 수 있고, 오토 인코더 장치(200)는 제 4 추출 신호를 사전에 설정되는 크기로 변환시켜 제 2 변환 신호를 생성할 수 있다.
이때, 오토 인코더 장치(200)는 각각의 인코더 블록에 설정되는 가중치가 동일한 경우에, 제 1 변환 신호와 제 2 변환 신호를 동일한 신호로 나타나도록 생성할 수 있으나, 오토 인코더 장치(200)는 각각의 인코더 블록에 설정되는 가중치가 다른 경우에, 제 1 변환 신호와 제 2 변환 신호가 다른 신호로 나타나도록 생성할 수 있다.
이에 따라, 오토 인코더 장치(200)는 제 2 축소 신호와 제 2 변환 신호를 합산하여 제 2 인코딩 신호를 생성할 수 있으며, 오토 인코더 장치(200)는 이와 같은 과정을 반복하여 정규 신호의 압축률을 높일 수 있다.
이와 같이, 오토 인코더 장치(200)는 인코딩 블록에 의해 처리된 신호로부터 특징을 추출하여 압축 신호를 생성할 수 있으며, 이때, 오토 인코더 장치(200)는 인코딩 블록에 의해 처리된 신호에 하나 이상의 1D-CNN을 적용하여 압축 신호를 생성할 수 있다.
예를 들어, 오토 인코더 장치(200)는 5개의 인코딩 블록이 마련될 수 있으며, 이러한 경우에, 첫 번째 인코딩 블록에서 정규 신호로부터 특징이 추출되어 축소된 신호와 정규 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있으며, 오토 인코더 장치(200)는 두 번째 내지 다섯 번째 인코딩 블록에서 합산된 신호로부터 특징이 추출되어 축소된 신호와 정규 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있다. 이에 따라, 오토 인코더 장치(200)는 5개의 인코딩 블록에 의해 처리된 신호를 하나 이상의 1D-CNN에 입력하여 압축 신호를 생성할 수 있다.
오토 인코더 장치(200)는 가중치가 적용되는 하나 이상의 디코딩 블록을 마련할 수 있으며, 오토 인코더 장치(200)는 하나 이상의 디코딩 블록을 이용하여 압축 신호로부터 복원 신호를 생성할 수 있다.
여기에서, 디코딩 블록은 압축 신호에 인코딩 블록에서 이용된 가중치를 적용하여 압축 신호의 특징을 추출하도록 마련될 수 있으며, 디코딩 블록은 가중치가 적용된 압축 신호로부터 추출된 특징에 기초하여 압축 신호를 확대시키도록 마련될 수 있다.
이에 따라, 오토 인코더 장치(200)는 압축 신호에 가중치를 적용하여 압축 신호의 특징이 추출된 추출 신호를 생성할 수 있고, 오토 인코더 장치(200)는 추출 신호를 추출된 특징에 따라 확대시켜 확대 신호를 생성할 수 있다.
이때, 오토 인코더 장치(200)는 복수개의 인코딩 블록이 마련되는 경우에, 동일 개수의 디코딩 블록을 마련할 수 있으며, 이러한 경우에, 오토 인코더 장치(200)는 하나 이상의 디코딩 블록에 의해 처리된 신호를 연결된 디코딩 블록에 입력할 수 있으며, 오토 인코더 장치(200)는 입력된 신호로부터 특징을 추출하고, 확대시키는 과정을 반복하여 측정 신호로부터 압축된 압축 신호를 복원할 수 있다.
이와 관련하여, 압축 신호의 특징을 추출하는 것은 압축 신호에 1D-CNN(1-Dimension Convolution Neural Network)를 적용하는 것으로 이해할 수 있으며, 압축 신호를 확대시키는 것은 압축 신호를 Pooling Layer에 입력하는 것으로 이해할 수 있다.
또한, 디코딩 블록은 압축 신호에 인코딩 블록에서 이용된 가중치를 적용하여 압축 신호의 특징을 추출하도록 마련될 수 있으며, 디코딩 블록은 가중치가 적용된 압축 신호로부터 추출된 특징에 기초하여 사전에 설정되는 크기로 변환하도록 마련될 수 있다.
이에 따라, 오토 인코더 장치(200)는 압축 신호에 가중치를 적용하여 압축 신호의 특징이 추출된 추출 신호를 생성할 수 있고, 오토 인코더 장치(200)는 추출 신호를 사전에 설정되는 크기로 변환시켜 변환 신호를 생성할 수 있다.
이때, 오토 인코더 장치(200)는 복수개의 인코딩 블록이 마련되는 경우에, 동일한 개수의 디코딩 블록을 마련할 수 있으며, 오토 인코더 장치(200)는 측정 신호로부터 압축된 압축 신호를 각각의 디코딩 블록에 입력할 수 있으며, 오토 인코더 장치(200)는 디코딩 블록에 입력된 압축 신호로부터 특징을 추출하고, 크기를 변환시키는 과정을 반복하도록 제어할 수 있다.
이와 관련하여, 특징이 추출된 압축 신호가 변환되는 크기는 압축 신호로부터 복원되는 복원 신호의 크기와 동일하도록 설정될 수 있으며, 복원 신호의 크기는 정규 신호의 크기와 동일하도록 설정될 수 있다.
이에 따라, 디코딩 블록은 압축 신호로부터 특징이 추출되어 확대된 신호와 압축 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호가 합산되도록 마련될 수 있다. 이때, 오토 인코더 장치(200)는 확대 신호와 변환 신호를 합산하여 디코딩 신호를 생성할 수 있다.
이와 관련하여, 오토 인코더 장치(200)는 복수개의 디코딩 블록이 마련되는 경우에, 압축 신호로부터 특징이 추출되어 확대된 신호와 압축 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있으며, 이후, 오토 인코더 장치(200)는 합산된 신호로부터 특징이 추출되어 확대된 신호와 압축 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산하는 과정을 반복할 수 있다.
예를 들어, 오토 인코더 장치(200)는 압축 신호에 가중치를 적용하여 압축 신호의 특징이 추출된 제 5 추출 신호를 생성할 수 있고, 오토 인코더 장치(200)는 제 5 추출 신호를 추출된 특징에 따라 확대시켜 제 1 확대 신호를 생성할 수 있다.
또한, 오토 인코더 장치(200)는 압축 신호에 가중치를 적용하여 압축 신호의 특징이 추출된 제 6 추출 신호를 생성할 수 있고, 오토 인코더 장치(200)는 제 6 추출 신호를 사전에 설정되는 크기로 변환시켜 제 3 변환 신호를 생성할 수 있다.
이에 따라, 오토 인코더 장치(200)는 제 1 확대 신호와 제 3 변환 신호를 합산하여 제 1 디코딩 신호를 생성할 수 있으며, 이어서, 오토 인코더 장치(200)는 제 1 디코딩 신호에 가중치를 적용하여 제 1 디코딩 신호의 특징이 추출된 제 7 추출 신호를 생성할 수 있고, 오토 인코더 장치(200)는 제 7 추출 신호를 추출된 특징에 따라 확대시켜 제 2 확대 신호를 생성할 수 있다.
또한, 오토 인코더 장치(200)는 압축 신호에 가중치를 적용하여 압축 신호의 특징이 추출된 제 8 추출 신호를 생성할 수 있고, 오토 인코더 장치(200)는 제 8 추출 신호를 사전에 설정되는 크기로 변환시켜 제 4 변환 신호를 생성할 수 있다.
이때, 오토 인코더 장치(200)는 각각의 디코더 블록에 설정되는 가중치가 동일한 경우에, 제 3 변환 신호와 제 4 변환 신호를 동일한 신호로 나타나도록 생성할 수 있으나, 오토 인코더 장치(200)는 각각의 디코더 블록에 설정되는 가중치가 다른 경우에, 제 3 변환 신호와 제 4 변환 신호가 다른 신호로 나타나도록 생성할 수 있다.
이에 따라, 오토 인코더 장치(200)는 제 2 확대 신호와 제 4 변환 신호를 합산하여 제 2 디코딩 신호를 생성할 수 있으며, 이때, 오토 인코더 장치(200)는 오토 인코더 장치(200)에 마련되는 인코딩 블록과 동일한 개수의 디코딩 블록을 마련할 수 있다.
이와 같이, 오토 인코더 장치(200)는 디코딩 블록에 의해 처리된 신호로부터 특징을 추출하여 복원 신호를 생성할 수 있으며, 이때, 오토 인코더 장치(200)는 디코딩 블록에 의해 처리된 신호에 하나 이상의 1D-CNN을 적용하여 복원 신호를 생성할 수 있다.
예를 들어, 오토 인코더 장치(200)는 5개의 인코딩 블록이 마련되는 경우에, 5개의 디코딩 블록을 마련할 수 있으며, 이러한 경우에, 첫 번째 디코딩 블록에서 압축 신호로부터 특징이 추출되어 확대된 신호와 압축 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있으며, 오토 인코더 장치(200)는 두 번째 내지 다섯 번째 디코딩 블록에서 합산된 신호로부터 특징이 추출되어 확대된 신호와 압축 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있다. 이에 따라, 오토 인코더 장치(200)는 5개의 디코딩 블록에 의해 처리된 신호를 하나 이상의 1D-CNN에 입력하여 복원 신호를 생성할 수 있다.
오토 인코더 장치(200)는 정규 신호와 복원 신호를 비교하여 차이 정보를 생성할 수 있고, 오토 인코더 장치(200)는 정규 신호와 복원 신호의 차이에 대한 기준을 나타내도록 마련되는 임계 범위를 차이 정보가 만족하도록 가중치를 학습할 수 있다.
이를 위해, 오토 인코더 장치(200)는 서로 다른 가중치를 이용하여 정규 신호로부터 압축 신호를 생성하고, 압축 신호로부터 복원 신호를 생성하여 정규 신호와 복원 신호를 비교하는 과정을 수회 반복할 수 있으며, 이에 따라, 오토 인코더 장치(200)는 임계 범위를 만족하는 차이 정보 중 정규 신호와 복원 신호의 차이가 가장 적은 차이 정보에 따른 가중치를 인코딩 블록과 디코딩 블록에서 이용하도록 설정할 수 있다.
이에 따라, 압축 신호는 생성된 가중치에 따른 디코딩 블록에 의해서만 복원 신호가 생성될 수 있으며, 이를 통해, 오토 인코더 장치(200)는 압축 신호를 유선 또는 무선 네트워크를 이용하여 외부에 마련되는 장치에 전달하는 과정에서 압축 신호가 해커(Hacker)에 의해 유출되더라도, 압축 신호로부터 복원 신호를 생성하는데 어려움이 있으며, 이와 같이, 오토 인코더 장치(200)는 네트워크를 통해 전달되는 신호의 보안성이 향상되는 효과가 나타날 수 있다.
이와 관련하여, 오토 인코더 장치(200)는 원래의 정보와 압축되어 복원된 정보가 가장 유사하도록 학습되며, 이에 따라, 원래의 정보를 압축하거나, 압축된 정보를 복원하는 오토 인코더(Auto Encoder) 기법을 이용할 수 있다.
한편, 오토 인코더는 입력층과 출력층의 크기가 동일하도록 마련되는 비지도 학습(Unsupervised Learning)의 한 종류로 알려져 있다.
오토 인코더 장치(200)는 아래에서 설명하는 과정에 따라 성능 평가가 수행될 수 있으며, 아래는 오토 인코더 장치(200)의 성능 평가를 수행하는 일 실시예이다.
이와 관련하여, 표 1은 오토 인코더 장치(200)의 성능 평가를 수행하기 위해 수집된 부정맥 유형별 정보의 개수를 나타내며, 이를 위해, 신호 압축 시스템(1)의 측정 장치(100)는 생체로부터 측정되는 생체 신호를 측정 신호로서 기록한 것으로 이해할 수 있다.
Figure 112020042220668-pat00001
이때, 표1의 측정 신호는 47명의 피험자로부터 24시간 연속으로 측정된 심전도 신호로부터 추출된 48개의 정보이다.
오토 인코더 장치(200)의 성능 평가는 보유한 정보 중 80%의 정보를 이용하여 가중치를 학습하고, 10%의 정보를 이용하여 학습된 가중치를 검증하며, 나머지 10%의 정보를 이용하여 오토 인코더 장치(200)의 성능을 평가하는 과정을 수행할 수 있다.
이때, 오토 인코더 장치(200)의 성능 평가는 검증 및 평가의 과정에서 이용되는 정보가 중복되지 않도록 성능 평가를 10회 반복하여 교차 검증을 수행할 수 있다.
또한, 오토 인코더 장치(200)의 성능 평가는 측정 신호에 대한 32% 및 64%의 압축이 가능하도록 마련되는 32배 압축 모델과 64배 압축 모델에서 수행될 수 있으며, 이와 관련하여, 수학식 1은 측정 신호에 대한 신호 압축 및 복원에 대한 성능 평가 지표의 계산식이다.
Figure 112020042220668-pat00002
여기에서, O_i는 정규 신호를 의미할 수 있으며, R_i는 복원 신호를 의미할 수 있다. 또한, O_avg는 하나 이상의 정규 신호의 평균 값을 의미할 수 있다.
또한, PRDN은 정규 신호와 복원 신호 간의 차이를 정량화하는 지표를 나타낼 수 있으며, PRDN은 수치가 낮을수록 복원 신호가 정규 신호와 동일하게 복원된 것을 의미할 수 있다. 이에 따라, PRDN은 차이 정보를 의미하는 것으로 이해할 수 있다.
또한, SNR은 신호 대 잡음의 상대적 세기를 비교하는 지표를 의미할 수 있으며, SNR은 수치가 낮을수록 복원 신호에 잡음이 섞이지 않은 것을 의미할 수 있다.
한편, 32배 압축 모델의 성능 평가 결과는 평균 PRDN이 12.67%로 나타나며, SNR은 43.43dB로 나타날 수 있다. 또한, 64배 압축 모델의 성능 평가 결과는 평균 PRDN이 22.98%로 나타나며, SNR은 31.49dB로 나타날 수 있다.
표2는 32배 압축 모델과 64배 압축 모델에 대한 성능 평가 결과를 나타낸 표이다.
Figure 112020042220668-pat00003
도2는 본 발명의 일 실시예에 따른 신호 압축 시스템의 다른 실시예를 나타낸 개략도이다.
신호 압축 시스템(1)은 부정맥 분류 장치(300) 및 스마트 장치(400)를 더 포함할 수 있다.
부정맥 분류 장치(300)는 부정맥 종류에 따라 생성된 압축 신호의 분포를 학습하여 분류 모델을 생성할 수 있고, 부정맥 분류 장치(300)는 생성된 분류 모델에 기초하여, 압축 신호의 분포에 따라 부정맥을 판단하여 부정맥 정보를 생성할 수 있다.
이러한 경우에, 측정 장치(100)는 생체로부터 측정되는 생체 신호를 측정 신호로서 기록할 수 있다. 여기에서, 생체 신호는 부정맥을 검출할 수 있도록 측정되는 신호를 의미할 수 있으며, 생체 신호는 심장에서 발생하는 미세한 전류의 파형으로 나타나는 심전도(ECG: Electrocardiogram)를 의미할 수 있다.
이를 위해, 측정 장치(100)는 사용자의 신체 상에 부착되는 하나 이상의 전극으로부터 측정되는 미세한 전류의 파형을 기록할 수 있는 장치일 수 있으며, 이에 따라, 측정 장치(100)로부터 측정되는 측정 신호는 P, Q, R, S 및 T 파를 포함할 수 있다.
이때, P 파는 심장에 존재하는 심방의 수축에 의해 발생할 수 있으며, Q, R, S 및 T 파는 심장에 존재하는 심실에 의해 발생할 수 있다.
부정맥 분류 장치(300)는 오토 인코더 장치(200)로부터 압축 신호를 전달받을 수 있다.
이에 따라, 부정맥 분류 장치(300)는 부정맥 종류에 따라 생성된 압축 신호의 분포를 학습하여 분류 모델을 생성할 수 있고, 부정맥 분류 장치(300)는 생성된 분류 모델에 기초하여, 압축 신호의 분포에 따라 부정맥을 판단하여 부정맥 정보를 생성할 수 있다.
여기에서, 부정맥 정보는 정상 맥박을 나타내는 정상 패턴, 비정상적인 맥박이 검출되는 상태를 나타내는 비정상 임펄스 패턴 및 일부 또는 전체 측정 신호가 검출되지 않는 상태를 나타내는 전도 장애 패턴을 포함할 수 있다.
또한, 비정상 임펄스 패턴은 심장의 심방이 정상 맥박과 비교하여, 불규칙하게 수축하는 조기 심방 수축(PAC: Premature Atrial Contraction) 상태를 나타내는 조기 심방 수축 패턴 및 심장의 심실이 정상 맥박과 비교하여, 불규칙하게 수축하는 조기 심실 수축(PVC: Premature Ventricular Contraction) 상태를 나타내는 조기 심실 수축 패턴을 더 포함할 수 있다.
또한, 전도 장애 패턴은 전도 장애의 좌각 차단(LBBB: left bundle branch block) 상태를 나타내는 좌각 차단 패턴 및 전도 장애의 우각 차단(RBBB: Right bundle branch block) 상태를 나타내는 우각 차단 패턴을 더 포함할 수 있다.
부정맥 분류 장치(300)는 하나 이상의 합성 곱 신경망(CNN: Convolution Neural Network)과 하나 이상의 양방향 장단기 메모리(BLSTM: Bidirectional Long Short-Term Memory)를 조합하여 분류 모델을 생성할 수 있다.
여기에서, 양방향 장단기 메모리는 순방향 레이어와 역방향 레이어를 구비하여, 동일한 정보를 순방향 레이어와 역방향 레이어를 통해 각각 연산을 수행하고, 순방향 레이어와 역방향 레이어로부터 각각 출력되는 정보를 결합하여 학습을 수행하는 기법으로 이해할 수 있다.
이에 따라, 부정맥 분류 장치(300)는 합성 곱 신경망을 이용하여 압축 신호의 특징을 추출할 수 있으며, 이어서, 부정맥 분류 장치(300)는 양방향 장단기 메모리를 이용하여 특징이 추출된 압축 신호를 학습하여 분류 모델을 생성할 수 있다.
이때, 부정맥 분류 장치(300)는 측정 신호에 기초하여 생성된 하나 이상의 압축 신호에 대한 부정맥 정보를 각각 판단할 수 있으며, 부정맥 분류 장치(300)는 하나 이상의 압축 신호에 대한 부정맥 정보에 따라 가장 높은 빈도를 나타내는 부정맥 정보를 측정 신호에 대한 부정맥 판단 결과로 결정할 수 있다.
이와 관련하여, 부정맥 분류 장치(300)는 하나 이상의 압축 신호에 대한 분포에 대해, 사용자로부터 부정맥 정보를 입력 받는 지도 학습(Supervised Learning) 기법을 이용하여 분류 모델을 학습할 수 있다.
이에 따라, 부정맥 분류 장치(300)는 분류 모델에 기초하여, 압축 신호를 정상 패턴, 비정상 임펄스 패턴 및 전도 장애 패턴 중 적어도 하나의 패턴으로 분류할 수 있다.
또한, 부정맥 분류 장치(300)는 분류 모델에 기초하여, 비정상 임펄스 패턴을 나타내는 압축 신호를 조기 심방 수축 패턴 및 조기 심실 수축 패턴 중 적어도 하나의 패턴으로 분류할 수 있으며, 부정맥 분류 장치(300)는 분류 모델에 기초하여, 전도 장애 패턴을 나타내는 압축 신호를 좌각 차단 패턴 및 우각 차단 패턴 중 적어도 하나의 패턴으로 분류할 수 있다.
이에 따라, 부정맥 분류 장치(300)는 하나의 측정 신호로부터 생성되는 복수개의 압축 신호를 각각 부정맥 정보로 분류할 수 있으며, 복수개의 부정맥 정보 중 가장 높은 빈도로 나타나는 부정맥 정보를 해당 측정 신호에 대한 부정맥 정보로서 판단할 수 있다.
또는, 부정맥 분류 장치(300)는 복수개의 압축 신호에 대한 부정맥 정보로부터 측정 신호에 대한 부정맥 정보를 판단하는 임계 횟수를 설정할 수 있으며, 이러한 경우에, 부정맥 분류 장치(300)는 하나의 측정 신호로부터 생성되는 복수개의 압축 신호를 각각 부정맥 정보로 분류할 수 있으며, 이때, 임계 횟수를 초과하는 부정맥 정보를 해당 측정 신호에 대한 부정맥 정보로서 판단할 수 있다. 이때, 부정맥 분류 장치(300)는 서로 다른 부정맥 정보에 대해 서로 다른 임계 횟수를 설정할 수도 있다.
부정맥 분류 장치(300)는 아래에서 설명하는 과정에 따라 성능 평가가 수행될 수 있으며, 아래는 부정맥 분류 장치(300)의 성능 평가를 수행하는 일 실시예이다.
부정맥 분류 장치(300)의 성능 평가에 대한 일 실시예는 오토 인코더 장치(200)의 성능 평가에서 이용된 정보를 이용하는 것으로 이해할 수 있다.
부정맥 분류 장치(300)의 성능 평가는 보유한 정보 중 80%의 정보를 이용하여 분류 모델을 학습하고, 10%의 정보를 이용하여 학습된 분류 모델을 검증하며, 나머지 10%의 정보를 이용하여 부정맥 분류 장치(300)의 성능을 평가하는 과정을 수행할 수 있다.
이때, 부정맥 분류 장치(300)의 성능 평가는 검증 및 평가의 과정에서 이용되는 정보가 중복되지 않도록 성능 평가를 10회 반복하여 교차 검증을 수행할 수 있다.
또한, 부정맥 분류 장치(300)의 성능 평가는 32배 압축 모델에 의해 압축된 압축 신호와 64배 압축 모델에 의해 압축된 압축 신호를 이용하여 수행될 수 있다.
이에 따라, 32배 압축 모델에 의해 압축된 압축 신호를 이용한 부정맥 분류 장치(300)의 성능 평가와 64배 압축 모델에 의해 압축된 압축 신호를 이용한 부정맥 분류 장치(300)의 성능 평가 결과는 표3에서 확인할 수 있다.
Figure 112020042220668-pat00004
스마트 장치(400)는 정규 신호를 압축하도록 설정되는 가중치를 저장할 수 있고, 스마트 장치(400)는 압축 신호를 전달받을 수 있으며, 스마트 장치(400)는 가중치가 적용되는 하나 이상의 디코딩 블록을 마련하여, 압축 신호로부터 복원 신호를 생성할 수 있다.
여기에서, 스마트 장치(400)는 오토 인코더 장치(200)에서 이용되는 디코딩 블록을 전달받을 수도 있다.
이와 관련하여, 스마트 장치(400)는 오토 인코더 장치(200)에서 설정되는 가중치가 오토 인코더 장치(200)에 의해 변경되는 경우에, 오토 인코더 장치(200)로부터 변경된 가중치를 전달받을 수 있으며, 이때, 스마트 장치(400)는 변경된 가중치가 적용된 디코딩 블록을 이용하여 압축 신호를 복원 신호로 변환할 수 있다.
이에 따라, 스마트 장치(400)는 가중치가 적용된 디코딩 블록에 의해, 오토 인코더 장치(200)에서 생성되는 압축 신호를 전달받아 복원 신호를 생성할 수 있으므로, 신호 압축 시스템(1)은 네트워크를 통해 전송되는 정보의 양이 적어지는 효과가 발생할 수 있으며, 또한, 신호 압축 시스템(1)은 압축 신호의 패킷이 감청되는 경우에도, 오토 인코더 장치(200)에서 설정된 가중치를 얻을 수 없으므로, 높은 강도의 보안 효과를 얻을 수 있다.
이를 위해, 신호 압축 시스템(1)은 측정 장치(100)에서 측정되는 측정 신호로부터, 오토 인코더 장치(200)에서 설정되는 가중치가 적용된 인코딩 블록을 이용하여 압축 신호를 생성하는 인코딩 장치를 더 포함할 수도 있다.
이러한 경우에, 스마트 장치(400)는 인코딩 장치에서 생성되는 압축 신호를 전달받아 복원 신호를 생성할 수 있다.
한편, 신호 압축 시스템(1)은 사용자 별로 개인화된 가중치를 학습할 수도 있으며, 이러한 경우에, 신호 압축 시스템(1)은 학습된 가중치에 기초하여, 사용자의 측정 신호로부터 생성되는 정규 신호와 복원 신호에 따른 차이 정보를 사전에 설정되는 기준 차이 정보와 비교하여 사용자를 구별할 수 있다.
이를 위해, 오토 인코더 장치(200)는 측정 장치(100)로부터 측정된 사용자 개인의 측정 신호로부터 개인화된 가중치를 학습할 수 있으며, 이때, 오토 인코더 장치(200)는 사용자 개인의 정규 신호와 복원 신호의 차이에 대한 기준을 나타내도록 마련되는 기준 차이 정보에 따라, 가중치를 학습할 수 있다.
이에 따라, 오토 인코더 장치(200)는 사용자에 의해 측정된 측정 신호로부터 정규 신호와 복원 신호를 생성하고, 생성된 정규 신호와 생성된 복원 신호로부터 차이 정보를 생성하여, 기준 차이 정보와 차이 정보가 동일한 것으로 판단되는 경우에, 측정 신호를 측정한 사용자가 기준 차이 정보에 의해 가중치가 생성되는데 이용된 측정 신호를 제공한 사용자와 동일인인 것으로 판단할 수 있다.
이와 같이, 오토 인코더 장치(200)는 사용자에 의해 측정된 측정 신호로부터 압축 신호와 오토 인코더 장치(200)에 의해 학습되는 가중치를 개인정보로서 이용할 수 있는 효과가 발생할 수 있다.
이와 같이, 압축 신호는 생성된 가중치에 따른 디코딩 블록에 의해서만 복원 신호가 생성될 수 있으며, 이를 통해, 오토 인코더 장치(200)는 압축 신호를 유선 또는 무선 네트워크를 이용하여 외부에 마련되는 장치에 전달하는 과정에서 압축 신호가 해커에 의해 유출되더라도, 압축 신호로부터 복원 신호를 생성하는데 어려움이 있으며, 이와 같이, 오토 인코더 장치(200)는 네트워크를 통해 전달되는 신호의 보안성이 향상되는 효과가 나타날 수 있다.
도3은 도1의 오토 인코더 장치의 제어블록도이다.
오토 인코더 장치(200)는 수집부(210), 전처리부(220), 인코더부(230), 디코더부(240), 학습부(250) 및 통신부(260)를 포함할 수 있다.
수집부(210)는 측정 장치(100)에서 측정된 측정 신호를 전달받아 수집할 수 있다.
전처리부(220)는 수집된 측정 신호에 대한 전처리를 수행하여 정규 신호를 생성할 수 있다.
이를 위해, 전처리부(220)는 측정 신호로부터 동일한 시간 간격으로 나타나는 하나 이상의 분할 신호를 추출할 수 있으며, 전처리부(220)는 하나 이상의 분할 신호가 동일한 크기 범위를 만족하도록 정규화를 수행하여 정규 신호를 생성할 수 있다.
이때, 전처리부(220)는 측정 신호에서 나타나는 한 주기의 파형이 하나의 분할 신호에서 나타나도록 분할 신호를 추출하는 시간 간격을 설정할 수 있으며, 이에 따라, 전처리부(220)는 측정 신호로부터 하나 이상의 분할 신호를 추출할 수 있다.
또한, 전처리부(220)는 추출된 하나 이상의 분할 신호로부터 나타나는 값의 크기 범위가 동일해지도록 정규화를 수행할 수 있으며, 이때, 전처리부(220)는 정규화를 수행하기 위해 마련되는 분할 신호의 크기 범위를 벗어나는 값이 존재하는 경우에, 해당 값을 분할 신호의 크기 범위 내에서 가장 가까운 값으로 치환할 수 있다.
여기에서, 전처리부(220)는 측정 신호의 시간에 따른 각각의 값의 크기가 다른 값에 의해 무의미한 값이 되지 않도록 정규 신호를 생성하는 값의 크기 범위를 설정할 수 있다.
인코더부(230)는 사전에 설정된 가중치가 적용되는 하나 이상의 인코딩 블록을 마련할 수 있으며, 인코더부(230)는 하나 이상의 인코딩 블록을 이용하여 정규 신호로부터 압축 신호를 생성할 수 있다.
이때, 인코더부(230)는 복수개의 인코딩 블록이 마련되는 경우에, 하나 이상의 인코딩 블록에 의해 처리된 신호를 연결된 인코딩 블록에 입력할 수 있으며, 인코더부(230)는 입력된 신호로부터 특징을 추출하고, 축소시키는 과정을 반복하여 측정 신호의 압축률을 높일 수 있다.
또한, 인코더부(230)는 복수개의 인코딩 블록이 마련되는 경우에, 전처리가 수행되어 생성된 정규 신호를 각각의 인코딩 블록에 입력할 수 있으며, 인코더부(230)는 인코딩 블록에 입력된 정규 신호로부터 특징을 추출하고, 크기를 변환시키는 과정을 반복하도록 제어할 수 있다.
이와 관련하여, 인코더부(230)는 복수개의 인코딩 블록이 마련되는 경우에, 정규 신호로부터 특징이 추출되어 축소된 신호와 정규 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있으며, 이후, 인코더부(230)는 합산된 신호로부터 특징이 추출되어 축소된 신호와 정규 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산하는 과정을 반복할 수 있다.
이에 따라, 인코더부(230)는 인코딩 블록에 의해 처리된 신호로부터 특징을 추출하여 압축 신호를 생성할 수 있으며, 이때, 인코더부(230)는 인코딩 블록에 의해 처리된 신호에 하나 이상의 1D-CNN을 적용하여 압축 신호를 생성할 수 있다.
디코더부(240)는 가중치가 적용되는 하나 이상의 디코딩 블록을 마련할 수 있으며, 디코더부(240)는 하나 이상의 디코딩 블록을 이용하여 압축 신호로부터 복원 신호를 생성할 수 있다.
이때, 디코더부(240)는 복수개의 인코딩 블록이 마련되는 경우에, 동일 개수의 디코딩 블록을 마련할 수 있으며, 이러한 경우에, 디코더부(240)는 하나 이상의 디코딩 블록에 의해 처리된 신호를 연결된 디코딩 블록에 입력할 수 있으며, 디코더부(240)는 입력된 신호로부터 특징을 추출하고, 확대시키는 과정을 반복하여 측정 신호로부터 압축된 압축 신호를 복원할 수 있다.
또한, 디코더부(240)는 복수개의 인코딩 블록이 마련되는 경우에, 동일한 개수의 디코딩 블록을 마련할 수 있으며, 디코더부(240)는 측정 신호로부터 압축된 압축 신호를 각각의 디코딩 블록에 입력할 수 있으며, 디코더부(240)는 디코딩 블록에 입력된 압축 신호로부터 특징을 추출하고, 크기를 변환시키는 과정을 반복하도록 제어할 수 있다.
이와 관련하여, 디코더부(240)는 복수개의 디코딩 블록이 마련되는 경우에, 압축 신호로부터 특징이 추출되어 확대된 신호와 압축 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있으며, 이후, 디코더부(240)는 합산된 신호로부터 특징이 추출되어 확대된 신호와 압축 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산하는 과정을 반복할 수 있다.
이에 따라, 디코더부(240)는 디코딩 블록에 의해 처리된 신호로부터 특징을 추출하여 복원 신호를 생성할 수 있으며, 이때, 디코더부(240)는 디코딩 블록에 의해 처리된 신호에 하나 이상의 1D-CNN을 적용하여 복원 신호를 생성할 수 있다.
학습부(250)는 정규 신호와 복원 신호를 비교하여 차이 정보를 생성할 수 있고, 학습부(250)는 정규 신호와 복원 신호의 차이에 대한 기준을 나타내도록 마련되는 임계 범위를 차이 정보가 만족하도록 가중치를 학습할 수 있다.
이를 위해, 학습부(250)는 인코더부(230)에서 서로 다른 가중치를 이용하여 정규 신호로부터 압축 신호를 생성하고, 디코더부(240)에서 압축 신호로부터 복원 신호를 생성하여 정규 신호와 복원 신호를 비교하는 과정을 수회 반복하도록 제어할 수 있으며, 이에 따라, 학습부(250)는 임계 범위를 만족하는 차이 정보 중 정규 신호와 복원 신호의 차이가 가장 적은 차이 정보에 따른 가중치를 인코딩 블록과 디코딩 블록에서 이용하도록 설정할 수 있다.
이에 따라, 압축 신호는 생성된 가중치에 따른 디코딩 블록에 의해서만 복원 신호가 생성될 수 있으며, 이를 통해, 오토 인코더 장치(200)는 압축 신호를 유선 또는 무선 네트워크를 이용하여 외부에 마련되는 장치에 전달하는 과정에서 압축 신호가 해커에 의해 유출되더라도, 압축 신호로부터 복원 신호를 생성하는데 어려움이 있으며, 이와 같이, 오토 인코더 장치(200)는 네트워크를 통해 전달되는 신호의 보안성이 향상되는 효과가 나타날 수 있다.
통신부(260)는 측정 장치(100)로부터 측정 신호를 유선 또는 무선 네트워크를 통해 전달받을 수 있고, 통신부(260)는 인코더부(230)에서 생성되는 압축 신호를 유선 또는 무선 네트워크를 통해 스마트 장치(400)에 전달할 수 있으며, 통신부(260)는 학습부(250)에서 생성되는 가중치를 유선 또는 무선 네트워크를 통해 스마트 장치(400)에 전달할 수 있다.
도4는 도2의 부정맥 분류 장치의 제어블록도이다.
부정맥 분류 장치(300)는 수신부(310), 분류 모델 생성부(320), 제어부(330) 및 출력부(340)를 포함할 수 있다.
수신부(310)는 오토 인코더 장치(200)에서 생성되는 압축 신호 또는 가중치를 전달받을 수 있다.
분류 모델 생성부(320)는 부정맥 종류에 따라 오토 인코더 장치(200)에서 생성된 압축 신호의 분포를 학습하여 분류 모델을 생성할 수 있다.
분류 모델 생성부(320)는 하나 이상의 합성 곱 신경망(CNN: Convolution Neural Network)과 하나 이상의 양방향 장단기 메모리(BLSTM: Bidirectional Long Short-Term Memory)를 조합하여 분류 모델을 생성할 수 있다.
여기에서, 분류 모델 생성부(320)는 합성 곱 신경망을 이용하여 압축 신호의 특징을 추출할 수 있으며, 이어서, 분류 모델 생성부(320)는 양방향 장단기 메모리를 이용하여 특징이 추출된 압축 신호를 학습하여 분류 모델을 생성할 수 있다.
이때, 분류 모델 생성부(320)는 측정 신호에 기초하여 생성된 하나 이상의 압축 신호에 대한 부정맥 정보를 각각 판단할 수 있으며, 분류 모델 생성부(320)는 하나 이상의 압축 신호에 대한 부정맥 정보에 따라 가장 높은 빈도를 나타내는 부정맥 정보를 측정 신호에 대한 부정맥 판단 결과로 결정할 수 있다.
이와 관련하여, 분류 모델 생성부(320)는 하나 이상의 압축 신호에 대한 분포에 대해, 사용자로부터 부정맥 정보를 입력 받는 지도 학습(Supervised Learning) 기법을 이용하여 분류 모델을 학습할 수 있다.
제어부(330)는 생성된 분류 모델에 기초하여, 생성된 압축 신호의 분포에 따라, 부정맥을 판단하여 부정맥 정보를 생성할 수 있다.
이때, 제어부(330)는 분류 모델에 기초하여, 압축 신호를 정상 패턴, 비정상 임펄스 패턴 및 전도 장애 패턴 중 적어도 하나의 패턴으로 분류할 수 있다.
또한, 제어부(330)는 분류 모델에 기초하여, 비정상 임펄스 패턴을 나타내는 압축 신호를 조기 심방 수축 패턴 및 조기 심실 수축 패턴 중 적어도 하나의 패턴으로 분류할 수 있으며, 제어부(330)는 분류 모델에 기초하여, 전도 장애 패턴을 나타내는 압축 신호를 좌각 차단 패턴 및 우각 차단 패턴 중 적어도 하나의 패턴으로 분류할 수 있다.
출력부(340)는 디스플레이 상에 부정맥 정보를 출력할 수 있으며, 또한, 출력부(340)는 유선 또는 무선 네트워크를 통해 외부 장치에 부정맥 정보를 출력할 수 있다.
도5는 도3의 오토 인코더 장치가 측정 신호를 압축 및 복원하는 과정을 나타낸 블록도이다.
도5를 참조하면, 수집부(210)는 측정 장치(100)에서 측정된 측정 신호를 전달받아 수집할 수 있으며, 전처리부(220)는 수집된 측정 신호에 대한 전처리를 수행하여 정규 신호를 생성할 수 있다.
이에 따라, 인코더부(230)는 사전에 설정된 가중치가 적용되는 하나 이상의 인코딩 블록을 마련할 수 있으며, 인코더부(230)는 하나 이상의 인코딩 블록을 이용하여 정규 신호로부터 압축 신호를 생성할 수 있다.
이와 관련하여, 인코더부(230)는 복수개의 인코딩 블록이 마련되는 경우에, 정규 신호로부터 특징이 추출되어 축소된 신호와 정규 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있으며, 이후, 인코더부(230)는 합산된 신호로부터 특징이 추출되어 축소된 신호와 정규 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산하는 과정을 반복할 수 있다.
이에 따라, 인코더부(230)는 인코딩 블록에 의해 처리된 신호로부터 특징을 추출하여 압축 신호를 생성할 수 있으며, 이때, 인코더부(230)는 인코딩 블록에 의해 처리된 신호에 하나 이상의 1D-CNN을 적용하여 압축 신호를 생성할 수 있다.
한편, 디코더부(240)는 가중치가 적용되는 하나 이상의 디코딩 블록을 마련할 수 있으며, 디코더부(240)는 하나 이상의 디코딩 블록을 이용하여 압축 신호로부터 복원 신호를 생성할 수 있다.
이와 관련하여, 디코더부(240)는 복수개의 디코딩 블록이 마련되는 경우에, 압축 신호로부터 특징이 추출되어 확대된 신호와 압축 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있으며, 이후, 디코더부(240)는 합산된 신호로부터 특징이 추출되어 확대된 신호와 압축 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산하는 과정을 반복할 수 있다.
이에 따라, 디코더부(240)는 디코딩 블록에 의해 처리된 신호로부터 특징을 추출하여 복원 신호를 생성할 수 있으며, 이때, 디코더부(240)는 디코딩 블록에 의해 처리된 신호에 하나 이상의 1D-CNN을 적용하여 복원 신호를 생성할 수 있다.
도6은 도3의 학습부에서 가중치를 학습하는 과정을 나타낸 블록도이다.
도6을 참조하면, 학습부(250)는 정규 신호와 복원 신호를 비교하여 차이 정보를 생성할 수 있고, 학습부(250)는 정규 신호와 복원 신호의 차이에 대한 기준을 나타내도록 마련되는 임계 범위를 차이 정보가 만족하도록 가중치를 학습할 수 있다.
이를 위해, 학습부(250)는 인코더부(230)에서 서로 다른 가중치를 이용하여, 전처리부(220)에서 생성된 정규 신호로부터 압축 신호를 생성하고, 디코더부(240)에서 압축 신호로부터 복원 신호를 생성하여 정규 신호와 복원 신호를 비교하는 과정을 수회 반복하도록 제어할 수 있으며, 이에 따라, 학습부(250)는 임계 범위를 만족하는 차이 정보 중 정규 신호와 복원 신호의 차이가 가장 적은 차이 정보에 따른 가중치를 인코딩 블록과 디코딩 블록에서 이용하도록 설정할 수 있다.
이에 따라, 압축 신호는 생성된 가중치에 따른 디코딩 블록에 의해서만 복원 신호가 생성될 수 있으며, 이를 통해, 오토 인코더 장치(200)는 압축 신호를 유선 또는 무선 네트워크를 이용하여 외부에 마련되는 장치에 전달하는 과정에서 압축 신호가 해커에 의해 유출되더라도, 압축 신호로부터 복원 신호를 생성하는데 어려움이 있으며, 이와 같이, 오토 인코더 장치(200)는 네트워크를 통해 전달되는 신호의 보안성이 향상되는 효과가 나타날 수 있다.
도7은 도4의 제어부에서 부정맥을 분류하는 과정을 나타낸 블록도이다.
도7을 참조하면, 오토 인코더 장치(200)의 통신부(260)는 인코더부(230)에서 생성되는 압축 신호를 유선 또는 무선 네트워크를 통해 스마트 장치(400)에 전달할 수 있으며, 또한, 통신부(260)는 학습부(250)에서 생성되는 가중치를 유선 또는 무선 네트워크를 통해 스마트 장치(400)에 전달할 수 있다.
이에 따라, 수신부(310)는 오토 인코더 장치(200)에서 생성되는 압축 신호 또는 가중치를 전달받을 수 있으며, 제어부(330)는 생성된 분류 모델에 기초하여, 생성된 압축 신호의 분포에 따라, 부정맥을 판단하여 부정맥 정보를 생성할 수 있다.
이를 위해, 분류 모델 생성부(320)는 부정맥 종류에 따라 오토 인코더 장치(200)에서 생성된 압축 신호의 분포를 학습하여 분류 모델을 생성할 수 있다.
한편, 출력부(340)는 디스플레이 상에 부정맥 정보를 출력할 수 있으며, 또한, 출력부(340)는 유선 또는 무선 네트워크를 통해 외부 장치에 부정맥 정보를 출력할 수 있다.
도8은 도2의 스마트 장치가 복원 신호를 생성하는 과정을 나타낸 블록도이다.
도8을 참조하면, 수집부(210)는 측정 장치(100)에서 측정된 측정 신호를 전달받아 수집할 수 있으며, 전처리부(220)는 수집된 측정 신호에 대한 전처리를 수행하여 정규 신호를 생성할 수 있다.
이에 따라, 인코더부(230)는 하나 이상의 인코딩 블록을 이용하여 정규 신호로부터 압축 신호를 생성할 수 있으며, 이때, 학습부(250)는 정규 신호와 복원 신호의 차이에 대한 기준을 나타내도록 마련되는 임계 범위를 차이 정보가 만족하도록 가중치를 학습할 수 있다.
스마트 장치(400)는 정규 신호를 압축하도록 설정되는 가중치를 오토 인코더 장치(200)의 통신부(260)로부터 전달받아 저장할 수 있으며, 스마트 장치(400)는 오토 인코더 장치(200)의 통신부(260)로부터 압축 신호를 전달받을 수 있다.
이에 따라, 스마트 장치(400)는 가중치가 적용되는 하나 이상의 디코딩 블록을 마련하여, 압축 신호로부터 복원 신호를 생성할 수 있다.
도9는 도1의 오토 인코더 장치에서 수행되는 압축 및 복원의 일 실시예를 나타낸 개략도이다.
도9를 참조하면, 정규 신호를 입력으로 하는 5개의 인코더 블록과 다섯 번째 인코더 블록에서 출력되는 신호에 연산을 수행하는 2개의 1D-CNN을 포함하는 인코더부(230)의 구조를 나타낸 일 실시예를 확인할 수 있으며, 압축 신호를 입력으로 하는 5개의 디코더 블록과 다섯 번째 디코더 블록에서 출력되는 신호에 연산을 수행하는 2개의 1D-CNN을 포함하는 디코더부(240)의 일 실시예를 확인할 수 있다.
이에 따라, 인코더부(230)는 하나 이상의 인코딩 블록을 이용하여 정규 신호로부터 압축 신호를 생성할 수 있으며, 또한, 디코더부(240)는 하나 이상의 디코딩 블록을 이용하여 압축 신호로부터 복원 신호를 생성할 수 있다.
이와 관련하여, 도10을 참조하면, 심전도 신호가 오토 인코더 장치에 의해 압축되는 과정을 나타낸 일 실시예를 확인할 수 있다.
이때, 심전도 신호가 1D-CNN에 입력되어, 각 심전도 신호의 특징이 추출되며, 이에 따라, 특징이 추출된 각 신호의 형태에 기반하여 부정맥 종류를 구분할 수 있다.
또한, 특징이 추출된 신호에 Reshape를 수행하여, 신호의 크기를 나타내는 x축의 규모가 감소하는 것을 확인할 수 있으며, 이때, 심전도 신호의 크기는 800으로 나타나고, 1개의 인코딩 블록을 거친 후에 신호의 크기가 400으로 압축된 것을 확인할 수 있다.
이와 같이, 심전도 신호는 800의 크기로부터 5개의 인코딩 블록을 통과하여 신호의 크기가 25로 32배 압축된 것을 확인할 수 있다.
도11은 도3의 인코더부에 마련되는 인코딩 블록의 일 실시예를 나타낸 개략도이다.
도11을 참조하면, 2개의 1D-CNN과 Pooling Layer에 의해 연산된 신호와 1개의 1D-CNN을 거치고, Reshape 된 신호가 합산되는 인코딩 블록을 확인할 수 있다. 여기에서, Reshape는 사전에 설정되는 크기로 신호를 변환하는 것으로 이해할 수 있다.
이와 같이, 오토 인코더 장치(200)는 정규 신호로부터 특징이 추출되어 축소된 신호와 정규 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있다.
또한, 오토 인코더 장치(200)는 복수개의 인코딩 블록이 마련되는 경우에, 정규 신호로부터 특징이 추출되어 축소된 신호와 정규 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있으며, 이후, 오토 인코더 장치(200)는 합산된 신호로부터 특징이 추출되어 축소된 신호와 정규 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산하는 과정을 반복할 수 있다.
도12는 도3의 디코더부에 마련되는 디코딩 블록의 일 실시예를 나타낸 개략도이다.
도12를 참조하면, 2개의 1D-CNN과 Upsampling Layer에 의해 연산된 신호와 1개의 1D-CNN을 거치고, Reshape 된 신호가 합산되는 인코딩 블록을 확인할 수 있다. 여기에서, Reshape는 사전에 설정되는 크기로 신호를 변환하는 것으로 이해할 수 있다.
이와 같이, 오토 인코더 장치(200)는 압축 신호로부터 특징이 추출되어 확대된 신호와 압축 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있다.
또한, 오토 인코더 장치(200)는 복수개의 디코딩 블록이 마련되는 경우에, 압축 신호로부터 특징이 추출되어 확대된 신호와 압축 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있으며, 이후, 오토 인코더 장치(200)는 합산된 신호로부터 특징이 추출되어 확대된 신호와 압축 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산하는 과정을 반복할 수 있다.
도13은 본 발명의 일 실시예에 따른 신호 압축 방법의 순서도이다.
본 발명의 일 실시예에 따른 신호 압축 방법은 도 1에 도시된 신호 압축 시스템(1)과 실질적으로 동일한 구성 상에서 진행되므로, 도 1의 신호 압축 시스템(1)과 동일한 구성요소에 대해 동일한 도면 부호를 부여하고, 반복되는 설명은 생략하기로 한다.
신호 압축 방법은 측정 신호를 기록하는 단계(600), 정규 신호를 생성하는 단계(610), 압축 신호를 생성하는 단계(620), 복원 신호를 생성하는 단계(630) 및 가중치를 학습하는 단계(640)를 포함할 수 있다.
측정 신호를 기록하는 단계(600)는 사용자의 측정 신호를 측정할 수 있다. 여기에서, 측정 신호는 부정맥을 검출할 수 있도록 측정되는 신호를 의미할 수 있으며, 측정 신호는 심장에서 발생하는 미세한 전류의 파형으로 나타나는 심전도를 의미할 수 있다.
정규 신호를 생성하는 단계(610)는 측정 신호에 대한 전처리를 수행하여 정규 신호를 생성할 수 있다.
이를 위해, 정규 신호를 생성하는 단계(610)는 측정 신호로부터 동일한 시간 간격으로 나타나는 하나 이상의 분할 신호를 추출할 수 있으며, 정규 신호를 생성하는 단계(610)는 하나 이상의 분할 신호가 동일한 크기 범위를 만족하도록 정규화를 수행하여 정규 신호를 생성할 수 있다.
압축 신호를 생성하는 단계(620)는 정규 신호를 압축하도록 설정되는 가중치를 이용하여 정규 신호로부터 압축 신호를 생성할 수 있다.
이와 관련하여, 오토 인코더 장치(200)는 사전에 설정된 가중치가 적용되는 하나 이상의 인코딩 블록을 마련할 수 있으며, 압축 신호를 생성하는 단계(620)는 하나 이상의 인코딩 블록을 이용하여 정규 신호로부터 압축 신호를 생성할 수 있다.
이때, 압축 신호를 생성하는 단계(620)는 복수개의 인코딩 블록이 마련되는 경우에, 정규 신호로부터 특징이 추출되어 축소된 신호와 정규 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있으며, 이후, 압축 신호를 생성하는 단계(620)는 합산된 신호로부터 특징이 추출되어 축소된 신호와 정규 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산하는 과정을 반복할 수 있다.
이에 따라, 압축 신호를 생성하는 단계(620)는 인코딩 블록에 의해 처리된 신호로부터 특징을 추출하여 압축 신호를 생성할 수 있으며, 이때, 압축 신호를 생성하는 단계(620)는 인코딩 블록에 의해 처리된 신호에 하나 이상의 1D-CNN을 적용하여 압축 신호를 생성할 수 있다.
복원 신호를 생성하는 단계(630)는 압축 신호를 압축하도록 설정되는 가중치를 이용하여 압축 신호로부터 복원 신호를 생성할 수 있다.
이와 관련하여, 오토 인코더 장치(200)는 사전에 설정된 가중치가 적용되는 하나 이상의 디코딩 블록을 마련할 수 있으며, 복원 신호를 생성하는 단계(630)는 하나 이상의 디코딩 블록을 이용하여 압축 신호로부터 복원 신호를 생성할 수 있다.
이때, 복원 신호를 생성하는 단계(630)는 복수개의 디코딩 블록이 마련되는 경우에, 압축 신호로부터 특징이 추출되어 확대된 신호와 압축 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산할 수 있으며, 이후, 복원 신호를 생성하는 단계(630)는 합산된 신호로부터 특징이 추출되어 확대된 신호와 압축 신호로부터 특징이 추출되어 사전에 설정되는 크기로 변환된 신호를 합산하는 과정을 반복할 수 있다.
이에 따라, 복원 신호를 생성하는 단계(630)는 디코딩 블록에 의해 처리된 신호로부터 특징을 추출하여 복원 신호를 생성할 수 있으며, 이때, 복원 신호를 생성하는 단계(630)는 디코딩 블록에 의해 처리된 신호에 하나 이상의 1D-CNN을 적용하여 복원 신호를 생성할 수 있다.
가중치를 학습하는 단계(640)는 정규 신호와 복원 신호를 비교하여 차이 정보를 생성할 수 있고, 가중치를 학습하는 단계(640)는 정규 신호와 복원 신호의 차이에 대한 기준을 나타내도록 마련되는 임계 범위를 차이 정보가 만족하도록 가중치를 학습할 수 있다.
이를 위해, 가중치를 학습하는 단계(640)는 서로 다른 가중치를 이용하여 정규 신호로부터 압축 신호를 생성하고, 압축 신호로부터 복원 신호를 생성하여 정규 신호와 복원 신호를 비교하는 과정을 수회 반복할 수 있으며, 이에 따라, 가중치를 학습하는 단계(640)는 임계 범위를 만족하는 차이 정보 중 정규 신호와 복원 신호의 차이가 가장 적은 차이 정보에 따른 가중치를 인코딩 블록과 디코딩 블록에서 이용하도록 설정할 수 있다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1: 신호 압축 시스템
100: 측정 장치
200: 오토 인코더 장치
300: 부정맥 분류 장치
400: 스마트 장치

Claims (12)

  1. 측정 신호를 기록하는 측정 장치; 및
    상기 측정 신호에 대한 전처리를 수행하여 정규 신호를 생성하고, 상기 정규 신호를 압축하도록 설정되는 가중치를 이용하여 상기 정규 신호로부터 압축 신호를 생성하며, 상기 가중치를 이용하여 상기 압축 신호로부터 복원 신호를 생성하고, 상기 정규 신호와 상기 복원 신호의 차이가 사전에 마련되는 임계 범위를 만족하도록 상기 가중치를 학습하는 오토 인코더 장치를 포함하고,
    상기 오토 인코더 장치는,
    상기 측정 장치로부터 측정된 신호가 사용자로부터 측정된 개인의 측정 신호인 경우,
    상기 개인의 측정 신호에 사전에 마련된 기준 차이 정보를 통해 개인화된 가중치를 생성하여 더 학습하고,
    상기 개인의 측정 신호로부터 개인의 정규 신호와 복원 신호를 생성하되, 상기 개인의 정규 신호와 복원 신호를 비교하여 개인의 차이 정보를 생성하고,
    상기 개인의 차이 정보와 사전에 마련된 상기 기준 차이 정보와 비교하여 동일한 경우,
    상기 개인의 측정 신호를 측정한 사용자가 상기 기준 차이 정보에 의해 상기 개인화된 가중치가 생성되는데 이용된 개인의 측정 신호를 제공한 사용자와 동일인으로 판단하여 사용자를 구별하는, 신호 압축 시스템.
  2. 제1항에 있어서, 상기 오토 인코더 장치는,
    측정 신호를 수집하는 수집부;
    상기 측정 신호에 대한 전처리를 수행하여 정규 신호를 생성하는 전처리부;
    사전에 설정된 가중치가 적용되는 하나 이상의 인코딩 블록을 이용하여 상기 정규 신호로부터 압축 신호를 생성하는 인코더부;
    상기 가중치가 적용되는 하나 이상의 디코딩 블록을 이용하여 상기 압축 신호로부터 복원 신호를 생성하는 디코더부; 및
    상기 정규 신호와 상기 복원 신호를 비교하여 차이 정보를 생성하고, 상기 정규 신호와 상기 복원 신호의 차이에 대한 기준을 나타내도록 마련되는 임계 범위를 상기 차이 정보가 만족하도록 상기 가중치를 학습하는 학습부를 더 포함하는, 신호 압축 시스템.
  3. 제2항에 있어서, 상기 인코더부는,
    상기 정규 신호에 상기 가중치를 적용하여 상기 정규 신호의 특징이 추출된 제 1 추출 신호를 생성하고, 상기 제 1 추출 신호를 추출된 특징에 따라 축소시켜 제 1 축소 신호를 생성하고,
    상기 정규 신호에 상기 가중치를 적용하여 상기 정규 신호의 특징이 추출된 제 2 추출 신호를 생성하고, 상기 제 2 추출 신호를 사전에 설정되는 크기로 변환시켜 제 1 변환 신호를 생성하며,
    상기 제 1 축소 신호와 상기 제 1 변환 신호를 합산하여 제 1 인코딩 신호를 생성하는, 신호 압축 시스템.
  4. 제3항에 있어서, 상기 인코더부는,
    복수개의 인코딩 블록이 마련되는 경우,
    상기 제 1 인코딩 신호에 상기 가중치를 적용하여 상기 제 1 인코딩 신호의 특징이 추출된 제 3 추출 신호를 생성하고, 상기 제 3 추출 신호를 추출된 특징에 따라 축소시켜 제 2 축소 신호를 생성하고,
    상기 정규 신호에 상기 가중치를 적용하여 상기 정규 신호의 특징이 추출된 제 4 추출 신호를 생성하고, 상기 제 4 추출 신호를 사전에 설정되는 크기로 변환시켜 제 2 변환 신호를 생성하며,
    상기 제 2 축소 신호와 상기 제 2 변환 신호를 합산하여 제 2 인코딩 신호를 생성하는, 신호 압축 시스템.
  5. 제2항에 있어서, 상기 디코더부는,
    상기 압축 신호에 상기 가중치를 적용하여 상기 압축 신호의 특징이 추출된 제 5 추출 신호를 생성하고, 상기 제 5 추출 신호를 추출된 특징에 따라 확대시켜 제 1 확대 신호를 생성하고,
    상기 압축 신호에 상기 가중치를 적용하여 상기 압축 신호의 특징이 추출된 제 6 추출 신호를 생성하고, 상기 제 6 추출 신호를 사전에 설정되는 크기로 변환시켜 제 3 변환 신호를 생성하며,
    상기 제 1 확대 신호와 상기 제 3 변환 신호를 합산하여 제 1 디코딩 신호를 생성하는, 신호 압축 시스템.
  6. 제5항에 있어서, 상기 디코더부는,
    복수개의 디코딩 블록이 마련되는 경우,
    상기 제 1 디코딩 신호에 상기 가중치를 적용하여 상기 제 1 디코딩 신호의 특징이 추출된 제 7 추출 신호를 생성하고, 상기 제 7 추출 신호를 추출된 특징에 따라 축소시켜 제 2 확대 신호를 생성하고,
    상기 압축 신호에 상기 가중치를 적용하여 상기 압축 신호의 특징이 추출된 제 8 추출 신호를 생성하고, 상기 제 8 추출 신호를 사전에 설정되는 크기로 변환시켜 제 4 변환 신호를 생성하며,
    상기 제 2 확대 신호와 상기 제 4 변환 신호를 합산하여 제 2 디코딩 신호를 생성하는, 신호 압축 시스템.
  7. 제2항에 있어서, 상기 전처리부는,
    상기 측정 신호로부터 동일한 시간 간격으로 나타나는 하나 이상의 분할 신호를 추출하고,
    상기 하나 이상의 분할 신호가 동일한 크기 범위를 만족하도록 정규화를 수행하여 정규 신호를 생성하는, 신호 압축 시스템.
  8. 제1항에 있어서,
    상기 측정 신호가 생체로부터 부정맥을 판단할 수 있도록 측정되어 기록되는 생체 신호인 경우,
    부정맥 종류에 따라 생성된 압축 신호의 분포를 학습하여 분류 모델을 생성하고, 상기 분류 모델에 기초하여, 상기 압축 신호의 분포에 따라 부정맥을 판단하여 부정맥 정보를 생성하는 부정맥 분류 장치를 더 포함하는, 신호 압축 시스템.
  9. 제8항에 있어서, 상기 부정맥 분류 장치는,
    상기 측정 신호에 기초하여 생성된 하나 이상의 압축 신호에 대한 부정맥 정보를 각각 판단하고, 상기 하나 이상의 압축 신호에 대한 부정맥 정보에 따라 가장 높은 빈도를 나타내는 부정맥 정보를 상기 측정 신호에 대한 부정맥 판단 결과로 결정하는, 신호 압축 시스템.
  10. 제1항에 있어서,
    상기 정규 신호를 압축하도록 설정되는 가중치를 저장하고, 상기 압축 신호를 전달받으며, 상기 가중치가 적용되는 하나 이상의 디코딩 블록을 마련하여, 상기 압축 신호로부터 복원 신호를 생성하는 스마트 장치를 더 포함하는, 신호 압축 시스템.
  11. 제10항에 있어서, 상기 스마트 장치는,
    상기 오토 인코더 장치에 의해 상기 가중치가 변경되는 경우, 변경된 가중치를 전달받는, 신호 압축 시스템.
  12. 심층학습에 기반하여 압축된 신호를 이용한 신호 압축 시스템에 의한 신호 압축 방법에 있어서,
    측정 신호를 기록하는 단계;
    상기 측정 신호에 대한 전처리를 수행하여 정규 신호를 생성하는 단계;
    상기 정규 신호를 압축하도록 설정되는 가중치를 이용하여 상기 정규 신호로부터 압축 신호를 생성하는 단계;
    상기 가중치를 이용하여 상기 압축 신호로부터 복원 신호를 생성하는 단계; 및
    상기 정규 신호와 상기 복원 신호의 차이가 사전에 마련되는 임계 범위를 만족하도록 상기 가중치를 학습하는 단계를 포함하고,
    상기 신호 압축 시스템은,
    측정 장치로부터 측정된 신호가 사용자로부터 측정된 개인의 측정 신호인 경우,
    상기 개인의 측정 신호에 사전에 마련된 기준 차이 정보를 통해 개인화된 가중치를 생성하여 더 학습하고,
    상기 개인의 측정 신호로부터 개인의 정규 신호와 복원 신호를 생성하되, 상기 개인의 정규 신호와 복원 신호를 비교하여 개인의 차이 정보를 생성하고,
    상기 개인의 차이 정보와 사전에 마련된 상기 기준 차이 정보와 비교하여 동일한 경우,
    상기 개인의 측정 신호를 측정한 사용자가 상기 기준 차이 정보에 의해 상기 개인화된 가중치가 생성되는데 이용된 개인의 측정 신호를 제공한 사용자와 동일인으로 판단하여 사용자를 구별하는, 신호 압축 방법.
KR1020200049716A 2019-10-18 2020-04-24 심층학습에 기반한 신호 압축 시스템 및 방법 KR102370622B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/009428 WO2021075673A1 (ko) 2019-10-18 2020-07-17 심층학습에 기반한 신호 압축 시스템 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190130204 2019-10-18
KR1020190130204 2019-10-18

Publications (2)

Publication Number Publication Date
KR20210047235A KR20210047235A (ko) 2021-04-29
KR102370622B1 true KR102370622B1 (ko) 2022-03-08

Family

ID=75728517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200049716A KR102370622B1 (ko) 2019-10-18 2020-04-24 심층학습에 기반한 신호 압축 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102370622B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102437350B1 (ko) * 2021-12-21 2022-08-29 (주)씨어스테크놀로지 심전도 전역 특징 벡터를 이용한 다중 박동 검출 방법 및 장치
KR102437349B1 (ko) * 2021-12-21 2022-08-29 (주)씨어스테크놀로지 어텐션 메커니즘을 이용한 부정맥 탐지 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130117207A1 (en) 2011-11-08 2013-05-09 Youn-Ho Kim Method of classifying input pattern and pattern classification apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101930337B1 (ko) * 2015-12-07 2018-12-19 삼성전자 주식회사 전자기기 및 그 제어방법
CN106951753B (zh) * 2016-01-06 2020-08-21 北京三星通信技术研究有限公司 一种心电信号的认证方法和认证装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130117207A1 (en) 2011-11-08 2013-05-09 Youn-Ho Kim Method of classifying input pattern and pattern classification apparatus

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
F. Mentzer 외, "Conditional Probability Models for Deep Image Compresssion", arXiv, 1801.04260v4. (2019.06.04.)*
O. Yildirim 외, "A new approach for arrhythmia classification using deep coded features and LSTM networks", Computer Methods and Programs in Biomedicine, 176:121-133. (2019.07.)*
Y. Tai 외, "Image Super-Resolution via Deep Recursive Residual Network", 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2790-2798. (2017.11.09.)*

Also Published As

Publication number Publication date
KR20210047235A (ko) 2021-04-29

Similar Documents

Publication Publication Date Title
CN109171712B (zh) 心房颤动识别方法、装置、设备及计算机可读存储介质
CN111035367B (zh) 一种用于判断睡眠呼吸暂停的信号检测***
CN108416367B (zh) 基于多传感器数据决策级融合的睡眠分期方法
KR102370622B1 (ko) 심층학습에 기반한 신호 압축 시스템 및 방법
CN104573458A (zh) 一种基于心电信号的身份识别方法、装置及***
CN105550659A (zh) 基于随机投影的实时心电分类方法
CN112507784B (zh) 一种心冲击图时序信号的有效性检测方法
CN113128585B (zh) 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法
CN105139029A (zh) 一种监狱服刑人员的行为识别方法及装置
CN114041786A (zh) 心冲击图信号的检测方法、装置以及设备
Al-Assaf Surface myoelectric signal analysis: dynamic approaches for change detection and classification
Chakraborty et al. Fractals, chaos and entropy analysis to obtain parametric features of surface electromyography signals during dynamic contraction of biceps muscles under varying load
Lee et al. A real-time abnormal beat detection method using a template cluster for the ECG diagnosis of IoT devices
Afsar et al. Entropy-based complexity measures for gait data of patients with Parkinson's disease
Ranjan Permanence of ecg biometric: Experiments using convolutional neural networks
CN114469041A (zh) 一种运动过程中心率变化数据特征分析方法
CN110179451B (zh) 心电信号质量检测方法、装置、计算机设备和存储介质
Muthuvel et al. ECG signal feature extraction and classification using harr wavelet transform and neural network
CN111345815B (zh) 一种心电信号中qrs波的检测方法、装置、设备和存储介质
Saeed et al. A Slantlet based statistical features extraction for classification of normal, arrhythmia, and congestive heart failure in electrocardiogram
IŞIK et al. Biometric person authentication framework using polynomial curve fitting-based ECG feature extraction
CN113647954A (zh) 双通道混合网络模型的心血管疾病识别方法、装置及介质
Gomes et al. A lightweight embedded solution for ECG filtering and QRS complexes localization using wavelets
CN111012337A (zh) 基于脑网络和正则化判别分析的脑电分析方法
Akhbardeh et al. BCG Data Discrimination Using Daubechies Compactly Supported Wavelet Transform and Neural Networks for Heart Disease Diagnosis

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant