KR102589471B1 - 데이터 증강 장치 및 방법 - Google Patents

데이터 증강 장치 및 방법 Download PDF

Info

Publication number
KR102589471B1
KR102589471B1 KR1020210179255A KR20210179255A KR102589471B1 KR 102589471 B1 KR102589471 B1 KR 102589471B1 KR 1020210179255 A KR1020210179255 A KR 1020210179255A KR 20210179255 A KR20210179255 A KR 20210179255A KR 102589471 B1 KR102589471 B1 KR 102589471B1
Authority
KR
South Korea
Prior art keywords
data
heart rate
rate signal
ecg data
ecg
Prior art date
Application number
KR1020210179255A
Other languages
English (en)
Other versions
KR20230090465A (ko
Inventor
강경태
주우
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020210179255A priority Critical patent/KR102589471B1/ko
Publication of KR20230090465A publication Critical patent/KR20230090465A/ko
Application granted granted Critical
Publication of KR102589471B1 publication Critical patent/KR102589471B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Power Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

데이터 증강 장치 및 방법에 관한 것으로, 데이터 증강 장치는 적어도 하나의 심박 신호를 포함하는 적어도 하나의 원 심전도 데이터를 획득하는 입력부와, 상기 적어도 하나의 심박 신호를 대응하는 심박동 유형으로 분류하고, 심박동 유형 중에서 심박 신호가 적은 희소 유형에 대해 심박 신호를 증가시켜 증강 심전도 데이터를 획득하되, 상기 희소 유형의 심박 신호 중에서 기준 심박 신호를 선택하고, 상기 기준 심박 신호 주변의 적어도 하나의 주변 심박 신호를 선택하고, 상기 기준 심박 신호 및 상기 주변 심박 신호 사이에 임의의 심박 신호를 생성하여 상기 희소 유형의 심박 신호를 증강시키는 프로세서를 포함할 수 있다.

Description

데이터 증강 장치 및 방법{APPARATUS AND METHOD FOR AUGMENTATING OF DATA}
데이터 증강 장치 및 방법에 관한 것이다.
근육은 전기적 신호에 따라 수축 또는 이완한다. 심장의 근육도 마찬가지이다. 심전도(ECG: electrocardiogram)는 심장 근육의 활동에 따른 전기적 신호(심근 활동 전류)의 변화를 주기적으로 측정하여 획득한 시계열 데이터로, 부정맥 등과 같은 심장 질환을 진단하는데 흔히 사용되고 있다. 심전도는 P파, QRS군(QRS complex) 및 T파로 이뤄진다. P파는 우심방의 동방결절에서 전기 신호가 발생할 때 측정된다. 발생된 전기 신호는 방실결절 및 히스 속(Bundle of His)을 지나 우각 및 좌각으로 나눠지고, 푸르킨예 섬유까지 전달되는데, 이 과정에서 심실은 극성화 및 비극성화를 거쳐 수축하게 되고, 이때 심전도의 QRS군이 측정된다. T파는 심실 재분극 과정에서 측정된다. 이러한 심전도는 대체적으로 규칙적이고 정형적인 리듬을 가지고 있으므로, 만약 심장에 질환이 발생하면, P파가 측정되지 않거나 QRS군의 R 피크가 반대 방향을 향하는 등 그 형태(유형)가 바뀌게 된다. 따라서, 비정상적인 심박동의 발생 시 이를 신속하게 특정 유형으로 분류하는 것은 심장 질환에 대한 즉각적인 대체를 위해 필요하다. 그러나, 의료인이나 환자가 지속적으로 심전도를 감시하는 것은 쉽지 않기 때문에, 최근에는 심박동을 자동으로 분류하여 조기에 비정상적인 유형의 심박동의 발생을 검출 및 경고할 수 있는 심박동 분류 시스템이 연구, 개발되고 있다. 그러나, 이러한 분류 시스템 구현을 위해 일반적으로 이용되는 데이터베이스는, 데이터가 특정 유형으로 편향되어 있을 뿐만 아니라, 절대적인 양도 부족하여, 사용자나 개발자가 요구하는 수준의 시스템을 구축하기 어렵게 하고 있었다.
본 발명은 지방자치단체의 관련연구과제(연구사업명: 안산시 강소기업 육성 지원사업 / 안산시 강소기업 육성 지원사업 / 안산시 강소기업 육성 지원사업, 연구관리전문기관: 한국생산기술연구원, 주관기관: 고려대학교 안산병원, 연구기간: 2021.01.01~2021.12.31)의 결과물이다.
중국특허공개공보 112686091 (2021.04.20. 공개) 공개특허공보 제10-2020-0109754호 (2020.09.23. 공개) 일본 특허공보 특허 제6831944호 (2021.02.17. 공개) 공개특허공보 제10-2019-0141326호 (2019.12.24. 공개)
희소 발현되는 심박 유형을 정확하게 분류할 수 있도록 상대적으로 부족한 희소 발현 심박 데이터의 양을 증폭시켜 심박 데이터의 불균형성을 개선할 수 데이터 증강 장치 및 방법을 제공하는 것을 해결하고자 하는 과제로 한다.
상술한 과제를 해결하기 위하여 데이터 증강 장치 및 방법이 제공된다.
데이터 증강 장치는, 적어도 하나의 심박 신호를 포함하는 적어도 하나의 원 심전도 데이터를 획득하는 입력부 및 상기 적어도 하나의 심박 신호를 대응하는 심박동 유형으로 분류하고, 심박동 유형 중에서 심박 신호가 적은 희소 유형에 대해 심박 신호를 증가시켜 증강 심전도 데이터를 획득하되, 상기 희소 유형의 심박 신호 중에서 기준 심박 신호를 선택하고, 상기 기준 심박 신호 주변의 적어도 하나의 주변 심박 신호를 선택하고, 상기 기준 심박 신호 및 상기 주변 심박 신호 사이에 임의의 심박 신호를 생성하여 상기 희소 유형의 심박 신호를 증강시키는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 원 심전도 데이터에 대해 잡음을 제거하여 잡음 제거 심전도 데이터를 획득할 수도 있다.
상기 프로세서는, 상기 원 심전도 데이터 또는 상기 잡음 제거 심전도 데이터에 대해 정규화를 수행하여 정규화된 심전도 데이터를 획득하고, 상기 원 심전도 데이터, 상기 잡음 제거 심전도 데이터 또는 상기 정규화된 심전도 데이터를 이용하여 상기 증강 심전도 데이터를 획득할 수도 있다.
상기 프로세서는, 상기 원 심전도 데이터, 상기 잡음 제거 심전도 데이터 또는 상기 정규화된 심전도 데이터로부터 R 피크를 검출하고, 상기 R 피크로부터 일정한 기준 범위 내에서 신호를 추출하여 상기 심박 신호를 획득할 수도 있다.
상기 프로세서는, 상기 증강 심전도 데이터를 분할하여, 훈련용 데이터, 검증용 데이터 및 테스트용 데이터를 생성할 수도 있으며, 이 경우, 상기 테스트용 데이터는 상기 원 심전도 데이터 및 상기 증강 심전도 데이터 양자에 모두 속하는 심박 신호만을 포함할 수도 있다.
상기 프로세서는, 상기 훈련용 데이터를 이용하여 학습 모델을 훈련시키되, 상기 학습 모델은, 1차원 콘볼루션 신경망을 포함할 수도 있다.
데이터 증강 방법은, 적어도 하나의 심박 신호를 포함하는 적어도 하나의 원 심전도 데이터를 획득하는 단계, 상기 적어도 하나의 심박 신호를 대응하는 심박동 유형으로 분류하는 단계, 상기 심박동 유형 중에서 심박 신호가 적은 희소 유형에 대해 심박 신호를 증가시켜 증강 심전도 데이터를 획득하는 단계를 포함할 수 있으며, 여기서, 상기 심박동 유형 중에서 심박 신호가 적은 희소 유형에 대해 심박 신호를 증가시켜 증강 심전도 데이터를 획득하는 단계는, 상기 희소 유형의 심박 신호 중에서 기준 심박 신호를 선택하는 단계, 상기 기준 심박 신호 주변의 적어도 하나의 주변 심박 신호를 선택하는 단계 및 상기 기준 심박 신호 및 상기 주변 심박 신호 사이에 임의의 심박 신호를 생성하여 상기 희소 유형의 심박 신호를 증강시키는 단계를 포함할 수 있다.
데이터 증강 방법은, 상기 원 심전도 데이터에 대해 잡음을 제거하여 잡음 제거 심전도 데이터를 획득하는 단계를 더 포함하는 것도 가능하다.
데이터 증강 방법은, 상기 원 심전도 데이터 또는 상기 잡음 제거 심전도 데이터에 대해 정규화를 수행하여 정규화된 심전도 데이터를 획득하는 단계를 더 포함할 수 있고, 이 경우, 상기 증강 심전도 데이터를 획득하는 단계는, 상기 원 심전도 데이터, 상기 잡음 제거 심전도 데이터 또는 상기 정규화된 심전도 데이터를 이용하여 상기 증강 심전도 데이터를 획득하는 단계를 포함할 수 있다.
데이터 증강 방법은, 상기 원 심전도 데이터, 상기 잡음 제거 심전도 데이터 또는 상기 정규화된 심전도 데이터로부터 R 피크를 검출하는 단계 및 상기 R 피크로부터 일정한 기준 범위 내에서 신호를 추출하여 상기 심박 신호를 획득하는 단계를 더 포함하는 것도 가능하다.
데이터 증강 방법은, 상기 증강 심전도 데이터를 분할하여, 훈련용 데이터, 검증용 데이터 및 테스트용 데이터를 생성하는 단계를 포함할 수 있으며, 여기서, 상기 테스트용 데이터는 상기 원 심전도 데이터 및 상기 증강 심전도 데이터 양자에 모두 속하는 심박 신호만을 포함하도록 마련된 것일 수도 있다.
데이터 증강 방법은, 상기 훈련용 데이터를 이용하여 학습 모델을 훈련시키는 단계를 포함할 수 있으며, 여기서 상기 학습 모델은, 1차원 콘볼루션 신경망을 포함할 수 있다.
상술한 데이터 증강 장치 및 방법에 의하면, 전체 심박 데이터 중 상대적으로 부족한 희소 발현 심박 데이터의 양을 증폭시켜 주어진 심박 데이터의 불균형성을 개선할 수 있게 되는 장점을 얻을 수 있다.
상술한 데이터 증강 장치 및 방법에 의하면, 심박 데이터의 불균형성 개선에 따라 심박 데이터 세트 분포를 균일하게 만듦으로써 불균형성에 따른 학습 모델의 성능 저하를 방지하고 학습 모델의 심박 유형에 대한 분류 능력을 보다 향상시킬 수 있는 효과도 얻을 수 있다.
상술한 데이터 증강 장치 및 방법에 의하면, 심박 데이터의 증가에 따라 심박 데이터 분류를 위한 학습 모델의 일반성 및 범용성을 강화할 수 있게 되는 효과도 얻을 수 있다.
상술한 데이터 증강 장치 및 방법에 의하면, 대상체로부터 측정된 심박 데이터를 특정한 유형으로 높은 정확도로 자동 분류할 수 있게 되어, 인간의 주관에 따른 분류 오류를 감소시킬 수 있게 되고, 이에 따라 심장 질환 등에 대한 진단의 정확성을 증진할 수 있는 장점도 얻을 수 있다.
도 1은 데이터 증강 장치의 일 실시예에 대한 블록도이다.
도 2는 심전도 신호의 일 실시예를 도시한 도면이다.
도 3은 심박동의 유형의 일례를 도시한 도표이다.
도 4는 원 심전도 데이터 및 증강 심전도 데이터의 데이터 개수의 차이를 설명하기 위한 도표이다.
도 5는 증강 심전도 데이터의 생성 과정을 설명하기 위한 도면이다.
도 6은 훈련부의 일 실시예에 대한 블록도이다.
도 7은 훈련된 학습 모델의 성능을 설명하기 위한 도면이다.
도 8은 데이터 증강 방법의 일 실시예에 대한 흐름도이다.
이하 명세서 전체에서 동일 참조 부호는 특별한 사정이 없는 한 동일 구성요소를 지칭한다. 이하에서 사용되는 '부'가 부가된 용어는, 소프트웨어 및/또는 하드웨어로 구현될 수 있으며, 실시예에 따라 하나의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 복수의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 하나의 '부'가 복수의 물리적 또는 논리적 부품들로 구현되는 것도 가능하다. 명세서 전체에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 어떤 부분과 다른 부분이 상호 간에 물리적으로 연결되었음을 의미할 수도 있고, 및/또는 전기적으로 연결되었음을 의미할 수도 있다. 또한, 어떤 부분이 다른 부분을 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 부분 이외의 또 다른 부분을 제외하는 것이 아니며, 설계자의 선택에 따라서 또 다른 부분을 더 포함할 수 있음을 의미한다. 제1 내지 제N(N은 1 이상의 자연수) 등의 표현은, 적어도 하나의 부분(들)을 다른 부분(들)으로부터 구분하기 위한 것으로, 특별한 기재가 없는 이상 이들이 순차적임을 반드시 의미하지는 않는다. 또한 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함할 수 있다.
이하 도 1 내지 도 7을 참조하여 데이터 증강 장치의 일 실시예를 설명하도록 한다.
도 1은 데이터 증강 장치의 일 실시예에 대한 블록도이다.
도 1에 도시된 바에 의하면, 데이터 증강 장치(200)는, 입력부(101), 저장부(103), 출력부(105) 및 프로세서(200)를 포함할 수 있다. 입력부(101), 저장부(103), 출력부(105) 및 프로세서(200) 중 적어도 둘은 일방으로 또는 쌍방으로 데이터, 설정, 지시 또는 프로그램(애플리케이션, 앱 또는 소프트웨어 등으로 지칭 가능함) 등을 전달할 수 있도록 전기적으로 연결되거나 또는 무선 통신 네트워크를 이용하여 연결되어 있을 수 있다. 실시예에 따라서, 입력부(101), 저장부(103) 및 출력부(105) 중 적어도 하나는 생략될 수도 있다.
입력부(101)는, 증강 처리될 데이터, 예를 들어 원 심전도 데이터(110)를 사용자로부터 직접 입력 받거나, 외부의 다른 장치(일례로 휴대용 메모리 장치 등)로부터 전달 받거나 및/또는 외부의 다른 정보처리장치로부터 유선 또는 무선 통신 네트워크를 통해 수신할 수도 있다. 여기서, 원 심전도 데이터(110)는 학습 모델 등의 학습을 위해 사전에 미리 구축된 심전도(들)에 대한 데이터로, 심전도 데이터베이스의 형태로 구축된 것일 수 있다. 심전도 데이터베이스는, 예를 들어, MIT-BIH 데이터베이스 등과 같은 부정맥 데이터베이스를 포함할 수도 있다. 또한, 입력부(101)는 프로세서(200)의 훈련부(260)에 의해 훈련될 학습 모델에 대한 적어도 하나의 변수 값을 입력 받을 수도 있고, 증강 시의 기준이 될 유형에 대한 정보를 입력 받을 수도 있으며, 프로세서(200)의 동작을 위한 적어도 하나의 프로그램이나, 프로세서(200)의 구동 개시에 관한 사용자 지시 등을 입력 받을 수도 있다. 입력부(101)는, 예를 들어, 키보드, 마우스, 태블릿, 터치 스크린, 터치 패드, 트랙 볼, 트랙패드, 스캐너 장치, 영상 촬영 모듈, 초음파 스캐너, 동작 감지 센서, 진동 센서, 수광 센서, 감압 센서, 근접 센서 및/또는 마이크로 폰 등을 포함할 수 있으며, 외부의 다른 장치(일례로 휴대용 메모리 장치 등)로부터 데이터 등의 수신이 가능한 데이터 입출력 단자나, 외부의 다른 장치와 유무선 통신 네트워크를 통해 연결되는 통신 모듈(일례로 랜 카드, 근거리 통신 모듈 또는 이동통신 모듈 등) 등을 포함할 수도 있다.
저장부(103)는 입력부(101)가 수신하거나 프로세서(200)의 처리 과정 또는 처리 결과에 따라 생성된 데이터나, 설정 값 또는 프로그램(일례로 학습 모델) 등을 획득하고, 획득한 데이터 등을 일시적 또는 비일시적으로 저장할 수 있다. 예를 들어, 저장부(103)는 증강 대상이 되는 데이터, 일례로 원 심전도 데이터(110)나, 증강 처리된 데이터, 일례로 증강 심전도 데이터(120)를 저장할 수 있다. 또한, 저장부(103)는 프로세서(200)의 데이터 증강을 위해 기 작성된 프로그램을 저장하고, 프로그램의 전부 또는 일부를 프로세서(200)의 호출에 따라 전달하여, 프로세서(200)가 데이터 증강 동작을 수행하도록 할 수도 있다. 데이터 증강을 위해 기 작성된 프로그램은, 프로그래머 등의 설계자에 의해 직접 작성 또는 수정된 후 저장부(103)에 저장된 것일 수도 있고, 다른 물리적 기록 매체(외장 메모리 장치나 콤팩트 디스크(CD) 등)으로부터 전달받아 저장된 것일 수도 있으며, 및/또는 유무선 통신 네트워크를 통해 접속 가능한 전자 소프트웨어 유통망을 통하여 획득 또는 갱신된 것일 수도 있다. 저장부(103)는, 예를 들어, 주기억장치(롬(ROM) 및/또는 램(RAM) 등) 및 보조기억장치(플래시 메모리 장치(이를 기반으로 하는 솔리드 스테이트 드라이브(SSD, Solid State Drive) 등을 포함 가능함), SD(Secure Digital) 카드, 하드 디스크 드라이브 등) 중 적어도 하나일 수 있다.
출력부(105)는, 저장부(103)에 저장된 데이터(20, 20)나, 프로세서(200)의 훈련에 의해 획득된 학습 알고리즘 등을 사용자에게 시각적 또는 청각적으로 제공하거나, 외부의 다른 장치(일례로 휴대용 메모리 장치나 다른 정보 처리 장치)로 직접 또는 유무선 네트워크 등을 통해 전달할 수 있다. 출력부(105)는, 예를 들어, 디스플레이, 프린터 장치, 스피커 장치, 영상 출력 단자, 데이터 입출력 단자 및/또는 통신 모듈 등을 포함할 수 있다.
프로세서(200)는, 원 데이터(120, 일례로 원 심전도 데이터)에 대한 증강 처리를 수행하고, 필요에 따라 증강 처리된 데이터(120, 일례로 증강 심전도 데이터)를 이용하여 적어도 하나의 학습 모델을 훈련시킬 수 있도록 마련된다. 프로세서(200)는, 데이터 등에 대한 연산 또는 제어 처리를 수행할 수 있는 적어도 하나의 처리 장치를 이용하여 구현 가능하며, 적어도 하나의 전자 장치는, 예를 들어, 중앙 처리 장치(CPU: Central Processing Unit), 그래픽 처리 장치(GPU: Graphic Processing Unit), 마이크로 컨트롤러 유닛(MCU: Micro Controller Unit), 애플리케이션 프로세서(AP: Application Processor), 전자 제어 유닛(ECU: Electronic Controlling Unit) 및/또는 마이컴(Micom: Micro Processor) 등을 포함할 수 있다.
프로세서(200)는, 일 실시예에 의하면, 노이즈 제거부(210), 정규화부(220), 박동 분류부(230), 데이터 증강부(240) 및 데이터 분할부(250)를 포함할 수 있고, 실시예에 따라 훈련부(260)를 더 포함할 수 있다. 노이즈 제거부(210), 정규화부(220), 박동 분류부(230) 및 데이터 분할부(250)는 필요에 따라 생략 가능하다. 실시예에 따라서, 노이즈 제거부(210), 정규화부(220), 박동 분류부(230), 데이터 증강부(240), 데이터 분할부(250) 및 훈련부(260) 중 적어도 둘은, 물리적으로 또는 논리적으로 구분된 것일 수 있다. 물리적으로 구분된 경우, 이들 중 적어도 둘은 서로 물리적으로 분리된 처리 장치에 의해 구현된 것일 수 있다. 논리적으로 구분된 경우, 이들 중 적어도 둘은, 하나의 물리적 처리 장치에 의해 구현될 수도 있다.
도 2는 심전도 신호의 일 실시예를 도시한 도면이다.
적어도 하나의 원 심전도 데이터(110)는, 각각 특정 유형에 해당하는 적어도 하나의 심박 신호(111)를 포함할 수 있다. 여기서, 심박 신호는 심박동에 대응하는 적어도 하나의 신호이다. 예를 들어, 적어도 하나의 원 심전도 데이터(110)는, 도 2에 도시된 바와 동일 또는 근사한 정상적인 심박동에 대응하는 심박 신호(111)를 포함할 수도 있고, 및/또는 이와 상이한 비정상적인 심박동에 대응하는 심박 신호를 포함할 수도 있다. 여기서, 정상 또는 비정상에 대응하는 심박 신호 각각은 순차적으로 연결되어 원 심전도 데이터(110)를 형성할 수도 있다. 이 경우, 적어도 하나의 정상적인 심박동에 대응하는 심박 신호(111) 또는 비정상적인 심박동에 대응하는 심박 신호 각각에는 원 심전도 데이터(110)의 측정 시 외부에서 유입되거나 데이터 베이스 구축 과정에서 생성된 잡음이 더 존재할 수도 있다. 노이즈 제거부(210)는, 원 심전도 데이터(110)를 입력부(101) 또는 저장부(103)로부터 획득하고, 원 심전도 데이터(110), 즉 각각의 심박 신호(111) 등에 존재할 수 있는 잡음을, 원 심전도 데이터(110)로부터 제거할 수 있다. 일 실시예에 의하면, 노이즈 제거부(210)는 버터워스 필터(Butterworth filter, 일례로 4차 버터워스 필터 등)와 같은 적어도 하나의 필터(들)를 이용하여 구현될 수 있다. 이 경우, 적어도 하나의 필터(들)는, 예를 들어, 0.5Hz 내지 15Hz의 통과 대역을 갖는 것일 수도 있다. 원 심전도 데이터(110)에 필터(들)를 적용하여 획득된 심전도 데이터(이하 잡음 제거 심전도 데이터)는 정규화부(220)로 전달될 수 있다.
정규화부(220)는, 전달 받은 데이터(원 심전도 데이터(110) 또는 이에 대응하는 잡음 제거 심전도 데이터)에 대한 정규화를 수행할 수도 있다. 정규화는, 예를 들어, 각각의 원 심전도 데이터(110)에 대해 전체 원 심전도 데이터(110)의 평균(또는 일반적으로 알려진 평균적인 심전도 신호)을 차감하고, 차감 결과를 각각의 원 심전도 데이터(110)의 표준 편차로 나눔으로써 수행되는 것도 가능하다. 또는 정규화는 최대 값-최소 정규화를 이용하여 수행될 수도 있다. 이에 따라 하나 또는 둘 이상의 원 심전도 데이터(110) 각각에 대응하는 정규화된 심전도 데이터가 획득될 수 있다.
도 3은 심박동의 유형의 일례를 도시한 도표이다.
박동 분류부(230)는, 원 심전도 데이터(110), 잡음 제거 심전도 데이터 또는 정규화된 심전도 데이터(이하 원 심전도 데이터(110) 등)로부터 심박에 대응하는 신호(111, 즉, 심박 신호)를 하나 이상 추출하고, 추출된 하나 이상의 심박 신호(111) 각각을 복수의 유형 중 적어도 하나의 유형으로 결정할 수 있다.
실시예에 따라서, 박동 분류부(230)는, 각각의 심박 신호의 유형 분류 전에, 분류에 이용될 유형을 결정할 수도 있다. 예를 들어, 박동 분류부(230)는, 알려진 복수의 심박동 유형 중에서 복수의 심박 신호를 분류하기 위한 적어도 하나의 심박동 유형을, 도 3에 도시된 바와 같이, 선택하여 결정하고, 선택하고 결정된 적어도 하나의 심박동 유형을 심박 신호의 분류에 이용할 수 있다. 이 경우, 적어도 하나의 심박동 유형에는, 각 유형을 식별하기 위한 라벨(일례로 숫자 0 내지 10)가 더 부가되어 있을 수 있다. 적어도 하나의 심박동 유형은, 예를 들어, 정상(Normal, 라벨 0), 좌각차단(LBBB: Left bundle branch block beat, 라벨 1), 우각차단(RBBB: Right bundle branch block beat, 라벨 2), 비정상적인 심장 조기 박동(AP: Aberrated atrial premature beat, 라벨 3), 심실 조기 수축(PVC: Premature ventricular contraction, 라벨 4), 심실 박동 및 정상 박동의 결합(FVN: Fusion of ventricular and normal beat, 라벨 5), 결절 조기 박동(NP: Nodal (junctional) premature beat, 라벨 6), 심방 조기 수축(APC: Atrial premature contraction, 라벨 7), 결절성 이탈 박동(NE: Nodal (junctional) escape beat, 라벨 8), 페이스 박동(PACE: Paced beat, 라벨 9) 및/또는 페이스 박동 및 정상 박동의 결합(FPN: Fusion of paced and normal beat, 라벨 10) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 2에 도시된 바와 같이, 박동 분류부(230)로 전달되는 적어도 하나의 심박 신호(111)는 각각 R 피크(R)를 갖는 QRS군(Q, R, S)를 가질 수 있으며, 정상적인 심박동에 대응하는 심박 신호(111)인 경우, P파(P) 및 T파(T)를 더 가질 수 있다. 일 실시예에 의하면, 박동 분류부(230)는, 적어도 하나의 심박 신호(111)의 추출을 위해, 원 심전도 데이터(110) 등으로부터 R 피크(R)를 검출하고, R 피크로부터 일정한 기준 범위(z1, z2) 내의 신호를 검출할 수도 있다. 여기서, 일정한 기준 범위(z1, z2)는, 심장의 박동 기간을 고려하여 정의된 것일 수 있다. 통상 심장은, 0.6초 내지 1초 동안 1회 박동한다. 따라서, 정보의 손실을 고려하여, 심박 신호(111)의 추출을 위한 기준 범위(z1, z2)는 대략 1초 이상의 값(일례로 1.6초)에 대응하는 값으로 결정될 수 있다. 예를 들어, 제1 범위(z1) 및 제2 범위(z2)는, 각각 R 피크(R)로부터 대략 200 포인트에 해당하는 지점까지의 범위를 포함하도록 정의될 수 있다. 즉, 기준 범위(z1, z2)는, 대략 400 포인트(제1 범위(z1)에 해당하는 200 포인트 및 제2 범위(z2)에 해당하는 200 포인트의 합)의 길이를 가지게 된다.
박동 분류부(230)는, 적어도 하나의 심박 신호(111)를 획득하면, 이에 응하여 적어도 하나의 심박 신호(111) 각각을 대응하는 심박동 유형으로 분류하고, 분류 결과를 저장할 수 있다. 예를 들어, 박동 분류부(231)는 분류 대상인 심박 신호(111)가 정상 신호에 해당한다고 판단되면, 해당 심박 신호(111)에 정상 신호에 대응하는 라벨(즉, 0)을 연결하거나 부가하여 해당 심박 신호(111)에 대한 분류 결과를 저장할 수 있다. 이에 따라 적어도 하나의 유형(일례로 도 3에 도시된 바와 같이 11개의 유형)으로 분류된 일 군의 심박 신호(들)(21)가 획득될 수 있게 된다. 소정 유형으로 분류된 심박 신호(들)(21)은 데이터 증강부(240)로 전달될 수 있다. 실시예에 따라, 획득된 일 군의 심박 신호(들)(21)는 먼저 저장부(103)에 일시적으로 또는 비일시적으로 저장될 수도 있다.
도 4는 원 심전도 데이터 및 증강 심전도 데이터의 데이터 개수의 차이를 설명하기 위한 도표이고, 도 5는 증강 심전도 데이터의 생성 과정을 설명하기 위한 도면이다.
도 4에 도시된 바에 의하면, 원 심전도 데이터(110)에 속하는 데이터(즉, 심박 신호)(들)는 특정한 유형에 편향 분포하고 있을 수 있다. 예를 들어, MIT-BIH 부정맥 데이터베이스의 경우, 정상 유형에 대응하는 심박 신호는 72,124개가 존재하고, 좌각차단(LBBB)에 대한 심박 신호는 6,613개가 존재하며, 우각차단(RBBB)에 대한 심박 신호는 5,004개가 존재한다. 또한, 심실 조기 수축(PVC)에 대한 심박 신호는 7,001개가 존재하고, 심방 조기 수축(APC)에 대한 심박 신호는 1,960개가 존재하고, 페이스 박동(PACE)에 대응하는 심박 신호는 3,619개가 존재한다. 반면에 비정상적인 심장 조기 박동(AP)에 대한 심박 신호는 MIT-BIH 부정맥 데이터베이스에 오직 150개만 존재하고, 심실 박동 및 정상 박동의 결합(VFN)에 대한 심박 신호는 802개가 존재하며, 결절 조기 박동(NP)에 대한 심박 신호는 83개만 존재한다. 또한, 결절성 이탈 박동(NE)에 대한 심박 신호는 229개가 존재하고, 페이스 박동 및 정상 박동의 결합(FPN)에 대한 심박 신호는 260개가 존재한다. 다시 말해서, 비정상적인 심장 조기 박동(AP), 심실 박동 및 정상 박동의 결합(VFN), 결절 조기 박동(NP), 결절성 이탈 박동(NE) 및 페이스 박동 및 정상 박동의 결합(FPN)에 대한 데이터는 그 양이 상대적으로 작고 희소하다. 이와 같이 상대적으로 극히 희소한 유형의 데이터를 포함하는 전체 데이터를 이용하여 학습 모델을 훈련시키는 경우, 학습 모델은 이들 희소 유형의 심전도 데이터에 대한 유형을 적절하게 분류할 수 없다.
데이터 증강부(240)는, 심박동 유형 중에서 심박 신호가 상대적으로 부족한 특정한 유형(이하 희소 유형)을 결정하고, 희소 유형의 데이터(즉, 심박 신호)를 증강시켜 전체적인 데이터의 분포를 상대적으로 고르게 할 수 있다. 즉, 데이터 증강부(240)는, 특정한 유형(즉, 희소 유형)이 데이터를 극히 적게 포함하고 있는 경우, 희소 유형의 데이터의 개수를 훈련 및 학습에 충분할 정도로 증가시켜 새로운 일 군의 데이터(들)(일례로 증강 심전도 데이터(120))를 생성하고, 학습 모델이 증강 심전도 데이터(120)를 기반으로 훈련되도록 함으로써, 학습 모델의 분류 성능이 개선되도록 할 수 있다. 예를 들어, 데이터 증강부(240)는, 비정상적인 심장 조기 박동(AP), 심실 박동 및 정상 박동의 결합(VFN), 결절 조기 박동(NP), 결절성 이탈 박동(NE) 및 페이스 박동 및 정상 박동의 결합(FPN) 중 적어도 하나의 심박 신호의 개수를, 소정의 기준 개수까지 증가시킬 수 있다. 여기서 소정의 기준 개수는 사용자에 의해 선택되거나 미리 정의된 바에 따라 프로세서(200)에 의해 결정된 것일 수 있다. 예를 들어, 기준 개수는 원 심전도 데이터(10) 개수의 평균 값이나 중간 값일 수도 있고, 또는 데이터가 희소하지 않은 유형 중에서 포함하는 데이터의 양이 가장 작은 유형의 데이터 양(일례로 심방 조기 수축(APC)에 해당하는 데이터의 개수인 1,960)일 수도 있다. 이외에도 사용자나 설계자 등은 임의적 선택에 따라 기준 개수를 다양하게 정의할 수 있다.
일 실시예에 의하면, 데이터 증강부(240)는, 도 5에 도시된 바와 같이, 수신한 심박 신호 중 적어도 하나의 희소 유형에 해당하는 심박 신호(112, 113, 114, 예를 들어, 비정상적인 심장 조기 박동(AP), 심실 박동 및 정상 박동의 결합(VFN), 결절 조기 박동(NP), 결절성 이탈 박동(NE) 및 페이스 박동 및 정상 박동의 결합(FPN) 중 적어도 하나의 유형에 속하는 심박 신호)를 선택하고, 선택한 심박 신호(112, 113, 114) 중에서 적어도 하나의 심박 신호(113, 이하 기준 심박 신호)를 선택할 수 있다. 이어서, 데이터 증강부(240)는, 선택한 기준 심박 신호(113) 주변의 다른 심박 신호(이하 주변 심박 신호. 예를 들어 선정한 심박 신호(113)에 가장 이웃한 심박 신호(112, 114) 등을 포함 가능함)를 검출하고, 선택한 기준 심박 신호(113)와 검출된 주변 심박 신호(112, 114) 사이에 하나 이상의 심박 신호(121, 122)를 새롭게 생성함으로써, 전체적인 심박 신호(112, 113, 114, 121, 122)의 개수를 증가시킬 수 있다. 이 경우, 하나 이상의 생성된 심박 신호(121, 122)는, 임의적으로 랜덤하게 생성될 수도 있으며, 랜덤하게 생성된 심박 신호(121, 122)의 값은 기준 심박 신호(113)의 값과 주변 심박 신호(112, 114) 값의 범위 내에서 결정된 것일 수도 있다. 또한, 하나 이상의 새로운 심박 신호(121, 122)는, 기준 심박 신호(113)와 주변 심박 신호(112, 114) 각각의 값에 적어도 하나의 보간법을 적용하여 생성된 것일 수도 있다. 생성되는 심박 신호(121, 122)의 개수는 기 결정된 기준 개수 및 희소한 유형에 해당하는 심박 신호(112, 113, 114)의 개수에 따라 달라질 수 있다. 이와 같은 데이터 증강을 위해서, 예를 들어, 스모트(SMOTE: synthetic minority oversampling technique)나 에이다신(ADASYN: Adaptive synthetic sampling approach for imbalanced learning) 등이 이용될 수도 있으나, 이에 한정되지는 않는다.
이와 같은 데이터 증강부(240)의 데이터 증강 동작에 따라서, 도 4에 도시된 바와 같이, 상대적으로 희소한 데이터를 가진 유형(비정상적인 심장 조기 박동(AP), 심실 박동 및 정상 박동의 결합(VFN), 결절 조기 박동(NP), 결절성 이탈 박동(NE) 및 페이스 박동 및 정상 박동의 결합(FPN) 중 적어도 하나)에 속하는 데이터의 양이 대략 1960개 정도로 증가하게 된다. 데이터가 증강되어 획득된 새로운 데이터, 즉 증강 심전도 데이터(120)는 저장부(103)에 저장될 수도 있으며, 실시예에 따라 데이터 분할부(250)나 훈련부(260)로 전달될 수도 있다.
데이터 분할부(250)는 증강 심전도 데이터(120)를 소정의 기준에 따라 나눠 하나 이상의 데이터 세트를 생성할 수 있다. 예를 들어, 데이터 분할부(250)는, 증강 심전도 데이터(120)의 각각의 데이터를 훈련용 데이터, 검증용 데이터 및 테스트용 데이터 중 적어도 하나로 분류하여, 세 개의 데이터 세트(훈련용 데이터 세트, 검증용 데이터 세트 및 테스트용 데이터 세트)를 획득할 수도 있다. 이 경우, 데이터 분할부(250)는, 훈련용 데이터 세트 및 검증용 데이터 세트 중 적어도 하나는 데이터 증강부(240)에 의해 신규 생성된 데이터(새로운 심박 신호)를 포함하도록 하나, 테스트용 데이터 세트는 기존에 원 심전도 데이터(110)에 존재하였던 데이터(즉, 원 심전도 데이터(110) 및 증강 심전도 데이터(120) 양자 모두에 속하는 심박 신호)만을 포함하도록 데이터 세트를 생성하는 것도 가능하다. 다시 말해서, 테스트용 데이터 세트는, 데이터 증강부(240)에 의해 새로 생성된 심박 신호는 포함하지 않을 수 있다. 데이터 분할부(250)에 의해 획득된 하나 이상의 데이터 세트는 필요에 따라 저장부(103)에 저장될 수도 있고, 출력부(105)를 통해 적어도 하나의 다른 장치(예를 들어, 휴대용 메모리 장치나, 또 다른 정보 처리 장치(스마트폰, 데스크톱 컴퓨터 또는 서버용 하드웨어 장치 등))로 전달될 수도 있다.
훈련부(260)는, 증강 심전도 데이터(120)를 이용하거나, 또는 데이터 분할부(250)에 의해 증강 심전도 데이터(120)로부터 획득된 적어도 하나의 데이터 세트(일례로 훈련용 데이터 세트, 검증용 데이터 세트 및 테스트용 데이터 세트)를 이용하여 적어도 하나의 학습 모델을 훈련시킬 수 있다. 이 경우, 훈련부(260)는 데이터 분할부(250)가 생성한 훈련용 데이터 세트를 이용하여 학습 모델을 훈련시키고, 검증용 데이터 세트를 이용하여 훈련된 학습 모델에 대한 검증을 수행할 수도 있다. 또한, 테스트용 데이터 세트를 이용하여 학습 모델에 대한 테스트를 더 수행할 수도 있다. 여기서, 학습 모델은, 필요에 따라, 심층 신경망(DNN: Deep Neural Network), 콘볼루션 신경망(CNN: Convolutional Neural Network), 순환 신경망(RNN: Recurrent Neural Network), 콘볼루션 순환 신경망(CRNN: Convolutional Recurrent Neural Network), 심층 신뢰 신경망(DBN: Deep Belief Network), 심층 Q-네트워크(Deep Q-Networks), 장단기 메모리(LSTM: Long short term memory), 다층 퍼셉트론(Multi-layer Perceptron), 서포트 벡터 머신(SVM: support vector machine), 생성적 적대 신경망(GAN: Generative Adversarial Network) 및/또는 조건적 생성적 적대 신경망(cGAN: Conditional GAN) 등의 적어도 하나의 학습 모델을 포함할 수 있다. 훈련부(260)의 훈련에 따라 훈련된 학습 모델이 획득될 수 있다. 훈련된 학습 모델은, 저장부(103)에 저장될 수도 있고, 필요에 따라 출력부(105)를 통해 적어도 하나의 다른 장치(일례로 휴대용 메모리 장치나 다른 정보 처리 장치 등)로 전달될 수도 있다.
도 6은 훈련부의 일 실시예에 대한 블록도이다.
예를 들어, 도 6에 도시된 바와 같이 훈련부(260)는, 5개의 특징 추출 계층(263-1 내지 267-3)과 2개의 분류 계층(268-1 내지 268-3)을 포함하는 1차원 콘볼루션 신경망(261, 1D CNN)을 훈련시킬 수도 있다. 구체적으로 1차원 콘볼루션 신경망(261)은, 증강 심전도 데이터(120) 등의 데이터가 입력되는 입력층(262)과, 콘볼루션을 수행하는 다수의 콘볼루션 층(263-1, 264-1, 265-1, 266-1, 267-1)과, 각각의 콘볼루션 층(263-1, 264-1, 265-1, 266-1, 267-1)의 출력 결과에 대해 배치 정규화를 수행하는 배치 정규화 층(263-2, 264-2, 265-2, 266-2, 267-2)과, 배치 정규화 층(263-2, 264-2, 265-2, 266-2, 267-2)의 출력 결과에 대해 풀링(맥스 풀링 또는 평균 풀링 등)을 수행하는 풀링층(263-3, 264-3, 265-3, 266-3, 267-3)과, 마지막 풀링층(267-3)의 출력 결과를 수신하고, 순차적으로 데이터를 처리하여 전달하는 완전 연결층(268-1 내지 268-3)과, 마지막 완전 연결층(268-3)에 연결된 출력층(169)를 포함할 수 있다. 여기서, 콘볼루션 층(263-1, 264-1, 265-1, 266-1, 267-1)은, 필터의 크기나 커널 크기는, 모두 동일하게 정해질 수도 있고, 일부는 동일하게 정해지고, 다른 일부는 상이하게 정해질 수도 있으며, 모두 상이하게 정해질 수도 있다. 예를 들어, 각각의 콘볼루션 층(263-1, 264-1, 265-1, 266-1, 267-1)의 필터의 크기는, 순차적으로, 8, 16, 32, 32 및 64로 주어지고, 커널 크기는 16, 32, 32, 32 및 24로 주어질 수 있다. 각각의 풀링층(263-3, 264-3, 265-3, 266-3, 267-3)도 마찬가지로 풀링 크기나 스트라이드(stride)의 크기 등은 모두 동일하게 정해질 수도 있고, 일부는 동일하게 정해지고, 다른 일부는 상이하게 정해질 수도 있으며, 모두 상이하게 정해질 수도 있다. 예를 들어, 모든 풀링층(263-3, 264-3, 265-3, 266-3, 267-3)의 풀링 크기는 3으로, 스트라이드는 2로 정해질 수 있다. 한편, 각 층(263-1 내지 268-3) 중 적어도 하나의 층에 대한 활성화 함수로는, 렐루 함수, 시그모이드 함수, 하이퍼볼릭 탄젠트 함수 또는 소프트맥수 함수 등이 이용될 수 있다.
도 7은 훈련된 학습 모델의 성능을 설명하기 위한 도면으로, 도 10에서 세로 축은 실제로 분류된 유형을, 가로 축은 훈련된 학습 모델에 의해 판단된 유형을 의미한다. 실제로 분류된 유형과 학습 모델에 의해 판단된 유형이 교차하는 지점은, 좌측에 기재된 라벨(0 내지 10)의 유형에 속하는 데이터가 입력되었을 때, 학습 모델이 하단에 기재된 라벨(0 내지 10)의 유형이라는 판단 결과를 출력할 확률을 의미한다.
도 7에 도시된 바에 의하면, 정상에 해당하는 심전도 데이터(라벨 0), 우각차단(RBBB)에 해당하는 심전도 데이터(라벨 2), 비정상적인 심장 조기 박동(AP)에 해당하는 심전도 데이터(라벨 3), 결절 조기 박동(NP)에 해당하는 심전도 데이터(라벨 6), 결절성 이탈 박동(NE)에 해당하는 심전도 데이터(라벨 8), 페이스 박동(PACE)에 해당하는 심전도 데이터(라벨 9) 및 페이스 박동 및 정상 박동의 결합(FPN)에 해당하는 심전도 데이터(라벨 10)가 입력된 경우에는, 학습 모델은 완벽하게 정확하게 해당 유형을 판별 및 분류할 수 있다. 또한, 심실 조기 수축(PVC)에 해당하는 심전도 데이터(라벨 4), 심실 박동 및 정상 박동의 결합(FVN)에 해당하는 심전도 데이터(라벨 5) 또는 심방 조기 수축(APC)에 해당하는 심전도 데이터(라벨 7)에 해당하는 데이터가 입력된 경우에도 적어도 94% 이상의 확률로 정확하게 해당 데이터를 분류할 수 있었다. 따라서, 상술한 바와 같이 증강 심전도 데이터(120)를 이용하여 훈련된 학습 모델은, 매우 높은 정확도로, 심전도 데이터에 대응하는 심박동 유형을 판별할 수 있음을 알 수 있다.
상술한 데이터 증강 장치(20)는, 상술한 노이즈 제거, 정규화, 박동 분류, 데이터 증강, 데이터 세트의 생성 및 학습 모델의 훈련 중 적어도 하나의 동작을 수행할 수 있도록 특별히 고안된 장치를 이용하여 구현될 수도 있고, 또는 하나 또는 둘 이상의 정보처리장치를 단독으로 이용하거나 조합 이용함으로써 구현될 수도 있다. 여기서, 하나 또는 둘 이상의 정보처리장치는, 예를 들어, 데스크톱 컴퓨터, 랩톱 컴퓨터, 서버용 하드웨어 장치, 스마트 폰, 태블릿 피씨, 스마트 시계, 스마트 밴드, 두부 장착형 디스플레이(HMD: Head Mounted Display) 장치, 휴대용 또는 비휴대용 게임기, 내비게이션 장치, 리모트 컨트롤러(리모컨), 디지털 텔레비전, 셋 톱 박스, 미디어 스트리밍 장치, 디브이디 재생 장치, 컴팩트 디스크 재생 장치, 음향 재생 장치(인공 지능 스피커 등), 가전 기기(일례로 냉장고, 선풍기, 공조기, 오븐 또는 세탁기 등), 유인 또는 무인 이동체(일례로 승용차, 버스나 이륜차와 같은 차량, 이동성 로봇, 무선 모형 차량, 로봇 청소기 등), 유인 또는 무인 비행체(일례로 항공기나, 헬리콥터나, 드론, 모형 비행기, 모형 헬리콥터 등), 의료 기기(엑스선 촬영 장치, 컴퓨터 단층 촬영 장치(CT: Computed Tomography), 유방 촬영 장치 또는 자기공명촬영(MRI: Magnetic Resonance Imaging) 장치 등), 로봇(가정용, 산업용 또는 군사용) 또는 기계 장치(산업용 또는 군사용) 등을 포함할 수 있으나 이에 한정되는 것은 아니다. 설계자나 사용자 등은 상황이나 조건에 따라서 상술한 정보처리장치 이외에도 정보의 연산 처리 및 제어가 다양한 장치 중 적어도 하나를 상술한 데이터 증강 장치(20)로 고려하여 채용할 수 있다.
이하 도 8 을 참조하여 데이터 증강 방법의 일 실시예를 설명한다.
도 8은 데이터 증강 방법의 일 실시예에 대한 흐름도이다.
도 8에 도시된 바를 참조하면, 먼저 원 심전도 데이터가 획득된다(300). 원 심전도 데이터는, 정상 또는 비정상 심박동에 대응하는 적어도 하나의 심박 신호를 포함할 수 있다. 원 심전도 데이터는 데이터베이스의 형태로 마련된 것일 수 있으며, 데이터베이스는, 예를 들어, MIT-BIH 데이터베이스 등과 같은 부정맥 데이터베이스의 형태로 주어질 수 있다. 원 심전도 데이터의 획득은, 사용자의 직접적인 입력, 휴대용 메모리 장치로부터의 전달 및/또는 유무선 통신 네트워크를 통한 전달 등을 통해 수행될 수 있다.
원 심전도 데이터에 대한 잡음 제거 처리가 수행된다(310). 일 실시예에 의하면, 잡음 제거 처리는 4차 버터워스 필터 등의 필터를 이용하여 구현될 수 있으며, 통과 대역은 예를 들어, 0.5Hz 내지 15Hz로 주어진 것일 수도 있다.
원 심전도 데이터 또는 잡음 제거 심전도 데이터에 대해 정규화가 수행될 수 있다(320). 정규화는, 예를 들어, 각각의 원 심전도 데이터나 잡음 제거 심전도 데이터에 대해 전체 원 심전도 데이터의 평균이나 잡음 제거 심전도 데이터의 평균 등을 차감하고, 차감 결과에 대해 원 심전도 데이터의 표준 편차나 잡음 제거 심전도 데이터의 표준 편차를 나눔으로써 수행될 수도 있다.
원 심전도 데이터, 잡음 제거 심전도 데이터 또는 정규화된 심전도 데이터가 획득되면, 이로부터 심박 신호가 획득되고 분류될 수 있다(330). 심박 신호의 획득은 원 심전도 데이터, 잡음 제거 심전도 데이터 또는 정규화된 심전도 데이터의 R 피크를 이용하여 수행될 수 있다. 구체적으로 예를 들어, 심박 신호의 획득은 원 심전도 데이터, 잡음 제거 심전도 데이터 또는 정규화된 심전도 데이터로부터 R 피크를 검출하고, R 피크로부터 일정한 기준 범위 내의 모든 신호(파동)을 추출하여 수행될 수도 있다. 여기서, 일정한 기준 범위는 심장의 박동 기간을 고려하여 정의될 수 있으며, 예를 들어, 대략 1초 이상의 값(일례로 1.6초)에 대응하는 범위로 결정될 수 있다. 적어도 하나의 심박 신호가 원 심전도 데이터, 잡음 제거 심전도 데이터 또는 정규화된 심전도 데이터로부터 검출되면, 검출된 적어도 하나의 심박 신호의 분류가 수행된다. 예를 들어, 심박 신호 각각마다 대응하는 심박동 유형이 결정되고, 결정된 유형에 대응하는 라벨이 심박 신호에 부가될 수 있다. 여기서, 심박동 유형은 상술한 바와 같이 정상, 좌각차단(LBBB), 우각차단(RBBB), 비정상적인 심장 조기 박동(AP), 심실 조기 수축(PVC), 심실 박동 및 정상 박동의 결합(FVN), 결절 조기 박동(NP), 심방 조기 수축(APC), 결절성 이탈 박동(NE), 페이스 박동(PACE) 및/또는 페이스 박동 및 정상 박동의 결합(FPN) 등을 포함할 수도 있다.
이어서 데이터가 극히 적은 희소 유형에 대한 데이터 증강 처리가 수행될 수 있다(340). 즉, 희소 유형 내의 데이터의 개수가 증가될 수 있다. 이 경우, 증가된 이후의 데이터의 개수는 미리 정의된 기준 개수와 동일하거나 또는 이에 근사한 것일 수 있다. 기준 개수는, 예를 들어, 원 심전도 데이터 개수의 평균 값, 원 심전도 데이터 개수의 중간 값 또는 그 양이 상대적으로 적은 비희소 유형의 데이터 양 등을 포함할 수 있다. 데이터 증강 동작은, 예를 들어, 소정의 희소 유형에 해당하는 심박 신호 중에서 적어도 하나의 심박 신호를 선택하고, 선택된 적어도 하나의 심박 신호 주변에 위치한 적어도 하나의 다른 심박 신호(일례로 선택된 심박 신호에 인접한 심박 신호(들))를 검출하고, 선택된 적어도 하나의 심박 신호 및 검출된 적어도 하나의 인접 심박 신호 사이에 임의적으로 랜덤하게 심박 신호를 생성함으로써 수행될 수도 있다.
실시예에 따라서, 데이터 증강 처리에 따라 획득된 증강 심전도 데이터는 적어도 둘 이상의 데이터 세트로 분할될 수도 있다(350). 예를 들어, 증강 심전도 데이터는, 훈련용 데이터 세트, 검증용 데이터 세트 및 테스트용 데이터 세트로 분할될 수도 있다. 이 경우, 훈련용 데이터 세트나 검증용 데이터 세트는 증강 처리에 따라 새롭게 생성된 심박 신호를 포함하도록 생성되고, 테스트용 데이터 세트는 원 심전도 데이터에 기 존재하였던 심박 신호만을 포함하도록 생성될 수도 있다.
일 실시예에 의하면, 순차적으로 학습 모델에 대한 훈련이 수행될 수 있다(360). 학습 모델의 훈련은, 상술한 훈련용 데이터를 이용하여 수행되고, 검증용 데이터를 이용하여 검증될 수도 있다. 학습 모델의 훈련은 데이터 증강 처리에 따라 획득된 증강 심전도 데이터를 이용하여 수행될 수도 있다. 여기서, 학습 모델은, 예를 들어, 콘볼루션 신경망, 다층 퍼셉트론, 심층 신경망, 순환 신경망, 콘볼루션 순환 신경망 또는 장단기 메모리 등을 포함할 수도 있으나, 이에 한정되는 것은 아니다.
상술한 원 심전도 데이터의 획득(300), 잡음 제거(310), 데이터 정규화(320), 심박 신호의 획득 및 분류(330), 희소한 특정 유형의 데이터의 증강(340), 데이터 분할(350) 및 학습 모델의 훈련 과정(360)은 모두 동일한 정보처리장치에 의해 수행될 수도 있고, 일부는 동일한 정보처리장치에 의해 다른 일부는 상이한 정보처리장치에 의해 수행될 수도 있으며, 모두 상이한 정보처리장치에 의해 수행될 수도 있다. 또한, 상술한 잡음 제거 과정(310), 정규화 과정(320), 데이터 분할(350) 및 학습 모델의 훈련 과정(360)은, 실시예에 따라서, 생략될 수도 있다.
상술한 실시예에 따른 데이터 증강 방법은, 컴퓨터 장치에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다. 프로그램은, 명령어, 라이브러리, 데이터 파일 및/또는 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며, 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다. 또한, 여기서, 컴퓨터 장치는, 프로그램의 기능을 실현 가능하게 하는 프로세서나 메모리 등을 포함하여 구현된 것일 수 있으며, 필요에 따라 통신 장치를 더 포함할 수도 있다. 또한, 상술한 데이터 증강 방법을 구현하기 위한 프로그램은, 컴퓨터 등의 장치에 의해 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터에 의해 판독 가능한 기록 매체는, 예를 들어, 롬, 램, SD카드 또는 플래시 메모리(일례로 솔리드 스테이트 드라이브(SSD) 등)와 같은 반도체 저장 매체나, 하드 디스크 또는 플로피 디스크 등과 같은 자기 디스크 저장 매체나, 콤팩트 디스크 또는 디브이디 등과 같은 광 기록 매체나, 또는 플롭티컬 디스크 등과 같은 자기-광 기록 매체 등과 같이 컴퓨터 등의 장치의 호출에 따라 실행되는 하나 이상의 프로그램을 일시적 또는 비일시적으로 저장 가능한 적어도 한 종류의 물리적 저장 매체를 포함할 수 있다.
이상 데이터 증강 장치 및 데이터 증강 방법의 여러 실시예에 대해 설명하였으나, 데이터 증강 장치 또는 데이터 증강 방법은 오직 상술한 실시예에 한정되는 것은 아니다. 해당 기술 분야에서 통상의 지식을 가진 자가 상술한 실시예를 기초로 수정 및 변형하여 구현할 수 있는 다른 다양한 장치나 방법 역시 상술한 데이터 증강 장치 또는 데이터 증강 방법의 일 실시예가 될 수 있다. 예를 들어, 설명된 방법(들)이 설명된 바와 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소(들)가 설명된 바와 다른 형태로 결합, 연결 또는 조합되거나 다른 구성 요소 또는 균등물 등에 의하여 대치 또는 치환되더라도, 상술한 데이터 증강 장치 및/또는 데이터 증강 방법의 일 실시예가 될 수 있다.
100: 데이터 증강 장치 110: 원 심전도 데이터
120: 증강 심전도 데이터 200: 프로세서
210: 노이즈제거부 220: 정규화부
230: 박동 분류부 240: 데이터 증강부
250: 데이터 분할부 260: 훈련부

Claims (12)

  1. 적어도 하나의 심박 신호를 포함하는 적어도 하나의 원 심전도 데이터를 획득하는 입력부;
    상기 적어도 하나의 심박 신호를 대응하는 심박동 유형으로 분류하고, 심박동 유형 중에서 심박 신호가 적은 희소 유형에 대해 심박 신호를 증가시켜 증강 심전도 데이터를 획득하되, 상기 희소 유형의 심박 신호 중에서 기준 심박 신호를 선택하고, 상기 기준 심박 신호 주변의 적어도 하나의 주변 심박 신호를 선택하고, 상기 기준 심박 신호 및 상기 주변 심박 신호 사이에 임의의 심박 신호를 하나 이상 새롭게 생성하여 상기 희소 유형의 심박 신호를 증강시키되,
    생성된 상기 임의의 심박 신호의 값은 기준 심박 신호의 값과 주변 심박 신호 값의 범위 내에서 결정된 것인 프로세서;를 포함하는 데이터 증강 장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 원 심전도 데이터에 대해 잡음을 제거하여 잡음 제거 심전도 데이터를 획득하는 데이터 증강 장치.
  3. 제2항에 있어서,
    상기 프로세서는, 상기 원 심전도 데이터 또는 상기 잡음 제거 심전도 데이터에 대해 정규화를 수행하여 정규화된 심전도 데이터를 획득하고, 상기 원 심전도 데이터, 상기 잡음 제거 심전도 데이터 또는 상기 정규화된 심전도 데이터를 이용하여 상기 증강 심전도 데이터를 획득하는 데이터 증강 장치.
  4. 제3항에 있어서,
    상기 프로세서는, 상기 원 심전도 데이터, 상기 잡음 제거 심전도 데이터 또는 상기 정규화된 심전도 데이터로부터 R 피크를 검출하고, 상기 R 피크로부터 일정한 기준 범위 내에서 신호를 추출하여 상기 심박 신호를 획득하는 데이터 증강 장치.
  5. 제1항에 있어서,
    상기 프로세서는, 상기 증강 심전도 데이터를 분할하여, 훈련용 데이터, 검증용 데이터 및 테스트용 데이터를 생성하되, 상기 테스트용 데이터는 상기 원 심전도 데이터 및 상기 증강 심전도 데이터 양자에 모두 속하는 심박 신호만을 포함하는 데이터 증강 장치.
  6. 제5항에 있어서,
    상기 프로세서는, 상기 훈련용 데이터를 이용하여 학습 모델을 훈련시키되, 상기 학습 모델은, 1차원 콘볼루션 신경망을 포함하는 데이터 증강 장치.
  7. 데이터 증강 장치가 적어도 하나의 심박 신호를 포함하는 적어도 하나의 원 심전도 데이터를 획득하는 단계;
    상기 데이터 증강 장치가 상기 적어도 하나의 심박 신호를 대응하는 심박동 유형으로 분류하는 단계;
    상기 데이터 증강 장치가 상기 심박동 유형 중에서 심박 신호가 적은 희소 유형에 대해 심박 신호를 증가시켜 증강 심전도 데이터를 획득하는 단계;를 포함하되,
    상기 데이터 증강 장치가 상기 심박동 유형 중에서 심박 신호가 적은 희소 유형에 대해 심박 신호를 증가시켜 증강 심전도 데이터를 획득하는 단계는,
    상기 데이터 증강 장치가 상기 희소 유형의 심박 신호 중에서 기준 심박 신호를 선택하는 단계;
    상기 데이터 증강 장치가 상기 기준 심박 신호 주변의 적어도 하나의 주변 심박 신호를 선택하는 단계; 및
    상기 데이터 증강 장치가 상기 기준 심박 신호 및 상기 주변 심박 신호 사이에 임의의 심박 신호를 하나 이상 새롭게 생성하여 상기 희소 유형의 심박 신호를 증강시키되, 생성된 임의의 심박 신호의 값은 기준 심박 신호의 값과 주변 심박 신호 값의 범위 내에서 결정된 것인 단계;를 포함하는 데이터 증강 방법.
  8. 제7항에 있어서,
    상기 데이터 증강 장치가 상기 원 심전도 데이터에 대해 잡음을 제거하여 잡음 제거 심전도 데이터를 획득하는 단계;를 더 포함하는 데이터 증강 방법.
  9. 제8항에 있어서,
    상기 데이터 증강 장치가 상기 원 심전도 데이터 또는 상기 잡음 제거 심전도 데이터에 대해 정규화를 수행하여 정규화된 심전도 데이터를 획득하는 단계;를 더 포함하고,
    상기 증강 심전도 데이터를 획득하는 단계는
    상기 데이터 증강 장치가 상기 원 심전도 데이터, 상기 잡음 제거 심전도 데이터 또는 상기 정규화된 심전도 데이터를 이용하여 상기 증강 심전도 데이터를 획득하는 단계;를 포함하는 데이터 증강 방법.
  10. 제9항에 있어서,
    상기 데이터 증강 장치가 상기 원 심전도 데이터, 상기 잡음 제거 심전도 데이터 또는 상기 정규화된 심전도 데이터로부터 R 피크를 검출하는 단계; 및
    상기 데이터 증강 장치가 상기 R 피크로부터 일정한 기준 범위 내에서 신호를 추출하여 상기 심박 신호를 획득하는 단계;를 더 포함하는 데이터 증강 방법.
  11. 제7항에 있어서,
    상기 데이터 증강 장치가 상기 증강 심전도 데이터를 분할하여, 훈련용 데이터, 검증용 데이터 및 테스트용 데이터를 생성하는 단계;를 포함하고,
    상기 테스트용 데이터는 상기 원 심전도 데이터 및 상기 증강 심전도 데이터 양자에 모두 속하는 심박 신호만을 포함하는 데이터 증강 방법.
  12. 제11항에 있어서,
    상기 데이터 증강 장치가 상기 훈련용 데이터를 이용하여 학습 모델을 훈련시키는 단계;를 포함하고,
    상기 학습 모델은, 1차원 콘볼루션 신경망을 포함하는 데이터 증강 방법.
KR1020210179255A 2021-12-15 2021-12-15 데이터 증강 장치 및 방법 KR102589471B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210179255A KR102589471B1 (ko) 2021-12-15 2021-12-15 데이터 증강 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210179255A KR102589471B1 (ko) 2021-12-15 2021-12-15 데이터 증강 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230090465A KR20230090465A (ko) 2023-06-22
KR102589471B1 true KR102589471B1 (ko) 2023-10-16

Family

ID=86989255

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210179255A KR102589471B1 (ko) 2021-12-15 2021-12-15 데이터 증강 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102589471B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117976148B (zh) * 2024-04-01 2024-06-21 成都市双流区妇幼保健院 一种基于机器学习的儿童心理健康问题预测方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6831944B1 (ja) * 2020-08-21 2021-02-17 生物島実験室 心電図データの拡張方法並びにその装置、電子機器及び媒体
CN112686091A (zh) * 2020-11-23 2021-04-20 南京信息工程大学 基于深度神经网络的两步骤心律失常分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102163217B1 (ko) 2018-06-14 2020-10-08 한국과학기술원 심층 컨볼루션 신경망을 이용한 심전도 부정맥 분류 방법 및 장치
KR102171236B1 (ko) 2019-03-14 2020-10-28 서울시립대학교 산학협력단 심장 박동의 타입을 분류하는 방법 및 이를 이용한 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6831944B1 (ja) * 2020-08-21 2021-02-17 生物島実験室 心電図データの拡張方法並びにその装置、電子機器及び媒体
CN112686091A (zh) * 2020-11-23 2021-04-20 南京信息工程大学 基于深度神经网络的两步骤心律失常分类方法

Also Published As

Publication number Publication date
KR20230090465A (ko) 2023-06-22

Similar Documents

Publication Publication Date Title
US20220125322A1 (en) Methods and Systems for Determining Abnormal Cardiac Activity
Wang et al. Arrhythmia classification algorithm based on multi-head self-attention mechanism
US20220148191A1 (en) Image segmentation method and apparatus and storage medium
CN111728609B (zh) 脑电信号的分类方法、分类模型的训练方法、装置及介质
Karatzia et al. Artificial intelligence in cardiology: Hope for the future and power for the present
Li et al. SLC-GAN: An automated myocardial infarction detection model based on generative adversarial networks and convolutional neural networks with single-lead electrocardiogram synthesis
CN111742332A (zh) 经由多预测模型架构进行异常检测的***和方法
CN111863236A (zh) 医疗机器合成数据和对应事件生成
US20220093215A1 (en) Discovering genomes to use in machine learning techniques
CA3069891A1 (en) Discovering novel features to use in machine learning techniques, such as machine learning techniques for diagnosing medical conditions
Rahman et al. ECG classification for detecting ECG arrhythmia empowered with deep learning approaches
Toğaçar et al. Brain hemorrhage detection based on heat maps, autoencoder and CNN architecture
Chagas et al. A new approach for the detection of pneumonia in children using CXR images based on an real-time IoT system
CN112203582A (zh) 脉冲传播时间确定方法和***
KR102589471B1 (ko) 데이터 증강 장치 및 방법
Wiem et al. Emotion sensing from physiological signals using three defined areas in arousal-valence model
CN111798944A (zh) 基于emr/ehr和心电图的心脏异常分析多模式框架
Zhang et al. On-device lumbar-pelvic movement detection using dual-IMU: a DNN-based approach
CN117224080B (zh) 大数据的人体数据监测方法装置
Luo et al. Exploring adaptive graph topologies and temporal graph networks for EEG-based depression detection
JP2022016356A (ja) カテーテルの位置を決定するためのシステム及び方法
Zang et al. AmtNet: Attentional multi-scale temporal network for phonocardiogram signal classification
Roy et al. Identification and classification of human mental stress using physiological data: A low-power hybrid approach
Rahimzadeh et al. Artificial Intelligence-based Motion Sickness Detection: A Survey
Alsalamah Heart Diseases Diagnosis Using Artificial Neural Networks

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant