KR102440217B1 - 딥러닝 기반의 수면단계 판정 장치 및 그 시스템 - Google Patents

딥러닝 기반의 수면단계 판정 장치 및 그 시스템 Download PDF

Info

Publication number
KR102440217B1
KR102440217B1 KR1020200141898A KR20200141898A KR102440217B1 KR 102440217 B1 KR102440217 B1 KR 102440217B1 KR 1020200141898 A KR1020200141898 A KR 1020200141898A KR 20200141898 A KR20200141898 A KR 20200141898A KR 102440217 B1 KR102440217 B1 KR 102440217B1
Authority
KR
South Korea
Prior art keywords
sleep stage
data
deep learning
biometric
stage determination
Prior art date
Application number
KR1020200141898A
Other languages
English (en)
Other versions
KR20220057677A (ko
Inventor
조문증
한창용
Original Assignee
경상국립대학교산학협력단
주식회사 세이포드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경상국립대학교산학협력단, 주식회사 세이포드 filed Critical 경상국립대학교산학협력단
Priority to KR1020200141898A priority Critical patent/KR102440217B1/ko
Publication of KR20220057677A publication Critical patent/KR20220057677A/ko
Application granted granted Critical
Publication of KR102440217B1 publication Critical patent/KR102440217B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/397—Analysis of electromyograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

본 발명의 실시예에 따른 딥러닝 기반의 수면단계 판정장치는, 피검사자의 생체 데이터를 획득하는 센서 시스템으로부터 상기 생체 데이터를 수신하는 생체신호 검출부; 상기 생체 데이터를 그래픽 이미지로 변환한 생체 영상정보를 생성하는 생체신호 영상생성부; 상기 생체 영상정보를 수면단계 판단 모델의 입력 데이터 형식에 대응되는 포맷으로 변환한 생체 전처리 데이터를 생성하는 전처리부; 상기 수면단계 판단 모델을 기반으로 상기 생체 전처리 데이터에 기초한 딥러닝을 수행하여 상기 피검사자의 수면단계를 측정한 수면단계 판정정보를 제공하는 딥러닝 분류부; 및 상기 수면단계 판정정보를 소정의 형식으로 출력하는 결과 출력부; 를 포함한다.

Description

딥러닝 기반의 수면단계 판정 장치 및 그 시스템{SYSTEM AND DEVICE FOR DETERMINING SLEEP STAGES BASED ON DEEP-LEARNING}
본 발명은 딥러닝에 기반한 수면단계 판정 장치 및 그 시스템에 관한 것이다. 보다 상세하게는, 학습된 딥러닝 뉴럴 네트워크에 기초하여 피검사자의 생체 데이터체 기초한 수면단계를 판정하는 딥러닝 기반의 수면단계 판정 장치 및 그 시스템에 관한 것이다.
수면다원검사(Polysomnography)란, 피검사자의 생체 데이터를 기초로 해당 피검사자의 수면상태를 분석하기 위한 검사로서, 수면 중 뇌파, 안구운동, 근육 움직임, 호흡, 심전도 및/또는 산소 포화도 등을 종합적으로 측정하는데 사용되고 있다.
이러한 수면다원검사를 이용하면, 피검사자에 대한 수면 무호흡증 및/또는 수면 보행증 등을 포함하는 수면장애 증상을 추정할 수 있으며, 이에 대한 적절한 대처가 용이하게 수행될 수 있다.
일반적으로, 위와 같은 수면다원검사는, 사람의 수면주기에 따라서 변화하는 뇌파의 형상에 기초한 APSS(Association for the Psychological Study of Sleep)의 분류 방식으로 수행된다.
여기서 APSS 방식이란, 다양한 센서를 통해 측정된 피검사자의 생체 데이터(예를 들면, 뇌파(EEG: electroencephalography), 안구전도(EOG: electro-oculogram) 및/또는 턱의 근전도(EMG: electromyogram) 등)를 전문가가 주관적인 판단에 기초하여 해당 생체 데이터가 특이점을 포함하고 있는지 수동으로 판독하는 기법이다.
다시 말하면, 기존의 수면다원검사 방식은, 모호한 기준에 기반한 전문가의 주관적 판단에 의존하고 있어 그 정확성과 신뢰도가 저하된다는 문제가 있다.
자세히, 수면다원검사에서의 판정 기준이 명확한 것처럼 보일 수도 있으나 피검사자에 따라서 생체 데이터가 포함하는 생체신호의 형태나 크기가 서로 다르며, 해당 생체신호에서 나타나는 비정형성으로 인해 전문가들 사이에서도 많은 오차를 보이고 있다.
또한, 수면다원검사를 기초로 피검사자의 수면단계를 판정할 시 이용되는 주파수 대역에 대한 식별 기준이 모호하여, 예를 들면 수면단계를 나누는 표준방식이 수면단계 3단계인 NREM3의 한 주기당 델타파를 20% 이상 50% 미만으로 정해놓고 있으나, 실제 데이터를 보고 이를 정확히 수치화하는 것은 불가능한 상황이다.
따라서, 동일한 생체 데이터에 대해서도 전문가의 개인적인 소견이나 숙련도에 따라서 상이한 판정 결과를 보일 수 있어 정확한 수면단계 측정이 어려운 문제가 있다.
더하여, 기존의 수면다원검사 방식은, 전문가에 의해 수작업으로 진행됨에 따라서 소요 시간이 너무 길어진다는 문제가 있다.
즉, 기존의 수면다원검사 수행 시에는, 피검사자로부터 측정된 생체 데이터를 전문가가 판독하는 시간이 필요하기 때문에, 해당하는 검사 결과를 얻기까지 상당한 시간이 소요되고 그에 따른 분석비용 또한 증가하여 자유로운 수면다원검사가 어렵다는 문제점이 있다.
KR 10-2004219 B1
본 발명은, 상술된 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 학습된 딥러닝 뉴럴 네트워크(수면단계 판단 모델)에 기초하여 피검사자의 생체 데이터를 기반으로 수면단계를 판정하는 딥러닝 기반의 수면단계 판정 장치 및 그 시스템을 제공하는데 그 목적이 있다.
자세히, 본 발명은, 학습된 딥러닝 뉴럴 네트워크에 기반하여 자동화된 수면단계 판단 프로세스를 제공하는 딥러닝 기반의 수면단계 판정 장치 및 그 시스템을 제공하고자 한다.
또한, 본 발명은, 수면단계 판단에 최적화된 맞춤형 트레이닝 데이터 셋(Training Data Set)을 기반으로 딥러닝 뉴럴 네트워크에 기초한 기계학습을 수행하여 수면단계 판단 모델을 구현하는 딥러닝 기반의 수면단계 판정 장치 및 그 시스템을 제공하고자 한다.
다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 실시예에 따른 딥러닝 기반의 수면단계 판정장치는, 피검사자의 생체 데이터를 획득하는 센서 시스템으로부터 상기 생체 데이터를 수신하는 생체신호 검출부; 상기 생체 데이터를 그래픽 이미지로 변환한 생체 영상정보를 생성하는 생체신호 영상생성부; 상기 생체 영상정보를 수면단계 판단 모델의 입력 데이터 형식에 대응되는 포맷으로 변환한 생체 전처리 데이터를 생성하는 전처리부; 상기 수면단계 판단 모델을 기반으로 상기 생체 전처리 데이터에 기초한 딥러닝을 수행하여 상기 피검사자의 수면단계를 측정한 수면단계 판정정보를 제공하는 딥러닝 분류부; 및 상기 수면단계 판정정보를 소정의 형식으로 출력하는 결과 출력부; 를 포함한다.
이때, 상기 생체 데이터는, 뇌파(EEG: electroencephalography) 센서, 안구전도(EOG: electro-oculogram) 센서, 근전도(EMG: electromyogram) 센서, 호흡센서, 심전도 센서 및 이미지 센서 중 적어도 하나 이상의 센서로부터 획득되는 생체신호 측정 데이터이다.
또한, 상기 수면단계 판단 모델은, 소정의 트레이닝 데이터 셋(Training Data Set)에 기반하여 상기 생체 전처리 데이터를 입력으로 하고 상기 수면단계 판정정보를 출력으로 하도록 학습된 딥러닝 뉴럴 네트워크이다.
또한, 상기 트레이닝 데이터 셋은, 기수행된 수면다원검사에서 전문가에 의해 판단된 상기 수면단계 판정정보의 집합을 기반으로 구현되고, 상기 생체 전처리 데이터는, 복수의 생체신호 측정 데이터에서 잡읍 데이터를 필터링하여 제거하고, 상기 복수의 생체신호 측정 데이터의 샘플링 주파수로 일치시키고, 상기 샘플링 주파수가 일치된 복수의 생체신호 측정 데이터에서 필요 입력 데이터를 추출한다.
또한, 상기 수면단계 판정정보는, 상기 피검사자가 REM 수면단계, NREM1 수면단계, NREM2 수면단계, NREM3 수면단계 및 NREM4 수면단계 중 어느 수면단계에 진입하여 있는지를 판단한 정보이다.
또한, 상기 전처리부는, 상기 생체 영상정보 내 잡음 데이터를 필터링하여 제거하고, 상기 잡음 데이터가 제거된 생체 영상정보를 상기 수면단계 판단 모델의 입력 데이터에 대응되는 소정의 시간간격인 에폭(Epochs) 단위로 분할하여 상기 생체 전처리 데이터를 생성한다.
또한, 상기 딥러닝 분류부는, DNN(Deep Neural Network), CNN(Convolutional Neural Network) RNN(Recurrent Neural Network) 및 BRDNN(Bidirectional Recurrent Deep Neural Network) 중 적어도 하나를 포함하는 딥러닝 뉴럴 네트워크를 상기 트레이닝 데이터 셋으로 학습시켜 상기 수면단계 판단 모델을 구현한다.
또한, 상기 결과 출력부는, 상기 수면단계 판정정보를 기반으로 상기 피검사자의 수면 전반에 걸친 분석 데이터를 그래픽 이미지로 나타내는 수면상태 정보를 생성하고, 상기 수면상태 정보는, 상기 수면단계 판정정보, 상기 수면단계 판정정보와 관련된 상기 생체 전처리 데이터 및 상기 생체 영상정보 중 적어도 하나 이상을 포함한다.
또한, 상기 결과 출력부는, 상기 수면상태 정보를 자체 디스플레이 및 외부의 장치 중 적어도 하나를 기반으로 출력한다.
한편, 본 발명의 실시예에 따른 딥러닝 기반의 수면단계 판정 시스템은, 피검사자의 생체 데이터를 획득하는 센서 시스템; 및 상기 생체 데이터에 기반한 딥러닝을 수행하여 상기 피검사자의 수면단계를 측정한 수면단계 판정정보를 제공하는 수면단계 판정장치; 를 포함하고, 상기 수면단계 판정장치는, 상기 생체 데이터를 그래픽 이미지로 변환한 생체 영상정보를 생성하고, 상기 생성된 생체 영상정보를 수면단계 판단 모델의 입력 데이터 형식에 대응되는 포맷으로 변환한 생체 전처리 데이터를 생성하며, 상기 수면단계 판단 모델을 기반으로 상기 생체 전처리 데이터에 기초한 딥러닝을 수행하여 상기 수면단계 판정정보를 제공하고, 상기 수면단계 판정정보를 소정의 형식으로 출력한다.
본 발명의 실시예에 따른 딥러닝 기반의 수면단계 판정 장치 및 그 시스템은, 학습된 딥러닝 뉴럴 네트워크(수면단계 판단 모델)에 기초하여 피검사자의 생체 데이터를 기반으로 수면단계를 판정함으로써, 피검사자의 수면단계를 판단하는데 소요되는 시간과 비용을 최소화함과 동시에 그 정확성과 신뢰도를 향상시킬 수 있는 효과가 있다.
또한, 본 발명은, 학습된 딥러닝 뉴럴 네트워크에 기반하여 피검사자의 수면단계 판단 프로세스를 자동화함으로써, 전문가 수준의 정확도를 가지면서도 빠르고 간편하게 피검사자의 수면단계를 판단할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반의 수면단계 판정 장치 및 그 시스템은, 수면단계 판단에 최적화된 맞춤형 트레이닝 데이터 셋(Training Data Set)을 기반으로 딥러닝 뉴럴 네트워크에 기초한 기계학습을 수행하여 수면단계 판단 모델을 구현함으로써, 수면단계 판단 모델로부터 출력되는 결과의 품질을 보다 향상시킬 수 있는 효과가 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반의 수면단계 판정 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 센서 시스템을 설명하기 위한 도면의 일례이다.
도 3은 본 발명의 실시예에 따른 수면단계 판정장치의 블록 다이어그램이다.
도 4는 본 발명의 실시예에 따른 생체 영상정보를 나타내는 모습의 일례이다.
도 5a 및 5b는 본 발명의 실시예에 따른 수면단계를 설명하기 위한 도면의 일례이다.
도 6은 본 발명의 실시예에 따른 딥러닝 뉴럴 네트워크 학습방법을 설명하기 위한 개념도이다.
도 7은 본 발명의 실시예에 따른 딥러닝 뉴럴 네트워크 구성도의 일례이다.
도 8은 본 발명의 실시예에 따른 수면단계 판정장치를 기반으로 딥러닝 기반의 수면단계 판정을 수행하는 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반의 수면단계 판정 시스템의 개념도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 딥러닝 기반의 수면단계 판정 시스템(이하, 수면단계 판정 시스템)은, 센서 시스템(SS) 및 수면단계 판정장치(100)를 포함할 수 있다.
여기서, 실시예에 따른 센서 시스템(SS) 및 수면단계 판정장치(100)는, 상호 연동하여 학습된 딥러닝 뉴럴 네트워크(실시예에서, 수면단계 판단 모델)를 기초로 피검사자의 생체 데이터에 기반하여 상기 피검사자의 수면단계를 자동으로 판단하는 딥러닝 기반의 수면단계 판정 서비스(이하, 수면단계 판정 서비스)를 제공할 수 있다.
또한, 도 1의 각 구성요소는, 네트워크(network)를 기반으로 연결될 수 있다.
여기서, 네트워크는, 센서 시스템(SS) 및 수면단계 판정장치(100) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
- 센서 시스템(SS: Sensor Systems)
본 발명의 실시예에서 센서 시스템(SS)은, 피검사자의 생체신호를 센싱하여 상기 피검사자에 대한 생체 데이터를 획득할 수 있다.
여기서, 상기 생체 데이터란, 사람의 뇌파(EEG: electroencephalography), 안구전도(EOG: electro-oculogram), 근전도(EMG: electromyogram), 심전도(EKG, ECG: Electrocardiogram), 호흡, 맥박, 혈압, 심박동 수, 과거의 병력, 노화의 정도 및/또는 체질량 지수 등을 포함하는 생체 관련 데이터를 의미할 수 있으며, 사람의 건강상태를 판별하기 위한 기준 척도로 활용되는 데이터일 수 있다.
본 발명의 실시예에서는, 위와 같은 생체 데이터를 수면다원검사에서 상기 센서 시스템(SS)을 기반으로 획득되는 생체 관련 데이터에 기준하여 설명하나 이에 한정되는 것은 아니다.
도 2는 본 발명의 실시예에 따른 센서 시스템(SS)을 설명하기 위한 도면의 일례이다.
자세히, 도 2를 참조하면, 실시예에서 센서 시스템(SS)은, 뇌파(EEG)를 측정하는 뇌파(EEG) 센서, 안구의 움직임을 측정하는 안구전도(EOG) 센서, 근육의 움직임을 측정하는 근전도(EMG) 센서, 호흡을 측정하는 호흡센서 및/또는 호흡노력 센서, 심장박동과 관련되어 나타나는 심장의 전위를 측정하는 심전도(EKG, ECG) 센서, 하지 근육의 움직임을 측정하는 하지 근전도(EMG) 센서 및/또는 영상을 촬영하는 이미지 센서(카메라) 등을 포함할 수 있다.
또한, 실시예에서 센서 시스템(SS)은, 위와 같은 센서들에 기반하여 획득되는 센싱 데이터를 생체 데이터로서 외부의 장치(실시예에서, 수면단계 판정장치(100))로 제공할 수 있다.
구체적으로, 실시예에서 센서 시스템(SS)은, 뇌파(EEG) 센서, 안구전도(EOG) 센서 및/또는 근전도(EMG) 센서로부터 획득되는 생체 데이터를 수면단계 판정장치(100)로 제공할 수 있고, 이를 제공받은 상기 수면단계 판정장치(100)는, 상기 생체 데이터를 기초로 피검사자의 수면상태 여부 확인 및/또는 수면단계 판단 등의 기능동작을 수행할 수 있다.
또한, 실시예에서 센서 시스템(SS)은, 호흡센서 및/또는 호흡노력 센서로부터 획득되는 생체 데이터를 수면단계 판정장치(100)로 제공하여, 상기 수면단계 판정장치(100)가 피검사자의 호흡상태를 확인하게 할 수 있고, 이를 통해 수면 중 저호흡, 무호흡, 저산소증, 산소포호도 저하상태 및/또는 부정맥 등의 증상을 검출하게 할 수 있다.
또한, 실시예에서 센서 시스템(SS)은, 심전도(EKG, ECG) 센서를 기초로 획득되는 생체 데이터를 수면단계 판정장치(100)로 제공할 수 있고, 이를 통해 상기 수면단계 판정장치(100)가 피검사자에 대한 수면 중 심장리듬 상태를 확인하게 할 수 있다.
또한, 실시예에서 센서 시스템(SS)은, 하지 근전도(EMG) 센서로부터 획득되는 생체 데이터를 수면단계 판정장치(100)로 제공하여 피검사자가 수면 중 의도치 않은 움직임에 의해 비수면 상태로 전환되는지 여부를 확인하게 할 수 있다.
또한, 실시예에서 센서 시스템(SS)은, 이미지 센서(카메라)에 의해 획득되는 영상 데이터를 수면단계 판정장치(100)로 제공할 수 있고, 이를 통해 상기 수면단계 판정장치(100)가 수면다원검사를 진행하고 있는 피검사자의 생체 데이터 기록과 함께 전체적인 몸의 움직임 상태정보를 확인하게 할 수 있다.
또한, 실시예에서 센서 시스템(SS)은, 산소포화도 및 심박수를 측정하는 광혈류측정(PPG: PhotoPlethysmoGraphy) 센서, 호흡을 측정하는 서미스터(Thermister)와 유동(Flow)센서, 복부와 가슴의 움직임을 측정하는 체스트 벨트(chest belt)와 앱더먼 벨트(abdomen belt) 및/또는 음성신호를 감지하는 마이크(Microphone) 중 적어도 하나의 감지수단을 기반으로 측정되는 적어도 하나의 생체 데이터를 더 획득하여 제공할 수도 있다.
- 수면단계 판정장치(100: Sleep-stage Determination Device)
본 발명의 실시예에서 수면단계 판정장치(100)는, 학습된 딥러닝 뉴럴 네트워크(실시예에서, 수면단계 판단 모델)를 기초로 피검사자의 생체 데이터에 기반하여 상기 피검사자의 수면단계를 자동으로 판단하는 수면단계 판정 서비스를 제공할 수 있다.
자세히, 실시예에서 수면단계 판정장치(100)는, 수면다원검사를 진행하는 과정에서 센서 시스템(SS)으로부터 획득되는 피검사자에 대한 생체 데이터를 상기 센서 시스템(SS)으로부터 수신할 수 있다.
또한, 실시예에서 수면단계 판정장치(100)는, 상기 센서 시스템(SS)으로부터 수신된 생체 데이터를 그래픽 이미지로 변환할 수 있다.
또한, 실시예에서 수면단계 판정장치(100)는, 상기 생체 데이터를 그래픽 이미지화한 정보를 딥러닝 뉴럴 네트워크에 입력하기 적합한 형태로 가공할 수 있다.
또한, 실시예에서 수면단계 판정장치(100)는, 상기 가공된 형태의 데이터를 학습된 딥러닝 뉴럴 네트워크(수면단계 판단 모델)에 입력하여 상기 피검사자의 수면상태가 소정의 수면단계 중 어떠한 수면단계에 해당하는지를 판단할 수 있다.
이때, 실시예에서 수면단계 판정장치(100)는, 상기 수면단계 판단 모델을 구현하기 위하여 소정의 트레이닝 데이터 셋(Training Data Set)에 기초한 딥러닝 뉴럴 네트워크 학습을 수행할 수 있다.
또한, 실시예에서 수면단계 판정장치(100)는, 위와 같이 판단된 피검사자의 수면단계에 대한 정보를 소정의 형식에 따라서 외부에 제공할 수 있다.
도 3은 본 발명의 실시예에 따른 수면단계 판정장치(100)의 블록 다이어그램이다.
이하, 도 3을 참조하여 본 발명의 실시예에 따른 수면단계 판정장치(100)의 각 구성요소에 대하여 상세히 설명한다.
도 3을 참조하면, 본 발명의 실시예에서 수면단계 판정장치(100)는, 생체신호 검출부(110), 생체신호 영상생성부(120), 전처리부(130), 딥러닝 분류부(140) 및 결과 출력부(150)를 포함할 수 있다.
<생체신호 검출부>
실시예에서, 수면단계 판정장치(100)의 생체신호 검출부(110)는, 센서 시스템(SS)에 의해 획득되는 피검사자에 대한 생체 데이터를 상기 센서 시스템(SS)으로부터 수신할 수 있다.
여기서, 실시예에 따른 상기 생체 데이터란, 피검사자의 뇌파(EEG), 안구전도(EOG), 근전도(EMG), 호흡, 심전도(EKG, ECG) 및/또는 하지 근전도(EMG) 등을 포함하는 생체 관련 데이터를 의미할 수 있으며, 피검사자의 수면상태를 분석하기 위한 기준 척도로 활용되는 데이터일 수 있다.
실시예에서, 이러한 생체 데이터는, 기설정된 시간범위(실시예에서, 수면다원검사의 진행시간 등) 내에서 피검사자에 대해 센서 시스템(SS)으로부터 연속적으로 측정되는 데이터일 수 있다.
즉, 실시예에서 생체신호 검출부(110)는, 센서 시스템(SS)의 뇌파(EEG) 센서, 안구전도(EOG) 센서 및/또는 근전도(EMG) 센서 등을 포함하는 복수의 센서 중 적어도 하나 이상의 센서로부터 소정의 시간 내 서로 다른 채널을 통하여 다양한 형태의 생체 데이터를 획득할 수 있다.
<생체신호 영상생성부>
또한, 실시예에서 수면단계 판정장치(100)의 생체신호 영상생성부(120)는, 생체신호 검출부(110)에서 획득한 다양한 형태의 생체 데이터 각각을 그래픽 이미지화하여 생체 영상정보를 생성할 수 있다.
도 4는 본 발명의 실시예에 따른 생체 영상정보를 나타내는 모습의 일례이다.
도 4를 참조하면, 실시예로 생체신호 영상생성부(120)는, 생체신호 검출부(110)로부터 소정의 채널을 통해 획득된 생체 데이터를 그래프 형태의 그래픽 이미지로 변환하여 생체 영상정보를 생성할 수 있다.
자세히, 실시예에서 생체신호 영상생성부(120)는, 뇌파(EEG) 센서로부터 획득된 뇌파(EEG) 생체 데이터, 안구전도(EOG) 센서로부터 획득된 안구전도(EOG) 생체 데이터 및/또는 근전도(EMG) 센서로부터 획득된 근전도(EMG) 생체 데이터 등을 포함하는 생체 데이터 각각을 그래프 형태의 그래픽 이미지로 변환할 수 있다.
그리고 실시예에서 생체신호 영상생성부(120)는, 위와 같이 변환된 생체 데이터 각각에 대한 그래프 형태의 그래픽 이미지를 적어도 하나 이상 조합하여 상기 생체 데이터에 기반한 생체 영상정보를 생성할 수 있다.
<전처리부>
또한, 실시예에서 수면단계 판정장치(100)의 전처리부(130)는, 생체신호 영상생성부(120)에서 생성한 생체 영상정보를 딥러닝 뉴럴 네트워크에 입력하기 적합한 형태로 가공할 수 있다.
즉, 실시예에서 전처리부(130)는, 생체 영상정보를 딥러닝 입력에 최적화된 포맷을 가지는 생체 전처리 데이터로 변환할 수 있다.
자세히, 실시예로 전처리부(130)는, 생체 영상정보 내 불필요한 잡음 데이터를 필터링하여 제거할 수 있고, 잡음 데이터가 제거된 생체 영상정보를 소정의 시간간격인 에폭(Epochs) 단위로 분할할 수 있다.
보다 상세히, 실시예에서 전처리부(130)는, 생체 영상정보가 포함하는 생체 데이터에 대응되는 각각의 센서 별 샘플링(Sampling) 주파수를 일치시킬 수 있다.
실시예로, 전처리부(130)는, 서로 상이한 샘플링 주파수를 가지는 뇌파(EEG) 생체 데이터, 안구전도(EOG) 생체 데이터 및/또는 근전도(EMG) 생체 데이터 등의 샘플링 주파수를 보간 프로세스에 기초하여 일치시킬 수 있다.
또한, 전처리부(130)는, 샘플링 주파수가 일치된 생체 데이터에 기반하여 본 발명의 실시예에 따른 수면단계 판단 모델에 대응되는 필요 데이터를 추출할 수 있다.
이때, 실시예에서 전처리부(130)는, 상기 필요 데이터의 종류를 수면단계 판단을 수행하기 위한 소정의 기준 및/또는 사용자 입력 중 적어도 하나의 수단에 기초하여 결정할 수 있다.
예를 들면, 전처리부(130)는, 샘플링 주파수가 일치된 복수의 생체 데이터 중 뇌파(EEG) 생체 데이터, 안구전도(EOG) 생체 데이터 및 근전도(EMG) 생체 데이터를 필요 데이터로서 별도로 추출할 수 있다.
실시예에 따라서 전처리부(130)는, 생체 영상정보로부터 필요 데이터를 먼저 추출하고, 이후 추출된 필요 데이터에 대응되는 각각의 센서 별 샘플링 주파수를 일치시킬 수도 있다.
이를 통해, 전처리부(130)는, 실시예에 따른 수면단계 판단 모델에 불필요한 잡음 데이터를 필터링할 수 있다.
또한, 실시예에서 전처리부(130)는, 위와 같이 추출된 필요 데이터를 상기 수면단계 판단 모델에 대응되는 시간간격(즉, 에폭(Epochs))으로 분할할 수 있다.
이때, 실시예에서 전처리부(130)는, 상기 에폭(Epochs)을 수면단계 판단을 수행하기 위한 소정의 기준 및/또는 사용자 입력 중 적어도 하나의 수단에 기초하여 결정할 수 있다.
예를 들어, 전처리부(130)는, 수면단계 측정에 일반적으로 적용되는 시간간격인 30초를 에폭(Epochs)으로 설정하여 상기 필요 데이터를 상기 수면단계 판단 모델에 최적화된 시간간격으로 분할할 수 있다.
즉, 실시예에서 전처리부(130)는, 생체 영상정보 내 불필요한 잡음 데이터를 필터링하여 제거할 수 있고, 잡음 데이터가 제거된 생체 영상정보(필요 데이터)를 소정의 시간간격인 에폭(Epochs) 단위로 분할함으로써, 상기 생체 영상정보의 포맷을 수면단계 판단 모델(즉, 수면단계를 판단하는 딥러닝 뉴럴 네트워크)의 입력으로 적용 가능한 포맷으로 변환할 수 있으며, 이를 기초로 생체 전처리 데이터를 생성할 수 있다.
<딥러닝 분류부>
또한, 실시예에서 수면단계 판정장치(100)의 딥러닝 분류부(140)는, 전처리부(130)에서 생성한 생체 전처리 데이터를 학습된 딥러닝 뉴럴 네트워크(수면단계 판단 모델)에 입력하여 상기 피검사자의 수면상태가 소정의 수면단계 중 어떠한 수면단계에 해당하는지를 판단할 수 있다.
여기서, 실시예에 따른 수면단계란, 수원다원검사를 수행하고 있는 피검사자의 수면상태를 소정의 기준에 따라서 구분한 정보일 수 있다.
도 5a 및 5b는 본 발명의 실시예에 따른 수면단계를 설명하기 위한 도면의 일례이다.
자세히, 도 5a 및 5b를 참조하면, 실시예에서 수면단계는, 빠른 동공 운동이 있는 REM 수면(Rapid Eye Movement)단계와 빠른 안구 운동이 일어나지 않는 NREM(Non Rapid Eye Movement) 수면단계로 구분될 수 있다.
또한, 상기 NREM 수면단계는, 다시 NREM1 수면단계(1단계 NREM 수면단계), NREM2 수면단계(2단계 NREM 수면단계) 및/또는 NREM3 수면단계(3단계 NREM 수면단계)로 나뉠 수 있다.
구체적으로, 실시예에서 NREM1 수면단계는 수면과 깨어있는 상태 사이의 단계일 수 있다.
이러한 NREM1 수면단계에서는, 수면 동안 뇌파(EEG)와 근육의 활동이 느려지기 시작할 수 있고, 이때 뇌파(EEG)는 저진폭의 세타파(4~7Hz)가 주로 나타날 수 있다.
또한, 실시예에서 NREM2 수면단계는, 얕은 수면에 든 단계이며 이 단계에서는 12~14 Hz의 수면방추파(sleep bundle)와 K-complex가 나타날 수 있다.
또한, 실시예에서 NREM3 수면단계는, 피검사자가 깊은 수면에 진입한 단계이며 뇌파(EEG)가 느려지면서 델타파(0.5~4Hz)가 감지될 수 있고, 이때 피검사자의 신체는 외부 자극에 덜 민감한 상태가 될 수 있다.
여기서, NREM 수면단계는, 상기 델타파의 빈도에 따라서 NREM3 수면단계와 NREM4 수면단계(4단계 NREM 수면단계)를 구분할 수도 있다.
이때, 피검사자의 맥박은 매우 느려지고 안정적으로 변화하며 눈운동은 정지하고 근육은 이완될 수 있다.
한편, 실시예에서 수면으로부터 깨어나는 단계, 즉 NREM 수면이 끝나고 REM 수면으로 들어가는 단계에서는, 저진폭의 세타파가 나타나며 다시 급속한 안구운동(Rapid Eye Movement)이 감지될 수 있다.
다시 돌아와서, 즉 실시예에서 딥러닝 분류부(140)는, 전처리부(130)에서 생성한 생체 전처리 데이터를 수면단계 판단 모델에 입력하여 상기 피검사자의 수면상태가 위와 같은 소정의 수면단계 중 어떠한 수면단계에 해당하는지를 판단할 수 있다.
또한, 실시예에서 딥러닝 분류부(140)는, 상기 판단의 결과에 기반하여 상기 피검사자에 대한 수면단계 판정정보를 제공할 수 있다.
여기서, 실시예에 따른 수면단계 판정정보란, 피검사자가 상기 복수의 수면단계(실시예로 REM, NREM1, NREM2 및/또는 NREM3 등) 중 어느 수면단계에 진입하여 있는지를 판단한 정보일 수 있다.
자세히, 실시예에서 딥러닝 분류부(140)는, 주어진 입력 데이터(실시예에서, 생체 전처리 데이터)를 기반으로 피검사자의 수면단계를 판별하여 출력 데이터(실시예에서, 수면단계 판정정보)를 제공하도록 딥러닝 뉴럴 네트워크를 학습시킬 수 있다.
도 6은 본 발명의 실시예에 따른 딥러닝 뉴럴 네트워크 학습방법을 설명하기 위한 개념도이다.
보다 상세히, 도 6을 참조하면, 실시예에서 딥러닝 분류부(140)는, 위와 같이 동작하는 딥러닝 뉴럴 네트워크(즉, 수면단계 판단 모델(10))를 구현하기 위하여 기수행된 수면다원검사 결과에 기반한 소정의 트레이닝 데이터 셋(Training Data Set)을 획득할 수 있다.
실시예로, 상기 트레이닝 데이터 셋은, 기존에 수행된 수면다원검사에서 피검사자의 생체 데이터를 기초로 전문가에 의하여 판단된 수면단계 판단 결과 데이터(실시예에서, 수면단계 판정정보)의 집합을 기반으로 구현될 수 있다.
또한, 실시예에서 딥러닝 분류부(140)는, 위와 같은 트레이닝 데이터 셋에 기초하여 딥러닝 뉴럴 네트워크를 학습시킬 수 있다.
이와 같이, 딥러닝 분류부(140)는, 수면단계 판단에 최적화된 맞춤형 트레이닝 데이터 셋(Training Data Set)을 기반으로 딥러닝 뉴럴 네트워크에 기초한 기계학습을 수행하여 수면단계 판단 모델(10)을 구현함으로써, 수면단계 판단 모델(10)로부터 출력되는 결과의 퀄리티를 증진시킬 수 있다.
도 7은 본 발명의 실시예에 따른 딥러닝 뉴럴 네트워크 구성도의 일례이다.
도 7을 참조하면, 이때 실시예에 따른 딥러닝 뉴럴 네트워크는, 인공 신경망(Neural Network)을 기반으로 하는 소정의 분류 모델일 수 있다.
실시예로, 상기 딥러닝 뉴럴 네트워크는, 딥러닝 뉴럴 네트워크에 구비된 출력 레이어의 라벨링된 데이터(Labeled data)를 이용하여 신경망의 가중치(Weight)를 업데이트하는 알고리즘인 백 프로파게이션(Back propagation) 알고리즘 및/또는 가중손실함수 등에 기초하여 입력 데이터에 기반한 딥러닝을 수행하는 소정의 분류 모델일 수 있다.
예를 들어, 딥러닝 뉴럴 네트워크는, DNN(Deep Neural Network), CNN(Convolutional Neural Network) RNN(Recurrent Neural Network) 및/또는 BRDNN(Bidirectional Recurrent Deep Neural Network) 등과 같은 소정의 분류 모델 중 적어도 하나 이상을 포함하여 구현될 수 있으며, 실시예에 따라서 딥러닝 분류부(140)는, 전술한 예시에 한정되지 않고 다양한 종류의 인공 신경망을 활용할 수 있다.
또한, 실시예에서 딥러닝 분류부(140)는, 상기 트레이닝 데이터 셋에 기반한 딥러닝 뉴럴 네트워크 학습을 수행하여, 주어진 입력 데이터(실시예로, 생체 전처리 데이터)를 기반으로 딥러닝을 수행해 피검사자의 수면단계를 판별하여 출력 데이터(실시예로, 수면단계 판정정보)로 제공하는 수면단계 판단 모델(10)을 구현할 수 있다.
즉, 실시예에서 수면단계 판단 모델(10)은, 생체 전처리 데이터를 입력으로 하고 수면단계 판정정보를 출력으로 하는 딥러닝 뉴럴 네트워크일 수 있다.
정리하면, 실시예에서 딥러닝 분류부(140)는, 기수행된 수면다원검사의 결과를 기반으로 딥러닝 뉴럴 네트워크를 학습시킬 수 있고, 학습된 딥러닝 뉴럴 네트워크(수면단계 판단 모델(10))에 기초하여 피검사자의 생체 데이터에 기반한 수면단계를 측정하여 제공할 수 있다.
이와 같이, 실시예에서 딥러닝 분류부(140)는, 학습된 딥러닝 뉴럴 네트워크(수면단계 판단 모델(10))에 기초하여 피검사자의 생체 데이터를 기반으로 수면단계를 판정함으로써, 피검사자의 수면단계를 판단하는데 소요되는 시간과 비용을 최소화함과 동시에 그 정확성과 신뢰도를 향상시킬 수 있다.
또한, 딥러닝 분류부(140)는, 수면단계 판단 모델(10)에 기반하여 피검사자의 수면단계 판단 프로세스를 자동화함으로써, 전문가 수준의 정확도를 가지면서도 빠르고 간편하게 피검사자의 수면단계를 판단할 수 있다.
<결과 출력부>
또한, 실시예에서 수면단계 판정장치(100)의 결과 출력부(150)는, 딥러닝 분류부(140)에 기초하여 획득된 피검사자의 수면단계 판정정보를 소정의 형식에 따라서 외부로 제공할 수 있다.
자세히, 실시예에서 결과 출력부(150)는, 딥러닝 분류부(140)로부터 획득되는 수면단계 판정정보에 기반하여 수면상태 정보를 생성해 출력할 수 있다.
여기서, 실시예에 따른 수면상태 정보란, 피검사자의 수면 전반에 걸친 분석 데이터를 그래픽 이미지(예컨대, 그래프 및/또는 텍스트 등)에 기반하여 나타내는 정보일 수 있다.
실시예로, 수면상태 정보는, 상기 수면단계 판정정보, 상기 수면단계 판정정보와 관련된 생체 전처리 데이터 및/또는 생체 영상정보 등을 포함할 수 있다.
보다 상세히, 실시예에서 결과 출력부(150)는, 딥러닝 분류부(140)에서 획득된 수면단계 판정정보를 그래프 및/또는 텍스트 등을 포함하는 소정의 그래픽 이미지 형식으로 변환할 수 있다.
그리고 결과 출력부(150)는, 위와 같이 변환된 그래픽 이미지에 기초하여 피검사자의 수면 전반에 걸친 분석 데이터를 나타내는 수면상태 정보를 생성할 수 있다.
또한, 실시예에서 결과 출력부(150)는, 생성된 수면상태 정보를 자체적인 디스플레이에 기반하여 출력하거나, 또는 외부의 장치(예컨대, 컴퓨팅 디바이스 등)로 송신하여 출력해 제공할 수 있다.
<기타 구성요소>
한편, 도 3을 더 참조하면, 본 발명의 실시예에서 수면단계 판정장치(100)는, 통신부(160), 데이터베이스부(170) 및 프로세서(180)를 더 포함할 수 있다.
자세히, 실시예에서 통신부(160)는, 수면단계 판정 서비스를 제공하기 위한 각종 데이터 및/또는 정보 등을 송수신할 수 있다.
실시예에서 통신부(160)는, 생체신호 검출부(110)를 포함할 수 있으며, 센서 시스템(SS) 및/또는 외부의 장치 등과 통신하여 수면단계 판정 서비스와 관련된 각종 데이터를 송수신할 수 있다.
이러한 통신부(160)는, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말 및/또는 임의의 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다.
또한, 실시예에서 데이터베이스부(170)는, 수면단계 판정 서비스를 제공하는 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.
실시예로, 데이터베이스부(170)는, 트레이닝 데이터 셋(Training Data Set), 딥러닝 모델 알고리즘, 학습 알고리즘, 생체 데이터, 생체 영상정보, 생체 전처리 데이터, 수면단계 판정정보 및/또는 수면상태 정보 등을 저장하고 관리할 수 있다.
이러한 데이터베이스부(170)는, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet) 상에서 상기 데이터베이스부(170)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.
또한, 실시예에서 프로세서(180)는, 수면단계 판정 서비스를 수행하기 위하여 상술된 요소들을 제어해 일련의 데이터 처리를 수행할 수 있다.
이러한 프로세서(180)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
- 수면단계 판정장치 동작방식
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 수면단계 판정장치(100)의 프로세서(180)가 딥러닝을 기반으로 피검사자의 수면단계를 판정하는 방법을 설명한다.
도 8은 본 발명의 실시예에 따른 수면단계 판정장치(100)를 기반으로 딥러닝 기반의 수면단계 판정을 수행하는 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 실시예에서 수면단계 판정장치(100)의 프로세서(180)는, 센서 시스템(SS)과 연동하여 피검사자의 생체 데이터를 획득할 수 있다. (S101)
자세히, 실시예에서 프로세서(180)는, 수면다원검사의 센서 시스템(SS)이 포함하는 복수의 센서(실시예로, 뇌파(EEG) 센서, 안구전도(EOG) 센서, 근전도(EMG) 센서, 호흡센서, 심전도(EKG, ECG) 센서 및 이미지 센서 등을 포함)로부터 획득되는 피검사자에 대한 생체 데이터를, 생체신호 검출부(110)에 기초하여 상기 센서 시스템(SS)으로부터 수신할 수 있다.
또한, 실시예에서 프로세서(180)는, 위와 같이 획득된 생체 데이터를 기반으로 생체 영상정보를 생성할 수 있다. (S103)
자세히, 프로세서(180)는, 생체신호 영상생성부(120)에 기반하여, 피검사자의 생체 데이터를 그래픽 이미지화한 생체 영상정보를 생성할 수 있다.
구체적으로, 프로세서(180)는, 센서 시스템(SS)의 뇌파(EEG) 센서로부터 획득된 뇌파(EEG) 생체 데이터, 안구전도(EOG) 센서로부터 획득된 안구전도(EOG) 생체 데이터 및/또는 근전도(EMG) 센서로부터 획득된 근전도(EMG) 생체 데이터 등을 포함하는 생체 데이터 각각을 그래프 형태의 그래픽 이미지로 변환할 수 있다.
그리고 실시예에서 프로세서(180)는, 위와 같이 변환된 생체 데이터 각각에 대한 그래프 형태의 그래픽 이미지를 적어도 하나 이상 조합하여 상기 생체 데이터에 기반한 피검사자의 생체 영상정보를 생성할 수 있다.
또한, 실시예에서 프로세서(180)는, 생성된 생체 영상정보를 딥러닝 입력 최적화 포맷의 생체 전처리 데이터로 변환할 수 있다. (S105)
자세히, 프로세서(180)는, 전처리부(130)에 기초하여, 상기 생체 영상정보를 수면단계 판단 모델(10)에 입력하기 적합한 형태로 변환하여 생체 전처리 데이터를 획득할 수 있다.
첫번째로, 프로세서(180)는, 상기 변환 과정에서 생체 영상정보 내 불필요한 잡음 데이터를 필터링하여 제거할 수 있다.
두번째로, 프로세서(180)는, 생체 영상정보가 포함하는 생체 데이터 각각에 대응되는 센서(실시예에서, 뇌파(EEG) 센서, 안구전도(EOG) 센서, 근전도(EMG) 센서, 호흡센서, 심전도(EKG, ECG) 센서 및/또는 이미지 센서 등) 별 샘플링(Sampling) 주파수를 일치시킬 수 있다.
세번째로, 실시예에서 프로세서(180)는, 각각의 샘플링 주파수가 일치된 생체 데이터에서 수면단계 판단 모델(10)에 필요한 입력 데이터를 필요 데이터로 추출할 수 있다.
예를 들면, 프로세서(180)는, 샘플링 주파수가 일치된 복수의 생체 데이터 중 뇌파(EEG) 생체 데이터, 안구전도(EOG) 생체 데이터 및 근전도(EMG) 생체 데이터를, 본 발명의 실시예에 따른 수면단계 판단 모델(10)에 입력할 필요 데이터로서 추출하여, 필터링된 생체 영상정보를 생성할 수 있다.
네번째로, 실시예에서 프로세서(180)는, 위와 같이 필터링된 생체 영상정보를 수면단계 판단 모델(10)에 입력하기 위한 소정의 시간간격인 에폭(Epochs) 단위로 분할할 수 있다.
이때, 실시예에서 프로세서(180)는, 상기 에폭(Epochs)을 수면단계 판단에 최적화된 소정의 기준 및/또는 사용자 입력 중 적어도 하나의 수단에 기초하여 결정할 수 있다.
예시적으로, 프로세서(180)는, 수면단계 측정 시 일반적으로 적용되는 시간간격인 30초를 에폭(Epochs)으로 설정하여 상기 필터링된 생체 영상정보를 수면단계 판단 모델(10)의 기설정된 시간간격으로 분할할 수 있다.
이와 같이, 실시예에서 프로세서(180)는, 생체 영상정보로부터 불필요한 잡음 데이터를 제거하고, 잡음 데이터가 제거된 생체 영상정보를 소정의 시간간격(에폭(Epochs)) 단위로 분할함으로써, 생체신호 영상생성부(120)에서 생성된 생체 영상정보의 포맷을 수면단계 판단 모델(10)의 입력 형식의 포맷으로 변환한 생체 전처리 데이터를 생성할 수 있다.
또한, 실시예에서 프로세서(180)는, 생성된 생체 전처리 데이터를 수면단계 판단 모델(10)(딥러닝 뉴럴 네트워크)에 입력하여 수면단계 판정정보를 획득할 수 있다. (S107)
여기서, 실시예에 따른 수면단계 판정정보란, 피검사자가 복수의 수면단계(실시예에서, REM(Rapid Eye Movement) 수면단계, NREM(Non Rapid Eye Movement)1 수면단계, NREM2 수면단계, NREM3 수면단계 및 NREM4 수면단계 등) 중 어느 수면단계에 진입하여 있는지를 판단한 정보일 수 있다.
자세히, 실시예에서 프로세서(180)는, 딥러닝 분류부(140)를 기반으로, 주어진 입력 데이터(즉, 생체 전처리 데이터)를 기반으로 피검사자의 수면단계를 판별하여 출력 데이터(즉, 수면단계 판정정보)를 제공하도록 딥러닝 뉴럴 네트워크를 학습시킬 수 있다.
예시적으로, 상기 딥러닝 뉴럴 네트워크는, DNN(Deep Neural Network), CNN(Convolutional Neural Network) RNN(Recurrent Neural Network) 및/또는 BRDNN(Bidirectional Recurrent Deep Neural Network) 등과 같은 소정의 분류 모델 중 적어도 하나 이상을 포함하여 구현될 수 있으며, 이에 한정되진 않는다.
이때, 실시예에서 프로세서(180)는, 수면단계 판단 학습에 최적화된 맞춤형 트레이닝 데이터 셋(Training Data Set)을 기반으로 딥러닝 뉴럴 네트워크를 학습시킬 수 있다.
실시예로, 프로세서(180)는, 기존에 수행된 수면다원검사에서 피검사자의 생체 데이터를 기반으로 전문가에 의해 판단된 수면단계 판단 결과 데이터(실시예에서, 수면단계 판정정보)의 집합을 상기 트레이닝 데이터 셋으로 하여 딥러닝 뉴럴 네트워크를 학습시킬 수 있다.
그리하여 실시예에서 프로세서(180)는, 상기 트레이닝 데이터 셋을 기초로 학습되어 피검사자의 생체 전처리 데이터에 기반한 수면단계 판정정보를 출력하는 수면단계 판단 모델(10)을 구현할 수 있다.
또한, 실시예에서 프로세서(180)는, 위와 같이 구현된 수면단계 판단 모델(10)에 피검사자의 생체 전처리 데이터를 입력하여, 상기 수면단계 판단 모델(10)로부터 상기 피검사자에 대한 수면단계 판정정보를 획득할 수 있다.
실시예에 따른 딥러닝 뉴럴 네트워크는, 제 1 딥러닝 모델과, 제 2 딥러닝 모델을 포함할 수 있다.
프로세서는 제 1 딥러닝 모델을 뇌파(EEG: electroencephalography) 센서, 안구전도(EOG: electro-oculogram) 센서, 근전도(EMG: electromyogram) 센서의 데이터 및 이때의 전문가가 판정한 수면단계 판정 정답 레이블을 기초로 트레이닝 할 수 있다.
제 1 딥러닝 모델은 트레이닝시 제 1-1 모델 손실(
Figure 112020115185715-pat00001
)을 이용할 수 있다. 제 1-1 모델 손실(
Figure 112020115185715-pat00002
)은 제 1 딥러닝 모델이 출력한 제 1 수면단계 판정 정보(
Figure 112020115185715-pat00003
)와 트레이닝 데이터 셋의 수면단계 판정 정답 레이블(
Figure 112020115185715-pat00004
)을 서로 비교하여 제 1 수면단계 판정 정보가 정답에 가깝게 하도록 하는 손실이다. 제 1-1 모델 손실(
Figure 112020115185715-pat00005
)은 수학식 1과 같다.
(수학식 1)
Figure 112020115185715-pat00006
프로세서는 제 2 딥러닝 모델을 뇌파(EEG: electroencephalography) 센서값과, 전문가가 판정한 수면단계 판정 정답 레이블을 기초로 트레이닝 할 수 있다.
그리고 프로세서는 제 2 딥러닝 모델을 트레이닝시 제 1-2 모델 손실(
Figure 112020115185715-pat00007
)을 이용할 수 있다. 이 때, 제 1-1 모델 손실(
Figure 112020115185715-pat00008
)와 비교하여 제 1-1 모델 손실(
Figure 112020115185715-pat00009
)는 제 1 딥러닝 모델의 트레이닝에 사용되는 손실이나 제 1-2 모델 손실(
Figure 112020115185715-pat00010
)은 프로세서의 전체 신경망을 트레이닝할 때 사용되는 기준 손실일 수 있다.
제 1-2 모델 손실(
Figure 112020115185715-pat00011
)은 제2 딥러닝 모델이 출력한 제 2 수면단계 판정 정보(
Figure 112020115185715-pat00012
)와 트레이닝 데이터 셋의 수면단계 판정 정답 레이블(
Figure 112020115185715-pat00013
)을 서로 비교하여 상기 제 2 수면단계 판정정보의 뇌파와 수면단계의 상관관계가 수면단계 판정 정답 레이블의 뇌파와 수면단계의 상관관계에 매칭되도록 하는 손실이다. 제 1-2 모델 손실(
Figure 112020115185715-pat00014
)은 수학식 2와 같다.
(수학식 2)
Figure 112020115185715-pat00015
또한, 프로세서는 트레이닝시 제 1 적대 손실(
Figure 112020115185715-pat00016
)을 이용할 수 있다. 즉, 프로세서는 트레이닝시 GAN 개념을 사용하여 수면판정 정답 레이블과 일치 성능을 향상시킬 수 있다. 제 1-2 모델 손실(
Figure 112020115185715-pat00017
)과 같이 강도 차이 기반 손실의 한계는 REM(Rapid Eye Movement) 수면단계와 NREM(Non Rapid Eye Movement)1 수면단계를 구별하기 어렵다는 것이다.
이를 해결하기 위해, 프로세서는 제 1 판별부를 이용할 수 있다. 제 1 판별부는 안구전도 값을 추가적인 파라미터로 하여 REM(Rapid Eye Movement) 수면단계와 NREM(Non Rapid Eye Movement)1 수면단계를 확실하게 판별할 수 있다. 예를 들어, 제 1 판별부는 안구전도 값에서 Rapid Eye Movement를 검출하면, 뇌파 값과 관계없이 REM(Rapid Eye Movement) 수면단계로 판정하도록 제 2 딥러닝 모델을 트레이닝할 수 있다.
이와 같은 2가지 딥러닝 모델을 포함하는 딥러닝 뉴럴 네트워크는, 뇌파만 측정이 가능한 상황에서는 제 2 딥러닝 모델을 통해 수면단계를 판정함으로써, 간이 수면단계 판정이 가능한 장점이 있다.
또한, 딥러닝 뉴럴 네트워크는, 뇌파, 안구전도, 근전도 값을 포함하여 제 1 딥러닝 모델을 학습시키고, 수면단계를 판정하는데 가장 중요한 뇌파를 통해 제 2 딥러닝 모델을 학습시키고 두가지 모델을 비교하여 학습시킴으로써, 뇌파 값에 가중치를 부과함과 동시에 트레이닝 데이터 셋의 데이터 양이 부족한 상황에서 제 1 딥러닝 모델과 제 2 딥러닝 모델을 비교하여 학습시킴으로써, 딥러닝 모델의 정확도를 향상시킬 수 있다.
또한, 실시예에서 프로세서(180)는, 획득된 수면단계 판정정보를 소정의 형식으로 외부에 제공할 수 있다. (S109)
자세히, 프로세서(180)는, 결과 출력부(150)에 기반하여, 상기 수면단계 판정정보를 기초로 피검사자에 대한 수면상태 정보를 생성할 수 있다.
여기서, 실시예에 따른 수면상태 정보란, 피검사자의 수면 전반에 걸친 분석 데이터를 그래픽 이미지(예컨대, 그래프 및/또는 텍스트 등)에 기반하여 나타내는 정보일 수 있다.
실시예에서, 이러한 수면상태 정보는, 상기 수면단계 판정정보, 상기 수면단계 판정정보와 관련된 생체 전처리 데이터 및/또는 생체 영상정보 등을 포함할 수 있다.
구체적으로, 실시예에서 프로세서(180)는, 수면단계 판정정보를 그래프 및/또는 텍스트 등을 포함하는 소정의 그래픽 이미지 형식으로 변환할 수 있다.
또한, 프로세서(180)는, 변환된 그래픽 이미지에 기초하여 피검사자의 수면 전반에 걸친 분석 데이터를 나타내는 수면상태 정보를 생성할 수 있다.
또한, 실시예에서 프로세서(180)는, 위처럼 생성된 수면상태 정보를 자체적인 디스플레이에 기반하여 출력하거나, 또는 외부의 장치(예컨대, 컴퓨팅 디바이스 등)로 송신하여 제공할 수 있다.
이상, 본 발명의 실시예에 따른 딥러닝 기반의 수면단계 판정 장치 및 그 시스템은, 학습된 딥러닝 뉴럴 네트워크(수면단계 판단 모델(10))에 기초하여 피검사자의 생체 데이터를 기반으로 수면단계를 판정함으로써, 피검사자의 수면단계를 판단하는데 소요되는 시간과 비용을 최소화함과 동시에 그 정확성과 신뢰도를 향상시킬 수 있는 효과가 있다.
또한, 본 발명은, 학습된 딥러닝 뉴럴 네트워크에 기반하여 피검사자의 수면단계 판단 프로세스를 자동화함으로써, 전문가 수준의 정확도를 가지면서도 빠르고 간편하게 피검사자의 수면단계를 판단할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반의 수면단계 판정 장치 및 그 시스템은, 수면단계 판단에 최적화된 맞춤형 트레이닝 데이터 셋(Training Data Set)을 기반으로 딥러닝 뉴럴 네트워크에 기초한 기계학습을 수행하여 수면단계 판단 모델(10)을 구현함으로써, 수면단계 판단 모델(10)로부터 출력되는 결과의 품질을 보다 향상시킬 수 있는 효과가 있다.
또한, 이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (10)

  1. 피검사자의 생체 데이터를 획득하는 센서 시스템으로부터 상기 생체 데이터를 수신하는 생체신호 검출부;
    상기 생체 데이터를 그래픽 이미지로 변환한 생체 영상정보를 생성하는 생체신호 영상생성부;
    상기 생체 영상정보를 수면단계 판단 모델의 입력 데이터 형식에 대응되는 포맷으로 변환한 생체 전처리 데이터를 생성하는 전처리부;
    상기 수면단계 판단 모델을 기반으로 상기 생체 전처리 데이터에 기초한 딥러닝을 수행하여 상기 피검사자의 수면단계를 측정한 수면단계 판정정보를 제공하는 딥러닝 분류부; 및
    상기 수면단계 판정정보를 소정의 형식으로 출력하는 결과 출력부; 를 포함하고,
    상기 생체 데이터는, 뇌파(EEG: electroencephalography) 센서, 안구전도(EOG: electro-oculogram) 센서, 근전도(EMG: electromyogram) 센서, 호흡센서, 심전도 센서 및 이미지 센서 중 적어도 하나 이상의 센서로부터 획득되는 생체신호 측정 데이터이고,
    상기 수면단계 판단 모델은, 뇌파, 안구전도 및 근전도 데이터를 포함하는 생체 데이터와, 상기 생체 데이터에 설정된 수면단계 판정 정답 레이블을 기초로 트레이닝된 제 1 딥러닝 모델과, 상기 뇌파 데이터와, 상기 수면단계 판정 정답 레이블을 기초로 트레이닝된 제 2 딥러닝 모델을 포함하고,
    상기 딥러닝 분류부는, 상기 피검사자의 센서 시스템으로부터 뇌파, 안구전도 및 근전도 데이터를 수신하면 상기 제 1 딥러닝 모델을 통해 상기 피검사자의 수면단계를 측정하고, 상기 피검사자의 센서 시스템으로부터 뇌파 데이터를 수신하면 상기 제 2 딥러닝 모델을 통해 상기 피검사자의 수면단계를 측정하고,
    상기 제 2 딥러닝 모델은 상기 제 1 딥러닝 모델과 비교 학습된 것을 특징으로 하는
    딥러닝 기반의 수면단계 판정장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 수면단계 판단 모델은,
    소정의 트레이닝 데이터 셋(Training Data Set)에 기반하여 상기 생체 전처리 데이터를 입력으로 하고 상기 수면단계 판정정보를 출력으로 하도록 학습된 딥러닝 뉴럴 네트워크인
    딥러닝 기반의 수면단계 판정장치.
  4. 제 3 항에 있어서,
    상기 트레이닝 데이터 셋은,
    기수행된 수면다원검사에서 전문가에 의해 판단된 상기 수면단계 판정정보의 집합을 기반으로 구현되고,
    상기 생체 전처리 데이터는,
    복수의 생체신호 측정 데이터에서 잡음 데이터를 필터링하여 제거하고,
    상기 복수의 생체신호 측정 데이터의 샘플링 주파수로 일치시키고,
    상기 샘플링 주파수가 일치된 복수의 생체신호 측정 데이터에서 필요 입력 데이터를 추출하는
    딥러닝 기반의 수면단계 판정장치.
  5. 제 1 항에 있어서,
    상기 수면단계 판정정보는,
    상기 피검사자가 REM 수면단계, NREM1 수면단계, NREM2 수면단계, NREM3 수면단계 및 NREM4 수면단계 중 어느 수면단계에 진입하여 있는지를 판단한 정보인
    딥러닝 기반의 수면단계 판정장치.
  6. 제 1 항에 있어서,
    상기 전처리부는,
    상기 생체 영상정보 내 잡음 데이터를 필터링하여 제거하고, 상기 잡음 데이터가 제거된 생체 영상정보를 상기 수면단계 판단 모델의 입력 데이터에 대응되는 소정의 시간간격인 에폭(Epochs) 단위로 분할하여 상기 생체 전처리 데이터를 생성하는
    딥러닝 기반의 수면단계 판정장치.
  7. 제 3 항에 있어서,
    상기 딥러닝 분류부는,
    DNN(Deep Neural Network), CNN(Convolutional Neural Network) RNN(Recurrent Neural Network) 및 BRDNN(Bidirectional Recurrent Deep Neural Network) 중 적어도 하나를 포함하는 딥러닝 뉴럴 네트워크를 상기 트레이닝 데이터 셋으로 학습시켜 상기 수면단계 판단 모델을 구현하는
    딥러닝 기반의 수면단계 판정장치.
  8. 제 1 항에 있어서,
    상기 결과 출력부는,
    상기 수면단계 판정정보를 기반으로 상기 피검사자의 수면 전반에 걸친 분석 데이터를 그래픽 이미지로 나타내는 수면상태 정보를 생성하고,
    상기 수면상태 정보는,
    상기 수면단계 판정정보, 상기 수면단계 판정정보와 관련된 상기 생체 전처리 데이터 및 상기 생체 영상정보 중 적어도 하나 이상을 포함하는
    딥러닝 기반의 수면단계 판정장치.
  9. 제 8 항에 있어서,
    상기 결과 출력부는,
    상기 수면상태 정보를 자체 디스플레이 및 외부의 장치 중 적어도 하나를 기반으로 출력하는
    딥러닝 기반의 수면단계 판정장치.
  10. 피검사자의 생체 데이터를 획득하는 센서 시스템; 및
    상기 생체 데이터에 기반한 딥러닝을 수행하여 상기 피검사자의 수면단계를 측정한 수면단계 판정정보를 제공하는 수면단계 판정장치; 를 포함하고,
    상기 수면단계 판정장치는,
    상기 생체 데이터를 그래픽 이미지로 변환한 생체 영상정보를 생성하고, 상기 생성된 생체 영상정보를 수면단계 판단 모델의 입력 데이터 형식에 대응되는 포맷으로 변환한 생체 전처리 데이터를 생성하며, 상기 수면단계 판단 모델을 기반으로 상기 생체 전처리 데이터에 기초한 딥러닝을 수행하여 상기 수면단계 판정정보를 제공하고, 상기 수면단계 판정정보를 소정의 형식으로 출력하고,
    상기 생체 데이터는, 뇌파(EEG: electroencephalography) 센서, 안구전도(EOG: electro-oculogram) 센서, 근전도(EMG: electromyogram) 센서, 호흡센서, 심전도 센서 및 이미지 센서 중 적어도 하나 이상의 센서로부터 획득되는 생체신호 측정 데이터이고,
    상기 수면단계 판단 모델은, 뇌파, 안구전도 및 근전도 데이터를 포함하는 생체 데이터와, 상기 생체 데이터에 설정된 수면단계 판정 정답 레이블을 기초로 트레이닝된 제 1 딥러닝 모델과, 상기 뇌파 데이터와, 상기 수면단계 판정 정답 레이블을 기초로 트레이닝된 제 2 딥러닝 모델을 포함하고,
    상기 수면단계 판정장치는, 상기 피검사자의 센서 시스템으로부터 뇌파, 안구전도 및 근전도 데이터를 수신하면 상기 제 1 딥러닝 모델을 통해 상기 피검사자의 수면단계를 측정하고, 상기 피검사자의 센서 시스템으로부터 뇌파 데이터를 수신하면 상기 제 2 딥러닝 모델을 통해 상기 피검사자의 수면단계를 측정하고,
    상기 제 2 딥러닝 모델은 상기 제 1 딥러닝 모델과 비교 학습된 것을 특징으로 하는
    딥러닝 기반의 수면단계 판정 시스템.
KR1020200141898A 2020-10-29 2020-10-29 딥러닝 기반의 수면단계 판정 장치 및 그 시스템 KR102440217B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200141898A KR102440217B1 (ko) 2020-10-29 2020-10-29 딥러닝 기반의 수면단계 판정 장치 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200141898A KR102440217B1 (ko) 2020-10-29 2020-10-29 딥러닝 기반의 수면단계 판정 장치 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20220057677A KR20220057677A (ko) 2022-05-09
KR102440217B1 true KR102440217B1 (ko) 2022-09-07

Family

ID=81582284

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200141898A KR102440217B1 (ko) 2020-10-29 2020-10-29 딥러닝 기반의 수면단계 판정 장치 및 그 시스템

Country Status (1)

Country Link
KR (1) KR102440217B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240028572A (ko) 2022-08-24 2024-03-05 연세대학교 산학협력단 인공지능을 활용한 패치형 센서 기반의 수면 관리 서비스를 제공하기 위한 서버, 방법 및 프로그램
KR102657592B1 (ko) * 2023-10-07 2024-04-12 주식회사 이음컴퍼니 사용자의 신체 반응에 따른 가상 화폐 채굴 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180075832A (ko) * 2016-12-27 2018-07-05 바이텔스 주식회사 수면 상태 모니터링 방법 및 장치
KR102004219B1 (ko) 2018-05-11 2019-07-30 주식회사 라이프시맨틱스 미세진동 센서와 소리 센서 기반 수면장애 검출 시스템
KR102211647B1 (ko) * 2018-12-07 2021-02-04 이화여자대학교 산학협력단 인공지능 수면개선 비침습적 뇌회로 조절치료시스템 및 방법
KR102267105B1 (ko) * 2018-12-26 2021-06-22 (주)허니냅스 딥러닝 기반의 수면다원 검사장치 및 그 방법

Also Published As

Publication number Publication date
KR20220057677A (ko) 2022-05-09

Similar Documents

Publication Publication Date Title
Surrel et al. Online obstructive sleep apnea detection on medical wearable sensors
US20240221948A1 (en) Systems and methods of analyte measurement analysis
KR100580618B1 (ko) 생리 신호의 단시간 모니터링을 통한 사용자 정서 인식장치 및 방법
EP3117766A1 (en) Processing biological data
KR100719068B1 (ko) 전전두엽에서 측정한 뇌파 데이터의 고속푸리에변환을 통한누적데이터의 패턴분석을 이용한 건강진단 장치 및 그방법
Birrenkott et al. Robust estimation of respiratory rate via ECG-and PPG-derived respiratory quality indices
KR102440217B1 (ko) 딥러닝 기반의 수면단계 판정 장치 및 그 시스템
US20220110590A1 (en) System and Method for Assessing Physiological Signal Quality
Leutheuser et al. Comparison of the AMICA and the InfoMax algorithm for the reduction of electromyogenic artifacts in EEG data
Garde et al. Identifying individual sleep apnea/hypoapnea epochs using smartphone-based pulse oximetry
Kılıçkaya et al. Comparison of different machine learning techniques for the cuffless estimation of blood pressure using PPG signals
WO2023087512A1 (zh) 一种抑郁症客观筛查***、方法及装置
Motin et al. Sleep-wake classification using statistical features extracted from photoplethysmographic signals
KR101008825B1 (ko) 다중 윈도우를 이용한 생체신호의 특성 파라미터 추출 장치및 방법
Kobayashi et al. Development of a mental disorder screening system using support vector machine for classification of heart rate variability measured from single-lead electrocardiography
Motin et al. PPG derived respiratory rate estimation in daily living conditions
Sloboda et al. A simple sleep stage identification technique for incorporation in inexpensive electronic sleep screening devices
KR101919907B1 (ko) 다중 신경생리신호 기반 사용자 간 상호작용 모니터링 장치 및 방법
Ablao et al. Machine Learning Sleep Phase Monitoring using ECG and EMG
Akşahin et al. Obstructive sleep apnea classification with artificial neural network based on two synchronic hrv series
Młyńczak et al. Flow parameters derived from impedance pneumography after nonlinear calibration based on neural networks
US20140180037A1 (en) Biological Tissue Function Analysis
Rivolta et al. Effects of the series length on Lempel-Ziv Complexity during sleep
Imirzalioglu et al. Quantifying respiration effects on cardiac vibrations using teager energy operator and gradient boosted trees
Akbulut et al. Estimation of Beat-to-Beat Interval from Wearable Photoplethysmography Sensor on Different Measurement Sites During Daily Activities

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant