KR102627661B1 - Method for analyzing photoplethysmography data and recording medium storing program to implement the method - Google Patents
Method for analyzing photoplethysmography data and recording medium storing program to implement the method Download PDFInfo
- Publication number
- KR102627661B1 KR102627661B1 KR1020210145903A KR20210145903A KR102627661B1 KR 102627661 B1 KR102627661 B1 KR 102627661B1 KR 1020210145903 A KR1020210145903 A KR 1020210145903A KR 20210145903 A KR20210145903 A KR 20210145903A KR 102627661 B1 KR102627661 B1 KR 102627661B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- analysis
- point
- ppg
- feature point
- Prior art date
Links
- 238000013186 photoplethysmography Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004458 analytical method Methods 0.000 claims abstract description 67
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000007405 data analysis Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 4
- 238000005259 measurement Methods 0.000 claims description 33
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000009795 derivation Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000010247 heart contraction Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 description 18
- 229910052760 oxygen Inorganic materials 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 4
- 230000036772 blood pressure Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000001301 oxygen Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7239—Details of waveform analysis using differentiation including higher order derivatives
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Cardiology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
광용적맥파 데이터 분석 방법이 개시된다. 광용적맥파 데이터 분석 방법은 컴퓨터 실행가능 명령어가 저장되는 메모리와, 상기 컴퓨터 실행가능 명령어를 실행하는 프로세서가 포함된 컴퓨터에 의해 구현되며, 광용적맥파 데이터 분석 방법은 PPG(photoplethysmography) 데이터를 수신하는 PPG 데이터 수신 단계; 상기 PPG 데이터를 미분하여 미분데이터를 생성하는 미분데이터 생성 단계; 상기 PPG 데이터와 미분데이터를 신호처리하여 분석용 데이터를 생성하는 신호처리 단계; 사전에 학습된 분석 알고리즘을 이용하여 상기 분석용 데이터 내에 존재하는 특징점을 검출하는 특징점 검출 단계; 및 상기 분석 알고리즘에 의해 검출된 특징점 데이터를 이용하여 상기 분석 알고리즘을 학습시키는 추가 학습 단계;를 포함할 수 있다.A method for analyzing photoplethysmographic data is disclosed. The photoplethysmography data analysis method is implemented by a computer including a memory storing computer-executable instructions and a processor that executes the computer-executable instructions, and the photoplethysmography data analysis method is implemented by receiving PPG (photoplethysmography) data. PPG data receiving step; A differential data generation step of differentiating the PPG data to generate differential data; A signal processing step of generating analysis data by signal processing the PPG data and differential data; A feature point detection step of detecting feature points present in the analysis data using a pre-learned analysis algorithm; and an additional learning step of training the analysis algorithm using feature point data detected by the analysis algorithm.
Description
본 개시는 광용적맥파 데이터 분석 방법에 관한 것이다.This disclosure relates to a method for analyzing photoplethysmographic data.
광용적맥파(Photoplethysmography, PPG)는 심장박동에 따라 혈관 내의 혈액량의 변화를 빛의 흡수, 반사, 산란을 이용하여 측정하는 신호로서, 심전도(ECG)와 더불어 가장 많이 측정되는 생체신호 중 하나이다. 이러한 광용적맥파는 센싱된 PPG 신호의 파형변동 주기를 모니터링함으로써, 심박수(Herat Rate, HR), 심박수 변화(Heart Rate Variability, HRV), 산소포화도(SpO2) 등의 파라미터를 측정할 수 있다. 이때, 측정된 파라미터들은 부정맥, 혈압변화, 심장질환, 자율신경계 변화 등 다양한 진단에 적용되고 있다. 이와 관련하여, 대한민국 공개특허공보 제10-2021-0097512호에는 PPG 데이터를 분석하여 사용자의 심박수를 획득하는 기술이 제시된 바 있다.Photoplethysmography (PPG) is a signal that measures changes in blood volume within blood vessels according to heartbeat using absorption, reflection, and scattering of light, and is one of the most frequently measured biosignals along with electrocardiogram (ECG). These photoplethysmographic pulse waves can measure parameters such as heart rate (Herat Rate, HR), heart rate variation (HRV), and oxygen saturation (SpO 2 ) by monitoring the waveform variation period of the sensed PPG signal. At this time, the measured parameters are applied to various diagnoses such as arrhythmia, blood pressure changes, heart disease, and changes in the autonomic nervous system. In this regard, Republic of Korea Patent Publication No. 10-2021-0097512 proposes a technology for obtaining the user's heart rate by analyzing PPG data.
그런데, 광용적맥파는 혈관 내 혈액의 흐름 이상 여부에 관한 진단적 파라미터를 제공할 수 있지만, 광용적맥파 측정 센서를 통한 생체신호 측정시 심장 박동으로 발생하는 잡음과 피검자의 움직임으로 발생하는 동잡음 등으로 인해 PPG 신호의 파형 분석시 오차가 발생하고 신뢰도가 떨어지는 문제점이 있었다.However, photoplethysmography can provide diagnostic parameters regarding abnormal blood flow within blood vessels, but when measuring biosignals using a photoplethysmography sensor, noise generated from heartbeat and motion noise generated from subject movement Due to this, errors occurred and reliability was low when analyzing the waveform of the PPG signal.
한편, 종래에는 인공지능 기술을 이용하여 광용적맥파를 분석하는 방법도 연구되고 있으나, 이러한 방식은 인공지능 분석을 위해 매우 많은 양의 학습 데이터가 요구되며, 기계학습을 위한 고성능 컴퓨터 등 고가의 자원이 소요될뿐더러, 많은 입력 데이터를 사용하기 때문에 실시간 분석이 어려웠고, PPG 신호의 파형 분석시 오차가 발생하고 결과값의 신뢰도가 낮아 새로운 기술의 개발이 요구되고 있다.Meanwhile, methods for analyzing photoplethysmography using artificial intelligence technology are also being studied, but this method requires a very large amount of learning data for artificial intelligence analysis and requires expensive resources such as high-performance computers for machine learning. Not only was this time-consuming, but real-time analysis was difficult because a lot of input data was used. Errors occurred when analyzing the waveform of the PPG signal and the reliability of the results was low, so the development of new technology was required.
본 개시의 기술적 사상은 상술한 문제점을 해결하기 위한 것으로, PPG 신호의 파형을 자동으로 분석하고 측정 결과의 신뢰성을 높이는 광용적맥파 데이터 분석 기술을 제공하는데 그 목적이 있다.The technical idea of the present disclosure is to solve the above-mentioned problems, and its purpose is to provide a photoplethysmographic data analysis technology that automatically analyzes the waveform of the PPG signal and increases the reliability of the measurement results.
또한, 본 개시의 기술적 사상은 입력 데이터의 연산량을 줄여 실시간 데이터 처리가 가능하며, 저성능 하드웨어에서도 구현이 가능한 광용적맥파 데이터 분석 기술을 제공하는데 다른 목적이 있다.In addition, the technical idea of the present disclosure has another purpose of providing a photoplethysmography data analysis technology that enables real-time data processing by reducing the amount of calculation of input data and can be implemented even in low-performance hardware.
본 발명이 해결하려는 과제는 전술한 과제로 제한되지 아니하며, 언급되지 아니한 또 다른 기술적 과제들은 후술할 내용으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-mentioned problem, and other technical problems not mentioned will be clearly understood by those skilled in the art from the contents described later.
이러한 목적을 달성하기 위하여 본 발명의 일 실시형태로서, 광용적맥파 데이터 분석 방법은 컴퓨터 실행가능 명령어가 저장되는 메모리와, 상기 컴퓨터 실행가능 명령어를 실행하는 프로세서가 포함된 컴퓨터에 의해 구현되며, 광용적맥파 데이터 분석 방법은 PPG(photoplethysmography) 데이터를 수신하는 PPG 데이터 수신 단계; 상기 PPG 데이터를 미분하여 미분데이터를 생성하는 미분데이터 생성 단계; 상기 PPG 데이터와 미분데이터를 신호처리하여 분석용 데이터를 생성하는 신호처리 단계; 사전에 학습된 분석 알고리즘을 이용하여 상기 분석용 데이터 내에 존재하는 특징점을 검출하는 특징점 검출 단계; 및 상기 분석 알고리즘에 의해 검출된 특징점 데이터를 이용하여 상기 분석 알고리즘을 학습시키는 추가 학습 단계;를 포함할 수 있다.In order to achieve this object, in one embodiment of the present invention, the photoplethysmographic data analysis method is implemented by a computer including a memory storing computer-executable instructions and a processor executing the computer-executable instructions, The plethysmographic data analysis method includes a PPG data reception step of receiving PPG (photoplethysmography) data; A differential data generation step of differentiating the PPG data to generate differential data; A signal processing step of generating analysis data by signal processing the PPG data and differential data; A feature point detection step of detecting feature points present in the analysis data using a pre-learned analysis algorithm; and an additional learning step of training the analysis algorithm using feature point data detected by the analysis algorithm.
또한, 특징점 검출 단계에서, 상기 특징점은 상기 PPG 데이터 중 심장 수축에 의한 최댓값 지점인 S점, 상기 PPG 데이터 중 심장 수축 직전의 최솟값 지점인 O점, 상기 PPG 데이터 중 심박동을 측정할 수 없는 영역인 오류 영역의 시작점인 ES점, 상기 오류 영역의 끝 지점인 EE점, 상기 미분데이터 중 최댓값 지점인 W점 및 상기 미분데이터 중 반사파로 인해 발생한 첫 번째 피크인 Z점 중에서 적어도 어느 하나를 포함할 수 있다.In addition, in the feature point detection step, the feature points include S point, which is the maximum value point due to heart contraction among the PPG data, O point, which is the minimum value point just before heart contraction among the PPG data, and an area where heart rate cannot be measured among the PPG data. It may include at least one of the ES point, which is the starting point of the error area, the EE point, which is the end point of the error area, the W point, which is the maximum value point among the differential data, and the Z point, which is the first peak caused by a reflected wave among the differential data. there is.
그리고, 특징점 검출 단계에서, 상기 분석 알고리즘은 입력층과 출력층 사이에 복수개의 은닉층이 포함된 DNN(deep neural network) 필터를 포함하며, 상기 DNN 필터는 상기 특징점의 종류에 따라서 단수 또는 복수개로 구비될 수 있다.And, in the feature point detection step, the analysis algorithm includes a deep neural network (DNN) filter including a plurality of hidden layers between the input layer and the output layer, and the DNN filter may be provided in single or plural numbers depending on the type of the feature point. You can.
또한, 신호처리 단계에서는 일정한 크기를 갖는 윈도우가 기설정된 시간 단위만큼 이동하면서 상기 윈도우의 영역 내에 해당되는 PPG 데이터와 미분데이터를 신호처리하여 분석용 데이터를 생성하되, 상기 윈도우가 이동하는 시간 단위는 상기 윈도우의 크기에 비해 작게 설정됨으로써, 연속하여 생성된 분석용 데이터의 일부 영역이 서로 중첩될 수 있다.In addition, in the signal processing step, a window with a certain size moves by a preset time unit and signal processes PPG data and differential data corresponding to the area of the window to generate analysis data. The time unit for which the window moves is By being set small compared to the size of the window, some areas of continuously generated analysis data may overlap with each other.
아울러, 특징점 검출 단계에서는 상기 DNN 필터에 상기 분석용 데이터를 입력하고 분석을 통해 상기 분석용 데이터 내에 포함된 특징점을 검출하되, 일부 영역이 서로 중첩된 분석용 데이터를 분석할 경우에는 동일한 특징점이 중복 검출되며, 상기 동일한 특징점에 대한 판정 결과가 누적되어 저장될 수 있다.In addition, in the feature point detection step, the analysis data is input to the DNN filter and analysis is performed to detect feature points included in the analysis data. However, when analyzing analysis data with some areas overlapping with each other, the same feature points are overlapped. It is detected, and the decision results for the same feature point can be accumulated and stored.
그리고, 추가 학습 단계에서는 상기 DNN 필터가 상기 PPG 데이터 내에서 검출한 특징점에 대한 정보와 상기 DNN 필터가 상기 미분데이터 내에서 검출한 특징점에 대한 정보를 학습 데이터로 이용하여 상기 DNN 필터를 추가 학습시킬 수 있다.And, in the additional learning step, the DNN filter is further trained using information about the feature points detected by the DNN filter in the PPG data and information about feature points detected by the DNN filter in the differential data as learning data. You can.
한편, 광용적맥파 데이터 분석 방법은 상기 특징점 검출 단계에서 검출된 특징점 데이터를 이용하여 생체 정보를 도출하는 생체정보 도출 단계; 및 사용자의 생체정보를 측정하는 측정 장비의 측정값에 대한 신뢰도를 평가하는 신뢰도 평가 단계;를 더 포함하고, 상기 신뢰도 평가 단계에서는 상기 생체정보 도출 단계에서 도출된 생체정보 값과 상기 측정 장비의 측정값을 비교하여 차이값이 기지정된 기준값 이하인 경우에는 상기 측정 장비의 신뢰도가 높다고 평가하고, 차이값이 기지정된 기준값을 초과하는 경우에는 상기 측정 장비의 신뢰도가 낮다고 평가할 수 있다.Meanwhile, the photoplethysmography data analysis method includes a biometric information derivation step of deriving biometric information using the feature point data detected in the feature point detection step; and a reliability evaluation step of evaluating the reliability of the measurement value of a measurement device that measures the user's biometric information, wherein the reliability evaluation step includes the biometric information value derived in the biometric information derivation step and the measurement of the measurement device. By comparing the values, if the difference value is less than a predetermined standard value, the reliability of the measuring equipment can be evaluated as high, and if the difference value exceeds the predetermined standard value, the reliability of the measuring equipment can be evaluated as low.
이러한 목적을 달성하기 위하여 본 발명의 다른 실시형태로서, 컴퓨터로 읽을 수 있는 기록매체에는 전술한 광용적맥파 데이터 분석 방법을 수행하기 위한 프로그램이 기록될 수 있다. In order to achieve this object, as another embodiment of the present invention, a program for performing the above-described photoplethysmographic data analysis method may be recorded on a computer-readable recording medium.
상술한 과제의 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The means for solving the above problems are merely illustrative and should not be construed as intended to limit the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and detailed description of the invention.
이상에서 설명한 바와 같이, 본 발명의 다양한 실시예에 의하면, PPG 신호의 파형을 자동으로 분석하며, PPG 데이터의 특징점에 대한 판정 결과가 누적되면서 분석 결과값의 정확도와 신뢰도가 향상되는 효과가 있다.As described above, according to various embodiments of the present invention, the waveform of the PPG signal is automatically analyzed, and the accuracy and reliability of the analysis results are improved as the judgment results for the feature points of the PPG data are accumulated.
또한, 본 발명의 다양한 실시예에 따르면, 특징점 검출 단계에서 일부 영역이 서로 중첩된 두 개의 분석용 데이터 내에는 동일한 특징점이 중복 검출되며, 동일한 특징점에 대한 판정 결과가 누적되고, 누적된 판정 결과를 이용하여 DNN 필터를 추가 학습시킬 수 있으므로 기존의 인공신경망에 비해 뉴런수와 데이터 연산량을 줄이면서도 정확도가 높아지고, 비교적 저사양이거나 저성능인 하드웨어에서도 빠른 구현이 가능하며 실시간 처리가 가능한 장점이 있다.In addition, according to various embodiments of the present invention, in the feature point detection step, the same feature point is detected redundantly in two analysis data in which some areas overlap, the decision results for the same feature point are accumulated, and the accumulated decision result is Since DNN filters can be additionally learned using this method, accuracy increases while reducing the number of neurons and data computation compared to existing artificial neural networks. It can be implemented quickly even on relatively low-spec or low-performance hardware, and has the advantage of being able to process in real time.
그리고, 본 발명의 다양한 실시예에 의하면, 분석 알고리즘이나 DNN 필터를 서버 또는 측정 장비(예를 들어, 산소포화도 측정 장비, 혈압계 등) 내에 탑재함으로써, 비정상적으로 측정된 PPG 데이터로부터 더욱 신뢰할 수 있는 생체정보(예를 들어, 심박수, 심박변이도, 산소포화도 등)를 획득할 수 있다.In addition, according to various embodiments of the present invention, by installing the analysis algorithm or DNN filter in the server or measurement equipment (e.g., oxygen saturation measurement equipment, blood pressure monitor, etc.), more reliable biometric data can be obtained from abnormally measured PPG data. Information (eg, heart rate, heart rate variability, oxygen saturation, etc.) can be obtained.
본 발명의 다양한 실시예에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects according to various embodiments of the present invention are not limited to the effects mentioned above, and other effects not mentioned may be clearly understood by those skilled in the art from the description of the claims.
도1은 본 발명의 일 실시예에 따른 광용적맥파 데이터 분석 방법을 개략적으로 도시한 흐름도이다.
도2는 본 발명의 일 실시예에서 PPG 데이터와 미분데이터를 신호처리하는 과정과 DNN 필터를 이용하여 특징점을 검출하는 과정을 개략적으로 도시한 것이다.
도3은 본 발명의 일 실시예에 따른 PPG 데이터와 미분데이터를 개략적으로 도시한 것이다.
도4는 본 발명의 일 실시예에서 윈도우가 이동하면서 분석용 데이터를 생성하는 과정을 개략적으로 도시한 것이다.
도5는 정상 데이터 및 비정상 데이터를 확보하기 위해 산소포화도 측정기를 이용하여 심박수를 정상 측정 및 비정상 측정하는 모습을 촬영한 사진이다.
도6은 산소포화도 측정기에 의해 측정된 심박수와 본 발명의 일 실시예에 따른 광용적맥파 데이터 분석 방법으로 측정된 심박수를 도시한 것이다.
도7은 본 발명의 일 실시예에 따른 광용적맥파 분석 방법에 의해 도출된 결과로서, 정상 측정과 비정상 측정시 도출된 심장박동에 대한 인식도(Recognition score)를 도시한 것이다.Figure 1 is a flowchart schematically showing a method of analyzing photoplethysmographic data according to an embodiment of the present invention.
Figure 2 schematically shows the process of signal processing PPG data and differential data and the process of detecting feature points using a DNN filter in one embodiment of the present invention.
Figure 3 schematically shows PPG data and differential data according to an embodiment of the present invention.
Figure 4 schematically shows the process of generating data for analysis while a window moves in one embodiment of the present invention.
Figure 5 is a photograph of normal and abnormal measurements of heart rate using a pulse oximeter to secure normal and abnormal data.
Figure 6 shows the heart rate measured by a pulse oximeter and the heart rate measured by the photoplethysmography data analysis method according to an embodiment of the present invention.
Figure 7 is a result derived by the photoplethysmography analysis method according to an embodiment of the present invention, showing the recognition score for the heartbeat derived during normal and abnormal measurements.
본 발명의 바람직한 실시예에 대하여 첨부된 도면을 참조하여 더 구체적으로 설명하되, 이미 주지되어진 기술적 부분에 대해서는 설명의 간결함을 위해 생략하거나 압축하기로 한다.Preferred embodiments of the present invention will be described in more detail with reference to the attached drawings, but technical parts that are already well-known will be omitted or compressed for brevity of explanation.
본 명세서에서 본 발명의 "일" 또는 "하나의" 실시예에 대한 언급들은 반드시 동일한 실시예에 대한 것은 아니며, 이들은 적어도 하나를 의미한다는 것에 유의해야 한다.It should be noted that references herein to “one” or “one” embodiment of the invention do not necessarily refer to the same embodiment, and they refer to at least one.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다른 의미를 뜻하지 않는 한, 복수의 표현을 포함한다.In the following examples, singular expressions include plural expressions unless the context clearly indicates a different meaning.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.In the following embodiments, terms such as include or have mean that the features or components described in the specification exist, and do not exclude in advance the possibility of adding one or more other features or components.
어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정은 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다. 즉, 본원 명세서에 기술된 방법의 각 단계는 명세서 상에서 달리 언급되거나 문맥상 명백히 상충되지 않는 한 임의의 순서로 적절하게 실시될 수 있다.In cases where an embodiment can be implemented differently, a specific process sequence may be performed differently from the described sequence. For example, two processes described in succession may be performed substantially simultaneously, or may be performed in an order opposite to the order in which they are described. That is, each step of the method described herein can be appropriately performed in any order unless otherwise stated in the specification or clearly conflicting from the context.
도면에서 나타난 각 구성은 설명의 편의를 위해 임의로 나타낸 것이므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.Since each configuration shown in the drawings is arbitrarily shown for convenience of explanation, the present invention is not necessarily limited to what is shown.
도1은 본 발명의 일 실시예에 따른 광용적맥파 데이터 분석 방법을 개략적으로 도시한 흐름도이고, 도2는 본 발명의 일 실시예에서 PPG 데이터와 미분데이터를 신호처리하는 과정과 DNN 필터를 이용하여 특징점을 검출하는 과정을 개략적으로 도시한 것이며, 도3은 본 발명의 일 실시예에 따른 PPG 데이터와 미분데이터를 개략적으로 도시한 것이고, 도4는 본 발명의 일 실시예에서 윈도우가 이동하면서 분석용 데이터를 생성하는 과정을 개략적으로 도시한 것이며, 도5는 정상 데이터 및 비정상 데이터를 확보하기 위해 산소포화도 측정기를 이용하여 심박수를 정상 측정 및 비정상 측정하는 모습을 촬영한 사진이고, 도6은 산소포화도 측정기에 의해 측정된 심박수와 본 발명의 일 실시예에 따른 광용적맥파 데이터 분석 방법으로 측정된 심박수를 도시한 것이고, 도7은 본 발명의 일 실시예에 따른 광용적맥파 분석 방법에 의해 도출된 결과로서, 정상 측정과 비정상 측정시 심장박동에 대한 인식도를 도시한 것이다. Figure 1 is a flowchart schematically showing a method of analyzing photoplethysmographic data according to an embodiment of the present invention, and Figure 2 is a process of signal processing PPG data and differential data and using a DNN filter in an embodiment of the present invention. This schematically shows the process of detecting feature points. Figure 3 schematically shows PPG data and differential data according to an embodiment of the present invention, and Figure 4 shows the window moving in an embodiment of the present invention. It schematically shows the process of generating data for analysis, and Figure 5 is a photograph of normal and abnormal heart rate measurements using a pulse oximeter to secure normal and abnormal data, and Figure 6 is The heart rate measured by the pulse oximeter and the heart rate measured by the photoplethysmography data analysis method according to an embodiment of the present invention are shown, and Figure 7 shows the heart rate measured by the photoplethysmography data analysis method according to an embodiment of the present invention. As a result, it shows the recognition of heartbeat during normal and abnormal measurements.
본 발명의 일 실시예에 따른 광용적맥파 데이터 분석 방법에 대하여 도1에 도시된 흐름도를 따라 설명하고, 도2 내지 도7에 도시된 도면을 참조하여 설명하되, 편의상 순서를 붙여 설명하기로 한다. 일 실시예에서 광용적맥파 데이터 분석 방법은 컴퓨터에 의해 구현될 수 있다. 컴퓨터는 적어도 하나의 통신 네트워크를 통해 통신하는 통신장치, 화면정보를 출력하는 디스플레이, 컴퓨터 실행가능 명령어가 저장되는 메모리 및 메모리와 전기적으로 연결되며 컴퓨터 실행가능 명령어를 실행하는 프로세서를 포함할 수 있다.The photoplethysmographic data analysis method according to an embodiment of the present invention will be described according to the flowchart shown in Figure 1 and will be described with reference to the drawings shown in Figures 2 to 7, but will be explained in order for convenience. . In one embodiment, the photoplethysmography data analysis method may be implemented by a computer. A computer may include a communication device that communicates through at least one communication network, a display that outputs screen information, a memory in which computer-executable instructions are stored, and a processor that is electrically connected to the memory and executes computer-executable instructions.
본 명세서에서 분석 알고리즘은 신경망 필터가 검출한 특징점 데이터를 이용하여 측정 장비(예를 들어, 산소포화도 측정장비, 혈압계 등)가 측정한 데이터의 신뢰도를 판단하는 알고리즘으로서, 컴퓨터의 메모리 내에 프로그램 형태로 설치될 수 있다.In this specification, the analysis algorithm is an algorithm that determines the reliability of data measured by measuring equipment (e.g., oxygen saturation measuring equipment, blood pressure monitor, etc.) using feature point data detected by a neural network filter, and is stored in the form of a program in the computer's memory. Can be installed.
1. PPG 데이터 수신 단계<S101>1. PPG data reception step <S101>
본 단계에서는 PPG 측정 센서로부터 PPG 데이터를 수신할 수 있다. 여기서, PPG 데이터는 특징점 분석을 위해 컴퓨터에 입력되는 입력 데이터이다. 일 실시예에 따르면, PPG 데이터에는 도3의 PPG에 도시된 바와 같은 파형 정보가 포함될 수 있다.In this step, PPG data can be received from the PPG measurement sensor. Here, PPG data is input data input to the computer for feature point analysis. According to one embodiment, the PPG data may include waveform information as shown in the PPG of FIG. 3.
2. 미분데이터 생성 단계<S102>2. Differential data generation step <S102>
본 단계에서는 단계 S101에서 수신한 PPG 데이터를 미분하여 미분데이터를 생성할 수 있다. 도2를 참조하면, 일 실시예에서는 일정한 크기(예를 들어, 1.2초)를 갖는 윈도우(W)가 시간의 흐름에 따라 이동하면서 1차 미분을 수행하여 PPG 데이터와 대응되는 미분데이터를 생성할 수 있다. 본 명세서에서 윈도우(W)의 크기(I)는 윈도우(W)의 너비를 의미하며, 너비는 시간 단위로 적용될 수 있다.In this step, differential data can be generated by differentiating the PPG data received in step S101. Referring to Figure 2, in one embodiment, a window W having a constant size (for example, 1.2 seconds) moves over time and performs first differentiation to generate differential data corresponding to PPG data. You can. In this specification, the size (I) of the window (W) means the width of the window (W), and the width may be applied in units of time.
3. 신호처리 단계<S103>3. Signal processing step <S103>
본 단계에서는 PPG 데이터와 미분데이터를 신호처리하여 분석용 데이터를 생성할 수 있다. 일 실시예에서 신호처리 단계는 포커싱(focusing) 단계와 노멀라이징(normalizing) 단계를 포함할 수 있다. 먼저, 포커싱 단계에서는 PPG 데이터와 미분데이터의 크기를 축소할 수 있다. 도2를 참조하면, 포커싱 단계에서는 윈도우(W)의 영역 내에서 일정한 구간에 해당하는 데이터를 부분적으로 발췌하여 데이터의 크기를 축소할 수 있다. 노멀라이징 단계에서는 포커싱 단계가 수행된 데이터의 y축 범위를 -1 내지 1로 일반화할 수 있다. 예를 들어, 노멀라이징 단계에서는 포커싱 단계가 수행된 데이터 중에서 y값이 가장 작은 값은 -1로 설정하고, y값이 가장 큰 값은 1로 설정하고, 나머지 값들은 비율에 맞춰서 -1과 1 사이의 값으로 일반화할 수 있다.In this step, data for analysis can be generated by signal processing the PPG data and differential data. In one embodiment, the signal processing step may include a focusing step and a normalizing step. First, in the focusing step, the size of PPG data and differential data can be reduced. Referring to Figure 2, in the focusing step, the size of the data can be reduced by partially extracting data corresponding to a certain section within the area of the window W. In the normalizing step, the y-axis range of the data on which the focusing step was performed can be normalized to -1 to 1. For example, in the normalizing step, among the data on which the focusing step was performed, the value with the smallest y value is set to -1, the value with the largest y value is set to 1, and the remaining values are between -1 and 1 according to the ratio. It can be generalized to the value of .
도4를 참조하면, 본 단계에서는 일정한 크기(I)(예를 들어, 1.2초)를 갖는 윈도우(W)가 기설정된 시간 단위(T)(예를 들어, 20밀리초)만큼 이동하면서 윈도우(W)의 영역 내에 해당되는 PPG 데이터와 미분데이터를 신호처리하여 분석용 데이터를 생성할 수 있다. 이때, 윈도우(W)가 이동하는 시간 단위는 윈도우(W)의 크기(I)에 비해 작게 설정됨에 따라, 연속하여 생성된 두 개의 분석용 데이터의 일부 영역이 서로 중첩될 수 있다. Referring to Figure 4, in this step, a window (W) with a certain size (I) (e.g., 1.2 seconds) moves by a preset time unit (T) (e.g., 20 milliseconds) while the window ( Data for analysis can be generated by signal processing the PPG data and differential data corresponding to the area of W). At this time, as the time unit in which the window W moves is set to be smaller than the size I of the window W, some areas of two successively generated analysis data may overlap each other.
4. 특징점 검출 단계<S104>4. Feature point detection step <S104>
본 단계에서는 사전에 학습된 분석 알고리즘을 이용하여 분석용 데이터의 전체 영역 내에 존재하는 특징점을 검출할 수 있다. 일 실시예에서 분석 알고리즘은 전문가에 의해 라벨링되어 답이 미리 정해진 학습 데이터를 기반으로 사전에 학습될 수 있다. 예를 들어, 분석 알고리즘은 PPG 데이터 내의 특징점 정보가 라벨링된 학습 데이터를 이용하여 사전 학습이 이루어질 수 있다.In this step, feature points existing within the entire area of analysis data can be detected using a pre-learned analysis algorithm. In one embodiment, the analysis algorithm may be pre-trained based on training data that is labeled by an expert and whose answers are predetermined. For example, the analysis algorithm may be pre-trained using learning data labeled with feature point information in PPG data.
도3을 참조하면, 특징점은 PPG 데이터 중 심장 수축에 의한 최댓값 지점인 S점, PPG 데이터 중 심장 수축 직전의 최솟값 지점인 O점, PPG 데이터 중 심박동을 측정할 수 없는 영역인 오류 영역의 시작점인 ES점, 오류 영역의 끝 지점인 EE점, 1차 미분한 미분데이터 중 최댓값 지점인 W점 및 1차 미분한 미분데이터 중 반사파로 인해 발생한 첫 번째 피크인 Z점 중에서 적어도 어느 하나를 포함할 수 있다.Referring to Figure 3, the feature points are the S point, which is the maximum value point due to heart contraction among the PPG data, the O point, which is the minimum value point just before heart contraction among the PPG data, and the starting point of the error area, which is an area where heart rate cannot be measured among the PPG data. It can include at least one of the ES point, the EE point, which is the end point of the error area, the W point, which is the maximum value point among the first-differentiated differential data, and the Z point, which is the first peak caused by a reflected wave among the first-differentiated differential data. there is.
일 실시예에서 분석 알고리즘은 입력층과 출력층 사이에 복수개의 은닉층이 포함된 DNN 필터를 포함할 수 있다. 또한, 일 실시예에서 DNN 필터는 특징점의 종류에 따라서 단수 또는 복수개로 적용될 수 있다. 예를 들어, 본 단계에서 검출하려는 특징점의 종류가 6개라면, 각 특징점별로 DNN 필터가 적용되도록 총 6개의 DNN 필터가 사용될 수 있다. In one embodiment, the analysis algorithm may include a DNN filter including a plurality of hidden layers between the input layer and the output layer. Additionally, in one embodiment, DNN filters may be applied singly or plurally depending on the type of feature point. For example, if there are 6 types of feature points to be detected in this step, a total of 6 DNN filters can be used so that the DNN filter is applied to each feature point.
아울러, 일 실시예에서 DNN 필터는 답이 미리 정해진 학습 데이터(예를 들어, 특정 PPG 데이터 내에 존재하는 특징점에 대한 정보, 특정 미분데이터 내에 존재하는 특징점에 대한 정보 등)를 이용하여 사전에 학습된 DNN 필터로 적용될 수 있다. In addition, in one embodiment, the DNN filter is learned in advance using learning data for which the answer is predetermined (e.g., information about feature points present in specific PPG data, information about feature points present in specific differential data, etc.). It can be applied as a DNN filter.
그리고, 본 단계에서는 DNN 필터에 분석용 데이터가 입력되면, DNN 필터가 분석용 데이터를 분석하여 분석용 데이터 내에 포함된 특징점을 검출할 수 있다. 이때, 일부 영역이 서로 중첩된 두 개의 분석용 데이터 내에는 동일한 특징점이 존재할 수 있으므로 동일한 특징점이 중복 검출될 수 있고, 동일한 특징점에 대해 판정한 판정 결과가 누적되어 저장될 수 있다. 도4를 참조하면, 제1분석용 데이터(D1), 제2분석용 데이터(D2) 및 제3분석용 데이터(D3)는 일부 영역이 서로 중첩되어 있고, 중첩된 영역 내에 동일한 특징점인 S점(S)이 존재하므로 DNN 필터는 S점(S)을 검출한 판정 결과를 누적하여 S점(S)에 대한 판정 결과값이 3이라고 저장할 수 있다. Also, in this step, when analysis data is input to the DNN filter, the DNN filter can analyze the analysis data and detect feature points included in the analysis data. At this time, since the same feature point may exist in two pieces of analysis data in which some areas overlap each other, the same feature point may be detected repeatedly, and the decision results determined for the same feature point may be accumulated and stored. Referring to Figure 4, some areas of the first analysis data (D1), the second analysis data (D2), and the third analysis data (D3) overlap each other, and the S point, which is the same feature point, within the overlapped area Since (S) exists, the DNN filter can accumulate the decision results of detecting point S (S) and store the decision result value for point S (S) as 3.
5. 추가 학습 단계<S105>5. Additional learning step <S105>
본 단계에서는 DNN 필터에 의해 검출된 특징점 데이터를 이용하여 DNN 필터를 학습시키는 과정이 수행될 수 있다. 일 실시예에 따르면, 본 단계에서는 단계 S104에서 DNN 필터가 PPG 데이터 내에서 검출한 특징점에 대한 정보와 미분데이터 내에서 검출한 특징점에 대한 정보를 학습 데이터로 이용하여 DNN 필터를 추가 학습시킬 수 있다. DNN 필터의 학습시 각 레이어에 포함된 뉴런들에 가중치를 부가하면서 반복적으로 이에 대한 조정이 이루어지고, 이를 통해 높은 정확도의 판단 결과를 도출하는 최적의 알고리즘이 구성될 수 있다. In this step, a process of learning the DNN filter can be performed using the feature point data detected by the DNN filter. According to one embodiment, in this step, the DNN filter can be further trained by using information about the feature points detected in the PPG data by the DNN filter in step S104 and information about the feature points detected in the differential data as learning data. . When learning a DNN filter, weights are added to the neurons included in each layer and adjustments are made repeatedly, and through this, an optimal algorithm that produces high-accuracy judgment results can be constructed.
또한, 실시하기에 따라, 본 단계 이후에 생체정보 도출 단계(S106), 점수화 단계(S107) 및 신뢰도 평가 단계(S108)가 더 수행될 수도 있다. 일 실시예에 따른 생체정보 도출 단계에서는 DNN 필터에 의해 판정된 특징점(예를 들어, W점)의 이전 위치와 현재 위치 사이의 간격을 이용하여 생체정보(예를 들어, 분당 심박수)를 도출할 수 있다. 그리고, 일 실시예에 따른 점수화 단계에서는 특징점 검출 단계에서 DNN 필터가 심박동을 인식한 정도를 수치화하여 정량적인 값으로 나타내는 과정이 수행될 수 있다. 예를 들어, 점수화 단계에서는 프로세서가 아래 수학식 1을 이용하여 심박동 인식도를 산출할 수 있다.In addition, depending on implementation, a biometric information derivation step (S106), a scoring step (S107), and a reliability evaluation step (S108) may be further performed after this step. In the biometric information derivation step according to one embodiment, biometric information (e.g., heart beats per minute) is derived using the interval between the previous location and the current location of the feature point (e.g., W point) determined by the DNN filter. You can. Additionally, in the scoring step according to one embodiment, a process may be performed to quantify the degree to which the DNN filter recognizes the heartbeat in the feature point detection step and express it as a quantitative value. For example, in the scoring step, the processor can calculate heart rate recognition using Equation 1 below.
[수학식 1][Equation 1]
RS = S+O+W+(40-ES-EE)RS = S+O+W+(40-ES-EE)
(여기서, RS는 심박동 인식도, S는 DNN 필터가 판정한 S점의 판정 횟수, O는 DNN 필터가 판정한 O점의 판정 횟수, W는 DNN 필터가 판정한 W점의 판정 횟수, ES는 DNN 필터가 판정한 ES점의 판정 횟수, EE는 DNN 필터가 판정한 EE점의 판정 횟수이다)(Here, RS is the heart rate recognition, S is the number of judgments for point S determined by the DNN filter, O is the number of judgments for point O determined by the DNN filter, W is the number of judgments for point W determined by the DNN filter, and ES is the number of judgments for point W determined by the DNN filter. (where EE is the number of judgments for ES points determined by the filter, EE is the number of judgments for EE points determined by the DNN filter)
일 실시예에 따른 신뢰도 평가 단계에서는 사용자의 생체정보를 측정하는 측정 장비(일 예로, 혈압계)가 측정한 측정값(일 예로, 분당 심박수)을 컴퓨터의 통신장치가 수신하고, 프로세서는 측정장비의 측정값을 생체정보 도출 단계에서 도출된 생체정보 값(일 예로, 분당 심박수)과 비교하여 측정값과 생체정보 값 간의 차이값이 기지정된 기준값 이하인 경우에는 측정 장비가 측정한 측정값에 대해 신뢰도가 높다고 판단할 수 있다. 만일, 측정값과 생체정보 값 간의 차이값이 기지정된 기준값을 초과하는 경우에는 측정 장비의 측정값에 대한 신뢰도가 낮다고 평가하고, 컴퓨터의 출력 장치(예를 들어, 디스플레이, 스피커 등)를 통해 측정 장비로 재측정해볼 것을 권유하는 안내 메시지를 출력하거나 신뢰도가 낮은 측정값을 대신하여 생체정보 값을 출력할 수도 있다.In the reliability evaluation step according to one embodiment, the communication device of the computer receives the measured value (e.g., heart rate per minute) measured by a measuring device (e.g., a blood pressure monitor) that measures the user's biometric information, and the processor receives the measured value (e.g., heart rate per minute) of the measuring device. If the measured value is compared with the biometric information value (e.g., heart rate per minute) derived in the biometric information derivation step and the difference between the measured value and the biometric information value is less than a predetermined standard value, the reliability of the measurement value measured by the measuring equipment is low. It can be judged to be high. If the difference between the measured value and the biometric information value exceeds the predetermined standard value, the reliability of the measured value of the measuring equipment is evaluated as low, and the measurement is performed through the computer's output device (e.g. display, speaker, etc.). You can output a guidance message recommending re-measurement with the equipment, or print biometric information values in place of unreliable measurement values.
본 발명의 다양한 실시예들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. Various embodiments of the present invention can be implemented as computer-readable code on a computer-readable recording medium. Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. Additionally, the computer-readable recording medium may be distributed over a computer system connected to a network so that the computer-readable code may be stored and executed in a distributed manner.
이하에서는 구체적인 실험예를 통해 본 발명을 보다 상세하게 설명한다. 하기 실험예들은 본 발명의 이해를 돕기 위한 하나의 예시에 불과하므로 본 발명의 권리범위가 이에 제한되거나 한정되는 것은 아니다.Hereinafter, the present invention will be described in more detail through specific experimental examples. The following experimental examples are merely examples to aid understanding of the present invention, and therefore the scope of the present invention is not limited or limited thereto.
<생체데이터의 수집 및 평가><Collection and evaluation of biometric data>
생체데이터는 강원대학교 병원의 임상실험(임상시험위원회의 승인번호 A-2019-11-007-007)을 통해 확보하였다. 6명의 실험참가자는 24~36세 정상인이며 총 10회간 30초 이상 SPO2(PPG) 데이터를 측정하였다. 도5에 도시된 바와 같이, 5회의 측정은 정상적인 상태에서 측정하였으나, 5회의 측정은 센서가 부착된 손가락을 20°~30°범위에서 분당 100회의 주기로 내전(flexion), 외전(extension)을 반복하며 측정하였다. 정상 측정을 1회한 후, 곧바로 비정상 측정을 실시하였으므로 정상 측정과 비정상 측정 간에 환자의 심박동이 달라지는 등의 생리적 변화는 관찰되지 않았다. 그 후, 실험참가자에게서 측정한 PPG 파형과 SPO2값, SPO2 측정기기(BPM-190, Bionics, Inc., Korea)가 측정한 HR(심박수)을 컴퓨터로 전송하였으며, PPG의 파형을 분석하여 특징점(S점, O점, W점, Z점, ES, EE)을 판정하였다. Biometric data was obtained through a clinical trial at Kangwon National University Hospital (Clinical Trial Committee approval number A-2019-11-007-007). The six experiment participants were normal people aged 24 to 36, and SPO 2 (PPG) data was measured for more than 30 seconds a total of 10 times. As shown in Figure 5, five measurements were made under normal conditions, but for five measurements, the finger to which the sensor was attached was repeatedly flexed and extended at a rate of 100 cycles per minute in the range of 20° to 30°. and measured. Because abnormal measurements were performed immediately after one normal measurement, no physiological changes, such as changes in the patient's heart rate, were observed between normal and abnormal measurements. Afterwards, the PPG waveform and SPO 2 value measured from the experiment participant, and the HR (heart rate) measured by the SPO 2 measuring device (BPM-190, Bionics, Inc., Korea) were transferred to the computer, and the PPG waveform was analyzed. Feature points (S point, O point, W point, Z point, ES, EE) were determined.
PPG 데이터는 62.5Hz로 샘플링되었고 1.2초 영역 내에 측정된 PPG 데이터 32개와 미분데이터 32개를 신호처리하여 분석용 데이터로 만들고 심층신경망의 입력으로 사용하였으며, DNN 필터가 판정한 S점 데이터 20개, O점 데이터 20개, W점 데이터 20개도 심층신경망의 입력으로 사용하였다. 각 심층신경망의 입력은 총 124개로 구성하고, 124개씩의 신경을 가진 두 개의 은닉층과 21개의 출력층 한 개로 구성하였다. DNN 필터에 의해 판정된 W점의 이전 위치와 현재 위치 사이의 간격을 이용하여 HR을 계산하였으며 이를 정상, 비정상 측정 상태에서 SPO2 기기가 측정한 HR과 비교하였다. DNN 필터는 S, O, W점의 판정을 각 특징점별로 20회까지 중복하여 판정하고, 1회 검출시 1점이 올라가는 방식으로 산정하고, 심박동시 발생하는 S, O, W점의 판정횟수의 최대 합은 60으로 설정하였다. DNN 필터가 심박동을 인식한 정도를 정량적으로 나타내기 위해 S, O, W점의 판정횟수의 합을 점수화하였다. 또한, 비정상적인 잡음이 검출되지 않았을 때, 즉, ES, EE가 심장박동 범위 내에 없는 경우는 40점으로 하여 심박동 인식 정도의 점수에 합산하고 존재하는 경우는 1회 검출시 -1점으로 산정하였다. 본 실험에서는 심박동을 인식하는 점수를 인식도(RS: recognition score)로 표시하였다. 따라서, 심박동 인식도는 최하 0점에서 최대 100점까지 산출되며, 전술한 수학식 1을 이용하여 산출되었다.PPG data was sampled at 62.5Hz, and 32 PPG data and 32 differential data measured within a 1.2 second range were signal processed to create data for analysis and used as input to a deep neural network. 20 S-point data determined by the DNN filter, 20 O-point data and 20 W-point data were also used as input to the deep neural network. The input of each deep neural network consisted of a total of 124 neurons, two hidden layers with 124 neurons each, and one output layer with 21 neurons. HR was calculated using the interval between the previous and current positions of point W determined by the DNN filter, and compared with the HR measured by the SPO 2 device in normal and abnormal measurement conditions. The DNN filter judges the S, O, and W points repeatedly up to 20 times for each feature point, and calculates the number by increasing one point when detected once. The maximum number of times the S, O, and W points are judged during a heartbeat. The sum was set to 60. To quantitatively indicate the degree to which the DNN filter recognized the heartbeat, the sum of the number of judgments for S, O, and W points was scored. In addition, when no abnormal noise was detected, that is, when ES and EE were not within the heartbeat range, the score was 40 points and added to the heartbeat recognition degree score, and when it was present, it was calculated as -1 point for one detection. In this experiment, the score for recognizing the heartbeat was expressed as recognition score (RS). Therefore, heart rate recognition is calculated from a minimum score of 0 to a maximum of 100 points, and was calculated using Equation 1 described above.
도6은 산소포화도 측정기에 의해 측정된 심박수와 본 발명의 일 실시예에 따른 광용적맥파 데이터 분석 방법으로 측정된 심박수를 도시한 것이다. 도6의 (a)를 참조하면, 정상 측정과 비정상 측정시 SPO2 기기에 의해 측정된 HR값이 크게 변동하였음을 알 수 있다. 즉, 비정상 측정시에는 동잡음이 발생하여 심박수의 정확도와 신뢰도가 저하되었음을 알 수 있다.Figure 6 shows the heart rate measured by a pulse oximeter and the heart rate measured by the photoplethysmography data analysis method according to an embodiment of the present invention. Referring to (a) of Figure 6, it can be seen that the HR value measured by the SPO 2 device varied significantly during normal and abnormal measurements. In other words, it can be seen that motion noise occurs during abnormal measurements, which reduces the accuracy and reliability of heart rate.
도6의 (b)는 동일한 SPO2 기기로 동시에 측정한 PPG를 DNN 필터로 분석하여 HR값을 도출한 것이며, 정상 측정과 비정상 측정시 HR의 변화가 크게 나타나지 않았다. 따라서, 도6의 결과를 통해 본 발명의 일 실시예에 따른 광용적맥파 데이터 분석 방법은 동잡음에 영향을 받지 않고 안정적으로 심박수를 분석할 수 있음을 알 수 있다.Figure 6(b) shows the HR value derived by analyzing PPG measured simultaneously with the same SPO 2 device using a DNN filter, and there was no significant change in HR between normal and abnormal measurements. Therefore, it can be seen from the results of Figure 6 that the photoplethysmographic wave data analysis method according to an embodiment of the present invention can stably analyze heart rate without being affected by motion noise.
도7은 본 발명의 일 실시예에 따른 광용적맥파 분석 방법에 의해 도출된 결과로서, 정상 측정과 비정상 측정시 도출된 심장박동 인식도를 도시한 것이다. 도7에서는 정상 측정 데이터와 비정상 측정 데이터로부터 도출된 심박동 인식도의 차이를 비교하였다. 이때, 특징점 중 Z점은 환자와 질환의 특징을 나타낸 것이기 때문에 일부 환자에게서는 보이지 않는 경우가 있으므로 RS의 계산에는 제외하였다.Figure 7 is a result derived by the photoplethysmography analysis method according to an embodiment of the present invention, showing heartbeat recognition derived during normal and abnormal measurements. In Figure 7, the difference in heartbeat recognition derived from normal measurement data and abnormal measurement data is compared. At this time, since the Z point among the feature points represents the characteristics of the patient and the disease and may not be visible in some patients, it was excluded from the calculation of RS.
도7을 참조하면, DNN 필터를 이용하여 정상 측정 상태의 PPG를 분석하였을 때, 모든 심장박동에 대한 인식도(RS)가 평균 98.4(최소 90.3)였지만, 비정상 측정 상태의 PPG를 분석하였을 때 RS의 평균은 48.4(최대 78.8)로 낮았다. 따라서, DNN 필터의 RS 값이 80 이상인 경우를 정상 측정 상태라고 본다면, 분석 알고리즘의 RS값을 통해 정상 측정 상태와 비정상 측정 상태를 완벽히 구분할 수 있으므로 인공신경망에 의해 도출된 결과값 데이터의 신뢰성을 높일 수 있다.Referring to Figure 7, when PPG in a normal measurement state was analyzed using a DNN filter, the recognition rate (RS) for all heartbeats was 98.4 (minimum 90.3) on average, but when PPG in an abnormal measurement state was analyzed, the RS The average was low at 48.4 (maximum 78.8). Therefore, if the case where the RS value of the DNN filter is 80 or more is considered a normal measurement state, the RS value of the analysis algorithm can perfectly distinguish between normal and abnormal measurement states, thereby increasing the reliability of the result data derived by the artificial neural network. You can.
상술한 바와 같이, 본 발명의 다양한 실시예에 따르면, PPG 신호의 파형을 자동으로 분석하며, PPG 데이터의 특징점에 대한 판정 결과가 누적되면서 분석 결과값의 정확도와 신뢰도가 향상되는 효과가 있다.As described above, according to various embodiments of the present invention, the waveform of the PPG signal is automatically analyzed, and the accuracy and reliability of the analysis results are improved as the judgment results for the feature points of the PPG data are accumulated.
또한, 본 발명의 다양한 실시예에 따르면, 특징점 검출 단계에서 일부 영역이 서로 중첩된 두 개의 분석용 데이터 내에는 동일한 특징점이 중복 검출되며, 동일한 특징점에 대한 판정 결과가 누적되고, 누적된 판정 결과를 이용하여 DNN 필터를 학습시킬 수 있으므로 기존의 인공신경망에 비해 뉴런수와 데이터 연산량을 줄이면서도 정확도가 높아지고, 비교적 저성능 하드웨어에서도 빠른 구현이 가능하며 실시간 처리가 가능한 장점이 있다. 그리고, 동일한 특징점에 대한 판정 결과가 누적되어 저장되며 판정 결과가 누적된 특징점에 대한 정보를 다시 DNN 필터의 학습에 사용하므로 입력 데이터의 양이 적더라도 판정의 정확도가 높아지는 효과가 있다.In addition, according to various embodiments of the present invention, in the feature point detection step, the same feature point is detected redundantly in two analysis data in which some areas overlap, the decision results for the same feature point are accumulated, and the accumulated decision result is Since DNN filters can be learned using DNN, accuracy increases while reducing the number of neurons and data computation compared to existing artificial neural networks, and it has the advantage of being able to be implemented quickly even on relatively low-performance hardware and enabling real-time processing. In addition, the decision results for the same feature point are accumulated and stored, and the information about the feature point with the accumulated decision results is used again to learn the DNN filter, which has the effect of increasing the accuracy of the decision even if the amount of input data is small.
그리고, 본 발명의 다양한 실시예에 의하면, 신호처리 단계에서 일정한 크기(예를 들어, 1.2초)를 갖는 윈도우가 기설정된 시간 단위(예를 들어, 20밀리초)만큼 이동하면서 분석용 데이터를 생성할 수 있다. 일 실시예에 따르면, 2분 분량의 PPG 데이터 전체를 분석용 데이터로 만들지 않고 전체 신호의 일부(예를 들어, 0초에서 1.2초까지의 신호)만 분석용 데이터로 만들되, 윈도우의 입력 위치를 2밀리초마다 변경하여 600개의 분석용 데이터를 만들고 분석용 데이터마다 일부분을 중첩시키면 1회 연산량이 줄어들고 중첩된 부분에 대한 학습이 반복적으로 이루어지면서 인공신경망의 학습 효과가 높아질 수 있다.And, according to various embodiments of the present invention, in the signal processing step, a window with a certain size (e.g., 1.2 seconds) moves by a preset time unit (e.g., 20 milliseconds) to generate analysis data. can do. According to one embodiment, instead of making the entire 2-minute PPG data into data for analysis, only a part of the entire signal (for example, a signal from 0 seconds to 1.2 seconds) is made into data for analysis, but the input position of the window is changed to data for analysis. If you create 600 pieces of analysis data by changing them every 2 milliseconds and overlapping a portion of each piece of data for analysis, the amount of one-time calculation is reduced and learning of the overlapped portion is repeated, which can increase the learning effect of the artificial neural network.
위에서 설명한 바와 같이 본 발명에 대한 구체적인 설명은 첨부된 도면을 참조한 실시예에 의해서 이루어졌지만, 상술한 실시예는 본 발명의 바람직한 예를 들어 설명하였을 뿐이기 때문에, 본 발명이 상기의 실시예에만 국한되는 것으로 이해되어져서는 아니 되며, 본 발명의 권리범위는 후술하는 청구범위 및 그 균등개념으로 이해되어져야 할 것이다.As described above, the specific description of the present invention has been made by way of examples with reference to the accompanying drawings, but since the above-described embodiments are only explained by referring to preferred examples of the present invention, the present invention is limited to the above-described embodiments. It should not be understood as being possible, and the scope of rights of the present invention should be understood in terms of the claims described later and their equivalent concepts.
W : 윈도우
I : 윈도우 크기
T : 시간 단위
S : 심장 수축에 의한 최댓값 지점인 S점
D1 : 제1분석용 데이터
D2 : 제2분석용 데이터
D3 : 제3분석용 데이터W: window
I: window size
T: unit of time
S: Point S, the maximum value due to heart contraction
D1: Data for first analysis
D2: Data for second analysis
D3: Data for third analysis
Claims (8)
PPG(photoplethysmography) 데이터를 수신하는 PPG 데이터 수신 단계;
상기 PPG 데이터를 미분하여 미분데이터를 생성하는 미분데이터 생성 단계;
상기 PPG 데이터와 미분데이터를 신호처리하여 분석용 데이터를 생성하는 신호처리 단계;
사전에 학습된 분석 알고리즘을 이용하여 상기 분석용 데이터 내에 존재하는 특징점을 검출하는 특징점 검출 단계; 및
상기 분석 알고리즘에 의해 검출된 특징점 데이터를 이용하여 상기 분석 알고리즘을 학습시키는 추가 학습 단계;를 포함하고,
상기 특징점 검출 단계에서, 상기 분석 알고리즘은 입력층과 출력층 사이에 복수개의 은닉층이 포함된 DNN(deep neural network) 필터를 포함하며, 상기 DNN 필터는 상기 특징점의 종류에 따라서 단수 또는 복수개로 구비되고,
상기 특징점 검출 단계에서, 상기 특징점은 상기 PPG 데이터 중 심장 수축에 의한 최댓값 지점인 S점, 상기 PPG 데이터 중 심장 수축 직전의 최솟값 지점인 O점, 상기 PPG 데이터 중 심박동을 측정할 수 없는 영역인 오류 영역의 시작점인 ES점, 상기 오류 영역의 끝 지점인 EE점, 상기 미분데이터 중 최댓값 지점인 W점 및 상기 미분데이터 중 반사파로 인해 발생한 첫 번째 피크인 Z점을 포함하며,
상기 신호처리 단계에서는 일정한 크기를 갖는 윈도우가 기설정된 시간 단위만큼 이동하면서 상기 윈도우의 영역 내에 해당되는 PPG 데이터와 미분데이터를 신호처리하여 분석용 데이터를 생성하되, 상기 윈도우가 이동하는 시간 단위는 상기 윈도우의 크기에 비해 작게 설정됨으로써, 연속하여 생성된 분석용 데이터의 일부 영역이 서로 중첩되고,
상기 특징점 검출 단계에서는 상기 DNN 필터에 상기 분석용 데이터를 입력하고 분석을 통해 상기 분석용 데이터 내에 포함된 특징점을 검출하되, 일부 영역이 서로 중첩된 분석용 데이터를 분석할 경우에는 동일한 특징점이 중복 검출되며, 상기 동일한 특징점에 대한 판정 결과가 누적되어 저장되고,
상기 추가 학습 단계에서는 상기 DNN 필터가 상기 PPG 데이터 내에서 검출한 특징점에 대한 정보와 상기 DNN 필터가 상기 미분데이터 내에서 검출한 특징점에 대한 정보를 학습 데이터로 이용하여 상기 DNN 필터를 추가 학습시키는 것을 특징으로 하는
광용적맥파 데이터 분석 방법.A photoplethysmography data analysis method implemented by a computer including a memory storing computer-executable instructions and a processor executing the computer-executable instructions, comprising:
A PPG data receiving step of receiving PPG (photoplethysmography) data;
A differential data generation step of differentiating the PPG data to generate differential data;
A signal processing step of generating analysis data by signal processing the PPG data and differential data;
A feature point detection step of detecting feature points present in the analysis data using a pre-learned analysis algorithm; and
An additional learning step of training the analysis algorithm using the feature point data detected by the analysis algorithm,
In the feature point detection step, the analysis algorithm includes a deep neural network (DNN) filter including a plurality of hidden layers between an input layer and an output layer, and the DNN filter is provided in a single or plural number depending on the type of the feature point,
In the feature point detection step, the feature points are S point, which is the maximum value point due to heart contraction among the PPG data, O point, which is the minimum value point just before heart contraction among the PPG data, and error, which is an area where heart rate cannot be measured among the PPG data. It includes point ES, which is the starting point of the region, point EE, which is the end point of the error region, point W, which is the maximum value point among the differential data, and point Z, which is the first peak caused by a reflected wave among the differential data,
In the signal processing step, a window with a certain size moves by a preset time unit and signal processes PPG data and differential data corresponding to the area of the window to generate analysis data, and the time unit in which the window moves is the above. By being set small compared to the size of the window, some areas of continuously generated analysis data overlap each other,
In the feature point detection step, the analysis data is input to the DNN filter and analysis is performed to detect feature points included in the analysis data. However, when analyzing analysis data with some areas overlapping with each other, the same feature points are detected redundantly. and the judgment results for the same feature point are accumulated and stored,
In the additional learning step, the DNN filter is additionally trained using information about the feature points detected by the DNN filter in the PPG data and information about feature points detected by the DNN filter in the differential data as learning data. characterized by
Photoplethysmography data analysis method.
상기 광용적맥파 데이터 분석 방법은
상기 특징점 검출 단계에서 검출된 특징점 데이터를 이용하여 생체 정보를 도출하는 생체정보 도출 단계; 및
사용자의 생체정보를 측정하는 측정 장비의 측정값에 대한 신뢰도를 평가하는 신뢰도 평가 단계;를 더 포함하고,
상기 신뢰도 평가 단계에서는 상기 생체정보 도출 단계에서 도출된 생체정보 값과 상기 측정 장비의 측정값을 비교하여 차이값이 기지정된 기준값 이하인 경우에는 상기 측정 장비의 신뢰도가 높다고 평가하고, 차이값이 기지정된 기준값을 초과하는 경우에는 상기 측정 장비의 신뢰도가 낮다고 평가하는 것을 특징으로 하는
광용적맥파 데이터 분석 방법.According to paragraph 1,
The photoplethysmographic data analysis method is
A biometric information derivation step of deriving biometric information using the feature point data detected in the feature point detection step; and
It further includes a reliability evaluation step of evaluating the reliability of the measurement value of the measuring device that measures the user's biometric information,
In the reliability evaluation step, the biometric information value derived in the biometric information derivation step is compared with the measurement value of the measuring equipment, and if the difference value is less than a predetermined standard value, the reliability of the measuring equipment is evaluated as high, and the difference value is predetermined. If it exceeds the standard value, the reliability of the measuring equipment is evaluated as low.
Photoplethysmography data analysis method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210145903A KR102627661B1 (en) | 2021-10-28 | 2021-10-28 | Method for analyzing photoplethysmography data and recording medium storing program to implement the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210145903A KR102627661B1 (en) | 2021-10-28 | 2021-10-28 | Method for analyzing photoplethysmography data and recording medium storing program to implement the method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230061051A KR20230061051A (en) | 2023-05-08 |
| KR102627661B1 true KR102627661B1 (en) | 2024-01-23 |
Family
ID=86381820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210145903A KR102627661B1 (en) | 2021-10-28 | 2021-10-28 | Method for analyzing photoplethysmography data and recording medium storing program to implement the method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102627661B1 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101593412B1 (en) | 2014-06-24 | 2016-02-15 | 주식회사 메디코아 | Acceleration plethysmography analysis apparatus and method using wave form frequency distribution |
| KR20200054723A (en) | 2018-11-12 | 2020-05-20 | 삼성전자주식회사 | Apparatus and method for measuring blood pressure |
| KR20210007368A (en) | 2019-07-11 | 2021-01-20 | 삼성전자주식회사 | Apparatus and method for estimating bio-information |
-
2021
- 2021-10-28 KR KR1020210145903A patent/KR102627661B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230061051A (en) | 2023-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6931269B2 (en) | Multi-domain motion estimation and plethysmographic recognition using fuzzy neural-nets | |
| US8155735B2 (en) | Prediction and prevention of postoperative atrial fibrillation in cardiac surgery patients | |
| Stetson | Determining heart rate from noisy pulse oximeter signals using fuzzy logic | |
| EP2459065B1 (en) | Method and apparatus for the analysis of a ballistocardiogram signal | |
| WO2019161609A1 (en) | Method for analyzing multi-parameter monitoring data and multi-parameter monitor | |
| US20040230105A1 (en) | Adaptive prediction of changes of physiological/pathological states using processing of biomedical signals | |
| CN108309263A (en) | Multi-parameter monitoring data analysing method and multi-parameter monitoring system | |
| US9386931B2 (en) | System and method for receiving an indication of proper body locations of sensors on a patient | |
| CN110037668B (en) | System for judging age, health state and malignant arrhythmia identification by combining pulse signal time-space domain with model | |
| US8364248B2 (en) | System for cardiac pathology detection and characterization | |
| KR20190049430A (en) | Pain depth classification apparatus and method using PPG and heart rate variability | |
| KR102154652B1 (en) | Method for estimating continuous blood pressure using recurrent neural network and apparatus thereof | |
| Kanawade et al. | Photoplethysmography based arrhythmia detection and classification | |
| Bashar et al. | Smartwatch based atrial fibrillation detection from photoplethysmography signals | |
| Banerjee et al. | Non-invasive detection of coronary artery disease based on clinical information and cardiovascular signals: A two-stage classification approach | |
| Bali et al. | Performance comparison of ANN classifiers for sleep apnea detection based on ECG signal analysis using hilbert transform | |
| KR102627661B1 (en) | Method for analyzing photoplethysmography data and recording medium storing program to implement the method | |
| Cherif et al. | Detection of artifacts on photoplethysmography signals using random distortion testing | |
| EP3977482A1 (en) | System and method for filtering time-varying data for physiological signal prediction | |
| US9020583B2 (en) | Patient signal analysis and characterization | |
| KR102493879B1 (en) | Method for analyzing parameter of photoplethysmography using deep neural network filters | |
| KR20220126041A (en) | Method for Emotion Evaluation using heart dynamics, and system adopting the method | |
| Kerr et al. | Towards pulse detection and rhythm analysis using a biomimetic fingertip | |
| US20210275048A1 (en) | Biometric information processing apparatus and biometric information processing method | |
| KR102079530B1 (en) | Apparatus and method for detecting artifact of blood pressure, and computer readable recording medium storing the method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |