KR102517787B1

KR102517787B1 - A method and apparatus for person identification through segmentation of ECG signals

Info

Publication number: KR102517787B1
Application number: KR1020200114596A
Authority: KR
Inventors: 곽근창; 이명원; 변영현; 염찬욱
Original assignee: 조선대학교산학협력단
Priority date: 2020-09-08
Filing date: 2020-09-08
Publication date: 2023-04-03
Also published as: KR20220032817A

Abstract

본 발명은 심전도 신호의 분할을 통한 개인식별 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 심전도 신호의 분할을 통한 개인식별 방법은 (a) 사용자의 심전도 신호를 획득하는 단계; (b) 상기 획득된 심전도 신호를 푸리에 싱크로스퀴즈 변환(Fourier synchrosqueezed transform)하는 단계; (c) 상기 푸리에 싱크로스퀴즈 변환된 심전도 신호로부터 다수의 관심영역을 분류하는 단계; 및 (d) 상기 분류된 다수의 관심영역 각각을 딥러닝 네트워크에 입력하여 상기 사용자를 식별하는 단계;를 포함할 수 있다. The present invention relates to a method and apparatus for personal identification through segmentation of an electrocardiogram signal. According to an embodiment of the present invention, a method for personal identification through division of an electrocardiogram signal includes the steps of (a) obtaining an electrocardiogram signal of a user; (b) performing a Fourier synchrosqueezed transform on the acquired electrocardiogram signal; (c) classifying a plurality of regions of interest from the Fourier synchrosswipe-transformed electrocardiogram signal; and (d) identifying the user by inputting each of the classified regions of interest into a deep learning network.

Description

심전도 신호의 분할을 통한 개인식별 방법 및 장치{A method and apparatus for person identification through segmentation of ECG signals}A method and apparatus for person identification through segmentation of ECG signals}

본 발명은 심전도 신호의 분할을 통한 개인식별 방법 및 장치에 관한 것으로, 더욱 상세하게는 심전도 신호의 관심영역을 분할하고 딥러닝 네트워크에 적용하여 개인식별을 수행하기 위한 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for personal identification through division of an electrocardiogram signal, and more particularly, to a method and apparatus for performing personal identification by dividing a region of interest of an electrocardiogram signal and applying it to a deep learning network.

과거 생체 신호로 사용자 확인을 위하여 지문, 홍채의 정보를 이용하였다면, 최근에는 사용자 편의성 및 보안성을 기반으로 한 심전도(ECG) 및 뇌파(EEG)를 사용하고 있다.If fingerprints and iris information were used to identify users as biosignals in the past, electrocardiogram (ECG) and brainwaves (EEG) are recently being used based on user convenience and security.

특히 심전도 신호는 심장의 전기 생리학적 요인과 심장의 위치, 크기, 신체적 조건 등에 의해 개인 고유의 특성을 가지고 있기 때문에 위조하기 어려워 관심이 증가하고 있다.In particular, electrophysiological factors of the heart and location, size, and physical conditions of the heart have unique characteristics of the individual, so ECG signals are difficult to counterfeit and interest is increasing.

개인 심전도를 이용하여 사용자 확인을 통해 기존 사용자 기기로부터 동일한 서비스를 제공받을 수 있게 된다.It is possible to receive the same service from an existing user device through user identification using a personal electrocardiogram.

이는 사용자 기기를 다른 외부로부터 개인 정보 유출을 막고 보호하는 역할을 하게 된다. 사용자 기기는 사용자 확인 후 사용하므로 심전도를 이용한 개인 식별에 대한 연구가 진행 중이다.This serves to prevent and protect the user's device from leakage of personal information from the outside. Since user devices are used after user identification, research on personal identification using electrocardiograms is in progress.

최근에는 심전도 데이터의 채널 수, 측정 상태에 따른 개인 인식 알고리즘들이 연구되고 있으나 정확도가 매우 낮다는 문제점이 있다. Recently, personal recognition algorithms according to the number of channels and measurement conditions of ECG data have been studied, but there is a problem in that accuracy is very low.

[특허문헌 1] 한국등록특허 제10-1760441호[Patent Document 1] Korean Patent Registration No. 10-1760441

본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 심전도 신호의 분할을 통한 개인식별 방법 및 장치를 제공하는 것을 그 목적으로 한다.The present invention was created to solve the above problems, and an object of the present invention is to provide a method and apparatus for personal identification through segmentation of an electrocardiogram signal.

또한, 본 발명은 심전도 신호를 푸리에 싱크로스퀴즈 변환(Fourier synchrosqueezed transform)하여 다수의 관심영역으로 분류하고, 분류된 다수의 관심영역 각각을 딥러닝 네트워크에 입력함으로써 개인식별을 수행하기 위한 방법 및 장치를 제공하는 것을 그 목적으로 한다. In addition, the present invention provides a method and apparatus for performing personal identification by classifying an electrocardiogram signal into a plurality of regions of interest by Fourier synchrosqueezed transform and inputting each of the classified regions of interest into a deep learning network. It aims to provide

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the objects mentioned above, and other objects not mentioned will be clearly understood from the description below.

상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 심전도 신호의 분할을 통한 개인식별 방법은 (a) 사용자의 심전도 신호를 획득하는 단계; (b) 상기 획득된 심전도 신호를 푸리에 싱크로스퀴즈 변환(Fourier synchrosqueezed transform)하는 단계; (c) 상기 푸리에 싱크로스퀴즈 변환된 심전도 신호로부터 다수의 관심영역을 분류하는 단계; 및 (d) 상기 분류된 다수의 관심영역 각각을 딥러닝 네트워크에 입력하여 상기 사용자를 식별하는 단계;를 포함할 수 있다. In order to achieve the above objects, a method for personal identification through division of an electrocardiogram signal according to an embodiment of the present invention includes the steps of (a) obtaining an electrocardiogram signal of a user; (b) performing a Fourier synchrosqueezed transform on the acquired electrocardiogram signal; (c) classifying a plurality of regions of interest from the Fourier synchrosswipe-transformed electrocardiogram signal; and (d) identifying the user by inputting each of the classified regions of interest into a deep learning network.

실시예에서, 상기 (b) 단계는, 상기 획득된 심전도 신호의 시간-주파수 스펙트럼에 대한 시간분해능에 따라 상기 획득된 심전도 신호를 푸리에 싱크로스퀴즈 변환하는 단계;를 포함할 수 있다. In an embodiment, the step (b) may include performing a Fourier synchrosswipe transform on the acquired electrocardiogram signal according to the temporal resolution of the time-frequency spectrum of the acquired electrocardiogram signal.

실시예에서, 상기 (c) 단계는, LSTM(Long short-term memory) 기반 딥러닝 네트워크를 이용하여 상기 푸리에 싱크로스퀴즈 변환된 심전도 신호를 상기 다수의 관심영역으로 분류하는 단계;를 포함할 수 있다. In an embodiment, the step (c) may include classifying the Fourier synchrosswipe-transformed electrocardiogram signal into the plurality of regions of interest using a long short-term memory (LSTM)-based deep learning network. .

실시예에서, 상기 LSTM 기반 딥러닝 네트워크는, LSTM 층, 완전연결 층(fully connected layer), 소프트맥스 층(softmax layer) 및 분류 층을 포함할 수 있다. In an embodiment, the LSTM-based deep learning network may include an LSTM layer, a fully connected layer, a softmax layer, and a classification layer.

실시예에서, 상기 다수의 관심영역은, 상기 심전도 신호의 P파, QRS파 및 T파를 포함할 수 있다. In an embodiment, the plurality of regions of interest may include a P wave, a QRS wave, and a T wave of the electrocardiogram signal.

실시예에서, 상기 (d) 단계는, 상기 분류된 다수의 관심영역 각각을 푸리에 싱크로스퀴즈 변환하는 단계; 상기 푸리에 싱크로스퀴즈 변환된 다수의 관심영역 각각을 딥러닝 네트워크에 입력하는 단계; 및 상기 딥 네크워크의 각 출력값을 결합하여 상기 사용자를 식별하는 단계;를 포함할 수 있다. In an embodiment, the step (d) may include performing a Fourier synchrosswipe transform on each of the plurality of classified regions of interest; inputting each of the plurality of regions of interest subjected to the Fourier synchrosswipe transformation into a deep learning network; and identifying the user by combining each output value of the deep network.

실시예에서, 심전도 신호의 분할을 통한 개인식별 장치는, 사용자의 심전도 신호를 획득하는 획득부; 및 상기 획득된 심전도 신호를 푸리에 싱크로스퀴즈 변환(Fourier synchrosqueezed transform)하고, 상기 푸리에 싱크로스퀴즈 변환된 심전도 신호로부터 다수의 관심영역을 분류하고, 상기 분류된 다수의 관심영역 각각을 딥러닝 네트워크에 입력하여 상기 사용자를 식별하는 제어부;를 포함할 수 있다. In an embodiment, an apparatus for personal identification through segmentation of an electrocardiogram signal may include: an acquisition unit that obtains a user's electrocardiogram signal; and Fourier synchrosqueezed transforming the obtained ECG signal, classifying a plurality of regions of interest from the Fourier synchrosqueezed ECG signal, and inputting each of the plurality of classified regions of interest to a deep learning network. It may include; a control unit for identifying the user.

실시예에서, 상기 제어부는, 상기 획득된 심전도 신호의 시간-주파수 스펙트럼에 대한 시간분해능에 따라 상기 획득된 심전도 신호를 푸리에 싱크로스퀴즈 변환할 수 있다. In an embodiment, the control unit may perform Fourier synchrosswipe transformation on the acquired ECG signal according to the temporal resolution of the time-frequency spectrum of the acquired ECG signal.

실시예에서, 상기 제어부는, LSTM(Long short-term memory) 기반 딥러닝 네트워크를 이용하여 상기 푸리에 싱크로스퀴즈 변환된 심전도 신호를 상기 다수의 관심영역으로 분류할 수 있다. In an embodiment, the control unit may classify the ECG signal subjected to Fourier synchrosswipe transformation into the plurality of regions of interest using a long short-term memory (LSTM)-based deep learning network.

실시예에서, 상기 제어부는, 상기 분류된 다수의 관심영역 각각을 푸리에 싱크로스퀴즈 변환하고, 상기 푸리에 싱크로스퀴즈 변환된 다수의 관심영역 각각을 딥러닝 네트워크에 입력하고, 상기 딥러닝 네트워크의 각 출력값을 결합하여 상기 사용자를 식별할 수 있다. In an embodiment, the control unit performs a Fourier synchrosqueze transform on each of the plurality of classified regions of interest, inputs each of the plurality of regions of interest subjected to the Fourier synchrosqueze transform to a deep learning network, and outputs each output value of the deep learning network. combined to identify the user.

상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.Specific details for achieving the above objects will become clear with reference to embodiments to be described later in detail in conjunction with the accompanying drawings.

그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.However, the present invention is not limited to the embodiments disclosed below, and may be configured in a variety of different forms, so that the disclosure of the present invention is complete and those of ordinary skill in the art to which the present invention belongs ( It is provided hereafter to fully inform the "ordinary skilled person") of the scope of the invention.

본 발명의 일 실시예에 의하면, 심전도 신호의 불필요한 정보를 없애고 중요한 특징을 나타내는 파형들(P파, QRS파, T파)을 자동적으로 관심영역으로 분할하고, 이들 개별 파형들을 융합한 인공지능 기반 생체인식분야에 적용할 수 있다. According to an embodiment of the present invention, unnecessary information of an electrocardiogram signal is removed, waveforms (P waves, QRS waves, and T waves) representing important features are automatically divided into regions of interest, and artificial intelligence-based fusion of these individual waveforms is performed. It can be applied to the biometric field.

또한, 본 발명의 일 실시예에 의하면, 생체인식 분야뿐만 아니라 심전도 신호 기반 다양한 질병분류, 감정인식, 건강심리상태 분류 등 다양한 응용분야에 적용할 수 있다.In addition, according to an embodiment of the present invention, it can be applied not only to the field of biometrics, but also to various application fields such as various disease classifications based on electrocardiogram signals, emotional recognition, and health psychological state classification.

본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-mentioned effects, and the potential effects expected by the technical features of the present invention will be clearly understood from the description below.

도 1은 본 발명의 일 실시예에 따른 심전도 신호의 분할을 통한 개인식별 방법을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 심전도 신호의 관심영역을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 심전도 신호의 싱크로스퀴즈 변환 과정을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 심전도 신호의 분할 과정을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 딥러닝 네트워크를 이용한 개인식별 과정을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 심전도 신호의 분할을 통한 개인식별 장치의 기능적 구성을 도시한 도면이다.1 is a diagram illustrating a personal identification method through segmentation of an electrocardiogram signal according to an embodiment of the present invention.
2 is a diagram illustrating a region of interest of an electrocardiogram signal according to an embodiment of the present invention.
3 is a diagram illustrating a synchrosquese conversion process of an electrocardiogram signal according to an embodiment of the present invention.
4 is a diagram illustrating a process of dividing an electrocardiogram signal according to an embodiment of the present invention.
5 is a diagram illustrating a personal identification process using a deep learning network according to an embodiment of the present invention.
6 is a diagram showing a functional configuration of a personal identification device through segmentation of an electrocardiogram signal according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail.

청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.Various features of the invention disclosed in the claims may be better understood in consideration of the drawings and detailed description. Devices, methods, manufacturing methods, and various embodiments disclosed in the specification are provided for illustrative purposes. The disclosed structural and functional features are intended to enable a person skilled in the art to specifically implement various embodiments, and are not intended to limit the scope of the invention. The disclosed terms and phrases are intended to provide an easy-to-understand description of the various features of the disclosed invention, and are not intended to limit the scope of the invention.

본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.In describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted.

이하, 본 발명의 일 실시예에 따른 심전도 신호의 분할을 통한 개인식별 방법 및 장치를 설명한다.Hereinafter, a method and apparatus for personal identification through segmentation of an electrocardiogram signal according to an embodiment of the present invention will be described.

도 1은 본 발명의 일 실시예에 따른 심전도 신호의 분할을 통한 개인식별 방법을 도시한 도면이다. 도 2는 본 발명의 일 실시예에 따른 심전도 신호의 관심영역을 도시한 도면이다.1 is a diagram illustrating a personal identification method through segmentation of an electrocardiogram signal according to an embodiment of the present invention. 2 is a diagram illustrating a region of interest of an electrocardiogram signal according to an embodiment of the present invention.

도 1을 참고하면, S101 단계는, 사용자의 심전도 신호를 획득하는 단계이다. Referring to FIG. 1 , step S101 is a step of obtaining an electrocardiogram signal of a user.

S103 단계는, 획득된 심전도 신호를 푸리에 싱크로스퀴즈 변환(Fourier synchrosqueezed transform)하는 단계이다. Step S103 is a step of performing a Fourier synchrosqueezed transform on the acquired electrocardiogram signal.

일 실시예에서, 획득된 심전도 신호의 시간-주파수 스펙트럼에 대한 시간분해능에 따라 획득된 심전도 신호를 푸리에 싱크로스퀴즈 변환할 수 있다. In one embodiment, the acquired electrocardiogram signal may be Fourier synchrosquez-transformed according to the time resolution of the time-frequency spectrum of the acquired electrocardiogram signal.

S105 단계는, 푸리에 싱크로스퀴즈 변환된 심전도 신호로부터 다수의 관심영역을 분류하는 단계이다. Step S105 is a step of classifying a plurality of regions of interest from the Fourier synchrosswipe-transformed electrocardiogram signal.

일 실시예에서, 다수의 관심영역은, 심전도 신호의 P파, QRS파 및 T파를 포함할 수 있다. 예를 들어, 도 2를 참고하면, 심전도 신호(200)는 P파, QRS파 및 T파로 분류될 수 있다. 이 경우, P파는 심장 탈분극을 나타내는 QRS파 이전의 작은 편향을 의미하고, QRS파는 심장박동의 최대 진폭부분을 의미하고, T파는 심실 재분극을 나타내는 QRS파 이후의 작은 편향을 의미할 수 있다. In one embodiment, the plurality of regions of interest may include P waves, QRS waves, and T waves of the electrocardiogram signal. For example, referring to FIG. 2 , the electrocardiogram signal 200 may be classified into a P wave, a QRS wave, and a T wave. In this case, the P wave means a small deflection before the QRS wave indicating cardiac depolarization, the QRS wave means a maximum amplitude part of the heartbeat, and the T wave means a small deflection after the QRS wave indicating ventricular repolarization.

S107 단계는, 분류된 다수의 관심영역 각각을 딥러닝 네트워크에 입력하여 사용자를 식별하는 단계이다. Step S107 is a step of identifying a user by inputting each of a plurality of classified regions of interest to a deep learning network.

일 실시예에서, 분류된 다수의 관심영역 각각을 푸리에 싱크로스퀴즈 변환하고, 푸리에 싱크로스퀴즈 변환된 다수의 관심영역 각각을 딥러닝 네트워크에 입력하고, 딥러닝 네트워크의 각 출력값을 결합하여 사용자를 식별할 수 있다. In one embodiment, each of the plurality of classified regions of interest is subjected to Fourier synchrosquez transformation, each of the plurality of regions of interest subjected to Fourier synchrosquez transformation is input to a deep learning network, and each output value of the deep learning network is combined to identify a user. can

도 3은 본 발명의 일 실시예에 따른 심전도 신호의 푸리에 싱크로스퀴즈 변환 과정을 도시한 도면이다.3 is a diagram illustrating a Fourier synchrosquese transform process of an electrocardiogram signal according to an embodiment of the present invention.

도 3을 참고하면, S301 단계는, 사용자의 심전도 신호를 획득하는 단계이다. Referring to FIG. 3 , step S301 is a step of obtaining an electrocardiogram signal of a user.

S303 단계는, 획득된 심전도 신호를 푸리에 싱크로스퀴즈 변환하는 단계이다. 일 실시예에서, 각 심전도 신호 샘플에 대한 시간-주파수 스펙트럼을 계산하므로 원래 신호와 동일한 시간분해능을 유지해야 하는 문제에 적합한 푸리에 싱크로스퀴즈 변환이 사용될 수 있다. Step S303 is a step of performing Fourier synchrosswipe transformation on the acquired electrocardiogram signal. In one embodiment, since the time-frequency spectrum for each ECG signal sample is calculated, a Fourier synchrosquez transform suitable for the problem of maintaining the same time resolution as the original signal may be used.

일 실시예에서, 푸리에 싱크로스퀴즈 변환은, 스펙트럼을 좀더 매끄럽게 만들고(즉, 시간에 따른 주파수 변화를 좀더 명확히 가시화할 수 있음), 고정 시간 동안 주파수 상에서 에너지를 재할당하여 시간-주파수 평면의 특정 영역에 에너지를 국한하기 위해 사용될 수 있다. In one embodiment, the Fourier Synchrosqueze Transform makes the spectrum smoother (i.e., changes in frequency over time can be more clearly visualized) and reallocates energy over frequencies over a fixed period of time to a specific region of the time-frequency plane. can be used to confine energy to

일 실시예에서, 심전도 신호는 진폭 또는 주파수가 변조된 모드의 중첩으로서 표현될 수 있으므로, 시간-주파수 분석에서는 하기 <수학식 1>과 같이 분석 신호의 합으로 심전도 신호 f(t)를 나타낼 수 있다. In one embodiment, since the ECG signal can be expressed as a superposition of modes in which amplitude or frequency is modulated, in time-frequency analysis, the ECG signal f(t) can be represented by the sum of the analysis signals as shown in Equation 1 below. there is.

여기서

는 연속적으로 미분가능한 함수이며, 위상

는 순시 주파수에 대응되는 시간미분을 가질 수 있다. 이 경우, 정확한 위상이 알려지지 않을 때, 그것들을 추정하기 위해 푸리에 싱크로스퀴즈 변환이 사용될 수 있다.here

is a continuously differentiable function, and the phase

may have a time derivative corresponding to the instantaneous frequency. In this case, when the exact phases are not known, a Fourier synchrosquise transform can be used to estimate them.

푸리에 싱크로스퀴즈 변환은 단구간 푸리에 변환에 기반할 수 있다. 특정 종류의 비정상적인 신호에 대해서, 푸리에 싱크로스퀴즈 변환은 일반적인 스펙트럼과 유사하며, 이는 기존 변환보다 더 빠른 시간-주파수 추정치를 생성할 수 있다.The Fourier synchrosquez transform may be based on a short-term Fourier transform. For certain kinds of anomalous signals, the Fourier synchrosswipe transform resembles a regular spectrum, which can produce faster time-frequency estimates than conventional transforms.

일 실시예에서, 푸리에 싱크로스퀴즈 변환은 하기 <수학식 2>와 같이 스펙트럴 윈도우

와 다음 수식을 계산해서 함수 f의 단구간 푸리에 변환

을 나타낼 수 있다.In one embodiment, the Fourier synchrosquiz transform is a spectral window as shown in Equation 2 below.

and the short-term Fourier transform of the function f by calculating the following formula

can represent

기존 정의와 달리, 상기 <수학식 2>는 별도의 지수 함수 부분을 가짐을 확인할 수 있다. 이 때, 변환 값은 시간-주파수 평면에 순시 주파수의 곡선 주위에 집중하도록 압축되어질 수 있다.Unlike the existing definition, it can be confirmed that <Equation 2> has a separate exponential function part. At this time, the transform value can be compressed to concentrate around the curve of the instantaneous frequency in the time-frequency plane.

결과적인 푸리에 싱크로스퀴즈 변환

은 하기 <수학식 3>과 같이 나타낼 수 있다.Resultant Fourier Synchrosquiz Transform

Can be expressed as in Equation 3 below.

여기서, 순시 주파수는 위상변환 (Phase transform)

에 의해 추정될 수 있다. Here, the instantaneous frequency is a phase transform

can be estimated by

S305 단계는, 푸리에 싱크로스퀴즈 변환된 심전도 신호로부터 다수의 관심영역을 분류하는 단계이다. 일 실시예에서, S305 단계는 하기 도 4에서 상세히 설명된다. Step S305 is a step of classifying a plurality of regions of interest from the Fourier synchrosswipe-transformed electrocardiogram signal. In one embodiment, step S305 is described in detail in FIG. 4 below.

S307 단계는, 분류된 다수의 관심영역에 기반하여 학습 데이터와 검증 데이터를 분할하는 단계이다. 일 실시예에서, 학습 데이터는 딥러닝 모델을 설계하고, 검증 데이터는 딥러닝 모델이 타당하게 설계되었는지 검증하는데 이용될 수 있다. Step S307 is a step of dividing learning data and verification data based on a plurality of classified regions of interest. In one embodiment, the training data may be used to design a deep learning model, and the verification data may be used to verify whether the deep learning model is properly designed.

도 4는 본 발명의 일 실시예에 따른 LSTM 기반 딥러닝 네트워크(400)를 이용한 심전도 신호의 분할 과정을 도시한 도면이다.4 is a diagram illustrating a process of segmenting an ECG signal using the LSTM-based deep learning network 400 according to an embodiment of the present invention.

도 4를 참고하면, LSTM 기반 딥러닝 네트워크(400)를 이용하여 푸리에 싱크로스퀴즈 변환된 심전도 신호를 다수의 관심영역으로 분류할 수 있다. Referring to FIG. 4 , an electrocardiogram signal subjected to Fourier synchrosswipe transformation using the LSTM-based deep learning network 400 may be classified into a plurality of regions of interest.

일 실시예에서, 다수의 관심영역은 P파, QRS파 및 T파를 제외한 심전도 신호의 나머지 영역(설명의 편의를 위해 ‘None 파’로 지칭)을 더 포함할 수 있다. 여기서, None 파는 노이즈(noise)에 해당하며, 개인식별 과정에서 학습데이터로 사용되지 않을 수 있다. In one embodiment, the plurality of regions of interest may further include remaining regions of the ECG signal (referred to as 'None waves' for convenience of explanation) except for the P wave, the QRS wave, and the T wave. Here, the None wave corresponds to noise and may not be used as learning data in the personal identification process.

이 경우, LSTM 기반 딥러닝 네트워크(400)는, LSTM 층(401), 완전연결 층(fully connected layer)(403), 소프트맥스 층(softmax layer)(405) 및 분류 층(407)을 포함할 수 있다. In this case, the LSTM-based deep learning network 400 may include an LSTM layer 401, a fully connected layer 403, a softmax layer 405, and a classification layer 407. can

일 실시예에서, LSTM 기반 딥러닝 네트워크(400)는 LSTM 장단기 메모리를 의미할 수 있으며, 은닉층의 메모리 셀에 입력게이트, 망각게이트, 출력게이트를 추가하여 불필요한 기억을 삭제하고, 기억해야하는 정보를 결정할 수 있다. In one embodiment, the LSTM-based deep learning network 400 may refer to LSTM long and short-term memory, and an input gate, a forget gate, and an output gate are added to the memory cells of the hidden layer to delete unnecessary memories and determine information to be remembered. can

도 5는 본 발명의 일 실시예에 따른 딥러닝 네트워크를 이용한 개인식별 과정을 도시한 도면이다.5 is a diagram illustrating a personal identification process using a deep learning network according to an embodiment of the present invention.

도 5를 참고하면, S501 단계는, 푸리에 싱크로스퀴즈 변환된 다수의 관심영역 각각을 딥러닝 네트워크에 입력하는 단계이다. 일 실시예에서, 딥러닝 네트워크는 LSTM 기반 딥러닝 네트워크 또는 컨벌루션 신경회로망과 같은 형태로 입력 영상의 사이즈를 일치시켜 입력으로 사용할 수 있다. Referring to FIG. 5 , step S501 is a step of inputting each of a plurality of regions of interest subjected to Fourier synchrosswipe transformation into a deep learning network. In one embodiment, the deep learning network may match the size of an input image in the form of an LSTM-based deep learning network or a convolutional neural network and use it as an input.

일 실시예에서, 학습데이터의 규모가 작을 경우 기존 학습된 딥러닝 모델을 이용한 전이학습을 사용하거나 데이터 증대방법을 이용하여 대규모 데이터를 생성하여 학습에 사용할 수 있다. In one embodiment, when the size of the learning data is small, transfer learning using an existing deep learning model may be used or large-scale data may be generated and used for learning by using a data augmentation method.

일 실시예에서, 일반적으로 데이터 증대방법은 크기조정, 회전, 반사와 같은 선택적 처리를 사용하여 데이터를 증대시킬 수 있다. In one embodiment, generally data augmentation methods may augment data using optional processing such as scaling, rotation, and reflection.

예를 들어, 학습 데이터가 임계값(예: 1000)개 미만일 경우, 사전 학습된 딥러닝 네트워크에 의한 전이학습이 사용되고, 학습 데이터가 임계값 이상인 경우, 학습 데이터를 이용하여 직접 딥러닝 네트워크를 설계하여 사용할 수 있다. For example, if the training data is less than the threshold (e.g. 1000), transfer learning by a pre-trained deep learning network is used, and if the training data is more than the threshold, design the deep learning network directly using the training data. and can be used.

이와 같이, 푸리에 싱크로스퀴즈 변환된 다수의 관심영역 각각을 하나의 딥너링 네트워크에 동시에 입력하지 않고, 각 딥러닝 네트워크에 개별적으로 입력하여 출력값을 생성함으로써, 개인식별 시 세부적인 특징을 사용할 수 있어 인식 성능을 향상시킬 수 있다. In this way, by generating an output value by inputting each of the plurality of regions of interest that have been Fourier synchrossquiz-transformed into one deep learning network at the same time, rather than inputting them individually to each deep learning network, detailed features can be used for personal identification and recognition. can improve performance.

S503 단계는, 딥 네크워크의 각 출력값을 결합하여 최종 결과값을 생성하는 단계이다. 일 실시예에서, 각 딥러닝 네트워크로 나오는 출력값(예: 확률값)을 합(Sum) 또는 곱(product)하여 결합할 수 있다. Step S503 is a step of generating a final result value by combining each output value of the deep network. In one embodiment, output values (eg, probability values) from each deep learning network may be summed or multiplied and combined.

S505 단계는, 결과값에 기반하여 사용자를 식별하는 단계이다. 일 실시예에서, 레이트 퓨전(late fusion)방법에 의해 최종 융합된 결과값을 이용하여 생체 인식을 위한 개인식별에 사용할 수 있다.Step S505 is a step of identifying a user based on the result value. In one embodiment, a final fusion result value by a late fusion method can be used for personal identification for biometric recognition.

일 실시예에서, 최종 결과값 가운데 제일 큰 값을 가진 클래스를 나타낼 수 있다. 예를 들어, 5명에 대해 개인식별을 한다면, 5개의 결과값들이 각각 [0.1 0.2 0.5 0.1 0.2]라고 한다면, 0.5값이 제일 크므로 세 번째 사람으로 인식할 수 있다.In one embodiment, a class having the largest value among final result values may be indicated. For example, if personal identification is performed for 5 people, if the 5 result values are [0.1 0.2 0.5 0.1 0.2], the 0.5 value is the largest, so it can be recognized as the third person.

도 6은 본 발명의 일 실시예에 따른 심전도 신호의 분할을 통한 개인식별 장치(600)의 기능적 구성을 도시한 도면이다.6 is a diagram showing a functional configuration of a personal identification device 600 through segmentation of an electrocardiogram signal according to an embodiment of the present invention.

도 6을 참고하면, 개인식별 장치(600)는 획득부(610), 제어부(620) 및 저장부(630)를 포함할 수 있다.Referring to FIG. 6 , the personal identification device 600 may include an acquisition unit 610 , a control unit 620 and a storage unit 630 .

획득부(610)는 사용자의 심전도 신호를 획득할 수 있다. 일 실시예에서, 획득부(610)는 심전도 신호를 검출하기 위한 센서부를 포함할 수 있다. The acquisition unit 610 may acquire the user's ECG signal. In one embodiment, the acquisition unit 610 may include a sensor unit for detecting an ECG signal.

일 실시예에서, 획득부(610)는 통신부를 포함할 수 있으며, 이 경우, 통신부는 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다. 통신부의 전부 또는 일부는 '송신부', '수신부' 또는 '송수신부(transceiver)'로 지칭될 수 있다.In one embodiment, the acquisition unit 610 may include a communication unit, and in this case, the communication unit may include at least one of a wired communication module and a wireless communication module. All or part of the communication unit may be referred to as a 'transmitter', a 'receiver', or a 'transceiver'.

제어부(620)는 획득된 심전도 신호를 푸리에 싱크로스퀴즈 변환하고, 푸리에 싱크로스퀴즈 변환된 심전도 신호로부터 다수의 관심영역을 분류하고, 분류된 다수의 관심영역 각각을 딥러닝 네트워크에 입력하여 사용자를 식별할 수 있다. The controller 620 performs Fourier synchrosquez transformation on the acquired electrocardiogram signal, classifies a plurality of regions of interest from the Fourier synchrosquizze transformed ECG signal, and inputs each of the classified plurality of regions of interest to a deep learning network to identify a user. can

일 실시예에서, 제어부(620)는 적어도 하나의 프로세서 또는 마이크로(micro) 프로세서를 포함하거나, 또는, 프로세서의 일부일 수 있다. 또한, 제어부(620)는 CP(communication processor)라 지칭될 수 있다. 제어부(620)는 본 발명의 다양한 실시예에 따른 개인식별 장치(600)의 동작을 제어할 수 있다. In one embodiment, the controller 620 may include at least one processor or microprocessor, or may be part of a processor. Also, the controller 620 may be referred to as a communication processor (CP). The controller 620 may control the operation of the personal identification device 600 according to various embodiments of the present disclosure.

저장부(630)는 심전도 신호, 다수의 관심영역 및 사용자 식별 정보를 저장할 수 있다. 일 실시예에서, 저장부(630)는 심전도 신호에 기반하여 분할된 학습 데이터와 검증 데이터를 저장할 수 있다. The storage unit 630 may store an electrocardiogram signal, a plurality of regions of interest, and user identification information. In one embodiment, the storage unit 630 may store divided learning data and verification data based on the ECG signal.

일 실시예에서, 저장부(630)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 저장부(630)는 제어부(620)의 요청에 따라 저장된 데이터를 제공할 수 있다.In one embodiment, the storage unit 630 may include a volatile memory, a non-volatile memory, or a combination of volatile and non-volatile memories. Also, the storage unit 630 may provide the stored data according to the request of the control unit 620 .

도 6을 참고하면, 개인식별 장치(600)는 획득부(610), 제어부(620) 및 저장부(630)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 개인식별 장치(600)는 도 6에 설명된 구성들이 필수적인 것은 아니어서, 도 6에 설명된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.Referring to FIG. 6 , the personal identification device 600 may include an acquisition unit 610 , a control unit 620 and a storage unit 630 . In various embodiments of the present invention, the personal identification device 600 may have more or fewer components than the components described in FIG. 6 because the components described in FIG. 6 are not essential. there is.

이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.The above description is only illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention.

따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.Therefore, the embodiments disclosed in this specification are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the present invention is not limited by these embodiments.

본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.The protection scope of the present invention should be interpreted according to the claims, and all technical ideas within the equivalent range should be understood to be included in the scope of the present invention.

200: 심전도 신호
400: LSTM 기반 딥러닝 네트워크
401: LSTM 층
403: 완전연결 층
405: 소프트맥스 층
407: 분류 층
600: 개인식별 장치
610: 획득부
620: 제어부
630: 저장부200: electrocardiogram signal
400: LSTM-based deep learning network
401: LSTM layer
403 fully connected layer
405: softmax layer
407: classification layer
600: personal identification device
610: acquisition unit
620: control unit
630: storage unit

Claims

사용자의 심전도 신호를 획득하는 단계;
상기 획득된 심전도 신호를 푸리에 싱크로스퀴즈 변환(Fourier synchrosqueezed transform)하는 단계;
상기 푸리에 싱크로스퀴즈 변환된 심전도 신호로부터 다수의 관심영역을 분류하는 단계;
상기 분류된 다수의 관심영역 각각을 푸리에 싱크로스퀴즈 변환하는 단계;
상기 푸리에 싱크로스퀴즈 변환된 다수의 관심영역 각각을 딥러닝 네트워크에 입력하는 단계; 및
상기 딥러닝 네크워크의 각 출력값을 결합하여 상기 사용자를 식별하는 단계;
를 포함하고,
상기 심전도 신호는 [수학식 1]과 같이 결정되고,
[수학식 1]

여기서, f(t)는 심전도 신호이고,

는 연속적으로 미분가능한 함수이며, 위상

는 순시 주파수에 대응되는 시간미분을 가지고,
상기 심전도 신호의 단구간 푸리에 변환은 [수학식 2]와 같이 결정되고,
[수학식 2]

여기서,

는 단구간 푸리에 변환을 나타내고,

는 스펙트럴 윈도우를 나타내고,
상기 푸리에 싱크로스퀴즈 변환은 상기 단구간 푸리에 변환에 기반하여 [수학식 3]과 같이 결정되고,
[수학식 3]

여기서,

는 푸리에 싱크로스퀴즈 변환을 나타내고, 순시 주파수는 위상변환 (Phase transform)

에 의해 결정되는,
심전도 신호의 분할을 통한 개인식별 방법.
obtaining an electrocardiogram signal of a user;
Fourier synchrosqueezed transforming the acquired electrocardiogram signal;
classifying a plurality of regions of interest from the Fourier synchrosswipe-transformed electrocardiogram signal;
performing a Fourier synchrosswipe transform on each of the plurality of classified regions of interest;
inputting each of the plurality of regions of interest subjected to the Fourier synchrosswipe transformation into a deep learning network; and
identifying the user by combining each output value of the deep learning network;
including,
The electrocardiogram signal is determined as in [Equation 1],
[Equation 1]

Here, f(t) is an electrocardiogram signal,

is a continuously differentiable function, and the phase

has a time derivative corresponding to the instantaneous frequency,
The short-term Fourier transform of the electrocardiogram signal is determined as in [Equation 2],
[Equation 2]

here,

denotes the short-term Fourier transform,

represents a spectral window,
The Fourier synchrosquez transform is determined as in [Equation 3] based on the short-term Fourier transform,
[Equation 3]

here,

Represents a Fourier synchrosquez transform, and the instantaneous frequency is a phase transform (Phase transform)

determined by
Personal identification method through segmentation of electrocardiogram signal.

제1항에 있어서,
상기 획득된 심전도 신호를 푸리에 싱크로스퀴즈 변환하는 단계는,
상기 획득된 심전도 신호의 시간-주파수 스펙트럼에 대한 시간분해능에 따라 상기 획득된 심전도 신호를 푸리에 싱크로스퀴즈 변환하는 단계;
를 포함하는,
심전도 신호의 분할을 통한 개인식별 방법.
According to claim 1,
The step of Fourier synchrosswipe transforming the obtained electrocardiogram signal,
Fourier synchrosquese transforming the obtained electrocardiogram signal according to the temporal resolution of the time-frequency spectrum of the acquired electrocardiogram signal;
including,
Personal identification method through segmentation of electrocardiogram signal.

제1항에 있어서,
상기 푸리에 싱크로스퀴즈 변환된 심전도 신호로부터 다수의 관심영역을 분류하는 단계는,
LSTM(Long short-term memory) 기반 딥러닝 네트워크를 이용하여 상기 푸리에 싱크로스퀴즈 변환된 심전도 신호를 상기 다수의 관심영역으로 분류하는 단계;
를 포함하는,
심전도 신호의 분할을 통한 개인식별 방법.
According to claim 1,
The step of classifying a plurality of regions of interest from the Fourier synchrosswipe-transformed electrocardiogram signal,
classifying the ECG signal subjected to the Fourier synchrosswipe transformation into the plurality of regions of interest using a long short-term memory (LSTM)-based deep learning network;
including,
Personal identification method through segmentation of electrocardiogram signal.

제3항에 있어서,
상기 LSTM 기반 딥러닝 네트워크는,
LSTM 층, 완전연결 층(fully connected layer), 소프트맥스 층(softmax layer) 및 분류 층을 포함하는,
심전도 신호의 분할을 통한 개인식별 방법.
According to claim 3,
The LSTM-based deep learning network,
Including an LSTM layer, a fully connected layer, a softmax layer and a classification layer,
Personal identification method through segmentation of electrocardiogram signal.

제1항에 있어서,
상기 다수의 관심영역은,
상기 심전도 신호의 P파, QRS파 및 T파를 포함하는,
심전도 신호의 분할을 통한 개인식별 방법.
According to claim 1,
The plurality of regions of interest,
Including the P wave, QRS wave and T wave of the electrocardiogram signal,
Personal identification method through segmentation of electrocardiogram signal.

삭제delete

사용자의 심전도 신호를 획득하는 획득부; 및
상기 획득된 심전도 신호를 푸리에 싱크로스퀴즈 변환(Fourier synchrosqueezed transform)하고,
상기 푸리에 싱크로스퀴즈 변환된 심전도 신호로부터 다수의 관심영역을 분류하고,
상기 분류된 다수의 관심영역 각각을 푸리에 싱크로스퀴즈 변환하고,
상기 푸리에 싱크로스퀴즈 변환된 다수의 관심영역 각각을 딥러닝 네트워크에 입력하고,
상기 딥러닝 네트워크의 각 출력값을 결합하여 상기 사용자를 식별하는 제어부;
를 포함하고,
상기 심전도 신호는 [수학식 1]과 같이 결정되고,
[수학식 1]

여기서, f(t)는 심전도 신호이고,

는 연속적으로 미분가능한 함수이며, 위상

여기서,

는 단구간 푸리에 변환을 나타내고,

여기서,

에 의해 결정되는,
심전도 신호의 분할을 통한 개인식별 장치.
an acquisition unit that acquires a user's electrocardiogram signal; and
Fourier synchrosqueezed transforming the obtained electrocardiogram signal;
Classifying a plurality of regions of interest from the Fourier synchrosquez-transformed electrocardiogram signal;
Performing Fourier synchrosquez transformation on each of the classified regions of interest;
Inputting each of the plurality of interest regions subjected to the Fourier synchrosquez transformation into a deep learning network,
a control unit that identifies the user by combining each output value of the deep learning network;
including,
The electrocardiogram signal is determined as in [Equation 1],
[Equation 1]

Here, f(t) is an electrocardiogram signal,

is a continuously differentiable function, and the phase

here,

denotes the short-term Fourier transform,

here,

determined by
Personal identification device through segmentation of electrocardiogram signal.

제7항에 있어서,
상기 제어부는,
상기 획득된 심전도 신호의 시간-주파수 스펙트럼에 대한 시간분해능에 따라 상기 획득된 심전도 신호를 푸리에 싱크로스퀴즈 변환하는,
심전도 신호의 분할을 통한 개인식별 장치.
According to claim 7,
The control unit,
Fourier synchrosquese transforming the obtained electrocardiogram signal according to the time resolution of the time-frequency spectrum of the acquired electrocardiogram signal,
Personal identification device through segmentation of electrocardiogram signal.

제7항에 있어서,
상기 제어부는,
LSTM(Long short-term memory) 기반 딥러닝 네트워크를 이용하여 상기 푸리에 싱크로스퀴즈 변환된 심전도 신호를 상기 다수의 관심영역으로 분류하는,
심전도 신호의 분할을 통한 개인식별 장치.
According to claim 7,
The control unit,
Classifying the Fourier synchrosswipe-transformed electrocardiogram signal into the plurality of regions of interest using a long short-term memory (LSTM)-based deep learning network,
Personal identification device through segmentation of electrocardiogram signal.

제9항에 있어서,
상기 LSTM 기반 딥러닝 네트워크는,
LSTM 층, 완전연결 층(fully connected layer), 소프트맥스 층(softmax layer) 및 분류 층을 포함하는,
심전도 신호의 분할을 통한 개인식별 장치.
According to claim 9,
The LSTM-based deep learning network,
Including an LSTM layer, a fully connected layer, a softmax layer and a classification layer,
Personal identification device through segmentation of electrocardiogram signal.

제7항에 있어서,
상기 다수의 관심영역은,
상기 심전도 신호의 P파, QRS파 및 T파를 포함하는,
심전도 신호의 분할을 통한 개인식별 장치.

According to claim 7,
The plurality of regions of interest,
Including the P wave, QRS wave and T wave of the electrocardiogram signal,
Personal identification device through segmentation of electrocardiogram signal.

삭제delete