KR102603983B1 - Deep learning based system and method for recognizing behavior type using emg signal - Google Patents
Deep learning based system and method for recognizing behavior type using emg signal Download PDFInfo
- Publication number
- KR102603983B1 KR102603983B1 KR1020210086651A KR20210086651A KR102603983B1 KR 102603983 B1 KR102603983 B1 KR 102603983B1 KR 1020210086651 A KR1020210086651 A KR 1020210086651A KR 20210086651 A KR20210086651 A KR 20210086651A KR 102603983 B1 KR102603983 B1 KR 102603983B1
- Authority
- KR
- South Korea
- Prior art keywords
- deep learning
- binarized image
- rms
- action
- emg signal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000013135 deep learning Methods 0.000 title claims abstract description 67
- 230000006399 behavior Effects 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000002567 electromyography Methods 0.000 claims description 73
- 238000003384 imaging method Methods 0.000 claims description 38
- 230000003068 static effect Effects 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
- A61B5/397—Analysis of electromyograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Cardiology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 근전도(electromyogram, EMG) 신호를 이용한 딥러닝 기반의 행동 인식 시스템 및 방법에 관한 것으로, 상세하게는, 입력 근전도 신호를 이미지화하고, 이미지화된 근전도 신호를 이용하여 딥러닝 검출기를 통해 행동의 유무를 검출하고, 검출된 행동의 시간열 데이터에 해당하는 근전도 신호를 딥러닝 인식 모델의 입력으로 사용하여 해당 근전도 신호의 행동(행동 종류)을 인식하여 검출률을 향상시킬 수 있는 근전도 신호를 이용한 딥러닝 기반의 행동 인식 시스템 및 방법에 관한 것이다. The present invention relates to a deep learning-based behavior recognition system and method using electromyogram (EMG) signals, and specifically, to image input electromyogram signals and detect behavior through a deep learning detector using the imaged electromyogram signals. Deep learning using EMG signals can improve the detection rate by detecting the presence or absence of the EMG signal and using the EMG signal corresponding to the time series data of the detected action as an input to a deep learning recognition model to recognize the behavior (type of action) of the EMG signal. This relates to a learning-based action recognition system and method.
Description
본 발명은 근전도(electromyogram, EMG) 신호를 이용한 딥러닝 기반의 행동 인식 시스템 및 방법에 관한 것으로, 상세하게는, 입력 근전도 신호를 이미지화하고, 이미지화된 근전도 신호를 이용하여 딥러닝 검출기를 통해 행동의 유무를 검출하고, 검출된 행동의 시간열 데이터에 해당하는 근전도 신호를 딥러닝 인식 모델의 입력으로 사용하여 해당 근전도 신호의 행동(행동 종류)을 인식하여 검출률을 향상시킬 수 있는 근전도 신호를 이용한 딥러닝 기반의 행동 인식 시스템 및 방법에 관한 것이다. The present invention relates to a deep learning-based behavior recognition system and method using electromyogram (EMG) signals, and specifically, to image input electromyogram signals and detect behavior through a deep learning detector using the imaged electromyogram signals. Deep learning using EMG signals can improve the detection rate by detecting the presence or absence of the EMG signal and using the EMG signal corresponding to the time series data of the detected action as an input to a deep learning recognition model to recognize the behavior (type of action) of the EMG signal. This relates to a learning-based action recognition system and method.
일반적으로, 생체 신호는 근전도, 뇌전도, 안전도 등 여러 가지 인체에 수집 가능한 전기적 신호를 지칭하며, 그 중에 근전도(electromyogram, EMG) 신호는 신체의 움직임에 따라 근육에서 발생되는 전기적 신호로 표면 전극을 통해 무통증, 비침습적인 방식으로 피부에서 측정이 가능하여 다른 생체 신호에 비해 취득이 쉽다. In general, biosignals refer to various electrical signals that can be collected in the human body, such as electromyograms, electroencephalograms, and electromyograms. Among them, electromyogram (EMG) signals are electrical signals generated from muscles according to body movement and are connected to surface electrodes. It can be measured on the skin in a painless, non-invasive way, making it easier to acquire than other biosignals.
그리고, 근전도 신호는 착용자의 실제 움직임보다 30ms 정도 선행되어 출력되고, 사용자의 부가적인 조작 없이 동작을 자연스럽게 의도하는 것만으로도 발생한다. 이 때문에 지능형 바이오 메카트로닉스의 어플리케이션으로 자리매김하여 스포츠 과학, 재활치료(재활로봇, 로봇의수), 착용용 로봇, 로봇제어, 체감형 게임 인터페이스, 헬스케어 서비스 등에 적용하고자 하는 연구들이 활발하게 이루어지고 있다. Additionally, the electromyography signal is output approximately 30 ms ahead of the wearer's actual movement, and is generated simply by naturally intending the movement without any additional manipulation by the user. For this reason, intelligent bio-mechatronics has been established as an application, and research is being actively conducted to apply it to sports science, rehabilitation therapy (rehabilitation robots, robotic prosthetics), wearable robots, robot control, tangible game interfaces, and healthcare services. there is.
이러한 연구들 중, 특히 사용자의 동작 의도로로부터 발생한 근전도 신호를 분석하여 실제 사용자가 의도한 동작이 무엇인지 역으로 추론하는 알고리즘이 활발하게 연구되어 왔으며, 이를 실현하기 위해 최근에는 기계학습(machine learning) 혹은 패턴 인식(pattern recognition) 방법들을 적용하여 근전도 신호를 분석하여 왔다. Among these studies, in particular, an algorithm that analyzes the electromyography signal generated from the user's movement intention and infers the actual user's intended movement in reverse has been actively studied. Recently, machine learning has been used to realize this. ) or pattern recognition methods have been applied to analyze electromyography signals.
기계학습 분야 중 하나인 딥러닝에는 다양한 분야가 있으며, 그 중 검출과 인식분야가 실용화되고 있다. 이러한 딥러닝 기술은 의료 분야, 재활, 자율 주행, 문자 검출 등에 사용되고 있으며, 검출과 인식을 하나의 딥러닝 네트워크로 진행한다. Deep learning, one of the machine learning fields, has various fields, among which the detection and recognition fields are being put into practical use. This deep learning technology is used in the medical field, rehabilitation, autonomous driving, text detection, etc., and detection and recognition are performed through a single deep learning network.
딥러닝 네트워크를 적용한 종래기술에 따른 근전도 신호 검출 및 행동 인식방법에서는 입력 근전도 신호의 절대값을 취한 후 RMS(Root Mean Square)를 통해 신호 처리하고, 딥러닝 네트워크, 즉 딥러닝 인식 모델을 적용하여 순차적인 시간열 데이터의 연속성을 학습하여 데이터의 종류를 인식하는 방식으로 행동을 인식한다. In the EMG signal detection and action recognition method according to the prior art applying a deep learning network, the absolute value of the input EMG signal is taken, the signal is processed through RMS (Root Mean Square), and a deep learning network, that is, a deep learning recognition model, is applied. Behavior is recognized by learning the continuity of sequential time series data and recognizing the type of data.
그러나, 종래기술에 따른 딥러닝 네트워크를 적용한 근전도 신호 검출 및 행동 인식방법에서는 RMS를 통해 처리된 신호를 그대로 이용하여 딥러닝 네트워크를 통해 행동 유무의 판단과 행동을 인식하기 때문에 행동을 정확하게 인식하는데 한계가 있다. However, in the EMG signal detection and action recognition method using a deep learning network according to the prior art, there is a limitation in accurately recognizing actions because the signals processed through RMS are used as is to determine whether action is present and recognize action through a deep learning network. There is.
또한, 종래기술에 적용된 딥러닝 인식모델에서는 순차적인 시간열 데이터의 연속성을 학습하여 데이터의 종류를 인식하는 방식으로, 데이터의 연속성을 규칙으로 판단한다. 이로 인해 동작이 없는 정적상태의 데이터에서 잡음이 클 경우 동적상태로 잘못 인식하고, 동적상태의 데이터의 진폭이 크면서 정적상태의 데이터와 유사한 연속성을 가질 경우에는 정적상태로 잘못 인식하는 등의 문제가 지적되었다. In addition, the deep learning recognition model applied to the prior art recognizes the type of data by learning the continuity of sequential time series data, and determines the continuity of the data as a rule. Due to this, if the noise in the static state data without motion is large, it is incorrectly recognized as a dynamic state, and if the amplitude of the dynamic state data is large and has a continuity similar to that of the static state data, it is incorrectly recognized as a static state. has been pointed out.
따라서, 본 발명은 상기한 문제점을 해결하기 위해 제안된 것으로, 입력된 근전도 신호를 이미지화한 후 딥러닝 검출기를 통해 행동의 유무를 검출하고, 검출된 행동의 시간열 데이터에 해당하는 근전도 신호를 딥러닝 인식 모델의 입력으로 사용하여 해당 근전도 신호의 행동을 인식하여 검출률을 향상시킬 수 있는 근전도 신호를 이용한 딥러닝 기반의 행동 인식 시스템 및 방법을 제공하는데 그 목적이 있다. Therefore, the present invention was proposed to solve the above problems. After imaging the input EMG signal, the presence or absence of behavior is detected through a deep learning detector, and the EMG signal corresponding to the time series data of the detected behavior is deep-processed. The purpose is to provide a deep learning-based action recognition system and method using EMG signals that can improve the detection rate by recognizing the behavior of the EMG signal by using it as an input to a learning recognition model.
상기한 목적을 달성하기 위한 본 발명에 따른 근전도 신호를 이용한 딥러닝 기반의 행동 인식 시스템은 피측정자의 신체로부터 측정된 표면 근전도 신호를 수신하는 근전도 신호 수신부; 상기 표면 근전도 신호를 이미지화하는 근전도 신호 이미지화부; 딥러닝 검출기를 이용하여 상기 근전도 신호 이미지화부에서 이진화된 이미지에서 행동 유무를 검출하는 행동 유무 검출부; 상기 행동 유무 검출부에서 검출된 행동에 대한 시간열 데이터를 기록하는 시간열 데이터 기록부; 및 딥러닝 인식 모델을 이용하여 상기 시간열 데이터 기록부를 통해 기록된 시간열 데이터를 기반으로 상기 근전도 신호 이미지화부를 통해 이미지화되기 전에 상기 근전도 신호 수신부로 수신되는 표면 근전도 신호의 행동을 인식하는 행동 인식부를 포함한다. A deep learning-based behavior recognition system using electromyography signals according to the present invention to achieve the above object includes an electromyography signal receiver that receives a surface electromyography signal measured from the body of a subject; An electromyography signal imaging unit that images the surface electromyogram signal; An action presence/absence detector that detects the presence or absence of action in the image binarized by the EMG signal imaging unit using a deep learning detector; a time-series data recording unit that records time-series data about the behavior detected by the behavior presence/absence detection unit; And behavior recognition that uses a deep learning recognition model to recognize the behavior of the surface EMG signal received by the EMG signal receiver before being imaged by the EMG signal imaging unit based on the time series data recorded through the time series data recorder. Includes wealth.
또한, 상기 근전도 신호 이미지화부는 상기 근전도 신호 수신부에서 수신된 표면 근전도 신호를 정류 과정을 통해 절대값으로 변환하는 절대값 변환부; 변환된 표면 근전도 신호의 절대값에 RMS(Root Mean Square)를 적용하는 RMS 적용부; RMS를 적용하여 얻어진 상기 RMS 결과값에서 칼만 필터(kalman filter)를 이용하여 잡음을 제거하는 필터부; 및 상기 필터부에서 잡음이 제거된 RMS 결과값을 이용하여 이진화 이미지를 생성하는 이진화 이미지 생성부를 포함할 수 있다. In addition, the EMG signal imaging unit includes an absolute value conversion unit that converts the surface EMG signal received from the EMG signal receiver into an absolute value through a rectification process; An RMS application unit that applies RMS (Root Mean Square) to the absolute value of the converted surface EMG signal; A filter unit that removes noise from the RMS result obtained by applying RMS using a Kalman filter; and a binarized image generator that generates a binarized image using the RMS result from which noise has been removed by the filter unit.
또한, 상기 이진화 이미지 생성부는 상기 필터부에서 잡음이 제거된 RMS 결과값의 양수 그래프에 -1을 곱하여 음수 그래프를 생성하는 음수 그래프 생성부; 상기 필터부에서 잡읍이 제거된 RMS 결과값의 양수 그래프에서 상위 및 하위영역을 지정하여 양수 그래프 내에서 제1 이진화 이미지를 생성하는 제1 이진화 이미지 생성부; 상기 음수 그래프 생성부에서 생성된 RMS 결과값의 음수 그래프에서 상위 및 하위영역을 지정하여 제2 이진화 이미지를 생성하는 제2 이진화 이미지 생성부; 및 상기 제1 및 제2 이진화 이미지 생성부에서 생성된 제1 및 제2 이진화 이미지를 AND(논리곱) 연산하여 이진화 이미지를 생성하는 AND 연산부를 포함할 수 있다. In addition, the binarized image generator includes a negative graph generator that generates a negative graph by multiplying the positive graph of the RMS result from which noise has been removed by the filter unit by -1; a first binarized image generator that generates a first binarized image within the positive graph by designating upper and lower regions in the positive graph of the RMS result from which noise has been removed from the filter unit; a second binarized image generator that generates a second binarized image by designating upper and lower regions in the negative graph of the RMS result value generated by the negative graph generator; and an AND operator that generates a binarized image by performing an AND (logical product) operation on the first and second binarized images generated by the first and second binarized image generators.
또한, 상기 행동 유무 검출부는 상기 근전도 신호 이미지화부에서 생성된 이진화 이미지에 라벨링 작업을 수행하여 학습 이미지를 생성하되, 상기 라벨링 작업은 정적상태의 경우 라벨을 '0'으로 지정하고, 동적상태인 경우에는 '1'로 지정하여 실시할 수 있다. In addition, the action presence/absence detection unit generates a learning image by performing a labeling operation on the binarized image generated by the EMG signal imaging unit. The labeling operation specifies a label as '0' in the case of a static state, and specifies a label as '0' in the case of a dynamic state. It can be implemented by specifying '1'.
또한, 상기 행동 유무 검출부는 상기 근전도 신호 이미지화부에서 생성된 이진화 이미지에서 행동의 유무를 판단하기 위한 데이터셋으로 CNN(Convolution Neural Network) 검출기 모델을 학습하고, 학습 모델은 실시간 딥러닝 검출 모델인 YOLOv4 모델을 사용할 수 있다. In addition, the action presence/absence detection unit learns a CNN (Convolution Neural Network) detector model as a dataset for determining the presence or absence of action in the binarized image generated by the EMG signal imaging unit, and the learning model is YOLOv4, a real-time deep learning detection model. You can use the model.
또한, 상기 행동 유무 검출부는 상기 근전도 신호 이미지화부에서 생성된 이진화 이미지로부터 규칙을 가지는 특징을 추출하고, 추출된 이진화 이미지의 특징을 정제한 후, 정제된 이진화 이미지의 특징으로부터 해당 데이터가 무엇인지를 예측하는 과정으로 행동 유무를 검출하는 것을 특징으로 할 수 있다. In addition, the action presence/absence detection unit extracts features having rules from the binarized image generated by the EMG signal imaging unit, refines the features of the extracted binarized image, and then determines what the corresponding data is from the features of the refined binarized image. It can be characterized as detecting the presence or absence of an action as a predictive process.
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 근전도 신호를 이용한 딥러닝 기반의 행동 인식 방법은 피측정자의 신체에서 측정된 표면 근전도 신호를 수신하는 과정; 상기 표면 근전도 신호를 이미지화하는 과정; 딥러닝 검출기를 이용하여 이미지화된 표면 근전도 신호에서 행동 유무를 검출하는 과정; 검출된 행동에 대한 시간열 데이터를 기록하는 과정; 및 딥러닝 인식 모델을 이용하여 기록된 행동에 대한 시간열 데이터를 기반으로 상기 이미지화하는 과정에서 이미지화되기 전 표면 근전도 신호에서 행동을 인식하는 과정을 포함할 수 있다.In addition, a deep learning-based behavior recognition method using electromyography signals according to the present invention to achieve the above object includes the process of receiving a surface electromyography signal measured from the body of a subject; A process of imaging the surface electromyography signal; A process of detecting the presence or absence of action in an imaged surface EMG signal using a deep learning detector; The process of recording time series data about detected behavior; And it may include a process of recognizing an action in a surface electromyography signal before being imaged in the imaging process based on time series data for the recorded action using a deep learning recognition model.
또한, 상기 이미지화하는 과정은 상기 표면 근전도 신호를 정류하여 절대값으로 변환하는 과정; 변환된 표면 근전도 신호의 절대값에 RMS(Root Mean Square)를 적용하는 과정; RMS를 적용하여 얻어진 RMS 결과값에서 칼만 필터(kalman filter)를 이용하여 잡음을 제거하는 과정; 및 잡음이 제거된 RMS 결과값을 이용하여 이진화 이미지를 생성하는 과정을 포함할 수 있다. Additionally, the imaging process includes rectifying the surface EMG signal and converting it into an absolute value; A process of applying RMS (Root Mean Square) to the absolute value of the converted surface EMG signal; A process of removing noise from the RMS result obtained by applying RMS using a Kalman filter; And it may include a process of generating a binarized image using the RMS result from which noise has been removed.
또한, 상기 이진화 이미지 생성 과정은 잡음이 제거된 RMS 결과값의 양수 그래프에 -1을 곱하여 음수 그래프를 생성하는 과정; 잡음이 제거된 RMS 결과값의 양수 그래프에서 상위 및 하위 영역을 지정하여 양수 그래프 내에서 제1 이진화 이미지를 생성하는 과정; 생성된 RMS 결과값의 음수 그래프에서 상위 및 하위영역을 지정하여 음수 그래프 내에서 제2 이진화 이미지를 생성하는 과정; 및 생성된 제1 및 제2 이진화 이미지를 AND(논리곱)을 통해 연산하여 이진화 이미지를 생성하는 과정을 포함할 수 있다. In addition, the binarization image generation process includes generating a negative graph by multiplying the positive graph of the noise-removed RMS result by -1; A process of generating a first binarized image within a positive graph by specifying upper and lower regions in a positive graph of noise-removed RMS results; A process of generating a second binarized image within the negative graph by specifying upper and lower regions in the negative graph of the generated RMS result value; And it may include a process of generating a binarized image by calculating the generated first and second binarized images through AND (logical product).
이상에서 설명한 바와 같이, 본 발명에 따른 근전도 신호를 이용한 딥러닝 기반의 행동 인식 시스템 및 방법에 의하면, 입력된 근전도 신호를 이미지화한 후 딥러닝 검출기를 통해 행동의 유무를 검출하고, 검출된 행동의 시간열 데이터에 해당하는 근전도 신호를 딥러닝 인식 모델의 입력으로 사용하여 해당 근전도 신호의 행동 종류를 인식하여 모든 행동을 인식함으로써 해동 인식률과 검출률을 향상시킬 수 있다. As described above, according to the deep learning-based behavior recognition system and method using electromyography signals according to the present invention, the presence or absence of behavior is detected through a deep learning detector after imaging the input electromyography signal, and the detected behavior is detected. By using the EMG signal corresponding to the time series data as an input to a deep learning recognition model, the thaw recognition rate and detection rate can be improved by recognizing all actions by recognizing the type of action of the EMG signal.
도 1은 본 발명의 실시예에 따른 딥러닝 기반의 행동 인식 시스템의 구성도.
도 2는 본 발명에 따른 근전도 신호 이미지화부의 구성도.
도 3은 본 발명에 따른 이진화 이미지 생성부의 구성도.
도 4의 (a)는 표면 근전도 신호를 도시한 도면.
도 4의 (b)는 표면 근전도 신호에 RMS를 적용한 RMS 결과값을 도시한 도면.
도 5는 RMS 결과값에 칼만 필터를 적용하여 잡음이 제거된 결과를 도시한 도면.
도 6은 본 발명에 따른 음수 그래프 생성부에 의해 생성된 RMS 결과값의 음수 그래프 도면.
도 7은 본 발명에 따른 제1 이진화 이미지 생성부에 의해 생성된 이진화 이미지 도면.
도 8은 본 발명에 따른 제2 이진화 이미지 생성부에 의해 생성된 이진화 이미지 도면.
도 9는 본 발명에 따른 AND 연산부에 의해 생성된 이진화 이미지 도면.
도 10은 본 발명에 따른 행동 유무 검출부에 적용된 딥러닝 검출기 모델의 일례를 도시한 도면.
도 11은 본 발명에 따른 행동 인식부의 일례를 도시한 도면.
도 12는 본 발명의 실시예에 따른 딥러닝 기반의 행동 인식 시스템을 통해 인식된 행동 인식 결과의 예시도.
도 13은 본 발명의 실시예에 따른 딥러닝 기반의 행동 인식 방법을 도시한 흐름도.
도 14는 본 발명에 따른 이미지화 과정을 도시한 흐름도.
도 15는 본 발명에 따른 이진화 이미지 생성 과정을 도시한 흐름도.
1 is a configuration diagram of a deep learning-based action recognition system according to an embodiment of the present invention.
Figure 2 is a configuration diagram of an electromyography signal imaging unit according to the present invention.
Figure 3 is a configuration diagram of a binarized image generator according to the present invention.
Figure 4(a) is a diagram showing a surface electromyography signal.
Figure 4(b) is a diagram showing the RMS result obtained by applying RMS to the surface electromyography signal.
Figure 5 is a diagram showing the result of noise being removed by applying a Kalman filter to the RMS result.
Figure 6 is a negative graph of the RMS result generated by the negative graph generator according to the present invention.
7 is a diagram of a binarized image generated by the first binarized image generator according to the present invention.
Figure 8 is a diagram of a binarized image generated by a second binarized image generator according to the present invention.
Figure 9 is a diagram of a binarized image generated by the AND operation unit according to the present invention.
Figure 10 is a diagram showing an example of a deep learning detector model applied to the behavior detection unit according to the present invention.
Figure 11 is a diagram showing an example of an action recognition unit according to the present invention.
Figure 12 is an example of action recognition results recognized through a deep learning-based action recognition system according to an embodiment of the present invention.
Figure 13 is a flowchart showing a deep learning-based action recognition method according to an embodiment of the present invention.
Figure 14 is a flow chart showing the imaging process according to the present invention.
Figure 15 is a flowchart showing the binarization image generation process according to the present invention.
이하, 본 발명의 이점 및 특징, 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들로 한정되는 것이 아니라 서로 다른 다양한 형태로 구현되고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의된다. Hereinafter, the advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but is implemented in various different forms, and is provided to fully inform those skilled in the art of the invention of the scope of the invention. and the present invention is defined by the scope of the claims.
또한, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 그리고, 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 가령, 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.Additionally, the terms used in this specification are for describing embodiments and are not intended to limit the present invention. And, in this specification, singular forms also include plural forms unless specifically stated in the phrase. For example, as used in the specification, 'comprises' and/or 'comprising' refers to a referenced component, step, operation and/or element that includes one or more other components, steps, operations and/or elements. does not exclude the presence or addition of Like reference numerals refer to like elements throughout the specification. “And/or” includes each and every combination of one or more of the mentioned items.
또한, 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Additionally, unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings that can be commonly understood by those of ordinary skill in the art. Additionally, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless clearly specifically defined.
도 1은 본 발명의 실시예에 따른 딥러닝 기반의 행동 인식 시스템의 구성도이다. 1 is a configuration diagram of a deep learning-based action recognition system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시예에 따른 딥러닝 기반의 행동 인식 시스템(10)은 입력된 근전도 신호, 즉 표면 근전도 신호(surface electromyogram, sEMG)로부터 피측정자의 행동(행동 종류)을 인식하는 시스템으로서, 크게 행동 유무를 검출하는 행동 유무 검출과정과, 검출된 행동 유무를 토대로 행동을 인식하는 행동 인식과정을 포함하는 딥러닝 알고리즘을 이용하여 신호의 행동 종류를 인식한다. Referring to FIG. 1, the deep learning-based behavior recognition system 10 according to an embodiment of the present invention recognizes the behavior (type of behavior) of the subject from the input electromyogram signal, that is, a surface electromyogram (sEMG) signal. As a system, the type of behavior of a signal is recognized using a deep learning algorithm, which largely includes a behavior detection process that detects the presence or absence of behavior, and a behavior recognition process that recognizes behavior based on the detected behavior presence or absence.
본 발명의 실시예에 따른 딥러닝 기반의 행동 인식 시스템(10)은 표면 근전도 신호(sEMG)를 수신하는 근전도 신호 수신부(11)와, 표면 근전도 신호(sEMG)를 이미지화하는 근전도 신호 이미지화부(12)와, 이미지화된 근전도 신호에서 행동 유무를 검출(또는 판단)하는 행동 유무 검출부(13)와, 검출된 행동에 대한 시간열 데이터를 기록하는 시간열 데이터 기록부(14)와, 시간열 데이터 기록부(14)를 통해 기록된 시간열 데이터를 기반으로 근전도 신호 수신부(11)로 수신되는 표면 근전도 신호(sEMG)의 행동 종류를 인식하여 모든 종류의 행동을 인식하는 행동 인식부(15)를 포함한다. The deep learning-based behavior recognition system 10 according to an embodiment of the present invention includes an electromyography signal receiving unit 11 that receives a surface electromyography signal (sEMG), and an electromyography signal imaging unit 12 that images the surface electromyography signal (sEMG). ), an action presence detection unit 13 that detects (or determines) the presence or absence of action in the imaged electromyography signal, a time series data recording unit 14 that records time series data for the detected behavior, and a time series data recording unit ( It includes a behavior recognition unit 15 that recognizes all types of behavior by recognizing the type of behavior of the surface electromyography signal (sEMG) received by the electromyography signal receiver 11 based on the time series data recorded through 14).
근전도 신호 수신부(11)는 피측정자의 신체에서 측정된 표면 근전도 신호(sEMG)를 수신한다. 이때, 표면 근전도 신호(sEMG)는 가공 처리 전 RAW 근전도 신호로서, RAW 근전도 신호는 피측정자의 신체에 부착되어 신체의 움직임에 따라 근육에서 발생되는 전기적 신호를 측정하는 근전도 센서(미도시)로부터 제공받을 수 있다. The EMG signal receiver 11 receives a surface EMG signal (sEMG) measured from the body of the subject. At this time, the surface electromyography signal (sEMG) is a RAW electromyographic signal before processing, and the RAW electromyographic signal is provided from an electromyographic sensor (not shown) that is attached to the body of the subject and measures electrical signals generated from muscles according to body movement. You can receive it.
근전도 신호 이미지화부(12)는 근전도 신호 수신부(11)로 수신된 표면 근전도 신호(sEMG)를 이진화된 이미지로 변환하는 것으로, 도 2에 그 일례가 도시되었다. The EMG signal imaging unit 12 converts the surface EMG signal (sEMG) received by the EMG signal receiver 11 into a binarized image, an example of which is shown in FIG. 2.
도 2는 본 발명에 따른 근전도 신호 이미지화부의 구성도이다. Figure 2 is a configuration diagram of an electromyography signal imaging unit according to the present invention.
도 1 및 도 2와 같이, 근전도 신호 이미지화부(12)는 근전도 신호 수신부(11)에서 수신된 표면 근전도 신호(sEMG)를 정류(rectification) 과정을 통해 절대값으로 변환하는 절대값 변환부(121)와, 변환된 표면 근전도 신호(sEMG)의 절대값에 RMS(Root Mean Square)를 적용하는 RMS 적용부(122)와, RMS를 적용하여 얻어진 RMS 결과값에서 잡음을 제거하는 필터부(123)와, 필터부(123)에서 잡음이 제거된 RMS 결과값을 이용하여 이진화 이미지를 생성하는 이진화 이미지 생성부(124)를 포함한다. 1 and 2, the EMG signal imaging unit 12 includes an absolute value conversion unit 121 that converts the surface EMG signal (sEMG) received from the EMG signal receiver 11 into an absolute value through a rectification process. ), an RMS application unit 122 that applies RMS (Root Mean Square) to the absolute value of the converted surface electromyography signal (sEMG), and a filter unit 123 that removes noise from the RMS result obtained by applying RMS. and a binarized image generator 124 that generates a binarized image using the RMS result from which noise has been removed in the filter unit 123.
절대값 변환부(121)는 근전도 신호 수신부(11)에서 수신된 표면 근전도 신호(sEMG), 즉 RAW 근전도 신호(RAW sEMG)를 정류하여 표면 근전도 신호(sEMG)의 절대값으로 변환한다. The absolute value converter 121 rectifies the surface EMG signal (sEMG) received from the EMG signal receiver 11, that is, the RAW EMG signal (RAW sEMG) and converts it into an absolute value of the surface EMG signal (sEMG).
RMS 적용부(122)는 표면 근전도 신호 분석방법 중 하나인 RMS 분석을 사용하는 것으로, 절대값 변환부(121)에서 추출된 표면 근전도 신호(sEMG)의 절대값에 RMS를 적용하여 RMS 결과값을 산출한다. RMS는 제곱 평균 제곱근으로 변환하는 값의 크기에 대한 통계적 척도로서, 주로 시간열을 갖는 RAW 신호를 처리하는데 사용된다. The RMS application unit 122 uses RMS analysis, which is one of the surface electromyography signal analysis methods, and applies RMS to the absolute value of the surface electromyography signal (sEMG) extracted from the absolute value conversion unit 121 to provide the RMS result. Calculate RMS is a statistical measure of the size of a value converted to root mean square, and is mainly used to process RAW signals with time series.
RMS 결과값()은 아래의 [수학식 1]을 통해 구할 수 있다. RMS result ( ) can be obtained through [Equation 1] below.
상기 [수학식 1]에서 RMS 결과값()은 시간열 구간 로 정의되고, 에 대응되는 제곱 평균 제곱근의 식으로 나타낼 수 있다. 표면 근전도 신호(sEMG)에 RMS를 적용한 결과는 도 4와 같다. 도 4에서 (a)는 표면 근전도 신호(sEMG)이고, (b)는 표면 근전도 신호(sEMG)에 RMS를 적용한 RMS 결과값을 도시한 도면이다. In [Equation 1] above, the RMS result ( ) is the time series section It is defined as, It can be expressed as the equation of the root mean square of the square corresponding to . The results of applying RMS to surface electromyography signals (sEMG) are shown in Figure 4. In Figure 4, (a) is a surface electromyography signal (sEMG), and (b) is a diagram showing the RMS result obtained by applying RMS to the surface electromyography signal (sEMG).
필터부(123)는 RMS 결과값에 칼만 필터(kalman filter)를 적용하여 잡음을 제거한다. The filter unit 123 removes noise by applying a Kalman filter to the RMS result.
칼만 필터는 이전 정보와 새로운 측정값을 이용하여 측정값에 포함된 잡음을 제거하여 최적의 값을 예측하는데 사용하는 알고리즘으로서, 선형적 움직임을 가지는 대상에 재귀적으로 동작시키고, 누적된 이전 데이터와 새로 얻을 수 있는 측정치로 현재 상태를 추정한다. The Kalman filter is an algorithm used to predict the optimal value by removing noise included in the measurement value using previous information and new measurement values. It operates recursively on an object that moves linearly, and combines the accumulated previous data with Estimate the current state using newly available measurements.
칼만 필터를 이용한 연역적 공분산 예측은 아래의 [수학식 2]로 나타낼 수 있다. Deductive covariance prediction using the Kalman filter can be expressed as [Equation 2] below.
여기서, 는 k-1 시점의 측정값을 기반으로 한 k시점의 상태 공분산행렬이고, 는 k시점의 상태 전환 모델이며, 는 k-1시점에서 과정 잡음의 공분산이다. here, is the state covariance matrix at time k based on the measurement values at time k-1, is the state transition model at time k, is the covariance of the process noise at time k-1.
이러한 칼만 필터를 RMS 결과값에 적용하여 잡음이 제거된 결과를 얻으면 도 5와 같다. By applying this Kalman filter to the RMS result, the noise-removed result is obtained, as shown in Figure 5.
RMS 적용부(122)를 통해 표면 근전도 신호(sEMG)의 절대값에 RMS를 적용하면, 도 4의 (b)와 같이 RMS 결과값은 모두 양수로 변경되고, 필터부(123)에서 칼만 필터를 통해 잡음이 제거된 RMS 결과값은 도 5와 같이 연속적인 데이터 특성을 갖는다. When RMS is applied to the absolute value of the surface electromyography signal (sEMG) through the RMS application unit 122, all RMS result values are changed to positive numbers as shown in (b) of FIG. 4, and the Kalman filter is applied in the filter unit 123. The RMS result from which noise is removed has continuous data characteristics as shown in FIG. 5.
이진화 이미지 생성부(124)는 종래에 문제로 제기된 동적 상태와 정적 상태를 구분하기 위해 잡음이 제거된 RMS 결과값을 이용하여 이진화 이미지를 생성한다. The binarization image generator 124 generates a binarization image using the RMS result from which noise has been removed in order to distinguish between a dynamic state and a static state, which has been a problem in the past.
종래의 딥러닝 인식 모델은 전술한 바와 같이, 순차적인 시간열 데이터의 연속성을 학습하여 데이터의 종류를 인식하는 방식으로, 이러한 인식 방식은 데이터의 연속성을 규칙으로 판단하기 때문에 동작이 없는 정적상태의 데이터에서 잡음이 클 경우, 동적상태로 잘못 인식하고, 또한 동적상태의 데이터가 진폭이 크면서 정적상태의 데이터와 유사한 연속성을 가질 경우에 정적상태로 잘못 인식할 수 있다. As described above, the conventional deep learning recognition model recognizes the type of data by learning the continuity of sequential time series data. This recognition method determines the continuity of data as a rule, so it is in a static state without motion. If the noise in the data is large, it may be mistakenly recognized as a dynamic state. Additionally, if the dynamic state data has a large amplitude and has similar continuity to the static state data, it may be mistakenly recognized as a static state.
이러한 종래의 딥러닝 인식 모델의 문제점를 해결하기 위해 본 발명에서는 잡음이 제거된 RMS 결과값을 이용하여 이진화 이미지 생성부(124)를 통해 이진화 이미지를 생성하고, 이렇게 생성된 이진화 이미지의 진폭의 크기를 활용하여 종래의 딥러닝 인식 모델에서 잘못 인식된 동적상태와 정적상태를 안정적으로 구분하여 인식한다.In order to solve the problems of the conventional deep learning recognition model, the present invention generates a binarized image through the binarized image generator 124 using the RMS result from which noise has been removed, and determines the amplitude of the binarized image thus generated. It is used to reliably distinguish and recognize dynamic states and static states that were incorrectly recognized in conventional deep learning recognition models.
도 1에서 행동 유무를 검출하는 행동 유무 검출부(13)에서 적용하는 딥러닝 검출기인 CNN(Convolution Neural Network, 합성곱신경망)은 이미지를 대표할 수 있는 특성(features)을 추출하여 학습시키는 원리를 적용한 것으로, 이미지에서 규칙성을 학습하기 때문에 동적상태의 데이터는 진폭이 정적상태의 데이터에 비해 크다. In Figure 1, CNN (Convolution Neural Network), a deep learning detector applied in the action presence/absence detection unit 13 that detects the presence or absence of action, applies the principle of extracting and learning features that can represent the image. Because regularities are learned from images, dynamic data has a larger amplitude than static data.
도 3은 본 발명에 따른 이진화 이미지 생성부의 구성도이다. Figure 3 is a configuration diagram of a binarized image generator according to the present invention.
도 3을 참조하면, 본 발명에 따른 이진화 이미지 생성부(124)는 잡음이 제거된 RMS 결과값의 양수 그래프에 -1을 곱하여 음수 그래프를 생성하는 음수 그래프 생성부(124a)와, RMS 결과값의 양수 그래프에서 상위 및 하위영역을 지정하여 양수 그래프 내에서 제1 이진화 이미지를 생성하는 제1 이진화 이미지 생성부(124b)와, 음수 그래프 생성부(124a)에서 생성된 RMS 결과값의 음수 그래프에서 상위 및 하위영역을 지정하여 제2 이진화 이미지를 생성하는 제2 이진화 이미지 생성부(124c)와, 제1 및 제2 이진화 이미지 생성부(124b, 124c)에서 생성된 이진화된 이미지를 AND(논리곱) 연산하여 이진화 이미지를 생성하는 AND 연산부(124d)를 포함한다. Referring to FIG. 3, the binarized image generator 124 according to the present invention includes a negative graph generator 124a that generates a negative graph by multiplying the positive graph of the RMS result from which noise has been removed by -1, and the RMS result value. In the negative graph of the RMS result value generated by the first binarized image generator 124b, which generates the first binarized image within the positive graph by specifying the upper and lower regions in the positive graph, and the negative graph generator 124a, A second binarized image generator 124c that generates a second binarized image by specifying the upper and lower regions, and the binarized images generated by the first and second binarized image generators 124b and 124c are AND (logical product) ) and an AND operation unit 124d that generates a binary image.
도 6은 본 발명에 따른 음수 그래프 생성부에 의해 생성된 RMS 결과값의 음수 그래프이고, 도 7은 본 발명에 따른 제1 이진화 이미지 생성부에 의해 생성된 이진화 이미지이고, 도 8은 본 발명에 따른 제2 이진화 이미지 생성부에 의해 생성된 이진화 이미지이고, 도 9는 본 발명에 따른 AND 연산부에 의해 생성된 이진화 이미지이다. Figure 6 is a negative graph of the RMS result generated by the negative graph generator according to the present invention, Figure 7 is a binarized image generated by the first binarized image generator according to the present invention, and Figure 8 is a negative graph generated by the negative graph generator according to the present invention. 9 is a binarized image generated by the second binarized image generator according to the present invention, and FIG. 9 is a binarized image generated by the AND operator according to the present invention.
행동 유무 검출부(13)는 도 1과 같이, 근전도 신호 이미지화부(12)에서 생성된 이진화 이미지로부터 행동의 유무를 판단하기 위해 라벨링하여 학습 이미지를 생성한다. 즉, 생성된 이진화 이미지에 라벨링 작업을 수행하고, 표면 근전도 신호(sEMG)를 통해 획득한 데이터와 동일하게 진행한다. 가령, 정적상태의 경우 행동이 없기 때문에 라벨을 '0'으로 지정하고, 동적상태는 행동이 있으므로 '1'로 지정한다. As shown in FIG. 1, the action presence/absence detection unit 13 generates a learning image by labeling the binarized image generated by the EMG signal imaging unit 12 to determine the presence or absence of action. In other words, a labeling operation is performed on the generated binarized image and the same process is performed as with data acquired through surface electromyography (sEMG) signals. For example, in the case of a static state, there is no action, so the label is designated as '0', and in the dynamic state, there is behavior, so the label is designated as '1'.
행동 유무 검출부(13)는 행동의 유무를 판단하기 위한 데이터셋으로 CNN 검출기 모델을 학습할 수 있다. 학습 모델은 실시간 딥러닝 검출 모델을 사용하고, 대표적으로 YOLOv4 모델이 있다. 이외에도 딥러닝 검출기 모델은 다른 다양한 모델로 대체 가능하다. The action presence/absence detection unit 13 can learn a CNN detector model using a dataset to determine the presence or absence of action. The learning model uses a real-time deep learning detection model, and a representative example is the YOLOv4 model. In addition, the deep learning detector model can be replaced with various other models.
도 10은 본 발명에 따른 행동 유무 검출부에 적용된 딥러닝 검출기 모델의 일례를 도시한 도면이다. Figure 10 is a diagram showing an example of a deep learning detector model applied to the behavior detection unit according to the present invention.
도 10과 같이, 행동 유무 검출부(13)의 행동 유무 판단 과정의 일례를 간략하게 설명하면, 먼저 근전도 신호 이미지화부(12)에서 생성된 이진화 이미지로부터 규칙을 가지는 특징을 추출(Backbone 단계)한다. 이후, 추출된 이진화 이미지의 특징을 정제 및/또는 재구성한다(neck 단계). 정제된 이진화 이미지의 특징으로부터 해당 데이터가 무엇인지를 예측하여 행동 유무를 검출한다(dense prediction 단계). 이러한 과정을 통해 표면 근전도 신호(sEMG)로부터 행동의 유무를 판단할 수 있다.As shown in Figure 10, to briefly describe an example of the action presence/absence judgment process of the action presence/absence detection unit 13, first, features with rules are extracted from the binarized image generated by the EMG signal imaging unit 12 (Backbone step). Afterwards, the features of the extracted binarized image are refined and/or reconstructed (neck stage). The presence or absence of an action is detected by predicting what the corresponding data is from the features of the refined binarized image (dense prediction step). Through this process, the presence or absence of behavior can be determined from surface electromyography signals (sEMG).
시간열 데이터 기록부(14)는 행동 유무 검출부(13)에서 딥러닝 검출기를 통해 행동의 유무를 판단할 때 행동이 있을 경우 시간열 데이터를 획득하고 기록한다. The time-series data recording unit 14 acquires and records time-series data if there is an action when the action presence/absence detection unit 13 determines the presence or absence of an action through a deep learning detector.
행동 인식부(15)는 도 1과 같이, 시간열 데이터 기록부(14)에서 기록된 시간열 데이터를 기반으로 근전도 신호 이미지화부(12)를 통해 이진화 이미지로 처리되기 전 표면 근전도 신호, 즉 RAW 근전도 신호(RAW sEMG)에서 행동 인식을 진행한다. As shown in FIG. 1, the action recognition unit 15 generates a surface EMG signal, that is, a RAW EMG signal, before being processed into a binarized image through the EMG signal imaging unit 12, based on the time series data recorded in the time series data recorder 14. Action recognition is performed from the signal (RAW sEMG).
이러한 행동 인식부(15)는 행동 인식을 위한 딥러닝 인식 모델로서, RNN(Recurrent Neural Network) 모델을 적용할 수 있고, 그 일례가 도 11에 도시되었다. This action recognition unit 15 is a deep learning recognition model for action recognition, and can apply a RNN (Recurrent Neural Network) model, an example of which is shown in FIG. 11.
도 11과 같이, 행동 인식부(15)는 RNN 알고리즘을 통해 행동 인식을 진행하며, 인식 방식은 기존과 동일한 방식으로 진행할 수 있다. 예를 들어, 순차적 시간열 데이터를 입력으로 받아 시간열 데이터의 연속성을 학습한다. 이때, 입력 데이터는 RMS를 적용하기 전 RAW 근전도 신호(RAW sEMG)를 사용한다. 그리고, 딥러닝 인식 모델은 크게 입력 단계, 특징 추출 및 연속성 학습 단계, 예측 단계로 나뉜다. As shown in Figure 11, the action recognition unit 15 performs action recognition through a RNN algorithm, and the recognition method can be performed in the same manner as before. For example, it receives sequential time series data as input and learns the continuity of time series data. At this time, the input data uses RAW electromyography signals (RAW sEMG) before applying RMS. In addition, the deep learning recognition model is largely divided into an input stage, a feature extraction and continuity learning stage, and a prediction stage.
상기 입력 단계에서는 시간열 데이터나 텍스트 정보를 입력 받는다. 상기 특징 추출 단계는 보통 LSTM(Long Short-Term Memory) 계층을 사용한다. LSTM은 데이터의 연속성을 학습한다. 가령, 글자를 예로 들어 설명하면, 'hello'가 입력 되었을 때, 'h'다음에 어떤 글자가 올지 학습하는 것이다. 시간열 데이터에서는 입력된 신호 다음에 어떤 신호가 오는지 연속성을 학습하여 학습이 완료된 후 특정 연속성을 가지는 데이터가 입력 되었을 때 이 데이터는 어떤 데이터인지 분류한다. 상기 예측 단계에서는 분류된 데이터를 기반으로 행동 종류를 예측하여 모든 행동을 인식한다. In the input step, time series data or text information is input. The feature extraction step usually uses a Long Short-Term Memory (LSTM) layer. LSTM learns the continuity of data. For example, if we take letters as an example, when 'hello' is input, we learn which letter comes after 'h'. In time series data, the continuity of which signal comes next after the input signal is learned, and when data with a certain continuity is input after learning is completed, it is classified as to what type of data this data is. In the prediction step, all behaviors are recognized by predicting the type of behavior based on the classified data.
이와 같이, 본 발명의 실시예에 따른 딥러닝 기반의 행동 인식 시스템(10)은 2중 딥러닝 모델로서 CNN과 RNN이 결합된 딥러닝 알고리즘을 사용하여 높은 인식률을 보이며, 본 시스템을 통해 얻어지는 행동 인식 결과의 예시가 도 12에 도시되었다. As such, the deep learning-based action recognition system 10 according to an embodiment of the present invention is a double deep learning model and shows a high recognition rate by using a deep learning algorithm combining CNN and RNN, and the behavior obtained through this system An example of the recognition result is shown in Figure 12.
도 13은 본 발명의 실시예에 따른 딥러닝 기반의 행동 인식 방법을 도시한 흐름도이다. Figure 13 is a flowchart showing a deep learning-based action recognition method according to an embodiment of the present invention.
도 13을 참조하면, 본 발명의 실시예에 따른 딥러닝 기반의 행동 인식 방법은, 표면 근전도 신호(sEMG)를 수신(입력)하는 과정(S1)과, RAW 근전도 신호인 표면 근전도 신호(sEMG)를 이미지화하는 과정(S2)과, 이미지화된 근전도 신호에서 행동 유무를 검출하는 과정(S3)과, 검출된 행동에 대한 시간열 데이터를 기록하는 과정(S4)과, 기록된 시간열 데이터를 기반으로 이미지화되기 전 표면 근전도 신호(sEMG)에서 행동 종류를 인식하여 모든 종류의 행동을 인식하는 과정(S5)을 포함한다. Referring to Figure 13, the deep learning-based action recognition method according to an embodiment of the present invention includes a process (S1) of receiving (inputting) a surface electromyography signal (sEMG), and a surface electromyography signal (sEMG), which is a RAW electromyography signal. A process of imaging (S2), a process of detecting the presence or absence of behavior from the imaged EMG signal (S3), a process of recording time series data for the detected behavior (S4), and based on the recorded time series data It includes the process (S5) of recognizing all types of actions by recognizing the type of action in the surface electromyography signal (sEMG) before being imaged.
도 14는 본 발명에 따른 이미지화 과정을 도시한 흐름도이다. Figure 14 is a flowchart showing the imaging process according to the present invention.
도 14와 같이, 본 발명에 따른 이미지화 과정(S2)은, RAW 근전도 신호인 표면 근전도 신호(sEMG), 즉 수신된 근전도 신호(sEMG)를 정류하여 절대값으로 변환하는 과정(S21)과, 변환된 표면 근전도 신호(sEMG)의 절대값에 RMS를 적용하는 과정(S22)과, RMS를 적용하여 얻어진 RMS 결과값에서 잡음을 제거하는 과정(S23)과, 잡음이 제거된 RMS 결과값을 이용하여 이진화 이미지를 생성하는 과정(S24)을 포함한다.As shown in Figure 14, the imaging process (S2) according to the present invention includes a process (S21) of rectifying the surface electromyography signal (sEMG), which is a RAW electromyography signal, that is, the received electromyography signal (sEMG) and converting it to an absolute value, and converting A process of applying RMS to the absolute value of the surface electromyography signal (sEMG) (S22), a process of removing noise from the RMS result obtained by applying RMS (S23), and using the RMS result with the noise removed It includes a process of generating a binarized image (S24).
RMS 적용 과정(S22)에서는 상기 [수학식 1]을 통해 RMS 결과값을 구할 수 있고, 잡음 제거 과정(S23)에서는 칼만 필터를 적용하여 RMS 결과값에서 잡음을 제거한다. In the RMS application process (S22), the RMS result can be obtained through [Equation 1] above, and in the noise removal process (S23), noise is removed from the RMS result by applying a Kalman filter.
도 15는 본 발명에 따른 이진화 이미지 생성 과정을 도시한 흐름도이다. Figure 15 is a flowchart showing the process of generating a binarized image according to the present invention.
도 15를 참조하면, 본 발명에 따른 이진화 이미지 생성 과정(S24)은, 잡음이 제거된 RMS 결과값의 양수 그래프에 -1을 곱하여 음수 그래프를 생성하는 과정(S241)과, 칼만 필터로 잡음이 제거된 RMS 결과값의 양수 그래프에서 상위 및 하위 영역을 지정하여 양수 그래프 내에서 제1 이진화 이미지를 생성하는 과정(S242)과, 생성된 RMS 결과값의 음수 그래프에서 상위 및 하위영역을 지정하여 음수 그래프 내에서 제2 이진화 이미지를 생성하는 과정(S243)과, 생성된 제1 및 제2 이진화 이미지를 AND(논리곱)을 통해 연산하여 이진화 이미지를 생성하는 과정(S244)을 포함한다. Referring to FIG. 15, the binarized image generation process (S24) according to the present invention includes the process (S241) of generating a negative graph by multiplying the positive graph of the noise-removed RMS result by -1, and removing the noise using a Kalman filter. A process of generating a first binarized image within a positive graph by specifying the upper and lower regions in the positive graph of the removed RMS result value (S242), and specifying the upper and lower regions in the negative graph of the generated RMS result value to create a negative number. It includes a process of generating a second binarized image within the graph (S243) and a process of generating a binarized image by calculating the generated first and second binarized images through AND (logical product) (S244).
한편, 도 13에서와 같이, 행동 유무 검출 과정(S3)은 근전도 신호 이미지화 과정(S2)에서 생성된 이진화 이미지로부터 규칙을 가지는 특징을 추출한다. 이후, 추출된 이진화 이미지의 특징을 정제 및/또는 재구성한 후, 정제 및/또는 재구성된 이진화 이미지의 특징으로부터 해당 데이터가 무엇인지를 예측하여 행동 유무를 판단하여 검출한다. Meanwhile, as shown in FIG. 13, the action presence/absence detection process (S3) extracts features with rules from the binarized image generated in the EMG signal imaging process (S2). Afterwards, the features of the extracted binarized image are refined and/or reconstructed, and then the data is predicted from the features of the refined and/or reconstructed binarized image, and the presence or absence of an action is determined and detected.
시간열 데이터 기록 과정(S4)은 행동 유무 검출 과정(S3)에서 딥러닝 검출기를 통해 행동의 유무를 판단할 때 행동이 있을 경우 시간열 데이터를 획득하고 기록한다.The time series data recording process (S4) acquires and records time series data if there is an action when determining the presence or absence of an action through a deep learning detector in the action presence or absence detection process (S3).
행동 인식 과정(S5)에서는 시간열 데이터 기록 과정(S4)에서 기록된 시간열 데이터를 기반으로 근전도 신호 이미지화 과정(S2)을 거치지 않은 표면 근전도 신호, 즉 RAW 근전도 신호(RAW sEMG)에서 딥러닝 인식 모델을 이용하여 행동 종류를 인식한다. In the action recognition process (S5), deep learning is recognized from the surface EMG signal, that is, the RAW EMG signal (RAW sEMG), which has not gone through the EMG signal imaging process (S2), based on the time series data recorded in the time-series data recording process (S4). Recognize types of behavior using models.
이상에서와 같이, 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명 및 도시되었지만, 그러한 용어는 오로지 본 발명을 명확하게 설명하기 위한 것일 뿐이다. 그리고, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러 가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.As above, preferred embodiments of the invention have been described and illustrated using specific terminology, but such terminology is only intended to clearly describe the invention. In addition, it is obvious that various changes and changes can be made to the embodiments and described terms of the present invention without departing from the technical spirit and scope of the following claims. These modified embodiments should not be understood individually from the spirit and scope of the present invention, but should be regarded as falling within the scope of the claims of the present invention.
10 : 딥러닝 기반의 행동 인식 시스템
11 : 근전도 신호 수신부
12 : 근전도 신호 이미지화부
13 : 행동 유무 검출부
14 : 시간열 데이터 기록부
15 : 행동 인식부
121 : 절대값 변환부
122 : RMS 적용부
123 : 필터부
124 : 이진화 이미지 생성부
124a : 음수 그래프 생성부
124b : 제1 이진화 이미지 생성부
124c : 제2 이진화 이미지 생성부
124d : AND 연산부 10: Deep learning-based behavior recognition system
11: Electromyography signal receiver
12: Electromyography signal imaging unit
13: Action detection unit
14: Time series data recorder
15: Behavior recognition unit
121: Absolute value conversion unit
122: RMS application part
123: filter unit
124: Binarization image generation unit
124a: Negative graph generation unit
124b: first binarized image generator
124c: second binarization image generation unit
124d: AND operation unit
Claims (9)
상기 표면 근전도 신호를 이미지화하는 근전도 신호 이미지화부;
딥러닝 검출기를 이용하여 상기 근전도 신호 이미지화부에서 이진화된 이미지에서 행동 유무를 검출하는 행동 유무 검출부;
상기 행동 유무 검출부에서 검출된 행동에 대한 시간열 데이터를 기록하는 시간열 데이터 기록부; 및
딥러닝 인식 모델을 이용하여 상기 시간열 데이터 기록부를 통해 기록된 시간열 데이터를 기반으로 상기 근전도 신호 이미지화부를 통해 이미지화되기 전에 상기 근전도 신호 수신부로 수신되는 표면 근전도 신호의 행동을 인식하는 행동 인식부를 포함하며,
상기 근전도 신호 이미지화부는,
상기 근전도 신호 수신부에서 수신된 표면 근전도 신호를 정류 과정을 통해 절대값으로 변환하는 절대값 변환부;
변환된 표면 근전도 신호의 절대값에 RMS(Root Mean Square)를 적용하는 RMS 적용부;
RMS를 적용하여 얻어진 RMS 결과값에서 칼만 필터(kalman filter)를 이용하여 잡음을 제거하는 필터부; 및
상기 필터부에서 잡음이 제거된 RMS 결과값을 이용하여 이진화 이미지를 생성하는 이진화 이미지 생성부를 포함하는 것을 특징으로 하는 근전도 신호를 이용한 딥러닝 기반의 행동 인식 시스템.
An electromyography signal receiver that receives a surface electromyogram signal measured from the body of the subject;
An electromyography signal imaging unit that images the surface electromyogram signal;
An action presence/absence detector that detects the presence or absence of action in the image binarized by the EMG signal imaging unit using a deep learning detector;
a time-series data recording unit that records time-series data about the behavior detected by the behavior presence/absence detection unit; and
A behavior recognition unit that recognizes the behavior of the surface EMG signal received by the EMG signal receiver before being imaged through the EMG signal imaging unit based on the time series data recorded through the time series data recorder using a deep learning recognition model. Includes,
The electromyography signal imaging unit,
an absolute value conversion unit that converts the surface EMG signal received from the EMG signal receiver into an absolute value through a rectification process;
An RMS application unit that applies RMS (Root Mean Square) to the absolute value of the converted surface EMG signal;
A filter unit that removes noise using a Kalman filter from the RMS result obtained by applying RMS; and
A deep learning-based behavior recognition system using electromyography signals, comprising a binarization image generator that generates a binarization image using the RMS result from which noise has been removed from the filter unit.
상기 이진화 이미지 생성부는,
상기 필터부에서 잡음이 제거된 RMS 결과값의 양수 그래프에 -1을 곱하여 음수 그래프를 생성하는 음수 그래프 생성부;
상기 필터부에서 잡읍이 제거된 RMS 결과값의 양수 그래프에서 상위 및 하위영역을 지정하여 양수 그래프 내에서 제1 이진화 이미지를 생성하는 제1 이진화 이미지 생성부;
상기 음수 그래프 생성부에서 생성된 RMS 결과값의 음수 그래프에서 상위 및 하위영역을 지정하여 제2 이진화 이미지를 생성하는 제2 이진화 이미지 생성부; 및
상기 제1 및 제2 이진화 이미지 생성부에서 생성된 제1 및 제2 이진화 이미지를 AND(논리곱) 연산하여 이진화 이미지를 생성하는 AND 연산부;
를 포함하는 것을 특징으로 하는 근전도 신호를 이용한 딥러닝 기반의 행동 인식 시스템.
According to paragraph 1,
The binarized image generator,
a negative graph generator that generates a negative graph by multiplying the positive graph of the RMS result from which noise has been removed by the filter unit by -1;
a first binarized image generator that generates a first binarized image within the positive graph by designating upper and lower regions in the positive graph of the RMS result from which noise has been removed from the filter unit;
a second binarized image generator that generates a second binarized image by designating upper and lower regions in the negative graph of the RMS result value generated by the negative graph generator; and
an AND operator for generating a binarized image by performing an AND (logical product) operation on the first and second binarized images generated by the first and second binarized image generators;
A deep learning-based action recognition system using electromyography signals, comprising:
상기 행동 유무 검출부는 상기 근전도 신호 이미지화부에서 생성된 이진화 이미지에 라벨링 작업을 수행하여 학습 이미지를 생성하되, 상기 라벨링 작업은 정적상태의 경우 라벨을 '0'으로 지정하고, 동적상태인 경우에는 '1'로 지정하여 실시하는 것을 특징으로 하는 근전도 신호를 이용한 딥러닝 기반의 행동 인식 시스템.
According to paragraph 1,
The action presence/absence detection unit generates a learning image by performing a labeling operation on the binarized image generated by the EMG signal imaging unit. The labeling operation specifies a label as '0' in the case of a static state and '0' in the case of a dynamic state. A deep learning-based action recognition system using electromyography signals, characterized by designation and implementation as '1'.
상기 행동 유무 검출부는 상기 근전도 신호 이미지화부에서 생성된 이진화 이미지에서 행동의 유무를 판단하기 위한 데이터셋으로 CNN(Convolution Neural Network) 검출기 모델을 학습하고, 학습 모델은 실시간 딥러닝 검출 모델인 YOLOv4 모델을 사용하는 것을 특징으로 하는 근전도 신호를 이용한 딥러닝 기반의 행동 인식 시스템.
According to paragraph 1,
The action presence/absence detection unit learns a CNN (Convolution Neural Network) detector model as a dataset for determining the presence or absence of action in the binarized image generated by the EMG signal imaging unit, and the learning model uses the YOLOv4 model, a real-time deep learning detection model. A deep learning-based action recognition system using electromyography signals.
상기 행동 유무 검출부는 상기 근전도 신호 이미지화부에서 생성된 이진화 이미지로부터 규칙을 가지는 특징을 추출하고, 추출된 이진화 이미지의 특징을 정제한 후, 정제된 이진화 이미지의 특징으로부터 해당 데이터가 무엇인지를 예측하는 과정으로 행동 유무를 검출하는 것을 특징으로 하는 근전도 신호를 이용한 딥러닝 기반의 행동 인식 시스템.
According to paragraph 1,
The action presence/absence detection unit extracts features having rules from the binarized image generated by the electromyography signal imaging unit, refines the features of the extracted binarized image, and then predicts what the corresponding data is from the features of the refined binarized image. A deep learning-based action recognition system using electromyography signals, which is characterized by detecting the presence or absence of action through a process.
상기 표면 근전도 신호를 이미지화하는 과정;
딥러닝 검출기를 이용하여 이미지화된 표면 근전도 신호에서 행동 유무를 검출하는 과정;
검출된 행동에 대한 시간열 데이터를 기록하는 과정; 및
딥러닝 인식 모델을 이용하여 기록된 행동에 대한 시간열 데이터를 기반으로 상기 이미지화하는 과정에서 이미지화되기 전에 수신된 표면 근전도 신호에서 행동을 인식하는 과정을 포함하며,
상기 이미지화하는 과정은,
상기 표면 근전도 신호를 정류하여 절대값으로 변환하는 과정;
변환된 표면 근전도 신호의 절대값에 RMS(Root Mean Square)를 적용하는 과정;
RMS를 적용하여 얻어진 RMS 결과값에서 칼만 필터(kalman filter)를 이용하여 잡음을 제거하는 과정; 및
잡음이 제거된 RMS 결과값을 이용하여 이진화 이미지를 생성하는 과정을 포함하는 것을 특징으로 하는 근전도 신호를 이용한 딥러닝 기반의 행동 인식 방법.
A process of receiving surface electromyography signals measured from the body of a subject;
A process of imaging the surface electromyography signal;
A process of detecting the presence or absence of action in an imaged surface EMG signal using a deep learning detector;
The process of recording time series data about detected behaviors; and
It includes a process of recognizing behavior from surface electromyography signals received before imaging in the imaging process based on time series data for recorded behavior using a deep learning recognition model,
The imaging process is,
Rectifying the surface electromyography signal and converting it into an absolute value;
A process of applying RMS (Root Mean Square) to the absolute value of the converted surface EMG signal;
A process of removing noise from the RMS results obtained by applying RMS using a Kalman filter; and
A deep learning-based action recognition method using electromyography signals, comprising the process of generating a binarized image using the RMS result from which noise has been removed.
상기 이진화 이미지 생성 과정은,
잡음이 제거된 RMS 결과값의 양수 그래프에 -1을 곱하여 음수 그래프를 생성하는 과정;
잡음이 제거된 RMS 결과값의 양수 그래프에서 상위 및 하위 영역을 지정하여 양수 그래프 내에서 제1 이진화 이미지를 생성하는 과정;
생성된 RMS 결과값의 음수 그래프에서 상위 및 하위영역을 지정하여 음수 그래프 내에서 제2 이진화 이미지를 생성하는 과정; 및
생성된 제1 및 제2 이진화 이미지를 AND(논리곱)을 통해 연산하여 이진화 이미지를 생성하는 과정을 포함하는 것을 특징으로 하는 근전도 신호를 이용한 딥러닝 기반의 행동 인식 방법.In clause 7,
The binarization image generation process is,
The process of generating a negative graph by multiplying the positive graph of the noise-removed RMS result by -1;
A process of generating a first binarized image within a positive graph by specifying upper and lower regions in a positive graph of noise-removed RMS results;
A process of generating a second binarized image within the negative graph by specifying upper and lower regions in the negative graph of the generated RMS result value; and
A deep learning-based action recognition method using electromyography signals, comprising the process of generating a binarized image by calculating the generated first and second binarized images through AND (logical product).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210086651A KR102603983B1 (en) | 2021-07-01 | 2021-07-01 | Deep learning based system and method for recognizing behavior type using emg signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210086651A KR102603983B1 (en) | 2021-07-01 | 2021-07-01 | Deep learning based system and method for recognizing behavior type using emg signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230005661A KR20230005661A (en) | 2023-01-10 |
| KR102603983B1 true KR102603983B1 (en) | 2023-11-22 |
Family
ID=84893642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210086651A KR102603983B1 (en) | 2021-07-01 | 2021-07-01 | Deep learning based system and method for recognizing behavior type using emg signal |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102603983B1 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100706065B1 (en) | 2004-02-17 | 2007-04-11 | 재단법인 산재의료관리원 | Way of recoguizing user's intention by using an electromyogram and its system |
| KR102466215B1 (en) | 2018-07-19 | 2022-11-11 | (주)세림테크 | Nose pattern recognition system and method based on deep learning |
| KR102222282B1 (en) * | 2018-11-27 | 2021-03-04 | 한국전자기술연구원 | Method for prediction of Preterm Birth using Electrohysterogram |
| KR102277811B1 (en) | 2019-03-06 | 2021-07-15 | 상명대학교 천안산학협력단 | A Deep learning-based real time emotional recognition system using bi-signal and methodology. |
-
2021
- 2021-07-01 KR KR1020210086651A patent/KR102603983B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230005661A (en) | 2023-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rechy-Ramirez et al. | Bio-signal based control in assistive robots: a survey | |
| CN107480697B (en) | Myoelectric gesture recognition method and system | |
| Bao et al. | Toward robust, adaptiveand reliable upper-limb motion estimation using machine learning and deep learning–A survey in myoelectric control | |
| Zhang et al. | Real-time implementation of a self-recovery EMG pattern recognition interface for artificial arms | |
| Chakraborty et al. | Discrete wavelet transform based data representation in deep neural network for gait abnormality detection | |
| EP2528550A2 (en) | Systems and methods for providing a neural-machine interface for artificial legs | |
| Fatayer et al. | sEMG-based gesture recognition using deep learning from noisy labels | |
| Wu et al. | sEMG measurement position and feature optimization strategy for gesture recognition based on ANOVA and neural networks | |
| Hamedi et al. | Facial gesture recognition using two-channel bio-sensors configuration and fuzzy classifier: A pilot study | |
| Jo et al. | Real-time hand gesture classification using crnn with scale average wavelet transform | |
| El-Attar et al. | Hybrid DWT-FFT Features for Detecting Freezing of Gait in Parkinson's Disease | |
| Zeng et al. | Feature fusion of sEMG and ultrasound signals in hand gesture recognition | |
| Attenberger et al. | Modeling and visualization of classification-based control schemes for upper limb prostheses | |
| Chang et al. | A hierarchical hand motions recognition method based on IMU and sEMG sensors | |
| CN111783719A (en) | Myoelectric control method and device | |
| Arteaga et al. | EMG-based adaptive trajectory generation for an exoskeleton model during hand rehabilitation exercises | |
| Kumar et al. | A critical review on hand gesture recognition using semg: Challenges, application, process and techniques | |
| Ison et al. | Beyond user-specificity for emg decoding using multiresolution muscle synergy analysis | |
| AlOmari et al. | Novel hybrid soft computing pattern recognition system SVM–GAPSO for classification of eight different hand motions | |
| KR102603983B1 (en) | Deep learning based system and method for recognizing behavior type using emg signal | |
| Wang et al. | Multi-finger myoelectric signals for controlling a virtual robotic prosthetic hand | |
| Sheng et al. | A hand gesture recognition using single-channel electrodes based on artificial neural network | |
| Bano et al. | Prediction of Covid-19 and post Covid-19 patients with reduced feature extraction using Machine Learning Techniques | |
| Zadok et al. | Towards predicting fine finger motions from ultrasound images via kinematic representation | |
| Bao et al. | LSTM-AE for domain shift quantification in cross-day upper-limb motion estimation using surface electromyography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |