KR101930942B1 - Sign language recognition system and method - Google Patents

Abstract

An object of the present invention is to provide a sign language recognition system capable of signal processing to extract a muscle activity section of very small motion such as finger motion, and a method thereof. The sign language recognition system comprises: a receiving unit for receiving an electromyogram signal and an inertia signal of a user from a sensor measurement device worn on the user′s arm; an extracting unit for extracting a muscle activity section from the electromyogram signal and extracting a motion section from the inertia signal; a calculating unit for calculating an electromyogram characteristic vector by performing signal processing on the muscle activity section and calculating an inertia characteristic vector by performing signal processing on the motion section; a hand shape code determination unit for determining a first hand shape code among a plurality of hand shape codes using the electromyogram characteristic vector; a motion code determination unit for determining a first motion code among a plurality of motion codes using the inertia characteristic vector; and an output unit for outputting an integrated code including the first hand shape code and the first motion code as the user′s sign language motion code.

Description

수화 인식 시스템 및 방법{SIGN LANGUAGE RECOGNITION SYSTEM AND METHOD}Technical Field [0001] The present invention relates to a sign recognition system and method,

본원은 수화 인식 시스템 및 방법에 관한 것이다.The present invention relates to a sign language recognition system and method.

농아인들은 일상생활 동안 수화 및 지화 동작을 교육받지 못한 일반인에게 의사 전달하는 것이 제한적이기 때문에 수화 및 지화 동작을 해석하고 의미를 전달해주는 수화 인식 시스템 및 지화 인식 시스템 개발이 필요하다.Deaf people need to develop a sign recognition system and an intelligent recognition system that interpret sign language and artifacts and communicate their meaning, because it is limited to communicate to ordinary people who have not been trained in sign language and artifacts during their daily lives.

종래의 수화 인식 시스템 및 지화 인식 시스템은 영상 처리, 수화 장갑, 센서 등을 이용하여 기능면으로는 우수하나 사용 방법이 어렵거나 불편한 문제점이 있고, Conventional handwriting recognition systems and geolocation recognition systems are excellent in terms of function using image processing, hydration gloves and sensors, but they are difficult or inconvenient to use,

현재까지 한글 수화사전에는 존재하는 약 15,000개 이상의 단어를 단 한 가지의 신호패턴 분류기로 분류하는 것은 한계가 있는 문제점이 있다..So far, there has been a problem in classifying more than 15,000 words existing in Hangul sign language dictionary into only one signal pattern classifier.

또한, 최근에는 생체 신호 및 동작 신호 패턴을 분석하는 기술이 제안된 바 있으나, 전문인이 아닌 사람이 특정 전극 위치를 일정하게 착용하는 것이 어렵고, 손가락 움직임과 같이 미세한 신호는 기존의 신호처리 방식으로 근활성 구간을 추출하는 데에 정확도가 떨어지는 문제점이 있다.In recent years, techniques for analyzing a biological signal and an operation signal pattern have been proposed. However, it is difficult for a person other than a specialist to wear a specific electrode position uniformly, and a minute signal, such as a finger motion, There is a problem in that the accuracy of extracting the active section is lowered.

종래의 수화 인식 알고리즘은 실험 지원자들로부터 다양한 수화 동작의 신호를 일일이 계측하여 생체 신호 데이터 베이스를 구축하였으나, 수많은 결과 값을 분류하기 힘든 알고리즘 구성일 뿐만 아니라, 종래의 수화 인식 시스템으로는 모든 수화 동작 신호를 데이터베이스화하는 것이 마땅치 않은 설정이다.In the conventional sign language recognition algorithm, various sign language signals have been constructed by measuring various sign language signals from experiment applicants. However, not only is it an algorithm configuration that can not classify a large number of result values, Setting the database to a database is an unacceptable setting.

본원의 배경이 되는 기술은 한국공개특허공보 제2015-0077684호 (공개일: 2015.07.08) 개시되어 있다.The background technology of the present application is disclosed in Korean Patent Laid-Open Publication No. 2015-0077684 (published on July 20, 2015).

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 손가락 동작과 같이 매우 작은 동작의 근활성 구간을 추출할 수 있는 신호처리가 가능한 수화 인식 시스템 및 방법을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a sign language recognition system and method capable of signal processing capable of extracting a muscle active section of a very small operation such as a finger operation.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 수화 동작 신호를 계측하여 결과 값을 분류하는 알고리즘 구성을 가지는 수화 인식 시스템 및 방법을 제공하는 것을 목적으로 한다.It is an object of the present invention to provide a sign language recognition system and method having an algorithm configuration for measuring a sign language operation signal and sorting result values.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들도 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.It should be understood, however, that the technical scope of the embodiments of the present invention is not limited to the above-described technical problems, and other technical problems may exist.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 사용자의 팔 부위에 착용된 센서 측정 기기로부터 상기 사용자의 근전도 신호 및 관성 신호를 수신하는 수신부, 상기 근전도 신호에서 근활성 구간을 추출하고, 상기 관성 신호에서 움직임 구간을 추출하는 추출부, 상기 근활성 구간에 신호처리를 수행함으로써 근전도 특성 벡터를 산출하고, 상기 움직임 구간에 신호처리를 수행함으로써 관성 특성 벡터를 산출하는 산출부, 상기 근전도 특성 벡터를 이용하여 복수의 손 모양 코드 중 제 1 손 모양 코드를 결정하는 손 모양 코드 결정부, 상기 관성 특성 벡터를 이용하여 복수의 움직임 코드 중 제 1 움직임 코드를 결정하는 움직임 코드 결정부 및 상기 제1 손 모양 코드와 상기 제 1 움직임 코드를 포함하는 통합 코드를 상기 사용자의 수화 동작 코드로서 출력하는 출력부를 포함할 수 있다.According to another aspect of the present invention, there is provided a method for measuring an EMG signal, comprising: receiving a user's EMG signal and an EMG signal from a sensor measuring instrument worn on a user's arm; extracting a muscle active period from the EMG signal; A calculating unit for calculating an EMG characteristic vector by performing signal processing on the muscle active period and calculating an inertia characteristic vector by performing signal processing on the motion interval, A hand code determination unit for determining a first hand code among the plurality of hand code, a motion code determination unit for determining a first motion code among the plurality of motion codes using the inertia characteristic vector, Code and an integrated code including the first motion code, And an output unit for outputting the output signal.

또한, 상기 수신부가 상기 사용자의 제 2 근전도 신호 및 제 2 관성 신호를 수신하는 경우, 상기 출력부는 상기 제 1 손 모양 코드 및 제 2 움직임 코드를 포함하는 제 2 통합 코드를 상기 사용자의 제 2 수화 동작 코드로서 출력할 수 있다.In addition, when the receiver receives the second EMF signal and the second inertia signal of the user, the output unit outputs a second integrated code including the first hand code and the second motion code to the second hand- Can be output as an operation code.

또한, 상기 손 모양 코드 결정부는, 근활성 구간을 제 1 내지 제 3 근활성 구간으로 구분하고, 상기 근전도 특성 벡터를 이용하여 제 1 근활성 구간에 대응하는 제 1 전기 손 모양 코드, 제 2 근활성 구간에 대응하는 제 1 중기 손 모양 코드 및 제 3 근활성 구간에 대응하는 제 1 말기 손 모양 코드를 결정할 수 있다.The hand code determining unit may be configured to classify a muscle activity section into first to third muscle active sections, to generate a first electric hand code corresponding to the first muscle active section, The first middle hand code corresponding to the active section and the first terminal hand code corresponding to the third muscle active section can be determined.

또한, 상기 제 1 근활성 구간은 전체 근활성 구간의 전체 시간 간격 내에서 상기 전체 시간 간격의 시작 시점부터 상기 전체 시간 간격의 25%인 제 1 시점까지의 구간이되, 상기 제 2 근활성 구간은 상기 전체 시간 간격 내에서 상기 전체 시간 간격의 20%인 제 2 시점부터 상기 전체 시간 간격의 80%인 제 3 시점까지의 구간이되, 상기 제 3 근활성 구간은 상기 전체 시간 간격 내에서 상기 전체 시간 간격의 75%인 제 4 시점부터 상기 전체 시간 간격의 종료 시점까지의 구간일 수 있다.Also, the first muscle active section may be a section from a start time of the entire time interval to a first time point of 25% of the total time interval within the entire time interval of the entire muscle activity section, Is a section from a second time point which is 20% of the total time interval within the entire time interval to a third time point which is 80% of the total time interval, And may be a period from the fourth time point of 75% of the entire time interval to the end of the entire time interval.

또한, 상기 손 모양 코드 및 상기 움직임 코드는 4 단위의 2진 코드일 수 있다. In addition, the hand code and the motion code may be binary codes of four units.

또한, 상기 움직임 코드 결정부는, 움직임의 방향에 대응하는 제 1 움직임 방향 코드 및 움직임의 궤적에 대응하는 제 1 움직임 궤적 코드를 결정할 수 있다.The motion code determination unit may determine a first motion direction code corresponding to the direction of motion and a first motion locus code corresponding to the motion locus.

또한, 상기 움직임 코드 결정부는, 상기 움직임 구간을 시작 움직임 방향 구간, 제 1 움직임 궤적 구간, 제 2 움직임 궤적 구간, 제 3 움직임 궤적 구간 및 종료 움직임 방향 구간으로 구분하고, 상기 관성 특성 벡터를 이용하여 시작 움직임 방향 구간에 대응하는 제 1 움직임 시작 방향 코드를 결정하고, 제 1 움직임 궤적 구간에 대응하는 제 1 움직임 초기 궤적 코드를 결정하고, 제 2 움직임 궤적 구간에 대응하는 제 1 움직임 중기 궤적 코드를 결정하고, 제 3 움직임 궤적 구간에 대응하는 제 1 움직임 말기 궤적 코드를 결정하고, 종료 움직임 방향 구간에 대응하는 제 1 움직임 종료 방향 코드를 결정할 수 있다.The motion code determination unit may classify the motion interval into a start motion direction section, a first motion trajectory section, a second motion trajectory section, a third motion trajectory section, and an end motion direction section, Determining a first motion start locus code corresponding to the first motion locus region, determining a first motion locus code corresponding to the first motion locus region, determining a first motion locus code corresponding to the first motion locus region, Determine a first motion late trajectory code corresponding to the third motion trajectory section, and determine a first motion end direction code corresponding to the end motion direction section.

또한, 복수 사용자의 복수의 근활성 구간에 기초하여 복수의 손 모양 코드를 그룹화하는 손 모양 코드 그룹화부 및 복수 사용자의 복수의 움직임 구간에 기초하여 복수의 움직임 코드를 그룹화하는 움직임 코드 그룹화부를 더 포함하되, 상기 손 모양 코드 결정부는 상기 복수의 손 모양 코드의 그룹화 결과에 기초하여 상기 제 1 손 모양 코드를 결정하되, 상기 움직임 코드 결정부는 상기 복수의 움직임 코드의 그룹화 결과에 기초하여 상기 제 1 움직임 코드를 결정할 수 있다.It further includes a hand code grouping unit for grouping a plurality of hand code based on a plurality of muscle active periods of a plurality of users and a motion code grouping unit for grouping a plurality of motion codes based on a plurality of motion intervals of a plurality of users Wherein the hand code determination unit determines the first hand code based on a grouping result of the plurality of hand codes, wherein the motion code determination unit determines the first hand code based on the grouping result of the plurality of hand codes, The code can be determined.

또한, 상기 손 모양 코드 그룹화부 및 움직임 코드 그룹화부는, K-means 알고리즘을 이용한 클러스트 분석 기법을 이용하여 복수의 손 모양 코드 및 복수의 움직임 코드를 그룹화할 수 있다.The hand code grouping unit and the motion code grouping unit may group a plurality of hand codes and a plurality of motion codes using a cluster analysis technique using a K-means algorithm.

또한, 상기 손 모양 코드 결정부는 상기 근전도 특성 벡터 및 상기 관성 특성 벡터 중 적어도 하나 이상을 이용하여 상기 제 1 손 모양 코드를 결정하되, 상기 움직임 코드 결정부는, 상기 근전도 특성 벡터 및 상기 관성 특성 벡터 중 적어도 하나 이상을 이용하여 상기 제 1 움직임 코드를 결정할 수 있다. The hand code determining unit may determine the first hand code using at least one of the electromyogram characteristic vector and the inertia characteristic vector, wherein the motion code determination unit determines the hand code code based on at least one of the electromyogram characteristic vector and the inertia characteristic vector The first motion code can be determined using at least one or more of the first motion codes.

또한, 상기 제 1손 모양 코드는 상기 사용자의 제 1 손 모양 컴포넌트에 대응하되, 상기 제 1 움직임 코드는 상기 사용자의 제 1 움직임 컴포넌트에 대응할 수 있다.In addition, the first hand code corresponds to a first hand component of the user, wherein the first motion code may correspond to a first motion component of the user.

또한, 상기 수신부는 상기 센서 측정 기기에 포함된 복수의 전극 채널을 통해 상기 근전도 신호를 수신하고, 상기 센서 측정 기기에 포함된 관성 측정 유닛을 통해 상기 관성 신호를 수신할 수 있다.The receiving unit may receive the EMG signal through a plurality of electrode channels included in the sensor measuring device and receive the inertial signal through an inertial measuring unit included in the sensor measuring device.

또한, 상기 추출부는, 상기 근전도 신호에 TKEO(Teager-Kaiser Energy Operator) 기법을 적용함으로써 상기 근활성 구간을 추출하고, 상기 관성 신호에 TKEO(Teager-Kaiser Energy Operator) 기법을 적용함으로써 상기 움직임 구간을 추출할 수 있다.Also, the extractor may extract the muscle activity section by applying Teaker-Kaiser Energy Operator (TKEO) technique to the EMG signal, and apply Teaker-Kaiser Energy Operator (TKEO) technique to the inertia signal, Can be extracted.

또한, 상기 추출부는 상기 근전도 신호에서 미리 설정된 근활성 역치값 이상인 구간을 상기 근활성 구간으로서 추출하고, 상기 관성 신호에서 미리 설정된 움직임 역치값 이상인 구간을 상기 움직임 구간으로서 추출할 수 있다.The extraction unit may extract an interval that is equal to or greater than a preset muscle activity threshold value in the EMG signal as the muscle activity interval and extract an interval that is equal to or greater than a preset motion threshold value in the inertia signal as the motion interval.

상기 산출부는, 상기 근전도 신호를 이용하여 상기 근전도 특성 벡터를 산출하고, 상기 근전도 특성 벡터는 상기 근전도 신호의 절댓값, 상기 근전도 신호의 실효 출력 값, 상기 근전도 신호의 변화값 및 상기 근전도 신호의 파장의 길이를 포함할 수 있다.Wherein the calculating unit calculates the EMG characteristic vector using the EMG signal, and the EMG characteristic vector is a sum of an absolute value of the EMG signal, an effective output value of the EMG signal, a change value of the EMG signal, Length.

또한, 상기 산출부는 상기 관성 신호를 이용하여 상기 관성 측정 유닛의 오리엔테이션(Orientation) 초기값 및 상기 관성 신호의 실시간 수신에 따른 상기 관성 측정 유닛의 오리엔테이션 값을 계산하고, 상기 오리엔테이션 초기값에 기초하여 결정된 기준 벡터 및 상기 오리엔테이션 값에 기초하여 결정된 이동 벡터를 이용하여 상기 관성 측정 유닛의 롤 각도, 피치 각도 및 요 각도를 산출하여 관성 특성 벡터를 산출할 수 있다.The calculating unit may calculate an orientation initial value of the inertia measurement unit and an orientation value of the inertia measurement unit according to real-time reception of the inertia signal using the inertia signal, and determine an orientation value of the inertia measurement unit based on the orientation initial value The inertia characteristic vector can be calculated by calculating the roll angle, pitch angle and yaw angle of the inertia measurement unit using the motion vector determined based on the reference vector and the orientation value.

또한, 상기 근전도 특성 벡터 및 상기 관성 특성 벡터는 시간 데이터를 정규화시켜 리샘플링될 수 있다.In addition, the electromyogram characteristic vector and the inertia characteristic vector may be resampled by normalizing the time data.

또한, 상기 센서 측정 기기는 상기 팔 부위를 둘러싸도록 착용되는 암밴드, 상기 암밴드의 내주를 따라 상기 팔 부위에 대향하도록 간격을 두고 배치되는 복수의 전극 및 상기 센서 측정 기기의 일영역에 형성되는 관성 측정 유닛을 포함하되, 상기 관성 측정 유닛은 3축 가속도 센서, 3축 각속도 센서 및 3축 지자기 센서를 포함할 수 있다.The sensor measuring device may further include an armband to be worn around the arms, a plurality of electrodes spaced apart from each other along the inner circumference of the armband so as to face the arms, and an inertial measurement Unit, wherein the inertial measurement unit may include a three-axis acceleration sensor, a three-axis angular velocity sensor, and a three-axis geomagnetic sensor.

한편, 본원의 일 실시예에 따른 수화 인식 방법은 사용자의 팔 부위에 착용된 센서 측정 기기로부터 상기 사용자의 근전도 신호 및 관성 신호를 수신하는 수신하는 단계, 상기 근전도 신호에서 근활성 구간을 추출하고, 상기 관성 신호에서 움직임 구간을 추출하는 추출하는 단계, 상기 근활성 구간에 신호처리를 수행함으로써 근전도 특성 벡터를 산출하고, 상기 움직임 구간에 신호처리를 수행함으로써 관성 특성 벡터를 산출하는 산출하는 단계, 상기 근전도 특성 벡터를 이용하여 복수의 손 모양 코드 중 제 1 손 모양 코드를 결정하는 손 모양 코드를 결정하는 단계, 상기 관성 특성 벡터를 이용하여 복수의 움직임 코드 중 제 1 움직임 코드를 결정하는 움직임 코드를 결정하는 단계 및 상기 제1 손 모양 코드와 상기 제 1움직임 코드를 포함하는 통합 코드를 상기 사용자의 수화 동작 코드로서 출력하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a handwriting recognition method including receiving a user's EMG signal and an inertia signal from a sensor measuring instrument worn on a user's arm, extracting a muscle activity interval from the EMG signal, Calculating an EMF characteristic vector by performing signal processing on the muscle activity section and calculating an inertia characteristic vector by performing signal processing on the motion section; Determining a hand code that determines a first hand code among a plurality of hand code using an electromyogram characteristic vector, and a motion code determining a first motion code among a plurality of motion codes using the inertia characteristic vector Comprising: a first hand code and a first motion code; And outputting the signal as the user's handwriting operation code.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.The above-described task solution is merely exemplary and should not be construed as limiting the present disclosure. In addition to the exemplary embodiments described above, there may be additional embodiments in the drawings and the detailed description of the invention.

전술한 본원의 과제 해결 수단에 의하면, 손가락 동작과 같이 매우 작은 동작에서의 근활성 구간을 추출할 수 있는 TKEO(Teager-Kaiser Energy Operator) 기법을 이용하여 낮은 신호대잡음비(SNR, signal to noise ratio)를 갖는 손가락 움직임의 근활성을 검출할 수 있는 효과가 있다.According to the present invention, a low signal-to-noise ratio (SNR) can be obtained by using a teaser-Kaiser energy operator (TKEO) technique capable of extracting a muscle active section in a very small operation, It is possible to detect the muscle activity of the finger movement.

전술한 본원의 과제 해결 수단에 의하면, 손 모양 코드 그룹화부 및 움직임 코드 그룹화부가 근활성 구간 및 관성 구간에 기초하여 손 모양 코드 및 움직임 코드를 그룹화하고, 손 모양 코드 결정부 및 움직임 코드 결정부가 근활성 특성 벡터 및 관성 특성 벡터를 분류하여 그룹 각각에 정의된 손 모양 코드 및 움직임 코드를 결정하고, 출력부가 손 모양 코드 및 움직임 코드를 포함하는 통합 코드를 출력하는 시스템으로 수화 동작의 신호 결과 값을 수월하게 분류할 수 있는 효과가 있다.The hand code grouping unit and the motion code grouping unit group the hand code and the motion code on the basis of the muscle active section and the inertia section, A hand code and a motion code defined in each group are classified by classifying the activity characteristic vector and the inertia characteristic vector and the integrated code outputting unit outputs the hand code and the motion code, There is an effect that it can be classified easily.

도 1은 본원의 일 실시예에 따른 수화 인식 시스템의 전체 구성을 개략적으로 나타낸 도면이다.
도 2는 본원의 일 실시예에 따른 센서 측정 기기를 나타낸 도면이다.
도 3은 본원의 일 실시예에 따른 수화 인식 시스템에서 이용되는 TKEO 기법의 예를 나타낸 도면이다.
도 4는 본원의 일 실시예에 따른 수화 인식 시스템에서 근활성 구간 및 움직임 구간의 검출 예를 나타낸 도면이다.
도 5는 본원의 일 실시예에 따른 제 1 내지 3 근활성 구간을 나타낸 도면이다.
도 6은 본원의 일 실시예에 따른 움직임 방향의 예를 나타낸 도면이다.
도 7은 본원의 일 실시예에 따른 움직임 궤적의 예를 나타낸 도면이다.
도 8은 본원의 일 실시예에 따른 K-mesns 알고리즘을 이용한 데이터 클러스터링의 예를 나타낸 도면이다.
도 9는 본원의 일 실시예에 따른 복수의 손 모양 코드 및 움직임 코드를 그룹화하는 과정에 대한 개략적인 흐름도이다.
도 10은 본원의 일 실시예에 출력부에서 코드를 출력하는 과정에 대한 개략적인 흐름도이다.
도 11은 본원의 일 실시예에 따른 수화 인식 시스템을 설명하기 위한 개략적인 흐름도이다.
도 12는 본원의 일 실시예에 따른 수화 인식 방법에 대한 개략적인 동작 흐름도이다.1 is a diagram schematically showing the entire configuration of a sign language recognition system according to an embodiment of the present invention.
2 is a diagram illustrating a sensor measurement apparatus according to an embodiment of the present invention.
3 is a diagram illustrating an example of a TKEO technique used in a sign recognition system according to an embodiment of the present invention.
4 is a diagram illustrating an example of detection of a muscle activity interval and a motion interval in the sign language recognition system according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating the first to third active periods according to an embodiment of the present invention; FIG.
6 is a view showing an example of a movement direction according to an embodiment of the present invention.
7 is a view showing an example of a motion locus according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating an example of data clustering using the K-mesns algorithm according to an embodiment of the present invention.
FIG. 9 is a schematic flowchart of a process of grouping a plurality of hand codes and motion codes according to an embodiment of the present invention.
10 is a schematic flowchart of a process of outputting a code in an output unit according to an embodiment of the present invention.
11 is a schematic flowchart for explaining a sign language recognition system according to an embodiment of the present invention.
12 is a schematic operation flowchart of a sign language recognition method according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. It should be understood, however, that the present invention may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In the drawings, the same reference numbers are used throughout the specification to refer to the same or like parts.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. Throughout this specification, when a part is referred to as being "connected" to another part, it is not limited to a case where it is "directly connected" but also includes the case where it is "electrically connected" do.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.It will be appreciated that throughout the specification it will be understood that when a member is located on another member "top", "top", "under", "bottom" But also the case where there is another member between the two members as well as the case where they are in contact with each other.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout this specification, when an element is referred to as "including " an element, it is understood that the element may include other elements as well, without departing from the other elements unless specifically stated otherwise.

도 1은 본원의 일 실시예에 따른 수화 인식 시스템의 전체 구성을 개략적으로 나타낸 도면이다.1 is a diagram schematically showing the entire configuration of a sign language recognition system according to an embodiment of the present invention.

도 1을 참조하면, 본원의 일 실시예에 따른 수화 인식 시스템(100)은 수신부(100), 추출부(120), 산출부(130), 손 모양 코드 결정부(140), 움직임 코드 결정부(150) 및 출력부(160)를 포함할 수 있다.1, the sign language recognition system 100 according to an embodiment of the present invention includes a receiving unit 100, an extracting unit 120, a calculating unit 130, a hand code determining unit 140, (150) and an output (160).

수신부(110)는 사용자의 팔 부위에 착용된 센서 측정 기기(10)로부터 사용자의 근전도 신호 및 관성 신호를 수신할 수 있다. 도 2를 참조하면, 근전도 신호 및 관성 신호 획득을 위해 이용되는 센서 측정 기기(10)는 사용자의 팔 부위에 착용될 수 있다.The receiving unit 110 may receive the user's EMG signal and inertial signal from the sensor measuring device 10 worn on the user's arm. Referring to FIG. 2, a sensor measuring instrument 10 used for acquiring an EMG signal and an inertial signal may be worn on a user's arm.

특히, 센서 측정 기기(10)는 손목에서 팔꿈치 사이의 부위인 하완(forearm) 부위 외에 팔꿈치에서 어깨 사이의 부분인 상완(upper arm) 부위에 착용될 수도 있다.In particular, the sensor measuring instrument 10 may be worn on the upper arm portion, which is a part between the elbow and the shoulder, in addition to the forearm portion between the wrist and the elbow.

센서 측정 기기(10)는 암밴드(11), 복수의 전극(예를 들어, 제1 전극(1), 제2 전극(2), 제3 전극(3), …) 및 관성 측정 유닛(IMU, Intertial Measurement Unit)(12)을 포함할 수 있다. 암밴드(11)는 센서 측정 기기(10)가 사용자의 신체 일부를 둘러싸도록 착용되는 밴드일 수 있다. 암밴드(11)는, 센서 측정 기기(10)가 착용되는 사용자의 신체 부위에 따라 확장 또는 수축 가능한 재질일 수 있다.The sensor measuring device 10 includes an armband 11, a plurality of electrodes (e.g., a first electrode 1, a second electrode 2, a third electrode 3, ...) and an inertial measurement unit (IMU, Intertial Measurement Unit (12). The armband 11 may be a band in which the sensor measuring device 10 is worn to surround a part of the user's body. The armband 11 may be a material that can expand or contract depending on the body part of the user to which the sensor measuring device 10 is worn.

복수의 전극(1, 2, 3, …)은 암밴드(11)의 내주를 따라 간격을 두고 인체 일부에 대향하도록 간격을 두고 배치될 수 있다. 복수의 전극(1, 2, 3, …)은 근전도 전극일 수 있다. 관성 측정 유닛(12)은 센서 측정 기기(10)의 일 영역에 형성될 수 있다. 관성 측정 유닛(12)은 3축 가속센서(accelerometer), 3축 자이로센서(gyroscope) 및 3축 지자기센서(magnetometer)를 포함할 수 있다.The plurality of electrodes 1, 2, 3, ... may be disposed at intervals so as to face a part of the human body at intervals along the inner periphery of the armband 11. The plurality of electrodes 1, 2, 3, ... may be electromyogram electrodes. The inertial measurement unit 12 may be formed in one area of the sensor measuring instrument 10. [ The inertial measurement unit 12 may include a triaxial accelerometer, a triaxial gyroscope, and a triaxial geomagnetic sensor.

또한, 센서 측정 기기(10)는 제어부(미도시)를 포함할 수 있다. 센서 측정 기기(10)는 제어부의 제어 신호에 기초하여, 복수의 전극(1, 2, 3, …)을 통해 사용자의 근전도 신호를 측정할 수 있다. 또한, 센서 측정 기기(10)는 제어부의 제어 신호에 기초하여, 관성 측정 유닛(12)을 통해 관성 신호를 수신할 수 있다. In addition, the sensor measuring instrument 10 may include a control unit (not shown). The sensor measuring instrument 10 can measure the user's electromyogram signal through the plurality of electrodes 1, 2, 3, ... based on the control signal of the controller. Further, the sensor measuring instrument 10 can receive the inertial signal through the inertial measurement unit 12 based on the control signal of the control unit.

또한, 제어부는 블루투스(Bluetooth), NFC(near field communication) 등의 무선 통신을 통해, 복수의 전극을 통해 측정된 근전도 신호 및 관성 측정 유닛(12)을 통해 측정된 관성 신호를 수화 인식 시스템(100)으로 전송할 수 있다. 이를 통해, 수화 인식 시스템(100)의 수신부(110)는 사용자의 근전도 신호 및 관성 신호를 센서 측정 기기(10)로부터 수신할 수 있다.In addition, the control unit transmits the EMG signal measured through the plurality of electrodes and the inertial signal measured through the inertial measurement unit 12 to the sign recognition system 100 (100) via wireless communication such as Bluetooth, NFC (near field communication) ). In this way, the receiving unit 110 of the sign language recognition system 100 can receive the user's EMG signal and the inertia signal from the sensor measuring instrument 10.

캘리브레이션은, 복수의 전극(1, 2, 3, …)을 통해 측정된 근전도 신호 및 관성 측정 유닛(12)을 통해 측정된 관성 신호를 대상자(즉, 사용자)의 특성(또는 스케일(scale))에 맞추어 일정한 표준으로 조정하는 과정을 의미한다. 이를 통해, 본원의 일 실시예에 따른 수화 인식 시스템(100)은 사용자의 특성을 고려하여, 센서 측정 기기(10)를 통해 측정된 근전도 신호 및 관성 신호를 보다 정확하게 분석할 수 있다.Calibration is performed by setting the characteristics (or scale) of the subject (i.e., the user) to the EMG signal measured through the plurality of electrodes 1, 2, 3, ... and the inertial signal measured through the inertial measurement unit 12. [ And the standard is adjusted to a certain standard. Accordingly, the sign language recognition system 100 according to an embodiment of the present invention can more accurately analyze the electromyogram signal and the inertia signal measured through the sensor measuring device 10 in consideration of the characteristics of the user.

본원의 일 실시예에 따른 수화 인식 시스템(100)은 수신부(110)를 통해 센서 측정 기기(10)로부터 측정되는 근전도 신호의 값을 캘리브레이션(calibration)할 수 있다.The sign language recognition system 100 according to an embodiment of the present invention can calibrate the value of the electromyogram signal measured from the sensor measuring device 10 through the receiving unit 110. [

추출부(120)는 근전도 신호에서 근활성 구간을 추출하고, 관성 신호에서 움직임 구간을 추출할 수 있다.The extracting unit 120 extracts a muscle activity period from the EMG signal and extracts a motion interval from the inertia signal.

추출부(120)는 근활성 구간을 추출하기 이전에, 수신부(110)에서 수신한 근전도 신호에 대역통과필터(band-pass filter)를 적용할 수 있다. 일예로, 추출부(120)는 획득한 근전도 신호에 10~450 Hz의 대역통과필터를 적용할 수 있다. 또한, 추출부(120)는 획득한 근전도 신호에 아날로그디지털 변환기(ADC, analog-digital converter)를 적용할 수 있다. The extraction unit 120 may apply a band-pass filter to the electromyogram signal received by the receiving unit 110 before extracting the muscle activity period. For example, the extraction unit 120 may apply a band pass filter of 10 to 450 Hz to the acquired electromyogram signal. The extraction unit 120 may apply an analog-to-digital converter (ADC) to the acquired EMG signal.

추출부(120)는 복수의 전극 채널 각각으로부터 수신된 근전도 신호에 TKEO(Teager-Kaiser Energy Operator) 기법을 적용함으로써 근활성 구간을 추출할 수 있다.The extraction unit 120 may extract a muscle activity period by applying a Teeter-Kaiser Energy Operator (TKEO) technique to the EMG signals received from each of the plurality of electrode channels.

TKEO(Teager-Kaiser Energy Operator) 기법은 손가락 동작과 같이 매우 작은 동작에서의 근활성 구간을 추출할 수 있는 신호처리 기법으로서, 낮은 신호대잡음비(SNR, signal to noise ratio)를 갖는 손가락 움직임의 근활성을 검출할 수 있다. TKEO 기법은 본원이 속하는 기술분야의 통상의 지식을 가진 자에게는 잘 알려진 기술이므로, 이하에서는 TKEO 기법 자체에 대한 설명보다는, TKEO 기법이 본원의 일 실시예에 따른 수화 인식 시스템에 적용된 예를 중심으로 설명하기로 한다.The Teaker-Kaiser Energy Operator (TKEO) technique is a signal processing technique that extracts muscle activity in very small movements such as finger movements. It uses a muscle activity of finger movements with a low signal-to-noise ratio (SNR) Can be detected. The TKEO technique is a well known technique to those skilled in the art. Therefore, rather than describing the TKEO technique itself, the TKEO technique is applied to a sign language recognition system according to an embodiment of the present invention I will explain.

도 3은 본원의 일 실시예에 따른 수화 인식 시스템에서 이용되는 TKEO 기법의 예를 나타낸 도면이다.3 is a diagram illustrating an example of a TKEO technique used in a sign recognition system according to an embodiment of the present invention.

도 3를 참조하면, 일예로, 도 3(a)는 TKEO 기법이 적용되지 않은 신호의 그래프를 나타내고, 도 3(b)는 도 3(a)의 신호에 TKEO 기법이 적용된 신호의 그래프를 나타낸다. 도 3(a)에 50Hz의 저역통과필터(Low Pass Filter)를 적용한 그래프는 도 3(a')와 같으며, 도 3(b)에 50Hz의 저역통과필터(Low Pass Filter)를 적용한 그래프는 도 3(b')와 같다. 도 3(b')의 경우, 도 3(a') 대비 신호대잡음비(SNR)가 크게 증가함으로써, 근활성 구간에서의 오검출 확률이 감소됨을 확인할 수 있다.Referring to FIG. 3, for example, FIG. 3A illustrates a graph of a signal to which the TKEO technique is not applied, and FIG. 3B illustrates a graph of a signal to which the TKEO technique is applied to the signal of FIG. 3A . 3 (a) is a graph in which a low pass filter of 50 Hz is applied, and a graph in which a low pass filter of 50 Hz is applied in FIG. 3 (b) 3 (b '). In the case of FIG. 3 (b '), it can be seen that the probability of erroneous detection in the muscle active section is reduced by increasing the SNR significantly compared to FIG. 3 (a').

추출부(120)는 근활성 구간을 추출하기 위해, 복수의 전극 채널을 통해 수신된 근전도 신호 각각에 TKEO 기법을 적용할 수 있다.The extraction unit 120 may apply the TKEO technique to each of the EMG signals received through the plurality of electrode channels in order to extract the muscle activity period.

센서 측정 기기(10)로부터 수신된 근전도 신호에 TKEO 기법을 적용하면, 하기 수학식 1과 같이 표현될 수 있다.When the TKEO technique is applied to the electromyogram signal received from the sensor measuring instrument 10, it can be expressed by the following equation (1).

[수학식 1][Equation 1]

이후, 추출부(120)는 TKEO 기법이 적용된 모든 채널(즉, 복수의 전극 채널) 각각의 데이터(근전도 신호)를 합성할 수 있으며, 이는 하기 수학식 2와 같이 표현될 수 있다.The extraction unit 120 may synthesize data (electromyogram signals) of each channel (i.e., a plurality of electrode channels) to which the TKEO technique is applied, and may be expressed by Equation (2).

[수학식 2]&Quot; (2) "

여기서,

는 채널1의 근전도 신호(EMG)를 나타내고,

는 채널2의 근전도 신호를 나타내며,

는 채널8의 근전도 신호를 나타낸다.here,

Represents the EMG signal EMG of the channel 1,

Represents an EMG signal of channel 2,

Represents an EMG signal of channel 8.

이후, 추출부(120)는 모든 채널 각각의 데이터가 합성된 합성 데이터에 대한 실효 출력(RMS) 값을 계산할 수 있다. 합성 데이터에 대한 실효 출력 값(URMS_EMG)은 하기 수학식 3과 같이 표현될 수 있다.Then, the extracting unit 120 may calculate an effective output (RMS) value for the combined data in which the data of all the channels are combined. The effective output value (URMS_EMG) for the composite data can be expressed by Equation (3) below.

[수학식 3]&Quot; (3) "

이때, N은 윈도우 폭(window width)을 나타내고, U_emg(n)은 TKEO 수식이 적용된 근전도 신호의 합성 데이터를 나타내며, URMS_EMG 는 합성된 근전도 신호(즉, 합성 데이터)의 RMS 데이터를 나타낸다.In this case, N represents the window width, U_emg (n) represents the composite data of the electromyogram signal to which the TKEO formula is applied, and URMS_EMG represents the RMS data of the synthesized electromyogram signal (i.e., synthesis data).

추출부(120)는 합성 데이터에 대한 실효 출력 값을 산출한 이후에, 근전도 신호의 절대 값을 얻는 과정인 정류(rectification) 과정을 수행할 수 있다.The extraction unit 120 may perform a rectification process, which is a process of obtaining the absolute value of the EMG signal after calculating the effective output value for the combined data.

추출부(120)는, 수신부(110)에서 수신된 근전도 신호에 대역통과필터, 저역통과필터, TKEO 기법, 정류, 합성 데이터의 실효값 출력 등을 수행함으로써, 근전도 신호를 단순화한 선형 포락선(Linear Envelope) 신호를 획득할 수 있다. 이후, 추출부(120)는 선형 포락선 신호에 기초하여, 근활성 구간을 추출할 수 있다. 근활성 구간의 추출 예는 도 4를 참조하여 보다 쉽게 이해될 수 있다.The extraction unit 120 extracts a linear envelope (Linear) from the electromyogram signal by performing a band pass filter, a low pass filter, a TKEO technique, a rectification, and an effective value output of synthesized data on the EMG signal received by the receiving unit 110. [ Envelope signal. Then, the extracting unit 120 can extract the muscle active section based on the linear envelope signal. An example of extraction of the muscle activity section can be more easily understood with reference to FIG.

도 4는 본원의 일 실시예에 따른 수화 인식 시스템에서 근활성 구간 및 움직임 구간의 검출 예를 나타낸 도면이다. 도 4(a)는 근활성 구간의 검출 예를 나타내고, 도 4(b)는 후술할 움직임 구간의 검출 예를 나타낸다.4 is a diagram illustrating an example of detection of a muscle activity interval and a motion interval in the sign language recognition system according to an embodiment of the present invention. Fig. 4 (a) shows an example of detecting a muscle active section, and Fig. 4 (b) shows an example of detecting a motion section to be described later.

우선, 근활성 구간을 검출하기 위한 역치 값(threshold value)은 사용자 입력에 의하여 미리 설정될 수 있다. 역치값은 'Baseline의 평균 + J*표준편차'로 정의될 수 있다. 이때, Baseline은 사용자가 힘을 주고 있지 않을 때 측정된 근전도 신호를 의미하고, J는 상수값을 의미한다.First, a threshold value for detecting a muscle active section may be preset by user input. The threshold value can be defined as 'Baseline average + J * standard deviation'. At this time, the baseline means an electromyogram signal measured when the user is not giving a force, and J means a constant value.

역치값은 피검자의 근육이 근활성 상태인지의 여부를 판단하기 위한 척도로서, 센서 측정 기기(10)를 통해 측정된 근전도 신호가 역치값 이상이면 근활성 on 상태로 판단하고, 근전도 신호가 역치값 미만이면 근활성 off 상태로 판단할 수 있다.The threshold value is a measure for determining whether or not the muscles of the subject are muscular active. If the measured value of the electromyogram signal is greater than or equal to the threshold value, the threshold value is determined to be the muscle active state. , It can be judged as a muscle active off state.

도 4(a)에서 a 지점은 근활성이 ON 되는 지점을 나타내고, b 지점은 근활성이 off 되는 지점을 나타낸다. 따라서, a 지점과 b 지점 사이의 구간은 근활성 구간이라 할 수 있다.In Fig. 4 (a), a point represents a point where muscle activity is ON, and a point b represents a point where muscle activity is turned off. Therefore, the section between point a and point b can be said to be the muscle active section.

추출부(120)는 수신부(110)에서 수신된 근전도 신호에서, 역치값 이상으로 상승하는 지점을 근활성 ON 지점(예를 들어, a 지점)으로 설정하고, 역치값 이하로 하강하는 지점을 근활성 OFF 지점(예를 들어, b 지점)으로 설정함으로써, 근활성 주기를 추출할 수 있다.The extracting unit 120 sets a point at which the EMG signal received by the receiving unit 110 rises above the threshold value to a muscle active ON point (for example, a point) By setting it to the active OFF point (for example, point b), the muscle activity period can be extracted.

추출부(120)는 수신부(110)에서 수신된 근전도 신호에서 근활성 구간이 검출되는 경우, 이를 사용자가 수화 동작 내지 지화 동작을 취한 것으로 판단하여, 근전도 신호의 측정을 중단시키도록 할 수 있다. 추출부(120)는 근활성 구간이 검출된 경우 수신부(110)를 비활성화 시키고, 산출부(130)를 활성화시킬 수 있다. 추출부(120)는 근활성 구간이 검출되지 않은 경우, 산출부(130)를 비활성화 시키고, 수신부(110)를 활성화시킬 수 있다. 또한, 센서 측정 기기(10)로부터의 근전도 신호 계측은 사용자 입력에 의하여 중단될 수 있다.The extraction unit 120 may determine that the user has performed the hydration operation or the gazing operation when the muscle activity interval is detected in the EMG signal received by the reception unit 110, thereby stopping the measurement of the EMG signal. The extracting unit 120 may deactivate the receiving unit 110 and activate the calculating unit 130 when a muscle active period is detected. The extraction unit 120 may deactivate the calculation unit 130 and activate the reception unit 110 when the muscle active period is not detected. In addition, the EMG signal measurement from the sensor measuring device 10 can be stopped by user input.

상기의 과정을 통해, 추출부(120)는 근전도 신호에서 미리 설정된 근활성 역치값 이상인 구간을 근활성 구간으로서 추출할 수 있다.Through the above process, the extraction unit 120 can extract, as a muscle activity period, an interval that is equal to or greater than a preset muscle activity threshold value in the EMG signal.

한편, 이하에서는 관성 신호에 기초하여 움직임 구간을 추출하는 예에 대하여 살펴보기로 한다.Hereinafter, an example of extracting a motion interval based on an inertia signal will be described.

추출부(120)는 관성 측정 유닛으로 부터 수신된 관성 신호에 TKEO(Teager-Kaiser Energy Operator) 기법을 적용함으로써 움직임 구간을 추출할 수 있다.The extraction unit 120 may extract a motion interval by applying a teaser-Kaiser energy operator (TKEO) technique to the inertial signal received from the inertial measurement unit.

추출부(120)는 관성 신호에서 움직임 구간을 추출하기 이전에, 수신부(110)에서 수신한 관성 신호에 대역통과필터(band-pass filter)를 적용할 수 있다. 일예로, 추출부(120)는 획득한 관성 신호에 5~50 Hz의 대역통과필터를 적용할 수 있다. 이를 통해 추출부(120)는 관성 측정 유닛(12)에 포함된 가속도, 각속도 및 지자기 센서의 신호 스펙트럼을 추출할 수 있다.The extractor 120 may apply a band-pass filter to the inertia signal received by the receiver 110 before extracting the motion interval from the inertial signal. For example, the extraction unit 120 may apply a band-pass filter of 5 to 50 Hz to the obtained inertia signal. The extraction unit 120 can extract the acceleration, the angular velocity, and the signal spectrum of the geomagnetic sensor included in the inertial measurement unit 12.

이후, 추출부(120)는 관성 측정 유닛(12)을 통해 획득한 관성 신호에 기초하여, 가속도 신호의 신호벡터크기(SVM, Signal Vector Magnitude)를 계산할 수 있으며, 신호벡터크기는 수학식 4와 같이 표현될 수 있다.The extraction unit 120 may calculate the signal vector magnitude (SVM) of the acceleration signal based on the inertia signal acquired through the inertia measurement unit 12, Can be expressed as.

[수학식 4]&Quot; (4) "

이후, 추출부(120)는 가속도의 SVM 신호에 TKEO 수식을 적용할 수 있으며, 이는 수학식 5와 같이 표현될 수 있다.Then, the extraction unit 120 may apply the TKEO equation to the SVM signal of the acceleration, which can be expressed as Equation (5).

[수학식 5]&Quot; (5) "

이후, 추출부(120)는 수학식 5의 실효 출력(RMS) 값을 계산할 수 있으며, 이는 수학식 6과 같이 표현될 수 있다.The extraction unit 120 may calculate the effective output (RMS) value of Equation (5), which can be expressed as Equation (6).

[수학식 6]&Quot; (6) "

이때, N은 윈도우 폭(window width)을 나타내고,

_acc(n)은 TKEO 수식이 적용된 가속도 신호를 나타내며, URMS_acc 는 TKEO 수식이 적용된 가속도 신호의 RMS 데이터를 나타낸다.At this time, N represents a window width,

_acc (n) represents the acceleration signal to which the TKEO formula is applied, and URMS_acc represents the RMS data of the acceleration signal to which the TKEO formula is applied.

이후, 추출부(120)는 TKEO 수식이 적용된 가속도 신호의 RMS 데이터에 기초하여, 관성 신호에서 사용자가 수화 동작을 취함에 따라 계측된 움직임 구간을 추출할 수 있다. 움직임 구간의 추출 예는 도 4(b)를 참조하여 보다 쉽게 이해될 수 있다.Then, the extracting unit 120 can extract the measured motion interval as the user takes the hydration operation in the inertia signal, based on the RMS data of the acceleration signal to which the TKEO formula is applied. An example of the extraction of the motion interval can be more easily understood with reference to Fig. 4 (b).

도 4(b)를 참조하면, 추출부(120)는 센서 측정 기기(10)로부터 획득된 관성 신호에서, 일정한 역치값 이상으로 상승하는 시간을 움직임 on 상태로 판단하고, 역치값 이하로 떨어지는 시간을 움직임 off 상태로 판단할 수 있다.4 (b), the extractor 120 determines that the time when the inertial signal obtained from the sensor measuring instrument 10 rises above a predetermined threshold value is a motion on state, and when the time falls below the threshold value Can be judged as a motion off state.

도 4(b)에서 a 지점은 움직임이 ON 되는 지점을 나타내고, b 지점은 움직임이 off 되는 지점을 나타낸다. 따라서, a 지점과 b 지점 사이의 구간은 움직임 구간이라 할 수 있다.In Fig. 4 (b), the point a indicates the point where the motion is ON, and the point b indicates the point where the motion is OFF. Therefore, the interval between points a and b can be called a motion interval.

추출부(120)는 수신부(110)에서 수신된 관성 신호에서, 역치값 이상으로 상승하는 지점을 움직임 ON 지점(예를 들어, a 지점)으로 설정하고, 역치값 이하로 하강하는 지점을 움직임 OFF 지점(예를 들어, b 지점)으로 설정함으로써, 움직임 주기를 추출할 수 있다.The extracting unit 120 sets a point at which the inertial signal received by the receiving unit 110 rises above the threshold value to a motion ON point (for example, a point) (For example, point b), the motion cycle can be extracted.

추출부(120)는 수신부(110)에서 수신된 관성 신호에서 움직임 구간이 검출되는 경우, 이를 사용자가 수화 동작 내지 지화 동작을 취한 것으로 판단하여, 관성 신호의 측정을 중단시키도록 할 수 있다. 추출부(120)는 움직임 구간이 검출된 경우 수신부(110)를 비활성화 시키고, 산출부(130)를 활성화시킬 수 있다. 추출부(120)는 움직임 구간이 검출되지 않은 경우, 산출부(130)를 비활성화 시키고, 수신부(110)를 활성화시킬 수 있다. 또한, 센서 측정 기기(10)로부터의 관성 신호 계측은 사용자 입력에 의하여 중단될 수 있다.The extraction unit 120 may determine that the user has performed a hydration operation or a ground operation when a motion interval is detected in the inertial signal received by the reception unit 110, and stop the measurement of the inertial signal. The extraction unit 120 may deactivate the reception unit 110 and activate the calculation unit 130 when a motion interval is detected. The extraction unit 120 may deactivate the calculation unit 130 and activate the reception unit 110 when a motion duration is not detected. In addition, inertial signal measurement from the sensor measuring instrument 10 may be interrupted by user input.

상기의 과정을 통해, 추출부(120)는 관성 신호에서 미리 설정된 움직임 역치값 이상인 구간을 움직임 구간으로서 추출할 수 있다.Through the above process, the extracting unit 120 can extract, as a motion interval, an interval that is equal to or greater than a preset motion threshold value in the inertia signal.

산출부(130)는 근활성 구간에 신호처리를 수행함으로써 근전도 특성 벡터를 산출할 수 있다. 산출부(130)는 근전도 신호에서 근활성 구간을 제외한 나머지 구간의 데이터를 제거할 수 있다.The calculating unit 130 may calculate the electromyogram characteristic vector by performing signal processing in the muscle active period. The calculating unit 130 may remove data of the remaining period excluding the muscle activity period in the EMG signal.

근전도 특성 벡터는 근전도 신호의 절댓값(MAV, Mean of absolute value), 근전도 신호의 실효 출력 값(RMS, Root mean square), 근전도 신호의 변화값(VAR, Variance) 및 근전도 신호의 파장의 길이(WL, Waveform length)를 포함할 수 있다.The EMG characteristic vector includes a mean value of MAV, an effective output value (RMS) of the EMG signal, a variation value (VAR, Variance) of the EMG signal, and a length WL of the EMG signal , ≪ / RTI > Waveform length).

산출부(130)는 근전도 신호를 이용하여 하기 수학식 7 내지 수학식 10을 통해 근전도 특성 벡터를 산출할 수 있다. The calculating unit 130 may calculate the electromyogram characteristic vector using the following equation (7) to (10) using the EMG signal.

[수학식 7]&Quot; (7) "

[수학식 8]&Quot; (8) "

[수학식 9]&Quot; (9) "

[수학식 10]&Quot; (10) "

이때, N은 윈도우 폭(window width)을 나타내고, EMS는 측정된 근전도 신호를 나타낸다.In this case, N represents the window width, and EMS represents the measured EMG signal.

도 5는 본원의 일 실시예에 따른 제 1 내지 3 근활성 구간을 나타낸 도면이다.FIG. 5 is a diagram illustrating the first to third active periods according to an embodiment of the present invention; FIG.

산출부(130)는 제 1 근활성 구간, 제 2 근활성 구간 및 제 3 근활성 구간 각각의 근전도 특성 벡터를 산출할 수 있다.The calculating unit 130 may calculate the electromyographic characteristic vector of each of the first muscle active section, the second muscle active section, and the third muscle active section.

도 5를 참조하면, 제 1 근활성 구간은 전체 근활성 구간의 전체 시간 간격 내에서 전체 시간 간격의 시작 시점부터 전체 시간 간격의 25%인 제 1 시점까지의 구간이되, 제 2 근활성 구간은 전체 시간 간격 내에서 전체 시간 간격의 20%인 제 2 시점부터 전체 시간 간격의 80%인 제 3 시점까지의 구간이되, 제 3 근활성 구간은 전체 시간 간격 내에서 전체 시간 간격의 75%인 제 4 시점부터 전체 시간 간격의 종료 시점까지의 구간일 수 있다. 여기서, 전체 시간 각격의 시작 시점은 전체 시간 간격의 1%인 시점일 수 있고, 전체 시간 간격의 종료 시점은 전체 시간 간격의 99%인 시점일 수 있다.Referring to FIG. 5, the first muscle active section is a section from the start time of the entire time interval to the first time point, which is 25% of the entire time interval, within the entire time interval of the entire muscle activity section, Is the interval from the second point of time 20% of the total time interval to the third point of time 80% of the total time interval within the total time interval, and the third active period is 75% of the total time interval within the entire time interval. And the end of the entire time interval. Here, the start time of the total time period may be 1% of the total time interval, and the end time of the total time interval may be 99% of the total time interval.

근전도 특성 벡터는 시간 데이터를 정규화(normailize)시켜 리샘플링(resampling)될 수 있다.The electromyogram characteristic vector may be resampled by normalizing the time data.

수학식 7 내지 수학식 10을 연산된 제 1 내지 3 근활성 구간의 근전도 특성 벡터는 제 1 내지 3 근활성 구간 각각 시간 데이터를 정규화(normailize)시킴으로써, 근전도 특성 벡터를 분류하기 용이하도록 리샘플링(resampling)될 수 있다. The electromyographic characteristic vectors of the first to third muscle active periods calculated from equations (7) to (10) are obtained by normalizing the time data of each of the first to third muscle active periods, thereby resampling ).

근전도 특성 벡터는 손 모양 컴포넌트를 포함할 수 있다. 산출부(130)는 제 1 내지 3 근활성 구간 각각의 해당하는 손 모양 컴포넌트를 산출할 수 있다.The EMG characteristic vector may include a hand component. The calculating unit 130 may calculate the corresponding hand component of each of the first to third active periods.

예시적으로, 손 모양 컴포넌트는 사용자의 손 모양이 5지 폄 동작, 5지 쥠 동작, 엄지 폄 동작 및 가위 동작 등을 수행하였을 때 그에 대응하는 근전도 특성 벡터를 의미할 수 있다.Illustratively, the hand component may refer to a corresponding EMG characteristic vector when a user's hand shape is subjected to a five-leg extension operation, a five-leg extension operation, a thumb extension operation, and a scissor operation.

산출부(130)는 움직임 구간에 신호처리를 수행함으로써 관성 특성 벡터를 산출할 수 있다.The calculating unit 130 may calculate the inertia characteristic vector by performing signal processing on the motion interval.

산출부(130)는 관성 신호에서 움직임 구간을 제외한 나머지 구간의 데이터를 제거할 수 있다. 예를 들어, 산출부(130)는 가속도 신호를 통해 동작이 감지된 구간을 제외한 모든 롤, 피치, 요 데이터를 제거할 수 있다.The calculating unit 130 may remove the data of the remaining interval excluding the motion interval from the inertia signal. For example, the calculating unit 130 may remove all rolls, pitches, and yaw data except for the period in which the motion is detected through the acceleration signal.

산출부(130)는 관성 신호를 이용하여 관성 측정 유닛(12)의 오리엔테이션(Orientation) 초기값 및 관성 신호의 실시간 수신에 따른 관성 측정 유닛(12)의 오리엔테이션 값을 계산할 수 있다.The calculating unit 130 may calculate an orientation initial value of the inertial measurement unit 12 and an orientation value of the inertial measurement unit 12 according to real-time reception of the inertial signal using the inertial signal.

관성 측정 유닛(12)의 오리엔테이션 초기값으로는 롤(Roll) 회전에 대응하는 롤 각도(파이,

), 피치(Pitch) 회전에 대응하는 피치 각도(쎄타,

) 및 요(Yaw) 회전에 대응하는 요 각도(프사이,

)를 포함할 수 있다. The orientation initial values of the inertia measurement unit 12 include roll angles (pi,

), A pitch angle corresponding to the pitch rotation (theta,

) And a yaw angle corresponding to the yaw rotation

).

이하에서는 수학식 11 내지 수학식 18을 통해 일예로 관성 측정 유닛(12)의 오리엔테이션 초기값을 계산하는 예를 설명하기로 한다.Hereinafter, an example of calculating the initial orientation value of the inertia measurement unit 12 through the equations (11) to (18) will be described.

산출부(130)는 관성 측정 유닛(12)의 x축의 가속도 신호, 관성 측정 유닛(12)의 y축의 가속도 신호 및 관성 측정 유닛(12)의 z축의 가속도 신호를 이용하여 관성 측정 유닛(12)의 롤 각도의 초기값 및 관성 측정 유닛(12)의 피치 각도의 초기값을 결정할 수 있다. 하기 수학식 11 및 수학식 12는 일예로 산출부(130)에 의해 롤 각도의 초기값 및 피치 각도의 초기값을 결정하는 예를 나타낸다.The calculation unit 130 calculates the inertia measurement unit 12 using the acceleration signal in the x axis of the inertia measurement unit 12, the acceleration signal in the y axis of the inertia measurement unit 12, and the acceleration signal in the z axis of the inertia measurement unit 12, The initial value of the roll angle of the inertia measurement unit 12 and the initial value of the pitch angle of the inertia measurement unit 12 can be determined. The following equations (11) and (12) show an example in which the initial value of the roll angle and the initial value of the pitch angle are determined by the calculating unit 130 as an example.

[수학식 11]&Quot; (11) "

수학식 11을 참조하면, 산출부(130)는 롤 각도인 파이(

)와 피치 각도인 쎄타(

)를 구하기 위해, 관성 측정 유닛(12)의 x축의 가속도 신호인 ax, 관성 측정 유닛(12)의 y축의 가속도 신호인 ay 및 관성 측정 유닛(12)의 z축의 가속도 신호인 az와 중력 가속도 벡터인 g를 이용할 수 있다. 이때,

는 변환행렬을 의미할 수 있으며, 이러한

는 수학식 12와 같이 나타낼 수 있다.Referring to Equation (11), the calculating unit (130)

) And the pitch angle theta (

The acceleration signal az in the x-axis of the inertia measurement unit 12, ay in the y-axis acceleration signal of the inertia measurement unit 12 and the acceleration signal z in the z-axis of the inertia measurement unit 12 and the gravitational acceleration vector G can be used. At this time,

May refer to a transformation matrix,

Can be expressed by Equation (12).

[수학식 12]&Quot; (12) "

수학식 12를 참조하면, 변환행렬인

는 기준 좌표계에서 동체 좌표계로의 변환을 나타내는 항법 좌표계를 의미할 수 있다. 수학식 12에 나타난 바와 같이, 변환행렬

는 롤 각도의 변환, 피치 각도의 변환 및 요 각도의 변환을 요소들로 가질 수 있으며, 롤 각도의 변환, 피치 각도의 변환 및 요 각도 각각은

,

,

로 표현될 수 있다.Referring to equation (12), the transformation matrix < RTI ID = 0.0 >

May refer to a navigation coordinate system that represents the transformation from the reference coordinate system to the body coordinate system. As shown in Equation (12), the transformation matrix

Can convert the roll angle, the pitch angle, and the yaw angle, respectively, and the roll angle conversion, the pitch angle conversion, and the yaw angle, respectively,

,

,

. ≪ / RTI >

수학식 11과 수학식 12를 참조하면, 산출부(130)는 x축, y축 및 z축의 3축 중 z 축이 중력 가속도 방향과 일치하여, 그 축의 값을 1 (g: 중력 가속도)로 결정하고, 나머지 두 축인 x축, y축 각각은 0으로 결정함으로써, 롤 각도인 파이(

), 피치 각도인 쎄타(

)의 값을 계산할 수 있다. 산출부(130)는 계산한 롤 각도인 파이(

), 피치 각도인 쎄타(

) 각각을 롤 각도의 초기값 및 피치 각도의 초기값으로 결정할 수 있다. 한편, 요 각도는 프사이(

)로 표현될 수 있다.Referring to Equations (11) and (12), the calculating unit 130 calculates the value of the axis of the x axis, the y axis, and the z axis among the three axes coinciding with the direction of gravity acceleration And determining the remaining two axes, x-axis and y-axis, to be 0,

), A pitch angle of theta (

) Can be calculated. The calculating unit 130 calculates the roll angle Pa

), A pitch angle of theta (

) Can be determined as the initial value of the roll angle and the initial value of the pitch angle. The yaw angle, on the other hand,

). ≪ / RTI >

산출부(130)는 관성 측정 유닛(12)의 x축의 지자계 신호, 관성 측정 유닛(12)의 y축의 지자계 신호 및 관성 측정 유닛(12)의 z축의 지자계 신호를 이용하여 관성 측정 유닛(12)의 요 각도의 초기값을 결정할 수 있다. 이하에서는, 수학식 13 내지 수학식 18을 통해, 산출부(130)에 의해 요 각도의 초기값을 결정하는 것의 일례를 설명한다.The calculation unit 130 calculates the inertia measurement unit 12 using the yaw moment signal of the x-axis of the inertia measurement unit 12, the yaw moment signal of the yaw axis of the inertia measurement unit 12, The initial value of the yaw angle of the yaw axis 12 can be determined. Hereinafter, an example of determining the initial value of the yaw angle by the calculation unit 130 through the equations (13) to (18) will be described.

수학식 13을 참조하면, 산출부(130)는 관성 측정 유닛(12)의 x축의 지자계 신호인 mx, 관성 측정 유닛(12)의 y축의 지자계 신호인 my 및 관성 측정 유닛(12)의 z축의 지자계 신호인 mz, 변환행렬

및 지구의 지자계 벡터인

를 이용하여 요 각도인 프사이(

)의 초기값을 계산할 수 있다.(13), the calculating unit 130 calculates the yaw moment signal mx of the x-axis of the inertia measurement unit 12, the y-axis earth signal my of the inertia measurement unit 12, mz, a z-axis earth signal, a transformation matrix

And the earth's earth system vector

(Y-axis angle)

) Can be calculated.

[수학식 13]&Quot; (13) "

한편,

(

)은 수학식 14와 같이 롤 각도와 피치 각도와 연관된 C1과 요 각도와 연관된 C2로 표현될 수 있으며, 수학식 11은 수학식 15 및 수학식 16으로 변환될 수 있다.Meanwhile,

(

Can be expressed as C1 associated with the roll angle and pitch angle and C2 associated with the yaw angle as shown in equation (14), and equation (11) can be transformed into equation (15) and equation (16).

[수학식 14]&Quot; (14) "

[수학식 15]&Quot; (15) "

[수학식 16]&Quot; (16) "

수학식 16에 수학식 14에 나타난 C1과 C2를 대입하면, 수학식 17 및 수학식 18이 도출된다. 산출부(130)는 수학식 18에 롤 각도인 파이(

) 및 피치 각도인 쎄타(

) 각각이 0일 때의 지자계 신호인 mx, my 및 mz와 지구의 지자계 벡터의 값인 m1, m2 및 m3를 대입하여, 요 각도의 초기값을 구할 수 있다. Substituting C1 and C2 shown in Equation (14) into Equation (16) yields Equations (17) and (18). The calculation unit 130 calculates the roll angle pie

) And pitch angle theta (

M1, m2, and m3, which are the values of the earth magnetic field vectors mx, my, and mz when the earth signals are zero, respectively, and the initial values of the yaw angle can be obtained.

[수학식 17]&Quot; (17) "

[수학식 18]&Quot; (18) "

이처럼, 산출부(130)는 수학식 11 내지 수학식 18을 통해, 관성 측정 유닛(12)의 오리엔테이션(Orientation) 초기값, 즉 관성 측정 유닛(12)의 롤 각도(파이,

) 초기값, 피치 각도(쎄타,

) 초기값 및 요 각도(프사이,

) 초기값을 계산할 수 있다. 산출부(130)는 계산된 오퍼레이션 초기값에 기초하여 기준 벡터(Vector0)를 결정할 수 있다. 기준 벡터를 결정함으로써 관성 신호에 대한 초기 캘리브레이션 수행이 완료될 수 있다.In this way, the calculation unit 130 can calculate the initial orientation of the inertia measurement unit 12, that is, the roll angle of the inertia measurement unit 12 (pi,

) Initial value, pitch angle (theta,

) The initial value and the yaw angle

) The initial value can be calculated. The calculating unit 130 can determine the reference vector (Vector0) based on the calculated operation initial value. The initial calibration for the inertial signal can be completed by determining the reference vector.

이후, 산출부(130)는 관성 측정 유닛(12)을 통해 측정된 관성 신호를 실시간으로 수신함에 따라, 관성 신호의 실시간 수신에 따른 관성 측정 유닛(12)의 오리엔테이션 값을 계산할 수 있다. 즉, 산출부(130)는 오퍼레이션 초기값을 계산한 이후 수학식 11 내지 수학식 18을 통해 관성 측정 유닛(12)의 오리엔테이션 값을 실시간으로 연산할 수 있다. 산출부(130)는 실시간으로 연산된 오리엔테이션 값을 이용하여 이동 벡터(Vectormove)를 결정할 수 있다.The calculating unit 130 may calculate the orientation value of the inertial measurement unit 12 according to the real-time reception of the inertial signal as the calculating unit 130 receives the inertial signal measured through the inertial measurement unit 12 in real time. That is, the calculation unit 130 can calculate the orientation value of the inertia measurement unit 12 in real time through Equations (11) to (18) after calculating the operation initial value. The calculating unit 130 may determine a motion vector (Vectormove) using the calculated orientation value in real time.

산출부(130)는 관성 측정 유닛(12)의 오리엔테이션 초기값에 기초하여 결정된 기준 벡터(Vector0) 및 오리엔테이션 값에 기초하여 결정된 이동 벡터(Vectormove)를 이용하여, 관성 측정 유닛(12)의 롤 각도, 피치 각도 및 요 각도를 산출할 수 있다. 보다 자세히 살펴보면 다음과 같다.The calculation unit 130 calculates the roll angle of the inertia measurement unit 12 using the motion vector Vectormove determined based on the reference vector Vector0 determined based on the orientation initial value of the inertia measurement unit 12 and the orientation value, , Pitch angle and yaw angle can be calculated. Here is a closer look.

먼저, 산출부(130)는 기준 벡터(Vector0)에서 이동 벡터(Vectormove)로 회전할 때의 쿼터니언 요소를 계산할 수 있다. 쿼터니언 요소는 수학식 19와 같이 표현될 수 있다.First, the calculator 130 may calculate a quaternion element when rotating from a reference vector (Vector0) to a motion vector (Vectormove). The quaternion element can be expressed as < EMI ID = 19.0 >

[수학식 19]&Quot; (19) "

산출부(130)는 쿼터니언 요소를 계산하기 위해, 두 벡터 사이의 내적과 외적을 이용하여 쿼터니언 요소를 연산하는 Half-Way Quaternion Solution을 적용할 수 있다.In order to calculate the quaternion element, the calculation unit 130 may apply a Half-Way Quaternion Solution that computes a quaternion element using the inner product and the outer product between the two vectors.

이에 따라, 기준 벡터(Vector0)와 이동 벡터(Vectormove) 사이에 각도 성분인 Q1은, 수학식 20과 같이, 기준 벡터(Vector0)와 이동 벡터(Vectormove)의 내적과 벡터 크기의 곱으로 유도할 수 있다.Accordingly, Q1, which is an angle component between the reference vector (Vector0) and the motion vector (Vectormove), can be derived as a product of the inner product and the vector size of the reference vector (Vector0) and the motion vector (Vectormove) have.

[수학식 20]&Quot; (20) "

또한, 회전축의 x, y, z 성분인 Q2, Q3, Q4는 기준 벡터(Vector0)와 이동 벡터(Vectormove) 사이의 x, y, z 성분 벡터 외적으로 유도할 수 있으며, 이는 수학식 21과 같이 표현될 수 있다.Q2, Q3 and Q4 which are x, y and z components of the rotation axis can be derived out of the x, y and z component vectors between the reference vector (Vector0) and the movement vector (Vectormove) Can be expressed.

[수학식 21]&Quot; (21) "

이후, 산출부(130)는 쿼터니언-오일러 변환 공식에 기초하여, 관성 측정 유닛(12)의 롤 각도, 피치 각도 및 요 각도를 연산할 수 있으며, 이는 수학식 22와 같이 표현될 수 있다.Then, the calculating unit 130 can calculate the roll angle, the pitch angle and the yaw angle of the inertia measurement unit 12 based on the quaternion-Euler transformation formula, which can be expressed as Equation (22).

[수학식 22]&Quot; (22) "

또한, 산출부(130)는 관성 측정 유닛(12)의 롤 각도, 피치 각도 및 요 각도를 산출하여 관성 특성 벡터를 산출할 수 있다. 관성 특성 벡터는 움직임 컴포넌트를 포함하고 움직임 컴포넌트는 방향 컴포넌트와 궤적 컴포넌트를 포함할 수 있다. 움직임 컴포넌트는 사용자의 움직임에 대응하는 관성 특성 벡터를 의미할 수 있다.The calculation unit 130 may calculate the inertia characteristic vector by calculating the roll angle, pitch angle, and yaw angle of the inertia measurement unit 12. [ The inertial feature vector may comprise a motion component and the motion component may comprise a direction component and a trajectory component. The motion component may refer to an inertial feature vector corresponding to the motion of the user.

또한 관성 특성 벡터는 시간을 정규화(normailize)시킴으로써, 관성 특성 벡터를 분류하기 용이하도록 리샘플링(resampling)될 수 있다.Also, the inertial feature vector may be resampled to facilitate classifying the inertial feature vector by normalizing the time.

도 6은 본원의 일 실시예에 따른 움직임 방향의 예를 나타낸 도면이고, 도 7은 본원의 일 실시예에 따른 움직임 궤적의 예를 나타낸 도면이다.FIG. 6 is a view showing an example of a movement direction according to an embodiment of the present invention, and FIG. 7 is a view showing an example of a movement locus according to an embodiment of the present invention.

예시적으로, 도 6을 참조하면, 방향 컴포넌트는 사용자의 손 바닥면이 위 방향, 및 아래 방향, 사용자의 손 가락이 가르치는 방향이 앞 방향 및 오른 방향 등을 향하고 있을 때 그에 대응하는 관성 특성 벡터를 의미할 수 있다. 방향 컴포넌트는 시작 움직임 방향 구간의 방향 컴포넌트와 종료 움직임 방향 구간의 방향 컴포넌트를 포함할 수 있다. 시작 움직임 방향 구간의 방향 컴포넌트는 움직임 구간이 시작된 직후에 나타나는 관성 신호에 대응하는 관성 특성 벡터를 의미하고, 종료 움직임 방향 구간의 방향 컴포넌트는 움직임 구간의 종료 직전에 나타나는 관성 신호에 대응하는 관성 특성 벡터를 의미할 수 있다.Illustratively, referring to Fig. 6, the directional component is defined as the direction in which the bottom of the hand of the user is in the upward and downward directions, the direction in which the user's fingers is pointing in the forward and right directions, . ≪ / RTI > The direction component may include a direction component of the start motion direction section and a direction component of the end motion direction section. The direction component of the start motion direction section means an inertia characteristic vector corresponding to the inertia signal appearing immediately after the start of the motion section and the direction component of the end motion direction section includes the inertia characteristic vector corresponding to the inertia signal appearing just before the end of the motion section . ≪ / RTI >

산출부(130)는 시작 움직임 방향 구간의 방향 컴포넌트와 종료 움직임 방향 구간의 방향 컴포넌트를 롤 각도, 피치 각도, 요 각도를 통해 산출할 수 있다.The calculating unit 130 may calculate the direction components of the direction component of the start motion direction section and the end motion direction section through the roll angle, the pitch angle, and the yaw angle.

또한, 도 7을 참조하면, 궤적 컴포넌트는 사용자의 손의 이동경로에 대응하는 컴포넌트를 나타내는 것으로, 예시적으로 양 손을 모으면서 위로 올림, 양 손 내림, 양 손을 앞으로 뻗음 등과 같은 동작을 취했을 때 그에 대응하는 관성 특성 벡터를 의미할 수 있다. 궤적 구간은 움직임 구간의 시작 직후부터 움직임 구간의 종료 직전까지의 구간일 수 있으며, 시간 순으로 제 1 움직임 궤적 구간, 제 2 움직임 궤적 구간, 제 3 움직임 궤적 구간으로 나뉘어질 수 있다. 궤적 컴포넌트는 제 1 움직임 궤적 구간, 제 2 움직임 궤적 구간, 제 3 움직임 궤적 구간에서의 제 1 움직임 궤적 구간 컴포넌트, 제 2 움직임 궤적 구간, 컴포넌트 및 제 3 움직임 궤적 구간 컴포넌트를 포함할 수 있다.7, the trajectory component represents a component corresponding to the movement path of the user's hand, for example, taking both hands up, raising both hands, moving both hands forward, etc. And the inertial characteristic vector corresponding thereto. The trajectory section may be a section from immediately after the start of the motion section to just before the end of the motion section, and may be divided into a first motion trajectory section, a second motion trajectory section, and a third motion trajectory section in chronological order. The trajectory component may include a first motion trajectory section, a second motion trajectory section, a first motion trajectory section component, a second motion trajectory section, a component, and a third motion trajectory section component in a third motion trajectory section.

산출부(130)는 추출된 움직임 구간에 오일러(Euler) 하이패스필터를 적용할 수 있다. 산출부(130)는 일예로 0.1Hz의 하이패스필터를 적용할 수 있으며, 이를 통해 롤, 피치, 요 데이터의 오프셋을 0으로 고정시킴으로써, 궤적 컴포넌트를 산출할 수 있다.The calculator 130 may apply an Euler high-pass filter to the extracted motion section. The calculating unit 130 can apply a high-pass filter of 0.1 Hz, for example, and can thereby calculate the locus component by fixing the offset of the roll, pitch, and yaw data to zero.

도 8은 본원의 일 실시예에 따른 K-mesns 알고리즘을 이용한 데이터 클러스터링의 예를 나타낸 도면이다.FIG. 8 is a diagram illustrating an example of data clustering using the K-mesns algorithm according to an embodiment of the present invention.

수화 인식 시스템(100)은 통계적으로 나타나는 복수 사용자의 복수의 근활성 구간에 기초하여 복수의 손 모양 코드를 그룹화하는 손 모양 코드 그룹화부 및 복수 사용자의 복수의 움직임 구간에 기초하여 복수의 움직임 코드를 그룹화하는 움직임 코드 그룹화부를 더 포함할 수 있다. The sign language recognition system 100 includes a hand code grouping unit for grouping a plurality of hand code based on a plurality of muscle active periods of a plurality of users statistically represented and a plurality of motion codes And a motion code grouping unit for grouping the motion codes.

손 모양 코드 그룹화부 및 움직임 코드 그룹화부는 앞서 수신부(110), 추출부(120), 산출부(130)에서 설명된 내용이 유사 또는 동일하게 적용될 수 있다.The hand code grouping unit and the motion code grouping unit may be similar or identical to those described previously in the receiving unit 110, the extracting unit 120, and the calculating unit 130.

손 모양 코드 그룹화부 및 움직임 코드 그룹화부는 수신부(110)에서 수신받은 근전도 신호 및 관성 신호로 추출부(120)에서 근활성 구간 및 움직임 구간을 추출하고, 산출부(130)에서 산출된 근전도 특성 벡터 및 관성 특허 벡터를 손 모양 코드 및 움직임 코드를 그룹화할 수 있다.The hand code grouping unit and the motion code grouping unit extract the muscle activity period and the motion period from the extracting unit 120 using the EMG signal and the inertia signal received by the receiving unit 110 and calculate the EMG characteristic vector And the inertial patent vector can be grouped into hand code and motion code.

도 8을 참조하면, 손 모양 코드 그룹화부 및 움직임 코드 그룹화부는 K-means 알고리즘을 이용한 클러스트 분석 기법을 이용하여 손 모양 코드 및 움직임 코드를 그룹화할 수 있다.Referring to FIG. 8, the hand code grouping unit and the motion code grouping unit can group the hand code and the motion code using the cluster analysis technique using the K-means algorithm.

손 모양 코드는 손 모양 컴포넌트에 대응할 수 있다.The hand code may correspond to a hand component.

손 모양 코드 그룹화부는 복수의 손 모양 컴포넌트를 분석하여 수화 동작에서 공통적으로 나타나는 근전도 신호 특성을 그룹화할 수 있다.The hand code grouping unit can analyze a plurality of hand-shaped components and group the electromyogram signal characteristics common to the sign language operations.

예시적으로, 손 모양 코드 그룹화부는 복수의 손 모양 컴포넌트를 분석하여 수화 동작에서 공통적으로 나타나는 근전도 신호의 특성을 5지 폄 동작, 5지 쥠 동작, 엄지 폄 동작 및 가위 동작 등의 그룹으로 그룹화할 수 있다.Illustratively, the hand code grouping unit analyzes a plurality of hand-shaped components and groups the characteristics of the EMG signals commonly found in the sign language operation into groups such as 5-word operation, 5-word operation, thumb operation and scissor operation .

또한, 손 모양 코드 그룹화부는 제 1 내지 제 3 근활성 구간 각각에 대한 근전도 신호에 대한 복수의 손 모양 컴포넌트를 분석하여 그룹화 할 수 있다.Also, the hand code grouping unit may analyze and group the plurality of hand shape components for the EMG signals for each of the first to third active periods.

손 모양 코드는 4단위의 2진 코드일 수 있다.The hand code can be a binary code of 4 units.

예시적으로, 손 모양 코드 그룹화부는 5지 폄 동작 그룹을 0000 0001, 5지 쥠 동작 그룹을 0000 0011, 엄지 폄 동작 그룹을 0000 0010, 및 가위 동작 그룹을 0000 0100의 이산 값으로 정의할 수 있으나, 이에만 한정되는 것은 아니다.Illustratively, the hand code grouping unit may define a dispense action group as 0000 0001, a 5 dispense action group as 0000 0011, a thumb dispense action group as 0000 0010, and a scissor action group as a discrete value of 0000 0100 , But is not limited thereto.

여기서, 이산 값으로 정의 된 0000 0001, 0000 0011, 0000 0010, 0000 0100 값은 손 모양 코드를 의미할 수 있다.Here, the values 0000 0001, 0000 0011, 0000 0010, 0000 0100 defined as discrete values may mean a hand code.

움직임 코드는 방향 컴포넌트와 궤적 컴포넌트를 포함하는 움직임 컴포넌트에 대응할 수 있다.The motion code may correspond to a motion component including a direction component and a locus component.

움직임 코드 그룹화부는 방향 컴포넌트와 궤적 컴포넌트를 포함하는 움직임 컴포넌트를 분석하여 수화 동작에서 공통적으로 나타나는 관성 신호의 특성을 그룹화할 수 있다.The motion code grouping unit may analyze the motion components including the direction component and the trajectory component to group the characteristics of the inertia signal commonly appearing in the signing operation.

예시적으로, 움직임 코드 그룹화부는 방향 컴포넌트를 분석하여 수화 동작에서 공통적으로 나타나는 관성 신호의 특성을 위 방향, 아래 방향, 앞 방향, 및 오른 방향 등의 그룹으로 그룹화할 수 있다. 여기서 방향은 사용자의 손 바닥면 또는 손가락이 향하는 방향을 의미할 수 있다. 또한, 움직임 코드 그룹화부는 움직임 시작 움직임 방향 구간의 방향 컴포넌트 및 종료 움직임 방향 구간의 방향 컴포넌트를 그룹화 할 수 있다.Illustratively, the motion code grouping unit may analyze the direction components and group the characteristics of the inertia signals common in the hydration operation into groups such as upward, downward, forward, and rightward. Here, the direction may mean the bottom surface of the user's hand or the direction in which the finger is pointing. The motion code grouping unit may group the direction components of the direction component of the motion start motion direction section and the direction component of the end motion direction section.

움직임 코드 그룹화부는 궤적 컴포넌트를 분석하여 수화 동작에서 공통적으로 나타나는 관성 신호의 특성을 양 손을 모으면서 위로 올림, 양 손 내림, 양 손을 앞으로 뻗음 등의 그룹으로 그룹화할 수 있다. 또한 움직임 코드 그룹화부는 제 1 움직임 궤적 구간의 컴포넌트, 제 2 움직임 궤적 구간의 컴포넌트 및 제 3 움직임 궤적 구간의 컴포넌트를 그룹화할 수 있다.The motion code grouping unit can analyze the trajectory components and group the characteristics of the inertia signal common to the sign language operations into groups such as raising both hands, raising both hands, and extending both hands. The motion code grouping unit may group the components of the first motion locus section, the components of the second motion locus section, and the components of the third motion locus section.

움직임 코드는 4단위의 2진 코드일 수 있다.The motion code may be four units of binary code.

예시적으로 움직임 코드 그룹화부는 위 방향 그룹을 0000 0001, 아래 방향 그룹을 0000 1000, 앞 방향 그룹을 1000 0010, 및 오른 방향 그룹을 1000 0011의 이산 값으로 정의할 수 있으며, 양 손을 모으면서 위로 올림 그룹을 0001 0000, 양 손 내림 그룹을 0010 0000, 양 손을 앞으로 뻗음 그룹을 0011 0000 의 이산 값으로 정의할 수 있으나, 이에만 한정되는 것은 아니다.Illustratively, the motion code grouping unit can define a discrete value of 0000 0001 for the up direction group, 0000 1000 for the down direction group, 1000 0010 for the forward direction group, and 1000 0011 for the right direction group, But the present invention is not limited to this, and may be defined as discrete values of 0001 0000, 000000, 000000, and 000000, respectively.

여기서, 이산 값으로 정의 된 0000 0001, 0000 1000, 1000 0010, 1000 0011, 0001 0000, 0010 0000, 0011 0000 값은 움직임 코드를 의미할 수 있다.Here, the values 0000 0001, 0000 1000, 1000 0010, 1000 0011, 0001 0000, 0010 0000, 0011 0000 defined as discrete values may mean a motion code.

도 9는 본원의 일 실시예에 따른 복수의 손 모양 코드 및 움직임 코드를 그룹화하는 과정에 대한 개략적인 흐름도이다.FIG. 9 is a schematic flowchart of a process of grouping a plurality of hand codes and motion codes according to an embodiment of the present invention.

도 9를 참고하면, 수신부(110)는 복수의 전극 채널을 통해 근전도 신호를 수신하고, 3축 가속도 센서, 3축 각속도 센서 및 3축 지자기 센서를 포함한 관성 측정 유닛(12)을 통해 관성 신호를 수신할 수 있다.9, the receiving unit 110 receives an EMG signal through a plurality of electrode channels and transmits an inertial signal through an inertial measurement unit 12 including a 3-axis acceleration sensor, a 3-axis angular velocity sensor, and a 3-axis geomagnetic sensor .

손 모양 코드 그룹화부 및 움직임 코드 그룹화부는 산출부(130)에서 근전도 신호를 수행하여 근전도 특성 벡터를 산출하고, 관성 신호를 수행하여 관성 특성 벡터를 산출할 수 있다.The hand code grouping unit and the motion code grouping unit may calculate an EMF characteristic vector by performing an EMG signal in the calculation unit 130 and may calculate an inertia characteristic vector by performing an inertial signal.

손 모양 코드 그룹화부 및 움직임 코드 그룹화부는 K-means 알고리즘을 이용한 클러스트 분석 기법을 이용하여 근전도 특성 벡터와 관성 특성 벡터를 그에 대응하는 그룹으로 그룹화하고, 그룹 각각에 고유의 손 모양 코드 및 움직임 코드를 정의할 수 있다.The hand code grouping unit and the motion code grouping unit group the electromyogram characteristic vector and the inertia characteristic vector into corresponding groups using the cluster analysis technique using the K-means algorithm, and generate hand code and motion code unique to each group Can be defined.

손 모양 코드 결정부(140)는 근전도 특성 벡터를 이용하여 복수의 손 모양 코드 중 제 1 손 모양 코드를 결정할 수 있다. 제 1 손 모양 코드는 복수의 손 모양 코드 중 하나를 의미할 수 있다. 또한, 손 모양 코드 결정부(140)는 근전도 특성 벡터 및 관성 특성 벡터 중 적어도 하나 이상을 이용하여 상기 제 1 손 모양 코드를 결정할 수 있다.The hand shape code determination unit 140 can determine the first hand shape code among the plurality of hand shape codes using the EMG characteristic vector. The first hand code can mean one of a plurality of hand code. Also, the hand code determining unit 140 may determine the first hand code using at least one of the electromyogram characteristic vector and the inertia characteristic vector.

손 모양 코드 결정부(140)는 근활성 구간을 제 1 내지 제 3 근활성 구간으로 구분하고, 근전도 특성 벡터를 이용하여 제 1 근활성 구간에 대응하는 제 1 전기 손 모양 코드, 제 2 근활성 구간에 대응하는 제 1 중기 손 모양 코드 및 제 3 근활성 구간에 대응하는 제 1 말기 손 모양 코드를 결정할 수 있다.The hand code determination unit 140 divides the muscle activity interval into the first to third muscle activity segments, and generates the first electric hand code corresponding to the first muscle activity segment, the second muscle activity code The first middle hand code corresponding to the section and the first terminal hand code corresponding to the third muscle active section can be determined.

손 모양 코드 결정부(140)는 손 모양 컴포넌트를 제 1 내지 제 3 근활성 구간의 손 모양 컴포넌트 각각에 대응하는 5지 폄 동작, 5지 쥠 동작, 엄지 폄 동작 및 가위 동작 등의 그룹으로 분류할 수 있다.The hand code determination unit 140 classifies the hand component into groups such as a five-ply operation, a five-ply operation, a thumb operation, and a scissor operation corresponding to the hand components of the first to third active periods can do.

손 모양 코드 결정부(140)는 복수의 손 모양 코드의 그룹화 결과에 기초하여 상기 제 1 손 모양 코드를 결정할 수 있다.The hand code determination unit 140 may determine the first hand code based on the grouping result of the plurality of hand codes.

손 모양 코드 결정부(140)는 손 모양 코드 그룹화부에서 정의된 각 그룹의 이산 값을 손 모양 코드로 결정할 수 있다. 또한, 손 모양 코드 결정부(140)는 손 모양 코드 그룹화부에서 정의된 각 그룹의 이산 값에 기초하여 제 1 내지 제 3 근활성 구간에 대응하는 제 1 전기 손 모양 코드, 제 1 중기 손 모양 코드 및 제 1 말기 손 모양 코드를 결정할 수 있다.The hand code determination unit 140 may determine a discrete value of each group defined by the hand code grouping unit using a hand code. Also, the hand code determination unit 140 determines the hand code determination unit 140 based on the discrete values of the respective groups defined in the hand code grouping unit, based on the first electrical hand code corresponding to the first through third active periods, Code and a first terminal hand code.

움직임 코드 결정부(150)는 관성 특성 벡터를 이용하여 복수의 움직임 코드 중 제 1 움직임 코드를 결정할 수 있다. 제 1 움직임 코드는 복수의 움직임 코드 중 하나를 의미할 수 있다. 움직임 코드 결정부(150)는 근전도 특성 벡터 및 상기 관성 특성 벡터 중 적어도 하나 이상을 이용하여 제 1 움직임 코드를 결정할 수 있다.The motion code determining unit 150 may determine the first motion code among the plurality of motion codes using the inertia characteristic vector. The first motion code may mean one of a plurality of motion codes. The motion code determining unit 150 may determine the first motion code using at least one of the electromyogram characteristic vector and the inertia characteristic vector.

움직임 코드 결정부(150)는 움직임의 방향에 대응하는 제 1 움직임 방향 코드 및 움직임의 궤적에 대응하는 제 1 움직임 궤적 코드를 결정할 수 있다.The motion code determination unit 150 may determine a first motion direction code corresponding to the direction of motion and a first motion locus code corresponding to the motion locus.

움직임 코드 결정부(150)는 움직임 구간을 시작 움직임 방향 구간, 제 1 움직임 궤적 구간, 제 2 움직임 궤적 구간, 제 3 움직임 궤적 구간 및 종료 움직임 방향 구간으로 구분하고, 관성 특성 벡터를 이용하여 시작 움직임 방향 구간에 대응하는 제 1 움직임 시작 방향 코드를 결정하고, 제 1 움직임 궤적 구간에 대응하는 제 1 움직임 초기 궤적 코드를 결정하고, 제 2 움직임 궤적 구간에 대응하는 제 1 움직임 중기 궤적 코드를 결정하고, 제 3 움직임 궤적 구간에 대응하는 제 1 움직임 말기 궤적 코드를 결정하고, 종료 움직임 방향 구간에 대응하는 제 1 움직임 종료 방향 코드를 결정할 수 있다.The motion code determining unit 150 divides a motion interval into a start motion direction section, a first motion trajectory section, a second motion trajectory section, a third motion trajectory section, and an end motion direction section, Determines a first motion start locus code corresponding to the first motion locus section, determines a first motion center locus code corresponding to the second motion locus section, , A first motion late trajectory code corresponding to the third motion trajectory section may be determined and a first motion end direction code corresponding to the end motion direction section may be determined.

움직임 코드 결정부(150)는 방향 컴포넌트를 시작 움직임 방향 구간의 방향 컴포넌트 및 종료 움직임 방향 구간의 방향 컴포넌트에 대응하는 위 방향, 아래 방향, 앞 방향, 및 오른 방향 등의 그룹으로 분류할 수 있으며, 궤적 컴포넌트를 제 1 움직임 궤적 구간의 컴포넌트, 제 2 움직임 궤적 구간의 컴포넌트 및 제 3 움직임 궤적 구간의 컴포넌트에 대응하는 양 손을 모으면서 위로 올림, 양 손 내림, 양 손을 앞으로 뻗음 등의 그룹으로 분류할 수 있다.The motion code determination unit 150 may classify the direction component into groups such as upward direction, downward direction, forward direction, and rightward direction corresponding to the direction component of the direction component of the start motion direction section and the end motion direction section, The trajectory component is grouped into a component of the first motion trajectory section, a component of the second motion trajectory section, and a component of the third motion trajectory section, such as raising both hands, raising both hands, and forwarding both hands Can be classified.

움직임 코드 결정부(150)는 복수의 움직임 코드의 그룹화 결과에 기초하여 상기 제 1 움직임 코드를 결정할 수 있다.The motion code determination unit 150 may determine the first motion code based on a grouping result of a plurality of motion codes.

움직임 코드 결정부(150)는 움직임 코드 그룹화부에서 정의된 각 그룹의 이산 값을 움직임 모양 코드로 결정할 수 있다. 또한, 움직임 모양 코드 결정부(150)는 움직임 모양 코드 그룹화부에서 정의된 각 그룹의 이산 값에 기초하여 시작 움직임 방향 구간에 대응하는 제 1 움직임 시작 방향 코드를 결정하고, 제 1 움직임 궤적 구간에 대응하는 제 1 움직임 초기 궤적 코드를 결정하고, 제 2 움직임 궤적 구간에 대응하는 제 1 움직임 중기 궤적 코드를 결정하고, 제 3 움직임 궤적 구간에 대응하는 제 1 움직임 말기 궤적 코드를 결정할 수 있다.The motion-code determining unit 150 may determine a discrete value of each group defined in the motion-code grouping unit as a motion-shape code. In addition, the motion shape code determining unit 150 determines a first motion start direction code corresponding to the start motion direction section based on the discrete values of each group defined in the motion shape code grouping unit, Determine a corresponding first motion initial trajectory code, determine a first motion intermediate trajectory code corresponding to the second motion trajectory interval, and determine a first motion trajectory code corresponding to the third motion trajectory interval.

손 모양 코드 결정부(140) 및 움직임 코드 결정부(150)는 인공신경망 기반의 클러스터 분류기를 통해 손 모양 컴포넌트 및 움직임 컴포넌트를 손 모양 코드 그룹화부 및 움직임 코드 그룹부에서 그룹화된 그룹으로 분류할 수 있다.The hand code determination unit 140 and the motion code determination unit 150 may classify the hand component and the motion component into a group grouped in the hand code grouping unit and the motion code group unit through the artificial neural network based cluster classifier have.

출력부(160)는 제1 손 모양 코드와 상기 제 1움직임 코드를 포함하는 통합 코드를 사용자의 수화 동작 코드로서 출력할 수 있다.The output unit 160 may output the integrated code including the first hand code and the first motion code as the user's handwritten operation code.

손 모양 코드 결정부(140) 및 움직임 코드 결정부(150)에서 결정된 제 1 손 모양 코드 및 제 1 움직임 코드를 포함하는 통합 코드를 사용자의 수화 동작 코드로서 출력할 수 있다.The hand code determining unit 140 and the motion code determining unit 150 may output the integrated code including the first hand code and the first motion code as a user's handwriting code.

도 10은 본원의 일 실시예에 출력부에서 코드를 출력하는 과정에 대한 개략적인 흐름도이다.10 is a schematic flowchart of a process of outputting a code in an output unit according to an embodiment of the present invention.

예시적으로, 도 11을 참조하면, 손 모양 코드 결정부(140)에서 손 모양 컴포넌트가 제 1 내지 제 3 근활성 구간에서 5지 폄 동작 그룹에 대응하여 제 1 전기 손 모양 코드, 제 1 중기 손 모양 코드 및 제 1 말기 손 모양 코드가 0000 0001 로 이산화 될 수 있다. 또한, 움직임 코드 결정부(150)에서 방향 컴포넌트가 시작 움직임 방향 구간에서 위 방향 그룹에 대응하여 제 1 움직임 시작 방향 코드가 0000 0001, 종료 움직임 방향 구간에서 앞 방향 그룹에 대응하여 제 2 움직임 종료 방향 코드가 1000 0010의 움직임 코드로 이산화 될 수 있으며, 궤적 컴포넌트가 제 1 움직임 궤적 구간에서 양 손을 모으면서 위로 올림 그룹에 대응하여 제 1 움직임 초기 궤적 코드가 0001 0000, 제 2움직임 궤적 구간에서 양 손 내림 그룹에 대응하여 제 1 움직임 중기 궤적 코드가 0010 0000, 제 3 움직임 궤적 구간에서 양 손을 앞으로 뻗음 그룹에 대응하여 제 1 움직임 말기 궤적 코드가 0011 0000으로 이산화 될 수 있다.Illustratively, referring to FIG. 11, in the hand shape code determination unit 140, the hand shape component is divided into a first electric hand code, a first middle hand code, The hand cord and the first terminal hand cord may be discretized to 0000 0001. In addition, in the motion code determination unit 150, the first motion start direction code corresponds to the up direction group in the start motion direction section, the second motion end direction code corresponds to the forward motion group in the end motion direction section, The code may be discretized into a motion code of 1000 0010, and the locus component may have a first movement initial locus code of 0001 0000 corresponding to the group of upward movement while collecting both hands in the first movement locus section, The first motion ending trajectory code may be discretized to 0011 0000 corresponding to the group in which the first motion intermediate trajectory code extends to both hands in the third motion trajectory interval in accordance with the hand lowering group.

출력부(160)는 손 모양 코드 결정부(140) 및 움직임 코드 결정부(150)에서 결정된 제 1 전기 손 모양 코드, 제 1 중기 손 모양 코드 및 제 1 말기 손 모양 코드, 제 1 움직임 시작 방향 코드, 제 1 움직임 초기 궤적 코드, 제 1 움직임 중기 궤적 코드, 제 1 움직임 말기 궤적 코드 및 제 1 움직임 종료 방향 코드를 순서대로 합성하여 출력할 수 있다. 예시적으로, 도 10을 참조하면, 출력부(150)는 이산화 된 손 모양 코드와 움직임 코드의 값을 합성하여 통합한 통합 코드 0000 0001 0000 0001 0000 0001 0000 0001 0001 0000 0010 0000 0011 0000 1000 0010를 단어 'Lunch'를 텍스트 또는 음성으로 출력할 수 있으나, 이에만 한정된 것은 아니다.The output unit 160 includes a first hand hand code, a first hand hand code, and a first hand hand code, which are determined by the hand code determining unit 140 and the motion code determining unit 150, Code, a first motion initial trajectory code, a first motion intermediate trajectory code, a first motion trajectory code, and a first motion end direction code in this order. Referring to FIG. 10, the output unit 150 includes an integrated code 0000 0001 0000 0001 0000 0001 0000 0001 0001 0000 0010 0000 0011 0000 1000 0010, which is obtained by synthesizing and integrating the values of the discretized hand code and the motion code The word " Lunch " can be output in text or voice, but is not limited thereto.

본원의 일 실시예에 따른 수화 인식 시스템(100)은 휴대 단말기, 스마트폰, PDA(personal digital assistant), 태블릿, 노트북, 데스크탑 PC 등에서 수행될 수 있으며, 이에 한정된 것은 아니다.The sign language recognition system 100 according to one embodiment of the present invention can be performed in a portable terminal, a smart phone, a personal digital assistant (PDA), a tablet, a notebook PC, a desktop PC, and the like, but is not limited thereto.

수신부(110)가 사용자의 제 2 근전도 신호 및 제 2 관성 신호를 수신하는 경우, 출력부(160)는 제 1 손 모양 코드 및 제 2 움직임 코드를 포함하는 제 2 통합 코드를 사용자의 제 2 수화 동작 코드로서 출력할 수 있다.When the receiving unit 110 receives the user's second EMG signal and the second inertia signal, the output unit 160 outputs the second integrated code including the first hand code and the second motion code to the user's second hand- Can be output as an operation code.

도 11은 본원의 일 실시예에 따른 수화 인식 시스템을 설명하기 위한 개략적인 흐름도이다.11 is a schematic flowchart for explaining a sign language recognition system according to an embodiment of the present invention.

도 11를 참조하면, 수신부(110)는 복수의 전극 채널을 통해 근전도 신호를 수신하고, 3축 가속도 센서, 3축 각속도 센서 및 3축 지자기 센서를 포함한 관성 측정 유닛(12)을 통해 관성 신호를 수신할 수 있다.11, the receiving unit 110 receives an EMG signal through a plurality of electrode channels and transmits an inertial signal through an inertial measurement unit 12 including a 3-axis acceleration sensor, a 3-axis angular velocity sensor, and a 3-axis geomagnetic sensor .

산출부(130)에서 근전도 신호를 수행하여 근전도 특성 벡터를 산출하고, 관성 신호를 수행하여 관성 특성 벡터를 산출할 수 있다.The calculating unit 130 may calculate an EMG characteristic vector by performing an EMG signal, and may calculate an inertia characteristic vector by performing an inertial signal.

손 모양 코드 결정부(140) 및 움직임 코드 결정부(150)는 인공신경망 기반의 클러스터 분류기를 통해 손 모양 컴포넌트 및 움직임 컴포넌트를 손 모양 코드 그룹화부 및 움직임 코드 그룹부에서 그룹화된 그룹으로 분류할 수 있다.The hand code determination unit 140 and the motion code determination unit 150 may classify the hand component and the motion component into a group grouped in the hand code grouping unit and the motion code group unit through the artificial neural network based cluster classifier have.

손 모양 코드 결정부(140) 및 움직임 코드 결정부(150)는 손 모양 코드 그룹화부 및 움직임 코드 그룹부에서 그룹화된 그룹에 대응하는 손 모양 코드 및 움직임 코드를 결정할 수 있다.The hand code determination unit 140 and the motion code determination unit 150 may determine the hand code and the motion code corresponding to the groups grouped in the hand code grouping unit and the motion code group unit.

출력부(160)는 손 모양 코드 결정부(140) 및 움직임 코드 결정부(150)에서 결정된 제 1 전기 손 모양 코드, 제 1 중기 손 모양 코드 및 제 1 말기 손 모양 코드, 제 1 움직임 시작 방향 코드, 제 1 움직임 초기 궤적 코드, 제 1 움직임 중기 궤적 코드, 제 1 움직임 말기 궤적 코드 및 제 1 움직임 종료 방향 코드를 순서대로 합성하여 출력할 수 있다.The output unit 160 includes a first hand hand code, a first hand hand code, and a first hand hand code, which are determined by the hand code determining unit 140 and the motion code determining unit 150, Code, a first motion initial trajectory code, a first motion intermediate trajectory code, a first motion trajectory code, and a first motion end direction code in this order.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.Hereinafter, the operation flow of the present invention will be briefly described based on the details described above.

도 12는 본원의 일 실시예에 따른 수화 인식 방법에 대한 개략적인 동작 흐름도이다. 도 12에 도시된 수화 인식 방법은 앞선 도 1 내지 도 11을 통해 설명된 수화 인식 시스템(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 11을 통해 수화 인식 시스템(100)에 대하여 설명된 내용은 도 12에도 적용될 수 있다.12 is a schematic operation flowchart of a sign language recognition method according to an embodiment of the present invention. The sign language recognition method shown in Fig. 12 can be performed by the sign language recognition system 100 described above with reference to Figs. Accordingly, the contents described with respect to the sign language recognition system 100 through FIGS. 1 to 11 can also be applied to FIG. 12 even if omitted from the following description.

도 12를 참조하면, 단계 S1201에서는 사용자의 팔 부위에 착용된 센서 측정 기기(10)로부터 사용자의 근전도 신호 및 관성 신호를 수신하는 수신할 수 있다.Referring to FIG. 12, in step S1201, a user's EMG signal and an inertia signal may be received from the sensor measuring device 10 worn on the user's arm.

다음으로 단계 S1202에서는 근전도 신호에서 근활성 구간을 추출하고, 관성 신호에서 움직임 구간을 추출하는 추출할 수 있다.Next, in step S1202, the muscle activity section is extracted from the EMG signal, and the motion section is extracted from the inertia signal.

다음으로 단계 S1203에서는 근활성 구간에 신호처리를 수행함으로써 근전도 특성 벡터를 산출하고, 움직임 구간에 신호처리를 수행함으로써 관성 특성 벡터를 산출하는 산출할 수 있다.Next, in step S1203, it is possible to calculate the EMF characteristic vector by performing signal processing in the muscle active section, and calculate the inertia characteristic vector by performing signal processing on the motion section.

다음으로 단계 S1204에서는 근전도 특성 벡터를 이용하여 복수의 손 모양 코드 중 제 1 손 모양 코드를 결정하는 손 모양 코드를 결정할 수 있다.Next, in step S1204, a hand code that determines the first hand code among the plurality of hand code can be determined using the electromyogram characteristic vector.

다음으로 단계 S1205에서는 관성 특성 벡터를 이용하여 복수의 움직임 코드 중 제 1 움직임 코드를 결정하는 움직임 코드를 결정할 수 있다.Next, in step S1205, the motion code for determining the first motion code among the plurality of motion codes may be determined using the inertia characteristic vector.

다음으로 단계 S1206에서는 제1 손 모양 코드와 상기 제 1움직임 코드를 포함하는 통합 코드를 사용자의 수화 동작 코드로서 출력할 수 있다.Next, in step S1206, the integrated code including the first hand code and the first motion code may be output as a user's handwritten operation code.

상술한 설명에서, 단계 S1201 내지 S1206은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S1201 to S1206 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. Also, some of the steps may be omitted as necessary, and the order between the steps may be changed.

본원의 일 실시 예에 따른 센서 착용위치 제안 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method of proposing a sensor wearing position according to one embodiment of the present invention may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

또한, 전술한 센서 착용위치 제안 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.Furthermore, the above-described sensor wearing position suggesting method can also be implemented in the form of a computer program or an application executed by a computer stored in a recording medium.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.The above-described task solution is merely exemplary and should not be construed as limiting the present disclosure. In addition to the exemplary embodiments described above, there may be additional embodiments in the drawings and the detailed description of the invention.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those of ordinary skill in the art that the foregoing description of the embodiments is for illustrative purposes and that those skilled in the art can easily modify the invention without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be interpreted as being included in the scope of the present invention.

100: 수화 인식 시스템
110: 수신부 120: 추출부
130: 산출부 140: 손 모양 코드 결정부
150: 움직임 코드 결정부 160: 출력부
10: 센서 측정 기기100: Sign Language Recognition System
110: Receiving unit 120:
130: Calculator 140: Hand code determination unit
150: motion code determination unit 160: output unit
10: Sensor measuring instrument

Claims (20)

수화 인식 시스템에 있어서,
사용자의 팔 부위에 착용된 센서 측정 기기로부터 상기 사용자의 근전도 신호 및 관성 신호를 수신하는 수신부;
상기 근전도 신호에서 근활성 구간을 추출하고, 상기 관성 신호에서 움직임 구간을 추출하는 추출부;
상기 근활성 구간에 신호처리를 수행함으로써 근전도 특성 벡터를 산출하고, 상기 움직임 구간에 신호처리를 수행함으로써 관성 특성 벡터를 산출하는 산출부;
상기 근전도 특성 벡터를 이용하여 복수의 손 모양 코드 중 제 1 손 모양 코드를 결정하는 손 모양 코드 결정부;
상기 관성 특성 벡터를 이용하여 복수의 움직임 코드 중 제 1 움직임 코드를 결정하는 움직임 코드 결정부; 및
상기 제1 손 모양 코드와 상기 제 1움직임 코드를 포함하는 통합 코드를 상기 사용자의 수화 동작 코드로서 출력하는 출력부,
를 포함하고,
상기 손 모양 코드 결정부는, 근활성 구간을 제 1 내지 제 3 근활성 구간으로 구분하고, 상기 근전도 특성 벡터를 이용하여 제 1 근활성 구간에 대응하는 제 1 전기 손 모양 코드, 제 2 근활성 구간에 대응하는 제 1 중기 손 모양 코드 및 제 3 근활성 구간에 대응하는 제 1 말기 손 모양 코드를 결정하는 것인, 수화 인식 시스템.In a sign language recognition system,
A receiving unit for receiving an EMG signal and an inertial signal of the user from a sensor measuring device worn on a user's arm;
An extracting unit extracting a muscle activity interval from the EMG signal and extracting a motion interval from the inertia signal;
A calculating unit for calculating an EMG characteristic vector by performing signal processing on the muscle active section and calculating an inertia characteristic vector by performing signal processing on the motion section;
A hand code determining unit for determining a first hand code among the plurality of hand code using the electromyogram characteristic vector;
A motion code determining unit for determining a first motion code among the plurality of motion codes using the inertia characteristic vector; And
An output unit for outputting an integrated code including the first hand code and the first motion code as the user's handwriting code,
Lt; / RTI >
The hand code determination unit may be configured to classify the muscle activity segment into first to third muscle active segments, to generate a first hand shape code corresponding to the first muscle activation segment, And a first end-of-hand code corresponding to the third muscle active period. 제1항에 있어서,
상기 수신부가 상기 사용자의 제 2 근전도 신호 및 제 2 관성 신호를 수신하는 경우, 상기 출력부는 상기 제 1 손 모양 코드 및 제 2 움직임 코드를 포함하는 제 2 통합 코드를 상기 사용자의 제 2 수화 동작 코드로서 출력하는 것인, 수화 인식 시스템.The method according to claim 1,
When the receiving unit receives the user's second electromyogram signal and the second inertia signal, the output unit outputs a second integrated code including the first hand code and the second motion code to the second hand- And outputs it as a signal. 삭제delete 제 1 항에 있어서,
상기 제 1 근활성 구간은 전체 근활성 구간의 전체 시간 간격 내에서 상기 전체 시간 간격의 시작 시점부터 상기 전체 시간 간격의 25%인 제 1 시점까지의 구간이되,
상기 제 2 근활성 구간은 상기 전체 시간 간격 내에서 상기 전체 시간 간격의 20%인 제 2 시점부터 상기 전체 시간 간격의 80%인 제 3 시점까지의 구간이되,
상기 제 3 근활성 구간은 상기 전체 시간 간격 내에서 상기 전체 시간 간격의 75%인 제 4 시점부터 상기 전체 시간 간격의 종료 시점까지의 구간인 것인, 수화 인식 시스템.The method according to claim 1,
Wherein the first muscle activity interval is a period from a start time of the entire time interval to a first time point of 25% of the total time interval within the entire time interval of the entire muscle activity interval,
Wherein the second active period is a period from a second time point of 20% of the total time interval to a third time point of 80% of the total time interval within the entire time interval,
Wherein the third active period is a period from a fourth point in time that is 75% of the total time interval to the end point of the entire time interval within the entire time interval. 제 1 항에 있어서,
상기 손 모양 코드 및 상기 움직임 코드는 4 단위의 2진 코드인 것인, 수화 인식 시스템. The method according to claim 1,
Wherein the hand code and the motion code are four binary codes. 제 1 항에 있어서,
상기 움직임 코드 결정부는, 움직임의 방향에 대응하는 제 1 움직임 방향 코드 및 움직임의 궤적에 대응하는 제 1 움직임 궤적 코드를 결정하는 것인, 수화 인식 시스템.The method according to claim 1,
Wherein the motion code determination section determines a first motion direction code corresponding to a direction of motion and a first motion locus code corresponding to a motion locus. 제 6 항에 있어서,
상기 움직임 코드 결정부는,
상기 움직임 구간을 시작 움직임 방향 구간, 제 1 움직임 궤적 구간, 제 2 움직임 궤적 구간, 제 3 움직임 궤적 구간 및 종료 움직임 방향 구간으로 구분하고, 상기 관성 특성 벡터를 이용하여 시작 움직임 방향 구간에 대응하는 제 1 움직임 시작 방향 코드를 결정하고, 제 1 움직임 궤적 구간에 대응하는 제 1 움직임 초기 궤적 코드를 결정하고, 제 2 움직임 궤적 구간에 대응하는 제 1 움직임 중기 궤적 코드를 결정하고, 제 3 움직임 궤적 구간에 대응하는 제 1 움직임 말기 궤적 코드를 결정하고, 종료 움직임 방향 구간에 대응하는 제 1 움직임 종료 방향 코드를 결정하는 것인, 수화 인식 시스템.The method according to claim 6,
Wherein the motion-
The motion section may be divided into a start motion direction section, a first motion trajectory section, a second motion trajectory section, a third motion trajectory section, and an end motion direction section, 1 motion start direction code corresponding to the first motion locus section is determined, the first motion middle locus code corresponding to the second motion locus section is determined, and the third motion locus section Determines a first motion last trajectory code corresponding to the end motion direction section, and determines a first motion end direction code corresponding to the end motion direction section. 제 1 항에 있어서,
복수 사용자의 복수의 근활성 구간에 기초하여 복수의 손 모양 코드를 그룹화하는 손 모양 코드 그룹화부; 및
복수 사용자의 복수의 움직임 구간에 기초하여 복수의 움직임 코드를 그룹화하는 움직임 코드 그룹화부를 더 포함하되,
상기 손 모양 코드 결정부는 상기 복수의 손 모양 코드의 그룹화 결과에 기초하여 상기 제 1 손 모양 코드를 결정하되,
상기 움직임 코드 결정부는 상기 복수의 움직임 코드의 그룹화 결과에 기초하여 상기 제 1 움직임 코드를 결정하는 것인, 수화 인식 시스템.The method according to claim 1,
A hand code grouping unit for grouping a plurality of hand codes based on a plurality of muscle active periods of a plurality of users; And
Further comprising a motion code grouping unit for grouping a plurality of motion codes based on a plurality of motion intervals of a plurality of users,
Wherein the hand code determination unit determines the first hand code based on the grouping result of the plurality of hand codes,
Wherein the motion code determination unit determines the first motion code based on the grouping result of the plurality of motion codes. 제8항에 있어서,
상기 손 모양 코드 그룹화부는 K-means 알고리즘을 이용한 클러스트 분석 기법을 이용하여 복수의 손 모양 코드를 그룹화하고, 움직임 코드 그룹화부는 상기 K-means 알고리즘을 이용한 클러스트 분석 기법을 이용하여 복수의 움직임 코드를 그룹화하는 것인, 수화 인식 시스템.9. The method of claim 8,
The hand code grouping unit groups a plurality of hand codes using a cluster analysis technique using a K-means algorithm, and the motion code grouping unit groups a plurality of motion codes using a cluster analysis technique using the K-means algorithm A sign recognition system. 제 1 항에 있어서,
상기 손 모양 코드 결정부는, 상기 근전도 특성 벡터 및 상기 관성 특성 벡터 중 적어도 하나 이상을 이용하여 상기 제 1 손 모양 코드를 결정하되,
상기 움직임 코드 결정부는, 상기 근전도 특성 벡터 및 상기 관성 특성 벡터 중 적어도 하나 이상을 이용하여 상기 제 1 움직임 코드를 결정하는 것인, 수화 인식 시스템.The method according to claim 1,
Wherein the hand code determining unit determines the first hand code using at least one of the electromyogram characteristic vector and the inertia characteristic vector,
Wherein the motion code determination unit determines the first motion code using at least one of the electromyogram characteristic vector and the inertia characteristic vector. 제 1 항에 있어서,
상기 제 1손 모양 코드는 상기 사용자의 제 1 손 모양 컴포넌트에 대응하되,
상기 제 1 움직임 코드는 상기 사용자의 제 1 움직임 컴포넌트에 대응하는 것인, 수화 인식 시스템.The method according to claim 1,
Wherein the first hand code corresponds to a first hand component of the user,
Wherein the first motion code corresponds to a first motion component of the user. 제1항에 있어서,
상기 수신부는,
상기 센서 측정 기기에 포함된 복수의 전극 채널을 통해 상기 근전도 신호를 수신하고,
상기 센서 측정 기기에 포함된 관성 측정 유닛을 통해 상기 관성 신호를 수신하는 것인, 수화 인식 시스템.The method according to claim 1,
The receiver may further comprise:
Receiving the EMG signal through a plurality of electrode channels included in the sensor measurement device,
And the inertial signal is received via an inertial measurement unit included in the sensor measurement device. 제1항에 있어서,
상기 추출부는,
상기 근전도 신호에 TKEO(Teager-Kaiser Energy Operator) 기법을 적용함으로써 상기 근활성 구간을 추출하고,
상기 관성 신호에 TKEO(Teager-Kaiser Energy Operator) 기법을 적용함으로써 상기 움직임 구간을 추출하는 것인, 수화 인식 시스템.The method according to claim 1,
The extracting unit extracts,
Extracting the muscle activity section by applying a teaser-Kaiser energy operator (TKEO) technique to the EMG signal,
Wherein the motion section is extracted by applying a Teaker-Kaiser Energy Operator (TKEO) technique to the inertia signal. 제1항에 있어서
상기 추출부는,
상기 근전도 신호에서 미리 설정된 근활성 역치값 이상인 구간을 상기 근활성 구간으로서 추출하고,
상기 관성 신호에서 미리 설정된 움직임 역치값 이상인 구간을 상기 움직임 구간으로서 추출하는 것인, 수화 인식 시스템.The method of claim 1, wherein
The extracting unit extracts,
Extracting, as the muscle activity period, a section that is equal to or greater than a preset muscle activity threshold value in the EMG signal,
And extracts, as the motion section, a section having a motion threshold value equal to or greater than a preset motion threshold value in the inertia signal. 제1항에 있어서,
상기 산출부는,
상기 근전도 신호를 이용하여 상기 근전도 특성 벡터를 산출하고,
상기 근전도 특성 벡터는 상기 근전도 신호의 절댓값, 상기 근전도 신호의 실효 출력 값, 상기 근전도 신호의 변화값 및 상기 근전도 신호의 파장의 길이를 포함하는 것인, 수화 인식 시스템.The method according to claim 1,
The calculating unit calculates,
Calculating the electromyogram characteristic vector using the electromyogram signal,
Wherein the electromyogram characteristic vector includes an absolute value of the electromyogram signal, an effective output value of the electromyogram signal, a change value of the electromyogram signal, and a length of a wavelength of the electromyogram signal. 제1항에 있어서,
상기 산출부는,
상기 관성 신호를 이용하여 상기 센서 측정 기기에 포함된 관성 측정 유닛의 오리엔테이션(Orientation) 초기값 및 상기 관성 신호의 실시간 수신에 따른 상기 관성 측정 유닛의 오리엔테이션 값을 계산하고,
상기 오리엔테이션 초기값에 기초하여 결정된 기준 벡터 및 상기 오리엔테이션 값에 기초하여 결정된 이동 벡터를 이용하여 상기 관성 측정 유닛의 롤 각도, 피치 각도 및 요 각도를 산출하여 관성 특성 벡터를 산출하는 것인, 수화 인식 시스템.The method according to claim 1,
The calculating unit calculates,
Calculating an orientation initial value of the inertia measurement unit included in the sensor measurement device using the inertia signal and an orientation value of the inertia measurement unit according to real-time reception of the inertia signal,
Pitch angle and yaw angle of the inertia measurement unit are calculated using the reference vector determined based on the orientation initial value and the motion vector determined based on the orientation value to calculate the inertia characteristic vector, system. 제1항에 있어서,
상기 근전도 특성 벡터 및 상기 관성 특성 벡터는 시간 데이터를 정규화시켜 리샘플링되는 것인, 수화 인식 시스템.The method according to claim 1,
Wherein the electromyographic characteristic vector and the inertial characteristic vector are resampled by normalizing the time data. 제1항에 있어서,
상기 센서 측정 기기는,
상기 팔 부위를 둘러싸도록 착용되는 암밴드;
상기 암밴드의 내주를 따라 상기 팔 부위에 대향하도록 간격을 두고 배치되는 복수의 전극; 및
상기 센서 측정 기기의 일영역에 형성되는 관성 측정 유닛,
을 포함하되,
상기 관성 측정 유닛은 3축 가속도 센서, 3축 각속도 센서 및 3축 지자기 센서를 포함하는 것인, 수화 인식 시스템.The method according to claim 1,
The sensor measuring device includes:
An arm band worn to surround the arms;
A plurality of electrodes disposed to be spaced apart from each other along the inner circumference of the armband so as to face the arms; And
An inertia measurement unit formed in one area of the sensor measurement device,
≪ / RTI >
Wherein the inertial measurement unit includes a three-axis acceleration sensor, a three-axis angular velocity sensor, and a three-axis geomagnetic sensor. 수화 인식 방법에 있어서,
사용자의 팔 부위에 착용된 센서 측정 기기로부터 상기 사용자의 근전도 신호 및 관성 신호를 수신하는 수신하는 단계;
상기 근전도 신호에서 근활성 구간을 추출하고, 상기 관성 신호에서 움직임 구간을 추출하는 추출하는 단계;
상기 근활성 구간에 신호처리를 수행함으로써 근전도 특성 벡터를 산출하고, 상기 움직임 구간에 신호처리를 수행함으로써 관성 특성 벡터를 산출하는 산출하는 단계;
상기 근전도 특성 벡터를 이용하여 복수의 손 모양 코드 중 제 1 손 모양 코드를 결정하는 손 모양 코드를 결정하는 단계;
상기 관성 특성 벡터를 이용하여 복수의 움직임 코드 중 제 1 움직임 코드를 결정하는 움직임 코드를 결정하는 단계; 및
상기 제1 손 모양 코드와 상기 제 1움직임 코드를 포함하는 통합 코드를 상기 사용자의 수화 동작 코드로서 출력하는 단계,
를 포함하고,
상기 손 모양 코드를 결정하는 단계는, 근활성 구간을 제 1 내지 제 3 근활성 구간으로 구분하고, 상기 근전도 특성 벡터를 이용하여 제 1 근활성 구간에 대응하는 제 1 전기 손 모양 코드, 제 2 근활성 구간에 대응하는 제 1 중기 손 모양 코드 및 제 3 근활성 구간에 대응하는 제 1 말기 손 모양 코드를 결정하는 것인, 수화 인식 방법.In the sign language recognition method,
Receiving an EMG signal and an inertial signal of the user from a sensor measuring instrument worn on a user's arm;
Extracting a muscle activity section from the EMG signal and extracting a motion section from the inertia signal;
Calculating an EMG characteristic vector by performing signal processing on the muscle active section and calculating an inertia characteristic vector by performing signal processing on the motion section;
Determining a hand code that determines a first hand code among the plurality of hand code using the EMG characteristic vector;
Determining a motion code for determining a first motion code among the plurality of motion codes using the inertia characteristic vector; And
Outputting an integrated code including the first hand code and the first motion code as the user's handwriting code,
Lt; / RTI >
Wherein the determining of the hand code comprises the steps of: dividing the muscle activity section into first to third muscle active sections, using the electromyographic characteristic vector to generate a first electric hand code corresponding to the first muscle active section, Wherein a first hand end code corresponding to the muscle active segment and a first end hand code corresponding to the third muscle active segment are determined. 제19항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.A computer-readable recording medium recording a program for executing the method of claim 19 in a computer.

Images