KR102182413B1 - Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor - Google Patents
Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor Download PDFInfo
- Publication number
- KR102182413B1 KR102182413B1 KR1020190155700A KR20190155700A KR102182413B1 KR 102182413 B1 KR102182413 B1 KR 102182413B1 KR 1020190155700 A KR1020190155700 A KR 1020190155700A KR 20190155700 A KR20190155700 A KR 20190155700A KR 102182413 B1 KR102182413 B1 KR 102182413B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- virtual
- motion
- motion data
- actual
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A61B5/0488—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
Description
본 발명은 행위 인식 관한 것으로, 보다 상세하게는 가상 모션 생성을 이용한 행위 인식을 위한 장치 및 이를 위한 방법에 관한 것이다. The present invention relates to behavior recognition, and more particularly, to an apparatus for behavior recognition using virtual motion generation and a method therefor.
종래의 웨어러블 센서 기반의 행위 인식에 있어서, 와치 형태의 웨어러블 센서는 사용자가 오른손잡이의 경우 실제 다양한 행위가 오른손으로 이루어지며 왼손에 와치를 착용하기 문에 다양한 행위에 대한 모션 정보를 얻기가 어렵다. 또한, 오른손에 착용하여 근전도와 모션 정보를 취득하는 웨어러블 센서, 예컨대, MYO 센서 등의 경우, 대부분의 센서가 오른쪽 팔뚝, 즉, 팔꿈치 근처에 센서를 착용하기 때문에 근전도 데이터를 얻기 쉬우나 모션 정보가 오른쪽 팔뚝 중심으로 생성되기 문에 모션 정보가 상세하지 않다. In the conventional wearable sensor-based behavior recognition, in the case of a wearable sensor in the form of a watch, in the case of a right-handed user, various actions are actually performed with the right hand, and because the user wears a watch on the left hand, it is difficult to obtain motion information for various actions. it's difficult. In addition, in the case of a wearable sensor that acquires EMG and motion information by wearing it on the right hand, for example, the MYO sensor, it is easy to obtain EMG data because most of the sensors wear the sensor near the right forearm, that is, the elbow. Motion information is not detailed because it is generated around the forearm.
본 발명의 목적은 가상 모션 생성자를 이용하여 사용자의 행위를 인식할 수 있는 장치 및 이를 위한 방법을 제공함에 있다. An object of the present invention is to provide an apparatus and method for recognizing a user's behavior using a virtual motion generator.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 가상 모션 생성자를 이용한 행위 인식을 위한 장치는 사용자 신체의 제1 부위에 장착되는 제1 센서로부터 상기 제1 부위의 근육의 활동 전위를 측정한 근전도 및 상기 제1 부위의 모션을 감지하여 생성한 실제 제1 모션 데이터를 수신하고, 상기 근전도 및 상기 실제 제1 모션 데이터를 제공하는 실제데이터제공부와, 사용자 신체의 제1 부위와 연결된 제2 부위의 모션을 감지하여 측정한 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하는 가상데이터생성부와, 상기 근전도, 상기 실제 제1 모션 데이터 및 상기 가상 제2 모션 데이터를 기초로 상기 사용자의 행위를 인식하는 행위인식부를 포함한다. An apparatus for recognizing an action using a virtual motion generator according to a preferred embodiment of the present invention for achieving the above object is an action potential of the muscle of the first portion from a first sensor mounted on the first portion of the user's body. A real data providing unit that receives the EMG measured by and the actual first motion data generated by sensing the motion of the first part, and provides the EMG and the real first motion data, and a first part of the user's body. A virtual data generator for generating virtual second motion data that simulates real second motion data measured by detecting the motion of the connected second part, and the EMG, the real first motion data, and the virtual second motion data. It includes an action recognition unit that recognizes the user's actions on the basis of.
상기 가상데이터생성부는 상기 실제 제1 모션 데이터 및 상기 실제 제2 모션 데이터를 포함하는 대조 모션 데이터를 제공하는 대조데이터제공부와, 상기 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하고, 상기 실제 제1 모션 데이터와 상기 가상 제2 모션 데이터를 포함하는 가상 모션 데이터를 제공하는 가상모션데이터생성부와, 상기 대조 모션 데이터 및 상기 가상 모션 데이터 중 어느 하나의 모션 데이터가 입력되면, 입력된 모션 데이터가 가상인지 혹은 실제인지 여부를 판별하는 판별부와, 상기 판별부가 상기 대조데이터제공부로부터 제공되는 상기 대조 모션 데이터가 실제인 것으로 판단하도록 상기 판별부를 학습시키는 제1 학습 절차와, 상기 판별부가 상기 가상모션데이터생성부로부터 제공되는 상기 가상 모션 데이터를 실제인 것으로 판단하도록 상기 가상모션데이터생성부를 학습시키는 제2 학습 절차를 반복하는 가상모션처리부를 포함한다. The virtual data generation unit generates a matching data providing unit that provides matching motion data including the actual first motion data and the actual second motion data, and virtual second motion data that simulates the actual second motion data, and , When a virtual motion data generator for providing virtual motion data including the actual first motion data and the virtual second motion data, and any one of the contrast motion data and the virtual motion data are input, input A first learning procedure for learning the determination unit to determine whether the determined motion data is virtual or real, and the determination unit to determine that the collation motion data provided from the collation data providing unit is real, and the And a virtual motion processing unit that repeats a second learning procedure for learning the virtual motion data generation unit so that the determination unit determines that the virtual motion data provided from the virtual motion data generation unit is real.
상기 장치는 상기 가상 제2 모션 데이터에 대응하는 실제 제1 모션 데이터를 통해 상기 가상 제2 모션 데이터를 정규화하는 정규화부를 더 포함한다. The apparatus further includes a normalization unit for normalizing the virtual second motion data based on actual first motion data corresponding to the virtual second motion data.
상기 실제 제1 모션 데이터는 상기 제1 부위를 자이로센서를 통해 측정한 실제 제1 각속도 데이터 및 상기 제1 부위를 가속도센서를 통해 측정한 실제 제1 가속도 데이터를 포함하며, 상기 가상 제2 모션 데이터는 상기 제2 부위의 모션을 자이로센서를 통해 측정한 실제 제2 각속도 데이터를 모사하는 가상 제2 각속도 데이터 및 상기 제2 부위의 모션을 가속도센서를 통해 측정된 실제 제2 가속도 데이터를 모사하는 가상 제2 가속도 데이터를 포함한다. The actual first motion data includes actual first angular velocity data measured through a gyro sensor for the first part and real first acceleration data measured through an acceleration sensor for the first part, and the virtual second motion data Is a virtual second angular velocity data that simulates actual second angular velocity data measured through a gyro sensor and a virtual second angular velocity data that simulates the motion of the second region through an acceleration sensor. It includes second acceleration data.
상기 정규화부는 수학식 에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화하고, 수학식 에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화한다. The normalization unit Equation According to the actual first angular velocity data, the virtual second angular velocity data is normalized, and the equation According to this, the virtual second acceleration data is normalized with the actual first acceleration data.
여기서, 상기 는 실제 제1 각속도 데이터이고, 상기 는 가상 제2 각속도 데이터이며, 상기 는 정규화된 가상 제2 각속도 데이터이고, 상기 는 실제 제1 가속도 데이터이고, 상기 는 가상 제2 가속도 데이터이며, 상기 는 정규화된 가상 제2 가속도 데이터이다. Here, above Is the actual first angular velocity data, and Is the virtual second angular velocity data, wherein Is the normalized virtual second angular velocity data, wherein Is the actual first acceleration data, and Is the virtual second acceleration data, wherein Is the normalized virtual second acceleration data.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 가상 모션 생성자를 이용한 행위 인식을 위한 방법은 실제데이터제공부가 사용자 신체의 제1 부위에 장착되는 제1 센서로부터 상기 제1 부위의 근육의 활동 전위를 측정한 근전도 및 상기 제1 부위의 모션을 감지하여 생성한 실제 제1 모션 데이터를 수신하고, 상기 근전도 및 상기 실제 제1 모션 데이터를 제공하는 단계와, 가상데이터생성부가 사용자 신체의 제1 부위와 연결된 제2 부위의 모션을 감지하여 측정한 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하는 단계와, 행위인식부가 상기 근전도, 상기 실제 제1 모션 데이터 및 상기 가상 제2 모션 데이터를 기초로 상기 사용자의 행위를 인식하는 단계를 포함한다. In a method for recognizing an action using a virtual motion generator according to a preferred embodiment of the present invention for achieving the above-described object, the real data providing unit is provided with a first sensor mounted on a first part of the user's body. Receiving an EMG measuring an action potential of a muscle and real first motion data generated by detecting the motion of the first region, providing the EMG and the actual first motion data, and a virtual data generating unit Generating virtual second motion data that simulates real second motion data measured by detecting a motion of a second portion connected to the first portion of, and a behavior recognition unit comprising the EMG, the real first motion data, and the virtual And recognizing the user's behavior based on the second motion data.
상기 가상 제2 모션 데이터를 생성하는 단계 후, 상기 사용자의 행위를 인식하는 단계 전, 정규화부가 상기 가상 제2 모션 데이터를 상기 실제 제1 모션 데이터를 통해 정규화하는 단계를 더 포함한다. After the step of generating the virtual second motion data, and before the step of recognizing the user's behavior, the normalization unit may normalize the second virtual motion data using the actual first motion data.
상기 실제 제1 모션 데이터는 상기 제1 부위의 모션을 자이로센서를 통해 측정한 실제 제1 각속도 데이터 및 상기 제1 부위의 모션을 가속도센서를 통해 측정한 실제 제1 가속도 데이터를 포함하며, 상기 가상 제2 모션 데이터는 상기 제2 부위의 모션을 자이로센서를 통해 측정한 실제 제2 각속도 데이터를 모사하는 가상 제2 각속도 데이터 및 상기 제2 부위의 모션을 가속도센서를 통해 측정된 실제 제2 가속도 데이터를 모사하는 가상 제2 가속도 데이터를 포함한다. The actual first motion data includes actual first angular velocity data obtained by measuring the motion of the first region through a gyro sensor and actual first acceleration data measuring the motion of the first region through an acceleration sensor, and the virtual The second motion data is virtual second angular velocity data that simulates the actual second angular velocity data measured by the gyro sensor of the motion of the second portion and the actual second acceleration data measured by the acceleration sensor of the motion of the second portion It includes virtual second acceleration data that simulates.
상기 가상 제2 모션 데이터를 상기 실제 제1 모션 데이터를 통해 정규화하는 단계는 상기 정규화부가 수학식 에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화하고, 수학식 에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화한다. In the step of normalizing the virtual second motion data through the actual first motion data, the normalization unit According to the actual first angular velocity data, the virtual second angular velocity data is normalized, and the equation According to this, the virtual second acceleration data is normalized with the actual first acceleration data.
여기서, 상기 는 실제 제1 각속도 데이터이고, 상기 는 가상 제2 각속도 데이터이며, 상기 는 정규화된 가상 제2 각속도 데이터이고, 상기 는 실제 제1 가속도 데이터이고, 상기 는 가상 제2 가속도 데이터이며, 상기 는 정규화된 가상 제2 가속도 데이터이다. Here, above Is the actual first angular velocity data, and Is the virtual second angular velocity data, wherein Is the normalized virtual second angular velocity data, wherein Is the actual first acceleration data, and Is the virtual second acceleration data, wherein Is the normalized virtual second acceleration data.
상기 가상 제2 모션 데이터를 생성하는 단계 전, 상기 가상데이터생성부의 대조데이터제공부가 사용자의 모션을 실제로 측정한 모션 데이터인 실제 제1 모션 데이터 및 실제 제2 모션 데이터를 포함하는 대조 모션 데이터를 상기 가상데이터생성부의 판별부에 제공하면, 상기 가상데이터생성부의 가상모션처리부가 상기 판별부가 상기 대조데이터제공부로부터 제공되는 상기 대조 모션 데이터가 실제인 것으로 판단하도록 상기 판별부를 학습시키는 제1 학습 절차와, 상기 가상데이터생성부의 가상모션데이터생성부가 상기 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하고 상기 실제 제1 모션 데이터와 상기 가상 제2 모션 데이터를 포함하는 가상 모션 데이터를 상기 판별부에 제공하면, 상기 판별부가 상기 가상모션데이터생성부로부터 제공되는 상기 가상 모션 데이터를 실제인 것으로 판단하도록 상기 가상모션데이터생성부를 학습시키는 제2 학습 절차를 반복하는 단계를 더 포함한다. Before the step of generating the virtual second motion data, the comparison data providing unit of the virtual data generation unit generates the reference motion data including the actual first motion data and the actual second motion data, which is motion data actually measured the user's motion. A first learning procedure in which the determination unit is provided to the determination unit of the virtual data generation unit, wherein the virtual motion processing unit of the virtual data generation unit learns the determination unit so that the determination unit determines that the matching motion data provided from the matching data providing unit is real; , The virtual motion data generation unit of the virtual data generation unit generates virtual second motion data that simulates the actual second motion data, and determines the virtual motion data including the actual first motion data and the virtual second motion data. If provided to the unit, the determination unit further comprises repeating a second learning procedure of training the virtual motion data generation unit to determine that the virtual motion data provided from the virtual motion data generation unit is real.
본 발명에 따르면, 하나의 웨어러블 센서를 이용하여 근전도, 팔뚝 근처의 모션 정보를 이용한다. 이와 같이 제한된 웨어러블 센서의 디바이스를 이용함에도 불구하고, 사용자의 가상의 관절에 착용되었을 때의 모션 움직임 정보, 즉, 가상으로 생성된 손목 모션 정보를 추가하여 행위 인식 종류를 다양화할 수 있으며, 행위 인식률을 향상시킬 수 있다. According to the present invention, EMG and motion information near the forearm are used using a single wearable sensor. Despite the use of such limited wearable sensor devices, it is possible to diversify the type of behavior recognition by adding motion motion information when worn on the user's virtual joint, that is, virtually generated wrist motion information. Can improve.
도 1은 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 가상데이터생성부의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 적대적 학습 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 방법을 설명하기 도면이다. 1 is a view for explaining the configuration of an apparatus for recognizing an action using virtual motion generation according to an embodiment of the present invention.
2 is a block diagram for explaining the configuration of a virtual data generator according to an embodiment of the present invention.
3 is a flowchart illustrating a hostile learning method according to an embodiment of the present invention.
4 is a flowchart illustrating a method for recognizing an action using virtual motion generation according to an embodiment of the present invention.
5 is a view for explaining a method for recognizing an action using virtual motion generation according to an embodiment of the present invention.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, terms or words used in the present specification and claims described below should not be construed as being limited to their usual or dictionary meanings, and the inventors shall use their own invention in the best way. For explanation, based on the principle that it can be appropriately defined as a concept of terms, it should be interpreted as a meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all the technical spirit of the present invention, and various equivalents that can replace them at the time of application It should be understood that there may be water and variations.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this case, it should be noted that the same components in the accompanying drawings are indicated by the same reference numerals as possible. In addition, detailed descriptions of known functions and configurations that may obscure the subject matter of the present invention will be omitted. For the same reason, some components in the accompanying drawings are exaggerated, omitted, or schematically illustrated, and the size of each component does not entirely reflect the actual size.
먼저, 가상 모션 생성을 이용한 행위 인식을 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 장치의 구성을 설명하기 위한 도면이다. First, an apparatus for recognizing an action using virtual motion generation will be described. 1 is a view for explaining the configuration of an apparatus for recognizing an action using virtual motion generation according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시예에 따른 행위인식장치는 제1 센서(10), 제2 센서(20), 실제데이터제공부(100), 가상데이터생성부(200), 정규화부(300), 병합부(400) 및 행위인식부(500)를 포함한다. Referring to FIG. 1, the behavior recognition apparatus according to an embodiment of the present invention includes a
제1 센서(10)는 사용자 신체의 제1 부위에 장착되는 웨어러블 센서이다. 예컨대, 사용자 신체의 제1 부위는 사용자의 팔뚝이 될 수 있다. 하지만, 본 발명을 이에 한정하는 것은 아니며, 제1 부위는 사용자 신체 부위라면 어디라도 될 수 있다. 제1 센서(10)는 근전도(EMG: electromyography) 센서 및 관성 센서(IMU: Inertial measurement unit)를 포함한다. 이에 따라, 제1 센서(10)는 제1 부위의 근육의 활동 전위를 측정한 근전도(EMG: electromyography) 및 제1 부위의 모션을 감지한 실제 제1 모션 데이터(Motion1_real)를 생성한다. 또한, 제1 센서(10)의 관성 센서는 자이로센서 및 가속도센서를 포함한다. 이에 따라, 제1 센서(10)는 실제 제1 모션 데이터(Motion1_real)로 제1 부위의 각속도 및 가속도를 측정하여 실제 제1 각속도 데이터 및 실제 제1 가속도 데이터를 생성한다. The
제2 센서(20)는 사용자 신체의 제1 부위와 연결되어 제1 부위의 모션의 영향에 따른 모션이 발생하는 제2 부위에 장착되는 웨어러블 센서이다. 예컨대, 사용자 신체의 제1 부위가 사용자의 오른쪽 팔뚝이라면, 제2 부위는 오른쪽 팔뚝의 모션의 영향에 따른 모션이 발생하는 손목이 되는 것이 바람직하다. 하지만, 본 발명을 이에 한정하는 것은 아니며, 제2 부위는 제1 부위와 연결되어 제1 부위의 모션의 영향에 따라 모션이 발생하는 사용자 신체 부위라면 어디라도 될 수 있다. 제2 센서(20)는 관성 센서(IMU)를 포함한다. 이에 따라, 제2 센서(20)는 사용자 신체의 제2 부위의 모션을 감지한 실제 제2 모션 데이터(Motion2_real)를 생성한다. 또한, 제2 센서(20)의 관성 센서는 자이로센서 및 가속도센서를 포함한다. 이에 따라, 제2 센서(20)는 실제 제2 모션 데이터(Motion2_real)로 제2 부위의 각속도 및 가속도를 측정하여 실제 제2 각속도 데이터 및 실제 제2 가속도 데이터를 생성한다. The
실제데이터제공부(100)는 제1 센서(10)로부터 근전도(EMG) 및 실제 제1 모션 데이터(Motion1_real)를 수신한 후, 실제 제1 모션 데이터(Motion1_real)를 가상데이터생성부(200)에 제공하며, 근전도 및 실제 제1 모션 데이터(Motion1_real)를 병합부(400)에 제공한다. After receiving the electromyogram (EMG) and actual first motion data (Motion1_real) from the
가상데이터생성부(200)는 제2 센서(20)가 측정한 실제 제2 모션 데이터(Motion2_real)를 모사하는 가상 제2 모션 데이터(Motion2_fake)를 생성하기 위한 것이다. 이러한 가상데이터생성부(200)는 생산적적대신경망(GAN: Generative adversarial networks)으로 구현될 수 있다. 가상데이터생성부(200)는 실제 제1 모션 데이터(Motion1_real) 및 실제 제2 모션 데이터(Motion2_real)를 학습 데이터로 이용하여 실제 제2 모션 데이터(Motion2_real)를 모사하는 가상 제2 모션 데이터(Motion2_fake)를 생성하는 것을 학습한다. 가상데이터생성부(200)는 학습이 완료된 후에는 실제 제2 모션 데이터(Motion2_real) 없이 실제 제1 모션 데이터(Motion1_real)를 통해 실제 제2 모션 데이터(Motion2_real)를 모사하는 가상 제2 모션 데이터(Motion2_fake)를 생성한다. 이러한 가상데이터생성부(200)에 대해서는 아래에서 더 상세하게 설명하기로 한다. The
정규화(Normalization)부(300)는 가상데이터생성부(200)가 생성한 가상 제2 모션 데이터(Motion2_fake)를 가상 제2 모션 데이터(Motion2_fake)에 대응하는 실제 제1 모션 데이터(Motion1_real)를 통해 정규화한다. 전술한 바와 같이, 실제 제1 모션 데이터(Motion1_real)는 사용자 신체의 제1 부위를 자이로센서를 통해 측정한 실제 제1 각속도 데이터 및 그 제1 부위를 가속도센서를 통해 측정한 실제 제1 가속도 데이터를 포함한다. 또한, 가상 제2 모션 데이터(Motion2_fake)는 실제 제2 모션 데이터(Motion2_real)를 모사한 것이므로, 사용자 신체의 제2 부위의 모션을 자이로센서를 통해 측정한 실제 제2 각속도 데이터를 모사하는 가상 제2 각속도 데이터 및 그 제2 부위의 모션을 가속도센서를 통해 측정된 실제 제2 가속도 데이터를 모사하는 가상 제2 가속도 데이터를 포함한다. The normalization unit 300 normalizes the virtual second motion data (Motion2_fake) generated by the virtual
따라서 정규화부(300)는 다음의 수학식 1에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화할 수 있다. Accordingly, the normalization unit 300 may normalize the virtual second angular velocity data with the actual first angular velocity data according to Equation 1 below.
수학식 1에서, 는 실제 제1 각속도 데이터이고, 는 가상 제2 각속도 데이터이며, 는 정규화된 가상 제2 각속도 데이터이다. In Equation 1, Is the actual first angular velocity data, Is the virtual second angular velocity data, Is the normalized virtual second angular velocity data.
자이로센서의 각속도는 3개의 축에 대응하는 값으로 측정되며, 수학식 1은 다음의 수학식 2와 같이 표현될 수 있다. The angular velocity of the gyro sensor is measured by values corresponding to three axes, and Equation 1 may be expressed as Equation 2 below.
또한, 정규화부(300)는 다음의 수학식 3에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화 할 수 있다. In addition, the normalization unit 300 may normalize the virtual second acceleration data to the actual first acceleration data according to Equation 3 below.
수학식 3에서, 는 실제 제1 가속도 데이터이고, 는 가상 제2 가속도 데이터이며, 는 정규화된 가상 제2 가속도 데이터이다. In Equation 3, Is the actual first acceleration data, Is the virtual second acceleration data, Is the normalized virtual second acceleration data.
정규화부(300)는 전술한 바와 같이, 가상 제2 모션 데이터(Motion2_fake)를 정규화하여 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 출력한다. As described above, the normalization unit 300 normalizes the virtual second motion data Motion2_fake and outputs normalized virtual second motion data Motion2_fake_normalized.
병합부(400)는 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 병합한다. 이때, 병합부(400)는 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 다음의 수학식 4와 같이 시간축에서 병합하여 행위인식부(500)에 대한 입력 데이터(input data)를 생성한다. The merging
여기서, E는 근전도(EMG)이고, M은 실제 제1 모션 데이터(Motion1_real)이며, V는 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 나타낸다. Here, E denotes electromyography (EMG), M denotes actual first motion data (Motion1_real), and V denotes normalized virtual second motion data (Motion2_fake_normalized).
행위인식부(500)는 즉, 시간축에서 병합된 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 병합한 입력 데이터를 입력 받고, 사용자의 행위를 분류하여 인식한다. 이때, 행위인식부(500)는 실제데이터제공부(100), 가상데이터생성부(200), 정규화부(300) 및 병합부(400)에 의해 연속된 사용자의 모션에 대해 생성된 소정 수의 입력 데이터를 입력받고, 소정 수의 입력 데이터를 통해 사용자의 행위를 분류하여 인식하는 것이 바람직하다. 이러한 행위인식부(500)는 바람직하게, LSTM(Long Short-Term Memory models) 기반의 행위분류기가 될 수 있다. 하지만, 본 발명을 이에 한정하는 것은 아니며, RNN(Recurrent neural network), GRU(Gated Recurrent Unit) 등의 인공신경망을 이용할 수도 있다. In other words, the
다음으로, 본 발명의 실시예에 따른 가상데이터생성부(200)에 대해 보다 상세하게 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 가상데이터생성부의 구성을 설명하기 위한 블록도이다. Next, the virtual
도 2를 참조하면, 본 발명의 실시예에 따른 가상데이터생성부(200)는 대조데이터제공부(210), 가상모션데이터생성부(220), 판별부(230) 및 가상모션처리부(240)를 포함한다. 특히, 가상모션데이터생성부(220) 및 판별부(230)는 생산적적대신경망(GAN)을 구성하는 2개의 인공신경망이 될 수 있다. 2, the virtual
대조데이터제공부(210)는 실제데이터제공부(100)로부터 실제 제1 모션 데이터(Motion1_real)를 수신하고, 제2 센서(20)로부터 실제 제2 모션 데이터(Motion2_real)를 수신하여 실제 제1 모션 데이터(Motion1_real) 및 실제 제2 모션 데이터(Motion2_real)를 포함하는 대조 모션 데이터를 판별부(230)에 제공한다. The matching
가상모션데이터생성부(generator, 220)는 실제데이터제공부(100)로부터 실제 제1 모션 데이터(Motion1_real)를 수신하면, 실제 제2 모션 데이터(Motion2_real)를 모사하는 가상 제2 모션 데이터(Motion2_fake)를 생성한다. 그런 다음, 가상모션데이터생성부(generator, 220)는 수신된 실제 제1 모션 데이터(Motion1_real)와 생성된 가상 제2 모션 데이터(Motion2_fake)를 포함하는 가상 모션 데이터를 판별부(230)에 제공한다. 가상모션데이터생성부(generator, 220)는 복수의 계층을 가지는 인공신경망으로 이루어질 수 있다. 그리고 복수의 계층은 각각이 가중치가 적용되는 복수의 연산으로 이루어진다. 가상모션데이터생성부(generator, 220)는 실제 제1 모션 데이터(Motion1_real)가 입력되면, 복수의 계층의 가중치가 적용되는 복수의 연산을 통해 가상 제2 모션 데이터(Motion2_fake)를 생성할 수 있다. When the virtual
판별부(discriminator, 230)는 대조 모션 데이터(Motion1_real + Motion2_real) 및 가상 모션 데이터(Motion1_real + Motion2_fake) 중 어느 하나의 모션 데이터가 입력되면, 입력된 모션 데이터가 가상인지 혹은 실제인지 여부를 판별하여 가상인지 혹은 실제인지 여부를 확률값으로 출력한다. 이러한 판별부(230)는 복수의 계층을 가지는 인공신경망으로 이루어질 수 있다. 그리고 복수의 계층은 각각이 가중치가 적용되는 복수의 연산으로 이루어진다. 판별부(230)는 대조 모션 데이터(Motion1_real + Motion2_real) 및 가상 모션 데이터(Motion1_real + Motion2_fake) 중 어느 하나의 모션 데이터가 입력되면, 복수의 계층의 가중치가 적용되는 복수의 연산을 통해 입력된 모션 데이터가 실제일 확률 및 가상일 확률을 출력한다. The
가상모션처리부(240)는 생산적적대신경망(GAN)을 구성하는 2개의 인공신경망, 즉, 가상모션데이터생성부(220) 및 판별부(230)에 대해 적대적 학습(Adversarial Training)을 수행하도록 한다. 가상모션처리부(240)는 적대적 학습을 통해 궁극적으로 가상모션데이터생성부(220)가 생성한 가상 제2 모션 데이터(Motion2_fake)를 판별부(230)가 가상이 아니라 실제로 인식할 수 있을 만큼 가상모션데이터생성부(220)가 실제 제2 모션 데이터(Motion2_real)를 정교하게 모사하여 가상 제2 모션 데이터(Motion2_fake)를 생성하도록 학습시키기 위한 것이다. 또한, 가상모션처리부(240)는 학습이 완료되면, 가상모션데이터생성부(220)가 생성한 가상 제2 모션 데이터(Motion2_fake)를 정규화부(300)에 제공한다. The virtual
그러면, 본 발명의 실시예에 따른 적대적 학습 방법에 대해서 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 적대적 학습 방법을 설명하기 위한 흐름도이다. Then, a hostile learning method according to an embodiment of the present invention will be described. 3 is a flowchart illustrating a hostile learning method according to an embodiment of the present invention.
도 3을 참조하면, 가상모션처리부(240)는 S110 단계에서 판별부(230)에 대한 학습을 수행한다. 이러한 S110 단계에서 가상모션처리부(240)는 대조 모션 데이터가 입력되면, 실제인 것으로 판단하고, 가상 모션 데이터가 입력되면, 가상인 것으로 판단하도록 판별부(230)를 학습시킨다. 이에 대해 보다 구체적으로 설명하면, 다음과 같다. 가상모션처리부(240)는 대조데이터제공부(210)가 실제 제1 모션 데이터(Motion1_real) 및 실제 제2 모션 데이터(Motion2_real)를 포함하는 대조 모션 데이터를 판별부(230)에 제공하면, 판별부(230)가 대조 모션 데이터가 실제인 것으로 판단하도록 판별부(230)를 학습시킨다. 즉, 가상모션처리부(240)는 대조 모션 데이터에 대한 목표값(LABEL)을 실제(예컨대, real = 1.00(100%), fake = 0.00(0%))로 설정하고, 판별부(230)가 복수의 계층의 복수의 연산을 통해 출력값을 출력하면, 출력값과 목표값의 차이가 최소가 되도록 역전파(backpropagation) 알고리즘을 적용하여 가상모션데이터생성부(220)의 가중치를 고정하고, 판별부(230)의 가중치를 수정한다. 또한, 가상모션처리부(240)는 가상모션데이터생성부(220)가 실제 제1 모션 데이터(Motion1_real)와 생성된 가상 제2 모션 데이터(Motion2_fake)를 포함하는 가상 모션 데이터를 판별부(230)에 제공하면, 판별부(230)가 가상 모션 데이터가 가상인 것으로 판단하도록 판별부(230)를 학습시킨다. 즉, 가상모션처리부(240)는 가상 모션 데이터에 대한 목표값(LABEL)을 가상(예컨대, real = 0.00(0%), fake = 1.00(100%))로 설정하고, 판별부(230)가 복수의 계층의 복수의 연산을 통해 출력값을 출력하면, 출력값과 목표값의 차이가 최소가 되도록 역전파(backpropagation) 알고리즘을 적용하여 가상모션데이터생성부(220)의 가중치를 고정하고, 판별부(230)의 가중치를 수정한다. Referring to FIG. 3, the virtual
다음으로, 가상모션처리부(240)는 S120 단계에서 가상모션데이터생성부(220)에 대한 학습을 수행한다. 이러한 S120 단계에서 가상모션처리부(240)는 판별부(230)에 가상 모션 데이터가 입력되면, 판별부(230)가 실제인 것으로 판단하도록 가상모션데이터생성부(220)를 학습시킨다. 이에 대해 보다 구체적으로 설명하면, 다음과 같다. 가상모션처리부(240)는 가상모션데이터생성부(220)가 실제 제1 모션 데이터(Motion1_real)와 생성된 가상 제2 모션 데이터(Motion2_fake)를 포함하는 가상 모션 데이터를 판별부(230)에 제공하면, 판별부(230)가 가상 모션 데이터가 실제인 것으로 판단하도록 판별부(230)를 학습시킨다. 즉, 가상모션처리부(240)는 가상 모션 데이터에 대한 목표값(LABEL)을 실제(예컨대, real = 1.00(100%), fake = 0.00(0%))로 설정하고, 판별부(230)가 복수의 계층의 복수의 연산을 통해 출력값을 출력하면, 출력값과 목표값의 차이가 최소가 되도록 역전파(backpropagation) 알고리즘을 적용하여 판별부(230)의 가중치를 고정하고, 가상모션데이터생성부(220)의 가중치를 수정한다. Next, the virtual
다음으로, 가상모션처리부(240)는 S130 단계에서 학습이 완료되었는지 여부를 판단한다. 서로 다른 복수의 모션 데이터가 입력되는 경우에도 출력값의 변동이 없는 경우, 학습이 완료된 것으로 판단할 수 있다. 가상모션처리부(240)는 상기 판단 결과, 학습이 완료되지 않은 경우, 전술한 S110 및 S120 단계를 반복하며, 상기 판단 결과, 학습이 완료된 경우, 학습 프로세스를 종료한다. Next, the virtual
다음으로, 가상 모션 생성을 이용한 행위 인식을 위한 방법에 대해서 설명하기로 한다. 도 4는 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 방법을 설명하기 위한 흐름도이다. 도 5는 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 방법을 설명하기 도면이다. Next, a method for recognizing an action using virtual motion generation will be described. 4 is a flowchart illustrating a method for recognizing an action using virtual motion generation according to an embodiment of the present invention. 5 is a view for explaining a method for recognizing an action using virtual motion generation according to an embodiment of the present invention.
도 4를 참조하면, S210 단계에서 학습(deep learning 혹은 machine leaning)이 이루어진다. 이러한 학습은 가상데이터생성부(200) 및 행위인식부(500)에 대해 이루어진다. 가상데이터생성부(200)에 대해서는 도 3에서 설명된 바와 같은 적대적 학습(Adversarial Training)이 이루어진다. 행위인식부(500)의 경우, 병합된 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 학습데이터로 하고, 실제 모션을 목표값으로 설정하여 학습이 이루어질 수 있다. 행위인식부(500)의 학습은 본 발명의 요지가 아니기 때문에 그 상세한 설명은 생략한다. 4, in step S210, learning (deep learning or machine leaning) is performed. This learning is made for the virtual
다음으로, 실제데이터제공부(100)는 S220 단계에서 제1 센서(10)로부터 근전도(EMG) 및 실제 제1 모션 데이터(Motion1_real)를 수신한 후, 실제 제1 모션 데이터(Motion1_real)를 가상데이터생성부(200)에 제공하며, 근전도(EMG) 및 실제 제1 모션 데이터(Motion1_real)를 병합부(400)에 제공한다. Next, after receiving the electromyogram (EMG) and actual first motion data (Motion1_real) from the
이어서, 가상데이터생성부(200)는 S230 단계에서 도 5에 도시된 바와 같이, 실제 제2 모션 데이터(Motion2_real) 없이 실제 제1 모션 데이터(Motion1_real)를 통해 실제 제2 모션 데이터(Motion2_real)를 모사하는 가상 제2 모션 데이터(Motion2_fake)를 생성한다. Subsequently, the virtual
다음으로, 정규화부(300)는 S230 단계에서 가상데이터생성부(200)가 생성한 가상 제2 모션 데이터(Motion2_fake)를 가상 제2 모션 데이터(Motion2_fake)에 대응하는 실제 제1 모션 데이터(Motion1_real)를 통해 정규화한다. 이때, 정규화부(300)는 수학식 1에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화하고, 수학식 3에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화 할 수 있다. Next, the normalization unit 300 converts the virtual second motion data Motion2_fake generated by the virtual
이어서, 병합부(400)는 S240 단계에서 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 수학식 4와 같이 시간축에서 병합하여 행위인식부(500)에 대한 입력 데이터(input data)를 생성한다. Subsequently, the merging
행위인식부(500)는 S260 단계에서 즉, 시간축에서 병합된 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 병합한 입력 데이터를 입력 받고, 사용자의 행위를 분류하여 인식한다. In step S260, that is, the
한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. Meanwhile, the method according to the embodiment of the present invention described above may be implemented in the form of a program that can be read through various computer means and recorded on a computer-readable recording medium. Here, the recording medium may include a program command, a data file, a data structure, or the like alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. For example, the recording medium includes magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic-optical media such as floptical disks ( magneto-optical media) and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Such a hardware device may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. The present invention has been described above using several preferred embodiments, but these embodiments are illustrative and not limiting. As such, those of ordinary skill in the art to which the present invention pertains will understand that various changes and modifications can be made according to the equivalence theory without departing from the spirit of the present invention and the scope of the rights presented in the appended claims.
10: 제1 센서
20: 제2 센서
100: 실제데이터제공부
200: 가상데이터생성부
210: 대조데이터제공부
220: 가상모션데이터생성부
230: 판별부
240: 가상모션처리부
300: 정규화부
400: 병합부
500: 행위인식부10: first sensor
20: second sensor
100: Real data provider
200: virtual data generation unit
210: reference data providing unit
220: virtual motion data generation unit
230: determination unit
240: virtual motion processing unit
300: normalization unit
400: merge part
500: behavior recognition unit
Claims (8)
사용자 신체의 제1 부위에 장착되는 제1 센서로부터 상기 제1 부위의 근육의 활동 전위를 측정한 근전도 및 상기 제1 부위의 모션을 감지하여 생성한 실제 제1 모션 데이터를 수신하고, 상기 근전도 및 상기 실제 제1 모션 데이터를 제공하는 실제데이터제공부;
사용자 신체의 제1 부위와 연결된 제2 부위의 모션을 감지하여 측정한 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하는 가상데이터생성부; 및
상기 근전도, 상기 실제 제1 모션 데이터 및 상기 가상 제2 모션 데이터를 기초로 상기 사용자의 행위를 인식하는 행위인식부;를 포함하되,
상기 가상데이터생성부는
상기 실제 제1 모션 데이터 및 상기 실제 제2 모션 데이터를 포함하는 대조 모션 데이터를 제공하는 대조데이터제공부;
상기 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하고, 상기 실제 제1 모션 데이터와 상기 가상 제2 모션 데이터를 포함하는 가상 모션 데이터를 제공하는 가상모션데이터생성부;
상기 대조 모션 데이터 및 상기 가상 모션 데이터 중 어느 하나의 모션 데이터가 입력되면, 입력된 모션 데이터가 가상인지 혹은 실제인지 여부를 판별하는 판별부; 및
상기 판별부가 상기 대조데이터제공부로부터 제공되는 상기 대조 모션 데이터가 실제인 것으로 판단하도록 상기 판별부를 학습시키는 제1 학습 절차와, 상기 판별부가 상기 가상모션데이터생성부로부터 제공되는 상기 가상 모션 데이터를 실제인 것으로 판단하도록 상기 가상모션데이터생성부를 학습시키는 제2 학습 절차를 반복하는 가상모션처리부;를 포함하는 것을 특징으로 하는
행위 인식을 위한 장치. In the apparatus for behavior recognition using a virtual motion generator,
From a first sensor mounted on a first part of the user's body, the EMG measuring the action potential of the muscle of the first part and the actual first motion data generated by detecting the motion of the first part are received, and the EMG and An actual data providing unit that provides the actual first motion data;
A virtual data generator configured to generate virtual second motion data that simulates real second motion data measured by sensing a motion of a second portion connected to the first portion of the user's body; And
Including; a behavior recognition unit for recognizing the user's behavior based on the EMG, the actual first motion data, and the virtual second motion data;
The virtual data generation unit
A collation data providing unit for providing collation motion data including the actual first motion data and the real second motion data;
A virtual motion data generator configured to generate virtual second motion data that simulates the actual second motion data, and provide virtual motion data including the actual first motion data and the virtual second motion data;
A determination unit for determining whether the input motion data is virtual or real when any one of the collation motion data and the virtual motion data is input; And
A first learning procedure for learning the determination unit so that the determination unit determines that the collation motion data provided from the collation data providing unit is real, and the virtual motion data provided by the virtual motion data generation unit is actually And a virtual motion processing unit that repeats a second learning procedure for learning the virtual motion data generation unit to determine that it is
Device for behavior recognition.
상기 가상 제2 모션 데이터에 대응하는 실제 제1 모션 데이터를 통해 상기 가상 제2 모션 데이터를 정규화하는 정규화부;를 더 포함하는 것을 특징으로 하는
행위 인식을 위한 장치. The method of claim 1,
And a normalization unit for normalizing the virtual second motion data based on actual first motion data corresponding to the virtual second motion data.
Device for behavior recognition.
상기 실제 제1 모션 데이터는
상기 제1 부위를 자이로센서를 통해 측정한 실제 제1 각속도 데이터 및 상기 제1 부위를 가속도센서를 통해 측정한 실제 제1 가속도 데이터를 포함하며,
상기 가상 제2 모션 데이터는
상기 제2 부위의 모션을 자이로센서를 통해 측정한 실제 제2 각속도 데이터를 모사하는 가상 제2 각속도 데이터 및 상기 제2 부위의 모션을 가속도센서를 통해 측정된 실제 제2 가속도 데이터를 모사하는 가상 제2 가속도 데이터를 포함하고,
상기 정규화부는
수학식 에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화하고,
수학식 에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화하는 것을 특징으로 하며,
상기 는 실제 제1 각속도 데이터이고,
상기 는 가상 제2 각속도 데이터이며,
상기 는 정규화된 가상 제2 각속도 데이터이고,
상기 는 실제 제1 가속도 데이터이고,
상기 는 가상 제2 가속도 데이터이며,
상기 는 정규화된 가상 제2 가속도 데이터인 것을 특징으로 하는
행위 인식을 위한 장치. The method of claim 3,
The actual first motion data is
Including actual first angular velocity data measured by the gyro sensor of the first portion and actual first acceleration data measured by the acceleration sensor of the first portion,
The virtual second motion data is
Virtual second angular velocity data that simulates the actual second angular velocity data measured by the gyro sensor and the virtual second angular velocity data that simulates the motion of the second portion through the acceleration sensor 2 contains acceleration data,
The normalization unit
Equation According to the actual first angular velocity data to normalize the virtual second angular velocity data,
Equation According to the actual first acceleration data, characterized in that the virtual second acceleration data is normalized,
remind Is the actual first angular velocity data,
remind Is the virtual second angular velocity data,
remind Is the normalized virtual second angular velocity data,
remind Is the actual first acceleration data,
remind Is the virtual second acceleration data,
remind Is normalized virtual second acceleration data.
Device for behavior recognition.
실제데이터제공부가 사용자 신체의 제1 부위에 장착되는 제1 센서로부터 상기 제1 부위의 근육의 활동 전위를 측정한 근전도 및 상기 제1 부위의 모션을 감지하여 생성한 실제 제1 모션 데이터를 수신하고, 상기 근전도 및 상기 실제 제1 모션 데이터를 제공하는 단계;
가상데이터생성부가 사용자 신체의 제1 부위와 연결된 제2 부위의 모션을 감지하여 측정한 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하는 단계; 및
행위인식부가 상기 근전도, 상기 실제 제1 모션 데이터 및 상기 가상 제2 모션 데이터를 기초로 상기 사용자의 행위를 인식하는 단계;를 포함하되,
상기 가상 제2 모션 데이터를 생성하는 단계 전,
상기 가상데이터생성부의 대조데이터제공부가 사용자의 모션을 실제로 측정한 모션 데이터인 실제 제1 모션 데이터 및 실제 제2 모션 데이터를 포함하는 대조 모션 데이터를 상기 가상데이터생성부의 판별부에 제공하면, 상기 가상데이터생성부의 가상모션처리부가 상기 판별부가 상기 대조데이터제공부로부터 제공되는 상기 대조 모션 데이터가 실제인 것으로 판단하도록 상기 판별부를 학습시키는 제1 학습 절차 및
상기 가상데이터생성부의 가상모션데이터생성부가 상기 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하고 상기 실제 제1 모션 데이터와 상기 가상 제2 모션 데이터를 포함하는 가상 모션 데이터를 상기 판별부에 제공하면, 상기 판별부가 상기 가상모션데이터생성부로부터 제공되는 상기 가상 모션 데이터를 실제인 것으로 판단하도록 상기 가상모션데이터생성부를 학습시키는 제2 학습 절차를 반복하는 단계;를 더 포함하는 것을 특징으로 하는
행위 인식을 위한 방법. In the method for behavior recognition using a virtual motion generator,
The actual data providing unit receives the EMG measuring the action potential of the muscle of the first region and the actual first motion data generated by sensing the motion of the first region from a first sensor mounted on the first part of the user's body. Providing the EMG and the actual first motion data;
Generating, by the virtual data generation unit, virtual second motion data that simulates actual second motion data measured by sensing a motion of a second portion connected to the first portion of the user's body; And
Recognizing the user's behavior based on the EMG, the actual first motion data, and the virtual second motion data, by a behavior recognition unit; including,
Before the step of generating the virtual second motion data,
When the verification data providing unit of the virtual data generation unit provides the matching motion data including real first motion data and real second motion data, which are motion data actually measured the user's motion, to the determination unit of the virtual data generation unit, the virtual A first learning procedure in which the virtual motion processing unit of the data generation unit learns the determination unit so that the determination unit determines that the matching motion data provided from the matching data providing unit is real, and
The virtual motion data generation unit of the virtual data generation unit generates virtual second motion data that simulates the actual second motion data, and determines the virtual motion data including the actual first motion data and the virtual second motion data. And repeating a second learning procedure of training the virtual motion data generator so that the determination unit determines that the virtual motion data provided from the virtual motion data generator is real. doing
Method for behavior recognition.
상기 가상 제2 모션 데이터를 생성하는 단계 후,
상기 사용자의 행위를 인식하는 단계 전,
정규화부가 상기 가상 제2 모션 데이터를 상기 실제 제1 모션 데이터를 통해 정규화하는 단계;를 더 포함하는 것을 특징으로 하는
행위 인식을 위한 방법. The method of claim 5,
After the step of generating the virtual second motion data,
Before the step of recognizing the user's behavior,
The step of normalizing the virtual second motion data through the actual first motion data; characterized in that it further comprises
Method for behavior recognition.
상기 실제 제1 모션 데이터는
상기 제1 부위의 모션을 자이로센서를 통해 측정한 실제 제1 각속도 데이터 및 상기 제1 부위의 모션을 가속도센서를 통해 측정한 실제 제1 가속도 데이터를 포함하며,
상기 가상 제2 모션 데이터는
상기 제2 부위의 모션을 자이로센서를 통해 측정한 실제 제2 각속도 데이터를 모사하는 가상 제2 각속도 데이터 및 상기 제2 부위의 모션을 가속도센서를 통해 측정된 실제 제2 가속도 데이터를 모사하는 가상 제2 가속도 데이터를 포함하고,
상기 가상 제2 모션 데이터를 상기 실제 제1 모션 데이터를 통해 정규화하는 단계는
상기 정규화부가
수학식 에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화하고,
수학식 에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화하는 것을 특징으로 하며,
상기 는 실제 제1 각속도 데이터이고,
상기 는 가상 제2 각속도 데이터이며,
상기 는 정규화된 가상 제2 각속도 데이터이고,
상기 는 실제 제1 가속도 데이터이고,
상기 는 가상 제2 가속도 데이터이며,
상기 는 정규화된 가상 제2 가속도 데이터인 것을 특징으로 하는
행위 인식을 위한 방법. The method of claim 6,
The actual first motion data is
Including actual first angular velocity data obtained by measuring the motion of the first portion through a gyro sensor and actual first acceleration data measuring the motion of the first portion through an acceleration sensor,
The virtual second motion data is
Virtual second angular velocity data that simulates the actual second angular velocity data measured by the gyro sensor and the virtual second angular velocity data that simulates the motion of the second portion through the acceleration sensor 2 contains acceleration data,
The step of normalizing the virtual second motion data through the actual first motion data
Above normalization
Equation According to the actual first angular velocity data to normalize the virtual second angular velocity data,
Equation According to the actual first acceleration data, characterized in that the virtual second acceleration data is normalized,
remind Is the actual first angular velocity data,
remind Is the virtual second angular velocity data,
remind Is the normalized virtual second angular velocity data,
remind Is the actual first acceleration data,
remind Is the virtual second acceleration data,
remind Is normalized virtual second acceleration data.
Method for behavior recognition.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190155700A KR102182413B1 (en) | 2019-11-28 | 2019-11-28 | Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190155700A KR102182413B1 (en) | 2019-11-28 | 2019-11-28 | Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102182413B1 true KR102182413B1 (en) | 2020-11-25 |
Family
ID=73645354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190155700A KR102182413B1 (en) | 2019-11-28 | 2019-11-28 | Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102182413B1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160046622A (en) | 2014-10-21 | 2016-04-29 | 삼성전자주식회사 | Wearable device and method for transmitting contents |
KR101731188B1 (en) * | 2015-11-17 | 2017-04-27 | 계명대학교 산학협력단 | Motions estimation apparatus and method thereof |
KR20170069521A (en) * | 2015-12-11 | 2017-06-21 | 숭실대학교산학협력단 | Apparatus for finger language recognition using electromyogram sensor and motion sensor and method for finger language recognition using the same |
KR20170084643A (en) * | 2016-01-12 | 2017-07-20 | 경희대학교 산학협력단 | Motion analysis appratus and method using dual smart band |
KR20170091963A (en) * | 2016-02-02 | 2017-08-10 | 삼성전자주식회사 | Gesture classification apparatus and method using electromyogram signals |
KR20170113957A (en) * | 2016-03-30 | 2017-10-13 | (주)이미지스테크놀로지 | Method of determining motion intent of user and motion recognition system for the same |
-
2019
- 2019-11-28 KR KR1020190155700A patent/KR102182413B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160046622A (en) | 2014-10-21 | 2016-04-29 | 삼성전자주식회사 | Wearable device and method for transmitting contents |
KR101731188B1 (en) * | 2015-11-17 | 2017-04-27 | 계명대학교 산학협력단 | Motions estimation apparatus and method thereof |
KR20170069521A (en) * | 2015-12-11 | 2017-06-21 | 숭실대학교산학협력단 | Apparatus for finger language recognition using electromyogram sensor and motion sensor and method for finger language recognition using the same |
KR20170084643A (en) * | 2016-01-12 | 2017-07-20 | 경희대학교 산학협력단 | Motion analysis appratus and method using dual smart band |
KR20170091963A (en) * | 2016-02-02 | 2017-08-10 | 삼성전자주식회사 | Gesture classification apparatus and method using electromyogram signals |
KR20170113957A (en) * | 2016-03-30 | 2017-10-13 | (주)이미지스테크놀로지 | Method of determining motion intent of user and motion recognition system for the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Abuhamad et al. | AUToSen: Deep-learning-based implicit continuous authentication using smartphone sensors | |
US10446059B2 (en) | Hand motion interpretation and communication apparatus | |
US11216069B2 (en) | Systems and methods for improved speech recognition using neuromuscular information | |
JP7097801B2 (en) | Facial expression recognition method, object recognition method, facial expression recognition device and facial expression training method | |
Chen et al. | A real-time human action recognition system using depth and inertial sensor fusion | |
CN112005198A (en) | Hand state reconstruction based on multiple inputs | |
KR20180057096A (en) | Device and method to perform recognizing and training face expression | |
Vu et al. | Smartwatch-based early gesture detection 8 trajectory tracking for interactive gesture-driven applications | |
US9769166B1 (en) | Wearable sensor based system for person identification | |
Calado et al. | Toward the minimum number of wearables to recognize signer-independent Italian sign language with machine-learning algorithms | |
Abraham et al. | Real time conversion of sign language to speech and prediction of gestures using Artificial Neural Network | |
JP6032350B2 (en) | Motion detection device and motion detection method | |
Guenterberg et al. | A method for extracting temporal parameters based on hidden Markov models in body sensor networks with inertial sensors | |
JP2022120775A (en) | On-device activity recognition | |
JPWO2013145496A1 (en) | Information processing apparatus, information processing method, and program | |
Rosa-Pujazón et al. | Fast-gesture recognition and classification using Kinect: an application for a virtual reality drumkit | |
Kilany et al. | Accelerometer-based human activity classification using water wave optimization approach | |
Li et al. | Adaptive deep feature fusion for continuous authentication with data augmentation | |
Urresty Sanchez et al. | Fall detection using accelerometer on the user’s wrist and artificial neural networks | |
Bezobrazov et al. | Artificial intelligence for sport activitity recognition | |
KR102182413B1 (en) | Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor | |
US11164039B2 (en) | Framework for few-shot temporal action localization | |
EP3872694A1 (en) | Avatar facial expression generating system and method of avatar facial expression generation | |
Wohler et al. | A calibration-free head gesture recognition system with online capability | |
Nguyen et al. | Virtual Fusion with Contrastive Learning for Single Sensor-based Activity Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |