KR102182413B1 - 가상 모션 생성을 이용한 행위 인식을 위한 장치 및 이를 위한 방법 - Google Patents

가상 모션 생성을 이용한 행위 인식을 위한 장치 및 이를 위한 방법 Download PDF

Info

Publication number
KR102182413B1
KR102182413B1 KR1020190155700A KR20190155700A KR102182413B1 KR 102182413 B1 KR102182413 B1 KR 102182413B1 KR 1020190155700 A KR1020190155700 A KR 1020190155700A KR 20190155700 A KR20190155700 A KR 20190155700A KR 102182413 B1 KR102182413 B1 KR 102182413B1
Authority
KR
South Korea
Prior art keywords
data
virtual
motion
motion data
actual
Prior art date
Application number
KR1020190155700A
Other languages
English (en)
Inventor
신동인
박종범
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190155700A priority Critical patent/KR102182413B1/ko
Application granted granted Critical
Publication of KR102182413B1 publication Critical patent/KR102182413B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A61B5/0488—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명의 가상 모션 생성을 이용한 행위 인식을 위한 장치는 사용자 신체의 제1 부위에 장착되는 제1 센서로부터 상기 제1 부위의 근육의 활동 전위를 측정한 근전도 및 상기 제1 부위의 모션을 감지하여 생성한 실제 제1 모션 데이터를 수신하고, 상기 근전도 및 상기 실제 제1 모션 데이터를 제공하는 실제데이터제공부와, 사용자 신체의 제1 부위와 연결된 제2 부위의 모션을 모사하는 가상 제2 모션 데이터를 생성하는 가상데이터생성부와, 상기 근전도, 상기 실제 제1 모션 데이터 및 상기 가상 제2 모션 데이터를 기초로 상기 사용자의 행위를 인식하는 행위인식부를 포함한다.

Description

가상 모션 생성을 이용한 행위 인식을 위한 장치 및 이를 위한 방법{Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor}
본 발명은 행위 인식 관한 것으로, 보다 상세하게는 가상 모션 생성을 이용한 행위 인식을 위한 장치 및 이를 위한 방법에 관한 것이다.
종래의 웨어러블 센서 기반의 행위 인식에 있어서, 와치 형태의 웨어러블 센서는 사용자가 오른손잡이의 경우 실제 다양한 행위가 오른손으로 이루어지며 왼손에 와치를 착용하기 ‹š문에 다양한 행위에 대한 모션 정보를 얻기가 어렵다. 또한, 오른손에 착용하여 근전도와 모션 정보를 취득하는 웨어러블 센서, 예컨대, MYO 센서 등의 경우, 대부분의 센서가 오른쪽 팔뚝, 즉, 팔꿈치 근처에 센서를 착용하기 때문에 근전도 데이터를 얻기 쉬우나 모션 정보가 오른쪽 팔뚝 중심으로 생성되기 ‹š문에 모션 정보가 상세하지 않다.
한국공개특허 제10-2016-0046622호 2016년 04월 29일 공개 (명칭: 웨어러블 디바이스 및 컨텐츠 전송 방법)
본 발명의 목적은 가상 모션 생성자를 이용하여 사용자의 행위를 인식할 수 있는 장치 및 이를 위한 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 가상 모션 생성자를 이용한 행위 인식을 위한 장치는 사용자 신체의 제1 부위에 장착되는 제1 센서로부터 상기 제1 부위의 근육의 활동 전위를 측정한 근전도 및 상기 제1 부위의 모션을 감지하여 생성한 실제 제1 모션 데이터를 수신하고, 상기 근전도 및 상기 실제 제1 모션 데이터를 제공하는 실제데이터제공부와, 사용자 신체의 제1 부위와 연결된 제2 부위의 모션을 감지하여 측정한 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하는 가상데이터생성부와, 상기 근전도, 상기 실제 제1 모션 데이터 및 상기 가상 제2 모션 데이터를 기초로 상기 사용자의 행위를 인식하는 행위인식부를 포함한다.
상기 가상데이터생성부는 상기 실제 제1 모션 데이터 및 상기 실제 제2 모션 데이터를 포함하는 대조 모션 데이터를 제공하는 대조데이터제공부와, 상기 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하고, 상기 실제 제1 모션 데이터와 상기 가상 제2 모션 데이터를 포함하는 가상 모션 데이터를 제공하는 가상모션데이터생성부와, 상기 대조 모션 데이터 및 상기 가상 모션 데이터 중 어느 하나의 모션 데이터가 입력되면, 입력된 모션 데이터가 가상인지 혹은 실제인지 여부를 판별하는 판별부와, 상기 판별부가 상기 대조데이터제공부로부터 제공되는 상기 대조 모션 데이터가 실제인 것으로 판단하도록 상기 판별부를 학습시키는 제1 학습 절차와, 상기 판별부가 상기 가상모션데이터생성부로부터 제공되는 상기 가상 모션 데이터를 실제인 것으로 판단하도록 상기 가상모션데이터생성부를 학습시키는 제2 학습 절차를 반복하는 가상모션처리부를 포함한다.
상기 장치는 상기 가상 제2 모션 데이터에 대응하는 실제 제1 모션 데이터를 통해 상기 가상 제2 모션 데이터를 정규화하는 정규화부를 더 포함한다.
상기 실제 제1 모션 데이터는 상기 제1 부위를 자이로센서를 통해 측정한 실제 제1 각속도 데이터 및 상기 제1 부위를 가속도센서를 통해 측정한 실제 제1 가속도 데이터를 포함하며, 상기 가상 제2 모션 데이터는 상기 제2 부위의 모션을 자이로센서를 통해 측정한 실제 제2 각속도 데이터를 모사하는 가상 제2 각속도 데이터 및 상기 제2 부위의 모션을 가속도센서를 통해 측정된 실제 제2 가속도 데이터를 모사하는 가상 제2 가속도 데이터를 포함한다.
상기 정규화부는 수학식
Figure 112019123033747-pat00001
에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화하고, 수학식
Figure 112019123033747-pat00002
에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화한다.
여기서, 상기
Figure 112019123033747-pat00003
는 실제 제1 각속도 데이터이고, 상기
Figure 112019123033747-pat00004
는 가상 제2 각속도 데이터이며, 상기
Figure 112019123033747-pat00005
는 정규화된 가상 제2 각속도 데이터이고, 상기
Figure 112019123033747-pat00006
는 실제 제1 가속도 데이터이고, 상기
Figure 112019123033747-pat00007
는 가상 제2 가속도 데이터이며, 상기
Figure 112019123033747-pat00008
는 정규화된 가상 제2 가속도 데이터이다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 가상 모션 생성자를 이용한 행위 인식을 위한 방법은 실제데이터제공부가 사용자 신체의 제1 부위에 장착되는 제1 센서로부터 상기 제1 부위의 근육의 활동 전위를 측정한 근전도 및 상기 제1 부위의 모션을 감지하여 생성한 실제 제1 모션 데이터를 수신하고, 상기 근전도 및 상기 실제 제1 모션 데이터를 제공하는 단계와, 가상데이터생성부가 사용자 신체의 제1 부위와 연결된 제2 부위의 모션을 감지하여 측정한 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하는 단계와, 행위인식부가 상기 근전도, 상기 실제 제1 모션 데이터 및 상기 가상 제2 모션 데이터를 기초로 상기 사용자의 행위를 인식하는 단계를 포함한다.
상기 가상 제2 모션 데이터를 생성하는 단계 후, 상기 사용자의 행위를 인식하는 단계 전, 정규화부가 상기 가상 제2 모션 데이터를 상기 실제 제1 모션 데이터를 통해 정규화하는 단계를 더 포함한다.
상기 실제 제1 모션 데이터는 상기 제1 부위의 모션을 자이로센서를 통해 측정한 실제 제1 각속도 데이터 및 상기 제1 부위의 모션을 가속도센서를 통해 측정한 실제 제1 가속도 데이터를 포함하며, 상기 가상 제2 모션 데이터는 상기 제2 부위의 모션을 자이로센서를 통해 측정한 실제 제2 각속도 데이터를 모사하는 가상 제2 각속도 데이터 및 상기 제2 부위의 모션을 가속도센서를 통해 측정된 실제 제2 가속도 데이터를 모사하는 가상 제2 가속도 데이터를 포함한다.
상기 가상 제2 모션 데이터를 상기 실제 제1 모션 데이터를 통해 정규화하는 단계는 상기 정규화부가 수학식
Figure 112019123033747-pat00009
에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화하고, 수학식
Figure 112019123033747-pat00010
에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화한다.
여기서, 상기
Figure 112019123033747-pat00011
는 실제 제1 각속도 데이터이고, 상기
Figure 112019123033747-pat00012
는 가상 제2 각속도 데이터이며, 상기
Figure 112019123033747-pat00013
는 정규화된 가상 제2 각속도 데이터이고, 상기
Figure 112019123033747-pat00014
는 실제 제1 가속도 데이터이고, 상기
Figure 112019123033747-pat00015
는 가상 제2 가속도 데이터이며, 상기
Figure 112019123033747-pat00016
는 정규화된 가상 제2 가속도 데이터이다.
상기 가상 제2 모션 데이터를 생성하는 단계 전, 상기 가상데이터생성부의 대조데이터제공부가 사용자의 모션을 실제로 측정한 모션 데이터인 실제 제1 모션 데이터 및 실제 제2 모션 데이터를 포함하는 대조 모션 데이터를 상기 가상데이터생성부의 판별부에 제공하면, 상기 가상데이터생성부의 가상모션처리부가 상기 판별부가 상기 대조데이터제공부로부터 제공되는 상기 대조 모션 데이터가 실제인 것으로 판단하도록 상기 판별부를 학습시키는 제1 학습 절차와, 상기 가상데이터생성부의 가상모션데이터생성부가 상기 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하고 상기 실제 제1 모션 데이터와 상기 가상 제2 모션 데이터를 포함하는 가상 모션 데이터를 상기 판별부에 제공하면, 상기 판별부가 상기 가상모션데이터생성부로부터 제공되는 상기 가상 모션 데이터를 실제인 것으로 판단하도록 상기 가상모션데이터생성부를 학습시키는 제2 학습 절차를 반복하는 단계를 더 포함한다.
본 발명에 따르면, 하나의 웨어러블 센서를 이용하여 근전도, 팔뚝 근처의 모션 정보를 이용한다. 이와 같이 제한된 웨어러블 센서의 디바이스를 이용함에도 불구하고, 사용자의 가상의 관절에 착용되었을 때의 모션 움직임 정보, 즉, 가상으로 생성된 손목 모션 정보를 추가하여 행위 인식 종류를 다양화할 수 있으며, 행위 인식률을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 가상데이터생성부의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 적대적 학습 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 방법을 설명하기 도면이다.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
먼저, 가상 모션 생성을 이용한 행위 인식을 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 장치의 구성을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 행위인식장치는 제1 센서(10), 제2 센서(20), 실제데이터제공부(100), 가상데이터생성부(200), 정규화부(300), 병합부(400) 및 행위인식부(500)를 포함한다.
제1 센서(10)는 사용자 신체의 제1 부위에 장착되는 웨어러블 센서이다. 예컨대, 사용자 신체의 제1 부위는 사용자의 팔뚝이 될 수 있다. 하지만, 본 발명을 이에 한정하는 것은 아니며, 제1 부위는 사용자 신체 부위라면 어디라도 될 수 있다. 제1 센서(10)는 근전도(EMG: electromyography) 센서 및 관성 센서(IMU: Inertial measurement unit)를 포함한다. 이에 따라, 제1 센서(10)는 제1 부위의 근육의 활동 전위를 측정한 근전도(EMG: electromyography) 및 제1 부위의 모션을 감지한 실제 제1 모션 데이터(Motion1_real)를 생성한다. 또한, 제1 센서(10)의 관성 센서는 자이로센서 및 가속도센서를 포함한다. 이에 따라, 제1 센서(10)는 실제 제1 모션 데이터(Motion1_real)로 제1 부위의 각속도 및 가속도를 측정하여 실제 제1 각속도 데이터 및 실제 제1 가속도 데이터를 생성한다.
제2 센서(20)는 사용자 신체의 제1 부위와 연결되어 제1 부위의 모션의 영향에 따른 모션이 발생하는 제2 부위에 장착되는 웨어러블 센서이다. 예컨대, 사용자 신체의 제1 부위가 사용자의 오른쪽 팔뚝이라면, 제2 부위는 오른쪽 팔뚝의 모션의 영향에 따른 모션이 발생하는 손목이 되는 것이 바람직하다. 하지만, 본 발명을 이에 한정하는 것은 아니며, 제2 부위는 제1 부위와 연결되어 제1 부위의 모션의 영향에 따라 모션이 발생하는 사용자 신체 부위라면 어디라도 될 수 있다. 제2 센서(20)는 관성 센서(IMU)를 포함한다. 이에 따라, 제2 센서(20)는 사용자 신체의 제2 부위의 모션을 감지한 실제 제2 모션 데이터(Motion2_real)를 생성한다. 또한, 제2 센서(20)의 관성 센서는 자이로센서 및 가속도센서를 포함한다. 이에 따라, 제2 센서(20)는 실제 제2 모션 데이터(Motion2_real)로 제2 부위의 각속도 및 가속도를 측정하여 실제 제2 각속도 데이터 및 실제 제2 가속도 데이터를 생성한다.
실제데이터제공부(100)는 제1 센서(10)로부터 근전도(EMG) 및 실제 제1 모션 데이터(Motion1_real)를 수신한 후, 실제 제1 모션 데이터(Motion1_real)를 가상데이터생성부(200)에 제공하며, 근전도 및 실제 제1 모션 데이터(Motion1_real)를 병합부(400)에 제공한다.
가상데이터생성부(200)는 제2 센서(20)가 측정한 실제 제2 모션 데이터(Motion2_real)를 모사하는 가상 제2 모션 데이터(Motion2_fake)를 생성하기 위한 것이다. 이러한 가상데이터생성부(200)는 생산적적대신경망(GAN: Generative adversarial networks)으로 구현될 수 있다. 가상데이터생성부(200)는 실제 제1 모션 데이터(Motion1_real) 및 실제 제2 모션 데이터(Motion2_real)를 학습 데이터로 이용하여 실제 제2 모션 데이터(Motion2_real)를 모사하는 가상 제2 모션 데이터(Motion2_fake)를 생성하는 것을 학습한다. 가상데이터생성부(200)는 학습이 완료된 후에는 실제 제2 모션 데이터(Motion2_real) 없이 실제 제1 모션 데이터(Motion1_real)를 통해 실제 제2 모션 데이터(Motion2_real)를 모사하는 가상 제2 모션 데이터(Motion2_fake)를 생성한다. 이러한 가상데이터생성부(200)에 대해서는 아래에서 더 상세하게 설명하기로 한다.
정규화(Normalization)부(300)는 가상데이터생성부(200)가 생성한 가상 제2 모션 데이터(Motion2_fake)를 가상 제2 모션 데이터(Motion2_fake)에 대응하는 실제 제1 모션 데이터(Motion1_real)를 통해 정규화한다. 전술한 바와 같이, 실제 제1 모션 데이터(Motion1_real)는 사용자 신체의 제1 부위를 자이로센서를 통해 측정한 실제 제1 각속도 데이터 및 그 제1 부위를 가속도센서를 통해 측정한 실제 제1 가속도 데이터를 포함한다. 또한, 가상 제2 모션 데이터(Motion2_fake)는 실제 제2 모션 데이터(Motion2_real)를 모사한 것이므로, 사용자 신체의 제2 부위의 모션을 자이로센서를 통해 측정한 실제 제2 각속도 데이터를 모사하는 가상 제2 각속도 데이터 및 그 제2 부위의 모션을 가속도센서를 통해 측정된 실제 제2 가속도 데이터를 모사하는 가상 제2 가속도 데이터를 포함한다.
따라서 정규화부(300)는 다음의 수학식 1에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화할 수 있다.
Figure 112019123033747-pat00017
수학식 1에서,
Figure 112019123033747-pat00018
는 실제 제1 각속도 데이터이고,
Figure 112019123033747-pat00019
는 가상 제2 각속도 데이터이며,
Figure 112019123033747-pat00020
는 정규화된 가상 제2 각속도 데이터이다.
자이로센서의 각속도는 3개의 축에 대응하는 값으로 측정되며, 수학식 1은 다음의 수학식 2와 같이 표현될 수 있다.
Figure 112019123033747-pat00021
또한, 정규화부(300)는 다음의 수학식 3에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화 할 수 있다.
Figure 112019123033747-pat00022
수학식 3에서,
Figure 112019123033747-pat00023
는 실제 제1 가속도 데이터이고,
Figure 112019123033747-pat00024
는 가상 제2 가속도 데이터이며,
Figure 112019123033747-pat00025
는 정규화된 가상 제2 가속도 데이터이다.
정규화부(300)는 전술한 바와 같이, 가상 제2 모션 데이터(Motion2_fake)를 정규화하여 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 출력한다.
병합부(400)는 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 병합한다. 이때, 병합부(400)는 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 다음의 수학식 4와 같이 시간축에서 병합하여 행위인식부(500)에 대한 입력 데이터(input data)를 생성한다.
Figure 112019123033747-pat00026
여기서, E는 근전도(EMG)이고, M은 실제 제1 모션 데이터(Motion1_real)이며, V는 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 나타낸다.
행위인식부(500)는 즉, 시간축에서 병합된 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 병합한 입력 데이터를 입력 받고, 사용자의 행위를 분류하여 인식한다. 이때, 행위인식부(500)는 실제데이터제공부(100), 가상데이터생성부(200), 정규화부(300) 및 병합부(400)에 의해 연속된 사용자의 모션에 대해 생성된 소정 수의 입력 데이터를 입력받고, 소정 수의 입력 데이터를 통해 사용자의 행위를 분류하여 인식하는 것이 바람직하다. 이러한 행위인식부(500)는 바람직하게, LSTM(Long Short-Term Memory models) 기반의 행위분류기가 될 수 있다. 하지만, 본 발명을 이에 한정하는 것은 아니며, RNN(Recurrent neural network), GRU(Gated Recurrent Unit) 등의 인공신경망을 이용할 수도 있다.
다음으로, 본 발명의 실시예에 따른 가상데이터생성부(200)에 대해 보다 상세하게 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 가상데이터생성부의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 가상데이터생성부(200)는 대조데이터제공부(210), 가상모션데이터생성부(220), 판별부(230) 및 가상모션처리부(240)를 포함한다. 특히, 가상모션데이터생성부(220) 및 판별부(230)는 생산적적대신경망(GAN)을 구성하는 2개의 인공신경망이 될 수 있다.
대조데이터제공부(210)는 실제데이터제공부(100)로부터 실제 제1 모션 데이터(Motion1_real)를 수신하고, 제2 센서(20)로부터 실제 제2 모션 데이터(Motion2_real)를 수신하여 실제 제1 모션 데이터(Motion1_real) 및 실제 제2 모션 데이터(Motion2_real)를 포함하는 대조 모션 데이터를 판별부(230)에 제공한다.
가상모션데이터생성부(generator, 220)는 실제데이터제공부(100)로부터 실제 제1 모션 데이터(Motion1_real)를 수신하면, 실제 제2 모션 데이터(Motion2_real)를 모사하는 가상 제2 모션 데이터(Motion2_fake)를 생성한다. 그런 다음, 가상모션데이터생성부(generator, 220)는 수신된 실제 제1 모션 데이터(Motion1_real)와 생성된 가상 제2 모션 데이터(Motion2_fake)를 포함하는 가상 모션 데이터를 판별부(230)에 제공한다. 가상모션데이터생성부(generator, 220)는 복수의 계층을 가지는 인공신경망으로 이루어질 수 있다. 그리고 복수의 계층은 각각이 가중치가 적용되는 복수의 연산으로 이루어진다. 가상모션데이터생성부(generator, 220)는 실제 제1 모션 데이터(Motion1_real)가 입력되면, 복수의 계층의 가중치가 적용되는 복수의 연산을 통해 가상 제2 모션 데이터(Motion2_fake)를 생성할 수 있다.
판별부(discriminator, 230)는 대조 모션 데이터(Motion1_real + Motion2_real) 및 가상 모션 데이터(Motion1_real + Motion2_fake) 중 어느 하나의 모션 데이터가 입력되면, 입력된 모션 데이터가 가상인지 혹은 실제인지 여부를 판별하여 가상인지 혹은 실제인지 여부를 확률값으로 출력한다. 이러한 판별부(230)는 복수의 계층을 가지는 인공신경망으로 이루어질 수 있다. 그리고 복수의 계층은 각각이 가중치가 적용되는 복수의 연산으로 이루어진다. 판별부(230)는 대조 모션 데이터(Motion1_real + Motion2_real) 및 가상 모션 데이터(Motion1_real + Motion2_fake) 중 어느 하나의 모션 데이터가 입력되면, 복수의 계층의 가중치가 적용되는 복수의 연산을 통해 입력된 모션 데이터가 실제일 확률 및 가상일 확률을 출력한다.
가상모션처리부(240)는 생산적적대신경망(GAN)을 구성하는 2개의 인공신경망, 즉, 가상모션데이터생성부(220) 및 판별부(230)에 대해 적대적 학습(Adversarial Training)을 수행하도록 한다. 가상모션처리부(240)는 적대적 학습을 통해 궁극적으로 가상모션데이터생성부(220)가 생성한 가상 제2 모션 데이터(Motion2_fake)를 판별부(230)가 가상이 아니라 실제로 인식할 수 있을 만큼 가상모션데이터생성부(220)가 실제 제2 모션 데이터(Motion2_real)를 정교하게 모사하여 가상 제2 모션 데이터(Motion2_fake)를 생성하도록 학습시키기 위한 것이다. 또한, 가상모션처리부(240)는 학습이 완료되면, 가상모션데이터생성부(220)가 생성한 가상 제2 모션 데이터(Motion2_fake)를 정규화부(300)에 제공한다.
그러면, 본 발명의 실시예에 따른 적대적 학습 방법에 대해서 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 적대적 학습 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 가상모션처리부(240)는 S110 단계에서 판별부(230)에 대한 학습을 수행한다. 이러한 S110 단계에서 가상모션처리부(240)는 대조 모션 데이터가 입력되면, 실제인 것으로 판단하고, 가상 모션 데이터가 입력되면, 가상인 것으로 판단하도록 판별부(230)를 학습시킨다. 이에 대해 보다 구체적으로 설명하면, 다음과 같다. 가상모션처리부(240)는 대조데이터제공부(210)가 실제 제1 모션 데이터(Motion1_real) 및 실제 제2 모션 데이터(Motion2_real)를 포함하는 대조 모션 데이터를 판별부(230)에 제공하면, 판별부(230)가 대조 모션 데이터가 실제인 것으로 판단하도록 판별부(230)를 학습시킨다. 즉, 가상모션처리부(240)는 대조 모션 데이터에 대한 목표값(LABEL)을 실제(예컨대, real = 1.00(100%), fake = 0.00(0%))로 설정하고, 판별부(230)가 복수의 계층의 복수의 연산을 통해 출력값을 출력하면, 출력값과 목표값의 차이가 최소가 되도록 역전파(backpropagation) 알고리즘을 적용하여 가상모션데이터생성부(220)의 가중치를 고정하고, 판별부(230)의 가중치를 수정한다. 또한, 가상모션처리부(240)는 가상모션데이터생성부(220)가 실제 제1 모션 데이터(Motion1_real)와 생성된 가상 제2 모션 데이터(Motion2_fake)를 포함하는 가상 모션 데이터를 판별부(230)에 제공하면, 판별부(230)가 가상 모션 데이터가 가상인 것으로 판단하도록 판별부(230)를 학습시킨다. 즉, 가상모션처리부(240)는 가상 모션 데이터에 대한 목표값(LABEL)을 가상(예컨대, real = 0.00(0%), fake = 1.00(100%))로 설정하고, 판별부(230)가 복수의 계층의 복수의 연산을 통해 출력값을 출력하면, 출력값과 목표값의 차이가 최소가 되도록 역전파(backpropagation) 알고리즘을 적용하여 가상모션데이터생성부(220)의 가중치를 고정하고, 판별부(230)의 가중치를 수정한다.
다음으로, 가상모션처리부(240)는 S120 단계에서 가상모션데이터생성부(220)에 대한 학습을 수행한다. 이러한 S120 단계에서 가상모션처리부(240)는 판별부(230)에 가상 모션 데이터가 입력되면, 판별부(230)가 실제인 것으로 판단하도록 가상모션데이터생성부(220)를 학습시킨다. 이에 대해 보다 구체적으로 설명하면, 다음과 같다. 가상모션처리부(240)는 가상모션데이터생성부(220)가 실제 제1 모션 데이터(Motion1_real)와 생성된 가상 제2 모션 데이터(Motion2_fake)를 포함하는 가상 모션 데이터를 판별부(230)에 제공하면, 판별부(230)가 가상 모션 데이터가 실제인 것으로 판단하도록 판별부(230)를 학습시킨다. 즉, 가상모션처리부(240)는 가상 모션 데이터에 대한 목표값(LABEL)을 실제(예컨대, real = 1.00(100%), fake = 0.00(0%))로 설정하고, 판별부(230)가 복수의 계층의 복수의 연산을 통해 출력값을 출력하면, 출력값과 목표값의 차이가 최소가 되도록 역전파(backpropagation) 알고리즘을 적용하여 판별부(230)의 가중치를 고정하고, 가상모션데이터생성부(220)의 가중치를 수정한다.
다음으로, 가상모션처리부(240)는 S130 단계에서 학습이 완료되었는지 여부를 판단한다. 서로 다른 복수의 모션 데이터가 입력되는 경우에도 출력값의 변동이 없는 경우, 학습이 완료된 것으로 판단할 수 있다. 가상모션처리부(240)는 상기 판단 결과, 학습이 완료되지 않은 경우, 전술한 S110 및 S120 단계를 반복하며, 상기 판단 결과, 학습이 완료된 경우, 학습 프로세스를 종료한다.
다음으로, 가상 모션 생성을 이용한 행위 인식을 위한 방법에 대해서 설명하기로 한다. 도 4는 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 방법을 설명하기 위한 흐름도이다. 도 5는 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 방법을 설명하기 도면이다.
도 4를 참조하면, S210 단계에서 학습(deep learning 혹은 machine leaning)이 이루어진다. 이러한 학습은 가상데이터생성부(200) 및 행위인식부(500)에 대해 이루어진다. 가상데이터생성부(200)에 대해서는 도 3에서 설명된 바와 같은 적대적 학습(Adversarial Training)이 이루어진다. 행위인식부(500)의 경우, 병합된 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 학습데이터로 하고, 실제 모션을 목표값으로 설정하여 학습이 이루어질 수 있다. 행위인식부(500)의 학습은 본 발명의 요지가 아니기 때문에 그 상세한 설명은 생략한다.
다음으로, 실제데이터제공부(100)는 S220 단계에서 제1 센서(10)로부터 근전도(EMG) 및 실제 제1 모션 데이터(Motion1_real)를 수신한 후, 실제 제1 모션 데이터(Motion1_real)를 가상데이터생성부(200)에 제공하며, 근전도(EMG) 및 실제 제1 모션 데이터(Motion1_real)를 병합부(400)에 제공한다.
이어서, 가상데이터생성부(200)는 S230 단계에서 도 5에 도시된 바와 같이, 실제 제2 모션 데이터(Motion2_real) 없이 실제 제1 모션 데이터(Motion1_real)를 통해 실제 제2 모션 데이터(Motion2_real)를 모사하는 가상 제2 모션 데이터(Motion2_fake)를 생성한다.
다음으로, 정규화부(300)는 S230 단계에서 가상데이터생성부(200)가 생성한 가상 제2 모션 데이터(Motion2_fake)를 가상 제2 모션 데이터(Motion2_fake)에 대응하는 실제 제1 모션 데이터(Motion1_real)를 통해 정규화한다. 이때, 정규화부(300)는 수학식 1에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화하고, 수학식 3에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화 할 수 있다.
이어서, 병합부(400)는 S240 단계에서 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 수학식 4와 같이 시간축에서 병합하여 행위인식부(500)에 대한 입력 데이터(input data)를 생성한다.
행위인식부(500)는 S260 단계에서 즉, 시간축에서 병합된 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 병합한 입력 데이터를 입력 받고, 사용자의 행위를 분류하여 인식한다.
한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
10: 제1 센서
20: 제2 센서
100: 실제데이터제공부
200: 가상데이터생성부
210: 대조데이터제공부
220: 가상모션데이터생성부
230: 판별부
240: 가상모션처리부
300: 정규화부
400: 병합부
500: 행위인식부

Claims (8)

  1. 가상 모션 생성자를 이용한 행위 인식을 위한 장치에 있어서,
    사용자 신체의 제1 부위에 장착되는 제1 센서로부터 상기 제1 부위의 근육의 활동 전위를 측정한 근전도 및 상기 제1 부위의 모션을 감지하여 생성한 실제 제1 모션 데이터를 수신하고, 상기 근전도 및 상기 실제 제1 모션 데이터를 제공하는 실제데이터제공부;
    사용자 신체의 제1 부위와 연결된 제2 부위의 모션을 감지하여 측정한 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하는 가상데이터생성부; 및
    상기 근전도, 상기 실제 제1 모션 데이터 및 상기 가상 제2 모션 데이터를 기초로 상기 사용자의 행위를 인식하는 행위인식부;를 포함하되,
    상기 가상데이터생성부는
    상기 실제 제1 모션 데이터 및 상기 실제 제2 모션 데이터를 포함하는 대조 모션 데이터를 제공하는 대조데이터제공부;
    상기 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하고, 상기 실제 제1 모션 데이터와 상기 가상 제2 모션 데이터를 포함하는 가상 모션 데이터를 제공하는 가상모션데이터생성부;
    상기 대조 모션 데이터 및 상기 가상 모션 데이터 중 어느 하나의 모션 데이터가 입력되면, 입력된 모션 데이터가 가상인지 혹은 실제인지 여부를 판별하는 판별부; 및
    상기 판별부가 상기 대조데이터제공부로부터 제공되는 상기 대조 모션 데이터가 실제인 것으로 판단하도록 상기 판별부를 학습시키는 제1 학습 절차와, 상기 판별부가 상기 가상모션데이터생성부로부터 제공되는 상기 가상 모션 데이터를 실제인 것으로 판단하도록 상기 가상모션데이터생성부를 학습시키는 제2 학습 절차를 반복하는 가상모션처리부;를 포함하는 것을 특징으로 하는
    행위 인식을 위한 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 가상 제2 모션 데이터에 대응하는 실제 제1 모션 데이터를 통해 상기 가상 제2 모션 데이터를 정규화하는 정규화부;를 더 포함하는 것을 특징으로 하는
    행위 인식을 위한 장치.
  4. 제3항에 있어서,
    상기 실제 제1 모션 데이터는
    상기 제1 부위를 자이로센서를 통해 측정한 실제 제1 각속도 데이터 및 상기 제1 부위를 가속도센서를 통해 측정한 실제 제1 가속도 데이터를 포함하며,
    상기 가상 제2 모션 데이터는
    상기 제2 부위의 모션을 자이로센서를 통해 측정한 실제 제2 각속도 데이터를 모사하는 가상 제2 각속도 데이터 및 상기 제2 부위의 모션을 가속도센서를 통해 측정된 실제 제2 가속도 데이터를 모사하는 가상 제2 가속도 데이터를 포함하고,
    상기 정규화부는
    수학식
    Figure 112019123033747-pat00027
    에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화하고,
    수학식
    Figure 112019123033747-pat00028
    에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화하는 것을 특징으로 하며,
    상기
    Figure 112019123033747-pat00029
    는 실제 제1 각속도 데이터이고,
    상기
    Figure 112019123033747-pat00030
    는 가상 제2 각속도 데이터이며,
    상기
    Figure 112019123033747-pat00031
    는 정규화된 가상 제2 각속도 데이터이고,
    상기
    Figure 112019123033747-pat00032
    는 실제 제1 가속도 데이터이고,
    상기
    Figure 112019123033747-pat00033
    는 가상 제2 가속도 데이터이며,
    상기
    Figure 112019123033747-pat00034
    는 정규화된 가상 제2 가속도 데이터인 것을 특징으로 하는
    행위 인식을 위한 장치.
  5. 가상 모션 생성자를 이용한 행위 인식을 위한 방법에 있어서,
    실제데이터제공부가 사용자 신체의 제1 부위에 장착되는 제1 센서로부터 상기 제1 부위의 근육의 활동 전위를 측정한 근전도 및 상기 제1 부위의 모션을 감지하여 생성한 실제 제1 모션 데이터를 수신하고, 상기 근전도 및 상기 실제 제1 모션 데이터를 제공하는 단계;
    가상데이터생성부가 사용자 신체의 제1 부위와 연결된 제2 부위의 모션을 감지하여 측정한 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하는 단계; 및
    행위인식부가 상기 근전도, 상기 실제 제1 모션 데이터 및 상기 가상 제2 모션 데이터를 기초로 상기 사용자의 행위를 인식하는 단계;를 포함하되,
    상기 가상 제2 모션 데이터를 생성하는 단계 전,
    상기 가상데이터생성부의 대조데이터제공부가 사용자의 모션을 실제로 측정한 모션 데이터인 실제 제1 모션 데이터 및 실제 제2 모션 데이터를 포함하는 대조 모션 데이터를 상기 가상데이터생성부의 판별부에 제공하면, 상기 가상데이터생성부의 가상모션처리부가 상기 판별부가 상기 대조데이터제공부로부터 제공되는 상기 대조 모션 데이터가 실제인 것으로 판단하도록 상기 판별부를 학습시키는 제1 학습 절차 및
    상기 가상데이터생성부의 가상모션데이터생성부가 상기 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하고 상기 실제 제1 모션 데이터와 상기 가상 제2 모션 데이터를 포함하는 가상 모션 데이터를 상기 판별부에 제공하면, 상기 판별부가 상기 가상모션데이터생성부로부터 제공되는 상기 가상 모션 데이터를 실제인 것으로 판단하도록 상기 가상모션데이터생성부를 학습시키는 제2 학습 절차를 반복하는 단계;를 더 포함하는 것을 특징으로 하는
    행위 인식을 위한 방법.
  6. 제5항에 있어서,
    상기 가상 제2 모션 데이터를 생성하는 단계 후,
    상기 사용자의 행위를 인식하는 단계 전,
    정규화부가 상기 가상 제2 모션 데이터를 상기 실제 제1 모션 데이터를 통해 정규화하는 단계;를 더 포함하는 것을 특징으로 하는
    행위 인식을 위한 방법.
  7. 제6항에 있어서,
    상기 실제 제1 모션 데이터는
    상기 제1 부위의 모션을 자이로센서를 통해 측정한 실제 제1 각속도 데이터 및 상기 제1 부위의 모션을 가속도센서를 통해 측정한 실제 제1 가속도 데이터를 포함하며,
    상기 가상 제2 모션 데이터는
    상기 제2 부위의 모션을 자이로센서를 통해 측정한 실제 제2 각속도 데이터를 모사하는 가상 제2 각속도 데이터 및 상기 제2 부위의 모션을 가속도센서를 통해 측정된 실제 제2 가속도 데이터를 모사하는 가상 제2 가속도 데이터를 포함하고,
    상기 가상 제2 모션 데이터를 상기 실제 제1 모션 데이터를 통해 정규화하는 단계는
    상기 정규화부가
    수학식
    Figure 112019123033747-pat00035
    에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화하고,
    수학식
    Figure 112019123033747-pat00036
    에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화하는 것을 특징으로 하며,
    상기
    Figure 112019123033747-pat00037
    는 실제 제1 각속도 데이터이고,
    상기
    Figure 112019123033747-pat00038
    는 가상 제2 각속도 데이터이며,
    상기
    Figure 112019123033747-pat00039
    는 정규화된 가상 제2 각속도 데이터이고,
    상기
    Figure 112019123033747-pat00040
    는 실제 제1 가속도 데이터이고,
    상기
    Figure 112019123033747-pat00041
    는 가상 제2 가속도 데이터이며,
    상기
    Figure 112019123033747-pat00042
    는 정규화된 가상 제2 가속도 데이터인 것을 특징으로 하는
    행위 인식을 위한 방법.
  8. 삭제
KR1020190155700A 2019-11-28 2019-11-28 가상 모션 생성을 이용한 행위 인식을 위한 장치 및 이를 위한 방법 KR102182413B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190155700A KR102182413B1 (ko) 2019-11-28 2019-11-28 가상 모션 생성을 이용한 행위 인식을 위한 장치 및 이를 위한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190155700A KR102182413B1 (ko) 2019-11-28 2019-11-28 가상 모션 생성을 이용한 행위 인식을 위한 장치 및 이를 위한 방법

Publications (1)

Publication Number Publication Date
KR102182413B1 true KR102182413B1 (ko) 2020-11-25

Family

ID=73645354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190155700A KR102182413B1 (ko) 2019-11-28 2019-11-28 가상 모션 생성을 이용한 행위 인식을 위한 장치 및 이를 위한 방법

Country Status (1)

Country Link
KR (1) KR102182413B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160046622A (ko) 2014-10-21 2016-04-29 삼성전자주식회사 웨어러블 디바이스 및 컨텐츠 전송 방법.
KR101731188B1 (ko) * 2015-11-17 2017-04-27 계명대학교 산학협력단 동작 추정 장치 및 그 방법
KR20170069521A (ko) * 2015-12-11 2017-06-21 숭실대학교산학협력단 근전도 센서와 모션 센서를 이용한 지화 인식 장치 및 그것을 이용한 지화 인식 방법
KR20170084643A (ko) * 2016-01-12 2017-07-20 경희대학교 산학협력단 듀얼 스마트 밴드를 이용한 모션 분석 장치 및 방법
KR20170091963A (ko) * 2016-02-02 2017-08-10 삼성전자주식회사 근전도 신호를 이용한 동작 분류 방법 및 장치
KR20170113957A (ko) * 2016-03-30 2017-10-13 (주)이미지스테크놀로지 사용자의 동작 의도를 판단하는 방법과 이를 위한 동작 인식 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160046622A (ko) 2014-10-21 2016-04-29 삼성전자주식회사 웨어러블 디바이스 및 컨텐츠 전송 방법.
KR101731188B1 (ko) * 2015-11-17 2017-04-27 계명대학교 산학협력단 동작 추정 장치 및 그 방법
KR20170069521A (ko) * 2015-12-11 2017-06-21 숭실대학교산학협력단 근전도 센서와 모션 센서를 이용한 지화 인식 장치 및 그것을 이용한 지화 인식 방법
KR20170084643A (ko) * 2016-01-12 2017-07-20 경희대학교 산학협력단 듀얼 스마트 밴드를 이용한 모션 분석 장치 및 방법
KR20170091963A (ko) * 2016-02-02 2017-08-10 삼성전자주식회사 근전도 신호를 이용한 동작 분류 방법 및 장치
KR20170113957A (ko) * 2016-03-30 2017-10-13 (주)이미지스테크놀로지 사용자의 동작 의도를 판단하는 방법과 이를 위한 동작 인식 시스템

Similar Documents

Publication Publication Date Title
Abuhamad et al. AUToSen: Deep-learning-based implicit continuous authentication using smartphone sensors
US10446059B2 (en) Hand motion interpretation and communication apparatus
US11216069B2 (en) Systems and methods for improved speech recognition using neuromuscular information
JP7097801B2 (ja) 表情認識方法、オブジェクト認識方法、表情認識装置及び表情トレーニング方法
CN112005198A (zh) 基于多个输入的手部状态重建
KR20180057096A (ko) 표정 인식과 트레이닝을 수행하는 방법 및 장치
Vu et al. Smartwatch-based early gesture detection 8 trajectory tracking for interactive gesture-driven applications
US9769166B1 (en) Wearable sensor based system for person identification
Calado et al. Toward the minimum number of wearables to recognize signer-independent Italian sign language with machine-learning algorithms
Abraham et al. Real time conversion of sign language to speech and prediction of gestures using Artificial Neural Network
JP6032350B2 (ja) 動作検知装置及び動作検知方法
Guenterberg et al. A method for extracting temporal parameters based on hidden Markov models in body sensor networks with inertial sensors
JP2022120775A (ja) オンデバイスでの活動認識
Rosa-Pujazón et al. Fast-gesture recognition and classification using Kinect: an application for a virtual reality drumkit
Kilany et al. Accelerometer-based human activity classification using water wave optimization approach
Li et al. Adaptive deep feature fusion for continuous authentication with data augmentation
Urresty Sanchez et al. Fall detection using accelerometer on the user’s wrist and artificial neural networks
US20220012527A1 (en) Framework for few-shot temporal action localization
Bezobrazov et al. Artificial intelligence for sport activitity recognition
KR102182413B1 (ko) 가상 모션 생성을 이용한 행위 인식을 위한 장치 및 이를 위한 방법
EP3872694A1 (en) Avatar facial expression generating system and method of avatar facial expression generation
Cedeño et al. K-NN-based emg recognition for gestures communication with limited hardware resources
KR101869304B1 (ko) 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램
Babu et al. Classification of human gait: Swing and stance phases using sum-vector analysis
US11216074B2 (en) Motion classification user library

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant