WO2020111344A1 - 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템 및 방법 - Google Patents

근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템 및 방법 Download PDF

Info

Publication number
WO2020111344A1
WO2020111344A1 PCT/KR2018/015135 KR2018015135W WO2020111344A1 WO 2020111344 A1 WO2020111344 A1 WO 2020111344A1 KR 2018015135 W KR2018015135 W KR 2018015135W WO 2020111344 A1 WO2020111344 A1 WO 2020111344A1
Authority
WO
WIPO (PCT)
Prior art keywords
emg signal
avatar
motion
pattern
virtual space
Prior art date
Application number
PCT/KR2018/015135
Other languages
English (en)
French (fr)
Inventor
이창훈
피준열
Original Assignee
이창훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이창훈 filed Critical 이창훈
Publication of WO2020111344A1 publication Critical patent/WO2020111344A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images

Definitions

  • the present invention relates to a human-computer interaction (Human-Computer Interaction) technology, and more specifically, to extract the EMG signal generated when performing a body motion and to implement the corresponding avatar motion in the 3D virtual space System and method.
  • Human-Computer Interaction Human-Computer Interaction
  • HCI human-computer interface
  • Bio signals refer to electrical or magnetic signals generated from specific body tissues of the human body, cell tissues such as organs or nervous systems, including electromyography (EMG), electroencephalogram (EEG), safety (EOG), electrocardiogram (ECG), This includes signals such as skin conduction (GSR).
  • EMG electromyography
  • EEG electroencephalogram
  • EOG safety
  • ECG electrocardiogram
  • GSR skin conduction
  • the biosignal is used for the purpose of treatment or rehabilitation in the medical field, or the scope of use is widened for the purpose of controlling the motion of a computer, machine, robot, etc. by inferring the user's motion intention in the human-computer interface (HCI) field. have.
  • HCI human-computer interface
  • Virtual reality is a technology that realizes a new virtual space on a computer and outputs it to an output device such as a monitor or a head mounted display (HMD), where users can experience various sensory phenomena, including vision, in a virtual situation.
  • HMD head mounted display
  • Such virtual reality can provide virtual spaces and activities that go beyond visual and physical limitations.
  • the user performs a specific operation within a virtual reality environment or interacts with a virtual object. Since the virtual reality environment is mainly provided through a wearable device such as an HMD after blocking the view of the user's real environment, the keyboard or keyboard With a conventional input device such as a mouse, the accuracy of operation has to be reduced. To solve this, an intuitive input method that recognizes a user's gesture using an optical sensor or an IMU sensor and controls the device based on the gesture is preferred. However, the gesture-based input method could not be an appropriate answer for users with missing or disabled body parts.
  • the present invention is to provide a system for analyzing a pattern of a biosignal, especially an electromyography (EMG) signal generated in a muscle, and controlling the avatar in a 3D virtual space to perform an operation matching the pattern in real time.
  • EMG electromyography
  • the present invention is to provide a system capable of improving the accuracy of matching between a biosignal and an avatar operation.
  • a system for implementing physical motion in a virtual space using an EMG signal includes: a storage unit for storing an EMG signal pattern according to a user's motion in advance; An avatar generator that generates a virtual avatar that performs an operation matching the pre-stored EMG signal pattern; A sensor unit attached to a user's body part to sense an EMG signal; A processor configured to determine the pattern of the detected EMG signal by comparing the detected EMG signal with a previously stored EMG signal pattern, and perform an avatar matching operation according to the pattern; And a display unit visually displaying the operation of the avatar.
  • the amplitude of the EMG signal pattern has a range of 1 to 1024 steps, and the size, speed, or intensity of the avatar operation may be determined based on the amplitude range of the EMG signal pattern.
  • the processor may calculate the bio-information of the body part based on the EMG signal pattern, and display the calculated result as a numerical value or color or shape the avatar.
  • a method of implementing physical motion in a virtual space using an EMG signal includes: pre-storing an EMG signal pattern according to a user's motion; Generating a virtual avatar performing an operation matching the pre-stored EMG signal pattern; Sensing an EMG signal using a sensor attached to a user's body part; Determining a pattern of the detected EMG signal by comparing the detected EMG signal with a previously stored EMG signal pattern; Controlling the avatar to perform matching operations according to the pattern; And visually displaying the operation of the avatar.
  • the amplitude of the EMG signal pattern has a range of 1 to 1024 steps, and the size, speed, or intensity of the avatar operation may be determined based on the amplitude range of the EMG signal pattern.
  • calculating the biometric information of the body part based on the EMG signal pattern And displaying the calculated result as a numerical value or expressing the avatar in color or shape.
  • a computer program for executing a method of realizing physical motion in a virtual space using an EMG signal according to an embodiment and a computer readable recording medium storing the same may be provided.
  • the avatar in the virtual space can be controlled using the EMG signal generated from the muscle, a user with a human body part that is defective or disabled may utilize a human-human interface system.
  • the malfunction rate according to individual differences or environmental conditions can be significantly reduced. have.
  • FIG. 1 is a block diagram showing a system for implementing physical motion in a virtual space using an EMG signal according to an embodiment.
  • FIG. 2 shows a state in which an EMG signal is sensed using an EMG sensor attached to a user's body part and a sensed EMG signal pattern.
  • FIG. 3 shows a state of an avatar implemented in a virtual space according to an embodiment.
  • FIG. 4 is a flowchart illustrating a method of implementing physical motion in a virtual space using an EMG signal according to an embodiment.
  • the embodiments described herein may have aspects that are entirely hardware, partly hardware and partly software, or entirely software.
  • unit (unit) means that “module (module)”, “device (device)”, “server (server)” or “system (system)”, such as hardware, a combination of hardware and software, or software
  • a part, module, device, server, or system may refer to hardware, which constitutes part or all of a platform, and/or software, such as an application for driving the hardware.
  • the system 10 includes a sensor unit 100, a storage unit 200, an avatar creation unit 300, a processing unit 400, and a display unit 500. These are components necessary for implementing a system according to an embodiment of the present invention, and general components for performing mechanical/electrical coupling or wired/wireless communication between the components may be further included, but the technical spirit of the invention may be clarified. Descriptions of general components will be omitted for the purpose of illustration.
  • the EMG signal pattern is not only large for individual differences, but also for environmental conditions (eg, muscle condition or temperature of the same user). Etc.), the accuracy may decrease.
  • the present invention provides a system capable of improving the accuracy of matching between the EMG signal and the avatar motion. Specifically, by determining the avatar operation command in a manner of pre-storing the EMG signal pattern according to the user's motion and comparing the detected EMG signal pattern with the pre-stored pattern, the malfunction rate according to individual differences or body conditions can be significantly reduced. have.
  • a calibration process of pre-storing the user's EMG signal pattern is performed.
  • the user's EMG signal is detected using the sensor unit 100 and the extracted EMG signal pattern data is stored in the storage unit 200.
  • the sensor unit 100 is attached to the user's body part to detect the EMG signal.
  • Electromyogram is an electrical signal that records the action potentials generated by muscles, which can be measured by attaching an electrode to the user's skin surface or by inserting a needle directly into the muscle.
  • EMG Electromyogram
  • the sensor unit 100 is composed of three electrodes. Two electrodes are attached to the body part to sense the EMG signal side by side, and the other electrode is attached to the side close to the heart. The more electrode sensors that are attached, the more accurate the EMG signal pattern analysis can be.
  • the EMG signal to be controlled can be measured. This is because the muscle fibers for moving the fingers are connected to the brachial biceps, and if such a principle is used, even a user with a missing part of the fingers can implement the finger movement of the avatar using the EMG signal generated from the biceps.
  • the user performs an operation according to a series of instructions (for example, "hold the fist"), and the EMG signal of the muscle that is activated to perform the operation is detected by the sensor unit and transmitted to the computer device.
  • the computer device is a concept including all types of devices having a processor such as a desktop, laptop, and smartphone, and the transmission of signals may be performed by wired or wireless transmission.
  • the amplitude of the EMG signal pattern may have a range of 1 to 1024 steps. According to this, it is possible to classify the magnitude, speed, and intensity of the avatar operation step by step by dividing the strength of the EMG signal detected for the same region into 1 to 1024 steps.
  • the EMG signal pattern data having the amplitude of 1024 steps is stored in an array over time.
  • the number of arrays is equal to the number of sensors attached.
  • the detected EMG signal is processed by the processor (processor) and stored in the EMG signal pattern.
  • the EMG signal pattern is a combination of EMG signals generated when performing a specific operation and represented as waveform data (see FIG. 2 ).
  • the EMG signal pattern may be different according to the operation, and even the same operation may be different according to the intensity.
  • the EMG signal pattern according to the operation measured using the sensor unit 100 is dataized and stored in the storage unit 200.
  • the EMG signal pattern (S1) for the fist gripping motion (A1), the EMG signal pattern (S2) for the fist opening motion (A2), and the EMG signal pattern for the motion (A3) for rotating the index finger (S3) is classified and stored.
  • the storage unit 200 is a concept including both volatile and nonvolatile memories included in a computer device, and may include storage of an external server.
  • the avatar generator 300 creates a user's avatar in a 3D space or a virtual reality environment.
  • an avatar refers to a virtual character that can be controlled according to a user's command in a virtual reality implemented as a virtual space by computer programming rather than real reality.
  • the appearance of the avatar may be a human shape having a similar appearance to the user in order to improve the user's immersion and provide a smooth biofeedback, but is not limited to a specific form.
  • an avatar when combined with Augmented Reality technology, an avatar may be implemented on a field of view in which a real environment and a virtual space are synchronized.
  • FIG. 3 shows a state of an avatar implemented in a virtual space according to an embodiment.
  • an area where an EMG signal of a user is measured (arm part) and an action part (hand part) of an avatar appear differently, as described above, an EMG signal generated in an arm part when the user takes a hand gesture as described above. This is because the avatar is controlled by using.
  • an avatar may be generated based on a biosignal other than the EMG signal. For example, by detecting changes in the user's heart rate or face temperature, the avatar's face color is changed accordingly, facial expressions and postures are changed, or the safety signal (EOG) is measured to blink the user's gaze direction or eyes. It is possible to apply such as expressing the gaze direction of the avatar by sensing. As described above, appropriately changing the shape or attitude of the avatar of the virtual environment according to the user's biosignal can improve the presence and immersion in virtual reality.
  • EOG safety signal
  • the avatar generated in the 3D space or the virtual reality environment performs an operation that matches the previously stored EMG signal pattern as described below. Using this, even if the user does not actually perform the corresponding action, it is possible to control the avatar of the virtual reality to perform a specific action through the EMG signal. For example, if a user with a part of a finger that is defective or has a disability attempts to move a finger, the finger does not actually move, but an EMG signal is generated to perform the corresponding action in the arm muscle. can do.
  • the EMG signal pattern according to the user's motion may be stored in advance and an avatar matching the EMG signal pattern may be generated. Then, when the user's EMG signal is detected, the avatar performs a matching operation. According to this, it is possible to improve the accuracy and reliability of the technology by solving the problem that the EMG signal is differently measured for each person and does not match the avatar operation.
  • the EMG signal pattern stored in the previous calibration mode and the newly detected EMG signal pattern may be compared and analyzed to determine the user's intention, that is, an operation command, and control the avatar accordingly.
  • the EMG signal is detected using the sensor unit 100 attached to the user's body part.
  • two electrodes are attached side by side to the body part to detect the EMG signal, and the other electrode is attached to the side close to the heart.
  • an EMG signal is generated as the muscle fibers of the brachial biceps associated with the finger are activated. . Since the EMG signal occurs faster than the actual physical motion, the avatar of the virtual world can operate faster than the user actually moves.
  • the processor 400 determines the pattern of the detected EMG signal by comparing the detected EMG signal with a previously stored EMG signal pattern, and controls the avatar to be matched according to the pattern. In other words, when the detected EMG signal pattern S1' is similar to the EMG signal pattern S1 corresponding to the fist gripping action A1, it is determined that the user is performing the fist gripping motion, and the avatar matches the fist Controls to perform the gripping action.
  • the processing unit 400 may examine the similarity of the EMG signal patterns S1 and S1' to determine that the EMG signal pattern corresponds when the similarity is greater than or equal to a threshold.
  • the processor 400 may process the EMG signal through frequency filtering and/or feature selection to improve measurement accuracy. Specifically, a low-pass filter may be used to remove high-frequency noise, and a band-pass filter may be used to select a specific frequency domain, or a specific frequency domain may be removed. If desired, a band-stop filter may be used.
  • the feature vector can be extracted by calculating the mean, deviation, root mean square (RMS), skewness, kurtosis, dominant frequency (DF), etc. It is used to determine the corresponding user's command.
  • RMS root mean square
  • skewness skewness
  • kurtosis dominant frequency
  • the amplitude of the EMG signal pattern may have a range of 1 to 1024 steps. According to this, it is possible to classify the magnitude, speed, and intensity of the avatar operation step by step by dividing the strength of the EMG signal detected for the same region into 1 to 1024 steps.
  • the sensor unit 100 may simultaneously detect a plurality of EMG signals for an attached body part.
  • the muscle of the human body is composed of a plurality of muscle fibers, and the magnitude of the force generated by the muscle is determined according to whether each muscle fiber is activated.
  • the present invention applies this principle to the human-computer interface, and subdivides the size, speed, and intensity of the avatar operation step by step according to the number of EMG signals detected for the same site. For example, when the number of detected EMG signals is 500 than 100, the avatar may be implemented to have a faster operation speed.
  • the display unit 500 is a component that visually displays the operation of the avatar, and may include all types of output devices capable of realizing the operation of the avatar, such as TV, monitor, and HMD, in 3D graphics.
  • the output unit 500 is a light emitting diode (LED), an organic light emitting device (OLED), a light emitting polymer (LEP), an electroluminescent device (EL), a field emission device (FED), or a polymer light emitting device (PLED) ) May be applied.
  • LED light emitting diode
  • OLED organic light emitting device
  • LEP light emitting polymer
  • EL electroluminescent device
  • FED field emission device
  • PLED polymer light emitting device
  • the display unit 500 may be configured as a head mounted display (HMD) device that is wearable on the head.
  • the HMD device is a next-generation display device that can be worn on a user's head to view the screen through a display corresponding to both eyes.
  • the rotation value including the IMU sensor it is possible to synchronize the user's head movement through the rotation value including the IMU sensor. Through this, the user can feel a better immersion than watching with a conventional monitor device in an augmented reality or virtual reality environment.
  • FIG. 3 shows a state of an avatar implemented in a 3D space according to an embodiment.
  • an area where an EMG signal of a user is measured (arm part) and an action part (hand part) of an avatar appear differently, as described above, an EMG signal generated in an arm part when the user takes a hand gesture as described above. This is because the avatar is controlled by using.
  • the avatar performs a limited operation such as a hand or finger operation, but the operation that the avatar can perform is not limited thereto.
  • the EMG signal pattern generated when the user takes the action of lifting the right leg (R1) and the action of lifting the left leg (L1) matches the action of the avatar lifting each leg, and the two actions ( When each of R1 and L1) is performed once, various actions can be performed by implementing the avatar to advance one step in the virtual space.
  • the processing unit 400 calculates bio-information such as muscle mass of the body part to which the sensor is attached, based on the measured EMG signal pattern, and expresses the calculated result as a numerical value or an avatar implemented in a 3D space. It can be expressed in color and shape. According to the conventional input method (keyboard, mouse, joystick, gesture recognition, etc.), it is possible to make the avatar perform a specific action or move the position, but in the embodiment of the present invention, the avatar is controlled based on the user's actual EMG signal. Therefore, calories consumed in the operation can be calculated for each body part.
  • bio-information such as muscle mass of the body part to which the sensor is attached
  • the amount of exercise is measured based on the actual muscle movement, not based on distance, such as a treadmill, more accurate biometric information, calorie consumption, and the like can be obtained. It is possible to measure even movements without external movements such as lifting and yoga.
  • the RMS value of the EMG signal detected by the normal arm without lifting the dumbbell is 0%, and the RMS value of the EMG signal detected by the arm when lifting the dumbbell as much as possible. Converting to 100%, you can measure the calorie consumption by lifting a dumbbell.
  • the EMG signal is measured at the A, B, and C regions of the user's left arm, respectively, if the strength ratio of each region is A:3, B:2, C:5, the total amount of calories is divided accordingly to calculate the calorie consumption per region. You can also measure.
  • the calorie consumption measured in real time can be displayed as a graph over time in a part of the 3D space.
  • the RMS value of each EMG signal may be matched to the RGB color, so that the color of the avatar part is green when the dumbbell is not lifted, and the color of the avatar part is changed to red when the dumbbell is lifted as much as possible.
  • the RMS value of each EMG signal may be matched to the volume value of the avatar area, and may be implemented to change stepwise to the minimum volume when the dumbbell is not lifted and the maximum volume when the dumbbell is lifted as much as possible.
  • the calorie consumption or change in color and shape of the avatar described in the above embodiment may be pre-calibrated according to each exercise posture or exercise device, or may be set to change in response to the RMS value of the general EMG signal.
  • FIG. 4 is a flowchart illustrating a method of implementing physical motion in a virtual space using an EMG signal according to an embodiment.
  • Each of the steps (S10 to S60) shown in FIG. 4 is not necessarily in a sequential or essential relationship. That is, some steps may be omitted or executed in a different order.
  • a step of pre-storing the EMG signal pattern according to the user's operation is performed (S10).
  • the EMG signal is sensed through the sensor unit attached to the user's body part, and the detected EMG signal is stored in the EMG signal pattern by the processor (processor).
  • a step of generating a virtual avatar performing an operation matching the previously stored EMG signal pattern is performed (S20 ).
  • the avatar generator generates a user's avatar in a 3D space or a virtual reality environment as shown in FIG. 3.
  • the avatar generated in the virtual space performs an operation that matches the previously stored EMG signal pattern as described below.
  • Augmented Reality technology an avatar can be implemented on a field of view in which a real environment and a virtual space are synchronized.
  • the EMG signal pattern according to the user's motion may be stored in advance and an avatar matching the EMG signal pattern may be generated.
  • the avatar performs a matching operation.
  • a step of sensing the EMG signal using the EMG sensor attached to the user's body part is performed (S30).
  • the sensor unit can simultaneously detect 1 to 1024 EMG signals for the attached body part. According to this, the total amount (1 to 1024) of the EMG signals detected for the same area is classified to determine the size, speed, and intensity of avatar motion. You can subdivide it step by step.
  • a step of determining a pattern of the detected EMG signal is performed by comparing the detected EMG signal with a previously stored EMG signal pattern (S40). Even if the EMG signal is extracted from the same body part of the same user, there may be a difference from the EMG signal pattern stored in advance by various factors such as physical condition and environmental conditions. To solve this, the processor may examine the similarity of the EMG signal patterns and determine that the corresponding EMG signal pattern when the similarity is greater than or equal to a threshold.
  • a step of controlling the avatar to perform the matching operation according to the pattern is executed (S50 ). For example, when the sensed EMG signal pattern S1' is similar to the EMG signal pattern S1 corresponding to the fist-A1 action (i.e., when the degree of similarity is greater than or equal to a threshold), the user's fist-holding action It is determined that it is taking, and in the virtual space, the avatar is controlled to perform a fist-matching action. Since the EMG signal occurs faster than the actual physical motion, the avatar of the virtual world can operate faster than the user actually moves.
  • the display unit includes arbitrary output devices capable of displaying the operation of the avatar in a 3D virtual space such as a TV, a monitor, and a head mounted display (HMD).
  • a method of implementing physical motion in a virtual space using an EMG signal may be implemented as an application or implemented in the form of program instructions that can be executed through various computer components to be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, or the like alone or in combination.
  • the program instructions recorded on the computer-readable recording medium are specially designed and configured for the present invention, and may be known and available to those skilled in the computer software field.
  • a computer software field For example, chicken for the hardware language, Unity Engine for the avatar expression software, and C# for the software language may be used.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs, DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes produced by a compiler, but also high-level language codes executable by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.
  • the avatar of the virtual reality can be controlled using the EMG signal generated from the muscle, so that the user with a missing part of the body or the disabled is also human-
  • the human interface system can be utilized.
  • the avatar operation command is determined in a manner of pre-storing the EMG signal pattern according to the user's motion and comparing the detected EMG signal pattern with the pre-stored pattern, the malfunction rate according to individual differences or environmental conditions can be reduced. have.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 따른 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템은, 사용자의 동작에 따른 근전도 신호 패턴을 미리 저장하는 저장부; 미리 저장된 근전도 신호 패턴과 매칭되는 동작을 수행하는 가상의 아바타를 생성하는 아바타 생성부; 사용자의 신체부위에 부착되어 근전도 신호를 감지하는 센서부; 상기 감지된 근전도 신호를 미리 저장된 근전도 신호 패턴과 비교하여 감지된 근전도 신호의 패턴을 결정하고, 상기 패턴에 따라 아바타가 매칭되는 동작을 수행하도록 하는 처리부; 및 상기 아바타의 동작을 시각적으로 표시하는 표시부를 포함한다.

Description

근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템 및 방법
본 발명은 인간-컴퓨터 상호작용(Human-Computer Interaction) 기술에 관한 것으로서, 더욱 상세하게는 신체동작을 수행할 때 발생하는 근전도 신호를 추출하고 이에 대응되는 아바타 동작을 3차원 가상공간에서 구현하기 위한 시스템 및 방법에 관한 것이다.
최근 인간의 생체 신호를 이용하여 전자 장치나 외골격 로봇을 제어하는 기술이 활발하게 연구되고 있다. 그 중에서도 인간-컴퓨터 인터페이스(HCI; Human-Computer Interface) 기술은 인간의 신경 체계의 전기적인 특성을 이용하여 인간의 신경 신호와 컴퓨터를 연결하는 기술이다. 일반적으로 전극 센서를 이용해 생체신호를 측정하고, 생체신호에 대응되는 제어신호를 생성하여 디바이스를 제어하는 인터페이스를 제공하며, 인지 관련 연구, 운동 재활, 척추마비 환자를 위한 외골격 로봇 또는 전동 휠체어 등 다양한 산업 분야에서 활용되고 있다.
생체신호는 인체의 특정 신체조직, 장기 또는 신경 체계와 같은 세포 조직에서 발생되는 전기적 또는 자기적 신호를 의미하는데, 근전도(EMG), 뇌전도(EEG), 안전도(EOG), 심전도(ECG), 피부전도도(GSR) 등의 신호가 이에 포함된다. 생체신호는 사용자의 의사에 따라 인위적으로 발생시킬 수 있거나 특정 자극에 의해 유도될 수 있으며, 사용자의 의사와 무관하게 발생될 수도 있다.
이러한 생체신호는 의료분야에서 치료나 재활의 목적으로 활용되거나, 인간-컴퓨터 인터페이스(HCI) 분야에서 사용자의 동작 의도를 추론하여 컴퓨터, 기계, 로봇 등의 동작을 제어하는 용도로 활용범위가 넓어지고 있다.
최근에는 인간-컴퓨터 인터페이스 기술의 발전에 힘입어, 생체신호를 이용하여 가상현실(Virtual Reality) 환경의 오브젝트와 상호작용하는 기술이 개발되고 있다. 가상현실은 컴퓨터 상에서 새로운 가상의 공간을 구현하고 모니터나 헤드마운티드 디스플레이(HMD) 등의 출력장치에 이를 출력하는 기술로서, 사용자에게 시각을 비롯한 여러 감각적인 현상을 가상의 상황에서 체험할 수 있는 공간을 구현하여 사용자에게 마치 실재하는 공간과 같은 느낌을 제공할 수 있다. 이러한 가상현실은 시각적, 물리적인 제약을 넘어서는 가상의 공간 및 활동을 제공할 수 있다.
사용자는 가상현실 환경 내에서 특정 동작을 수행하거나 가상의 오브젝트와 상호작용하게 되는데, 가상현실 환경은 주로 사용자의 실제 환경에 대한 시야를 차단한 후 HMD 등의 웨어러블 장치를 통해 제공되기 때문에, 키보드나 마우스와 같은 종래의 입력장치로는 조작의 정확도가 떨어질 수밖에 없었다. 이를 해결하기 위해 광학센서나 IMU 센서를 이용하여 사용자의 제스처를 인식하고, 제스처에 기반하여 장치를 제어하는 직관적인 입력방식이 선호되고 있다. 그러나 제스처 기반의 입력 방식은 신체 일부가 결손되거나 장애가 있는 사용자에 대해서는 적절한 해답이 될 수 없었다.
이에 본 발명은 생체신호, 특히 근육에서 발생하는 근전도(EMG) 신호의 패턴을 분석하고, 3차원 가상공간 내 아바타가 상기 패턴과 매칭되는 동작을 실시간으로 수행하도록 제어하는 시스템을 제공하고자 한다.
이와 같은 생체신호 기반의 제어 기술에 있어서, 생체신호와 아바타 동작의 매칭을 신뢰성 있게 구현하는 것이 중요하다. 그러나 근전도 신호의 패턴은 개인차가 클 뿐만 아니라 동일한 사용자에 대해서도 근육 컨디션이나 환경 조건에 따라 상이하게 측정되므로 매칭의 정확도가 떨어질 수 있다. 본 발명은 생체신호와 아바타 동작간의 매칭의 정확도를 향상시킬 수 있는 시스템을 제공하고자 한다.
또한, 미리 지정된 신체동작 제스처만을 구현할 수 있었던 종래기술의 문제점을 해결하기 위해, 다양한 신체동작에 대해 범용적으로 적용될 수 있는 생체신호 기반 아바타 제어 시스템을 제공하고자 한다.
본 발명의 일 실시예에 따른 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템은, 사용자의 동작에 따른 근전도 신호 패턴을 미리 저장하는 저장부; 미리 저장된 근전도 신호 패턴과 매칭되는 동작을 수행하는 가상의 아바타를 생성하는 아바타 생성부; 사용자의 신체부위에 부착되어 근전도 신호를 감지하는 센서부; 상기 감지된 근전도 신호를 미리 저장된 근전도 신호 패턴과 비교하여 감지된 근전도 신호의 패턴을 결정하고, 상기 패턴에 따라 아바타가 매칭되는 동작을 수행하도록 하는 처리부; 및 상기 아바타의 동작을 시각적으로 표시하는 표시부를 포함한다.
일 실시예에서, 상기 근전도 신호 패턴의 진폭은 1 내지 1024 단계의 범위를 갖고, 상기 아바타 동작의 크기, 속도 또는 강도는, 상기 근전도 신호 패턴의 진폭 범위에 기초하여 결정될 수 있다.
일 실시예에서, 상기 처리부는 상기 근전도 신호 패턴에 기초하여 상기 신체부위의 생체정보를 계산하고, 계산된 결과를 수치로 표시하거나 상기 아바타에 색상 또는 모양으로 표현할 수 있다.
본 발명의 일 실시예에 따른 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 방법은, 사용자의 동작에 따른 근전도 신호 패턴을 미리 저장하는 단계; 미리 저장된 근전도 신호 패턴과 매칭되는 동작을 수행하는 가상의 아바타를 생성하는 단계; 사용자의 신체부위에 부착된 센서를 이용하여 근전도 신호를 감지하는 단계; 상기 감지된 근전도 신호를 미리 저장된 근전도 신호 패턴과 비교하여 감지된 근전도 신호의 패턴을 결정하는 단계; 상기 패턴에 따라 아바타가 매칭되는 동작을 수행하도록 제어하는 단계; 및 상기 아바타의 동작을 시각적으로 표시하는 단계를 포함한다.
일 실시예에서, 상기 근전도 신호 패턴의 진폭은 1 내지 1024 단계의 범위를 갖고, 상기 아바타 동작의 크기, 속도 또는 강도는, 상기 근전도 신호 패턴의 진폭 범위에 기초하여 결정될 수 있다.
일 실시예에서, 상기 근전도 신호 패턴에 기초하여 상기 신체부위의 생체정보를 계산하는 단계; 및 상기 계산된 결과를 수치로 표시하거나 상기 아바타에 색상 또는 모양으로 표현하는 단계를 더 포함할 수 있다.
일 실시예에 따른 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 방법을 실행하기 위한 컴퓨터 프로그램 및 이를 저장하는 컴퓨터 판독 가능한 기록매체가 제공될 수 있다.
본 발명의 실시예에 따르면, 근육에서 발생한 근전도 신호를 이용하여 가상공간의 아바타를 제어할 수 있으므로, 신체 일부가 결손되거나 장애가 있는 사용자도 인간-휴먼 인터페이스 시스템을 활용할 수 있다.
또한, 사용자의 동작에 따른 근전도 신호 패턴을 미리 저장하고, 감지된 근전도 신호의 패턴과 미리 저장된 패턴을 비교하는 방식으로 아바타 동작 명령을 결정함으로써, 개인차 또는 환경조건에 따른 오작동률을 현저히 감소시킬 수 있다.
도 1은 일 실시예에 따른 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템을 나타낸 구성도이다.
도 2는 사용자의 신체부위에 부착된 근전도 센서를 이용하여 근전도 신호를 감지하는 모습과 감지된 근전도 신호 패턴을 나타낸다.
도 3은 일 실시예에 따라 가상공간에 구현된 아바타의 모습을 나타낸다.
도 4는 일 실시예에 따른 근전도 신호를 이용하여 신체동작을 가상의 공간에 구현하는 방법을 나타낸 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
또한, 본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치(device)", "서버(server)" 또는 "시스템(system)" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 부, 모듈, 장치, 서버 또는 시스템은 플랫폼(platform)의 일부 또는 전부를 구성하는 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 애플리케이션(application) 등의 소프트웨어를 지칭하는 것일 수 있다.
이하, 도면들을 참조하여 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
근전도 신호 기반 아바타 제어 시스템
도 1은 일 실시예에 따른 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템을 나타낸 구성도이다. 도 1을 참조하면, 시스템(10)은 센서부(100), 저장부(200), 아바타 생성부(300), 처리부(400) 및 표시부(500)를 포함한다. 이는 본 발명의 일 실시예에 따른 시스템을 구현하는데 필요한 구성요소들로서, 상기 구성요소들 간의 기계적/전기적 결합 또는 유무선 통신을 수행하기 위한 일반적인 구성요소들이 더 포함될 수 있으나, 발명의 기술적 사상을 명료하게 나타내기 위해 일반적인 구성요소에 대한 설명은 생략하도록 한다.
생체신호 기반 아바타 제어 시스템에 있어서, 생체신호와 아바타 동작의 매칭을 신뢰성 있게 구현하는 것이 중요한데, 근전도 신호의 패턴은 개인차가 클 뿐만 아니라 동일한 사용자에 대해서도 환경 조건(예를 들어, 근육의 컨디션이나 온도 등)에 따라 상이하게 측정되므로 정확도가 떨어질 수 있다.
이에 본 발명은 근전도 신호와 아바타 동작간의 매칭의 정확도를 향상시킬 수 있는 시스템을 제공한다. 구체적으로, 사용자의 동작에 따른 근전도 신호 패턴을 미리 저장하고, 감지된 근전도 신호의 패턴과 미리 저장된 패턴을 비교하는 방식으로 아바타 동작 명령을 결정함으로써 개인차 또는 신체 컨디션에 따른 오작동률을 현저히 감소시킬 수 있다.
이를 위해, 먼저 사용자의 근전도 신호 패턴을 미리 저장하는 캘리브레이션(calibration) 과정이 수행된다. 이 단계에서는 센서부(100)를 이용해 사용자의 근전도 신호를 감지하고, 추출된 근전도 신호 패턴 데이터를 저장부(200)에 저장하게 된다.
<캘리브레이션 및 아바타 생성 모드>
센서부(100)는 사용자의 신체부위에 부착되어 근전도 신호를 감지한다. 근전도 신호(EMG; electromyogram)는 근육에서 발생하는 활동전위를 전기적인 신호로 기록한 것으로서, 사용자의 피부 표면에 전극을 부착하거나 근육에 직접 바늘을 꽂아서 측정할 수 있다. 특정 신체부위에 감각적인 자극을 가하거나 사용자가 의도적으로 근육을 활성화시킴으로써 원하는 특성의 근전도 신호를 발생시킬 수 있고, 이를 특정 명령(command)과 매칭함으로써 디바이스를 제어할 수 있다.
도 2를 참조하면, 사용자의 신체부위에 부착된 근전도 센서를 이용하여 근전도 신호를 감지하는 모습과 감지된 근전도 신호 패턴이 도시되어 있다. 일 실시예에서 센서부(100)는 3개의 전극으로 구성되는데, 근전도 신호를 감지하고자 하는 신체부위에 2개의 전극을 나란히 부착하고, 나머지 1개의 전극은 심장에 가까운 쪽에 부착한다. 부착되는 전극 센서가 많을수록 근전도 신호 패턴 분석의 정확도가 향상될 수 있다.
예를 들어, 손동작(주먹을 쥐거나 피는 동작, 특정 손가락을 구부리거나 피는 동작 등)에 따른 근전도 신호의 측정을 원하는 경우, 도 2와 같이 팔의 상완이두근 부위에 전극을 부착하면 손가락의 동작을 제어하는 근전도 신호를 측정할 수 있다. 이는 손가락을 움직이기 위한 근섬유가 상완이두근과 연결되어 있기 때문이며, 이와 같은 원리를 이용하면, 손가락 일부가 결손된 사용자도 상완이두근에서 발생하는 근전도 신호를 이용해 아바타의 손가락 동작을 구현할 수 있다.
사용자는 일련의 지시(예를 들어, "주먹을 쥐어보세요")에 따라 동작을 수행하고, 이 동작을 수행하기 위해 활성화되는 근육의 근전도 신호를 센서부에서 감지하여 컴퓨터 장치로 전송한다. 컴퓨터 장치는 데스크톱, 랩톱, 스마트폰 등 프로세서를 구비하는 모든 형태의 장치를 포함하는 개념이며, 신호의 전송은 유선 또는 무선 전송에 의해 이루어질 수 있다.
일 실시예에서, 상기 근전도 신호 패턴의 진폭은 1 내지 1024 단계의 범위를 가질 수 있다. 이에 따르면, 동일한 부위에 대해서 감지된 근전도 신호의 세기를 1~1024 단계로 구분하여 아바타 동작의 크기, 속도, 강도를 단계별로 세분화할 수 있다.
측정을 완료하면 1024 단계의 진폭을 갖는 근전도 신호 패턴 데이터가 시간의 흐름에 따라 배열로 저장된다. 배열의 수는 부착되는 센서의 수와 같다.
감지된 근전도 신호는 처리부(프로세서)에 의해 처리되어 근전도 신호 패턴으로 저장된다. 근전도 신호 패턴은 특정한 동작을 수행할 때 발생하는 근전도 신호를 취합하여 파형의 데이터로 나타낸 것이다(도 2 참조). 근전도 신호 패턴은 동작에 따라 상이하게 나타나고, 같은 동작이라도 세기에 따라 상이하게 나타날 수 있다.
센서부(100)를 이용해 측정된 동작에 따른 근전도 신호 패턴은 데이터화되어 저장부(200)에 저장된다. 예를 들어, 주먹을 쥐는 동작(A1)에 대한 근전도 신호 패턴(S1), 주먹을 펴는 동작(A2)에 대한 근전도 신호 패턴(S2), 검지 손가락을 회전시키는 동작(A3)에 대한 근전도 신호 패턴(S3)을 각각 분류하여 저장한다. 저장부(200)는 컴퓨터 장치 내에 포함된 휘발성, 비휘발성 메모리를 모두 포함하는 개념이며, 외부 서버의 저장소를 포함할 수도 있다.
아바타 생성부(300)는, 3차원 공간 또는 가상현실(Virtual Reality) 환경에서 사용자의 아바타를 생성한다. 본 명세서에서 아바타(avatar)는 실제 현실이 아닌 컴퓨터 프로그래밍에 의해 가상의 공간으로 구현된 가상현실에서 사용자의 명령에 따라 제어될 수 있는 가상의 캐릭터를 의미한다. 아바타의 생김새는 사용자의 몰입감을 향상시키고 원활한 바이오피드백을 제공하기 위해 사용자와 유사한 생김새를 갖는 인간의 형상일 수 있으나 특정 형태로 한정되지는 아니한다. 또한, 증강현실(Augmented Reality) 기술과 결합하면 실제 환경과 가상의 공간이 동기화된 시야 상에 아바타를 구현할 수도 있다.
도 3은 일 실시예에 따라 가상공간에 구현된 아바타의 모습을 나타낸다. 도 3을 참조하면, 실제 환경에서 사용자의 근전도 신호를 측정하는 부위(팔 부위)와 아바타의 동작부위(손 부위)가 다르게 나타나는데, 이는 전술하였듯이 사용자가 손동작을 취할 때 팔 부위에서 발생하는 근전도 신호를 이용하여 아바타를 제어하기 때문이다.
일 실시예에서, 근전도 신호 외 다른 생체신호에 기초하여 아바타가 생성될 수 있다. 예를 들어, 사용자의 심장박동 변화 또는 얼굴온도 변화를 감지하여 이에 따라 아바타의 얼굴색상을 변화시키거나 표정 및 자세를 변화시키거나, 안전도 신호(EOG)를 측정하여 사용자의 시선방향 또는 눈 깜빡임을 감지하여 이에 따라 아바타의 시선방향을 표현하는 등의 적용이 가능하다. 이와 같이 사용자의 생체신호에 따라 가상환경의 아바타의 형상이나 태도를 적절히 변화시키는 것은 가상현실에서의 실재감과 몰입감을 향상시킬 수 있다.
3차원 공간 또는 가상현실 환경에 생성된 아바타는 후술하는 바와 같이 미리 저장된 근전도 신호 패턴과 매칭되는 동작을 수행한다. 이를 이용하면, 사용자가 실제로 해당 동작을 수행하지 않더라도 근전도 신호를 통해 가상현실의 아바타가 특정한 동작을 행하도록 제어할 수 있다. 예를 들어, 손가락 일부가 결손되거나 장애가 있는 사용자가 손가락을 움직이려고 하면 실제로 손가락이 움직이지는 않으나, 팔 근육에서 해당 동작을 수행하기 위한 근전도 신호가 발생하므로 이를 이용해 가상공간의 아바타가 손가락을 움직이도록 할 수 있다.
이상과 같이 사용자의 동작에 따른 근전도 신호 패턴을 미리 저장하고 이에 매칭되는 아바타를 생성할 수 있다. 이후 사용자의 근전도 신호가 감지되면 아바타는 매칭되는 동작을 수행하게 된다. 이에 따르면, 사람마다 근전도 신호가 상이하게 측정되어 아바타 동작과 매칭되지 않는 문제점을 해결하여 기술의 정확도와 신뢰성을 향상시킬 수 있다.
<실시간 제어 모드>
실시간 제어 모드에서는, 앞서 캘리브레이션 모드에서 저장된 근전도 신호 패턴과, 새로 감지된 근전도 신호 패턴을 비교 분석하여 사용자의 의도, 즉 동작 명령을 결정하고 이에 따라 아바타를 실시간으로 제어할 수 있다.
먼저, 사용자의 신체부위에 부착된 센서부(100)를 이용하여 근전도 신호를 감지한다. 마찬가지로, 근전도 신호를 감지하고자 하는 신체부위에 2개의 전극을 나란히 부착하고, 나머지 1개의 전극은 심장과 가까운 쪽에 부착한다. 예를 들어, 상완이두근에 전극을 부착한 후 손동작(주먹을 쥐거나 피는 동작, 특정 손가락을 구부리거나 피는 동작 등)을 수행하려고 하면, 손가락과 연결된 상완이두근의 근섬유가 활성화되면서 근전도 신호가 발생한다. 근전도 신호는 실제 물리적인 동작보다도 더 빨리 발생하므로, 사용자가 실제로 움직이는 것보다 가상세계의 아바타가 더 빨리 동작할 수 있다.
처리부(400)는 상기 감지된 근전도 신호를 미리 저장된 근전도 신호 패턴과 비교하여 감지된 근전도 신호의 패턴을 결정하고, 상기 패턴에 따라 아바타가 매칭되는 동작을 수행하도록 제어한다. 즉, 감지된 근전도 신호 패턴(S1')이 주먹을 쥐는 동작(A1)에 대응되는 근전도 신호 패턴(S1)과 유사한 경우, 사용자가 주먹을 쥐는 동작을 취하고 있다고 결정하고, 아바타가 이에 매칭되는 주먹을 쥐는 동작을 수행하도록 제어한다.
동일한 사용자의 동일한 신체부위에서 근전도 신호를 추출하는 경우라 할지라도, 신체 컨디션이나 환경 조건 등 다양한 요인에 의해 미리 저장된 근전도 신호 패턴과 차이가 있을 수 있다. 이를 해결하기 위해, 처리부(400)는 근전도 신호 패턴들(S1 및 S1')의 유사도(similarity)를 검사하여 유사도가 임계치 이상일 경우 대응되는 근전도 신호 패턴이라고 결정할 수 있다.
일 실시예에서, 처리부(400)는 측정의 정확도를 향상시키기 위해 근전도 신호를 주파수 필터링(frequency filtering) 및/또는 특징 선택(feature selection) 단계를 거쳐 처리할 수 있다. 구체적으로, 고주파 노이즈를 제거하고자 하는 경우 저역 통과 필터(low-pass filter)를 이용할 수 있고, 특정 주파수 영역을 선택하고자 하는 경우 대역 통과 필터(band-pass filter)를 이용하거나, 특정 주파수 영역을 제거하고자 하는 경우 대역 저지 필터(band-stop filter)를 이용할 수 있다.
또한, 근전도 신호에 신호처리 함수를 적용해 평균, 편차, RMS(Root mean square), 왜도, 첨도, DF(Dominant frequency) 등을 계산하여 특징벡터를 추출할 수 있고, 추출된 특징벡터 데이터는 대응되는 사용자의 명령을 결정하는데 이용된다.
전술한 바와 같이, 상기 근전도 신호 패턴의 진폭은 1~1024 단계의 범위를 가질 수 있다. 이에 따르면, 동일한 부위에 대해서 감지된 근전도 신호의 세기를 1~1024 단계로 구분하여 아바타 동작의 크기, 속도, 강도를 단계별로 세분화할 수 있다.
일 실시예에서, 센서부(100)는 부착된 신체부위에 대하여 복수 개의 근전도 신호를 동시에 감지할 수 있다. 인체의 근육은 복수개의 근섬유로 이루어져 있으며, 각각의 근섬유가 활성화되는지 여부에 따라 근육에서 발생하는 힘의 크기가 결정된다. 본 발명은 이와 같은 원리를 인간-컴퓨터 인터페이스에도 적용하여, 동일한 부위에 대해서 감지된 근전도 신호의 개수에 따라 아바타 동작의 크기, 속도, 강도를 단계별로 세분화한다. 예를 들어, 감지된 근전도 신호의 개수가 100개인 경우보다 500개인 경우에 아바타의 동작 속도가 더 빠르도록 구현될 수 있다.
표시부(500)는 상기 아바타의 동작을 시각적으로 표시하는 구성요소로서, TV, 모니터, HMD 등 아바타의 동작을 3D 그래픽으로 구현할 수 있는 모든 형태의 출력장치들을 포함할 수 있다. 일 실시예에서, 출력부(500)는 발광다이오드(LED), 유기발광소자(OLED), 발광중합체(LEP), 전자발광소자(EL), 전계방출소자(FED), 또는 중합체발광소자(PLED) 등이 적용된 디스플레이로 구성될 수 있다.
또 다른 실시예에서, 표시부(500)는 머리에 착용 가능한 형태인 HMD(Head Mounted Display) 장치로 구성될 수 있다. HMD 장치는 사용자의 머리에 착용하여 양안에 대응되는 디스플레이를 통해 화면을 감상할 수 있는 차세대 디스플레이 장치이다. 일반적으로 IMU 센서를 포함하여 회전 값을 통해 사용자의 머리 움직임을 동기화 시킬 수 있다. 이를 통해, 사용자는 증강현실(Augmented Reality) 또는 가상현실(Virtual Reality) 환경에서 종래의 모니터 장치로 시청하는 것보다 더 뛰어난 몰입감을 느낄 수 있다.
도 3은 일 실시예에 따라 3차원 공간에 구현된 아바타의 모습을 나타낸다. 도 3을 참조하면, 실제 환경에서 사용자의 근전도 신호를 측정하는 부위(팔 부위)와 아바타의 동작부위(손 부위)가 다르게 나타나는데, 이는 전술하였듯이 사용자가 손동작을 취할 때 팔 부위에서 발생하는 근전도 신호를 이용하여 아바타를 제어하기 때문이다.
상기한 실시예들에서는, 아바타가 손이나 손가락 동작과 같은 제한적인 동작을 수행하는 것에 대해서만 설명하였으나, 아바타가 수행할 수 있는 동작은 이에 한정되지 아니한다. 예를 들어, 사용자가 오른쪽 다리를 들어올리는 동작(R1) 및 왼쪽 다리를 들어올리는 동작(L1)을 취할 때 발생하는 근전도 신호 패턴을 아바타가 각각의 다리를 들어올리는 동작과 매칭하고, 두 동작(R1, L1)을 각각 한 번씩 수행하였을 때 아바타가 가상공간에서 한 걸음 전진하도록 구현함으로써, 다양한 동작을 수행할 수 있다.
<생체정보 측정 모드>
일 실시예에서, 처리부(400)는 측정된 근전도 신호 패턴에 기초하여, 센서가 부착된 신체부위의 근육량 등 생체정보를 계산하고, 계산된 결과를 수치로 표현하거나 3차원 공간에 구현되는 아바타에 색상, 모양으로 표현할 수 있다. 종래의 입력방식(키보드, 마우스, 조이스틱, 제스처 인식 등)에 의하면 아바타에게 특정 동작을 수행하게 하거나 위치를 이동시키는 것만 가능하지만, 본 발명의 실시예에서는 사용자의 실제 근전도 신호에 기초하여 아바타를 제어하므로, 동작에 소모되는 칼로리를 신체부위별로 계산할 수 있다.
이에 따르면, 러닝머신과 같이 거리에 기반하는 것이 아닌 실제 근육의 움직임에 기반하여 운동량을 측정하므로 보다 정확한 생체정보, 칼로리 소모량 등의 정보를 획득할 수 있고, 철봉 매달리기, 물구나무서기, 기마자세, 아령 들기, 요가동작 등 외적인 움직임이 없는 운동에 대해서도 측정이 가능하다.
예를 들어, 아령을 1회 드는데 10 Kcal가 소모된다고 가정하고, 아령을 들지 않은 평상시 팔에서 감지되는 근전도 신호의 RMS 값을 0퍼센트, 아령을 최대한 들어올렸을 때 팔에서 감지되는 근전도 신호의 RMS 값을 100퍼센트로 환산하면, 아령을 드는 동작에 따른 칼로리 소모를 측정할 수 있다. 또 다른 예로, 사용자의 왼팔 A, B, C 부위에서 각각 근전도 신호 측정 시, 각 부위의 근력 비중이 A:3, B:2, C:5 라면, 이에 따라 칼로리 총량을 나누어 부위별 칼로리 소모량을 측정할 수도 있다.
실시간으로 측정된 칼로리 소모량은, 3차원 공간의 일부에 시간에 따른 그래프로 표시될 수 있다.
다른 실시예에서, 각 근전도 신호의 RMS 값을 RGB 색상에 매칭하여, 아령을 들지 않았을 때 아바타 부위의 색상이 녹색, 아령을 최대한 들어올렸을 때 아바타 부위의 색상이 적색으로 단계적으로 변화하도록 구현할 수도 있다.
또 다른 실시예에서, 각 근전도 신호의 RMS 값을 아바타 부위의 부피 값에 매칭하여, 아령을 들지 않았을 때 최소 부피, 아령을 최대한 들어올렸을 때 최대 부피로 단계적으로 변화하도록 구현할 수도 있다.
상기 실시예에서 설명한 칼로리 소모 또는 아바타의 색상, 모양 변화는 각 운동자세 또는 운동기구에 따라 미리 캘리브레이션 과정을 거칠 수 있고, 또는 일반적인 근전도 신호의 RMS 값에 대응하여 변화하도록 설정될 수 있다.
근전도 신호 기반 아바타 제어방법
도 4는 일 실시예에 따른 근전도 신호를 이용하여 신체동작을 가상의 공간에 구현하는 방법을 나타낸 순서도이다. 도 4에 도시된 각 단계들(S10 내지 S60)은 반드시 순차적이거나 필수적인 관계에 있는 것은 아니다. 즉, 일부 단계들은 생략되거나 다른 순서로 실행될 수 있다.
먼저, 사용자의 동작에 따른 근전도 신호 패턴을 미리 저장하는 단계가 실행된다(S10). 사용자의 신체부위에 부착된 센서부를 통해 근전도 신호를 감지하고, 감지된 근전도 신호는 처리부(프로세서)에 의해 근전도 신호 패턴으로 저장된다.
이어서, 미리 저장된 근전도 신호 패턴과 매칭되는 동작을 수행하는 가상의 아바타를 생성하는 단계가 실행된다(S20). 아바타 생성부는 도 3과 같이 3차원 공간 또는 가상현실(Virtual Reality) 환경에서 사용자의 아바타를 생성한다. 가상공간에서 생성된 아바타는 후술하는 바와 같이 미리 저장된 근전도 신호 패턴과 매칭되는 동작을 수행한다. 또한, 증강현실(Augmented Reality) 기술과 결합하면 실제 환경과 가상의 공간이 동기화된 시야 상에 아바타를 구현할 수 있다.
이상과 같이 사용자의 동작에 따른 근전도 신호 패턴을 미리 저장하고 이에 매칭되는 아바타를 생성할 수 있다. 이후 단계에서는 사용자의 근전도 신호가 감지되면 아바타는 매칭되는 동작을 수행하게 된다.
이어서, 사용자의 신체부위에 부착된 근전도 센서를 이용하여 근전도 신호를 감지하는 단계가 실행된다(S30). 센서부는 부착된 신체부위에 대하여 1 내지 1024개의 근전도 신호를 동시에 감지할 수 있으며, 이에 따르면 동일한 부위에 대해서 감지된 근전도 신호의 총량(1~1024)을 구분하여 아바타 동작의 크기, 속도, 강도를 단계별로 세분화할 수 있다.
이어서, 상기 감지된 근전도 신호를 미리 저장된 근전도 신호 패턴과 비교하여 감지된 근전도 신호의 패턴을 결정하는 단계가 실행된다(S40). 동일한 사용자의 동일한 신체부위에서 근전도 신호를 추출하는 경우라 할지라도, 신체 컨디션이나 환경 조건 등 다양한 요인에 의해 미리 저장된 근전도 신호 패턴과 차이가 있을 수 있다. 이를 해결하기 위해, 처리부는 근전도 신호 패턴들의 유사도(similarity)를 검사하여 유사도가 임계치 이상일 경우 대응되는 근전도 신호 패턴이라고 결정할 수 있다.
이어서, 상기 패턴에 따라 아바타가 매칭되는 동작을 수행하도록 제어하는 단계가 실행된다(S50). 예를 들어, 감지된 근전도 신호 패턴(S1')이 주먹을 쥐는 동작(A1)에 대응되는 근전도 신호 패턴(S1)과 유사한 경우(즉, 임계치 이상의 유사도를 나타내는 경우), 사용자가 주먹을 쥐는 동작을 취하고 있다고 결정하고, 가상공간에서 아바타가 이에 매칭되는 주먹을 쥐는 동작을 수행하도록 제어한다. 근전도 신호는 실제 물리적인 동작보다도 더 빨리 발생하므로, 사용자가 실제로 움직이는 것보다 가상세계의 아바타가 더 빨리 동작할 수 있다.
마지막으로, 표시부에 상기 아바타의 동작을 시각적으로 표시하는 단계가 실행된다(S60). 표시부는 TV, 모니터, HMD(Head Mounted Display) 등 3차원 가상공간에서의 아바타의 동작을 표시할 수 있는 임의의 출력장치들을 포함한다.
실시예에 따른 근전도 신호를 이용하여 신체동작을 가상의 공간에 구현하는 방법은, 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 하드웨어 언어는 아두이노, 아바타 표현 소프트웨어는 유니티엔진, 소프트웨어 언어로는 C#을 이용할 수 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 설명한 근전도 신호를 이용하여 신체동작을 가상의 공간에 구현하는 시스템에 의하면, 근육에서 발생한 근전도 신호를 이용하여 가상현실의 아바타를 제어할 수 있으므로, 신체 일부가 결손되거나 장애가 있는 사용자도 인간-휴먼 인터페이스 시스템을 활용할 수 있다.
또한, 사용자의 동작에 따른 근전도 신호 패턴을 미리 저장하고, 감지된 근전도 신호의 패턴과 미리 저장된 패턴을 비교하는 방식으로 아바타 동작 명령을 결정하기 때문에, 개인차 또는 환경조건에 따른 오작동률을 감소시킬 수 있다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (7)

  1. 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템으로서,
    사용자의 동작에 따른 근전도 신호 패턴을 미리 저장하는 저장부;
    미리 저장된 근전도 신호 패턴과 매칭되는 동작을 수행하는 가상의 아바타를 생성하는 아바타 생성부;
    사용자의 신체부위에 부착되어 근전도 신호를 감지하는 센서부;
    상기 감지된 근전도 신호를 미리 저장된 근전도 신호 패턴과 비교하여 감지된 근전도 신호의 패턴을 결정하고, 상기 패턴에 따라 아바타가 매칭되는 동작을 수행하도록 하는 처리부; 및
    상기 아바타의 동작을 시각적으로 표시하는 표시부를 포함하는, 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템.
  2. 제1항에 있어서,
    상기 근전도 신호 패턴의 진폭은 1 내지 1024 단계의 범위를 갖고, 상기 아바타 동작의 크기, 속도 또는 강도는, 상기 근전도 신호 패턴의 진폭 범위에 기초하여 결정되는 것을 특징으로 하는, 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템.
  3. 제1항에 있어서,
    상기 처리부는, 상기 근전도 신호 패턴에 기초하여 상기 신체부위의 생체정보를 계산하고, 계산된 결과를 수치로 표시하거나 상기 아바타에 색상 또는 모양으로 표현하는 것을 특징으로 하는, 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템.
  4. 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 방법으로서,
    사용자의 동작에 따른 근전도 신호 패턴을 미리 저장하는 단계;
    미리 저장된 근전도 신호 패턴과 매칭되는 동작을 수행하는 가상의 아바타를 생성하는 단계;
    사용자의 신체부위에 부착된 센서를 이용하여 근전도 신호를 감지하는 단계;
    상기 감지된 근전도 신호를 미리 저장된 근전도 신호 패턴과 비교하여 감지된 근전도 신호의 패턴을 결정하는 단계;
    상기 패턴에 따라 아바타가 매칭되는 동작을 수행하도록 제어하는 단계; 및
    상기 아바타의 동작을 시각적으로 표시하는 단계를 포함하는, 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 방법.
  5. 제4항에 있어서,
    상기 근전도 신호 패턴의 진폭은 1 내지 1024 단계의 범위를 갖고, 상기 아바타 동작의 크기, 속도 또는 강도는, 상기 근전도 신호 패턴의 진폭 범위에 기초하여 결정되는 것을 특징으로 하는, 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 방법.
  6. 제4항에 있어서,
    상기 근전도 신호 패턴에 기초하여 상기 신체부위의 생체정보를 계산하는 단계; 및
    상기 계산된 결과를 수치로 표시하거나 상기 아바타에 색상 또는 모양으로 표현하는 단계를 더 포함하는 것을 특징으로 하는, 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 따른 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 방법을 실행하기 위한, 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
PCT/KR2018/015135 2018-11-30 2018-11-30 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템 및 방법 WO2020111344A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180151912A KR102000231B1 (ko) 2018-11-30 2018-11-30 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템 및 방법
KR10-2018-0151912 2018-11-30

Publications (1)

Publication Number Publication Date
WO2020111344A1 true WO2020111344A1 (ko) 2020-06-04

Family

ID=67257835

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/015135 WO2020111344A1 (ko) 2018-11-30 2018-11-30 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102000231B1 (ko)
WO (1) WO2020111344A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114167996A (zh) * 2022-02-14 2022-03-11 浙江强脑科技有限公司 一种基于传感器的动作预判方法、装置及存储介质
CN115153984A (zh) * 2022-09-05 2022-10-11 深圳市心流科技有限公司 基于肌电信号的智能假肢控制方法、装置、终端及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102313622B1 (ko) * 2019-08-21 2021-10-19 한국과학기술연구원 생체신호 기반 아바타 제어시스템 및 방법
KR102232731B1 (ko) * 2020-11-27 2021-03-26 (주)소프트젠 Vr 기술을 이용한 틱장애 치료시스템
KR102532911B1 (ko) * 2021-06-03 2023-05-17 아주대학교산학협력단 아바타를 이용한 정자세 유도 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990066563A (ko) * 1998-01-30 1999-08-16 전주범 팔 장애자를 위한 가상 현실 시스템
KR20100044549A (ko) * 2008-10-22 2010-04-30 성균관대학교산학협력단 컴퓨터 그래픽 애니메이션용 인체 피부의 부피 변화 표현 방법 및 장치
US20140306884A1 (en) * 2007-08-06 2014-10-16 Sony Corporation Information processing apparatus, system, and method thereof
KR20150057424A (ko) * 2013-11-19 2015-05-28 한국전자통신연구원 증강현실 아바타 상호작용 방법 및 시스템
KR20170061495A (ko) * 2015-11-26 2017-06-05 한양대학교 에리카산학협력단 움직임 구현을 위한 움직임 정보 제공 장치, 이를 이용한 움직임 정보 제공 방법 및 움직임 구현 시스템
KR20170076500A (ko) * 2015-12-24 2017-07-04 삼성전자주식회사 생체 신호에 근거하여 기능을 수행하기 위한 방법, 저장 매체 및 전자 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990066563A (ko) * 1998-01-30 1999-08-16 전주범 팔 장애자를 위한 가상 현실 시스템
US20140306884A1 (en) * 2007-08-06 2014-10-16 Sony Corporation Information processing apparatus, system, and method thereof
KR20100044549A (ko) * 2008-10-22 2010-04-30 성균관대학교산학협력단 컴퓨터 그래픽 애니메이션용 인체 피부의 부피 변화 표현 방법 및 장치
KR20150057424A (ko) * 2013-11-19 2015-05-28 한국전자통신연구원 증강현실 아바타 상호작용 방법 및 시스템
KR20170061495A (ko) * 2015-11-26 2017-06-05 한양대학교 에리카산학협력단 움직임 구현을 위한 움직임 정보 제공 장치, 이를 이용한 움직임 정보 제공 방법 및 움직임 구현 시스템
KR20170076500A (ko) * 2015-12-24 2017-07-04 삼성전자주식회사 생체 신호에 근거하여 기능을 수행하기 위한 방법, 저장 매체 및 전자 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114167996A (zh) * 2022-02-14 2022-03-11 浙江强脑科技有限公司 一种基于传感器的动作预判方法、装置及存储介质
CN115153984A (zh) * 2022-09-05 2022-10-11 深圳市心流科技有限公司 基于肌电信号的智能假肢控制方法、装置、终端及介质

Also Published As

Publication number Publication date
KR102000231B9 (ko) 2022-07-18
KR102000231B1 (ko) 2019-07-15

Similar Documents

Publication Publication Date Title
WO2020111344A1 (ko) 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템 및 방법
US20210208680A1 (en) Brain activity measurement and feedback system
Zhang et al. An EEG/EMG/EOG-based multimodal human-machine interface to real-time control of a soft robot hand
US11609632B2 (en) Biosignal-based avatar control system and method
WO2017200243A1 (ko) 가상현실 지원 콘텐츠와 생체신호 분석 결과를 활용한 정신 질환 개선 시스템
Saponas et al. Demonstrating the feasibility of using forearm electromyography for muscle-computer interfaces
EP3048955A2 (en) Physiological parameter measurement and feedback system
Huang et al. Application of facial electromyography in computer mouse access for people with disabilities
Hosni et al. EEG-EOG based virtual keyboard: Toward hybrid brain computer interface
Song et al. Activities of daily living-based rehabilitation system for arm and hand motor function retraining after stroke
Sethi et al. Advances in motion and electromyography based wearable technology for upper extremity function rehabilitation: A review
Hidayat et al. LOVETT scalling with MYO armband for monitoring finger muscles therapy of post-stroke people
Abbass et al. Full-hand electrotactile feedback using electronic skin and matrix electrodes for high-bandwidth human–machine interfacing
Kakkos et al. Human–machine interfaces for motor rehabilitation
Carrino et al. Gesture segmentation and recognition with an EMG-based intimate approach-an accuracy and usability study
Scano et al. A Kinect-Based Biomechanical Assessment of Neurological Patients' Motor Performances for Domestic Rehabilitation
Poon et al. A novel user-specific wearable controller for surgical robots
Veigl et al. Model-based design of novel human-computer interfaces—the assistive technology rapid integration & construction set (asterics)
Chen Design and evaluation of a human-computer interface based on electrooculography
Avila-Mireles et al. EMG patterns induced in upper limb by haptic guidance for diagnosis and treatment evaluation
Kanal Kopos: A Framework to Study and Detect Physical and Cognitive Fatigue Concurrently
Schiatti et al. Co-adaptive control strategies in assistive Brain-Machine Interfaces.
Varadhan Advancing Neuro-Rehabilitative Gaming Glove for Neuroplasticity in Relearning Lost Neuronal Function
SIONG Training and assessment of hand-eye coordination with electroencephalography
Baniqued A brain-computer interface integrated with virtual reality and robotic exoskeletons for enhanced visual and kinaesthetic stimuli

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18941412

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18941412

Country of ref document: EP

Kind code of ref document: A1