KR20120037739A - User interface device and method based on hand gesture recognition - Google Patents
User interface device and method based on hand gesture recognition Download PDFInfo
- Publication number
- KR20120037739A KR20120037739A KR1020100099382A KR20100099382A KR20120037739A KR 20120037739 A KR20120037739 A KR 20120037739A KR 1020100099382 A KR1020100099382 A KR 1020100099382A KR 20100099382 A KR20100099382 A KR 20100099382A KR 20120037739 A KR20120037739 A KR 20120037739A
- Authority
- KR
- South Korea
- Prior art keywords
- hand
- gesture
- user interface
- sensor
- host
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
본 발명은 손동작 기반 사용자 인터페이스 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 센서 및 스위치를 통해 인식한 공간상의 손동작을 이에 상응하는 시그널 데이터로 변환하고, 이를 이용하여 복수의 HID(Human Interface Device) 기능을 수행할 수 있는 새로운 인터페이스 장치 및 그 방법에 관한 것이다.The present invention relates to a hand gesture-based user interface device and a method thereof, and more particularly, converts a spatial hand gesture recognized by a sensor and a switch into corresponding signal data, and uses the plurality of human interface devices (HIDs). A new interface device capable of performing a function, and a method thereof.
첨단 그린 도시는 신 성장 동력 정책의 일환으로, U-City를 비롯하여 ITS(지능형교통시스템), 공간정보산업, 하이 그린 홈 등 다양한 산업을 포함하고 있다. 이 중 정보통신과 관련된 산업과 공간정보 산업은 사용자의 직접적 활용과 밀접한 관련이 있는 산업 군으로, 무엇보다도 효율적인 작업이 가능한 인터페이스 환경이 필수적이다.High-tech green cities are part of a new growth engine policy that includes a variety of industries, including U-City, ITS (Intelligent Transportation System), Spatial Information Industry, and High Green Home. Among them, the ICT-related and spatial information industries are industries that are closely related to the direct use of users. Above all, an interface environment capable of efficient work is essential.
특히, 공간정보 산업은 3차원 정보를 기반으로 하기 때문에 기존의 2차원 정보 기반 인터페이스 방식으로는 이를 제어하는데 여러 제한이 따른다. 따라서 3차원 공간의 제약을 받지 않으면서도 이동성과 효율성이 보장되고, 유/무선 통합 환경에서 사용될 수 있으며, 사용이 용이한 새로운 인터페이스 방식이 필요하다.In particular, since the spatial information industry is based on three-dimensional information, there are various limitations in controlling the existing two-dimensional information-based interface. Therefore, there is a need for a new interface method that can guarantee mobility and efficiency without being constrained by 3D space, can be used in a wired / wireless integrated environment, and is easy to use.
이를 위한 종래의 사용자 인터페이스 장치는 가속도 센서를 주 센서로 사용하며, 기준점에 따른 움직임의 궤도를 추적하여 가상의 필기구 및 포인터의 기능을 수행하는 것이거나 혹은 각 손가락의 움직임을 측정하여 입력장치로서의 기능을 구현하는 것으로서, 각각의 기능을 조합 및 응용한 복수의 기능을 가지는 인터페이스 방법을 구현하지는 못하였으며, 동작 인식 범위에 따른 제한이 있었다.The conventional user interface device uses an acceleration sensor as a main sensor, and performs a function of a virtual writing instrument and a pointer by tracking a trajectory of movement according to a reference point, or functions as an input device by measuring the movement of each finger. As an implementation, the interface method having a plurality of functions combined and applied to each function was not implemented, and there was a limitation according to the range of motion recognition.
본 발명은 상술한 문제점을 해결하기 위하여, 자이로 센서를 주 센서로 이용하여, 손동작 인식 범위에 따른 제한을 최소화 하는 손동작 기반 사용자 인터페이스 장치 및 그 방법을 제공하는 것을 목적으로 한다.In order to solve the above problems, an object of the present invention is to provide a hand gesture-based user interface device and a method for minimizing a limitation according to a hand gesture recognition range by using a gyro sensor as a main sensor.
본 발명의 다른 목적은 기본적인 복수의 HID(Human Interface Device)의 각각의 기능을 조합 및 응용하여, 다양하고 새로운 기능을 가지는 손동작 기반 사용자 인터페이스 장치 및 그 방법을 제공하는 것이다.Another object of the present invention is to provide a hand gesture-based user interface device having various new functions and a method thereof by combining and applying respective functions of a plurality of basic human interface devices (HID).
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the above-mentioned object, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 목적을 달성하기 위한 본 발명의 일면에 따른 본 발명은 손동작 기반 사용자 인터페이스 장치 및 그 방법에 관한 것으로서, 본 발명의 일면에 따른 손동작 기반 사용자 인터페이스 방법은, 사용자의 손동작 움직임에 대하여 자이로 센서 및 가속도 센서로부터 자이로 및 가속도 신호를 출력하는 단계와, 자이로 및 가속도 신호를 연산 처리하여 공간상의 손의 위치 및 제스처 정보를 추출하는 단계와, 손의 위치 및 제스처 정보를 전송하고자 하는 호스트가 사용하는 데이터 포맷으로 변환하는 단계를 포함한다. 여기서, 공간상의 손의 위치 및 제스처 정보는 사용자의 손동작 움직임에 대한 자이로 센서가 이동한 각도를 연산하고, 가속도 신호에 포함된 중력 가속도를 이용하여 사용자의 손이 기준 축에 대하여 기울어진 정도인 기울기를 획득하고, 상기 기울기를 이용하여 이동한 각도에 대한 기울기 보상을 수행함으로써 획득할 수 있다.In accordance with an aspect of the present invention, a hand gesture-based user interface device and a method thereof are provided. The hand gesture-based user interface method according to an aspect of the present invention includes a gyro sensor and a hand gesture. Outputting the gyro and the acceleration signal from the acceleration sensor, extracting the position and gesture information of the hand in space by processing the gyro and the acceleration signal, and data used by the host to transmit the position and gesture information of the hand. Converting to a format. Here, the position and gesture information of the hand in space calculates the angle of the gyro sensor movement for the user's hand movements, and the tilt of the user's hand with respect to the reference axis using the gravitational acceleration included in the acceleration signal Can be obtained by performing a slope compensation on the moved angle using the slope.
한편, 본 발명의 다른 면에 따른 손동작 기반 사용자 인터페이스 장치는, 사용자의 손동작 움직임을 센싱하여 자이로 및 가속도 신호를 출력하는 센서부와, 상기 출력된 자이로 및 가속도 신호를 연산 처리하여 공간상의 손의 위치 및 제스처 정보를 추출하는 연산 처리부와, 손의 위치 및 제스처 정보를 전송하고자 하는 호스트를 선택하기 위한 호스트 선택부와, 선택된 호스트가 사용하는 데이터 포맷으로 손의 위치 및 제스처 정보를 변환하는 포맷 변환부와, 변환된 데이터 포맷을 호스트로 전송하는 전송부로 구성된다.On the other hand, the hand gesture-based user interface device according to another aspect of the present invention, the sensor unit for sensing the hand gesture movement of the user and outputs a gyro and acceleration signal, and the operation of the output gyro and acceleration signal to calculate the position of the hand in space An arithmetic processing unit for extracting gesture information, a host selecting unit for selecting a host to which the hand position and gesture information are to be transmitted, and a format conversion unit for converting the hand position and gesture information into a data format used by the selected host; And a transmission unit for transmitting the converted data format to the host.
본 발명은 인간의 손동작을 기반으로 하고, 주 센서를 자이로 센서로 채택하기 때문에 반원의 형태를 갖는 손의 동선을 추적하기에는 가속도 센서보다 유리하다. 그리고 가속도 센서를 주 센서로 하는 종래 기술에 비하여 손동작을 인식하는데 필요한 연산 처리 절차가 간소화되기 때문에 빠른 연산이 가능하다.The present invention is more advantageous than an acceleration sensor to track a moving line of a hand having a semicircle shape because it is based on human hand movement and adopts a main sensor as a gyro sensor. In addition, compared to the prior art in which the acceleration sensor is the main sensor, the computation processing procedure required for recognizing hand gestures is simplified, thereby enabling fast computation.
또한, 본 발명에 따르면 손동작에 따른 데이터를 복수의 HID 장치로 활용하기 때문에 하나의 장치로 기본적인 복수의 HID 장치 사용이 가능하며, 각 복수의 HID 장치의 기능을 조합 및 응용하여 다양하고 새로운 인터페이스 방법을 제공할 수 있다.In addition, according to the present invention, since the data according to the hand gesture is utilized as a plurality of HID devices, a plurality of basic HID devices can be used as one device, and various new interface methods are combined and applied to the functions of the plurality of HID devices. Can be provided.
도 1은 본 발명의 일 실시예에 따른 손동작 기반 사용자 인터페이스 장치를 개략적으로 도시한 구성도이고,
도 2는 본 발명의 일 실시예에 따른 손동작 기반 사용자 인터페이스 장치를 구체적으로 도시한 블럭도이고,
도 3은 본 발명의 다른 실시예에 따른 손동작 기반 사용자 인터페이스 방법을 도시한 순서도이다.
도 4는 실제 복수의 장치로서 기능을 하기 위해 실제 USB 통신을 수행하기 위하여 연산 처리부 내부에 설계되는 USB장치의 처리 흐름도이다.
도 5는 본 발명의USB 통일 실시예에 따라 USB 통신을 수행하기 위하여 연산 처리부 내부에 설계되는 USB장치의 처리 개략적인 흐름도이다.
도 6은 본 발명의 일 실시예에 따라 연산 처리부에서 실제 하나의 마이크로프로세서가 복수 장치의 역할을 갖는 것을 간략히 도시한 흐름도이다.1 is a configuration diagram schematically showing a gesture-based user interface device according to an embodiment of the present invention;
2 is a block diagram specifically illustrating a gesture-based user interface device according to an embodiment of the present invention;
3 is a flowchart illustrating a gesture-based user interface method according to another embodiment of the present invention.
4 is a process flow diagram of a USB device designed inside an arithmetic processing unit to perform actual USB communication in order to function as a plurality of actual devices.
5 is a schematic flowchart of a process of a USB device designed inside an arithmetic processing unit to perform USB communication according to a USB unified embodiment of the present invention.
FIG. 6 is a flowchart schematically illustrating that a single microprocessor actually serves as a plurality of devices in an arithmetic processing unit according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms, and only the present embodiments are intended to complete the disclosure of the present invention, and the general knowledge in the art to which the present invention pertains. It is provided to fully convey the scope of the invention to those skilled in the art, and the present invention is defined only by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are used to refer to the same components even though they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
도 1 및 도 2를 참조하여 본 발명에 일 실시예에 따른 손동작 기반 사용자 인터페이스 장치를 설명한다. 도 1은 본 발명의 일 실시예에 따른 손동작 기반 사용자 인터페이스 장치를 개략적으로 도시한 구성도이고, 도 2는 본 발명의 일 실시예에 따른 손동작 기반 사용자 인터페이스 장치를 구체적으로 도시한 블럭도이다.A hand gesture based user interface device according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2. 1 is a block diagram schematically illustrating a gesture-based user interface device according to an embodiment of the present invention, and FIG. 2 is a block diagram specifically illustrating a gesture-based user interface device according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 손동작 기반 사용자 인터페이스 장치는 사용자의 손동작을 감지하기 위해 손에 쥐는 형태로 되어있으나, 손에 쥐는 형태 이외에도 솜의 움직임을 추적할 수 있는 범위 내에서 손 또는 손목에 착용되는 형태로 구성될 수 있다.1, the hand gesture-based user interface device according to an embodiment of the present invention is in the form of holding the hand to detect the hand movement of the user, in addition to the form of the hand in the range that can track the movement of the cotton It may be configured in the form worn on the hand or wrist.
또한, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 손동작 기반 사용자 인터페이스 장치는 3차원 공간상의 손의 위치를 pitch와 yaw로 설정하고, 가속도 센서를 roll로 설정하여 3차원 좌표를 구현할 수 있다. 여기서 roll은 손의 전후, pitch는 손의 좌우, yaw는 손의 상하 움직임과 대응되며, 공간상에서 절대적이지 않고 사용자의 사용 방향에 따라 상대적으로 결정된다.In addition, as shown in Figure 1, the hand gesture-based user interface device according to an embodiment of the present invention set the position of the hand in the three-dimensional space to pitch and yaw, the acceleration sensor to roll to set the three-dimensional coordinates Can be implemented. Here, roll corresponds to the front and back of the hand, pitch corresponds to the left and right of the hand, yaw corresponds to the up and down movement of the hand.
즉, 사용자의 시선과 손이 향한 방향을 기준으로 하고, 상대적으로 사용자 관점에서 3축을 형성하기 때문에 장치가 기울어져도 대응적인 포인터 인터페이스에는 전혀 문제가 되지 않는다.In other words, since the user's eyes and hands are directed to each other, and three axes are relatively formed from the user's point of view, even when the device is inclined, the corresponding pointer interface is not a problem.
한편, 본 발명의 일 실시예에 따른 손동작 기반 사용자 인터페이스 장치는 자이로 센서와 가속도 센서를 포함하는 복수의 센서들이 위치하는 센서부(110)와, 손가락을 감지하는 손가락 감지부(120)와, 손잡이와 같이 손과 밀착하는 손잡이부(130)와, 본 장치에 전원을 공급하고, 외부의 호스트(HOST)와 통신을 수행하는 전원/통신부(140)로 구성된다.Meanwhile, the hand gesture-based user interface device according to an embodiment of the present invention includes a
여기서, 손가락 감지부(120) 또는 손잡이부(130)는 각각 키보드의 방향키, 마우스, 조이스틱 또는 게임패드 기능을 수행할 수 있도록 각 기능을 선택하는 동작인식 호스트 선택부(미도시)를 포함할 수 있다.Here, the
호스트 선택부는 사용자가 필요에 따라 키보드의 방향키, 마우스, 조이스틱 또는 게임패드 기능을 각각 선택할 수 있도록 하고, 상기 기재된 각각의 기능을 조합한 기능을 선택할 수 있도록 할 수 있다. The host selector may allow a user to select a direction key, a mouse, a joystick, or a game pad function of the keyboard, respectively, as needed, and may select a function combining the respective functions described above.
도 2를 참조하여 본 발명의 일 실시예에 따른 손동작 기반 사용자 인터페이스 장치를 구체적으로 설명한다. 도 2는 본 발명의 일 실시예에 따른 손동작 기반 사용자 인터페이스 장치를 구체적으로 도시한 블록도이다.A gesture-based user interface device according to an embodiment of the present invention will be described in detail with reference to FIG. 2. 2 is a block diagram specifically illustrating a gesture-based user interface device according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 손동작 기반 사용자 인터페이스 장치는 센서부(210)와, 연산 처리부(220)와, 호스트 선택부(230)와, 포맷 변환부(240)와, 전송부(250)와, 모드 선택부(260)로 구성된다.2, a hand gesture-based user interface device according to an embodiment of the present invention includes a
센서부(210)는 복수의 자이로 센서와 가속도 센서로 구성되어, 사용자의 손동작 움직임을 센싱하여 자이로 및 가속도 신호를 출력한다. 여기서, 사용자의 손동작을 센싱하기 위해서 자이로 센서가 주 센서, 가속도 센서가 보조 센서로 활용된다.The
관절에 따른 손의 궤적은 반원의 형태를 가지고, 이러한 손의 움직임에 따라 관절을 중심으로 각도가 발생하게 된다. 따라서 반원 형태를 가지는 손의 궤적을 센싱하기 위해서 각속도를 측정할 수 있는 자이로 센서를 주 센서로 활용하여, 3차원 공간상에 손의 위치를 추출하는 것에 본 발명의 특징이 있다.The trajectory of the hand along the joint has the shape of a semi-circle, and the angle is generated around the joint according to the movement of the hand. Therefore, in order to sense the trajectory of a hand having a semi-circular shape, a feature of the present invention is to extract a hand position in a three-dimensional space by using a gyro sensor capable of measuring an angular velocity as a main sensor.
자이로 센서는 움직임을 센싱하기 위하여 기준 축을 가지는 것을 특징으로 한다. 본 발명에 따른 손동작 기반 사용자 인터페이스 장치는 사용자의 정면을 기준 축으로 구성하는데, 사용자의 손동작에 따라 기준 축이 기울어지는 경우가 발생한다. 이 때, 가속도 센서는 보조적으로 중력가속도를 측정하고, 이를 이용하여 기울기 보정을 함으로써, 3차원 공간상에서 손의 위치를 정확하게 추출할 수 있다.The gyro sensor has a reference axis to sense movement. The hand gesture-based user interface device according to the present invention configures the front of the user as a reference axis, and the reference axis is inclined according to the hand gesture of the user. At this time, the acceleration sensor assists in measuring the gravitational acceleration and using the correction of the slope, thereby accurately extracting the position of the hand in the three-dimensional space.
본 발명에 따른 센서부(210)는 센싱한 자이로 및 가속도 신호를 최적화하기 위하여 증폭 및 필터회로 등의 하드웨어를 내부에 포함할 수 있고, 또는 소프트웨어적인 방법을 이용하여 센싱한 신호를 최적화할 수도 있다.The
연산 처리부(220)는 출력된 자이로 및 가속도 신호를 연산 처리하여 3차원 공간상의 손의 위치 및 제스처 정보를 추출한다. 예를 들어, 연산 처리부(220)는 마이크로 콘트롤러로 구성되어 실시간으로 센싱된 신호를 처리하기 위하여 타이머 인터럽트를 사용하고, 타이머 인터럽트 함수 내부에 ADC를 통해 센서 데이터를 수집한다. The
이때, 수집된 센서 데이터를 연산 처리하여 각도와 속도 및 기울기 정보를 출력하고, 이를 이용하여 3차원 공간상의 손의 위치를 추출하고 기울기 보상을 수행한다. At this time, the sensor data is processed to output angle, speed, and tilt information, and the position of the hand in the three-dimensional space is extracted using the same, and the tilt compensation is performed.
먼저, 3차원 공간상의 손의 위치를 추출하기 위하여 연산 처리부(220)는 자이로 센서로부터 출력된 자이로 신호로부터 하기의 수학식 1을 이용하여 사용자의 손동작에 따라 본 발명에 따른 손동작 기반 인터페이스 장치가 이동한 각도를 연산한다.First, in order to extract the position of the hand in the three-dimensional space, the
[수학식 1][Equation 1]
θ=
여기서, θ는 손동작 기반 인터페이스 장치가 이동한 각도, f(t)는 시간에 따른 자이로 센서의 출력 전압, Voffset은 오프셋 전압, sf는 스케일 팩터(scale factor)를 의미한다.Here, θ is an angle at which the hand gesture-based interface device is moved, f (t) is an output voltage of a gyro sensor over time, V offset is an offset voltage, and sf is a scale factor.
손동작 기반 인터페이스 장치가 이동한 각도 θ는 수학식 1을 참조하면, 시간에 따른 자이로 센서의 출력 전압 f(t)에서 오프셋 전압인 Voffset을 빼고, 이 값을 스테일 팩터 sf로 나눈 값을 시간에 따라 적분함으로써 구해질 수 있다.If the angle θ by the hand gesture-based interface device movement, see equation (1), except for the V offset of the offset voltage from the output voltage f (t) of the gyro sensor with time, a value obtained by dividing the value of stale factor sf in hour Can be obtained by integrating accordingly.
또는 수학식 1이 제시하는 방법과는 달리, 손동작 기반 인터페이스 장치가 이동한 각도는 자이로 센서가 센싱한 각속도 값을 정수 값으로 치환하여, 두 축의 벡터 합을 통해 구해질 수 있다.Alternatively, unlike the method of
다음으로, 연산 처리부(220)는 상기 수학식 1 또는 두 축의 벡터 합으로부터 구해진 손동작 기반 인터페이스 장치가 이동한 각도로부터 구면 좌표계 변환(수학식 2)을 이용하여 3차원 공간상의 손의 위치를 추출한다. Next, the
[수학식 2][Equation 2]
구면 좌표계는 두 개의 각을 통해 3차원 공간상의 점들을 나타내는 좌표계이다. 따라서 연산 처리부(220)는 자이로 센서로부터 출력되는 자이로 신호로부터 두 개의 각을 연산하고, 이를 통해 3축 좌표를 구한다.A spherical coordinate system is a coordinate system that represents points in three-dimensional space through two angles. Therefore, the
이때 수학식 2의 ρ는 가속도 센서로부터 센싱된 중력 가속도로부터 획득할 수 있으며, θ 및 Φ는 자이로 센서에 의해 센싱된 각속도 값으로부터 획득된 손동작 기반 인터페이스 장치가 이동한 두 개의 각도를 의미한다.In this case, ρ of
다음으로 연산 처리부(220)는 본 발명에 따른 손동작 기반 인터페이스 장치가 기준 축으로부터 기울어진 정도에 따라 이를 보상하여, 3차원 공간상에 실제 손의 위치 좌표 값을 도출한다. 이와 같은 기울기 보상은 가속도 센서로부터 센싱된 중력 가속도를 이용하여 수행된다.Next, the
호스트 선택부(230)는 선택된 호스트에 따라 사용자가 키보드의 방향키, 마우스, 조이스틱 또는 게임패드 기능을 각각 선택할 수 있도록 하고, 상기 기재된 각각의 기능을 조합한 기능을 선택할 수 있도록 한다.The
예를 들어, 마우스 모드일 경우 본 발명에 따른 장치를 들거나 또는 장착한 손의 위치를 추적하여, 이를 상대적인 마우스 포인터의 좌표로 변환하고, 손가락의 움직임을 통해 버튼의 기능을 구현한다.For example, in the mouse mode, the position of a hand holding or mounting the device according to the present invention is tracked, converted to a coordinate of a relative mouse pointer, and the function of a button is realized through the movement of a finger.
키보드/키패드 모드일 경우는 손의 움직임을 추적하여 글씨 쓰기, 방향키, 페이지 업, 페이지 다운 등이 가능하도록 설계될 수 있으며, 조이스틱/게임패드 모드일 경우도 3축의 움직임에 다른 좌표 변환 및 버튼의 기능을 가질 수 있다.In keyboard / keypad mode, it can be designed to track hand movements, write letters, direction keys, page up, page down, etc. It can have a function.
이와 같이, 본 발명에 따른 손동작 기반 사용자 인터페이스 장치는 사용자의 모드 선택에 따라 키보드, 키패드, 조이스틱과 같은 기본 HID(Human Interface Device)로 동작할 수 있으며, 이 외에도 추가적으로 기본 HID 및 다른 장치의 기능을 통합하여 새로운 기능을 창출하는 조합 및 응용 모드를 제공할 수도 있다.As described above, the hand gesture-based user interface device according to the present invention may operate as a basic human interface device (HID) such as a keyboard, a keypad, and a joystick according to a user's mode selection. You can also provide combinations and application modes that integrate to create new functionality.
예를 들어, 특정 온라인 게임과 같이 키보드와 마우스를 동시에 사용하여 플레이 해야 하는 인터페이스 환경에서, 손의 위치와 손가락의 움직임이 게임을 플레이 하는데 적합하도록 본 발명에 따른 장치는 마우스와 키보드 등의 기본 HID를 조합한 기능을 제공한다. For example, in an interface environment in which a keyboard and a mouse must be used at the same time as in a particular online game, the device according to the present invention is a basic HID such as a mouse and a keyboard so that the hand position and the finger movement are suitable for playing the game. Provides a combination of functions.
포맷 변환부(240)는 선택된 호스트에 따라, 상기 호스트가 사용하는 데이터 포맷으로 연산 처리부(220)에서 처리된 손의 위치 및 제스처 정보를 변환한다.The
전송부(250)는 변환된 데이터 포맷을 가지는 손의 위치 및 제스처 정보를 선택된 호스트에 전송한다. The
본 발명에 따른 장치는 외부의 호스트와 유/무선 네트워크를 형성하고, 전송부(250)를 통해서 호스트가 필요로 하는 정보를 제공한다. 본 발명에 따른 장치와 외부 호스트가 유선 네트워크, 예를 들어 USB 통신을 수행하고 있으면, 본 발명에 따른 장치는 호스트의 Read 및 Write 요구에 따라 주기적으로 데이터를 교환한다.The apparatus according to the present invention forms a wired / wireless network with an external host and provides information required by the host through the
상세하게는 본 발명에 따른 장치와 외부 호스트가 USB 통신포트로 연결되면, 호스트는 새로운 장치(예를 들어, 본 발명에 따른 인터페이스 장치)를 감지하고, 본 발명에 따른 인터페이스 장치로부터 자신의 역할 등에 대한 정보를 전송 받는다. 이와 같은 초기화 과정을 거친 후, 본 발명에 따른 인터페이스 장치는 외부의 호스트와 데이터를 교환할 수 있게 된다.In detail, when the device according to the present invention and an external host are connected to the USB communication port, the host detects a new device (for example, the interface device according to the present invention), and the role thereof from the interface device according to the present invention. Receive information about After such an initialization process, the interface device according to the present invention can exchange data with an external host.
모드 선택부(260) 사용자로부터 예를 들어, 마우스 모드, 키보드/키패드 모드, 조이스틱 모드 등과 같은 모드 선택 명령을 입력 받는다. 이때, 연산 처리부(220)는 입력 받은 모드 선택 명령에 따라 복수의 USB 통신을 이용하는 장치에 대한 결론적인 기능에 대한 역할을 정의한다.The
연산 처리부(220)에서 입력 받은 모드 선택 명령에 따라 복수의 USB 통신을 이용하는 장치에 대한 기능 정의 과정을 도 4 내지 도 6을 참조하여 구체적으로 설명한다.A function definition process for a device using a plurality of USB communication according to the mode selection command received from the
도 4는 실제 복수의 장치로서 기능을 하기 위해 실제 USB 통신을 수행하기 위하여 연산 처리부 내부에 설계되는 USB장치의 처리 흐름도이다. 도 4를 참조하면, 연산 처리부(220) 내부에서는 USB 신호를 처리하기 위해 호스트 장치와 Read(56)와 Write(57)을 요구사항에 따라 주기적으로 반복하며 데이터를 교환한다.4 is a process flow diagram of a USB device designed inside an arithmetic processing unit to perform actual USB communication in order to function as a plurality of actual devices. Referring to FIG. 4, in the
도 5에서 보면 이 과정은 크게 3가지로 나누어 정의한다. 도 5는 본 발명의USB 통일 실시예에 따라 USB 통신을 수행하기 위하여 연산 처리부 내부에 설계되는 USB장치의 처리 개략적인 흐름도이다. 본 발명에 따른 인터페이스 장치의 통신포트에 호스트를 연결하면 호스트에서 이를 감지하는 Detection(60)과정 후, 본 발명에 따른 인터페이스 장치가 자신의 역할 등에 대한 정보를 호스트에 넘겨주는 Enumeration(61)과정이 수행된다.In FIG. 5, this process is divided into three broadly defined. 5 is a schematic flowchart of a process of a USB device designed inside an arithmetic processing unit to perform USB communication according to a USB unified embodiment of the present invention. When the host is connected to the communication port of the interface device according to the present invention, after the detection (60) process to detect this in the host, the Enumeration (61) process for the interface device according to the present invention to pass information on its role, etc. to the host Is performed.
이 과정에서 하나의 장치로 복수의 기능을 할 수 있는 다수의 역할을 정의하고, 그에 대한 정보를 호스트에 넘겨줌으로써, 본 발명의 일 실시예에 따른 손동작 기반 사용자 인터페이스 장치는 복수 장치의 기능을 가지게 된다.In this process, by defining a plurality of roles that can perform a plurality of functions with one device, and passing information about the same to the host, the gesture-based user interface device according to an embodiment of the present invention may have a function of multiple devices. do.
다음으로 본 발명에 따른 인터페이스 장치는 호스트와 본래의 목적을 가진 데이터를 교환하는 Data Exchange(62)과정을 반복 수행하게 된다.Next, the interface device according to the present invention repeats the
상기 제시한 복수의 장치로서 기능을 하기 위해 실제 USB 통신을 수행하기 위하여 연산 처리부 내부에 설계되는 USB장치의 처리 흐름도를 살펴보면, 초기 Initialization(50)과정에서 변수 및 함수를 선언 및 정의하는 과정과, 마이크로프로세서의 기능 정의 및 구동을 위한 Register Setting(51) 과정과, 실제 그 기능을 수행하기 위해 외부 혹은 내부의 데이터를 획득하는 Get external data(52)과정을 거쳐 USB interrupt(53)를 통해 호스트의 request(56)를 받을 경우, 각 request에 따라 host로 보낼 알맞은 데이터를 분별하는 Discriminate proper data(55)과정 후 endpoint buffer에 data를 write(57)함으로서 host에 데이터를 전송하여, 그 기능을 수행하게 된다.Looking at the processing flow of the USB device designed inside the operation processing unit to perform the actual USB communication to function as a plurality of devices presented above, the process of declaring and defining variables and functions in the initial initialization (50) process, Register interrupt (51) process to define and operate the function of microprocessor, and get external data (52) process to acquire external or internal data to actually perform the function. When receiving a request (56), after the Discriminate proper data (55) process to identify the appropriate data to be sent to the host according to each request, the data is transmitted to the host by writing (57) the data to the endpoint buffer to perform the function. do.
도 6은 본 발명의 일 실시예에 따라 연산 처리부에서 실제 하나의 마이크로프로세서가 복수 장치의 역할을 갖는 것을 간략히 도시한 흐름도이다. FIG. 6 is a flowchart schematically illustrating that a single microprocessor actually serves as a plurality of devices in an arithmetic processing unit according to an embodiment of the present invention.
도 6을 참조하면, 마이크로프로세서는 특정 기능을 가지는 외부의 장치 혹은 행위로부터 각각의 Data(71)를 획득하게 된다. 획득한 Data는 Host장치에서 실행되는 실제 기능(75)에 대한 정보로, 이는 USB 통신(74)을 통해 Host장치에 전송되는데, 각 기능에 해당하는 장치 정보는 마이크로프로세서에서 초기에 그 역할이 정의되고, 각 역할에 따른 정보를 저장하기 위한 데이터 공간인 Endpoint Buffer(72)를 할당 받아 저장된다. 복수의 기능은 각 마이크로프로세서에서 구현 가능한 복수의 n개의 기능을 가질 수 있다.Referring to FIG. 6, the microprocessor obtains each
도 3을 참조하여 본 발명의 다른 실시예에 따른 손동작 기반 사용자 인터페이스 방법을 설명한다. 도 3은 본 발명의 다른 실시예에 따른 손동작 기반 사용자 인터페이스 방법을 도시한 순서도이다. A hand gesture based user interface method according to another embodiment of the present invention will be described with reference to FIG. 3. 3 is a flowchart illustrating a gesture-based user interface method according to another embodiment of the present invention.
먼저, 본 발명에 따른 인터페이스 장치는 사용자의 손동작 움직임에 대하여 자이로 센서 및 가속도 센서로부터 자이로 및 가속도 신호를 출력한다(S310). First, the interface device according to the present invention outputs a gyro and an acceleration signal from a gyro sensor and an acceleration sensor with respect to a user's hand movement (S310).
그리고 인터페이스 장치는 센서로부터 출력된 자이로 및 가속도 신호를 연산 처리하여 공간상의 손의 위치 및 제스처 정보를 추출한다(S320).In operation S320, the interface device extracts the position and gesture information of the hand in space by arithmetic processing the gyro and the acceleration signal output from the sensor.
상세하게는 인터페이스 장치는 사용자의 손동작 움직임에 대한 자이로 센서가 이동한 각도를 연산하고, 가속도 신호에 포함된 중력 가속도를 이용하여 사용자의 손이 기준 축에 대하여 기울어진 정도인 기울기를 획득하고, 획득한 기울기를 이용하여 이동한 각도에 대한 기울기 보상을 수행한다.In detail, the interface device calculates an angle at which the gyro sensor is moved with respect to the hand movement of the user, and acquires an inclination at which the user's hand is inclined with respect to the reference axis by using the gravity acceleration included in the acceleration signal. Tilt compensation is performed for the shifted angle using one tilt.
그리고 인터페이스 장치는 사용자로부터 인터페이스 장치의 모드 선택 명령을 입력 받고, 이에 따라 상기 손의 위치 및 제스처 정보가 활용되는 기능을 정의한다(S330)In addition, the interface device receives a mode selection command of the interface device from a user, and defines a function of utilizing the hand position and gesture information according to the operation (S330).
다음으로 인터페이스 장치는 사용자에 의해 선택된 호스트가 사용하는 데이터 포맷에 따라 추출된 손의 위치 및 제스처 정보를 변환하고(S340), 변환된 데이터 포맷을 가지는 손의 위치 및 제스처 정보를 외부의 호스트에 전송한다(S350).Next, the interface device converts the extracted hand position and gesture information according to the data format used by the host selected by the user (S340), and transmits the hand position and gesture information having the converted data format to an external host. (S350).
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description, and all changes or modifications derived from the scope of the claims and their equivalents should be construed as being included within the scope of the present invention.
Claims (9)
상기 자이로 및 가속도 신호를 연산 처리하여 공간상의 손의 위치 및 제스처 정보를 추출하는 단계; 및
상기 손의 위치 및 제스처 정보를 전송하고자 하는 호스트가 사용하는 데이터 포맷으로 변환하는 단계
를 포함하는 손동작 기반 사용자 인터페이스 방법.Outputting a gyro and an acceleration signal from a gyro sensor and an acceleration sensor with respect to a hand movement of a user;
Computing the gyro and the acceleration signal to extract position and gesture information of a hand in space; And
Converting the hand position and gesture information into a data format used by a host to transmit the hand position and gesture information
Hand gesture-based user interface method comprising a.
사용자의 손동작 움직임에 대한 상기 자이로 센서가 이동한 각도를 연산하는 단계;
상기 가속도 신호에 포함된 중력 가속도를 이용하여 사용자의 손이 기준 축에 대하여 기울어진 정도인 기울기를 획득하는 단계; 및
상기 기울기를 이용하여 상기 이동한 각도에 대한 기울기 보상을 수행하는 단계를 포함하는 것
인 손동작 기반 사용자 인터페이스 방법.The method of claim 1, wherein the extracting comprises:
Calculating an angle at which the gyro sensor is moved with respect to a hand movement of a user;
Obtaining an inclination that is a degree in which a user's hand is inclined with respect to a reference axis by using gravity acceleration included in the acceleration signal; And
Performing slope compensation on the moved angle using the slope
Hand gesture based user interface method.
상기 추출된 손의 위치 및 제스처 정보를 사용하고자 하는 상기 호스트를 선택하는 단계
를 더 포함하는 손동작 기반 사용자 인터페이스 방법.The method of claim 1,
Selecting the host to use the extracted hand position and gesture information
Hand gesture-based user interface method further comprising.
입력되는 모드 선택 명령에 따라 상기 손의 위치 및 제스처 정보가 활용되는 기능을 정의하는 단계
를 더 포함하는 손동작 기반 사용자 인터페이스 방법.The method of claim 1,
Defining a function of utilizing the hand position and gesture information according to an input mode selection command
Hand gesture-based user interface method further comprising.
상기 손의 위치 및 제스처 정보를 상기 모드 선택 명령에 대응되는 기능으로 분별하는 단계; 및
분별된 상기 손의 위치 및 제스처 정보를 할당된 엔드포인트 버퍼(endpoint buffer)에 저장하는 단계를 포함하는 것
인 손동작 기반 사용자 인터페이스 방법.The method of claim 4, wherein the defining of the function comprises:
Classifying the position and gesture information of the hand into a function corresponding to the mode selection command; And
Storing the discerned hand position and gesture information in an assigned endpoint buffer.
Hand gesture based user interface method.
상기 모드 선택 명령은 복수의 장치의 기능의 조합을 지시하는 것이고,
상기 기능을 정의하는 단계는 상기 손의 위치 및 제스처 정보를 상기 모드 선택 명령에 대응하여 적어도 2개 이상의 기능으로 분별하는 단계를 포함하는 것
인 손동작 기반 사용자 인터페이스 방법.The method of claim 5,
The mode selection command is for instructing a combination of functions of a plurality of devices,
Defining the function comprises classifying the position and gesture information of the hand into at least two functions in response to the mode selection command.
Hand gesture based user interface method.
상기 출력된 자이로 및 가속도 신호를 연산 처리하여 공간상의 손의 위치 및 제스처 정보를 추출하는 연산 처리부;
상기 손의 위치 및 제스처 정보를 전송하고자 하는 호스트를 선택하기 위한 호스트 선택부;
상기 손의 위치 및 제스처 정보가 활용되는 기능을 정의하는 모드 선택 명령을 입력 받는 모드 선택부;
상기 선택된 호스트가 사용하는 데이터 포맷으로 상기 손의 위치 및 제스처 정보를 변환하는 포맷 변환부; 및
상기 변환된 데이터 포맷을 상기 호스트로 전송하는 전송부
를 포함하는 손동작 기반 사용자 인터페이스 장치.A sensor unit sensing a user's hand movement and outputting a gyro and an acceleration signal;
An arithmetic processing unit configured to arithmetic the output gyro and acceleration signals to extract position and gesture information of a hand in space;
A host selector for selecting a host to which the hand position and gesture information are to be transmitted;
A mode selection unit receiving a mode selection command for defining a function of utilizing the hand position and gesture information;
A format converter for converting the position and gesture information of the hand into a data format used by the selected host; And
Transmitter for transmitting the converted data format to the host
Gesture-based user interface device comprising a.
자이로 센서를 주 센서로 이용하여 사용자의 손동작의 회전운동을 센싱하고, 가속도 센서를 보조 센서로 이용하는 것
인 손동작 기반 사용자 인터페이스 장치.
The method of claim 7, wherein the sensor unit,
Sensing the rotational movement of the user's hand movement using the gyro sensor as the main sensor and using the acceleration sensor as the auxiliary sensor
Hand gesture based user interface device.
사용자의 손동작 움직임에 대한 자이로 센서가 이동한 각도를 연산하고, 상기 가속도 신호에 포함된 중력 가속도를 이용하여 사용자의 손이 기준축에 대하여 기울어진 정도인 기울기를 획득하고,
상기 기울기를 이용하여 상기 이동한 각도에 대한 기울기 보상을 수행하는 것
인 손동작 기반 사용자 인터페이스 장치.
The method of claim 7, wherein the calculation processing unit,
Compute the angle that the gyro sensor is moved with respect to the movement of the user's hand, and using the gravitational acceleration included in the acceleration signal to obtain the inclination of the user's hand with respect to the reference axis,
Performing tilt compensation for the shifted angle using the tilt
Hand gesture based user interface device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100099382A KR20120037739A (en) | 2010-10-12 | 2010-10-12 | User interface device and method based on hand gesture recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100099382A KR20120037739A (en) | 2010-10-12 | 2010-10-12 | User interface device and method based on hand gesture recognition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20120037739A true KR20120037739A (en) | 2012-04-20 |
Family
ID=46138776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100099382A KR20120037739A (en) | 2010-10-12 | 2010-10-12 | User interface device and method based on hand gesture recognition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20120037739A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013172522A1 (en) * | 2012-05-14 | 2013-11-21 | 전남대학교산학협력단 | Terminal capable of text message makeup and control method |
| CN104866099A (en) * | 2015-05-27 | 2015-08-26 | 东南大学 | Error compensation method for improving gesture identification precision of intelligent device based on motion sensor |
| WO2020080732A1 (en) * | 2018-10-16 | 2020-04-23 | 주식회사 콕스스페이스 | Interface method for controlling virtual content |
| KR20220009196A (en) | 2020-07-15 | 2022-01-24 | 울산대학교 산학협력단 | User interface transmission device and receiving device, and system using the same |
-
2010
- 2010-10-12 KR KR1020100099382A patent/KR20120037739A/en not_active Application Discontinuation
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013172522A1 (en) * | 2012-05-14 | 2013-11-21 | 전남대학교산학협력단 | Terminal capable of text message makeup and control method |
| CN104866099A (en) * | 2015-05-27 | 2015-08-26 | 东南大学 | Error compensation method for improving gesture identification precision of intelligent device based on motion sensor |
| CN104866099B (en) * | 2015-05-27 | 2017-12-26 | 东南大学 | The error compensating method of smart machine gesture identification precision is improved based on motion sensor |
| WO2020080732A1 (en) * | 2018-10-16 | 2020-04-23 | 주식회사 콕스스페이스 | Interface method for controlling virtual content |
| WO2020080733A1 (en) * | 2018-10-16 | 2020-04-23 | 주식회사 콕스스페이스 | Interface device for controlling virtual content |
| KR20220009196A (en) | 2020-07-15 | 2022-01-24 | 울산대학교 산학협력단 | User interface transmission device and receiving device, and system using the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10534431B2 (en) | Tracking finger movements to generate inputs for computer systems | |
| US10635166B2 (en) | Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system | |
| US11474593B2 (en) | Tracking user movements to control a skeleton model in a computer system | |
| KR101844390B1 (en) | Systems and techniques for user interface control | |
| KR101666096B1 (en) | System and method for enhanced gesture-based interaction | |
| KR101284797B1 (en) | Apparatus for user interface based on wearable computing environment and method thereof | |
| US10976863B1 (en) | Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user | |
| US10775946B2 (en) | Universal handheld controller of a computer system | |
| US20150220158A1 (en) | Methods and Apparatus for Mapping of Arbitrary Human Motion Within an Arbitrary Space Bounded by a User's Range of Motion | |
| CN102063183A (en) | Virtual input device of grove type | |
| US11009964B2 (en) | Length calibration for computer models of users to generate inputs for computer systems | |
| US20110148755A1 (en) | User interface apparatus and user interfacing method based on wearable computing environment | |
| US20140009384A1 (en) | Methods and systems for determining location of handheld device within 3d environment | |
| US11175729B2 (en) | Orientation determination based on both images and inertial measurement units | |
| US11054923B2 (en) | Automatic switching between different modes of tracking user motions to control computer applications | |
| US11079860B2 (en) | Kinematic chain motion predictions using results from multiple approaches combined via an artificial neural network | |
| US11237632B2 (en) | Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions | |
| TW201203028A (en) | A pen-like indicator and a method for providing movemnet information | |
| KR20120037739A (en) | User interface device and method based on hand gesture recognition | |
| WO2020009715A2 (en) | Tracking user movements to control a skeleton model in a computer system | |
| KR20110137587A (en) | Apparatus and method of contact-free space input/output interfacing | |
| CN102135794A (en) | Metacarpophalangeal interactive change 3D (three-dimensional) wireless mouse | |
| KR102322968B1 (en) | a short key instruction device using finger gestures and the short key instruction method using thereof | |
| JP2010086367A (en) | Positional information inputting device, positional information inputting method, program, information processing system, and electronic equipment | |
| US20230103932A1 (en) | Motion Sensor Modules with Dynamic Protocol Support for Communications with a Computing Device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E601 | Decision to refuse application |