KR100630806B1 - 동작 인식 장치를 이용한 명령 입력 방법 - Google Patents

동작 인식 장치를 이용한 명령 입력 방법 Download PDF

Info

Publication number
KR100630806B1
KR100630806B1 KR1020050114569A KR20050114569A KR100630806B1 KR 100630806 B1 KR100630806 B1 KR 100630806B1 KR 1020050114569 A KR1020050114569 A KR 1020050114569A KR 20050114569 A KR20050114569 A KR 20050114569A KR 100630806 B1 KR100630806 B1 KR 100630806B1
Authority
KR
South Korea
Prior art keywords
motion
movement
command
posture
input
Prior art date
Application number
KR1020050114569A
Other languages
English (en)
Inventor
손종무
심재철
조기성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020050114569A priority Critical patent/KR100630806B1/ko
Application granted granted Critical
Publication of KR100630806B1 publication Critical patent/KR100630806B1/ko
Priority to US11/604,488 priority patent/US8010911B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 관성 시스템으로 구현된 3차원 동작 인식 장치를 이용한 명령 입력 방법에 관한 것으로, 특히 상기 동작 인식 장치의 움직임 패턴뿐만 아니라 초기 자세 정보를 이용하여 입력 가능한 명령의 총 개수를 확장하려는 목적을 가진다.
본 발명에 따른 명령 입력 방법은, 상기 장치의 움직임이 발생하는 시점의 초기 자세를 판단하는 단계; 상기 장치의 움직임이 종료하면, 상기 움직임의 패턴을 판단하는 단계; 및 상기 초기 자세 판단 단계에서 판단한 초기 자세와 상기 움직임 패턴을 조합하여 최종 제어 명령을 결정하는 단계를 포함하는 것을 특징으로 한다.
상기와 같은 본 발명은, 3차원 공간상의 동일한 동작이라도 입력장치의 초기 자세에 의해 서로 다른 동작으로 인식될 수 있기 때문에, 사용자가 기억하기 쉽고 취하기 쉬운 소수의 동작만으로도 사용할 수 있는 전체 동작 모음의 수를 확장시킬 수 있는 효과가 있다.
동작 인식, 입력 장치, 명령 입력, 자소 인식, 관성시스템

Description

동작 인식 장치를 이용한 명령 입력 방법{Command Input Method using Motion Recognition Device}
도 1은 본 발명의 명령 입력 방법에 따른 명령 인식 과정을 나타낸 순서도,
도 2는 본 발명의 명령 입력 방법을 수행하기 위한 명령 결정용 대응 테이블의 일실시예를 나타낸 도면,
도 3은 본 발명의 명령 입력 방법을 리모컨에 적용한 명령 결정용 대응 테이블의 다른 실시예를 나타낸 도면,
도 4는 본 발명의 명령 입력 방법을 문자 인식에 적용한 명령 결정용 대응 테이블의 또 다른 실시예를 나타낸 도면,
도 5는 본 발명에 따른 명령 입력 방법이 수행될 수 있는 입력 장치 시스템 구성의 일실시예를 나타낸 연결 구조도.
본 발명은 관성 시스템으로 구현된 3차원 동작 인식 장치를 이용한 명령 입 력 방법에 관한 것으로, 특히 상기 동작 인식 장치의 움직임 패턴뿐만 아니라 초기 자세 정보를 이용하여 입력 가능한 명령의 총 개수를 확장할 수 있는 명령 입력 방법에 관한 것이다.
새롭고 다양한 디지털 미디어의 보편화와 그에 맞는 각종 단말 장치의 등장과 함께, 다양한 입력 장치들이 등장하여 사용되고 있다. 기존의 대표적인 휴대형 입력 장치들로는 리모트 컨트롤러(이하, 리모컨이라 한다), 키보드, 마우스를 들 수 있다. 하지만, 이러한 기존의 입력 장치들은 사용의 복잡성, 물리적 공간의 제약으로 인해 점차 새로운 입력 장치들이 이들의 기능을 대체하고 있으며, 이러한 현상은 특히 소형 단말 장치에 있어 두드러지게 나타나고 있다.
기존의 입력 장치를 대체, 또는 별도의 사용 가치를 지닐 것으로 예상되는 입력 장치들 중 하나로, 공간에서의 사용자의 동작을 인식하고 이를 해석하여 제어 대상 장치로 명령을 내리는 방식 및 장치들이 연구되고 있다.
3차원 공간상의 움직임을 감지하는 방법들 중 하나로, 카메라를 이용하여 움직이는 물체를 촬영하고 이에 대한 이미지 프로세싱을 통해 움직임을 해석하는 방법이 있다. 이 경우 다수의 카메라가 필요하고, 이미지 프로세싱을 위해 사용자가 특별한 모양 혹은 색을 가진 물체를 사용하여야 하며, 프로세싱이 복잡하고, 공간의 제약으로 인해 휴대형 장치의 입력 방식으로는 사용하지 못한다는 문제가 있다.
다른 방법으로 3각 측량의 원리를 이용한 방법도 존재한다. 카메라 대신 전파, 혹은 음파를 발신/수신하는 장치를 특정 위치에 고정하고, 대상 장치가 해당 발신/수신 장치가 커버하는 영역 내에서 움직일 때 변하는 전파, 혹은 음파의 변화 를 측정하여 물체의 위치를 추적하는 방식이다. 이 방식 역시 제한된 공간에서만 사용 가능하다는 점과 미세한 움직임에는 적용하기 어렵다는 문제가 있다.
또 다른 방법으로 관성 시스템을 내장한 장치를 이용하는 방법들이 있다. 구체적인 일례로, 3축 각속도 센서, 3축 가속도 센서, 그리고 3축 속도 센서 등의 조합을 이용하여 3차원 공간상에서의 움직임을 검출하는 펜 형 포인팅 장치들이 있다. 이러한 장치들은 컴퓨터 장치와 무선으로 연결되며, 포인팅 장치의 기울임 및 움직임에 의한 각속도 변화를 컴퓨터로 전송하여 컴퓨터의 마우스 포인터를 이동시키거나 필기 인식을 위한 궤적을 추출한다.
또 다른 일례로, 3축 가속도 센서와 3차원 광학 인식 장치를 이용한 펜 형 입력 장치가 있다. 상기 장치는 3차원 광학 인식 장치를 이용하여 소정의 물리적 평면(예, 테이블)과의 접촉 여부와 그 각도를 측정하고, 측정된 장치의 자세 정보를 움직임에 의해 발생하는 가속도 정보에 반영하여 펜의 움직임에 의한 궤적을 추출한다.
또 다른 일례로, 2축 가속도 센서를 이용한 소형의 반지형 입력 장치가 있다. 상기 장치는 소정의 물리적 평면상에의 손가락 움직임에 의한 가속도를 검출하여 사용자의 움직임 궤적을 해석한다. 즉, 손가락이 소정의 접촉면에 접촉할 때 발생하는 미소충돌 신호 및 접촉면을 떠날 때 발생하는 상승 신호를 2축 가속도 센서로 감지하여 그 사이 구간의 가속도 정보를 이중 적분하여 손가락 움직임 궤적을 추출하고, 상기 추출한 정보를 컴퓨터의 포인팅 정보로 이용하며, 이를 확대하여 필기 인식과 같은 응용이 가능하다.
상기 카메라를 이용하거나, 3각 측량의 방식을 이용하거나, 관성 시스템을 이용한 방식들은 공통적으로 사용자의 움직임을 2차원 평면상의 궤적으로 투영하고, 투영된 궤적을 제어 대상의 동작과 대응시키는 방법을 사용하며, 경우에 따라서는 물리적인 2차원 평면을 반드시 필요로 한다는 제약이 존재한다. 따라서 3차원 공간상의 움직임을 바로 인식하는 경우보다 적은 수의 동작만이 인식 가능하므로 전체적으로 사용 가능한 동작의 수가 현저히 줄어든다는 단점이 존재한다.
만약 이러한 한계를 극복하고자 2차원 평면에 투영되는 궤적의 수를 늘일 경우에는 그 궤적의 복잡도와 전체 개수가 증가하여 궤적의 인식을 위한 알고리즘을 구현하기 어려울 뿐만 아니라 그러한 궤적들을 사용자가 모두 기억하기도 어렵다는 제약이 존재한다.
따라서 상기 관성 시스템을 이용하는 방식들의 경우, 최종 궤적을 보다 정확하여 계산하여 인식 과정을 쉽게 하고, 또한 구분되는 동작의 수를 늘리기 위한 다양한 보정 기법들과 2차원 평면상으로의 궤적 투영을 위한 알고리즘으로 인해 동작 인식의 복잡도가 증가한다는 단점이 존재하며, 이러한 동작 인식의 복잡도 증가로 인해 사용 가능한 동작의 모음을 최소화해야 한다는 단점이 존재한다.
본 발명은 상기의 문제점들을 해결하기 위한 것으로, 간단한 구조로 실시할 수 있는 동작 인식 기반 명령 입력 방법을 제공하는데 그 목적이 있다.
본 발명은 3차원 공간상에서 동작을 인식할 수 있는 사용 가능한 동작 모음 을 확장할 수 있는 동작 인식 기반 명령 입력 방법을 제공하는 다른 목적이 있다.
본 발명은 일관성 있는 동작 모음 확장 방법을 통해 사용자가 이를 쉽게 기억할 수 있는 동작 인식 기반 명령 입력 방법을 제공하는데 또 다른 목적이 있다.
상기의 목적을 달성하기 위한 3차원 동작 인식 장치를 이용한 본 발명의 명령 입력 방법은, 상기 동작 인식 장치의 움직임이 발생하는 시점의 초기 자세를 판단하는 단계; 상기 동작 인식 장치의 움직임이 종료하면, 상기 움직임의 패턴을 판단하는 단계; 및 상기 초기 자세 판단 단계에서 판단한 초기 자세와 상기 움직임 패턴을 조합하여 최종 명령을 결정하는 단계를 포함하는 것을 특징으로 한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 본 실시예는 본 발명의 권리범위를 한정하는 것은 아니고, 단지 예시로 제시된 것이다.
우선 본 발명의 사상에 따른 제어 명령 입력 방법이 수행되는 시스템에 대하여 살펴보겠다. 도 5는 본 발명의 제어 명령 입력 방법이 수행되는 3차원 가속도 센서를 이용한 입력 장치를 사용하는 구성의 일실시예로, 사용자가 착용할 수 있고 사용자의 움직임 정보를 무선으로 전송할 수 있는 3차원 동작 인식 장치(10), 사용자의 움직임 정보에서 유의미한 동작을 추출하고 그에 대응되는 정보를 무선, 또는 유선으로 전송할 수 있는 호스트 정합 장치(20), 상기 호스트 정합 장치(20)와 유선 혹은 무선으로 연결될 수 있는 복수의 컴퓨터 기반 호스트 장치(30' 내지 30"), 및 상기 호스트 정합 수단(20)과 무선으로 연결될 수 있는 복수의 일반 가전 장치(40' 내지 40")를 포함할 수 있다. 하기에서 '움직임'이란 단어는 상기 3차원 동작 인식 장치를 통한 사용자의 지시 신호로서 유의미한 동작구간을 뜻하는 의미로 사용된다.
(실시예)
도 1을 사용하여 본 발명 일실시예에 따른 동작을 설명한다. 도시한 제어 명령 입력 방법은 사용자가 휴대 또는 부착하는 3차원 동작 인식 장치로부터 입력받는 상기 동작 인식 장치의 출력 변위값을 사용하여 수행되며, 상기 동작 인식 장치의 움직임의 시작점을 검출하는 단계(S100); 상기 움직임의 시작에서 상기 동작 인식 장치의 초기 자세를 판단하는 단계(S200); 상기 동작 인식 장치의 움직임이 종료되는 시점을 모니터링하는 단계(S300); 상기 동작 인식 장치의 움직임이 종료하면, 상기 움직임의 패턴을 판단하는 단계(S400); 및 상기 초기 자세와 상기 움직임 패턴으로부터 명령을 결정하는 단계(S500)를 포함한다.
움직임 감지 단계(S100)는 관성 시스템으로 구현된 3차원 동작 인식 장치에 내장된 버튼의 눌림을 이용하거나, 관성 시스템에서 검출한 움직임 에너지의 급격한 변화를 감지하여 움직임의 시작을 감지한다. 후자의 경우를 상세히 설명하자면, 가속도 0의 등속운동이 실질적으로 불가능한 인간의 동작의 특성상 가속도값이 0인 시점에서 정지 상태로 판단하도록 구현할 수 있다. 이후 소정의 임계치 범위 내의 미세한 가속도 변화는 계속 정지 상태로 간주하고, 임계치 범위를 벗어난 가속도 변화가 발생한 시점을 움직임의 시작으로 판단할 수 있다.
자세 판단 단계(S200)는 상기 움직임 감지 단계(S100)에서 감지한 움직임 시작점 직전 또는 직후에서의 3차원 동작 인식 장치의 자세를 판단한다. 상기 3차원 동작 인식 장치의 자세는 장치에 내장된 관성 시스템에 작용하는 중력을 이용한다. 본 과정에서는 장치를 중심으로 고정된 방향에 따른 장치 좌표계를 중력 좌표계로 전환하기 위한 기준 데이터를 생성하도록 구현할 수 있다. 상기 움직임 시작점 직전의 자세를 판단하는 구현인 경우, 상기 움직임 시작점 직후의 자세를 판단하는 경우보다 더 정확한 기준 데이터를 얻을 수 있고 실시가 또한 용이하다. 또한, 추후의 움직임 패턴 인식 단계(S400) 및/또는 명령 결정 단계(S500)에서 판단의 근거 데이터로 사용할 수 있도록, 도시하지는 않았지만 상기 자세 판단 단계(S200)이후 소정의 시간별로 측정한 움직임 에너지의 측정값(예컨대, 가속도값)을 기록하는, 상기 장치의 움직임을 모니터링하는 단계를 추가로 수행할 수 있다.
상기 움직임 끝 감지 단계(S300)는 상기 움직임 감지 단계(S100)와 유사하게 관성 시스템으로 구현된 3차원 입력장치에 내장된 버튼의 떨어짐을 이용하거나, 관성 시스템에서 검출한 움직임 에너지의 무변화(예컨대, 0의 가속도값)를 감지하여 움직임의 끝을 감지한다.
장치의 움직임에 따른 명령을 결정하는 과정은 상기 움직임 감지 단계(S100)에서 검출한 동작 시작 시점에서부터 상기 동작 끝 감지 단계(S300)에서 검출한 동작 끝 시점까지의 움직임 정보를 유의미한 동작 구간으로 추출하고, 초기 자세를 이용한 보정을 통해 중력 좌표계 상의 움직임으로 변환한 뒤, 변환된 움직임을 유 의미한 동작으로 인식할 수 있다.
즉, 상기 과정은 장치의 고정된 좌표계상에서의 장치의 움직임 패턴을 파악하는 단계(S400), 및 상기 장치의 움직임 패턴에서 대응하는 제어 명령을 결정하는 단계(S500)로 이루어진다. 이것은 가장 단순한 구조의 동작 인식 및 명령 결정 과정이며, 보다 많은 종류의 명령을 입력 가능하도록 확장하거나, 사용자 편의성을 증대시키기 위해, 상기 제어 명령의 결정 단계(S500)에서 중력 방향에 대한 상기 동작 감지 장치의 초기 자세를 적용한다. 이 경우, 동작 결정 단계(S500)에서는 상기 자세 판단 단계(S200)에서 저장한 3차원 입력장치의 자세와 상기 동작 인식 단계(S400)에서 인식한 동작을 조합하여 최종 동작을 결정하게 된다.
또한, 상기 S400 단계에서, 별도로 구비된 복수의 동작 인식기 중 하나를 상기 초기 자세 정보를 이용하여 선택하고, 상기 선택된 동작 인식기를 이용하여 상기 초기 자세에 무관한 중력 좌표계상의 움직임을 동작으로 인식하도록 구현할 수도 있다. 상기 구현의 경우 복수의 동작 인식기로 인한 비용부담이 존재하지만, 보다 동작 인식 과정이 단순해지며 그 결과 보다 정확해지는 장점이 있다.
이하, 구체적인 사례에 적용한 본 발명의 사상에 따른 명령 입력 방법의 세부 실시예들을 상세히 설명한다. 상기 실시예들은 상기 자세 판단 단계(S200)에 의해 얻어진 초기 자세를 입력 명령 세트의 확장을 위해 적용한 것이다. 즉, 하기 실시예에서는, 상기 동작 움직임 패턴 단계(S400)에서 인식한 하나의 동작이 상기 자세 판단 단계(S200)에서의 자세에 따라 서로 다른 동작으로 인식된다.
관성 시스템을 이용하여 구현된 3차원 입력장치가 손가락에 착용 가능한 반지의 형태를 가지며, 3차원 입력장치를 이용하여 간단한 리모컨의 기능을 수행한다고 가정한다. 반지를 오른손에 착용하고 손바닥이 지면을 향하게 하는 경우 동체 좌표계와 중력 좌표계가 일치한다고 가정하면, 손바닥이 좌측을 향하고 손날이 지면을 향하는 경우에는 동체 좌표계와 중력 좌표계가 서로 어긋나게 되어 반지를 착용한 손의 자세가 90도 틀어져 있음을 알 수 있다. 이와 같이, 동작 인식을 위한 움직임 이전의 손바닥 방향을 이용하여 크게 3가지 자세를 구분할 수 있다. 즉, 반지를 오른손에 착용한 상황에서 손바닥이 지면을 향하는 경우 (자세 A), 손바닥이 좌측을 향하고 손날이 지면을 향하는 경우 (자세 B), 손바닥이 하늘을 향하는 경우 (자세 C)로 자세를 구분한다.
이후 사용자가 상기 자세를 유지하면서 동작 인식을 위한 움직임을 취하면, 그로 인해 발생하는 관성 시스템의 출력값을 이용해 중력 좌표계 상의 움직임을 계산한다. 즉, 초기 자세를 이용하여 동체 좌표계 상의 움직임을 중력 좌표계 상의 움직임으로 변환하여 자세에 무관한 움직임이 나타나도록 한다. 예를 들어, 사용자가 왼쪽으로 움직이는 동작을 취하는 경우 초기 자세와는 관계없이 중력 좌표계 상에서 "왼쪽으로 움직임"이라는 동작으로 인식하도록 한다.
상기 인식 과정은 관성 시스템의 출력으로부터 입력 장치의 궤적을 계산하여 해당 궤적을 보고 동작을 인식하도록 하거나, 신경망과 같은 알고리즘에 가속도, 속도, 궤적 등을 입력으로 하여 동작을 인식하도록 하거나, 또는 가속도 데이터와 같은 가공되지 않은 데이터의 피크를 보고 단순한 동작을 인식하도록 하는 방식들을 선택적으로 사용할 수 있으며, 선택의 기준은 원 데이터의 정확도, 동작의 복잡도, 계산의 복잡도, 계산기의 성능 등이 사용될 수 있다.
인식된 동작 패턴은 초기의 자세와 조합되어 최종 동작으로 대응되며, 이 때 일종의 대응 테이블로 도 2와 같은 대응 테이블을 생각해 볼 수 있으며, 상기 대응 테이블(100)은 장치를 착용한 손의 자세를 저장하는 입력장치 자세 열(101), 자세와 관계없는 중력 좌표계 상에서 인식된 동작 열(102), 그리고 최종 결정된 동작 열(103)로 구성된다.
상기 대응 테이블(100)을 이용하여 간단한 리모컨의 기능을 수행하기 위해 구성 가능한 일 예로 도 3과 같은 리모컨용 대응 테이블(200)을 이용할 수 있다. 즉, 자세 A일 경우에는 기본적인 메뉴의 네비게이션을 위한 동작으로 이용하고, 자세 B일 경우 채널과 음량 조절 기능, 그리고 자세 C는 특수 추가 기능을 위한 동작으로 이용하여 실제 사용자의 동작 수는 몇 개 되지 않더라도 장치를 착용한 손의 초기 자세를 이용하여 전체 동작 모음을 확장시킬 수 있다.
또한 상기 대응 테이블(200)은 제어 대상에 따라 얼마든지 변경/확장하여 사용이 가능하다.
이하, 상기 3차원 입력장치를 이용하여 문자 입력의 기능을 수행하는 경우의 일실시예를 도 4를 사용하여 설명한다.
도 4는 필기 입력 기능을 위한 대응 테이블(300)의 일실시예로, 앞서 기술한 것과 동일하게 3가지 자세(손바닥이 지면을 향하는 자세 A, 손바닥이 좌측을 향하고 손날이 지면을 향하는 자세 B, 손바닥이 하늘을 향하는 자세 C)를 기준으로 삼아 초기 자세를 판단한다. 3가지 자세는 한글, 영문, 특수문자 및 제어 기능의 입력용으로 각각 구분하여 사용한다. 즉, 자세 A의 경우, 초기 자세 이후의 움직임은 모두 한글 자소 및 숫자로 인식되어 최종 동작이 결정되고, 자세 B의 경우 모두 영문 알파벳 및 숫자로 인식되어 최종 동작이 결정된다. 자세 C의 경우, 초기 자세 이후의 움직임은 영문 대/소 변환, 기호(쉼표, 마침표, 느낌표, 물음표, 괄호 등), 그리고 3차원 입력장치의 활성/비활성 전환 등으로 인식되어 최종 동작이 결정된다.
상기 움직임을 인식하는 부분은, 각각 한글 인식용, 영문 인식용, 제어 인식용으로 물리적으로 구분된 모듈의 형태로 구현할 수 있고 상기 인식된 초기 자세에 의해 각 모듈이 활성화 되어 해당 동작을 인식한 뒤, 대응 테이블(300)을 참조하여 최종 결과를 도출해 낼 수도 있다.
또한, 자세 C의 경우에는 사용자가 문자 입력을 위한 동작을 취하기 부적합한 자세이므로 문자 입력을 수행하는 제어 대상 장치에서 별도의 GUI(Graphical Use Interface) feedback을 사용자에게 주어 공간상의 문자 입력이 아닌 화면에 보이는 내용을 상하좌우 이동을 통해 선택할 수 있는 방법을 사용할 수도 있다.
만약 왼손잡이가 장치를 사용할 경우 상기 일 실시 예에서 볼 수 있는 대응 테이블을 왼손잡이용으로 추가 구성하고, 별도의 설정 플래그(flag)를 이용하여 두 대응 테이블 중 하나를 선택하는 방법을 사용하여 손잡이에 의한 동작의 혼동을 해 결할 수 있으며, 상기 왼손/오른손잡이 설정 플래그는 3차원 입력장치의 초기 설정 당시 사용자에 의해 선택되도록 할 수 있다.
이하, 또 다른 일실시예를 통해 한글 입력시 한글의 자음과 모음 입력을 구분하기 위한 본 발명의 활용을 설명한다.
3차원 동작 입력장치를 사용하여 한글을 입력하는 경우에 있어, 동작 직전의 초기 자세를 이용하여 입력되는 동작이 자음인지 모음인지를 구분한다. 즉, 사용자 움직임 직전의 초기 자세를 최소 2가지 이상(자세 A와 자세 B)으로 구분하고, 만약 초기 자세가 A라면 사용자의 동작을 자음 입력을 위한 동작으로, 초기 자세가 B라면 사용자의 동작을 모음 입력을 위한 동작으로 인식하여 최종 한글 자/모음을 결정하게 된다.
이하, 또 다른 일실시예를 통해 영문 및 한글의 자소를 구분하기 위한 본 발명의 활용을 설명한다.
하나의 영문자(알파벳) 또는 한글의 자소는 하나 이상의 획으로 구성되어 있다. 따라서, 하나의 온전한 자소를 구성하기 위해서는 복수개의 획을 조합할 필요가 있는데, 이 때 새로 입력된 획이 현재의 입력중인 자소에 포함되는 획인지, 아니면 다음 자소에 포함되는 획인지를 구분하기 위해, 획 입력을 위한 동작의 초기 자세를 최소 2가지 이상(자세 A와 자세 B)로 구분하고, 각각의 자소마다 초기 자세를 달리하여 각각의 자소를 구분한다. 즉, 자세 A를 취한 상태에서 입력한 모든 획 들을 조합하여 첫번째 자소를 구성하고, 두번째 자소는 자세를 B로 취한 상태에서 획들을 입력하여 구성하고, 세번째 자소는 다시 자세를 A로 취한 상태에서 입력한다. 즉, 상기 움직임의 시점과 종료점으로 구분되는 움직임의 패턴 여러개로 하나의 자소가 완성되기 때문에 하나의 자소를 구성하는 복수개의 움직임 패턴 집합을 구별하여야 하는 바, 본 실시예에서는 상기 초기 자세의 정보에 따라 패턴 집합을 구별하는 것이다.
이하, 또 다른 일실시예를 통해 관성 시스템과 영상 인식 시스템을 동시에 이용한 동작 모음의 확장 방법에 대해 설명한다.
사용자가 관성 시스템을 내장한 입력 장치를 사용자의 손에 착용할 수 있도록 하고, 사용자의 손 움직임을 영상으로 감지하여 추출하고 인식할 수 있는 영상 인식 시스템을 구비한다. 사용자의 손에 착용한 입력 장치는 손의 자세를 출력하여 영상 인식 시스템으로 전송하고, 사용자의 손을 움직였을 때 발생하는 영상 인식 시스템의 인식 결과와 사용자의 손에 착용한 입력 장치에서 전송된 자세 정보를 조합하여 최종 동작을 결정한다.
예를 들어, 관성 시스템을 내장한 입력 장치를 손등에 장착하고, 영상 인식 시스템이 천장에서 바닥의 영상을 모니터하고 있다고 가정하면, 손바닥이 바닥을 향하고 있는 자세를 유지하는 동안은 영상을 통한 동작 인식 구간으로 인지하지 않고, 손바닥이 천장을 향하거나 좌/우 방향을 향하는 경우에는 영상을 통한 동작 인식 구간으로 인식할 수 있다. 또한, 손바닥이 천장을 향하는 경우는 손바닥 모양의 영상을 인식하도록 영상 인식 시스템을 구성하고 손바닥이 좌/우를 향하는 경우는 손날의 모양을 인식하도록 영상 인식 시스템을 구성하여 영상 인식 알고리즘을 단순화 시킬 수 있으며, 손바닥의 방향은 다르지만 동일한 움직임 궤적을 가지는 동작의 경우에 손바닥 방향에 따라 서로 다른 동작으로 인식하게 함으로써 보다 적은 수의 2차원 영상으로도 보다 많은 동작을 제공할 수 있다.
상기와 같은 본 발명은, 동일한 3차원 공간상의 동작이라도 입력장치의 초기 자세에 의해 서로 다른 명령으로 인식될 수 있기 때문에, 명령 입력 시스템의 구조를 간략화 할 수 있는 효과가 있다.
또한, 본 발명은 초기 자세 별로 별도의 동작 인식기를 사용하도록 하여 동작 인식기의 구현이 용이해지는 효과가 있다.
또한, 본 발명은 사용자가 기억하기 쉽고 취하기 쉬운 소수의 동작만으로도 사용할 수 있는 전체 동작 모음의 수를 확장시킬 수 있는 효과가 있다.
또한, 초기 자세에 의해 전체 동작을 일관성 있게 구분할 수 있어 사용자가 동작을 기억하기 쉽게 할 수 있는 효과가 있다.
또한, 입력장치의 초기 자세를 문자 입력시 문자의 자소간 구분에 활용함으로써 문자 입력의 속도를 향상시키는 효과가 있다.

Claims (10)

  1. 동작 인식 장치를 이용한 명령 입력 방법에 있어서,
    (a) 상기 동작 인식 장치의 움직임이 발생하는 시점의 초기 자세를 판단하는 단계;
    (b) 상기 동작 인식 장치의 움직임이 종료하면, 상기 움직임의 패턴을 판단하는 단계; 및
    (c) 상기 (a)단계에서 판단한 초기 자세와 상기 움직임 패턴으로부터 명령을 결정하는 단계
    를 포함하는 명령 입력 방법.
  2. 제1항에 있어서, 상기 (a)단계 이후,
    상기 동작 인식 장치의 움직임을 모니터링하여 기록하는 단계
    를 더 포함하는 명령 입력 방법.
  3. 제1항에 있어서, 상기 (a)단계는,
    상기 동작 인식 장치의 움직임의 시작점을 검출하는 단계; 및
    상기 움직임의 시작점일때 장치의 자세를 판단하는 단계
    를 포함하는 명령 입력 방법.
  4. 제1항에 있어서, 상기 (c)단계에서는,
    상기 초기 자세와 상기 움직임 패턴의 조합에 따라 지정된 명령들로 이루어진 테이블을 사용하는 것을 특징으로 하는 명령 입력 방법.
  5. 제1항에 있어서,
    상기 움직임의 시작점 및 종료점은, 상기 동작 인식 장치에 내장된 사용자 조작 장치에 의해 결정되는 것을 특징으로 하는 명령 입력 방법.
  6. 제1항에 있어서, 상기 (b)단계는,
    상기 초기 자세에 무관한 중력 좌표계 상의 움직임을 동작으로 인식하는 것을 특징으로 하는 명령 입력 방법.
  7. 제1항에 있어서, 상기 (b)단계는,
    상기 초기 자세 정보에 따라 구비된 복수의 동작 인식기중 하나를 선택하는 단계; 및
    상기 선택된 동작 인식기에 대한 중력 좌표계상의 움직임을 동작으로 인식하는 단계
    를 포함하는 것을 특징으로 하는 명령 입력 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 (c)단계에서는,
    상기 초기 자세 정보로부터 복수의 명령들의 집합인 명령 세트를 선택하고,
    상기 움직임 패턴 정보로부터 상기 선택된 명령 세트 내에서 해당 명령을 결정하는 것을 특징으로 하는 명령 입력 방법.
  9. 제8항에 있어서,
    상기 명령 세트는, 한글 자음 입력 명령 세트 및 한글 모음 입력 명령 세트를 포함하는 것을 특징으로 하는 명령 입력 방법.
  10. 제8항에 있어서,
    상기 명령 세트는, 한글 자소 입력 명령 세트 및 영문 자소 입력 명령 세트를 포함하는 것을 특징으로 하는 명령 입력 방법.
KR1020050114569A 2005-11-29 2005-11-29 동작 인식 장치를 이용한 명령 입력 방법 KR100630806B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050114569A KR100630806B1 (ko) 2005-11-29 2005-11-29 동작 인식 장치를 이용한 명령 입력 방법
US11/604,488 US8010911B2 (en) 2005-11-29 2006-11-27 Command input method using motion recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050114569A KR100630806B1 (ko) 2005-11-29 2005-11-29 동작 인식 장치를 이용한 명령 입력 방법

Publications (1)

Publication Number Publication Date
KR100630806B1 true KR100630806B1 (ko) 2006-10-04

Family

ID=37622763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050114569A KR100630806B1 (ko) 2005-11-29 2005-11-29 동작 인식 장치를 이용한 명령 입력 방법

Country Status (2)

Country Link
US (1) US8010911B2 (ko)
KR (1) KR100630806B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100884553B1 (ko) 2006-12-18 2009-02-19 한국과학기술연구원 다중 컴퓨팅 네트워크 환경에서의 데이터 전송 시스템 및방법
US8310547B2 (en) 2008-12-05 2012-11-13 Electronics And Telecommunications Research Institue Device for recognizing motion and method of recognizing motion using the same
KR20140014129A (ko) * 2011-01-19 2014-02-05 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 멀티모달 및 제스처 제어를 위한 방법 및 시스템
KR101413539B1 (ko) * 2010-11-22 2014-07-02 한국전자통신연구원 자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법
KR101569115B1 (ko) * 2015-01-27 2015-11-13 성균관대학교산학협력단 한글 입력 장치 및 한글 입력 장치를 이용한 한글 입력 방법

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110210931A1 (en) * 2007-08-19 2011-09-01 Ringbow Ltd. Finger-worn device and interaction methods and communication methods
US8996332B2 (en) * 2008-06-24 2015-03-31 Dp Technologies, Inc. Program setting adjustments based on activity identification
TW201028886A (en) * 2009-01-22 2010-08-01 Asustek Comp Inc Method and system for identifying 3D motion
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US20120242514A1 (en) * 2011-03-24 2012-09-27 Smile Technology Co., Ltd. Hybrid keyboard
CN102549577A (zh) * 2011-12-29 2012-07-04 华为技术有限公司 联系人搜索方法、装置及其应用的移动终端
US9588582B2 (en) 2013-09-17 2017-03-07 Medibotics Llc Motion recognition clothing (TM) with two different sets of tubes spanning a body joint
JP6017680B2 (ja) * 2012-06-29 2016-11-02 インテル コーポレイション 動きを用いてモバイル通信デバイスをセキュアにペアリングするデバイス、方法、及びシステム
CN102866789B (zh) * 2012-09-18 2015-12-09 中国科学院计算技术研究所 一种人机交互戒指
CN102981740A (zh) * 2012-11-13 2013-03-20 广东欧珀移动通信有限公司 一种移动终端输入法切换方法
CN103823576B (zh) * 2012-11-16 2016-08-03 中国科学院声学研究所 一种智能终端的控制信息输入方法及***
CN103105945B (zh) * 2012-12-17 2016-03-30 中国科学院计算技术研究所 一种支持多点触摸手势的人机交互戒指
CN105452979A (zh) * 2013-05-10 2016-03-30 齐特里斯股份公司 用于在体育应用中输入信息的设备和方法
CN104157116B (zh) * 2014-06-26 2017-12-12 京东方科技集团股份有限公司 智能戒指及可佩戴智能显示***
US9430702B2 (en) * 2014-07-10 2016-08-30 Korea Electronics Technology Institute Character input apparatus and method based on handwriting
CN104571499A (zh) * 2014-12-11 2015-04-29 深圳市金立通信设备有限公司 一种控制终端的方法及终端
CN104571876A (zh) * 2014-12-11 2015-04-29 深圳市金立通信设备有限公司 一种终端
WO2019061328A1 (zh) * 2017-09-29 2019-04-04 深圳传音通讯有限公司 终端拍摄控制方法、装置及计算机可读存储介质
US20230341944A1 (en) * 2022-04-26 2023-10-26 Oura Health Oy Ring-inputted commands

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004170466A (ja) 2002-11-15 2004-06-17 Toshihisa Tsukada 音声認識方法と電子装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953735A (en) * 1991-03-20 1999-09-14 Forcier; Mitchell D. Script character processing method and system with bit-mapped document editing
US5481278A (en) * 1992-10-21 1996-01-02 Sharp Kabushiki Kaisha Information processing apparatus
US5825308A (en) * 1996-11-26 1998-10-20 Immersion Human Interface Corporation Force feedback interface having isotonic and isometric functionality
JP2000176868A (ja) 1998-12-16 2000-06-27 Toyoda Mach Works Ltd ロボット制御装置
US6567101B1 (en) * 1999-10-13 2003-05-20 Gateway, Inc. System and method utilizing motion input for manipulating a display of data
KR100415884B1 (ko) 2000-11-06 2004-01-24 (주)모션테크놀로지 모션 캡쳐를 통하여 모션 데이터 파일을 생성하는 방법 및장치
KR100543701B1 (ko) 2003-06-17 2006-01-20 삼성전자주식회사 공간형 입력 장치 및 방법
KR20050052555A (ko) 2003-11-28 2005-06-03 양기혁 자이로 및 엑셀로미터 센서를 이용한 모션캡쳐 장치 및 방법
DE202005022038U1 (de) * 2004-04-30 2012-07-12 Hillcrest Laboratories, Inc. Freiraum-Zeigevorrichtungen mit Neigungskompensation und verbesserter Benutzbarkeit
US20080174550A1 (en) * 2005-02-24 2008-07-24 Kari Laurila Motion-Input Device For a Computing Terminal and Method of its Operation
US7657849B2 (en) * 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004170466A (ja) 2002-11-15 2004-06-17 Toshihisa Tsukada 音声認識方法と電子装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100884553B1 (ko) 2006-12-18 2009-02-19 한국과학기술연구원 다중 컴퓨팅 네트워크 환경에서의 데이터 전송 시스템 및방법
US8310547B2 (en) 2008-12-05 2012-11-13 Electronics And Telecommunications Research Institue Device for recognizing motion and method of recognizing motion using the same
KR101413539B1 (ko) * 2010-11-22 2014-07-02 한국전자통신연구원 자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법
KR20140014129A (ko) * 2011-01-19 2014-02-05 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 멀티모달 및 제스처 제어를 위한 방법 및 시스템
KR101690117B1 (ko) 2011-01-19 2016-12-27 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 멀티모달 및 제스처 제어를 위한 방법 및 시스템
KR101569115B1 (ko) * 2015-01-27 2015-11-13 성균관대학교산학협력단 한글 입력 장치 및 한글 입력 장치를 이용한 한글 입력 방법

Also Published As

Publication number Publication date
US20070124703A1 (en) 2007-05-31
US8010911B2 (en) 2011-08-30

Similar Documents

Publication Publication Date Title
KR100630806B1 (ko) 동작 인식 장치를 이용한 명령 입력 방법
US11755137B2 (en) Gesture recognition devices and methods
US11009950B2 (en) Arbitrary surface and finger position keyboard
US10209881B2 (en) Extending the free fingers typing technology and introducing the finger taps language technology
US10042438B2 (en) Systems and methods for text entry
TWI569176B (zh) 手寫軌跡識別方法與系統
KR100777107B1 (ko) 가속도 센서를 이용한 문자인식 장치 및 방법
CN105824431A (zh) 信息输入装置与方法
WO2012163124A1 (zh) 基于空间运动的输入方法及终端
US10955935B2 (en) Tap device with multi-tap feature for expanded character set
US10162420B2 (en) Recognition device, method, and storage medium
KR101211808B1 (ko) 동작인식장치 및 동작인식방법
Agarwal et al. Gestglove: A wearable device with gesture based touchless interaction
JP2010086367A (ja) 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
Costagliola et al. Gesture‐Based Computing
CN112567319A (zh) 一种信号输入的方法及装置
Padliya Gesture Recognition and Recommendations
KR20160101598A (ko) 수지타법입력장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee