KR101116221B1 - 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법 - Google Patents

터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법 Download PDF

Info

Publication number
KR101116221B1
KR101116221B1 KR1020100038820A KR20100038820A KR101116221B1 KR 101116221 B1 KR101116221 B1 KR 101116221B1 KR 1020100038820 A KR1020100038820 A KR 1020100038820A KR 20100038820 A KR20100038820 A KR 20100038820A KR 101116221 B1 KR101116221 B1 KR 101116221B1
Authority
KR
South Korea
Prior art keywords
gesture
touch
game
shapes
monitor
Prior art date
Application number
KR1020100038820A
Other languages
English (en)
Other versions
KR20110119227A (ko
Inventor
이동훈
윤태수
한상헌
이윤찬
정승대
Original Assignee
동서대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교산학협력단 filed Critical 동서대학교산학협력단
Priority to KR1020100038820A priority Critical patent/KR101116221B1/ko
Publication of KR20110119227A publication Critical patent/KR20110119227A/ko
Application granted granted Critical
Publication of KR101116221B1 publication Critical patent/KR101116221B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법에 관한 것으로, 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 새로운 형태의 게임을 제공한다. 또한, 통신망을 통해 연결된 복수 개의 PC를 통해 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 1:1, 1:n, n:n, n:m 대결 형태의 게임을 제공한다.
본 발명에 의한 터치 궤적 기반의 멀티 터치 제스처 인식 방법은, (a) 멀티 터치 제스처 인식 프로그램을 설치 및 구동하는 단계와; (b) 상기 멀티 터치 제스처 인식 프로그램이 구동되면 모니터에 게임 화면을 출력한 후 게임 방법을 선택받는 단계와; (c) 상기 게임 방법이 결정되면 게임을 시작하여 상기 모니터의 화면에 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하는 단계와; (d) 상기 화면에 제스처 모양이 출력된 후 복수 개의 터치 패널을 통해 한 사람당 두 개의 제스처 모양(신호)을 동시에 입력받는 단계와; (e) 상기 터치 패널을 통해 입력된 제스처 신호의 궤적을 각각 탐색하여 제스처 모양을 인식한 후 상기 화면에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하는 단계; 및 (f) 상기 터치 패널을 통해 입력된 제스처 모양과 상기 화면에 출력된 제스처 모양이 일치하거나 유사하면 점수를 부여하는 단계;를 포함하고 있다.

Description

터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법{TOUCH TRACING MUTI-TOUCH GESTURE DETECTION SYSTEM AND METHOD OF THE SAME}
본 발명은 터치 궤적 기반의 멀티 터치 제스처 인식 시스템(Muti-touch gesture detection system) 및 그 방법에 관한 것으로, 보다 상세하게는 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 새로운 형태의 게임을 제공하는 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법에 관한 것이다.
일반적으로, 전자식 오락 게임은 별도의 게임기나 개인용 컴퓨터 등과 같은 하드웨어 장치를 이용하여 게임을 진행할 수 있도록 되어 있다. 이러한 전자식 오락 게임의 경우에는 키보드를 이용하여 게임 진행상태를 컨트롤하거나, 컨트롤 레버 및 버튼을 수동으로 조작하여 게임을 진행할 수 있도록 하고 있다.
종래의 전자식 오락 게임에 대한 선행기술을 살펴보면 다음과 같다.
국내 공개특허 제2000-36398호(이하, '선행기술 1'이라 한다)는 컴퓨터와 인터페이스 기능을 하는 문자쓰기 장치 및 문자쓰기 장치 이용 방법에 관한 것으로, 특정 소프트웨어의 수행에 의하여 컴퓨터 모니터에 나타나는 문자(여기서 문자란 컴퓨터로 표현 가능한 모든 문자를 의미함) 모양대로 입체적으로 문자를 입체문자 쓰기 창에 표시하며, 또한 입체문자 쓰기 창에 표시된 문자를 따라서 쓰게 되면 해당 문자에 대한 음성 출력이 컴퓨터에서 나오도록 하는 입체문자 표시 장치, 사용자가 터치패널 창에 쓰는 문자 모양이 그대로 터치패널 창에 나타나면서 동시에 컴퓨터의 모니터에도 표현하는 터치패널 장치 및 상기 입체문자 표시 장치와 상기 터치패널 장치를 제어하는 컴퓨터로 구성된 것을 특징으로 하고 있다.
상기 선행기술 1은 사용자로 하여금 숫자를 포함한 영어, 일어, 한문 등과 같은 다국어에 해당하는 문자에 대한 쓰기, 듣기, 말하기, 읽기를 훈련할 수 있는 문자쓰기 장치 및 문자쓰기 장치 이용 방법에 대한 것으로, 화면에 표현된 형태를 터치 패널을 통해 각각 입력하여 한 명 또는 여러 명이 동시에 게임을 할 수 있는 기능은 제공하지 못하고 있다.
국내 공개특허 제2002-4435호(이하, '선행기술 2'라 한다)는 이미지 인식을 이용한 댄스 게임시스템에 관한 것으로, 한 곡 이상의 저장된 음악 중 한 곡의 음악을 읽어내서 출력하는 음악 출력수단과, 상기 음악 출력수단의 음악에 맞춰서 CCD 카메라에 의한 촬영영역 중 임의의 영역에 대한 터치를 지시하는 터치 안내수단 및 상기 CCD 카메라에 의해 촬영되는 이미지를 분석하여 상기 터치 안내수단에 의해 지시된 임의의 공간에서의 터치 동작을 감시하는 공간터치동작 감시수단으로 구성된 것을 특징으로 하고 있다.
상기 선행기술 2는 음악에 맞춰 신체를 역동적으로 움직여 리듬감을 표현함과 동시에 운동효과를 얻을 수는 있지만, 모니터 화면에 표현된 두 개의 제스처 모양을 양손으로 터치 패널을 통해 동시에 입력하여 한 명 또는 여러 명이 동시에 게임을 할 수 있는 기능은 제공하지 못하고 있다.
국내 등록특허 제498166호(이하, '선행기술 3'이라 한다)는 족동식 게임 시스템 및 그 제어방법에 관한 것으로, 전자식 오락게임의 게임 진행상에 존재하는 목적물을 게임 진행자의 발에 의한 조작에 의해 이동되게 조종하기 위한 입력기능을 수행하는 족동 조작수단; 상기 족동 조작수단을 통한 게임 진행자의 발에 의한 조작으로 상기 목적물의 전환적인 조종에 의해 진행되는 전자식 오락계임의 게임 프로그램이 저장되어 있는 게임프로그램 저장수단; 상기 게임프로그램 저장수단의 게임프로그램을 실행하여 상기 족동 조작수단에서의 발 조작에 의한 입력기능을 통해 전자식 오락게임의 게임 진행상의 목적물 조종상태를 제어하는 제어수단; 및 게임프로그램의 실행에 따른 상기 제어수단의 제어하에 상기 족동 조작수단에서의 발 조작을 통해 진행되는 목적물의 조종에 의한 게임 진행상태를 모니터를 통해 가시적으로 출력하도록 비디오신호를 처리하는 비디오 처리수단을 포함하여 구성되고; 상기 게임프로그램 저장수단의 게임프로그램은 목적물로서의 테트리스 퍼즐 블록을 전환적으로 조종하여 진행하는 테트리스 게임의 게임프로그램인 것을 특징으로 하고 있다.
상기 선행기술 3은 발판을 이용한 게임 진행자의 발 조작에 의해 테트리스 게임과 같은 아케이드형 게임을 진행할 수 있도록 함에 따라, 게임 진행자가 신체적으로 전체적으로 활용하여야 게임진행이 가능하게 됨에 의해 게임의 오락성이 배가될 뿐만 아니라, 체력단련이나 다이어트 등과 같은 운동 기능적인 요소를 기대할 수 있는 효과가 있지만, 모니터 화면에 표현된 두 개의 제스처 모양을 양손으로 터치 패널을 통해 동시에 입력하여 한 명 또는 여러 명이 동시에 게임을 할 수 있는 기능은 제공하지 못하고 있다.
국내 등록특허 제805274호(이하, '선행기술 4'라 한다)는 게임을 이용한 인지 장애 치료 방법 및 그 기록 매체에 관한 것으로, 입력되는 인적사항을 포함하는 사용자 정보를 사용자 데이터 베이스에 저장하여 등록하는 단계; 주의력 훈련 놀이, 시공간 지각력 훈련 놀이, 기억력 훈력 놀이 및 문제해결능력 훈련 놀이에 대한 정보를 저장하는 인지 장애 치료 게임 모듈로부터 게임 정보를 독출하여 게임을 실행하는 단계; 및 상기 사용자가 상기 게임 수행시에 측정된 반응 시간의 평균과 분산을 화면에 표시하고, 상기 평균과 분산을 상기 사용자 데이터 베이스에 사용자별로 저장하는 단계를 포함하고, 상기 게임은 시각 및 청각을 통해 상기 사용자에게 제시되는 단서를 이용하여 상기 훈련 놀이들 마다 주어진 과제를 해결하는 게임을 수행하게 하고, 상기 게임 수행시의 반응 시간의 평균과 분산을 산출하는 방식인 것을 특징으로 하고 있다.
상기 선행기술 4는 환자가 스스로 반복학습 할 수 있어 치료자의 개입시간을 줄여 주고, 수행결과에 대하여 즉각적 피드백을 제공할 수 있으며, 환자의 수행결과에 대한 점수를 정확하게 기록하여 분석할 수 있고, 결과해석의 난이도를 일반인이 수용할 수 있으며, 특정 나라의 언어체계와 문화에 적합하도록 컨텐츠가 구성될 수 있고, 학습장애 및 주의력 결핍/과잉활동 장애 등과 같은 발달 장애를 가지고 있는 아동의 학습능력 및 주의력도 증진시킬 수 있는 게임을 이용한 인지 장애 치료 방법을 제공하지만, 모니터 화면에 표현된 두 개의 제스처 모양을 양손으로 터치 패널을 통해 동시에 입력하여 한 명 또는 여러 명이 동시에 게임을 할 수 있는 기능은 제공하지 못하고 있다.
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 새로운 형태의 게임을 제공하는 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법을 제시하는 데 있다.
또한, 본 발명이 이루고자 하는 다른 기술적 과제는 통신망을 통해 연결된 복수 개의 PC를 통해 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 1:1, 1:n, n:n, n:m 대결 형태의 게임을 제공하는 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 본 발명은 「터치 궤적 기반의 멀티 터치 제스처 인식 방법에 있어서,
(a) 멀티 터치 제스처 인식 프로그램을 설치 및 구동하는 단계와;
(b) 상기 멀티 터치 제스처 인식 프로그램이 구동되면 모니터에 게임 화면을 출력한 후 게임 방법을 선택받는 단계와;
(c) 상기 게임 방법이 결정되면 게임을 시작하여 상기 모니터의 화면에 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하는 단계와;
(d) 상기 화면에 제스처 모양이 출력된 후 복수 개의 터치 패널을 통해 한 사람당 두 개의 제스처 모양(신호)을 동시에 입력받는 단계와;
(e) 상기 터치 패널을 통해 입력된 제스처 신호의 궤적을 각각 탐색하여 제스처 모양을 인식한 후 상기 화면에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하는 단계; 및
(f) 상기 터치 패널을 통해 입력된 제스처 모양과 상기 화면에 출력된 제스처 모양이 일치하거나 유사하면 점수를 부여하는 단계;
를 포함하되,
상기 (a) 단계에서 상기 멀티 터치 제스처 인식 프로그램은 상기 터치 패널을 통해 제스처 모양의 신호가 입력된 후 터치가 끊어진 상태에서 다른 제스처 모양의 신호가 곧바로 입력되면 처음에 입력된 제스처 모양의 신호로 동작을 구분하고,
상기 터치 패널을 통해 입력되는 제스처 모양이 도중에 끊어지지 않고 다른 제스처 모양으로 변화되었을 때 마지막에 입력된 제스처 모양의 신호로 동작을 구분하고,
상기 (c) 단계에서 상기 화면을 통해 출력되는 제스처 모양은 오른쪽 방향 가로선, 왼쪽 방향 가로선, 위쪽 방향 세로선, 아래쪽 방향 세로선, 시계 방향 원, 반시계 방향 원을 포함한 제스처 모양 중 한 개 또는 두 개의 제스처 모양을 포함하고,
상기 (e) 단계에서 상기 터치 패널을 통해 입력된 제스처 모양의 인식은 상기 터치 패널을 통해 입력된 제스처 모양의 궤적을 탐색하여 각 동작을 이루는데 필요한 최소한의 조건(길이, 가로 및 세로의 변화율, 궤적의 평균 중심으로부터 회전된 각도)을 충족하는지 판단하고, 조건이 충족되면 각 동작의 정확도를 측정하여 가장 정확도가 높은 동작을 상기 입력된 제스처 모양의 동작으로 인식하는 것을 특징으로 하는 터치 궤적 기반의 멀티 터치 제스처 인식 방법.」을 과제 해결 수단으로 한다.
그리고 본 발명은, 「터치 궤적 기반의 멀티 터치 제스처 인식 시스템에 있어서,
멀티 터치 제스처 인식 프로그램을 저장한 메모리와;
상기 멀티 터치 제스처 인식 프로그램의 구동에 의해 게임이 시작되면 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하는 모니터와;
상기 모니터에 제스처 모양이 출력된 후 게임 참가자로부터 두 개의 제스처 신호를 입력받는 복수 개의 터치 패널; 및
상기 멀티 터치 제스처 인식 프로그램을 구동하여 상기 모니터에 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하고, 상기 복수 개의 터치 패널을 통해 입력된 제스처 신호(모양)를 각각 인식하여 상기 모니터에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하여 상기 모니터에 점수로 표시하는 제어부;
를 포함하되,
상기 모니터를 통해 각기 다른 또는 같은 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하여, 한 사람당 한 개 또는 두 개의 터치 패널을 통해 두 개의 제스처 모양을 동시에 입력받아 제스처 모양을 맞추는 게임을 하며, 단독 게임 또는 1:1, 1:n, n:n, n:m 대결 형태의 게임 중 하나를 선택받아 진행하는 것을 특징으로 하는 터치 궤적 기반의 멀티 터치 제스처 인식 시스템.」을 다른 과제 해결 수단으로 한다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
본 발명에 따르면, 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 새로운 형태의 게임을 제공함으로써, 재미와 흥미를 유발하고 지능발달에 도움을 줄 수 있다.
또한, 본 발명에서는 통신망을 통해 연결된 복수 개의 PC를 통해 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 1:1, 1:n, n:n, n:m 대결 형태의 게임을 제공함으로써, 온라인을 통해 여러 명이 함께 게임을 즐길 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
도 1은 본 발명의 바람직한 실시 예에 의한 터치 궤적 기반의 멀티 터치 제스처 인식 시스템의 구성도
도 2는 터치 제스처의 동작 예를 나타낸 예시도
도 3은 끊어지지 않고 연속으로 입력된 제스처 변화를 구분하는 방법을 설명하기 위한 설명도
도 4는 본 발명의 바람직한 실시 예에 의한 터치 궤적 기반의 멀티 터치 제스처 인식 방법을 나타낸 흐름도
도 5는 도 4에서 입력된 제스처 모양(신호)을 인식하고 화면에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하는 방법을 나타낸 흐름도
도 6a 내지 도 6c는 입력된 제스처 모양의 궤적을 탐색하여 각 동작을 이루는데 필요한 최소한의 조건을 충족시키는지를 검사하는 방법에 대한 설명도
도 7a 내지 도 7c는 각 동작의 정확도를 측정하여 입력된 제스처 모양의 동작을 인식하는 방법에 대한 설명도
도 8은 멀티 터치 제스처 인식 게임의 예를 보인 화면
도 9는 멀티 터치 제스처 인식 게임의 제 1 방법을 나타낸 예시도
도 10은 멀티 터치 제스처 인식 게임의 제 2 방법을 나타낸 예시도
도 11은 멀티 터치 제스처 인식 게임의 제 3 방법을 나타낸 예시도
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명되는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙여 설명하기로 한다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.
터치 궤적 기반의 멀티 터치 제스처 인식 시스템의 실시 예
도 1은 본 발명의 바람직한 실시 예에 의한 터치 궤적 기반의 멀티 터치 제스처 인식 시스템의 구성도이다.
본 발명에 의한 터치 궤적 기반의 멀티 터치 제스처 인식 시스템은 도 1에 도시된 바와 같이, 복수 개의 터치 패널(110), 모니터(120), 메모리(140), 멀티 터치 제스처 인식 프로그램(150), 제어부(160)를 포함하며, 여기에 스피커(130)를 추가로 포함할 수 있다.
상기 복수 개의 터치 패널(110)은 게임 참가자가 제스처 모양을 터치로 입력하는 터치 입력장치로서, 한 명당 두 개의 터치 패널이 구비된다. 이에 의해, 게임 참가자는 모니터(120)의 화면에 출력되는 두 개의 제스처 모양을 보고 두 개의 터치 패널(110)을 통해 양손으로 두 개의 제스처 모양을 동시에 입력하면서 맞추는 게임을 하게 된다.
상기 모니터(120)는 상기 멀티 터치 제스처 인식 프로그램(150)의 구동에 의해 게임이 시작되면 두 개의 제스처 모양을 동시에 화면에 출력한다. 이때, 상기 모니터(120)에 동시에 출력되는 두 개의 제스처 모양은 순차적으로 또는 연속적으로 출력할 수 있다.
상기 메모리(140)는 상기 멀티 터치 제스처 인식 프로그램(150)을 저장하는 저장 공간으로서, 램(RAM), 플래시 메모리, 하드디스크 등 PC 내부에 설치된 저장공간을 모두 포함한다.
상기 멀티 터치 제스처 인식 프로그램(150)은 상기 모니터(120)를 통해 각기 다른 또는 같은 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하여, 게임 참가자의 한 사람당 두 개의 터치 패널(110)을 통해 두 개의 제스처 모양을 동시에 입력받아 제스처 모양을 맞추는 게임 프로그램으로서, 게임 참가자가 게임 방법(단독 게임, 1:1, n:n, n:m 대결 형태의 게임 등)을 선택할 수 있도록 제공한다. 상기 멀티 터치 제스처 인식 프로그램(150)에 대해서는 후술하는 도 2 내지 도 11에서 더 상세히 설명하기로 한다.
상기 제어부(160)는 상기 멀티 터치 제스처 인식 프로그램(150)을 구동하여 상기 멀티 터치 제스처 인식 프로그램(150)에 의해 상기 모니터(120)의 화면에 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하고, 상기 복수 개의 터치 패널(110)을 통해 입력된 각각의 제스처 신호(모양)를 인식하여 상기 모니터(120)에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하여 상기 모니터(120)에 점수로 표시하도록 제어한다.
또한, 상기 제어부(160)는 상기 모니터(120)의 화면에 출력되는 제스처 모양을 상기 스피커(130)를 통해 음성으로 출력하거나 또는 상기 복수 개의 터치 패널(110)을 통해 입력된 제스처 신호가 상기 모니터(120)의 화면에 출력된 제스처 모양과 일치 또는 유사할 때 상기 스피커(130)를 통해 음성 또는 음악소리를 출력하도록 제어할 수도 있다.
이하, 첨부도면을 참조하여 본 발명에 의한 터치 궤적 기반의 멀티 터치 제스처 인식 시스템의 동작 원리에 대해 상세히 설명하기로 한다.
터치 제스처의 동작 예
도 2는 터치 제스처의 동작 예를 나타낸 예시도이고, 도 3은 끊어지지 않고 연속으로 입력된 제스처 변화를 구분하는 방법을 설명하기 위한 설명도이다.
상기 터치 제스처는 도 2에 나타낸 바와 같이, 오른쪽 방향 가로선(A), 왼쪽 방향 가로선(B), 위쪽 방향 세로선(C), 아래쪽 방향 세로선(D), 시계 방향 원(E), 반시계 방향 원(F) 등 6가지 동작으로 구분되어 있다. 여기서, 상기 터치 제스처는 설명의 편의상 6가지 동작의 예를 나타낸 것으로, 이외에 다른 모양이나 형태로 얼마든지 구현할 수 있다.
상기 멀티 터치 제스처 인식 프로그램(150)은 하나의 터치 패널을 통해 한 개의 제스처 모양의 신호가 입력된 후 터치가 끊어진 상태에서 다른 제스처 모양의 신호가 곧바로 입력되면 처음에 입력된 제스처 모양의 신호로 동작을 구분한다. 그리고, 하나의 터치 패널을 통해 입력되는 제스처 모양이 도중에 끊어지지 않고 다른 제스처 모양으로 변화되었을 때 마지막에 입력된 제스처 모양의 신호로 동작을 구분한다. 즉, 도 3에 나타낸 바와 같이, 가로선의 입력 도중에 터치 지점이 끊어지지 않고 원형으로 변화하였을 때 뒤에 입력된 원형의 제스처 모양을 가지고 동작을 구분한다.
터치 궤적 기반의 멀티 터치 제스처 인식 방법의 실시 예
도 4는 본 발명의 바람직한 실시 예에 의한 터치 궤적 기반의 멀티 터치 제스처 인식 방법을 나타낸 흐름도이다.
도 1 및 도 4를 참조하여 설명하면, 상기 멀티 터치 제스처 인식 프로그램(150)을 PC에 설치한 후 구동한다(단계 S100).
상기 멀티 터치 제스처 인식 프로그램(150)이 구동되면 상기 모니터(120)에 게임 화면이 출력되고(단계 S110), 이어서 게임 방법을 선택하는 화면이 나타난다. 이때, 게임 참가자가 원하는 게임 방법(단독 게임, 1:1, 1:n, n:n, n:m 대결 형태의 게임 등)을 선택한 후(단계 S120), 게임 시작 버튼을 클릭하면 멀티 터치 제스처 인식 게임이 시작된다(단계 S130).
상기 멀티 터치 제스처 인식 게임이 시작되면, 상기 모니터(120)의 화면에 두 개의 제스처 모양이 동시에 순차적으로 또는 연속적으로 출력된다(단계 S140). 이때, 상기 모니터(120)의 화면에 출력되는 두 개의 제스처 모양은 서로 다른 모양을 가지거나 서로 같은 모양을 가질 수도 있다.
상기 게임 참가자는 상기 모니터(120)의 화면에 출력된 두 개의 제스처 모양을 보고, 양손으로 두 개의 터치 패널(110)을 통해 상기 모니터(120)의 화면에 출력된 두 개의 제스처 모양을 동시에 그려서 입력한다(단계 S150).
상기 제어부(160)에서는 상기 멀티 터치 제스처 인식 프로그램(150)에 따라 상기 터치 패널(110)을 통해 입력된 제스처 신호의 궤적을 각각 탐색하여 제스처 모양을 인식한 다음(단계 S160), 상기 터치 패널(110)을 통해 입력된 제스처 신호와 상기 모니터(120)의 화면에 출력된 제스처 모양을 비교하여 일치 및 유사 여부를 판단한다(단계 S170). 이때, 상기 제스처 모양을 인식하는 방법과 제스처 모양의 일치 및 유사 여부를 판단하는 방법에 대해서는 후술하는 도 5에서 상세히 설명하기로 한다.
상기 터치 패널(110)을 통해 입력된 제스처 모양과 상기 모니터(120)의 화면에 출력된 제스처 모양이 서로 일치하거나 유사하면(단계 S180의 '예') 제스처 모양을 맞춘 게임 참가자에게 점수를 부여(단계 S190)한 후 계속 게임을 진행하고, 서로 일치하지 않거나 유사하지 않으면(단계 S180의 '아니오') 틀린 횟수를 누적하도록 한다(단계 S210). 이때, 틀린 횟수에 대해 규칙을 정하여 정해진 횟수가 되면(단계 S220의 '예') 게임을 종료하고, 그렇지 않으면(단계 S220의 '아니오') 게임을 계속하도록 한다.
상기 게임을 진행하는 도중에 게임종료 신호가 입력되면(단계 S200의 '예') 상기 멀티 터치 제스처 인식 프로그램(150)을 종료하고, 그렇지 않으면 상기 단계 S140) 이후의 과정을 반복 수행한다.
제스처 모양의 인식과 일치 및 유사 여부 판단 방법
도 5는 도 4에서 입력된 제스처 모양(신호)을 인식하고 화면에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하는 방법을 나타낸 흐름도이다.
상기 복수 개의 터치 패널(110)을 통해 제스처 모양(신호)이 입력되면, 상기 멀티 터치 제스처 인식 프로그램(150)에서는 입력된 제스처 모양의 길이가 동작을 추출할 정도로 적당한 길이를 가지는 지를 판단한다(단계 S310). 이때, 길이가 적당하지 않으면(단계 S310의 '아니오') 인식 실패로 간주(단계 S311)하여 틀린 횟수로 누적하게 된다.
상기 입력된 제스처 모양이 적당한 길이를 가지고 있으면(단계 S310의 '예'), 상기 입력된 제스처 모양에서 마지막으로 입력된 지점부터 거꾸로 탐색하여 각 동작을 이루는데 필요한 최소한의 조건을 충족시키는 지를 검사한다(단계 S320). 이때, 상기 검사 방법에 대해서는 후술하는 도 6a 내지 도 6c에서 상세히 설명하기로 한다.
상기 입력된 제스처 모양이 각 동작을 이루는데 필요한 최소한의 조건을 충족하면(단계 S330의 '예') 상기 입력된 제스처 모양의 각 동작에 대해 정확도를 측정하고(단계 S340), 그렇지 않으면(단계 S330의 '아니오') 인식 실패로 간주한다(단계 S331). 여기서, 상기 각 동작에 대한 정확도를 측정하는 이유는 상기 입력된 제스처 모양이 어떠한 동작에 가장 근접했는지를 확률적으로 판단하여 정확도가 가장 높은 동작을 상기 입력된 제스처 모양의 동작으로 인식하기 위해서이다. 상기 정확도의 측정 방법에 대해서는 후술하는 도 7a 내지 도 7c에서 상세히 설명하기로 한다.
상기 정확도가 가장 높은 동작을 상기 입력된 제스처 모양의 동작으로 인식한다(단계 S350).
그 다음, 상기 멀티 터치 제스처 인식 프로그램(150)에서 상기 모니터(120)의 화면에 출력된 제스처 모양의 동작과 상기 입력된 제스처 모양의 인식된 동작을 비교하여 일치 여부를 판단한다(단계 S360). 이때, 동작이 일치하면(단계 S370의 '예') 동작 완벽 일치로 간주하여(단계 S371) 해당 게임 참가자에게 점수를 부여하고, 동작이 일치하지 않으면(단계 S370의 '아니오') 동작의 유사 여부를 판단한다(단계 S380).
상기 단계 S380에서 상기 모니터(120)의 화면에 출력된 제스처 모양의 동작과 상기 입력된 제스처 모양의 인식된 동작이 유사하면(단계 S390의 '예') 동작 일치로 간주하여(단계 S391) 해당 게임 참가자에게 점수를 부여하고, 동작이 일치하지 않으면(단계 S390의 '아니오') 동작 불일치로 판단한다(단계 S400).
여기서, 본 발명에서는 상기 멀티 터치 제스처 인식 프로그램(150)에 따라 상기 동작의 일치 여부만 활용하고, 추가적으로 유사 여부를 활용할 수 있다. 이때, 상기 유사 여부는 상기 입력된 제스처 모양에 대해 인식된 동작의 정확도를 가지고 판단할 수 있다. 이때, 동작의 정확도를 측정하는 방법은 후술하는 도 7a 내지 도 7c와 같다.
제스처 모양의 인식 방법
도 6a 내지 도 6c는 입력된 제스처 모양의 궤적을 탐색하여 각 동작을 이루는데 필요한 최소한의 조건을 충족시키는지를 검사하는 방법에 대한 설명도이고, 도 7a 내지 도 7c는 각 동작의 정확도를 측정하여 입력된 제스처 모양의 동작을 인식하는 방법에 대한 설명도이다.
먼저, 입력된 제스처 모양의 궤적을 탐색하여 각 동작을 이루는데 필요한 최소한의 조건을 충족시키는지를 검사하는 방법은 다음과 같다.
일반적으로, 가로선의 경우에는 세로의 변화가 적으며 가로의 변화가 단조 증가하거나 단조 감소하게 된다(도 6a 참조). 그리고, 세로선의 경우에는 가로의 변화가 적으며 세로의 변화가 단조 증가하거나 단조 감소하게 된다(도 6b 참조). 또한, 원형의 경우에는 궤적의 평균 중심으로부터 각 지점의 각도를 측정하여 180°이상 회전하는 모양을 갖는다(도 6c 참조).
따라서, 상기 터치 패널을 통해 입력된 제스처 모양의 궤적을 탐색하여 각 동작을 이루는데 필요한 최소한의 조건(길이, 가로 및 세로의 변화율, 궤적의 평균 중심으로부터 회전된 각도 등)을 충족하는지 판단한다. 이때, 각 조건을 충족시키는 지점을 최대한 길게 연결하고, 조건을 만족시키지 못하는 지점(에러 지점)이 연속되면 중단하고, 중단된 시점의 길이를 저장한다.
다음으로, 각 동작의 정확도를 측정하여 입력된 제스처 모양의 동작을 인식하는 방법은 다음과 같다.
먼저, 가로선의 경우에는 궤적의 평균 세로 위치를 계산하여 각 지점이 평균에서 얼마나 차이가 나는지 오류를 측정한다(도 7a 참조). 그리고 세로선의 경우에는 궤적의 평균 가로 위치를 계산하여 각 지점이 평균에서 얼마나 차이가 나는지 오류를 측정한다(도 7b 참조). 또한, 원형의 경우에는 전체 궤적을 3등분 하여 각 부분에서 임의의 지점을 선택하여(3 지점) 각 지점이 이루는 삼각형의 외접원 중심을 계산한다(A). 동일한 계산을 수회 반복한 후 원 중심을 설정한다(B). 그리고 평균 중심에서 각 지점까지의 거리를 계산하고 평균을 산출하여 반지름을 설정한다(C). 그 후, 입력 범위 내의 모든 지점과 중심 사이의 거리가 반지름과 얼마나 차이가 나는지 오류를 측정한다(C). 이때, 각 동작들은 완벽한 형태에 가까울수록 100%에 수렴한다.
멀티 터치 제스처 인식 게임의 제 1 방법(단독 게임)
도 8은 멀티 터치 제스처 인식 게임의 예를 보인 화면이고, 도 9는 멀티 터치 제스처 인식 게임의 제 1 방법(단독 게임)을 나타낸 예시도이다.
상기 멀티 터치 제스처 인식 게임의 제 1 방법은 도 8 및 도 9에 나타낸 바와 같이, 상기 모니터(120)의 화면을 통해 각기 다른 또는 같은 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력한 다음, 게임 참가자로부터 두 개의 터치 패널(110)을 통해 두 개의 제스처 모양을 동시에 입력받아 제스처 모양을 맞추는 게임이다. 이때, 게임 참가자는 두 개의 터치 패널(110)에 한 손씩 얹어서 양손을 이용하여 상기 모니터(120) 화면에 표현된 제스처 모양을 각각 터치로 입력한다.
상기 터치 패널(110)을 통해 제스처 모양(신호)이 입력되면 상기 멀티 터치 제스처 인식 프로그램(150)은 입력된 제스처 신호의 궤적을 검색하여 각 동작 별로 구분하여 인식하고, 인식한 제스처 신호의 동작과 상기 모니터(120)에 출력된 제스처 모양의 동작을 비교하여 일치 및 유사 여부를 판단한다. 이때, 상기 터치 패널(110)을 통해 입력된 제스처 신호의 동작이 상기 모니터(120)에 출력된 제스처 모양의 동작과 일치하거나 유사하면 게임 참가자에게 점수를 주거나 기록을 갱신한다. 여기서, 상기 멀티 터치 제스처 인식 프로그램(150)은 상기 터치 패널(110)을 통해 입력된 두 개의 제스처 신호를 구분 인식하여, 두 개의 궤적을 동시에 처리한다.
본 발명의 멀티 터치 제스처 인식 게임은 게임 참가자가 혼자서 하는 단독 게임뿐만 아니라 1:1, n:n, n:m과 같은 대결 형태의 게임도 할 수 있다. 이에 대해, 첨부된 도면을 참조하여 설명하면 다음과 같다.
멀티 터치 제스처 인식 게임의 제 2 방법(1:1 게임)
도 10은 멀티 터치 제스처 인식 게임의 제 2 방법(1:1 게임)을 나타낸 예시도이다.
상기 멀티 터치 제스처 인식 게임의 제 2 방법은 도 10에 나타낸 바와 같이, 하나의 모니터의 화면을 통해 각기 다른 또는 같은 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력한 다음, 두 명의 게임 참가자로부터 한 사람당 두 개의 터치 패널을 통해 두 개의 제스처 모양을 동시에 입력받아 제스처 모양을 맞추는 1:1 게임이다. 이때, 게임 참가자는 한 명당 한 개의 터치 패널(110)을 사용하며, 한 개의 터치 패널(110)에 양손을 얹어서 상기 모니터(120) 화면에 표현된 두 개의 제스처 모양을 동시에 터치로 입력한다.
이와 같이, 상기 터치 패널(110)을 통해 제스처 모양(신호)이 입력되면 상기 멀티 터치 제스처 인식 프로그램(150)은 입력된 4개의 제스처 신호의 궤적을 검색하여 각 동작 별로 구분하여 인식하고, 인식한 각 제스처 신호의 동작과 상기 모니터(120)에 출력된 제스처 모양의 동작을 비교하여 일치 및 유사 여부를 판단한다. 이때, 상기 터치 패널(110)을 통해 입력된 제스처 신호의 동작이 상기 모니터(120)에 출력된 제스처 모양의 동작과 일치하거나 유사하면 해당 게임 참가자에게 점수를 주거나 기록을 갱신한다. 여기서, 상기 멀티 터치 제스처 인식 프로그램(150)은 상기 터치 패널(110)을 통해 입력된 4개의 제스처 신호를 구분 인식하여, 4개의 궤적을 동시에 처리한다.
멀티 터치 제스처 인식 게임의 제 2 방법(1:n, n:n, n:m 게임)
도 11은 멀티 터치 제스처 인식 게임의 제 3 방법(n:n 또는 n:m 게임)을 나타낸 예시도이다.
상기 멀티 터치 제스처 인식 게임의 제 3 방법은 도 11에 나타낸 바와 같이, 인터넷이나 지역 네트워크 통신망을 통해 연결된 PC를 이용하여 1:n, n:n, n:m 게임을 동시에 할 수 있다. 이때, 하나의 PC에 두 명이 같이 게임을 할 수도 있고, 한 명이 게임을 할 수 있다. 여기서, 하나의 PC에 두 명이 게임을 할 경우에는 도 10과 같이 한 사람이 한 개의 터치 패널을 이용하여 양손으로 게임을 하며, 하나의 PC에 한 명이 게임을 할 경우에는 도 9와 같이 두 개의 터치 패널에 한 손씩 얹어서 양손을 이용하여 게임을 한다.
본 발명의 실시 예에서는 하나의 PC에 두 개의 터치 패널이 구비된 예에 대해 설명하고 있으나, 하나의 PC에 두 개 이상의 터치 패널을 구비하여 두 명 이상이 하나의 PC를 이용하여 게임 할 수도 있다. 이때, 한 명의 게임 참가자는 1개 또는 2개의 터치 패널을 이용하여 게임을 할 수 있다.
이와 같이 구성된 본 발명의 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법은 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 새로운 형태의 게임을 제공함으로써, 본 발명의 기술적 과제를 해결할 수가 있다.
또한, 통신망을 통해 연결된 복수 개의 PC를 통해 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 1:1, 1:n, n:n, n:m 대결 형태의 게임을 제공함으로써, 본 발명의 기술적 과제를 해결할 수가 있다.
이상에서 설명한 본 발명의 바람직한 실시 예들은 기술적 과제를 해결하기 위해 개시된 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자(당업자)라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가 등이 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.
110 : 복수 개의 터치 패널 120 : 모니터
130 : 스피커 140 : 메모리
150 : 멀티 터치 제스처 인식 프로그램 160 : 제어부

Claims (9)

  1. 터치 궤적 기반의 멀티 터치 제스처 인식 방법에 있어서,
    (a) 멀티 터치 제스처 인식 프로그램을 설치 및 구동하는 단계와;
    (b) 상기 멀티 터치 제스처 인식 프로그램이 구동되면 모니터에 게임 화면을 출력한 후 게임 방법을 선택받는 단계와;
    (c) 상기 게임 방법이 결정되면 게임을 시작하여 상기 모니터의 화면에 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하는 단계와;
    (d) 상기 화면에 제스처 모양이 출력된 후 복수 개의 터치 패널을 통해 한 사람당 두 개의 제스처 모양(신호)을 동시에 입력받는 단계와;
    (e) 상기 터치 패널을 통해 입력된 제스처 신호의 궤적을 각각 탐색하여 제스처 모양을 인식한 후 상기 화면에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하는 단계; 및
    (f) 상기 터치 패널을 통해 입력된 제스처 모양과 상기 화면에 출력된 제스처 모양이 일치하거나 유사하면 점수를 부여하는 단계;
    를 포함하되,
    상기 (a) 단계에서 상기 멀티 터치 제스처 인식 프로그램은 상기 터치 패널을 통해 제스처 모양의 신호가 입력된 후 터치가 끊어진 상태에서 다른 제스처 모양의 신호가 곧바로 입력되면 처음에 입력된 제스처 모양의 신호로 동작을 구분하고,
    상기 터치 패널을 통해 입력되는 제스처 모양이 도중에 끊어지지 않고 다른 제스처 모양으로 변화되었을 때 마지막에 입력된 제스처 모양의 신호로 동작을 구분하고,
    상기 (c) 단계에서 상기 화면을 통해 출력되는 제스처 모양은 오른쪽 방향 가로선, 왼쪽 방향 가로선, 위쪽 방향 세로선, 아래쪽 방향 세로선, 시계 방향 원, 반시계 방향 원을 포함한 제스처 모양 중 한 개 또는 두 개의 제스처 모양을 포함하며,
    상기 (e) 단계에서 상기 터치 패널을 통해 입력된 제스처 모양의 인식은 상기 터치 패널을 통해 입력된 제스처 모양의 궤적을 탐색하여 각 동작을 이루는데 필요한 최소한의 조건(길이, 가로 및 세로의 변화율, 궤적의 평균 중심으로부터 회전된 각도)을 충족하는지 판단하고, 조건이 충족되면 각 동작의 정확도를 측정하여 가장 정확도가 높은 동작을 상기 입력된 제스처 모양의 동작으로 인식하는 것을 특징으로 하는 터치 궤적 기반의 멀티 터치 제스처 인식 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서, 상기 각 동작의 정확도를 측정하는 방법은,
    상기 터치 패널을 통해 입력된 제스처 모양의 궤적에 따라 가로 변화율, 세로 변화율, 궤적의 평균 중심에서 궤적의 각 지점까지의 거리(반지름) 차이에 대한 오류를 측정하여 정확도를 측정하는 것을 특징으로 하는 터치 궤적 기반의 멀티 터치 제스처 인식 방법.
  6. 제 1 항에 있어서, 상기 멀티 터치 제스처 인식 프로그램은,
    상기 화면을 통해 각기 다른 또는 같은 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하여, 한 사람당 한 개 또는 두 개의 터치 패널을 통해 두 개의 제스처 모양을 동시에 입력받아 제스처 모양을 맞추는 게임을 하며, 단독 게임 또는 1:1, 1:n, n:n, n:m 대결 형태의 게임 중 하나를 선택받아 진행하는 것을 특징으로 하는 터치 궤적 기반의 멀티 터치 제스처 인식 방법.
  7. 터치 궤적 기반의 멀티 터치 제스처 인식 시스템에 있어서,
    멀티 터치 제스처 인식 프로그램을 저장한 메모리와;
    상기 멀티 터치 제스처 인식 프로그램의 구동에 의해 게임이 시작되면 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하는 모니터와;
    상기 모니터에 제스처 모양이 출력된 후 게임 참가자로부터 두 개의 제스처 신호를 입력받는 복수 개의 터치 패널; 및
    상기 멀티 터치 제스처 인식 프로그램을 구동하여 상기 모니터에 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하고, 상기 복수 개의 터치 패널을 통해 입력된 제스처 신호(모양)를 각각 인식하여 상기 모니터에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하여 상기 모니터에 점수로 표시하는 제어부;
    를 포함하되,
    상기 모니터를 통해 각기 다른 또는 같은 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하여, 한 사람당 한 개 또는 두 개의 터치 패널을 통해 두 개의 제스처 모양을 동시에 입력받아 제스처 모양을 맞추는 게임을 하며, 단독 게임 또는 1:1, 1:n, n:n, n:m 대결 형태의 게임 중 하나를 선택받아 진행하는 것을 특징으로 하는 터치 궤적 기반의 멀티 터치 제스처 인식 시스템.
  8. 제 7 항에 있어서, 상기 제어부는,
    상기 모니터에 출력되는 제스처 모양을 스피커를 통해 음성으로 출력하거나 또는 상기 터치 패널을 통해 입력된 제스처 신호가 상기 모니터에 출력된 제스처 모양과 일치 또는 유사할 때 상기 스피커를 통해 음성 또는 음악소리를 출력하도록 제어하는 것을 특징으로 하는 터치 궤적 기반의 멀티 터치 제스처 인식 시스템.
  9. 삭제
KR1020100038820A 2010-04-27 2010-04-27 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법 KR101116221B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100038820A KR101116221B1 (ko) 2010-04-27 2010-04-27 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100038820A KR101116221B1 (ko) 2010-04-27 2010-04-27 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110119227A KR20110119227A (ko) 2011-11-02
KR101116221B1 true KR101116221B1 (ko) 2012-03-06

Family

ID=45390853

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100038820A KR101116221B1 (ko) 2010-04-27 2010-04-27 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101116221B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104677376B (zh) * 2013-11-29 2017-09-12 广东瑞图万方科技股份有限公司 导航***手势指令输入方法及装置
JP6921192B2 (ja) * 2017-05-22 2021-08-18 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、および、ゲーム処理方法
JP6921193B2 (ja) 2017-05-22 2021-08-18 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、および、ゲーム処理方法
CN110662587B (zh) 2017-05-22 2024-01-23 任天堂株式会社 游戏程序、信息处理装置、信息处理***以及游戏处理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049387A (ja) * 2003-07-29 2005-02-24 Taito Corp 文字学習機能を有する遊技機

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049387A (ja) * 2003-07-29 2005-02-24 Taito Corp 文字学習機能を有する遊技機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
⑤ 두 손으로 각각 다른 도형 그리기, 5분 뇌호흡, 29쪽, 이승헌(2006.2.22.)*

Also Published As

Publication number Publication date
KR20110119227A (ko) 2011-11-02

Similar Documents

Publication Publication Date Title
JP6683938B2 (ja) 採点支援プログラム、採点支援装置および採点支援方法
KR101116221B1 (ko) 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법
Markussen et al. Selection-based mid-air text entry on large displays
US20090312102A1 (en) Strum processing for music video game on handheld device
WO2015041168A1 (ja) ゲーム制御プログラム、ゲームシステム、およびゲーム制御方法
JP2006221281A (ja) ガイド表示を制御するためのプログラムおよび情報処理装置
KR20180121844A (ko) 음악 게임 장치 및 이를 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
Carvalho et al. Audio-based puzzle gaming for blind people
Kamal et al. Teaching motion gestures via recognizer feedback
JP2014012138A (ja) 音楽ゲームを進める方法、装置およびプログラム
Dearman et al. Multi-modal text entry and selection on a mobile device.
Carreira et al. Evaluation of in-air hand gestures interaction for older people
JP4816435B2 (ja) 文字入力処理方法
CN104635948B (zh) 一种输入方法与装置
KR102402055B1 (ko) 뇌기능 향상용 훈련 시스템
JP3179626B2 (ja) 音声ゲーム機
JP2016062081A (ja) 音楽教習装置
Morimoto et al. Eyejam: a gaze-controlled musical interface
TWI802395B (zh) 認知訓練系統
JP2021040823A (ja) ゲームシステム、ゲームプログラム及びゲームシステムの制御方法
JP7316319B2 (ja) ゲームシステム、プログラム及び情報記憶媒体
CN216092192U (zh) 游戏装置
JP5009349B2 (ja) 手書き学習支援プログラムおよび手書き学習支援装置
JP2006284861A (ja) 手書き学習支援プログラムおよび手書き学習支援装置
JP6552065B2 (ja) 演奏装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151222

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170208

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 9