KR101646616B1 - 객체 제어 장치 및 방법 - Google Patents

객체 제어 장치 및 방법 Download PDF

Info

Publication number
KR101646616B1
KR101646616B1 KR1020100120574A KR20100120574A KR101646616B1 KR 101646616 B1 KR101646616 B1 KR 101646616B1 KR 1020100120574 A KR1020100120574 A KR 1020100120574A KR 20100120574 A KR20100120574 A KR 20100120574A KR 101646616 B1 KR101646616 B1 KR 101646616B1
Authority
KR
South Korea
Prior art keywords
finger
sensing
pointer
fingers
dimensional
Prior art date
Application number
KR1020100120574A
Other languages
English (en)
Other versions
KR20120058996A (ko
Inventor
한승주
박준아
이형규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100120574A priority Critical patent/KR101646616B1/ko
Priority to US13/137,875 priority patent/US9747018B2/en
Publication of KR20120058996A publication Critical patent/KR20120058996A/ko
Application granted granted Critical
Publication of KR101646616B1 publication Critical patent/KR101646616B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

객체 제어 장치 및 방법이 개시된다. 본 발명의 실시예들에 따르면, 3차원 감지 영역 안에서의 손가락의 동작을 감지하고, 동작에 대응하여 포인터 또는 객체를 제어함으로써, 단말기 등을 직접 터치하지 않고도 제어 신호를 입력할 수 있고, 따라서 화면에 손자국 등을 남기지 않을 수 있다. 또한, 2차원이 아닌 3차원의 감지 영역 안에서의 손가락의 동작을 감지함으로써, 보다 다양한 입력 동작이 가능하다.

Description

객체 제어 장치 및 방법{Apparatus and Method for Controlling Object}
본 발명의 실시예들은 객체 제어 장치 및 방법에 관한 것으로서, 보다 구체적으로는 사용자의 손가락의 동작을 감지하여 객체를 제어하는 장치 및 방법에 관한 것이다.
최근, 이동 통신 단말기, 테이블 컴퓨터 등 다양한 기기의 디스플레이 평면을 터치하여 신호를 입력하는 방식이 상용화되고 있다.
즉, 사용자는 포인터 또는 객체를 제어하기 위해서 별도의 입력 장치 없이도 디스플레이 평면을 직접 터치함으로써, 자신이 원하는 제어 신호를 입력할 수 있다.
그러나, 이러한 2차원 평면을 터치함으로써 신호를 입력하는 방식은, 디스플레이 화면에 손자국을 남기게 되는 불편함이 있다. 또한, 터치 신호의 인식 기술의 차이에 따라서 장갑을 끼고 터치하는 것, 터치팬과 같은 별도의 장치를 통해서 터치하는 것 등이 불가능한 경우가 있다.
본 발명의 실시예들은 3차원 감지 영역 안에서의 손가락의 동작을 감지하고, 동작에 대응하여 포인터 또는 객체를 제어함으로써, 단말기 등을 직접 터치하지 않고도 제어 신호를 입력할 수 있고, 따라서 화면에 손자국 등을 남기지 않을 수 있는데 그 목적이 있다.
본 발명의 실시예들은 2차원이 아닌 3차원의 감지 영역 안에서의 손가락의 동작을 감지함으로써, 보다 다양한 입력 동작을 제공하는데 그 목적이 있다.
본 발명의 일실시예에 따른 객체 제어 장치는 3차원 감지 영역 안에서의 사용자의 손가락의 위치 및 상기 3차원 감지 영역 안의 상기 손가락의 개수를 감지하는 감지 모듈 및 상기 손가락의 위치 및 상기 손가락의 개수에 기반하여 상기 손가락의 동작에 대한 동작 정보를 생성하고, 상기 동작 정보에 기반하여 포인터 및 객체 중 적어도 하나를 제어하는 제어 모듈을 포함한다.
본 발명의 일실시예에 따른 객체 제어 방법은 3차원 감지 영역 안에서의 사용자의 손가락의 위치 및 상기 3차원 감지 영역 안의 상기 손가락의 개수를 감지하는 단계, 상기 손가락의 위치 및 상기 손가락의 개수에 기반하여 상기 손가락의 동작에 대한 동작 정보를 생성하는 단계 및 상기 동작 정보에 기반하여 포인터 및 객체 중 적어도 하나를 제어하는 단계를 포함한다.
3차원 감지 영역 안에서의 손가락의 동작을 감지하고, 동작에 대응하여 포인터 또는 객체를 제어함으로써, 단말기 등을 직접 터치하지 않고도 제어 신호를 입력할 수 있고, 따라서 화면에 손자국 등을 남기지 않을 수 있다.
또한, 2차원이 아닌 3차원의 감지 영역 안에서의 손가락의 동작을 감지함으로써, 보다 다양한 입력 동작이 가능하다.
도 1은 본 발명의 일실시예에 따른 객체 제어 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 3차원 감지 영역을 나타내는 도면이다.
도 3a 및 도 3b는 본 발명의 일실시예에 따른 객체 제어 장치의 제어 모듈이 감지할 손가락의 부분을 인식하는 동작을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 포인팅 또는 이동 동작을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 선택 또는 선택 해지 동작 및 확대 또는 축소 동작을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 포인팅 영역을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 선택된 객체를 확대 또는 축소하는 동작을 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따른 객체를 회전시키는 동작을 나타내는 도면이다.
도 9는 본 발명의 일실시예에 따른 객체 제어 방법을 나타내는 흐름도이다.
이하에서, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 객체 제어 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 객체 제어 장치(100)는 감지 모듈(110) 및 제어 모듈(120)을 포함한다.
객체 제어 장치(100)는 3차원 감지 영역 내에서의 사용자의 손가락의 위치, 개수 등을 감지하고, 감지된 정보로부터 손가락의 동작을 분석하며, 분석된 동작에 기반하여 포인터(Pointer) 또는 객체(Object)를 제어할 수 있다.
이 때, 3차원 감지 영역은 사용자의 손가락의 위치, 개수 등을 감지할 수 있는 센서(또는 감지 모듈)에 근접한 영역으로서, 소정의 크기를 갖는 영역(Area)일 수 있다. 이하 도 2를 참조하여, 본 발명의 일실시예에 따른 3차원 감지 영역에 대해서 상세히 설명한다.
도 2는 본 발명의 일실시예에 따른 3차원 감지 영역을 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 3차원 감지 영역(220)은 감지 모듈에 포함되는 감지 패널(Sensing Panel)(210)에 근접한 영역으로서, 소정의 크기의 영역일 수 있다.
일실시예에 따른 3차원 감지 영역(220)은 감지 패널(210)로부터 소정 높이까지의 영역일 수 있고, 이 때, 소정 높이를 초과한 영역은 불감지 영역(230)이 될 수 있다.
본 발명의 일측에 따르면, 객체 제어 장치는 3차원 감지 영역(220) 안에서의 손가락의 위치를 3차원 좌표(240)로 나타낼 수 있다.
일실시예에 따른 3차원 좌표(240)의 x축 및 y축은 감지 패널(210)의 일측면의 가로축 및 세로축에 대응하도록 설정될 수 있다. 또한, 일실시예에 따른 3차원 좌표(240)의 z축은 감지 패널(210)의 일측면에 수직 방향에 대응하도록 설정될 수 있다.
일실시예에 따른 감지 패널(210)은 상부 전극 및 하부 전극을 격자 형태로 배열함으로써 형성할 수 있다. 이 때, 감지 패널(210)은 상부 전극 및 하부 전극 사이의 전기장 내의 전류 세기의 변화를 감지함으로써, 3차원 감지 영역(220) 내의 사용자의 손가락의 위치 및 개수를 감지할 수 있다.
다시 도 1을 참조하면, 감지 모듈(110)은 3차원 감지 영역 안에서의 사용자의 손가락의 위치 및 3차원 감지 영역 안의 손가락의 개수를 감지한다.
일실시예에 따른 감지 모듈(110)은 초음파 센서, 용량 터치 센서(Capacitive Touch Sensor), 영상 센서(Image Sensor) 등을 이용하여 3차원 감지 영역 안에서의 사용자의 손가락의 위치 및 개수를 감지할 수 있다.
손가락의 위치에 대한 정보는 감지 모듈(110)에 포함되는 감지 패널(Sensing Panel)과 손가락 사이의 거리 및 감지 패널 상에서의 손가락의 평면 좌표값에 대한 정보를 포함할 수 있다.
실시예에 따라서는, 감지 패널과 손가락 사이의 거리는, 일실시예에 따른 도 2의 3차원 좌표에서 z축에 대한 값으로 표시될 수 있다.
또한, 감지 패널 상에서의 손가락의 평면 좌표값은, 일실시예에 따른 도 2의 3차원 좌표에서 x축, y축에 대한 평면 좌표값으로 표시될 수 있다.
제어 모듈(120)은 손가락의 위치 및 개수에 기반하여 손가락의 동작에 대한 동작 정보를 생성한다.
일실시예에 따른 손가락의 동작은 3차원 감지 영역 내에서 손가락이 상하로 이동하는 동작, 두 개의 손가락이 벌어지면서 아래로 이동하는 동작, 두 개의 손가락이 오므라지면서 위로 이동하는 동작, 소정의 회전축을 중심으로 하여 소정 거리가 떨어진 두 개의 손가락이 시계 또는 반시계 방향으로 회전하는 동작 등을 포함할 수 있다.
또한, 제어 모듈(120)은 동작 정보에 기반하여 포인터 및 객체 중 적어도 하나를 제어한다.
본 발명의 일측에 따르면, 객체 제어 장치(100)는 저장 모듈(130)을 더 포함할 수 있다.
저장 모듈(130)은 사용자의 손가락의 동작 및 손가락의 동작에 매칭(Macthing)되는 포인터 및 객체 중 적어도 하나와 연관된 실행 동작을 포함하는 테이블(Table)을 저장할 수 있다.
이 때, 제어 모듈(120)은 테이블을 참조하여, 동작 정보에 대응하는 실행 동작을 처리할 수 있다.
예를 들어, 일실시예에 따른 테이블은 손가락이 감지 패널 쪽으로 기설정된 속도 이상으로 기설정된 거리 이상 이동하는 동작(즉, 손가락이 소정의 속도 및 소정의 거리 이상 아래로 이동하는 동작) 및 포인터가 가리키는 객체를 선택하는 실행 동작을 매칭하여 포함할 수 있다.
이 때, 제어 모듈(120)은 손가락이 감지 패널 쪽으로 기설정된 속도 이상으로 기설정된 거리 이상 이동하는 경우, 포인터가 가리키는 객체를 선택할 수 있다.
또한, 일실시예에 따른 테이블은 손가락이 감지 패널 반대 쪽으로 기설정된 속도 이상으로 기설정된 거리 이상 이동하는 동작(즉, 손가락이 소정의 속도 및 소정의 거리 이상 위로 이동하는 동작) 및 포인터가 가리키는 객체를 선택 해지하는 실행 동작을 매칭하여 포함할 수 있다.
이 때, 제어 모듈(120)은 손가락이 감지 패널 반대 쪽으로 기설정된 속도 이상으로 기설정된 거리 이상 이동하는 경우, 포인터가 가리키는 객체를 선택 해지할 수 있다.
또한, 일실시예에 따른 테이블은 손가락이 감지 패널 쪽으로 기설정된 속도 및 기설정된 거리 중 어느 하나보다 작게 이동하는 동작(즉, 손가락이 소정의 속도 및 소정의 거리 중 어느 하나보다 작게 아래로 이동하는 동작) 및 포인터에 대응하는 포인팅 영역을 기설정된 제1 크기로 확대하는 실행 동작을 매칭하여 포함할 수 있다.
이 때, 제어 모듈(120)은 손가락이 감지 패널 쪽으로 기설정된 속도 및 기설정된 거리 중 어느 하나보다 작게 이동하는 경우, 포인터에 대응하는 포인팅 영역을 기설정된 제1 크기로 확대할 수 있다.
또한, 일실시예에 따른 테이블은 손가락이 감지 패널 반대 쪽으로 기설정된 속도 및 기설정된 거리 중 어느 하나보다 작게 이동하는 동작(즉, 손가락이 소정의 속도 및 소정의 거리 중 어느 하나보다 작게 위로 이동하는 동작) 및 포인터에 대응하는 포인팅 영역을 기설정된 제2 크기로 확대하는 실행 동작을 매칭하여 포함할 수 있다. 실시예에 따라서는, 제2 크기는 제1 크기보다 작게 설정될 수 있다.
이 때, 제어 모듈(120)은 손가락이 감지 패널 반대 쪽으로 기설정된 속도 및 기설정된 거리 중 어느 하나보다 작게 이동하는 경우, 포인터에 대응하는 포인팅 영역을 기설정된 제2 크기로 확대할 수 있다.
또한, 일실시예에 따른 테이블은 3차원 감지 영역 안의 제1 손가락과 제2 손가락이 감지 패널 쪽으로 이동하면서, 제1 손가락과 제2 손가락 사이의 거리가 증가한 이후, 제1 손가락과 제2 손가락이 감지 패널의 반대 쪽으로 이동하는 동작(즉, 두 손가락이 벌어지면서 아래로 이동한 이후, 다시 위로 이동하는 경우) 및 포인터에 대응하는 객체를 확대하는 실행 동작을 매칭하여 포함할 수 있다.
이 때, 제어 모듈(120)은 3차원 감지 영역 안의 제1 손가락과 제2 손가락이 감지 패널 쪽으로 이동하면서, 제1 손가락과 제2 손가락 사이의 거리가 증가한 이후, 제1 손가락과 제2 손가락이 감지 패널의 반대 쪽으로 이동하는 경우, 포인터에 대응하는 객체를 확대할 수 있다.
또한, 일실시예에 따른 테이블은 3차원 감지 영역 안의 제1 손가락과 제2 손가락이 감지 패널 쪽으로 이동하면서, 제1 손가락과 제2 손가락 사이의 거리가 감소한 이후, 제1 손가락과 제2 손가락이 감지 패널의 반대 쪽으로 이동하는 동작(즉, 두 손가락이 오므라지면서 아래로 이동한 이후, 다시 위로 이동하는 경우) 및 포인터에 대응하는 객체를 축소하는 실행 동작을 매칭하여 포함할 수 있다.
이 때, 제어 모듈(120)은 3차원 감지 영역 안의 제1 손가락과 제2 손가락이 감지 패널 쪽으로 이동하면서, 제1 손가락과 제2 손가락 사이의 거리가 감소한 이후, 제1 손가락과 제2 손가락이 감지 패널의 반대 쪽으로 이동하는 경우, 포인터에 대응하는 객체를 축소할 수 있다.
또한, 일실시예에 따른 테이블은 3차원 감지 영역 안의 제1 손가락과 제2 손가락이 회전하는 동작 및 포인터가 가리키는 객체를 회전시키는 실행 동작을 매칭하여 포함할 수 있다.
이 때, 제어 모듈(120)은 3차원 감지 영역 안의 제1 손가락과 제2 손가락이 회전하는 경우, 포인터가 가리키는 객체를 회전시킬 수 있다.
본 발명의 일측에 따르면, 제어 모듈(120)은 3차원 감지 영역 안의 손가락의 곡률값을 연산할 수 있다. 이 때, 제어 모듈(120)은 연산된 곡률값이 기준값 이상인 부분의 위치 및 개수를 감지할 수 있다.
이하, 도 3을 참조하여 본 발명의 일실시예에 따른 제어 모듈(120)이 손가락의 곡률값을 연산함으로써, 감지할 손가락의 부분을 인식하는 동작에 대해서 설명한다.
도 3a 및 도 3b는 본 발명의 일실시예에 따른 객체 제어 장치의 제어 모듈이 감지할 손가락의 부분을 인식하는 동작을 나타내는 도면이다.
도 3a를 참조하면, 사용자는 3차원 감지 영역 안에서 손가락(312, 322)을 움직일 수 있다.
이 때, 제1 상황(310)과 같이, 사용자의 손가락(312)의 끝 부분이 감지 패널(311)과 가장 가깝게 위치할 수 있다. 즉, 손가락(312)의 끝 부분과 감지 패널(311) 사이의 거리 Z1(313)가 손가락(312)의 중간 부분과 감지 패널(311) 사이의 거리 Z2(314)보다 작을 수 있다.
또한, 제2 상황(320)과 같이, 사용자의 손가락(322)의 끝 부분이 감지 패널(321)과 가장 가깝게 위치할 수 있다. 즉, 손가락(322)의 끝 부분과 감지 패널(321) 사이의 거리 Z3(323)가 손가락(322)의 중간 부분과 감지 패널(321) 사이의 거리 Z4(324)보다 작을 수 있다.
사용자는 손가락(312, 322)의 끝 부분을 이용하여 원하는 제어 신호를 입력하는 경우가 일반적이기 때문에, 일실시예에 따른 객체 제어 장치의 제어 모듈은 사용자의 손가락(312, 322)의 끝 부분의 위치 및 개수를 감지할 수 있다.
이 때, 본 발명의 일측에 따른 객체 제어 장치의 감지 모듈은 사용자의 손가락(312, 322)의 끝 부분을 감지하기 위해서, 손가락(312, 322)의 곡률값을 연산하고, 곡률값이 기준값 이상인 부분의 위치 및 개수를 감지할 수 있다.
즉, 일실시예에 따른 객체 제어 장치의 감지 모듈은 곡률값이 기준값 이상인 부분을 손가락(312, 322)의 끝 부분으로 인식할 수 있다.
한편, 곡률값 중 기준값이 넘는 부분에 대응하는 부분이 손가락(312, 322)의 끝 부분이 아닌 경우가 발생할 수 있다(즉, 에러가 발생할 수 있다). 이 경우, 일실시예에 따른 객체 제어 장치의 제어 모듈은 꼭지점 마스크(Vertex Mask)를 이용하여 에러를 제거하고, 손가락의 끝 부분만을 인식할 수 있다.
도 3b를 참조하면, 본 발명의 일측에 따른 객체 제어 장치의 감지 모듈이 사용자의 손가락의 곡률값을 연산할 수 있고, 곡률값이 기준값 이상인 부분을 감지할 수 있다.
영상(330)은 곡률값이 기준값 이상인 부분(331 내지 336)이 표시된 영상이다. 이 때, 부분(331)은 사용자의 손 끝 부분이 아님에도 불구하고, 곡률값이 기준값 이상이 되어, 손가락의 끝 부분과 함께 감지 모듈에 인식될 수 있다.
이 경우, 일실시예에 따른 객체 제어 장치의 감지 모듈은 꼭지점 마스크를 이용하여 에러를 제거하고, 손가락의 끝 부분만을 인식할 수 있다.
일실시예에 따른 객체 제어 장치의 감지 모듈은 사용자의 손의 최외곽에 있는 점을 연결한 다각형을 생성할 수 있다. 영상(340)은 사용자의 손(341)의 최외곽에 있는 점을 연결한 다각형(342)을 나타내는 영상이다.
이 때, 다각형(342)의 복수 개의 꼭지점이 일실시예에 따른 꼭지점 마스크가 될 수 있다. 영상(350)은 다각형(342)의 꼭지점(351 내지 357)을 나타내는 영상이다.
다각형을 생성한 이후, 일실시예에 따른 객체 제어 장치의 감지 모듈은 곡률값이 기준값 이상인 부분(331 내지 336) 및 다각형의 꼭지점 부분(351 내지 357)의 교집합을 추출할 수 있다. 즉, 에러가 포함된 영상(330)과 꼭지점 마스크의 영상(350)의 교집합을 추출할 수 있다. 따라서, 일실시예에 따른 객체 제어 장치의 감지 모듈은 교집합을 추출함으로써, 에러를 제거하고, 손가락의 끝 부분만을 인식할 수 있다. 영상(360)은 에러(361)가 제거된 손가락의 끝 부분(362 내지 366)이 표시된 영상이다.
이하 도 4 내지 8을 참조하여, 본 발명의 일실시예에 따른 포인터 또는 객체를 제어하기 위한 손가락의 동작을 상세히 설명한다.
도 4는 본 발명의 일실시예에 따른 포인팅 또는 이동 동작을 나타내는 도면이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 객체 제어 장치는 사용자가 3차원 감지 영역(402) 안에서 손가락(410)을 이동시키는 경우, 포인팅 동작 또는 선택된 객체의 이동 동작을 수행할 수 있다.
일실시예에 따른 객체 제어 장치는 사용자가 객체를 선택하는 동작을 입력하기 전에는 포인팅 동작을 수행하고, 객체를 선택한 이후에는 객체를 이동시키는 동작을 수행할 수 있다.
일실시예에 따른 객체 제어 장치는 손가락(410)의 이동 궤적(420)에 대응하여 포인팅 동작 또는 객체의 이동 동작을 수행할 수 있다. 이 때, 객체 제어 장치는 사용자의 손가락이 불감지 영역(403)에서 3차원 감지 영역(402)으로 들어올 때의 위치(413)와 감지 패널(401)과의 거리(414) 및 3차원 감지 영역(402) 안에서의 손가락(410)의 이동에 따른 위치(411)와 감지 패널(401)과의 거리(412)에 기반하여, 이동 궤적(420)을 연산할 수 있다.
도 5는 본 발명의 일실시예에 따른 선택 또는 선택 해지 동작 및 확대 또는 축소 동작을 나타내는 도면이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 객체 제어 장치는 사용자가 3차원 감지 영역(502) 안에서 손가락(510, 540)을 상하로 이동시키는 경우, 포인터에 대응하는 포인팅 영역을 확대하는 동작을 수행하거나, 포인터가 가리키는 객체를 선택 또는 선택 해지하는 동작을 수행할 수 있다.
일실시예에 따른 객체 제어 장치는 손가락(510)이 좌우로 이동하지 않은 채(즉, 평면 좌표값(511)이 고정된 채), 3차원 감지 영역(502) 안에서 감지 패널(501) 쪽으로 기설정된 속도 이상으로 기설정된 거리 이상 이동하는 경우, 포인터가 가리키는 객체를 선택하는 동작을 수행할 수 있다.
또한, 객체 제어 장치는 손가락(510)이 좌우로 이동하지 않은 채(즉, 평면 좌표값(511)이 고정된 채), 3차원 감지 영역(502) 안에서 감지 패널(501) 쪽으로 기설정된 속도 및 기설정된 거리 중 어느 하나보다 작게 이동하는 경우, 포인터에 대응하는 포인팅 영역을 기설정된 제1 크기로 확대하는 동작을 수행할 수 있다.
일실시예에 따른 객체 제어 장치는 손가락(540)이 좌우로 이동하지 않은 채(즉, 평면 좌표값(513)이 고정된 채), 3차원 감지 영역(502) 안에서 감지 패널(501) 반대 쪽으로 기설정된 속도 이상으로 기설정된 거리 이상 이동하는 경우, 포인터가 가리키는 객체의 선택을 해지하는 동작을 수행할 수 있다.
또한, 객체 제어 장치는 손가락(540)이 좌우로 이동하지 않은 채(즉, 평면 좌표값(513)이 고정된 채), 3차원 감지 영역(502) 안에서 감지 패널(501) 반대 쪽으로 기설정된 속도 및 기설정된 거리 중 어느 하나보다 작게 이동하는 경우, 포인터에 대응하는 포인팅 영역을 기설정된 제2 크기로 확대하는 동작을 수행할 수 있다.
도 6은 본 발명의 일실시예에 따른 포인팅 영역을 나타내는 도면이다.
도 6을 참조하면, 영상(610)은 본 발명의 일실시예에 따른 객체 제어 장치가 포인터에 대응하는 포인팅 영역(620)을 확대하는 영상을 나타낸다.
일실시예에 따른 객체 제어 장치는, 사용자가 손가락을 좌우로 이동시키지 않는 채, 3차원 감지 영역 안에서 감지 패널 쪽으로 기설정된 속도 및 기설정된 거리 중 어느 하나보다 작게 이동하는 경우, 포인터에 대응하는 포인팅 영역(620)을 기설정된 제1 크기의 확대하는 동작을 수행할 수 있다.
또한, 객체 제어 장치는, 사용자가 손가락을 좌우로 이동시키지 않는 채, 3차원 감지 영역 안에서 감지 패널 반대 쪽으로 기설정된 속도 및 기설정된 거리 중 어느 하나보다 작게 이동하는 경우, 포인터에 대응하는 포인팅 영역(620)을 기설정된 제2 크기의 확대하는 동작을 수행할 수 있다.
실시예에 따라서는, 제1 크기는 제2 크기보다 크기 설정될 수 있다.
도 7은 본 발명의 일실시예에 따른 선택된 객체를 확대 또는 축소하는 동작을 나타내는 도면이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 객체 제어 장치는, 사용자가 3차원 감지 영역(702) 안에서 제1 손가락(예를 들어, 엄지 손가락)(711) 및 제2 손가락(예를 들어, 검지 손가락)(712)을 벌리면서(722) 감지 패널(701) 쪽으로 이동(721)시킨 후, 제1 손가락(711)과 제2 손가락(712)을 감지 패널의 반대 쪽으로 이동(723)하는 경우(즉, 두 손가락을 벌리면서 아래로 이동시킨 이후, 다시 위로 이동시키는 경우), 포인터가 가리키는 객체를 확대할 수 있다.
또한, 객체 제어 장치는, 사용자가 3차원 감지 영역(704) 안에서 제1 손가락(731) 및 제2 손가락(732)을 오므리면서(742) 감지 패널(703) 쪽으로 이동(743)시킨 후, 제1 손가락(731)과 제2 손가락(732)을 감지 패널의 반대 쪽으로 이동(741)하는 경우(즉, 두 손가락을 오므리면서 아래로 이동시킨 이후, 다시 위로 이동시키는 경우), 포인터가 가리키는 객체를 축소할 수 있다.
본 발명의 일측에 따르면, 객체 제어 장치는 손가락과 감지 패널 사이의 거리에 따라 선택된 객체를 확대 또는 축소하는 정도를 다르게 수행할 수 있다.
실시예에 따라서는, 두 손가락(711, 712) 사이의 벌어지는 거리 및 아래로 이동하는 거리가 동일한 경우에도, 두 손가락(711, 712)과 감지 패널(701) 사이의 거리에 따라 객체가 확대되는 정도가 다르게 수행될 수 있다. 예를 들어, 두 손가락(711, 712)이 감지 패널(701)로부터 3cm 위에서 2cm 위까지 내려오는 경우의 선택된 객체의 확대 정도보다, 감지 패널(701)로부터 2cm 위에서 1cm 위까지 내려오는 경우의 선택된 객체의 확대 정도가 더 클 수 있다. 즉, 동일한 1 cm의 이동에도 불구하고, 두 손가락(711, 712)과 감지 패널(701과의 거리가 짧을 때, 객체의 확대 정도가 더 클 수 있다.
도 8은 본 발명의 일실시예에 따른 객체를 회전시키는 동작을 나타내는 도면이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 객체 제어 장치는 사용자가 3차원 감지 영역 안에서 제1 손가락 및 제2 손가락을 회전시키는 경우, 포인터가 가리키는 객체를 회전시킬 수 있다.
실시예에 따라서는, 사용자는 감지 패널(801)에 대응하는 도 2의 3차원 좌표에서 z축(821)을 회전축으로 하여 제1 손가락(811)과 제2 손가락(812)을 시계 방향(822)으로 회전시킬 수 있고, 이 때, 일실시예에 따른 객체 제어 장치는 포인터가 가리키는 객체를 z축(821)을 회전축으로 하여 시계 방향(822)으로 회전시킬 수 있다.
실시예에 따라서는, 사용자는 감지 패널(802)에 대응하는 도 2의 3차원 좌표에서 x축(841)을 회전축으로 하여 제1 손가락(831)과 제2 손가락(832)을 시계 반대 방향(842)으로 회전시킬 수 있고, 이 때, 일실시예에 따른 객체 제어 장치는 포인터가 가리키는 객체를 x축(841)을 회전축으로 하여 시계 반대 방향(842)으로 회전시킬 수 있다.
실시예에 따라서는, 사용자는 감지 패널(803)에 대응하는 도 2의 3차원 좌표에서 y축(861)을 회전축으로 하여 제1 손가락(851)과 제2 손가락(852)을 시계 반대 방향(842)으로 회전시킬 수 있고, 이 때, 일실시예에 따른 객체 제어 장치는 포인터가 가리키는 객체를 y축(861)을 회전축으로 하여 시계 반대 방향(842)으로 회전시킬 수 있다.
도 9는 본 발명의 일실시예에 따른 객체 제어 방법을 나타내는 흐름도이다.
도 9를 참조하면, 본 발명의 일실시예에 따른 객체 제어 방법은 3차원 감지 영역 안에서의 사용자의 손가락의 위치 및 3차원 감지 영역 안의 손가락의 개수를 감지한다(910).
이 때, 3차원 감지 영역은 사용자의 손가락의 위치, 개수 등을 감지할 수 있는 센서(또는 감지 모듈)에 근접한 영역으로서, 미리 설정된 크기를 갖는 영역(Area)일 수 있다.
일실시예에 따른 객체 제어 방법은 초음파 센서, 용량 터치 센서(Capacitive Touch Sensor), 영상 센서(Image Sensor) 등을 이용하여 3차원 감지 영역 안에서의 사용자의 손가락의 위치 및 개수를 감지할 수 있다.
손가락의 위치에 대한 정보는 객체 제어 방법에 포함되는 감지 패널(Sensing Panel)과 손가락 사이의 거리 및 감지 패널 상에서의 손가락의 평면 좌표값에 대한 정보를 포함할 수 있다.
객체 제어 방법은 손가락의 위치 및 개수에 기반하여 손가락의 동작에 대한 동작 정보를 생성한다(920).
일실시예에 따른 손가락의 동작은 3차원 감지 영역 내에서 손가락이 상하로 이동하는 동작, 두 개의 손가락이 벌어지면서 아래로 이동하는 동작, 두 개의 손가락이 오므라지면서 위로 이동하는 동작, 소정의 회전축을 중심으로 하여 소정 거리가 떨어진 두 개의 손가락이 시계 또는 반시계 방향으로 회전하는 동작 등을 포함할 수 있다.
또한, 객체 제어 방법은 동작 정보에 기반하여 포인터 및 객체 중 적어도 하나를 제어한다(930).
본 발명의 일측에 따르면, 객체 제어 방법은 사용자의 손가락의 동작 및 손가락의 동작에 매칭(Macthing)되는 포인터 및 객체 중 적어도 하나와 연관된 실행 동작을 포함하는 테이블(Table)을 참조하여, 동작 정보에 대응하는 실행 동작을 처리할 수 있다.
예를 들어, 일실시예에 따른 테이블은 손가락이 감지 패널 쪽으로 기설정된 속도 이상으로 기설정된 거리 이상 이동하는 동작(즉, 손가락이 소정의 속도 및 소정의 거리 이상 아래로 이동하는 동작) 및 포인터가 가리키는 객체를 선택하는 실행 동작을 매칭하여 포함할 수 있다.
이 때, 객체 제어 방법은 손가락이 감지 패널 쪽으로 기설정된 속도 이상으로 기설정된 거리 이상 이동하는 경우, 포인터가 가리키는 객체를 선택할 수 있다.
또한, 일실시예에 따른 테이블은 손가락이 감지 패널 반대 쪽으로 기설정된 속도 이상으로 기설정된 거리 이상 이동하는 동작(즉, 손가락이 소정의 속도 및 소정의 거리 이상 위로 이동하는 동작) 및 포인터가 가리키는 객체를 선택 해지하는 실행 동작을 매칭하여 포함할 수 있다.
이 때, 객체 제어 방법은 손가락이 감지 패널 반대 쪽으로 기설정된 속도 이상으로 기설정된 거리 이상 이동하는 경우, 포인터가 가리키는 객체를 선택 해지할 수 있다.
또한, 일실시예에 따른 테이블은 손가락이 감지 패널 쪽으로 기설정된 속도 및 기설정된 거리 중 어느 하나보다 작게 이동하는 동작(즉, 손가락이 소정의 속도 및 소정의 거리 중 어느 하나보다 작게 아래로 이동하는 동작) 및 포인터에 대응하는 포인팅 영역을 기설정된 제1 크기로 확대하는 실행 동작을 매칭하여 포함할 수 있다.
이 때, 객체 제어 방법은 손가락이 감지 패널 쪽으로 기설정된 속도 및 기설정된 거리 중 어느 하나보다 작게 이동하는 경우, 포인터에 대응하는 포인팅 영역을 기설정된 제1 크기로 확대할 수 있다.
또한, 일실시예에 따른 테이블은 손가락이 감지 패널 반대 쪽으로 기설정된 속도 및 기설정된 거리 중 어느 하나보다 작게 이동하는 동작(즉, 손가락이 소정의 속도 및 소정의 거리 중 어느 하나보다 작게 위로 이동하는 동작) 및 포인터에 대응하는 포인팅 영역을 기설정된 제2 크기로 확대하는 실행 동작을 매칭하여 포함할 수 있다. 실시예에 따라서는, 제2 크기는 제1 크기보다 작게 설정될 수 있다.
이 때, 객체 제어 방법은 손가락이 감지 패널 반대 쪽으로 기설정된 속도 및 기설정된 거리 중 어느 하나보다 작게 이동하는 경우, 포인터에 대응하는 포인팅 영역을 기설정된 제2 크기로 확대할 수 있다.
또한, 일실시예에 따른 테이블은 3차원 감지 영역 안의 제1 손가락과 제2 손가락이 감지 패널 쪽으로 이동하면서, 제1 손가락과 제2 손가락 사이의 거리가 증가한 이후, 제1 손가락과 제2 손가락이 감지 패널의 반대 쪽으로 이동하는 동작(즉, 두 손가락이 벌어지면서 아래로 이동한 이후, 다시 위로 이동하는 경우) 및 포인터에 대응하는 객체를 확대하는 실행 동작을 매칭하여 포함할 수 있다.
이 때, 객체 제어 방법은 3차원 감지 영역 안의 제1 손가락과 제2 손가락이 감지 패널 쪽으로 이동하면서, 제1 손가락과 제2 손가락 사이의 거리가 증가한 이후, 제1 손가락과 제2 손가락이 감지 패널의 반대 쪽으로 이동하는 경우, 포인터에 대응하는 객체를 확대할 수 있다.
또한, 일실시예에 따른 테이블은 3차원 감지 영역 안의 제1 손가락과 제2 손가락이 감지 패널 쪽으로 이동하면서, 제1 손가락과 제2 손가락 사이의 거리가 감소한 이후, 제1 손가락과 제2 손가락이 감지 패널의 반대 쪽으로 이동하는 동작(즉, 두 손가락이 오므라지면서 아래로 이동한 이후, 다시 위로 이동하는 경우) 및 포인터에 대응하는 객체를 축소하는 실행 동작을 매칭하여 포함할 수 있다.
이 때, 객체 제어 방법은 3차원 감지 영역 안의 제1 손가락과 제2 손가락이 감지 패널 쪽으로 이동하면서, 제1 손가락과 제2 손가락 사이의 거리가 감소한 이후, 제1 손가락과 제2 손가락이 감지 패널의 반대 쪽으로 이동하는 경우, 포인터에 대응하는 객체를 축소할 수 있다.
또한, 일실시예에 따른 테이블은 3차원 감지 영역 안의 제1 손가락과 제2 손가락이 회전하는 동작 및 포인터가 가리키는 객체를 회전시키는 실행 동작을 매칭하여 포함할 수 있다.
이 때, 객체 제어 방법은 3차원 감지 영역 안의 제1 손가락과 제2 손가락이 회전하는 경우, 포인터가 가리키는 객체를 회전시킬 수 있다.
본 발명의 일측에 따르면, 객체 제어 방법의 손가락의 위치 및 개수를 감지하는 단계는, 3차원 감지 영역 안의 손가락의 곡률값을 연산할 수 있다. 또한, 연산된 곡률값이 기준값 이상인 부분의 위치 및 개수를 감지할 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 객체 제어 장치
110: 감지 모듈
120: 제어 모듈
130: 저장 모듈

Claims (12)

  1. 3차원 감지 영역 안에서의 사용자의 손가락의 위치 및 상기 3차원 감지 영역 안의 상기 손가락의 개수를 감지하는 감지 모듈; 및
    상기 손가락의 위치 및 상기 손가락의 개수에 기반하여 상기 손가락의 동작에 대한 동작 정보를 생성하고, 상기 동작 정보에 기반하여 포인터 및 객체 중 적어도 하나를 제어하는 제어 모듈
    을 포함하고,
    상기 감지 모듈은
    상기 3차원 감지 영역 안의 상기 손가락의 곡률값을 연산하고, 상기 곡률값이 기준값 이상인 부분의 위치 및 개수를 감지하는,
    객체 제어 장치.
  2. 제1항에 있어서,
    상기 손가락의 위치에 대한 정보는
    상기 감지 모듈에 포함되는 감지 패널(Sensing Panel)과 상기 손가락 사이의 거리 및 상기 감지 패널 상에서의 상기 손가락의 평면 좌표값에 대한 정보를 포함하는 객체 제어 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 동작 및 상기 동작에 매칭되는 상기 포인터 및 상기 객체 중 적어도 하나와 연관된 실행 동작을 포함하는 테이블을 저장하는 저장 모듈
    을 더 포함하고,
    상기 제어 모듈은
    상기 테이블을 참조하여, 상기 동작 정보에 대응하는 상기 실행 동작을 처리하는 객체 제어 장치.
  5. 3차원 감지 영역 안에서의 사용자의 손가락의 위치 및 상기 3차원 감지 영역 안의 상기 손가락의 개수를 감지하는 감지 모듈; 및
    상기 손가락의 위치 및 상기 손가락의 개수에 기반하여 상기 손가락의 동작에 대한 동작 정보를 생성하고, 상기 동작 정보에 기반하여 포인터 및 객체 중 적어도 하나를 제어하는 제어 모듈
    을 포함하고,
    상기 제어 모듈은
    상기 손가락이 상기 감지 모듈에 포함되는 감지 패널 쪽으로 기설정된 속도 이상으로 기설정된 거리 이상 이동하는 경우, 상기 포인터가 가리키는 상기 객체를 선택하고,
    상기 손가락이 상기 감지 패널 반대 쪽으로 상기 기설정된 속도 이상으로 상기 기설정된 거리 이상 이동하는 경우, 상기 객체의 선택을 해지하는 객체 제어 장치.
  6. 제5항에 있어서,
    상기 제어 모듈은
    상기 손가락이 상기 감지 패널 쪽으로 상기 기설정된 속도 및 상기 기설정된 거리 중 어느 하나보다 작게 이동하는 경우, 상기 포인터에 대응하는 포인팅 영역을 기설정된 제1 크기로 확대하고,
    상기 손가락이 상기 감지 패널 반대 쪽으로 상기 기설정된 속도 및 상기 기설정된 거리 중 어느 하나보다 작게 이동하는 경우, 상기 포인팅 영역을 기설정된 제2 크기로 확대하는 객체 제어 장치.
  7. 제5항에 있어서,
    상기 제어 모듈은
    상기 3차원 감지 영역 안의 제1 손가락과 제2 손가락이 상기 감지 패널 쪽으로 이동하면서, 상기 제1 손가락과 상기 제2 손가락 사이의 거리가 증가한 이후, 상기 제1 손가락과 상기 제2 손가락이 상기 감지 패널의 반대 쪽으로 이동하는 경우, 상기 포인터가 가리키는 상기 객체를 확대하고,
    상기 제1 손가락과 상기 제2 손가락이 상기 감지 패널 쪽으로 이동하면서, 상기 제1 손가락과 상기 제2 손가락 사이의 거리가 감소한 이후, 상기 제1 손가락과 상기 제2 손가락이 상기 감지 패널 반대 쪽으로 이동하는 경우, 상기 포인터가 가리키는 상기 객체를 축소하는 객체 제어 장치.
  8. 제1항에 있어서,
    상기 제어 모듈은
    상기 3차원 감지 영역 안의 제1 손가락과 제2 손가락이 회전하는 경우, 상기 포인터가 가리키는 상기 객체를 회전시키는 객체 제어 장치.
  9. 3차원 감지 영역 안에서의 사용자의 손가락의 위치 및 상기 3차원 감지 영역 안의 상기 손가락의 개수를 감지하는 단계;
    상기 손가락의 위치 및 상기 손가락의 개수에 기반하여 상기 손가락의 동작에 대한 동작 정보를 생성하는 단계; 및
    상기 동작 정보에 기반하여 포인터 및 객체 중 적어도 하나를 제어하는 단계
    를 포함하고,
    상기 손가락의 위치 및 상기 손가락의 개수를 감지하는 단계는
    상기 3차원 감지 영역 안의 상기 손가락의 곡률값을 연산하는 단계; 및
    상기 곡률값이 기준값 이상인 부분의 위치 및 개수를 감지하는 단계
    를 포함하는,
    객체 제어 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 손가락의 위치 및 상기 손가락의 개수를 감지하는 단계는
    상기 동작 및 상기 동작에 매칭되는 상기 포인터 및 상기 객체 중 적어도 하나와 연관된 실행 동작을 포함하는 테이블을 참조하여, 상기 동작 정보에 대응하는 상기 실행 동작을 처리하는 객체 제어 방법.
  12. 제9항 및 제11항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020100120574A 2010-11-30 2010-11-30 객체 제어 장치 및 방법 KR101646616B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100120574A KR101646616B1 (ko) 2010-11-30 2010-11-30 객체 제어 장치 및 방법
US13/137,875 US9747018B2 (en) 2010-11-30 2011-09-20 Apparatus and method for controlling object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100120574A KR101646616B1 (ko) 2010-11-30 2010-11-30 객체 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120058996A KR20120058996A (ko) 2012-06-08
KR101646616B1 true KR101646616B1 (ko) 2016-08-12

Family

ID=46126275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100120574A KR101646616B1 (ko) 2010-11-30 2010-11-30 객체 제어 장치 및 방법

Country Status (2)

Country Link
US (1) US9747018B2 (ko)
KR (1) KR101646616B1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US9032334B2 (en) * 2011-12-21 2015-05-12 Lg Electronics Inc. Electronic device having 3-dimensional display and method of operating thereof
KR102084582B1 (ko) * 2012-02-24 2020-03-04 삼성전자 주식회사 화면에 표시된 개체의 크기 조정 방법 및 장치
US9626889B2 (en) * 2012-09-24 2017-04-18 Semiconductor Energy Laboratory Co., Ltd. Method and program for driving information processing device
KR101459441B1 (ko) 2012-12-18 2014-11-07 현대자동차 주식회사 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
JP5565598B1 (ja) * 2013-02-01 2014-08-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 電子機器、入力処理方法、およびプログラム
US10261612B2 (en) 2013-02-22 2019-04-16 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
US10394434B2 (en) 2013-02-22 2019-08-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
CN103116432B (zh) * 2013-03-04 2016-08-31 惠州Tcl移动通信有限公司 一种触摸屏的三维操作控制方法、装置及其移动终端
JP5820414B2 (ja) * 2013-03-19 2015-11-24 株式会社Ｎｔｔドコモ 情報処理装置及び情報処理方法
KR102056316B1 (ko) 2013-05-03 2020-01-22 삼성전자주식회사 터치 스크린 동작 방법 및 그 전자 장치
DE102013011531B4 (de) * 2013-07-10 2018-04-26 Audi Ag Verfahren zum Betreiben eines Assistenzsystems eines Kraftwagens und Assistenzsystem für einen Kraftwagen
KR102186393B1 (ko) * 2014-01-02 2020-12-03 삼성전자주식회사 입력 처리 방법 및 그 전자 장치
EP3106968B1 (en) * 2014-02-10 2019-09-25 Sony Corporation Information processing device, information processing method, and program
US9600999B2 (en) 2014-05-21 2017-03-21 Universal City Studios Llc Amusement park element tracking system
CN105635776B (zh) * 2014-11-06 2019-03-01 深圳Tcl新技术有限公司 虚拟操作界面遥控控制方法及***
KR102038965B1 (ko) * 2014-11-26 2019-10-31 삼성전자주식회사 초음파 센서 및 초음파 센서의 대상체 인식 방법
DE102014224598A1 (de) * 2014-12-02 2016-06-02 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung
TWI546715B (zh) * 2014-12-26 2016-08-21 深圳市華星光電技術有限公司 懸浮觸控方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2776757B2 (ja) * 1995-04-04 1998-07-16 日本電気ソフトウェア株式会社 指紋指頭軸方向検出装置
JP4479962B2 (ja) 2005-02-25 2010-06-09 ソニー エリクソン モバイル コミュニケーションズ， エービー 入力処理プログラム、携帯端末装置、及び入力処理方法
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
WO2008137708A1 (en) * 2007-05-04 2008-11-13 Gesturetek, Inc. Camera-based user input for compact devices
CN101878463B (zh) * 2007-11-29 2013-07-31 皇家飞利浦电子股份有限公司 提供用户接口的方法
US8446373B2 (en) * 2008-02-08 2013-05-21 Synaptics Incorporated Method and apparatus for extended adjustment based on relative positioning of multiple objects contemporaneously in a sensing region
KR101486345B1 (ko) * 2008-03-21 2015-01-26 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
KR20090104469A (ko) 2008-03-31 2009-10-06 엘지전자 주식회사 근접 터치 감지 기능을 갖는 휴대 단말기 및 이를 이용한그래픽 사용자 인터페이스 제공 방법
KR101469280B1 (ko) 2008-04-01 2014-12-04 엘지전자 주식회사 근접 터치 감지 기능을 갖는 휴대 단말기 및 이를 이용한그래픽 사용자 인터페이스 제공 방법
KR101495351B1 (ko) 2008-06-27 2015-02-24 엘지전자 주식회사 근접 터치 감지 기능을 갖는 휴대 단말기
KR101443341B1 (ko) 2008-06-30 2014-11-03 엘지전자 주식회사 휴대 단말기 및 그 동작제어 방법
KR101486581B1 (ko) * 2008-07-01 2015-02-04 엘지전자 주식회사 휴대 단말기 및 그 구동 방법
KR101504201B1 (ko) * 2008-07-02 2015-03-19 엘지전자 주식회사 이동단말기 및 그의 키패드 표시방법
US8279187B2 (en) * 2008-08-01 2012-10-02 3M Innovative Properties Company Touch sensitive devices with composite electrodes
TWI375169B (en) * 2008-09-22 2012-10-21 Htc Corp Display device
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
KR101004489B1 (ko) 2009-07-13 2010-12-31 엘지전자 주식회사 근접한 공간에서의 제스쳐를 이용한 사용자 인터페이스 제어방법
US20120112767A1 (en) * 2009-08-31 2012-05-10 Keiichi Nonogaki Capacitive proximity sensor
US20110074675A1 (en) * 2009-09-29 2011-03-31 Nokia Corporation Method and apparatus for initiating a feature based at least in part on the tracked movement
KR101660842B1 (ko) * 2009-11-05 2016-09-29 삼성전자주식회사 터치 입력 방법 및 그 장치
US8566955B2 (en) * 2010-10-31 2013-10-22 Pixart Imaging Inc. User indentification with capacitive touchscreen
US8740702B2 (en) * 2011-05-31 2014-06-03 Microsoft Corporation Action trigger gesturing

Also Published As

Publication number Publication date
US20120133585A1 (en) 2012-05-31
US9747018B2 (en) 2017-08-29
KR20120058996A (ko) 2012-06-08

Similar Documents

Publication Publication Date Title
KR101646616B1 (ko) 객체 제어 장치 및 방법
KR102118408B1 (ko) 터치 감지 디바이스에서 터치 동작을 수행하는 방법
US9405404B2 (en) Multi-touch marking menus and directional chording gestures
KR20140138424A (ko) 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
JP5665140B2 (ja) 入力装置、入力方法、及びプログラム
JP5604279B2 (ja) ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
KR101094636B1 (ko) 제스처 기반 사용자 인터페이스 시스템 및 그 방법
KR102347248B1 (ko) 터치 제스쳐 인식 방법 및 장치
KR20100041006A (ko) 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
WO2010105006A1 (en) Systems and methods for interfaces featuring surface-based haptic effects
KR101956073B1 (ko) 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법
JP6005417B2 (ja) 操作装置
KR20120023900A (ko) 인터페이스 방법 및 장치
US10394434B2 (en) Apparatus and method for recognizing proximity motion using sensors
JP6325659B2 (ja) 操作画面表示装置、操作画面表示方法およびプログラム
KR101119896B1 (ko) 휴대단말 및 그의 거리 및 시선 인지를 이용한 객체 표시 방법
JP6033061B2 (ja) 入力装置およびプログラム
JP2010118048A (ja) 描画支援装置、描画支援プログラム、描画支援方法
JP6418585B2 (ja) ウェアラブルデバイス、及びウェアラブルデバイスの動作方法
KR101535738B1 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
JP2015191250A (ja) 情報処理装置、及びその制御方法、プログラム、記録媒体
JP2013109538A (ja) 入力方法及び入力装置
KR20120016379A (ko) 객체 제어 장치 및 방법
KR101598579B1 (ko) 안내정보를 제공하는 사용자 인터페이스 장치 및 안내정보 제공 방법
KR101496017B1 (ko) 휴대 기기에서의 터치 스크린 제어 방법 및 그 휴대 기기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190717

Year of fee payment: 4