KR101335394B1 - 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치 - Google Patents
포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치 Download PDFInfo
- Publication number
- KR101335394B1 KR101335394B1 KR1020120011584A KR20120011584A KR101335394B1 KR 101335394 B1 KR101335394 B1 KR 101335394B1 KR 1020120011584 A KR1020120011584 A KR 1020120011584A KR 20120011584 A KR20120011584 A KR 20120011584A KR 101335394 B1 KR101335394 B1 KR 101335394B1
- Authority
- KR
- South Korea
- Prior art keywords
- screen
- pointy
- axis
- point
- gesture
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 3차원 공간에서 스크린을 제어할 수 있는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치에 관한 것으로, 특히 포인티 오브젝트를 이용하여 3차원 공간에서 입력한 실제 명령과 그 외 무의미한 움직임을 정확하게 구별할 수 있어서 오동작을 방지할 수 있음은 물론, 사용자가 다양한 명령을 입력할 수 있도록 다양한 움직임을 명령으로 입력받고 서로 구별할 수 있는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치에 관한 것이다.
Description
본 발명은 포인티 오브젝트를 이용하여 3차원 공간에서 입력한 실제 명령과 그 외 무의미한 움직임을 정확하게 구별할 수 있어서 오동작을 방지할 수 있는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치에 관한 것이다.
또한, 본 발명은 저해상도의 포인팅 장치로서 사용할 수 있음은 물론, 사용자가 다양한 명령을 입력할 수 있도록 다양한 움직임을 명령으로 입력받고 서로 구별할 수 있는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치에 관한 것이다.
최근 개인용/업무용 PC, 게임용 콘솔장치 및 스마트 폰 등은 그에 탑재된 컴퓨팅 장치의 성능이 향상됨에 따라 사용자 인터페이스(UI: User Interface)도 점차 발전하고 있으며, 그 중에는 3차원 공간에서의 움직임을 분석하여 이를 특유의 명령으로 인식하는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치도 제공되고 있다.
예컨대, 한국등록특허 제374346호 '영상을 이용한 머리의 위치 및 방향을 추적하는 방법'에서는 주시선과 의도적인 눈 깜빡임을 이용하여 인간과 컴퓨터 간의 상호 인터페이스를 조종할 수 있는 시스템을 보다 실용적으로 적용할 수 있도록 머리 움직임 추적 방법을 제공하고 있다.
또한, 한국공개특허 제2009-93220호 '적외선 카메라를 이용한 공간 터치 스크린'에서는 사용자의 손동작을 3차원 데이터로 인식하고 이를 기준으로 기 설정된 시스템 운영에 따른 손동작 데이터와 비교하여 해당 명령에 따른 동작을 수행하는 방법을 제공하고 있다.
또한, 한국공개특허 제2011-37053호 '영상센서를 이용한 3차원 공간 터치 입력장치의 제어방법'에서는 출력화면 제어장치가 영상센서에서 촬영한 영상을 분석하여 어느 사용자가 그 사용자의 손 또는 지시봉을 이용하여 수행한 출력화면 제어신호를 제공하고 있다.
그러나, 이상과 같은 종래 기술들에서는 3차원 공간에서 사용자가 입력하는 명령을 분석하고 이를 스크린 화면에 반영하기는 하지만, 실제 사용자가 명령을 입력하고자 움직이는 경우와 그 외 무의미한 움직임을 정확히 구분할 수 없어서 정밀하게 명령을 입력받지 못한다는 문제점이 있었다.
또한, 사용자가 입력할 수 있는 명령에는 손가락을 일측에서 타측으로 움직임에 따른 볼륨 조절, 영상물의 플레이 위치 조절 및 책장 넘김 등과 같은 비교적 단순한 것뿐이고, 좀더 다양한 명령은 제공하지 않았으며, 이러한 문제점은 이상과 같이 무의미한 움직임을 정확히 구분하지 못함에 따라 더욱 심각하였다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위해 제안된 것으로, 포인티 오브젝트를 이용하여 3차원 공간에서 입력한 실제 명령과 그 외 무의미한 움직임을 정확하게 구별할 수 있어서 오동작을 방지할 수 있는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치를 제공하고자 한다.
또한, 본 발명은 저해상도의 포인팅 장치로서 사용할 수 있음은 물론, 사용자가 다양한 명령을 입력할 수 있도록 다양한 움직임을 명령으로 입력받고 서로 구별할 수 있는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치를 제공하고자 한다.
이를 위해, 본 발명에 따른 3차원 공간 터치장치는 상기 스크린에 설치된 영상획득장치에서 촬상한 사용자의 영상을 입력받아 신호처리하는 영상 처리부와; 상기 신호처리된 사용자의 영상으로부터 사용자의 눈과 포인티 오브젝트(pointy object)의 끝단의 현재 위치를 각각 3차원 좌표로 산출하는 좌표 산출부와; 상기 좌표가 산출된 사용자의 눈과 포인티 오브젝트의 끝단을 두 점으로 하는 연결선의 연장선상에 위치한 스크린의 좌표를 실시간으로 분석하여 사용자의 제스처를 분석하는 제스처 분석부; 및 상기 분석된 제스처를 사용자 입력장치를 통한 제어명령으로 변환하여 실행시키는 제어부;를 포함하되, 상기 제스처 분석부는 상기 포인티 오브젝트의 Z축 변위가 X축 변위 또는 Y축 변위보다 큰 경우 3차원 공간상에서 상기 스크린을 클릭하여 현재 화면을 선택 및 활성화한 것으로 분석하고 상기 X축 변위 또는 Y축 변위만큼의 이동을 실행명령으로서 분석하는 것을 특징으로 한다.
이때, 상기 제스처 분석부는 상기 Z축 변위만큼 다시 Z축 방향으로 되돌아온 경우 상기 스크린을 클릭한 것으로 분석하는 것이 바람직하다.
또한, 상기 제스처 분석부는 상기 포인티 오브젝트의 Z축 변위가 X축 변위 또는 Y축 변위보다 크도록 움직인 후 설정된 시간 동안 정지한 경우는 드래그 앤 드롭을 위한 그랩을 선택한 것으로 분석하는 것이 바람직하다.
또한, 상기 제스처 분석부는 상기 클릭과 드래그 앤 드롭을 위한 그랩을 정의하는 상기 포인티 오브젝트의 제스처를 각각 복수개 구비하고, 그 중 어느 하나의 제스처가 이루어지면 클릭 또는 그랩으로 분석하는 것이 바람직하다.
또한, 상기 제스처 분석부는 상기 가용영역을 X축과 Y축을 기준으로 복수개의 서브 가용영역으로 나누고, 상기 포인티 오브젝트로 인식된 2개의 포인티 오브젝트가 상기 서브 가용영역 내에서 동일한 단위 Z축 영역에 들어온 경우 드래그 앤 드롭을 위한 그랩으로 분석하는 것이 바람직하다.
또한, 상기 제스처 분석부는 상기 포인티 오브젝트로 인식된 2개의 포인티 오브젝트가 상기 서브 가용 영역에서 다른 서브 가용영역으로 움직이면 상기 그랩된 대상을 이동시키고, 상기 2개의 포인티 오브젝트가 상기 다른 서브 가용영역 내에서 서로 다른 단위 Z축 영역에 위치하는 경우 상기 그랩을 릴리즈(release)한 것으로 분석하는 것이 바람직하다.
또한, 상기 제스처 분석부는 상기 가용영역 외에서의 상기 포인티 오브젝트의 제스처는 입력으로 인식하지 않는 것이 바람직하다.
또한, 상기 제스처 분석부는 복수의 사용자의 눈을 각각 꼭지점으로 하는 복수의 가용영역을 인식하되, 상기 각각의 가용영역에서 움직이는 포인티 오브젝트는 사용자를 구분하지 않고 모두 입력으로 분석하는 것이 바람직하다.
또한, 상기 제스처 분석부는 사용자의 손가락 및 물건을 포인티 오브젝트로 인식하되, 상기 물건은 세로 길이가 가로 길이에 비해 3배 이상 길고, 상기 물건의 길이는 5Cm 이상인 경우 포인티 오브젝트로 인식하는 것이 바람직하다.
또한, 상기 포인티 오브젝트의 끝점은 상기 가용영역 내에서 Y축 방향에 대해서는 최상점에 위치함과 동시에 Z축 방향에 대해서는 최하점에 위치한 지점으로 인식되는 것이 바람직하다.
또한, 상기 포인티 오브젝트의 끝점은 상기 가용영역 내에 위치하는 포인티 오브젝트의 Y축 방향 위치 데이터에 15% 내지 25%의 가중치를 두어 산출되는 것이 바람직하다.
또한, 상기 제스처 분석부는 상기 스크린의 X축 길이에 대한 10% 내지 20%의 길이에 해당하는 영역을 상기 스크린의 좌측 에지 부분과, 상기 스크린의 우측 에지 부분 및 상기 스크린의 상측 에지 또는 하측 에지 부분 중 어느 한 곳에 각각 에지 인식 영역으로 할당하는 것이 바람직하다.
또한, 상기 제스처 분석부는 상기 포인티 오브젝트가 상기 스크린의 좌측 외부로부터 들어와 상기 좌측 에지 인식 영역과 우측 에지 인식 영역을 순차로 통과하면 우측 이동으로 분석하고, 상기 포인티 오브젝트가 상기 스크린의 우측 외부로부터 들어와 상기 우측 에지 인식 영역과 좌측 에지 인식 영역을 순차로 통과하면 좌측 이동으로 분석하는 것이 바람직하다.
또한, 상기 제스처 분석부는 상기 포인티 오브젝트가 상기 스크린의 상측 외부로부터 들어와 상기 하측 에지 인식 영역을 통과하면 하측 이동으로 분석하고, 상기 포인티 오브젝트가 상기 스크린의 하측 외부로부터 들어와 상기 상측 에지 인식 영역을 통과하면 상측 이동으로 분석하는 것이 바람직하다.
이상과 같은 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치에 의하면 무의미한 움직임의 가능성이 매우 적은 Z축 움직임을 기준으로 클릭을 인식하고 그 후 X축과 Y축 움직임을 명령으로 입력받게 한다.
따라서, 포인티 오브젝트를 이용하여 3차원 공간에서 입력한 실제 명령과 그 외 무의미한 움직임을 정확하게 구별할 수 있어서 오동작을 방지할 수 있게 한다.
또한, 저해상도의 포인팅 장치로서 사용할 수 있으면서도, 종전보다 다양한 명령을 정의하여 제공함과 동시에 이상과 같이 무의미한 움직임과 실제 명령을 정확히 구분할 수 있으므로, 다양한 움직임을 명령으로 입력받아 이를 서로 정확히 구별함으로써 사용자가 다양한 명령을 입력할 수 있게 한다.
도 1은 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치가 적용되는 일 예를 나타낸 것이다.
도 2는 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치를 나타낸 블럭도이다.
도 3은 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치의 X축과 Y축을 정의한 도이다.
도 4는 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치의 가용영역을 정의한 도이다.
도 5는 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치의 좌표 설정방법을 나타낸 도이다.
도 6은 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치의 클릭 방법을 나타낸 도이다.
도 7은 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치에서 인식 가능한 명령들을 정의한 것이다.
도 8은 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치의 드래그 앤 드롭을 위한 서브 가용 영역을 나타낸 도이다.
도 9는 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치의 에지 인식 영역을 이용한 명령 입력 방법을 나타낸 도이다.
도 2는 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치를 나타낸 블럭도이다.
도 3은 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치의 X축과 Y축을 정의한 도이다.
도 4는 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치의 가용영역을 정의한 도이다.
도 5는 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치의 좌표 설정방법을 나타낸 도이다.
도 6은 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치의 클릭 방법을 나타낸 도이다.
도 7은 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치에서 인식 가능한 명령들을 정의한 것이다.
도 8은 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치의 드래그 앤 드롭을 위한 서브 가용 영역을 나타낸 도이다.
도 9는 본 발명에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치의 에지 인식 영역을 이용한 명령 입력 방법을 나타낸 도이다.
이하, 본 발명의 바람직한 실시예에 따른 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치에 대해 상세히 설명한다.
본 발명에서 포인티 오브젝트(pointy object)는 사용자의 손가락을 포함하여 끝이 뾰족한 물체를 의미하고, 설명의 편의상 사용자의 손가락을 예시하여 본 발명을 설명하지만 이에 한정되는 것은 아니다.
또한, 이하에서는 컴퓨터 및 상기 컴퓨터에 설치된 영상획득장치를 이용하여 3차원 공간에서의 사용자 명령을 입력받는 것을 예로 들어 설명한다. 그러나, 본 발명은 이에 한정하지 아니하고 영상획득장치와 컴퓨팅 기능만 있으면 스마트 폰 등과 같은 다양한 단말장치에서도 적용가능함은 자명할 것이다.
먼저, 도 1에 일 예로 도시된 바와 같이, 본 발명이 적용될 수 있는 구성으로서 화면이 표시되도록 스크린(111)을 제공하는 모니터(110)와, 상기 모니터(110)의 에지 부분 등에 부착되어 있거나 인접 설치된 영상획득장치(120, 130) 및 본 발명의 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치를 갖는 컴퓨터 본체(140)를 포함한다.
모니터(110)는 이하에서 설명할 본 발명의 스크린(111)을 제공하는 것으로 여기서는 본 발명이 컴퓨터 시스템에 적용된 것을 일 실시예로 들었기 때문에 모니터(110)를 예로 들었지만, 상기 스크린(111)은 스마트 폰(미도시)의 디스플레이장치나 영상 투사용 화이트 보드(혹은, 화이트 스크린), 가정용이나 기업용 텔레비젼 등을 비롯하여 그 외 다양한 영상표지장치를 포함한다.
영상획득장치(120, 130)는 하나만 있어도 본 발명을 구현할 수 있지만, 도시된 바와 같이 2개를 구비하거나 혹은 더 나아가 3개 이상의 복수개를 구비할 수 있으며, 복수개를 구비한 경우에는 사용자의 움직임을 동시에 촬상하여 각각 이미지를 제공함으로써 더욱 정밀하게 3차원 공간 터치 명령을 분석할 수 있게 한다.
예컨대, 영상획득장치(120, 130)로서 MS™의 XBOX 비디오 게임 콘솔용 모션 센싱 입력장치인 Kinect(120)의 TOF(Time of Flight) 카메라(121) 및 웹 캠(130)을 각각 구비하면, TOF 카메라(121)로는 640×480의 해상도를 제공하고, 웹 캠(130)의 RGB 카메라로는 1280×720 고해상도를 제공할 수 있게 된다. 따라서, 이들 모두를 사용하면 더욱 정확한 영상을 획득할 수 있다.
컴퓨터 본체(140)는 그 내부에 본 발명의 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치를 탑재한다.
도 2에 도시된 바와 같이, 본 발명의 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치는 영상획득장치(120, 130)에서 촬상한 영상을 I/O 인터페이스(141a)를 통해 입력받아 신호처리하는 영상 처리부(141)와, 신호처리된 영상으로부터 사용자의 눈과 포인티 오브젝트(pointy object)의 현재 위치를 각각 3차원 좌표로 산출하는 좌표 산출부(142)를 포함한다.
또한, 눈과 포인티 오브젝트의 연장선상에 위치한 스크린(111)의 좌표를 실시간으로 분석하여 사용자의 제스처를 분석하는 제스처 분석부(143)와, 각종 설정정보를 저장하는 설정 메모리(144) 및 분석된 제스처를 사용자 입력장치(키보드나 마우스)를 통한 제어명령으로 변환하여 실행시키는 제어부(145)를 포함한다.
다만, 이상에서는 영상 처리부(141)와, 좌표 산출부(142)와, 제스처 분석부(143) 및 제어부(145)를 구분하고 각각 고유의 역할을 하는 것으로 설명하였지만, 최근에는 디지털 신호처리 기술의 발달로 이들 중 어느 한 구성에서 모든 처리가 가능함은 자명할 것이다.
한편, 이상과 같은 구성으로 이루어진 본 발명은 도 3 및 도 4에 도시된 바와 같이 가용영역(111a)을 설정한 후, 설정된 가용영역(111a) 내에서 행해지는 포인티 오브젝트의 움직임(즉, 제스처)을 영상획득장치(120, 130)에 의해 획득하고, 좌표 산출부(142)에서 좌표를 산출하고, 좌표가 변환된 움직임을 제스처 분석부(143)에서 정의된 행동별로 분석한다.
이를 위해, 가용영역(111a)은 스크린(111)을 밑변으로 하고, 스크린(111)으로부터 Z축 방향으로 이격된 사용자의 눈(e)을 꼭지점으로 하는 사각뿔 형상의 영역으로 정의된다. 따라서, 사용자 눈(e)의 위치가 변하면 꼭지점 역시 변하는 것이므로 정의된 바와 같이 가용영역(111a)도 실시간으로 바뀌게 된다.
다만, 영상획득장치(120, 130)가 스크린(111)의 상단 에지로부터 상측으로 이격 설치된 경우에는 스크린(111)의 상단 에지와 영상획득장치(120, 130)의 상대 위치나 스크린(111)의 상단 에지로부터 영상획득장치(120, 130)까지의 절대 거리를 입력받아서 스크린(111)과 영상획득장치(120, 130)의 위치가 불일치함에 따른 값을 자동으로 보정해야 할 것이다.
또한, 눈(e)은 왼쪽 눈 또는 오른쪽 눈 중 어느 것이든 설정 가능하고, 그 설정환경은 설정 메모리(144)에 저장됨으로써 설정된 눈(e)을 기준으로 가용영역(111a)을 설정하고 설정 메모리(144)에 저장한다.
일반적으로 오른손 잡이는 오른쪽 눈으로 설정하는 것이 편하고, 왼손 잡이는 왼쪽 눈으로 설정하는 것이 3차원 공간 명령을 입력하기에 편리하므로 사용자가 자신에게 적합한 환경을 설정한다.
또한, 가용영역(111a)을 정의하고 위치를 환산하기 위해서, 일 예로 밑변을 구성하는 스크린(111)의 X축 길이는 X축의 픽셀(pixel) 수로 정의되고, 스크린(111)의 Y축 길이는 Y축의 픽셀 수로 정의되고, 상기 X축과 Y축으로 정의된 스크린(111)을 밑변으로 하는 꼭지점은 영상획득장치(120, 130)를 통해 구별가능한 해상도를 단위 거리(예: 1Cm 단위)로 하여 스크린(111)으로부터 Z축 방향으로 이격된 눈(e)까지의 거리로 정의되며, 이를 기준으로 좌표 산출부(142)에서 좌표를 산출한다.
다만, 사용자의 눈(e)을 직접 감지하지 못한 경우에는 촬상된 얼굴(F) 중 평균적인 위치를 이용하여 대략적으로 눈(e)을 추적(혹은, 예측)한다.
또한, 제스처 분석부(143)는 복수의 사용자의 눈(e)을 각각 꼭지점으로 하는 복수의 가용영역(111a)을 인식하되, 각각의 가용영역(111a)에서 움직이는 포인티 오브젝트는 사용자를 구분하지 않고 모두 입력으로 분석한다.
즉, 사용자별로 가용영역(111a)을 각각 할당하되, 어느 일인이 타인에게 할당된 가용영역(111a) 내에서 자신의 포인티 오브젝트를 움직이더라도 이를 명령으로 인식함으로써 협력이나 도움이 필요한 게임 등도 원활하게 실행할 수 있도록 한다.
동시에 할당 가능한 가용영역(111a)은 3개로서 3명의 사용자에 의한 3차원 공간 명령을 동시에 입력받도록 하는 것이 바람직한데, 동시에 너무 많은 사용자를 인식하고 각각 가용영역(111a)을 할당하면 영상신호, 좌표 및 제스처의 분석을 위한 신호처리에 과도한 리소스를 할당하게 되고, 너무 적으면 다중 접속 게임 등을 할 수 없게 된다.
또한, 포인티 오브젝트는 사용자의 손가락을 기본으로 설정하되, 사용자가 볼펜이나 막대 등을 들고 있는 경우에는 이러한 물건도 포인티 오브젝트로 인식할 수 있게 한다. 이를 위해 상기 물건은 세로 길이가 가로 길이에 비해 3배 이상 길고, 길이는 5Cm 이상인 경우에만 포인티 오브젝트로서 인식될 수 있게 설정된다.
물론, 이러한 경우에도 상술한 바와 같이 포인티 오브젝트의 X축 변위나 Y축 변위보다 Z축 변위가 커서 스크린이 활성화된 경우에만 그 포인티 오브젝트의 X축 변위나 Y축 변위의 움직임을 3차원 공간 명령으로 인식할 수 있도록 한다.
또한, 포인티 오브젝트 중 손가락의 끝점이나 물건의 끝점을 인식하여 이를 한 점으로 하는 공간상 좌표로 인식하고, 여러 개의 포인티 오브젝트가 감지된 경우에는 각각의 포인티 오브젝트를 3차원 공간 명령을 위한 포인티 오브젝트로 인식한다. 물론, 설정에 따라서는 인식된 여러 개의 포인티 오브젝트들 중 설정된 갯수 만큼 먼저 인식된 포인티 오브젝트만을 사용하는 등 다양한 응용도 가능하다.
따라서, 좌표 산출부(142)에서 사용자 눈(e)의 좌표와 포인티 오브젝트의 좌표를 각각 계산하고, 이 두 점을 연결한 선을 스크린(111)까지 연장한 연장선이 스크린(111)과 만나는 점을 시작점으로 하며, 포인티 오브젝트가 움직임에 따라 상기 연장선과 스크린(111)이 만나는 시작점이 변경되면 이를 계속 분석하여 포인티 오브젝트의 움직임을 인식할 수 있게 한다.
이상과 같이 포인티 오브젝트의 끝점 좌표를 3차원 공간상에서 찾아내는 방법으로는 다양한 방법이 있지만 일 예로 아래와 같은 의사코드를 사용할 수 있다.
[의사코드]
//Pseudo Code
//within Active Region
if( isMax((Pixel.Y*1.2)+(-1*Pixel.Z)) )
{
PointyObject_Point = Pixel;
}
//---------------------------------
즉, 도 5에 도시된 바와 같이 가용영역(110a) 내에서 포인티 오브젝트로 사용되는 사용자의 손가락의 끝점은 그 외 다른 손가락(접힌 손가락) 등과 비교하여 Y축 방향(스크린의 하단부터 상측 방향)에 대해서는 최상점에 위치함과 동시에 Z축 방향(스크린으로부터 눈을 향하는 방향)에 대해서는 최하점에 위치하게 된다.
이는, 3차원 명령 입력시 포인티 오브젝트로 사용되는 손가락의 끝점이 스크린(111)을 바라보도록 위치시킬 경우 손가락의 구조상 자연스럽게 위 두 가지 조건을 만족하는 것이 보통이기 때문이다.
그러나, 손가락의 끝점이 위 두 가지 조건을 모두 만족시키지 못하는 위치에 있게 되는 경우를 완전히 배제할 수는 없고, 이러한 상황은 손가락의 끝점이 Z축 방향에 대해서 최하점에 있지 못할 경우보다 Y축 방향에 대해서 최상점이 있지 못할 경우가 더 적다.
따라서, 상기 Y축 방향 위치 데이터에 15% 내지 25%의 가중치를 두며, 일 예로 20%의 가중치를 주는 경우에는 이상과 같이 '(Pixel.Y*1.2)'를 의사코드에 적용함으로서 연산과정을 줄이면서도 더욱 확실하게 손가락 끝점의 좌표를 분석하고, 이와 같은 방식으로 분석된 좌표로 클릭과, 그랩 및 릴리즈 등도 판별한다.
한편, 이상과 같은 구성으로 이루어진 본 발명의 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치에 있어서, 제스처 분석부(143)는 포인티 오브젝트의 Z축 변위가 X축 변위 또는 Y축 변위보다 큰 경우 3차원 공간에서 스크린(111)을 클릭하여 현재 화면을 선택 및 활성화한 것으로 분석하고 X축 변위 또는 Y축 변위만큼의 이동을 분석한다.
예컨대, 도 6의 (a)에 도시된 바와 같이 손가락을 움직인 경우, 실선으로 도시한 X축 움직임은 점선으로 표시한 X축 변위를 갖고, 실선으로 도시한 Y축 움직임은 점선으로 표시한 Y축 변위를 갖는데, 이때 Z축 변위는 X축 변위나 Y축 변위와 비교하여 어느 경우나 작다.
이러한 경우는 3차원 공간 명령을 입력하기 위해 원격에서 손가락으로 스크린(111)을 터치하여 클릭 및 활성화시킨 것이 아닌 단순히 무의미한 움직임으로 분석함으로써 명령을 입력받지 않고 무시한다. 이는, 실수나 무의식 상태에서는 손가락을 좌우로 움직일 가능성이 매우 크지만 스크린(111) 쪽으로 이동시킬 가능성은 매우 적기 때문이다.
따라서, 본 발명은 무의미한 움직임의 가능성이 매우 적은 Z축 움직임을 기준으로 클릭을 인식하고 그 후 X축과 Y축 움직임을 명령으로 입력받으므로, 3차원 공간에서 입력한 실제 명령과 그 외 무의미한 움직임을 정확하게 구별할 수 있어서 오동작을 방지한다.
반면, 도 6의 (b)와 같이 Z축 변위가 X축 변위나 Y축 변위보다 큰 경우에는 클릭(혹은, 트리거)된 것으로 인식하고, 설정환경에 따라 다음번에 입력된 포인티 오브젝트의 X축 및/또는 Y축 움직임을 명령으로 입력받거나, 설정된 시간 내에서 입력된 포인티 오브젝트의 X축 및/또는 Y축 움직임을 명령으로 입력받는다.
나아가, 이상과 같이 Z축 변위만큼 움직인 후 다시 Z축 방향으로 되돌아온 경우에만 스크린(111)을 클릭한 것으로 분석하면 더욱더 확실하게 클릭과 무의미한 움직임을 구별할 수 있을 것이다.
다만, 영상획득장치(120, 130)의 일 예로 언급한 Kinect(120)의 깊이 센서(Depth Sensor)는 11bit로 작동하고, Z축 해상도는 1Cm 정도이므로 이러한 경우에는 약간의 오차를 고려하여 최소한 1.5Cm 이상의 Z축 변위가 있는 경우에만 클릭으로 인식하는 등 영상획득장치(120, 130)의 성능에 따라 그 기준은 다소 변경될 것이다.
다음, 도 7에 도시된 바와 같이, 본 발명은 클릭을 위한 포인티 오브젝트의 제스처와 드래그 앤 드롭(drag & drop)시 사용되는 그랩(grap)을 위한 포인티 오브젝트의 제스처를 각각 복수개 정의하고 이들 중 어느 하나의 제스처가 있으면 제스처 분석부(143)에서 클릭 또는 그랩으로 인식한다.
예컨대, 클릭 그룹에 해당하는 도 7의 'C1'과 같이 손가락을 스크린(111)으로부터 멀어지도록 후퇴시킨 후 다시 크게 앞으로 전진시키거나, 'C2'와 같이 손가락을 스크린(111)으로부터 멀어지도록 후퇴시킨 후 다시 작게 앞으로 전진시키거나, 'C3'와 같이 손가락을 뒤로 후퇴시키지 않고 그 상태에서 앞으로 크게 전진시키거나, 혹은 'C4'와 같이 손가락을 뒤로 후퇴시켰다가 약간의 댐핑(damping) 동작을 하는 경우 중 어느 하나이기만 하면 이들 간의 차별 없이 클릭으로 인식한다.
또한, 그랩 그룹에 해당하는 도 7의 'g1'과 같이 손가락을 스크린(111)으로부터 멀어지도록 약간 후퇴시킨 후 다시 크게 앞으로 전진('C1'과는 변위가 다름)시키거나, 'g2'와 같이 손가락을 약간 후퇴시킨 후 다시 약간 앞으로 전진시키거나, 혹은 'g3'와 같이 손가락을 전방으로 전진시킨 후 설정된 시간 동안 그 상태를 유지(즉, 정지)시키는 경우 중 어느 하나이기만 하면 이들 간의 차별 없이 그랩으로 인식한다.
또한, 도 7의 'r1'과 같이 릴리즈(release)는 손가락을 전방에서 후방으로 약간 잡아당긴 후 그 상태를 잠시 유지하는 하는 것으로 정의된다. 릴리즈는 가급적 통일된 하나의 동작으로 정의되는 것이 어떠한 상태에서도 동일하게 릴리즈 동작을 수행할 수 있어서 편리할 것이다.
다만, 이상과 같은 동작을 위한 지속시간(time duration)은 클릭 동작의 경우는 대략 500ms, 그랩과 릴리즈는 대략 300ms 정도로 설정하되, 필요에 따라서는 향후 재정의할 수 있는 것이 바람직하다. 또한, 손가락을 후진하고 전진하는 변위량 역시 테스트를 통해 유동적으로 재정의할 수 있는 것이 바람직할 것이다.
다음, 본 발명의 그랩 동작은 이상과 같이 포인티 오브젝트인 하나의 손가락(혹은, 물건)으로 할 수 있지만, 그 외 엄지와 검지를 이용하는 등 두 개의 손가락을 이용하여 하거나, 혹은 각각이 포인티 오브젝인 손가락과 물건을 혼합하여 할 수도 있다.
이를 위해, 본 발명은 도 8에 도시된 바와 같이 가용영역(111a)을 X축과 Y축을 기준으로 복수개의 서브 가용영역(111b)으로 나누고, 2개의 포인티 오브젝트가 서브 가용영역(111b) 내에서 동일한 단위 Z축 영역에 들어온 경우 제스처 분석부(143)에서 드래그 앤 드롭을 위한 그랩으로 분석한다.
또한, 스크린(111)에 디스플레이된 아이콘(icon) 등을 그랩 후에는 다른 위치로 이동시킬 수 있어야 하므로, 제스처 분석부(143)는 2개의 포인티 오브젝트가 하나의 서브 가용영역(111b)에서 다른 서브 가용영역(111b)으로 움직이면 그에 동기해서 그랩된 대상을 이동시킨다.
또한, 아이콘(icon) 등을 그랩 후 이동시킴으로써 2개의 포인티 오브젝트가 상기 다른 서브 가용영역(111b)으로 움직이고, 그 상태에서 2개의 포인티 오브젝트가 서로 멀어져서 서로 다른 단위 Z축 영역에 위치하는 경우 그랩을 릴리즈한 것으로 분석함으로써 드래그 앤 드롭을 종료한다.
다만, 본 발명은 2개의 포인티 오브젝트가 동일한 서브 가용영역(111b) 내에 위치하기만 하면 그랩으로 인식하므로, 2개의 포인티 오브젝트가 서로 떨어진 상태에 있는 경우는 물론, 2개의 포인티 오브젝트가 서로 접촉된 경우(예: 엄지와 검지의 손가락 끝을 서로 맞닿게 하여 동그란 원을 그린 경우 등)도 그랩으로 인식될 것이다.
이상과 같이 본 발명은 다양한 방식의 클릭 및 그랩이나 릴리즈 등을 위한 3차원 공간 명령을 입력받을 수 있도록 하고, 이때 사용자의 무의미한 움직임과 실제 명령을 정밀하게 구별함으로써 오조작을 방지하고 사용자에게 편리한 사용환경을 제공한다.
그러나, 이상과 같은 명령 이외에 단순하지만 영상 플레이어, 음성 플레이어, 디지털 북 및 프리젠테이션 등과 같은 각종 콘텐츠를 실행하기에 필수적인 3차원 공간 명령도 입력받을 수 있어야 하며, 이때도 사용자의 무의미한 움직임과 실제 명령을 정밀하게 구별할 수 있어야 한다.
이를 위해, 본 발명의 제스처 분석부(143)는 스크린(111)의 X축 길이에 대한 10% 내지 20%의 길이에 해당하는 영역을 스크린(111)의 좌측 에지 부분과, 스크린(111)의 우측 에지 부분 및 스크린(111)의 하측 에지에 각각 에지 인식 영역으로서 할당한다. 물론, 도시되지는 않았지만 상기 스크린(111)의 하측 에지와 마찬가지 방식으로 스크린(111)의 상측 에지에도 에지 인식 영역으로 할당할 수 있다.
예컨대, 도 9의 (a)에 도시된 바와 같이 스크린(111)의 X축 길이(즉, 가로 길이)에 대한 15%의 길이에 해당하는 영역을 좌측 에지, 우측 에지, 상측 에지 및하측 에지에 할당하여 각각 좌측 에지 인식 영역, 우측 에지 인식 영역, 상측 에지 인식 영역 및 하측 에지 인식 영역으로 사용한다.
따라서, 도 9의 (b)에 도시된 바와 같이 포인티 오브젝트가 스크린(111)의 좌측 외부로부터 들어온 후 좌측 에지 인식 영역과 우측 에지 인식 영역을 순차로 통과하면 제스처 분석부(143)는 우측 이동으로 분석하고 제어부(145)는 그에 대응하는 명령을 실행한다.
실행 명령으로는 현재 동영상 플레이어가 실행 중이고 플레이 버튼이 클릭되어 있는 경우라면 동영상 프레임을 뒤쪽으로 이동시키는 것이 될 것이고, e-book 이라면 다음 페이지로 넘기는 것이 될 것이다.
반대로, 포인티 오브젝트가 스크린(111)의 우측 외부로부터 들어온 후 우측 에지 인식 영역과 좌측 에지 인식 영역을 순차로 통과하면 제스처 분석부(143)는 좌측 이동으로 분석하고 제어부(145)는 그에 대응하는 명령을 실행한다.
또한, 이상과 유사하게 제스처 분석부(143)는 포인티 오브젝트가 스크린(111)의 상측 외부로부터 들어와 하측 에지 인식 영역을 통과하면 하측 이동으로 분석하고, 제어부(145)는 그에 대응하는 명령을 실행한다.
반대로, 제스처 분석부(143)는 포인티 오브젝트가 스크린(111)의 하측 외부로부터 들어와 상측 에지 인식 영역을 통과하면 상측 이동으로 분석하고, 제어부(145)는 그에 대응하는 명령을 실행한다.
이러한 상·하이동 실행 명령으로는 음악 플레이어를 실행 중이고 도 9의 (c) 등과 같은 방식으로 소리 버튼이 클릭되어 있는 상태라면 볼륨을 높이거나 낮추는 것이 될 것이다. 물론, 소리 버튼이 클릭되지 않아서 비활성화된 상태라면 상위 리스트의 곡이나 하위 리스트의 곡을 선택하는 것 등이 될 수도 있을 것이다.
이상에서와 같이 본 발명은 제스처 분석부(143)에서 분석한 포인티 오브젝트의 제스처를 3차원 공간 명령으로 처리하고, 제어부(145)에서는 이를 키보드(146) 또는 마우스(147)를 통한 사용자 입력으로 인식하여 스크린(111)에 표시될 화면(즉, 각종 콘텐츠의 실행)을 1:1로 맵핑하여 제어한다.
이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형이 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.
따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
110: 모니터 111: 스크린
111a: 가용영역 111b: 서브 가용영역
120, 130: 영상획득장치 140: 컴퓨터 본체
141: 영상 처리부 141a: I/O 인터페이스
142: 좌표 산출부 143: 제스처 분석부
144: 설정 메모리 145: 제어부
146: 키보드 147: 마우스
111a: 가용영역 111b: 서브 가용영역
120, 130: 영상획득장치 140: 컴퓨터 본체
141: 영상 처리부 141a: I/O 인터페이스
142: 좌표 산출부 143: 제스처 분석부
144: 설정 메모리 145: 제어부
146: 키보드 147: 마우스
Claims (14)
- 스크린의 X축과 Y축을 밑변으로 하고 상기 스크린으로부터 Z축 방향으로 이격된 사용자의 눈을 꼭지점으로 하는 가용영역 내에서 행해지는 사용자의 제스처를 3차원 터치 입력으로 제공함에 있어서,
상기 스크린에 설치된 영상획득장치에서 촬상한 사용자의 영상을 입력받아 신호처리하는 영상 처리부와;
상기 신호처리된 사용자의 영상으로부터 사용자의 눈과 포인티 오브젝트(pointy object)의 끝단의 현재 위치를 각각 3차원 좌표로 산출하는 좌표 산출부와;
상기 좌표가 산출된 사용자의 눈과 포인티 오브젝트의 끝단을 두 점으로 하는 연결선의 연장선상에 위치한 스크린의 좌표를 실시간으로 분석하여 사용자의 제스처를 분석하는 제스처 분석부; 및
상기 분석된 제스처를 사용자 입력장치를 통한 제어명령으로 변환하여 실행시키는 제어부;를 포함하되,
상기 제스처 분석부는 상기 포인티 오브젝트의 Z축 변위가 X축 변위 또는 Y축 변위보다 큰 경우 3차원 공간상에서 상기 스크린을 클릭하여 현재 화면을 선택 및 활성화한 것으로 분석하고 상기 X축 변위 또는 Y축 변위만큼의 이동을 실행명령으로서 분석하고,
상기 제스처 분석부는 사용자의 손가락 및 물건을 포인티 오브젝트로 인식하되, 상기 물건은 세로 길이가 가로 길이에 비해 3배 이상 길고, 상기 물건의 길이는 5Cm 이상인 경우 포인티 오브젝트로 인식하며,
상기 포인티 오브젝트의 끝점은 상기 포인티 오브젝트 전체 중 상기 가용영역 내에서 Y축 방향에 대해서는 최상점인 지점임과 동시에 Z축 방향에 대해서는 최하점인 지점을 찾아 결정되되,
상기 포인티 오브젝트의 끝점은 상기 가용영역 내에 위치하는 포인티 오브젝트 전체의 Y축 방향 위치 데이터와 Z축 방향 위치 데이터 중 상기 Y축 방향 위치 데이터에 15% 내지 25%의 가중치를 두어 산출되는 것을 특징으로 하는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치. - 제1항에 있어서,
상기 제스처 분석부는 상기 Z축 변위만큼 다시 Z축 방향으로 되돌아온 경우 상기 스크린을 클릭한 것으로 분석하는 것을 특징으로 하는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치. - 제1항에 있어서,
상기 제스처 분석부는 상기 포인티 오브젝트의 Z축 변위가 X축 변위 또는 Y축 변위보다 크도록 움직인 후 설정된 시간 동안 정지한 경우는 드래그 앤 드롭을 위한 그랩을 선택한 것으로 분석하는 것을 특징으로 하는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치. - 제1항에 있어서,
상기 클릭을 위한 상기 포인티 오브젝트의 제스처는 복수개이고, 상기 제스처 분석부는 그 중 어느 하나의 제스처가 이루어지면 클릭으로 인식하며,
드래그 앤 드롭을 위한 그랩을 정의하는 상기 포인티 오브젝트의 제스처는 복수개이고, 상기 제스처 분석부는 그 중 어느 하나의 제스처가 이루어지면 상기 그랩으로 인식하는 것을 특징으로 하는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치. - 제1항에 있어서,
상기 가용영역의 밑변(즉, 스크린)은 상기 가용영역의 밑변이 복수개의 구역으로 구획된 복수개의 서브 가용영역으로 이루어지고,
상기 제스처 분석부는 상기 포인티 오브젝트로 인식된 2개의 포인티 오브젝트 모두 단위 Z축 영역(여기서, 상기 단위 Z축 영역은 설정된 단위 길이를 갖는 Z축 방향의 일정 구간을 의미함)에 들어온 경우 드래그 앤 드롭을 위한 그랩으로 분석하는 것을 특징으로 하는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치. - 제5항에 있어서,
상기 제스처 분석부는 상기 포인티 오브젝트로 인식된 2개의 포인티 오브젝트가 상기 서브 가용 영역에서 다른 서브 가용영역으로 움직이면 상기 그랩된 대상을 이동시키고, 상기 2개의 포인티 오브젝트 중 어느 하나가 상기 단위 Z축 영역에서 벗어난 경우 상기 그랩을 릴리즈(release)한 것으로 분석하는 것을 특징으로 하는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치. - 제1항에 있어서,
상기 제스처 분석부는 상기 가용영역 외에서의 상기 포인티 오브젝트의 제스처는 입력으로 인식하지 않는 것을 특징으로 하는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치. - 제1항에 있어서,
상기 제스처 분석부는 복수의 사용자의 눈을 각각 꼭지점으로 하는 복수의 가용영역을 인식하되, 상기 각각의 가용영역에서 움직이는 포인티 오브젝트는 사용자를 구분하지 않고 모두 입력으로 분석하는 것을 특징으로 하는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치. - 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 제스처 분석부는 상기 스크린의 X축 길이에 대한 10% 내지 20%의 길이에 해당하는 영역을 상기 스크린의 좌측 에지 부분에 에지 인식 영역으로 할당하고, 상기 스크린의 X축 길이에 대한 10% 내지 20%의 길이에 해당하는 영역을 상기 스크린의 우측 에지 부분에 에지 인식 영역으로 할당하며, 상기 스크린의 X축 길이에 대한 10% 내지 20%의 길이에 해당하는 영역을 상기 스크린의 상측 에지 또는 하측 에지 부분 중 어느 한 곳에 에지 인식 영역으로 할당하는 것을 특징으로 하는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치. - 제12항에 있어서,
상기 제스처 분석부는 상기 포인티 오브젝트가 상기 스크린의 좌측 외부로부터 들어와 상기 좌측 에지 인식 영역과 우측 에지 인식 영역을 순차로 통과하면 상기 포인티 오브젝트의 우측 이동으로 분석하고, 상기 포인티 오브젝트가 상기 스크린의 우측 외부로부터 들어와 상기 우측 에지 인식 영역과 좌측 에지 인식 영역을 순차로 통과하면 상기 포인티 오브젝트의 좌측 이동으로 분석하는 것을 특징으로 하는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치. - 제12항에 있어서,
상기 제스처 분석부는 상기 포인티 오브젝트가 상기 스크린의 상측 외부로부터 들어와 상기 하측 에지 인식 영역을 통과하면 상기 포인티 오브젝트의 하측 이동으로 분석하고, 상기 포인티 오브젝트가 상기 스크린의 하측 외부로부터 들어와 상기 상측 에지 인식 영역을 통과하면 상기 포인티 오브젝트의 상측 이동으로 분석하는 것을 특징으로 하는 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120011584A KR101335394B1 (ko) | 2012-02-06 | 2012-02-06 | 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120011584A KR101335394B1 (ko) | 2012-02-06 | 2012-02-06 | 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130090458A KR20130090458A (ko) | 2013-08-14 |
KR101335394B1 true KR101335394B1 (ko) | 2013-12-03 |
Family
ID=49216037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120011584A KR101335394B1 (ko) | 2012-02-06 | 2012-02-06 | 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101335394B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9886096B2 (en) | 2015-09-01 | 2018-02-06 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three-dimensional (3D) object based on user interaction |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102310994B1 (ko) | 2014-11-25 | 2021-10-08 | 삼성전자주식회사 | 3차원 상호작용 컴퓨팅 장치 및 방법 |
KR101754126B1 (ko) * | 2015-06-10 | 2017-07-19 | 주식회사 브이터치 | 사용자 기준 공간좌표계 상에서의 제스처 검출 방법 및 장치 |
CN109407831A (zh) * | 2018-09-28 | 2019-03-01 | 维沃移动通信有限公司 | 一种交互方法及终端 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110037053A (ko) * | 2009-10-05 | 2011-04-13 | (주)휴비드씨엔에스 | 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법 |
-
2012
- 2012-02-06 KR KR1020120011584A patent/KR101335394B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110037053A (ko) * | 2009-10-05 | 2011-04-13 | (주)휴비드씨엔에스 | 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법 |
Non-Patent Citations (4)
Title |
---|
Antonis Argyros et al.,‘Vision-based interpretation of hand gestures for remote control of a computer mouse’, International Workshop on Human-Computer Interaction(HCI 2006), Austria, 13 May, 2006. |
Antonis Argyros et al.,'Vision-based interpretation of hand gestures for remote control of a computer mouse', International Workshop on Human-Computer Interaction(HCI 2006), Austria, 13 May, 2006. * |
Takaomi Hisamatsu et al.,‘A novel click-free interaction technique for large-screen interfaces’, Proceedings of the 7th Asia-Pacific Conference on Computer-Human Interface(APCHI 2006), October, 2006. |
Takaomi Hisamatsu et al.,'A novel click-free interaction technique for large-screen interfaces', Proceedings of the 7th Asia-Pacific Conference on Computer-Human Interface(APCHI 2006), October, 2006. * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9886096B2 (en) | 2015-09-01 | 2018-02-06 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three-dimensional (3D) object based on user interaction |
Also Published As
Publication number | Publication date |
---|---|
KR20130090458A (ko) | 2013-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11983326B2 (en) | Hand gesture input for wearable system | |
US11874970B2 (en) | Free-space user interface and control using virtual constructs | |
EP2972669B1 (en) | Depth-based user interface gesture control | |
US9569010B2 (en) | Gesture-based human machine interface | |
US9292083B2 (en) | Interacting with user interface via avatar | |
KR101979317B1 (ko) | 근접 범위 움직임 추적 시스템 및 방법 | |
EP2620849B1 (en) | Operation input apparatus, operation input method, and program | |
KR101620777B1 (ko) | 증강된 가상 터치패드 및 터치스크린 | |
US20130307765A1 (en) | Contactless Gesture-Based Control Method and Apparatus | |
US20110298708A1 (en) | Virtual Touch Interface | |
JP2006209563A (ja) | インターフェース装置 | |
KR20130105725A (ko) | 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전 | |
WO2010032268A2 (en) | System and method for controlling graphical objects | |
US10180714B1 (en) | Two-handed multi-stroke marking menus for multi-touch devices | |
KR101335394B1 (ko) | 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치 | |
Wilson et al. | Flowmouse: A computer vision-based pointing and gesture input device | |
WO2015091638A1 (en) | Method for providing user commands to an electronic processor and related processor program and electronic circuit. | |
US20230085330A1 (en) | Touchless image-based input interface | |
KR20160097410A (ko) | 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치 | |
US9940900B2 (en) | Peripheral electronic device and method for using same | |
JP6008904B2 (ja) | 表示制御装置、表示制御方法、及び、プログラム | |
Prabhakar et al. | Comparison of three hand movement tracking sensors as cursor controllers | |
KR101506197B1 (ko) | 양손을 이용한 동작인식 입력방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20161129 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20171128 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20181127 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20191127 Year of fee payment: 7 |