KR101400575B1 - 거울 반사 효과를 이용한 공간 베젤 인터페이스 방법 및 그 장치 - Google Patents

거울 반사 효과를 이용한 공간 베젤 인터페이스 방법 및 그 장치 Download PDF

Info

Publication number
KR101400575B1
KR101400575B1 KR1020120111699A KR20120111699A KR101400575B1 KR 101400575 B1 KR101400575 B1 KR 101400575B1 KR 1020120111699 A KR1020120111699 A KR 1020120111699A KR 20120111699 A KR20120111699 A KR 20120111699A KR 101400575 B1 KR101400575 B1 KR 101400575B1
Authority
KR
South Korea
Prior art keywords
gesture
screen
movement
bezel
user
Prior art date
Application number
KR1020120111699A
Other languages
English (en)
Other versions
KR20140046619A (ko
Inventor
김기성
김상태
김재정
이수빈
이호원
Original Assignee
한경대학교 산학협력단
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한경대학교 산학협력단, 한국과학기술원 filed Critical 한경대학교 산학협력단
Priority to KR1020120111699A priority Critical patent/KR101400575B1/ko
Publication of KR20140046619A publication Critical patent/KR20140046619A/ko
Application granted granted Critical
Publication of KR101400575B1 publication Critical patent/KR101400575B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

거울 반사 효과를 이용한 공간 베젤 인터페이스 방법 및 그 장치가 개시된다. 서용자의 제스처를 인식하여 스크린을 제어하는 공간 베젤 인터페이스 방법은, 상기 사용자의 움직임을 감지하는 단계; 상기 스크린의 베젤(bezel) 영역을 기준으로 상기 움직임에 따른 제스처를 인식하는 단계; 및 상기 제스처에 대하여 상기 스크린에 설정된 조작 명령을 수행하는 단계를 포함할 수 있다. 이때, 상기 스크린의 거울 반사 효과를 통해 상기 사용자의 움직임이 상기 스크린의 디스플레이 영역 상에 투영될 수 있다.

Description

거울 반사 효과를 이용한 공간 베젤 인터페이스 방법 및 그 장치{METHOD AND APPARATUS FOR SPACE BEZEL INTERFACE USING REFLECTION MIRROR EFFECT}
본 발명의 실시예들은 사용자의 제스처 인식을 통해 스크린 장치를 제어할 수 있는 방법에 관한 것이다.
최근 리모컨 없이 사람의 움직임과 동작을 인식하여 TV의 채널을 변경하거나 음량을 조절하는 등 제스처 인터페이스(gestural interface)가 가능한 스마트 TV가 등장하고 있다.
한국공개특허 제10-2011-0045589호(공개일 2011년 05월 04일)에는 가상 공간 상의 움직임을 감지하여 이를 입력으로 하는 인터페이스 기술이 개시되어 있다.
상기한 제스처 인터페이스 관련 기존 기술들을 살펴보면 다음과 같다.
먼저, 애플 사의 아이패드 제스처 제어는 아이패드에 설치된 카메라를 통해 사용자의 손 동작을 인식하여 이에 상응하는 기능을 수행할 수 있다. 또한, 애플 사에서 소개된 '매직 리더기'는 아이패드의 제스처 관련 어플리케이션으로 아이패드 카메라를 통해 얼굴의 제스처, 예컨대 고개를 돌리는 동작을 인식하여 페이지를 넘기는 것이 가능하다.
그리고, 애플 사의 거울 제스처 제어는 거울을 슬라이드 하면 아이팟 혹은 아이폰과 연결이 가능한 독(dock)이 생기며 독과 연결된 휴대기기는 사용자의 제스처를 통해 음악을 플레이 하거나 중지시키는 것이 가능하다. 이러한 거울 제스처 제어는 움직임을 인식하는 3개의 센서가 각각의 해당 위치에서 사용자가 제스처를 보이면 빛을 통해 제스처를 인식하게 되며, 인식된 제스처에 따라 작동 연결 기기를 제어하는 원리이다.
다음, 파라소닉의 스마트 TV 제스처 제어는 파라소닉에서 개발한 이미지 센서 유닛을 통해 사용자 동작에 대한 이동 시간을 측정하여 움직임을 인지하고 TV를 제어하는 방식이다. 한편, 히타치의 스마트 TV 제스처 제어는 이미지에 대한 직접적인 비교가 아닌, 모션에 대한 실시간 탐지를 통해 움직임을 인지하는 것으로, 파라소닉의 기술과는 동작을 인식하는 이미지 센서에서 차이가 있다.
다음, 삼성전자의 스마트 TV 제스처 제어는 카메라 혹은 원거리 시선추적 기술을 통해 사용자의 손 동작을 인식하여 스마트 TV를 제어하는 것이 가능하다. 이러한 동작 제어 기술은 각종 게임 컨텐츠에 적용되어 손동작을 통해 게임을 진행할 수 있다.
다음, 한국전자통신연구원(ETRI)에서는 제스처 인터페이스의 관련 기술로서 사용자 동작 인식을 위한 3D 깊이 인식 기술 및 체감형 3D 콘텐츠를 위한 사용자 간 상호작용 기술이 소개된 바 있다. 이때, 3D 깊이 인식 기술은 움직이는 사람의 동작과 움직임이 위치한 특정 공간을 3D 깊이 인식 카메라를 이용하여 3차원으로 인식하여 움직임을 추출하는 것이다. 또한, 사용자 간 상호작용 기술은 3D 깊이 인식 기술을 활용하여 사용자의 동작과 가상의 3D 컨텐츠를 상호 결합시키는 UI(user interface) 및 UX(user experience) 기술이다.
다음, 마이크로소프트 사의 엑스박스(X-Box) 키넥트는 게임을 진행하는데 있어 컨트롤러 없이 사용자의 신체를 이용하여 게임과 엔터테인먼트를 경험할 수 있는 주변기기이다. 이는, 카메라 모듈이 장착되어 모션 캡처로 플레이어의 동작을 인식하며 마이크 모듈로 음성을 인식할 수 있다.
다음, 소니 사의 아트랙테이블(AtracTable)은 손가락 터치뿐만 아니라 팔과 손, 그리고 손가락의 움직임을 분석하여 인터페이스에 사용되는 기술이며, 감정 인식 기술을 이용하여 사용자의 감정을 측정하며 이를 인터페이스에 이용할 수 있다. 또한, 관련 어플리케이션으로는 사람의 얼굴 움직임을 카메라를 통해 인식하여 게임 진행을 제어하는 기술이 소개되고 있다.
다음, 소니 사의 바이오(VAIO)의 경우 움직임을 통해 노트북을 제어하는 것이 가능하다. 예를 들어, 핸드 제스처를 통해 사진의 장을 넘기거나 다른 프로그램으로의 이동이 가능하다. 또한, 노트북에 내장된 카메라를 통해 핸드 제스처를 인식하며 이를 통해 각종 소프트웨어에 대한 제어가 가능하다.
다음, 디스트릭트(D'strict) 사에서 소개된 제스처 센싱 및 반사 기술은 적외선 센서를 활용하여 사용자의 움직임에 따라 적외선이 반사되어 특수 카메라를 통해 움직임을 인식하는 기술이다.
마지막으로, 로옴(ROHM Semiconductor Korea) 사에서 소개된 광학식 근접 조도 센서는 복수의 적외선 발광 다이오드를 최대 3개까지 구동시켜 손 동작에 따른 개별 LED 반상광의 위상 차를 검출하고, 이를 통해 물체의 움직임을 계산하는 원리를 이용한 것이다.
본 명세서에서는 스크린 장치의 베젤(bezel)을 기준으로 한 새로운 개념의 제스처를 통해 스크린을 제어하는 기술을 제안한다.
스크린의 베젤 영역을 기준으로 사용자의 움직임에 따른 제스처를 통해 스크린의 조작 명령을 수행할 수 있는 공간 베젤 인터페이스 방법 및 그 장치를 제공한다.
베젤 영역을 활용한 새로운 개념의 제스처를 이용하여 스크린 장치를 조작할 수 있는 공간 베젤 인터페이스 방법 및 그 장치를 제공한다.
스크린의 조작을 위한 제스처를 사용자가 쉽게 인지할 수 있는 공간 베젤 인터페이스 방법 및 그 장치를 제공한다.
본 발명의 실시예에 따르면, 사용자의 제스처를 인식하여 스크린을 제어하는 공간 베젤 인터페이스 방법은, 상기 사용자의 움직임을 감지하는 단계; 상기 스크린의 베젤(bezel) 영역을 기준으로 상기 움직임에 따른 제스처를 인식하는 단계; 및 상기 제스처에 대하여 상기 스크린에 설정된 조작 명령을 수행하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 사용자의 움직임을 감지하는 단계는, 카메라, 모션 센서, 적외선 센서 및 이미지 센서 중 적어도 하나를 이용하여 상기 사용자의 움직임을 감지할 수 있다.
다른 측면에 따르면, 상기 스크린의 거울 반사 효과를 통해 상기 사용자의 움직임이 상기 스크린의 디스플레이 영역 상에 투영될 수 있다.
또 다른 측면에 따르면, 상기 사용자의 움직임이 감지되면 상기 스크린의 디스플레이 영역에 대한 반사율을 조정하는 단계를 더 포함할 수 있으며, 상기 반사율에 따른 거울 반사 효과를 통해 상기 사용자의 움직임이 상기 디스플레이 영역 상에 투영될 수 있다.
또 다른 측면에 따르면, 상기 제스처를 인식하는 단계는, 상기 스크린의 디스플레이 영역에 해당되는 좌표계를 기준으로 상기 디스플레이 영역 내에서의 움직임 방향에 따라 상기 제스처를 인식할 수 있다.
또 다른 측면에 따르면, 상기 제스처를 인식하는 단계는, 상기 스크린의 디스플레이 영역에 해당되는 좌표계를 기준으로 상기 디스플레이 영역에서 상기 베젤 영역으로의 움직임 방향 또는 상기 베젤 영역에서 상기 디스플레이 영역으로의 움직임 방향에 따라 상기 제스처를 인식할 수 있다.
또 다른 측면에 따르면, 상기 제스처를 인식하는 단계는, 상기 움직임에 대하여 시간에 따라 일정 주기로 순차 감지된 복수의 좌표 값을 이용하여 좌표 간의 위치 변화량에 따라 상기 움직임이 최초로 감지된 초기 좌표를 보정한 후 상기 제스처를 인식할 수 있다.
본 발명의 실시예에 따르면, 사용자의 제스처를 인식하여 스크린을 제어하는 공간 베젤 인터페이스 장치는, 상기 사용자의 움직임을 감지하는 감지부; 상기 스크린의 베젤 영역을 기준으로 상기 움직임에 따른 제스처를 인식하는 인식부; 및 상기 제스처에 대하여 상기 스크린에 설정된 조작 명령을 수행하는 제어부를 포함할 수 있다.
본 발명의 실시예에 따르면, 스크린의 디스플레이 주변부에 위치한 베젤 영역을 활용하여 보다 다양한 제스처를 스크린의 조작에 적용할 수 있다.
본 발명의 실시예에 따르면, 사용자는 스크린의 거울 반사 효과를 통해 자신의 제스처가 베젤을 기준으로 어느 부분에 위치하는지 쉽게 인지할 수 있으며, 거울 반사 효과를 이용하여 동일한 제스처에 대한 DoF(Degree of Freedom)를 증가시킬 수 있다.
도 1은 본 발명의 일 실시예에 있어서, 스크린의 베젤 영역을 기준으로 사용자의 움직임에 따른 제스처를 통해 스크린을 조작하는 공간 베젤 인터페이스 방법을 도시한 순서도이다.
도 2는 본 발명의 일 실시예에 있어서, 스크린의 거울 반사 효과를 설명하기 위한 예시 도면이다.
도 3은 본 발명의 일 실시예에 있어서, 스크린의 베젤 영역을 설명하기 위한 예시 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에 있어서, 스크린 조작을 위한 제스처의 다양한 형태를 설명하기 위한 예시 도면이다.
도 6 및 도 7은 본 발명의 일 실시예에 있어서, 베젤을 기준으로 제스처를 인식하는 방식을 설명하기 위한 예시 도면이다.
도 8은 본 발명의 일 실시예에 있어서, 스크린의 베젤 영역을 기준으로 사용자의 움직임에 따른 제스처를 통해 스크린을 조작하는 공간 베젤 인터페이스 장치의 내부 구성을 도시한 블록도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예들은 사용자의 움직임을 인식하여 스크린을 조작하는 제스처 인터페이스(gestural interface)에 관한 것으로, 사용자의 움직임을 입력으로 하는 스크린 장치에 적용될 수 있다.
본 명세서에서 '스크린'은 티브이(대표적으로는, 스마트 TV), 공공 디스플레이, 키오스크(kiosk) 등 모든 영상 출력 장치를 의미할 수 있으며, '움직임'은 스크린을 조작하기 위한 사용자의 동작을 의미하는 것으로, 얼굴, 몸체, 손, 손가락, 발 등 신체 일부의 동작을 의미할 수 있다. 이하에서는, 스크린을 조작하기 위해 신체의 일부인 손을 이용하는 것을 예로 하여 설명하기로 한다. 또한, '제스처'는 사용자의 움직임으로 이루어진 특정 동작으로 스크린을 조작하기 위한 입력이 될 수 있다.
이하에서는 스크린의 베젤을 기준으로 사용자의 움직임에 따른 제스처를 통해 스크린을 제어하는 실시예를 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 공간 베젤 인터페이스 방법을 도시한 순서도이다. 본 발명에 따른 공간 베젤 인터페이스 방법은 스크린에 적용된 인터페이스 장치인 공간 베젤 인터페이스 장치(도 8을 통해 하기에서 설명하기로 함)에 의해 각각의 단계가 수행될 수 있다.
단계(S110)에서 공간 베젤 인터페이스 장치는 인식 가능한 영역 내에서 사용자 손의 움직임을 감지한다. 이때, 공간 베젤 인터페이스 장치는 카메라, 모션 센서, 적외선 센서 및 이미지 센서 등 움직임 감지가 가능한 수단을 하나 이상 이용하여 사용자 손의 움직임을 감지할 수 있다. 공간 베젤 인터페이스 장치는 손의 움직임을 감지하기 위하여 내부에 자체 구비된 움직임 감지 수단을 이용하거나, 스크린에 구비된 움직임 감지 수단을 이용할 수 있다. 사용자의 움직임을 감지하는 방법은 제스처 인터페이스와 관련하여 기 공지된 기술들 중 적어도 하나의 방법을 이용할 수 있다.
본 실시예에서 사용자는 거울 반사 효과를 통해 자신의 제스처가 베젤을 기준으로 어느 부분에 위치하는지 인지할 수 있다. 일 예로, 도 2를 참조하면 스크린이 반사 재질의 디스플레이 패널로 구성되는 경우 사용자 손(205)의 움직임이 스크린의 디스플레이 영역(201) 상에 투영됨에 따라 화면에 비친 손(207)을 통해 사용자가 자신이 행하는 제스처의 위치 및 움직임을 인지할 수 있다. 즉, 사용자의 제스처에 대해 제스처의 위치 및 베젤(203)의 위치를 인지하기 위해서는 스크린이 거울 반사 효과를 위한 소정의 반사율을 가진 디스플레이 패널로 구성될 수 있다. 이때, 스크린은 영상물 시청 중에도 영상 출력에 대한 영향을 최소화 하면서 사용자의 제스처가 반사되어 보일 정도의 좋은 반사율을 기반으로 한 디스플레이가 필요하다. 다른 예로, 단계(S120)에서 공간 베젤 인터페이스 장치는 사용자 손의 움직임이 감지되면 스크린의 거울 반사 효과를 위해 디스플레이 영역(201)에 대한 반사율을 자동으로 조정할 수 있다. 이때, 공간 베젤 인터페이스 장치에서는 광원의 일부를 투과시키고 일부를 반사시키는 일반적인 거울 기능 원리를 적용할 수 있으며, 이에 자동 조정된 반사율에 따른 거울 반사 효과를 통해 사용자가 행하는 제스처의 위치 및 움직임이 디스플레이 영역(201) 상에 투영될 수 있다. 따라서, 본 발명에서는 스크린의 거울 반사 효과를 이용함으로써 사용자가 자신의 제스처를 보다 쉽게 인지할 수 있으며 동일한 제스처에 대한 DoF를 증가시킬 수 있다.
단계(S130)에서 공간 베젤 인터페이스 장치는 스크린의 베젤 영역을 기준으로 단계(S110)에서 감지된 움직임에 따른 제스처를 인식할 수 있다. 이때, 공간 베젤 인터페이스 장치는 동작 기반의 상대 좌표를 기준으로 제스처를 인식하는 것으로, 사용자의 움직임을 감지하기 위한 영역인 스크린의 디스플레이 영역에 해당되는 좌표계를 기준으로 디스플레이 영역 내에서의 움직임 방향, 또는 디스플레이 영역에서 베젤 영역으로의 움직임 방향, 또는 베젤 영역에서 디스플레이 영역으로의 움직임 방향에 따라 사용자의 제스처를 인식 및 구분할 수 있다.
도 3 내지 도 7을 참조하여 제스처를 인식하는 방식을 설명하기로 한다.
도 3을 참조하면, 스크린은 영상이 출력되는 유효 영역인 디스플레이 영역(301) 주변에 베젤 영역(303)이 형성되어 있으며, 이때 베젤 영역(303)은 다수의 단위 영역(S1, S2, S3, S4)으로 구분될 수 있다. 베젤 영역(303)은 실질적으로 유효 영역에 해당되지 않으나, 디스플레이 영역(301)에 해당되는 좌표계를 기준으로 움직임이 최초로 감지된 위치와 마지막으로 감지된 위치의 매칭 좌표인 최초 좌표와 최종 좌표 중 적어도 하나를 이용하여 디스플레이 영역(301)과 베젤 영역(303) 간에 이어지는 제스처를 확인할 수 있다.
도 4에 도시한 바와 같이, 일 예로는 베젤 영역(S1, S2, S3, S4)을 기준으로 디스플레이 영역 내에서 왼쪽에서 오른쪽으로, 오른쪽에서 왼쪽으로, 위쪽에서 아래쪽으로, 아래쪽에서 위쪽으로, 대각선 이동 등 사용자 손이 이동하는 움직임 방향을 통해 제스처를 인식할 수 있다. 도 5에 도시한 바와 같이, 다른 예로는 베젤 영역(S1, S2, S3, S4)에서 디스플레이 영역으로 이동하는 움직임 방향, 또는 디스플레이 영역에서 베젤 영역(S1, S2, S3, S4)으로 이동하는 움직임 방향에 따라 제스처를 인식할 수 있다.
본 실시예에서는 사용자의 움직임 방향뿐만 아니라 이동 속도, 이동 시간, 이동 거리, 이동 패턴 등 다양한 요소를 함께 고려하여 제스처를 인식하는 것 또한 가능하다.
도 5를 통해 설명한 제스처는 베젤 영역에서 디스플레이 영역으로 이어지는 제스처(bezel-in gesture)(이하, '제1 제스처'라 칭함)와, 디스플레이 영역에서 베젤 영역으로 이어지는 제스처(bezel-out gesture)(이하, '제2 제스처'라 칭함)로 구분될 수 있다.
일 예로, 제1 제스처와 제2 제스처를 인식하는 과정은 다음과 같다.
도 6을 참조하며, 먼저 베젤 영역(603)에서 디스플레이 영역(601) 방향으로 움직임이 진행되어 디스플레이 영역(601)의 최외곽 지점(611)에서 최초 좌표가 검출되면, 최초 좌표가 발생하는 위치(t1)에 인접한 베젤 영역(s1)에서 디스플레이 영역(601)으로 이어지는 제스처(즉, 제1 제스처)임을 인식할 수 있다. 반대로, 디스플레이 영역(601)에서 베젤 영역(603) 방향으로 움직임이 진행되어 디스플레이 영역(601)의 최외곽 지점(611)에서 최종 좌표가 검출되면, 디스플레이 영역(601)에서 최종으로 움직임이 감지된 위치에 인접한 베젤 영역(s1)으로 이어지는 제스처(즉, 제2 제스처)임을 확인할 수 있다.
다른 예로, 제1 제스처와 제2 제스처를 인식하는 과정은 다음과 같다.
공간 베젤 인터페이스 장치에서는 사용자 손의 움직임에 대하여 시간에 따라 일정 주기로 순차 감지된 복수의 좌표 값들을 이용하여 좌표 간의 위치 변화량에 따라 움직임이 최초로 감지된 초기 좌표를 보정한 후 보정된 초기 좌표에 따라 제스처를 인식할 수 있다. 도 7은 시간 t0에서의 제1 좌표(X0, Y0)가 도시되어 있다. 본 발명에서 상기 제1 좌표는 디스플레이 영역(701)에 해당되는 좌표계를 기준으로 사용자 손의 움직임이 최초로 감지된 위치의 매칭 좌표인 최초 좌표이며, 이는 사용자의 움직임이 베젤 영역(703)에서 디스플레이 영역(701)으로 이어지는 이동 중에 감지된 위치일 수 있다. 이후 사용자의 움직임에 따라 시간 t1에서는 제2 좌표(X1, Y1)가 감지되는데, 본 발명에서는 제1 좌표-제2 좌표로 이어지는 벡터를 이용하여 사용자 손의 움직임이 베젤 영역(703)에서 디스플레이 영역(701)으로 이어지는 이동임을 인식하게 되는데, 이에 따른 식은 아래와 같다.
Figure 112012081726865-pat00001
(여기서, k는 상수임)
상기 수학식 1과 도 7을 참조하면, 본 발명은 t0에서의 좌표와 t1에서의 좌표 사이의 벡터를 기준으로 그 이전 시간인 tb시간에서의 좌표가 연산된다. 이후 tb 시간에서 연산된 좌표 (Xb,Yb)는 베젤 영역(703)에서의 좌표로 결정될 수 있다. 하지만, 상술한 식에 의하여 연산된 (Xb,Yb)는 실제 입력장치의 특성에 따라서 실제 베젤의 경계와 다른 값으로 인식될 가능성이 있다. 따라서, 본 발명에서는 이러한 격차를 줄이기 위해 t0, t1, k값 그리고 논리적 베젤 경계(실제 물리적인 경계 좌표와 다를 수 있음)의 선택적 보정(calibration) 작업을 통해 베젤 영역(703)에서의 제스처 인식의 정확도를 높일 수 있다. 예를 들면, 너무 빠른 이동에 의하여 고정된 시간 동안 검출된 좌표 차이가 큰 경우, 상술한 식에 의하여 연산된 좌표 (Xb,Yb)는 상기 스크린의 논리적 베젤 영역을 벗어날 수 있다. 이 경우, k를 조절함으로써 상기 연산된 좌표 (Xb,Yb)가 스크린의 논리적 베젤 영역 내에 속하게 할 수 있으며, 그 결과 베젤 영역(703)에서의 제스처 좌표가 연산된다. 상술한 방식과 동일한 방식을 통해 스크린의 디스플레이 영역(701)에서 베젤 영역(703) 방향으로 이어지는 움직임에 의한 베젤 제스처 좌표가 연산될 수 있으며, 이는 모두 본 발명의 범위에 속한다. 또는 상기 시간의 범위를 조절하거나, 상기 논리적 베젤 영역의 크기를 함께 또는 단독으로 조절함으로써, 각 디바이스에 적합한 최적의 베젤 제스처를 연산할 수 있다.
본 발명에서는 베젤 영역(703)에서 디스플레이 영역(701) 방향으로 이어지는 제스처뿐만 아니라, 디스플레이 영역(701)에서 베젤 영역(703) 방향으로의 이동에 대해서도 동일한 방식으로 제스처 인식이 가능하다.
다시 도 1에서, 단계(S140)에서 공간 베젤 인터페이스 장치는 단계(S130)에서 인식된 제스처에 대하여 스크린에 사전 설정된 조작 명령을 수행할 수 있다. 스크린의 원격 조작을 위하여 제스처의 형태나 기타 조합 요소에 따라 다양한 조작 명령이 사전에 정의되어 있을 수 있다. 도 4에 도시한 바와 같이, 디스플레이 영역 내에서 오른쪽에서 왼쪽으로 이동하는 제스처의 경우 채널 전환이 이루어지고 도 5에 도시한 바와 같이 베젤 영역(S1, S2, S3, S4) 중 S2에서 디스플레이 영역으로 이동하는 제스처의 경우 스크린 메뉴 활성화가 이루어지도록 설정될 수 있다. 다른 예로서, 오른쪽에서 왼쪽으로 이동하는 제스처는 '하위 채널 이동', 왼쪽에서 오른쪽으로 이동하는 제스처는 '상위 채널 이동', 위에서 아래로 이동하는 제스처는 '음량 하향 조절', 아래에서 위로 이동하는 제스처는 '음량 상향 조절' 등이 정의될 수 있으며, 이 외에도 베젤 영역을 이용한 제스처의 경우 스크린 조작 명령에 있어 다양한 응용이 가능하다. 또 다른 예로서, 스크린의 한 종류인 공공 디스플레이에서 광고가 나오는 상황이라고 가정할 때, 공공 디스플레이에 대하여 스크린 외부로부터의 베젤 제스처는 '인터-컨텐츠 전환(inter-content transition)', 스크린 내부에서의 제스처는 '인트라-컨텐츠 전환(intra-content transition)'이 이루어지도록 정의될 수 있다. 이때, '인터-컨텐츠 전환'은 광고 A와 광고 B가 존재할 때 광고 A에서 광고 B로, 혹은 광고 B에서 광고 A로 광고 간에 전환이 이루어지는 것을 의미할 수 있고, '인트라-컨텐츠 전환'은 하나의 광고가 여러 페이지로 구성되어 있다고 할 때 광고 내에서의 페이지 전환이 이루어지는 것을 의미할 수 있다. 이와 같이, 티브이, 공공 디스플레이, 키오스크 등 다양한 스크린 장치에 베젤 제스처를 적용할 수 있다.
이하에서는, 스크린의 베젤 영역을 기준으로 사용자의 움직임에 따른 제스처를 통해 스크린을 제어하는 공간 베젤 인터페이스 장치의 실시예를 설명하기로 한다. 도 8은 본 발명의 일 실시예에 따른 공간 베젤 인터페이스 장치의 내부 구성을 도시한 블록도이다.
도 8에 도시한 바와 같이, 공간 베젤 인터페이스 장치(800)는 감지부(810), 조정부(820), 인식부(830), 및 제어부(840)를 포함하여 구성될 수 있다.
감지부(810)는 스크린의 인식 가능한 영역 내에서 사용자의 움직임을 감지하는 역할을 수행한다. 이때, 감지부(810)는 카메라, 모션 센서, 적외선 센서 및 이미지 센서 등 움직임 감지가 가능한 적어도 하나의 수단으로 구성될 수 있다.
조정부(820)는 사용자의 움직임이 감지되면 스크린의 디스플레이 영역에 대한 반사율을 자동 조정할 수 있다. 이때, 조정부(820)는 광원의 일부를 투과시키고 일부를 반사시키는 일반적인 거울 기능 원리를 적용하여 디스플레이 패널의 반사율을 조정할 수 있다. 또한, 조정부(820)는 사용자의 움직임이 감지되는 동안 디스플레이 패널의 반사율을 강제적으로 조정하되, 사용자의 제스처가 반사되어 보일 정도의 반사율로 조정할 수 있다. 조정부(820)에 의해 조정된 반사율에 따른 거울 반사 효과를 통해 스크린 앞에서 사용자가 행하는 제스처의 위치 및 움직임이 스크린의 디스플레이 영역 상에 투영될 수 있다. 이에, 사용자는 거울 반사 효과를 통해 자신의 제스처가 베젤을 기준으로 어느 부분에 위치하는지 쉽게 인지할 수 있어 스크린을 조작하기 위한 제스처를 취하는데 도움이 될 수 있다. 한편, 스크린이 반사 재질의 디스플레이 패널로 구성된 경우 스크린의 반사율을 강제적으로 조정하기 위한 구성인 조정부(820)가 공간 베젤 인터페이스 장치(800)에서 생략될 수 있다. 이때, 스크린은 영상물 시청 중에도 영상 출력에 대한 영향을 최소화 하면서 사용자의 제스처가 반사되어 보일 정도의 좋은 반사율을 기반으로 한 디스플레이 패널이 필요하다.
인식부(830)는 스크린의 베젤 영역을 기준으로 감지부(810)에서 감지된 움직임에 따른 제스처를 인식할 수 있다. 이때, 인식부(830)는 동작 기반의 상대 좌표를 기준으로 제스처를 인식하는 것으로, 사용자의 움직임을 감지하기 위한 영역인 스크린의 디스플레이 영역에 해당되는 좌표계를 기준으로 디스플레이 영역 내에서의 움직임 방향, 또는 디스플레이 영역에서 베젤 영역으로의 움직임 방향, 또는 베젤 영역에서 디스플레이 영역으로의 움직임 방향에 따라 사용자의 제스처를 인식 및 구분할 수 있다. 일 예로, 인식부(830)는 베젤 영역을 기준으로 디스플레이 영역 내에서 왼쪽에서 오른쪽으로, 오른쪽에서 왼쪽으로, 위쪽에서 아래쪽으로, 아래쪽에서 위쪽으로, 대각선 이동 등 사용자 손이 이동하는 움직임 방향을 통해 제스처를 인식할 수 있다. 다른 예로, 인식부(830)는 베젤 영역에서 디스플레이 영역으로 이어지는 움직임 방향 또는 디스플레이 영역에서 베젤 영역으로 이어지는 움직임 방향에 따라 제스처를 인식할 수 있다. 이때, 인식부(830)는 사용자 손의 움직임에 대하여 시간에 따라 일정 주기로 순차 감지된 복수의 좌표 값들을 이용하여 좌표 간의 위치 변화량에 따라 움직임이 최초로 감지된 초기 좌표를 보정한 후 보정된 초기 좌표에 따라 제스처를 인식할 수 있다. 상기한 제스처 인식 방식은 도 6과 도 7을 통해 설명하였으므로 상세한 설명은 생략하기로 한다. 따라서, 인식부(830)는 스크린의 베젤 영역을 기준으로 사용자의 움직임 방향에 따라 디스플레이 영역 내에서의 제스처는 물론, 디스플레이 영역과 베젤 영역 간에 이어지는 제스처를 인식할 수 있다.
제어부(840)는 인식부(830)에서 인식된 제스처에 대하여 스크린에 사전 설정된 조작 명령을 수행할 수 있다. 스크린의 원격 조작을 위하여 제스처의 형태나 기타 조합 요소(이동 속도, 이동 시간, 이동 거리, 이동 패턴 등)에 따라 다양한 조작 명령이 사전에 정의되어 있을 수 있으며, 베젤 영역을 기준으로 사용자로부터 입력된 제스처를 통해 스크린을 제어할 수 있다.
본 발명의 실시예에 따르면, 스크린의 디스플레이 주변부에 위치한 베젤 영역을 활용하여 보다 다양한 제스처를 스크린의 조작에 적용할 수 있다. 더욱이, 사용자는 스크린의 거울 반사 효과를 통해 자신의 제스처가 베젤을 기준으로 어느 부분에 위치하는지 쉽게 인지할 수 있으며, 거울 반사 효과를 이용하여 동일한 제스처에 대한 DoF(Degree of Freedom)를 증가시킬 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 시스템을 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에서는 사용자의 움직임을 감지하는 단계; 스크린의 베젤 영역을 기준으로 사용자의 움직임에 따른 제스처를 인식하는 단계; 및 제스처에 대하여 스크린에 설정된 조작 명령을 수행하는 단계를 포함하는 프로그램이 기록되는 컴퓨터 판독 가능 매체를 포함하거나, 사용자의 움직임을 감지하는 단계; 사용자의 움직임이 감지되면 스크린의 디스플레이 영역에 대한 반사율을 조정하는 단계; 스크린의 베젤 영역을 기준으로 움직임에 따른 제스처를 인식하는 단계; 및 제스처에 대하여 스크린에 설정된 조작 명령을 수행하는 단계를 포함하는 프로그램이 기록되는 컴퓨터 판독 가능 매체를 포함할 수 있다. 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 스크린 단말(예를 들어, 스마트 TV, 인터넷 TV, 공공 디스플레이, 키오스크 등) 전용의 어플리케이션으로 구성될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한, 상술한 파일 시스템은 컴퓨터 판독이 가능한 기록 매체에 기록될 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
800: 공간 베젤 인터페이스 장치
810: 감지부
820: 조정부
830: 인식부
840: 제어부

Claims (14)

  1. 사용자의 제스처를 인식하여 스크린을 제어하는 인터페이스 방법에 있어서,
    상기 사용자의 움직임을 감지하는 단계;
    상기 스크린의 베젤(bezel) 영역을 기준으로 상기 움직임에 따른 제스처를 인식하는 단계; 및
    상기 제스처에 대하여 상기 스크린에 설정된 조작 명령을 수행하는 단계
    를 포함하고,
    상기 스크린은 디스플레이 영역이 거울 반사 효과를 위한 소정의 반사율을 가진 디스플레이 패널로 구성되거나 상기 사용자의 움직임이 감지되면 상기 디스플레이 영역에 대한 반사율이 자동 조정되도록 구성됨에 따라 상기 반사율에 따른 거울 반사 효과를 통해 상기 사용자의 움직임이 상기 디스플레이 영역 상에 투영되고,
    상기 제스처를 인식하는 단계는,
    상기 스크린의 디스플레이 영역에 해당되는 좌표계를 기준으로 상기 디스플레이 영역에서 상기 베젤 영역으로의 움직임 방향 또는 상기 베젤 영역에서 상기 디스플레이 영역으로의 움직임 방향에 따라 상기 제스처를 인식하되,
    상기 움직임에 대하여 시간에 따라 일정 주기로 순차적으로 감지된 복수의 좌표 값을 이용하여 좌표 간의 위치 변화량에 따라 상기 움직임이 최초로 감지된 초기 좌표를 보정한 후 상기 보정된 초기 좌표에 따라 상기 제스처를 인식하는 것
    을 특징으로 하는 공간 베젤 인터페이스 방법.
  2. 제1항에 있어서,
    상기 사용자의 움직임을 감지하는 단계는,
    카메라, 모션 센서, 적외선 센서 및 이미지 센서 중 적어도 하나를 이용하여 상기 사용자의 움직임을 감지하는 것
    을 특징으로 하는 공간 베젤 인터페이스 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 사용자의 제스처를 인식하여 스크린을 제어하는 인터페이스 장치에 있어서,
    상기 사용자의 움직임을 감지하는 감지부;
    상기 스크린의 베젤 영역을 기준으로 상기 움직임에 따른 제스처를 인식하는 인식부; 및
    상기 제스처에 대하여 상기 스크린에 설정된 조작 명령을 수행하는 제어부
    를 포함하고,
    상기 스크린은 디스플레이 영역이 거울 반사 효과를 위한 소정의 반사율을 가진 디스플레이 패널로 구성되거나 상기 사용자의 움직임이 감지되면 상기 디스플레이 영역에 대한 반사율이 자동 조정되도록 구성됨에 따라 상기 반사율에 따른 거울 반사 효과를 통해 상기 사용자의 움직임이 상기 디스플레이 영역 상에 투영되고,
    상기 인식부는,
    상기 스크린의 디스플레이 영역에 해당되는 좌표계를 기준으로 상기 디스플레이 영역에서 상기 베젤 영역으로의 움직임 방향 또는 상기 베젤 영역에서 상기 디스플레이 영역으로의 움직임 방향에 따라 상기 제스처를 인식하되,
    상기 움직임에 대하여 시간에 따라 일정 주기로 순차적으로 감지된 복수의 좌표 값을 이용하여 좌표 간의 위치 변화량에 따라 상기 움직임이 최초로 감지된 초기 좌표를 보정한 후 상기 보정된 초기 좌표에 따라 상기 제스처를 인식하는 것
    을 특징으로 하는 공간 베젤 인터페이스 장치.
  9. 제8항에 있어서,
    상기 감지부는,
    카메라, 모션 센서, 적외선 센서 및 이미지 센서 중 적어도 하나를 포함하는 것
    을 특징으로 하는 공간 베젤 인터페이스 장치.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 컴퓨터 시스템이 사용자의 제스처를 인식하여 스크린을 조작하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 저장 매체로서,
    상기 명령은
    상기 사용자의 움직임을 감지하는 단계;
    상기 스크린의 베젤 영역을 기준으로 상기 움직임에 따른 제스처를 인식하는 단계; 및
    상기 제스처에 대하여 상기 스크린에 설정된 조작 명령을 수행하는 단계
    를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하고,
    상기 스크린은 디스플레이 영역이 거울 반사 효과를 위한 소정의 반사율을 가진 디스플레이 패널로 구성되어 상기 스크린의 거울 반사 효과를 통해 상기 사용자의 움직임이 상기 스크린의 디스플레이 영역 상에 투영되고,
    상기 제스처를 인식하는 단계는,
    상기 스크린의 디스플레이 영역에 해당되는 좌표계를 기준으로 상기 디스플레이 영역에서 상기 베젤 영역으로의 움직임 방향 또는 상기 베젤 영역에서 상기 디스플레이 영역으로의 움직임 방향에 따라 상기 제스처를 인식하되,
    상기 움직임에 대하여 시간에 따라 일정 주기로 순차적으로 감지된 복수의 좌표 값을 이용하여 좌표 간의 위치 변화량에 따라 상기 움직임이 최초로 감지된 초기 좌표를 보정한 후 상기 보정된 초기 좌표에 따라 상기 제스처를 인식하는 것
    을 특징으로 하는, 컴퓨터 판독가능 저장 매체.
  14. 컴퓨터 시스템이 사용자의 제스처를 인식하여 스크린을 조작하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 저장 매체로서,
    상기 명령은
    상기 사용자의 움직임을 감지하는 단계;
    상기 사용자의 움직임이 감지되면 상기 스크린의 디스플레이 영역에 대한 반사율을 조정하는 단계;
    상기 스크린의 베젤 영역을 기준으로 상기 움직임에 따른 제스처를 인식하는 단계; 및
    상기 제스처에 대하여 상기 스크린에 설정된 조작 명령을 수행하는 단계
    를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하고,
    상기 반사율에 따른 거울 반사 효과를 통해 상기 사용자의 움직임이 상기 디스플레이 영역 상에 투영되고,
    상기 제스처를 인식하는 단계는,
    상기 스크린의 디스플레이 영역에 해당되는 좌표계를 기준으로 상기 디스플레이 영역에서 상기 베젤 영역으로의 움직임 방향 또는 상기 베젤 영역에서 상기 디스플레이 영역으로의 움직임 방향에 따라 상기 제스처를 인식하되,
    상기 움직임에 대하여 시간에 따라 일정 주기로 순차적으로 감지된 복수의 좌표 값을 이용하여 좌표 간의 위치 변화량에 따라 상기 움직임이 최초로 감지된 초기 좌표를 보정한 후 상기 보정된 초기 좌표에 따라 상기 제스처를 인식하는 것
    을 특징으로 하는, 컴퓨터 판독가능 저장 매체.
KR1020120111699A 2012-10-09 2012-10-09 거울 반사 효과를 이용한 공간 베젤 인터페이스 방법 및 그 장치 KR101400575B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120111699A KR101400575B1 (ko) 2012-10-09 2012-10-09 거울 반사 효과를 이용한 공간 베젤 인터페이스 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120111699A KR101400575B1 (ko) 2012-10-09 2012-10-09 거울 반사 효과를 이용한 공간 베젤 인터페이스 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20140046619A KR20140046619A (ko) 2014-04-21
KR101400575B1 true KR101400575B1 (ko) 2014-05-30

Family

ID=50653498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120111699A KR101400575B1 (ko) 2012-10-09 2012-10-09 거울 반사 효과를 이용한 공간 베젤 인터페이스 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101400575B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070045188A (ko) * 2004-08-27 2007-05-02 인터내셔널 비지네스 머신즈 코포레이션 반투명 표면을 갖는 스크린에서 사용하기 위한 사용자 입력장치, 시스템 및 컴퓨터 프로그램
KR20110042806A (ko) * 2009-10-20 2011-04-27 에스케이텔레콤 주식회사 제스처를 이용한 사용자 인터페이스 제공 단말기 및 방법
KR20120019268A (ko) * 2010-08-25 2012-03-06 주식회사 케이티 터치스크린의 베젤을 이용한 제스처 명령 방법 및 그 단말

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070045188A (ko) * 2004-08-27 2007-05-02 인터내셔널 비지네스 머신즈 코포레이션 반투명 표면을 갖는 스크린에서 사용하기 위한 사용자 입력장치, 시스템 및 컴퓨터 프로그램
KR20110042806A (ko) * 2009-10-20 2011-04-27 에스케이텔레콤 주식회사 제스처를 이용한 사용자 인터페이스 제공 단말기 및 방법
KR20120019268A (ko) * 2010-08-25 2012-03-06 주식회사 케이티 터치스크린의 베젤을 이용한 제스처 명령 방법 및 그 단말

Also Published As

Publication number Publication date
KR20140046619A (ko) 2014-04-21

Similar Documents

Publication Publication Date Title
US11237638B2 (en) Systems and methods for extensions to alternative control of touch-based devices
US20220164032A1 (en) Enhanced Virtual Touchpad
US11262840B2 (en) Gaze detection in a 3D mapping environment
JP6090140B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6480434B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US20170345219A1 (en) Wearable augmented reality devices with object detection and tracking
US10048779B2 (en) Virtual hand based on combined data
US11635827B2 (en) Control device, display device, program, and detection method
WO2014140827A2 (en) Systems and methods for proximity sensor and image sensor based gesture detection
US10156938B2 (en) Information processing apparatus, method for controlling the same, and storage medium
US20150193000A1 (en) Image-based interactive device and implementing method thereof
US11886643B2 (en) Information processing apparatus and information processing method
KR101807516B1 (ko) 모션 인식을 통한 디지털 기기 제어 장치 및 방법
KR101575063B1 (ko) 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법
EP3819747A1 (en) Human computer interaction system and human computer interaction method
US10506290B2 (en) Image information projection device and projection device control method
KR101400575B1 (ko) 거울 반사 효과를 이용한 공간 베젤 인터페이스 방법 및 그 장치
CN114923418A (zh) 基于点选择的测量
AU2015252151A1 (en) Enhanced virtual touchpad and touchscreen
WO2017157433A1 (en) System and method for human computer interaction
TWM478193U (zh) 外接式體感控制微型裝置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee