KR20150085713A - 디스플레이 장치 및 그 제어 방법 - Google Patents

디스플레이 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20150085713A
KR20150085713A KR1020140005686A KR20140005686A KR20150085713A KR 20150085713 A KR20150085713 A KR 20150085713A KR 1020140005686 A KR1020140005686 A KR 1020140005686A KR 20140005686 A KR20140005686 A KR 20140005686A KR 20150085713 A KR20150085713 A KR 20150085713A
Authority
KR
South Korea
Prior art keywords
user
image
unit
input
screen
Prior art date
Application number
KR1020140005686A
Other languages
English (en)
Other versions
KR102254169B1 (ko
Inventor
김창한
최인호
홍태화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140005686A priority Critical patent/KR102254169B1/ko
Priority to US14/588,707 priority patent/US9811197B2/en
Publication of KR20150085713A publication Critical patent/KR20150085713A/ko
Application granted granted Critical
Publication of KR102254169B1 publication Critical patent/KR102254169B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G06F3/041661—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving using detection at multiple resolutions, e.g. coarse and fine scanning; using detection within a limited area, e.g. object tracking window
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

디스플레이 장치가 개시된다. 디스플레이 장치는 디스플레이부, 디스플레이부에 대한 터치 입력을 감지하기 위한 감지부, 사용자 시선 방향을 감지하는 시선 방향 감지부 및 디스플레이부의 화면을 복수의 영역으로 구분하여 복수의 영역 중 하나인 제1 영역을 향하는 사용자 시선이 감지되고, 제1 영역에 대해서는 제1 터치 입력이 감지되면, 제1 터치 입력에 대응되는 제1 제어 동작을 수행하고, 제1 영역을 제외한 나머지 영역에 대해서 제2 터치 입력이 감지되면, 제2 터치 입력에 대응되는 제2 제어 동작을 비수행하는 제어부를 포함한다. 이에 따라, 시선이 감지되는 영역과 감지되지 않는 영역에 따라 기능의 수행 여부를 설정할 수 있고, 이에 따라 디스플레이 장치의 오동작을 방지할 수 있다.

Description

디스플레이 장치 및 그 제어 방법{DISPALY APPARATUS AND CONTROLLING METHOD THEREOF}
본 발명은 디스플레이 장치 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 시선 추적을 통해 기능을 수행하는 디스플레이 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA 등과 같은 각종 디스플레이 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.
디스플레이 장치들의 사용이 늘면서 좀 더 다양한 기능에 대한 사용자 니즈(needs)도 증대되었다. 이에 따라, 사용자 니즈에 부합하기 위한 각 제조사들의 노력도 커져서, 종래에 없던 새로운 기능을 갖춘 제품들이 속속 등장하고 있다.
이에 따라, 디스플레이 장치에서 수행되는 기능들도 다양해지게 되었다. 특히, 사용자의 시선을 추적하여 사용자의 시선이 어떤 곳을 바라보는지 판단하고, 이에 따른 기능을 수행하는 방법들이 많이 개발되었다.
그러나, 사용자의 시선을 추적하여 판단된 사용자의 시선 방향에 따른 기능을 수행하는 방법뿐만 아니라, 사용자의 시선 방향을 고려하여 사용자가 보지 않는 부분에 대하여 기능을 선택적으로 실행하는 방법은 존재하지 않았다.
특히, 이러한 기능은 사용자 시선 추적 기술의 발달과 함께 디스플레이 장치의 오동작을 막기 위해 필요하게 되었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 시선이 감지되는 영역과 감지되지 않는 영역에 따라 기능을 수행하기 위한 디스플레이 장치 및 그 제어 방법을 제공함에 있다.
이러한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 디스플레이부, 상기 디스플레이부에 대한 터치 입력을 감지하기 위한 감지부, 사용자 시선 방향을 감지하는 시선 방향 감지부 및 상기 디스플레이부의 화면을 복수의 영역으로 구분하여 상기 복수의 영역 중 하나인 제1 영역을 향하는 사용자 시선이 감지되고, 상기 제1 영역에 대해서는 제1 터치 입력이 감지되면, 상기 제1 터치 입력에 대응되는 제1 제어 동작을 수행하고, 상기 제1 영역을 제외한 나머지 영역에 대해서 제2 터치 입력이 감지되면, 상기 제2 터치 입력에 대응되는 제2 제어 동작을 비수행하는 제어부를 포함한다.
여기서, 상기 제어부는, 상기 나머지 영역에서 기 설정된 형태의 사용자 조작이 입력되면, 상기 사용자 조작에 대응되는 기능을 수행할 수 있다.
또한, 상기 사용자 조작은, 상기 디스플레이부의 화면을 스크롤하기 위한 스크롤 조작이며, 상기 제어부는, 상기 스크롤 조작이 입력되면, 상기 디스플레이부의 전체 화면을 상기 스크롤 조작의 방향에 따라 스크롤할 수 있다.
또한, 상기 사용자 조작은, 상기 디스플레이부에 표시된 가상 키보드를 조작하는 키보드 입력 조작일 수 있다.
또한, 상기 나머지 영역에 대해 입력 가능하도록 설정된 복수의 사용자 조작 및 각 사용자 조작에 매칭되는 기능 정보가 저장된 저장부를 더 포함하며, 상기 제어부는, 상기 나머지 영역에서 상기 복수의 사용자 조작 중 하나인 사용자 조작이 입력되면, 상기 입력된 사용자 조작에 매칭된 기능 정보에 따른 제어 동작을 실행할 수 있다.
또한, 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하는 촬상부 및 상기 복수의 영역 각각을 바라보는 눈 이미지를 저장하는 저장부를 더 포함하며, 상기 시선 방향 감지부는, 상기 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하여, 검출된 이미지 및 상기 저장부에 저장된 이미지를 비교하여 상기 사용자의 시선 방향을 감지할 수 있다.
또한, 사용자 방향으로 적외선을 출력하는 적외선 출력부 및 상기 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하는 촬상부를 더 포함하며, 상기 시선 방향 감지부는, 상기 촬영 이미지로부터 동공, 홍채 및 상기 적외선에 의해 생성되는 글린트 영역을 검출하고, 검출된 상기 동공, 상기 홍채 및 상기 글린트 영역 사이의 위치 관계에 기초하여 상기 사용자 시선 방향을 감지할 수 있다.
여기서, 상기 위치 관계는 상기 복수의 영역 중 상기 사용자 시선이 향하는 위치에 따라 서로 다른 값으로 설정되어 상기 저장부에 저장될 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은, 사용자 시선 방향을 감지하는 단계, 화면을 복수의 영역으로 구분하여, 상기 복수의 영역 중 하나인 제1 영역을 향하는 사용자 시선이 감지되고, 상기 제1 영역에 대해서는 제1 터치 입력이 감지되면, 상기 제1 터치 입력에 대응되는 제1 제어 동작을 수행하는 단계 및 상기 제1 영역을 제외한 나머지 영역에 대해서 제2 터치 입력이 감지되면, 상기 제2 터치 입력에 대응되는 제2 제어 동작을 비수행하는 단계를 포함할 수 있다.
여기서, 상기 나머지 영역에서 기 설정된 형태의 사용자 조작이 입력되면, 상기 사용자 조작에 대응되는 기능을 수행하는 단계를 더 포함할 수 있다.
또한, 상기 사용자 조작은, 상기 화면을 스크롤하기 위한 스크롤 조작이며, 상기 사용자 조작에 대응되는 기능을 수행하는 단계는, 상기 스크롤 조작이 입력되면, 전체 화면을 상기 스크롤 조작의 방향에 따라 스크롤할 수 있다.
또한, 상기 사용자 조작은, 상기 화면에 표시된 가상 키보드를 조작하는 키보드 입력 조작일 수 있다.
또한, 상기 나머지 영역에 대해 입력 가능하도록 설정된 복수의 사용자 조작 및 각 사용자 조작에 매칭되는 기능 정보를 저장하는 단계 및 상기 나머지 영역에서 상기 복수의 사용자 조작 중 하나인 사용자 조작이 입력되면, 상기 입력된 사용자 조작에 매칭된 기능 정보에 따른 제어 동작을 실행하는 단계를 더 포함할 수 있다.
또한, 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하는 단계를 더 포함하며, 상기 사용자 시선 방향을 감지하는 단계는, 상기 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하여, 검출된 이미지 및 저장부에 저장된 상기 복수의 영역을 각각 바라보는 눈 이미지를 비교하여 상기 사용자의 시선 방향을 감지할 수 있다.
또한, 사용자 방향으로 적외선을 출력하는 단계 및 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하는 단계를 더 포함하며, 상기 사용자 시선 방향을 감지하는 단계는, 상기 촬영 이미지로부터 동공, 홍채 및 상기 적외선에 의해 생성되는 글린트 영역을 검출하고, 검출된 상기 동공, 상기 홍채 및 상기 글린트 영역 사이의 위치 관계에 기초하여 상기 사용자 시선 방향을 감지할 수 있다.
여기서, 상기 위치 관계는 상기 복수의 영역 중 상기 사용자 시선이 향하는 위치에 따라 서로 다른 값으로 설정되어 저장될 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 시선이 감지되는 영역과 감지되지 않는 영역에 따라 기능의 수행 여부를 설정할 수 있고, 이에 따라 디스플레이 장치의 오동작을 방지할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타낸 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 화면을 상세하게 나타낸 도면이다.
도 3은 본 발명의 일 실시 예에 따른 스마트 폰의 화면을 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 사용자 조작에 대응되는 기능을 수행하는 것을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시 예에 따른 사용자 조작에 대응되는 기능을 수행하는 것을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 디스플레이 장치의 상세한 구성을 나타낸 블럭도이다.
도 7은 본 발명의 일 실시 예에 따른 사용자 시선을 감지하기 위한 디스플레이 장치의 상세한 구성을 나타낸 도면이다.
도 8은 본 발명의 일 실시 예에 따른 패턴 학습에 의해 사용자 시선을 판단하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 사용자 시선을 감지하기 위한 디스플레이 장치의 상세한 구성을 나타낸 도면이다.
도 10은 본 발명의 일 실시 예에 따른 적외선을 이용하여 시선 방향을 검출하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 사용자 시선 방향을 판단하는 방법을 구체적으로 설명하기 위한 도면이다.
도 12a 내지 도 12c는 본 발명의 일 실시 예에 따른 동공, 홍채 및 글린트 영역 사이의 위치 관계에 기초하여 시선 방향을 판단하는 방법을 구체적으로 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시 예에 따른 디스플레이부 및 디스플레이부에 대한 터치 입력을 감지하기 위한 감지부를 포함하는 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 14는 본 발명의 일 실시 예에 따른 디스플레이부 및 디스플레이부에 대한 터치 입력을 감지하기 위한 감지부를 포함하는 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타낸 블럭도이다.
도 1을 참조하면, 디스플레이 장치(100)는 디스플레이부(110), 감지부(120), 시선 방향 감지부(130) 및 제어부(140)을 포함한다. 여기서, 디스플레이 장치(100)는 TV, 전자 칠판, 전자 테이블, LFD(Large Format Display), 스마트 폰, 태블릿, 데스크탑 PC, 노트북 등과 같은 다양한 형태의 전자 장치로 구현될 수 있다.
디스플레이부(110)는 화면을 디스플레이할 수 있다. 구체적으로, 디스플레이부(110)는 디스플레이 패널부(미도시) 및 백라이트부(미도시)를 포함할 수 있으며, 디스플레이 패널부(미도시)는 복수의 서브 픽셀들을 포함할 수 있고, 백라이트부(미도시)는 백라이트 즉, 광을 디스플레이 패널부에 조사하기 위한 광원을 포함할 수 있다.
감지부(120)는 디스플레이부(110)에 대한 터치 입력을 감지할 수 있다. 여기서, 감지부(120)는 주로 터치 패널이나 터치 스크린으로 구성될 수 있다. 터치 패널은 CRT나 LCD 등과 조합시켜 문장과 그림 등이 표시되어 있는 장소를 직접 누름으로써 기기를 제어할 수 있는 투명 스위치 패널로써, 투명 스위치에는 적외선을 사용한 광학식과 폴리에스테르 필름에 ITO(인듐산화 주석)막을 피복한 투명 도전막의 접점을 사용하는 투명전극식, 스테인리스 강선을 투명 도전성 필름에 묻은 투명 도전성 필름, 정전용량의 변화를 검출하는 정전용량식, 패널에 닿은 손끝의 압력을 패널 주변에 배치한 압력 센서에 대한 힘의 배분으로부터 위치를 감지하는 것 등의 형태로 구현될 수 있다.
또한, 터치 스크린은 키보드를 사용하지 않고 화면에 나타난 문자나 특정 위치에 사람의 손 또는 물체가 닿으면, 그 위치를 파악하여 저장된 소프트웨어에 의해 특정 처리를 할 수 있도록, 화면에서 직접 입력자료를 받을 수 있게 한 화면을 말한다. 또한, 터치스크린은 일반 모니터의 화면에 터치 패널이라는 장치를 덧붙여서 기능을 발휘하는 것으로, 터치 패널을 장착한 화면에 미리 나타낸 문자나 그림 정보를 손으로 접촉하면, 접촉한 화면의 위치에 따라 사용자가 선택한 사항이 무엇인지를 파악하고 이에 대응하는 명령을 컴퓨터로 처리하도록 하여 쉽게 자신이 원하는 정보를 얻을 수 있도록 할 수 있다.
이에 따라, 감지부(120)는 터치 패널이나 터치 스크린을 통하여 입력되는 터치 입력을 감지할 수 있다.
시선 방향 감지부(130)는 사용자 시선 방향을 감지할 수 있다. 사용자 시선 방향을 감지하는 방법에 대한 구체적인 설명은 후술하기로 한다.
제어부(140)는 디스플레이부의 화면을 복수의 영역으로 구분하여 복수의 영역 중 하나인 제1 영역을 향하는 사용자 시선이 감지되고, 제1 영역에 대해서는 제1 터치 입력이 감지되면, 제1 터치 입력에 대응되는 제1 제어 동작을 수행할 수 있고, 제1 영역을 제외한 나머지 영역에 대해서는 제2 터치 입력이 감지되면 제2 터치 입력에 대응되는 제2 제어 동작을 수행하지 않을 수 있다.
구체적으로, 제어부(140)는 사용자가 바라보고 있는 부분에 해당하는 영역의 터치 패드 또는 터치 스크린을 활성화시켜 터치 입력을 감지할 수 있으나, 사용자가 바라보지 않는 부분에 해당하는 영역의 터치 패드 또는 터치 스크린은 비활성화시켜 터치 입력을 감지하지 않도록 할 수 있다.
또는, 제어부(140)는 사용자가 바라보고 있는 부분과 사용자가 바라보지 않는 부분과 상관없이 터치 패드 또는 터치 스크린을 활성화시키되, 사용자가 바라보고 있는 부분에 해당하는 영역에 대해서는 터치 입력이 감지되면 터치 입력에 대응되는 제어 동작을 수행할 수 있으나, 사용자가 바라보지 않는 부분에 해당하는 영역에 대해서는 터치 입력이 감지되더라도 터치 입력에 대응되는 제어 동작을 수행하지 않도록 할 수 있다. 즉, 제어부(140)는 사용자가 바라보지 않는 부분에 해당하는 영역에 대한 터치 입력에 대해서는 소프트웨어 상에서 터치 입력에 대응되는 제어 동작을 수행하지 않도록 제어할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 화면을 상세하게 나타낸 도면이다.
도 2를 참조하면, 디스플레이 장치(200)의 화면이 세 개의 영역(210, 220, 230)으로 구별되어 있다. 여기서, 디스플레이 장치(200)의 화면은 물리적으로 구분되어 세 개의 영역(210, 220, 230)으로 나뉘는 것이 아니라, 제어부(140)가 사용자 시선을 판단하는데 있어서, 디스플레이 장치(200)의 화면을 구분하여 사용자 시선을 감지하는 것이다.
구체적으로, 제어부(140)는 세 개의 영역(210, 220, 230) 중 하나인 제1 영역(210)을 향하는 사용자 시선을 감지할 수 있다. 여기서, 제어부(140)는 제1 영역(210)에 나타난 눈 이미지(211, 212, 213)와 같은 각 영역을 향하는 눈 이미지에 대한 데이터에 기초하여 사용자의 시선 방향이 어디인지를 판단할 수 있다.
즉, 제1 영역(210)에 나타난 가장 오른쪽에 위치한 눈 이미지(213)와 같이 동공이 눈동자의 오른쪽 위(우상)에 치우치는 눈 이미지가 디스플레이 장치(200)의 촬상부(미도시)를 통해 입력되면, 시선 방향 감지부(130)는 사용자 시선이 화면의 오른쪽 위의 영역을 향하고 있음을 감지할 수 있다.
또한, 제1 영역(212)에 나타난 가운데에 위치한 눈 이미지(212)와 같이 동공이 눈동자의 가운데에서 위(중상)에 있는 눈 이미지가 디스플레이 장치(200)의 촬상부(미도시)를 통해 입력되면, 시선 방향 감지부(130)는 사용자 시선이 화면의 가운데에서 위쪽의 영역을 향하고 있음을 감지할 수 있다.
또한, 제1 영역(211)에 나타난 가장 왼쪽에 위치한 눈 이미지(211)와 같이 동공이 눈동자의 왼쪽 위(좌상)에 치우치는 눈 이미지가 디스플레이 장치(200)의 촬상부(미도시)를 통해 입력되면, 시선 방향 감지부(130)는 사용자 시선이 화면의 왼쪽 위의 영역을 향하고 있음을 감지할 수 있다.
마찬가지로, 제2 영역(220) 및 제3 영역(230)에 도시된 눈 이미지에 대해서도, 제어부(140)는 동공이 눈동자의 왼쪽, 가운데 및 오른쪽 방향 중 어디로 치우쳐 있는지 및 위쪽 방향에 치우쳐 있는지 아래쪽 방향에 치우쳐 있는지 판단하여 시선 방향을 감지할 수 있다.
이에 따라, 제어부(140)는 각 영역(210, 220, 230)을 향하는 눈 이미지에 대한 데이터에 기초하여 사용자의 시선 방향이 감지된 영역이 어느 영역인지를 판단할 수 있다.
한편, 도 2에서는 디스플레이 장치(200)이 화면이 세 개로 나뉘는 예를 들었으나, 이에 한정되지 않는다.
또한, 제어부(140)는 사용자의 시선이 감지된 제1 영역(210)에 대해서는 터치 입력이 감지되면, 이러한 터치 입력에 대응되는 제어 동작을 수행할 수 있다. 여기서, 제1 영역(210)에 대해 감지되는 터치 입력은 기능을 수행하기 위한 모든 터치 입력을 포함할 수 있다. 예를 들면, 원탭 터치, 더블 터치, 드래그 앤 드랍, 롱터치 또는 동시에 입력하는 복수의 터치 입력 등을 포함할 수 있다.
또한, 제어부(140)는 사용자의 시선이 감지되지 않은 제2 영역(220, 230)에 대해서는 터치 입력이 감지되더라도 이러한 터치 입력에 대응되는 제어 동작을 수행하지 않을 수 있다.
도 3은 본 발명의 일 실시 예에 따른 스마트 폰의 화면을 도시한 도면이다. 도 3을 참조하면, 스마트 폰(300)의 화면은 복수의 아이콘을 디스플레이하고 있으며, 스마트 폰(300)의 제어부(140)는 화면을 세 개의 영역(310, 320, 330)으로 구분하여 시선 방향을 감지할 수 있다.
예를 들어, 제어부(140)가 세 개의 영역(310, 320, 330) 중 가장 위쪽에 위치한 영역(310)에 대해 사용자 시선을 감지하였다면, 사용자 시선이 감지된 영역(310)에 디스플레이된 아이콘 1 내지 아이콘 4 중 적어도 하나에 대한 터치 입력이 감지되면 이러한 터치 입력에 대응되는 제어 동작을 수행할 수 있다. 즉, 아이콘 2를 탭하는 터치 입력이 감지되면, 제어부(140)는 아이콘 2에 대응되는 소프트 웨어를 실행시킬 수 있다.
또한, 제어부(140)가 세 개의 영역(310, 320, 330) 중 가운데에 위치한 영역(320)에 대해 사용자 시선을 감지하였다면, 사용자 시선이 감지된 영역(320)에 디스플레이된 아이콘 5 내지 아이콘 8 중 적어도 하나에 대한 터치 입력이 감지되면 이러한 터치 입력에 대응되는 제어 동작을 수행할 수 있다. 즉, 아이콘 6을 탭하는 터치 입력이 감지되면, 제어부(140)는 아이콘 6에 대응되는 소프트 웨어를 실행시킬 수 있다. 예를 들어, 아이콘 6이 메세지에 관한 아이콘이라면 제어부(140)는 메세지를 디스플레이하는 창을 디스플레이할 수 있다.
세 개의 영역(310, 320, 330) 중 가장 아래쪽에 위치한 영역(330)에 대해서도 상술한 예가 동일하게 적용될 수 있다.
또한, 도 3에서는 아이콘이 화면에 디스플레이된 경우를 설명하였으나, 아이콘이 아닌 웹사이트 화면이 디스플레이된 경우에도 동일하게 적용될 수 있다. 즉, 웹사이트 화면이 전체 화면에 디스플레이되어 있는 경우, 제어부(140)는 세 개의 영역(310, 320, 330) 중 가장 위쪽에 위치한 영역(310)에 대해 사용자 시선을 감지하였다면, 사용자 시선이 감지된 영역(310)에 해당하는 웹사이트 화면에 대한 터치 입력이 감지되면, 제어부(140)는 사용자 시선이 감지된 영역(310)에 해당하는 웹사이트 화면에 대한 터치 입력에 대응되는 기능을 수행할 수 있으나, 사용자 시선이 감지되지 않은 영역(320, 330)에 해당하는 웹사이트 화면에 대한 터치 입력이 감지되더라도, 제어부(140)는 터치 입력에 대응되는 기능을 수행하지 않는다. 예를 들어, 화면을 확대하거나 디스플레이된 이미지를 터치하여 다운로드하기 위한 터치 입력이 사용자 시선이 감지되지 않은 영역(320, 330)에 해당하는 웹사이트 화면에 대해 감지되더라도 제어부(140)는 터치 입력에 대응되는 화면을 확대하거나 다운로드하는 기능을 수행하지 않을 수 있다.
또한, 도 3에서는 디스플레이 장치(300)에 디스플레이된 화면에 대한 터치 입력에 대해 설명하였으나, 제어부(140)는 디스플레이 장치(300)에 구비된 물리적인 키(340, 350, 360)에 대해서도 상술한 바와 같이 동일하게 적용할 수 있다.
예를 들어, 제어부(140)는 세 개의 영역(310, 320, 330) 중 하나의 화면에 대해 사용자 시선을 감지한 경우 물리적인 키(340, 350, 360)에 대한 터치 입력을 감지하더라도 이에 대응되는 기능을 수행하지 않을 수 있다. 여기서, 물리적인 키(340, 350, 360)는 디스플레이된 화면에 디스플레이되는 아이콘, 가상 키보드와 같은 것이 아닌 버튼 또는 터치 입력을 감지하는 센서 등으로 구현된 디스플레이 장치(300)에 직접적으로 구비된 키를 말한다.
이에 따라, 사용자는 디스플레이 장치의 화면을 바라보면서, 물리적인 키(340, 350, 360)를 조작하더라도, 제어부(140)는 물리적인 키(340, 350, 360)에 대응되는 기능을 수행하지 않음으로써, 오동작을 방지할 수 있다.
한편, 제어부(140)는 사용자 시선이 감지된 제1 영역을 제외한 나머지 영역에서 기 설정된 형태의 사용자 조작이 입력되면, 사용자 조작에 대응되는 기능을 수행할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 사용자 조작에 대응되는 기능을 수행하는 것을 설명하기 위한 도면이다.
도 4를 참조하면, 디스플레이 장치(400)의 제어부(140)는 디스플레이된 화면의 세 개의 영역(410, 420, 430) 중 가장 위쪽에 위치한 영역(410)에 대한 사용자 시선이 감지된 경우, 사용자 시선이 감지된 영역(410)을 제외한 나머지 영역(420, 430)에 대해 기 설정된 형태의 사용자 조작이 입력되면, 사용자 조작에 대응되는 기능을 수행할 수 있다.
여기서, 기 설정된 형태의 사용자 조작은 디스플레이부의 화면을 스크롤 조작일 수 있다. 즉, 원탭 터치, 더블 터치, 롱 터치, 스크롤 중 원탭 터치 등은 사용자가 화면을 바라보면서 터치하는 예에 해당하며, 스크롤 조작은 사용자가 주로 화면을 바라보지 않고도 터치하는 예에 해당된다.
즉, 제어부(140)는 사용자가 바라보는 화면의 일정 영역과 상관없이 화면의 모든 영역에 대한 스크롤 조작을 감지하고 이에 대응되는 기능을 수행할 수 있다.
구체적으로, 제어부(140)는 가장 위쪽에 위치한 영역(410)에 대한 사용자 시선이 감지된 경우, 사용자 시선이 감지되지 않은 영역(420, 430)에 대해 스크롤 조작이 입력되더라도 디스플레이부의 전체 화면을 스크롤 조작의 방향에 따라 스크롤할 수 있다.
또한, 제어부(140)는 가장 위쪽에 위치한 영역(410)에 대한 사용자 시선이 감지된 경우, 사용자 시선이 감지되지 않은 영역(420, 430)에 대해 상술한 바와 같이 사용자가 화면을 바라보면서 터치 하는 원탭 터치, 더블 터치, 롱 터치, 스크롤 중 원탭 터치 등이 입력되더라도 이에 대응되는 제어 동작을 수행하지 않을 수 있다.
도 5는 본 발명의 다른 실시 예에 따른 사용자 조작에 대응되는 기능을 수행하는 것을 설명하기 위한 도면이다.
도 5를 참조하면, 디스플레이 장치(500)에 디스플레이된 화면의 세 개의 영역(510, 520, 530) 중 가장 아래쪽 영역(530)에 가상 키보드가 디스플레이되어 있다.
제어부(140)는 가장 위쪽에 위치한 영역(510)에 대한 사용자 시선이 감지된 경우, 사용자 시선이 감지되지 않은 영역(530)에 디스플레이된 가상 키보드를 조작하는 키보드 입력 조작이 감지되면 이에 대응되는 제어 동작을 수행할 수 있다.
상술한 바와 마찬가지로, 가상 키보드를 조작하는 터치 입력은 사용자가 바라보는 화면의 영역이 어디인지와 상관없이 입력될 수 있다.
그리고, 제어부(140)는 가장 위쪽에 위치한 영역(510)에 대한 사용자 시선이 감지된 경우, 사용자 시선이 감지되지 않은 영역(520, 530)에 대해 상술한 바와 같이 사용자가 화면을 바라보면서 터치 하는 원탭 터치, 더블 터치, 롱 터치, 스크롤 중 원탭 터치 등이 입력되더라도 이에 대응되는 제어 동작을 수행하지 않을 수 있다.
한편, 상술한 예와 같이 사용자 시선이 감지되지 않은 영역에 대해 사용자 조작이 입력되면 이에 대응되는 제어 동작을 제어부(140)가 수행할 지 여부에 대해서 사용자가 설정할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 디스플레이 장치의 상세한 구성을 나타낸 블럭도이다.
도 6을 참조하면, 디스플레이 장치(600)는 디스플레이부(610), 감지부(620), 시선 방향 감지부(630), 저장부(640) 및 제어부(650)을 포함한다. 여기서, 디스플레이부(610), 감지부(620) 및 시선 방향 감지부(630)에 대해서는 이미 설명하였으므로, 자세한 설명은 생략하기로 한다.
저장부(640)는 사용자 시선이 감지된 영역을 제외한 나머지 영역에 대해 입력 가능하도록 설정된 복수의 사용자 조작 및 각 사용자 조작에 매칭되는 기능 정보를 저장할 수 있다.
예를 들어, 저장부(640)는 스크롤 조작 및 키보드 입력 조작과 이에 매칭되는 전체 화면을 스크롤 조작 방향에 따라 스크롤하는 기능 및 가상 키보드 조작에 따른 입력되는 기능에 관한 정보들을 저장할 수 있다.
그리고, 제어부(650)는 사용자 시선이 감지된 영역을 제외한 나머지 영역에서 저장부(640)에 저장된 복수의 사용자 조작 중 하나인 사용자 조작이 입력되면, 입력된 사용자 조작에 매칭된 기능 정보에 따른 제어 동작을 실행할 수 있다.
즉, 제어부(650)는 사용자 시선이 감지된 영역을 제외한 나머지 영역에서 저장부(640)에 저장된 복수의 사용자 조작 중 스크롤 조작이 입력되면, 입력된 스크롤 조작에 매칭된 기능에 따라 전체 화면을 스크롤 조작 방향에 따라 스크롤할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 사용자 시선을 감지하기 위한 디스플레이 장치의 상세한 구성을 나타낸 도면이다.
도 7을 참조하면, 디스플레이 장치(700)는 디스플레이부(710), 감지부(720), 시선 방향 감지부(730), 저장부(740), 촬상부(750) 및 제어부(760)를 포함한다. 여기서, 디스플레이부(710), 감지부(720), 제어부(760)에 대해서는 미리 설명하였으므로 자세한 설명은 생략하기로 한다.
촬상부(750)는 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성할 수 있다. 일반적으로, 촬상부(750)는 CCD(Charge Coupled Device)로 구현될 수 있으며, CCD는 디지털 카메라에서 빛을 전기적인 신호로 바꿔주는 광센서 반도체로, 일반 카메라로 말하면 피름을 감광시키는 기능을 수행하기 위한 소자이다.
촬상부(750)에서 촬영 이미지를 생성하는 과정을 좀더 상세하게 설명하면, 렌즈와 조리개를 통해 디스플레이 장치(700) 내부로 전달된 빛은 CCD에 의해 빛의 강약을 통하여 전기적 신호로 변환되고, 변환된 전기적인 신호는 다시 아날로그 신호를 0과 1의 디지털 신호로 바꿔주는 ADC(Analog-Digital Converter)라는 변환 장치를 통해 이미지 파일로 변화되어 메모리에 저장된다. 여기서, 촬상부(750)를 구동시키는 구동 신호가 입력되면, 빛이 렌즈와 조리개를 통해 들어와 CCD에 닿게 되고, 이에 따라 렌즈로부터 들어온 빛의 세기는 CCD에 기록된다. 이때, 촬영된 영상의 빛은 CCD에 붙어있는 RGB 색필터에 의해 각기 다른 색으로 분리된다. 그리고, 분리된 색은 CCD를 구성하는 수십만개의 감광소자에서 전기적 신호로 바뀌게 된다. 여기서, 촬상부(750)는 CCD에 의해 바뀐 전기적 신호를 사용하여 촬영 이미지를 생성하게 된다. 이러한, 촬상부(750)는 카메라뿐만 아니라, 스마트 폰, 노트북, TV 등 모든 전자 장치에 사용될 수 있다.
그리고, 저장부(740)는 복수의 영역 각각을 바라보는 눈 이미지를 저장할 수 있다. 구체적으로, 저장부(740)는 디스플레이부(710)의 각 영역을 바라보는 눈의 다양한 이미지에 관한 데이터를 저장할 수 있다.
또한, 시선 방향 감지부(730)는 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하여 검출된 이미지 및 저장부(740)에 저장된 이미지를 비교하여 사용자의 시선 방향을 감지할 수 있다. 구체적으로, 시선 방향 감지부(730)는 검출된 이미지에 기초하여 복수의 영역 각각을 바라보는 눈 이미지에 대한 패턴 학습을 통하여 사용자의 시선 방향을 감지할 수 있다.
예를 들어, 시선 방향 감지부(730)는 도 5의 가장 위쪽 영역(510)을 바라보는 눈의 다양한 이미지에 관한 데이터와 검출된 이미지에 관한 데이터를 비교하여 일치 여부를 판단할 수 있고, 일치하는 것으로 판단되면, 사용자 시선 방향이 가장 위쪽 영역(510)이라고 판단할 수 있다.
또한, 시선 방향 감지부(730)는 도 5의 가장 위쪽 영역(510) 중 가장 오른쪽 영역을 바라보는 눈의 다양한 이미지에 관한 데이터와 검출된 이미지에 관한 데이터를 비교하여 일치 여부를 판단할 수 있고, 일치하는 것으로 판단되면, 사용자 시선 방향이 가장 위쪽 영역(510)의 가장 오른쪽 영역이라고 판단할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 패턴 학습에 의해 사용자 시선을 판단하는 방법을 설명하기 위한 도면이다.
즉, 상술한 바와 같이 촬상부(750)는 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하고, 시선 방향 감지부(730)는 촬영 이미지로부터 검출된 사용자 눈 영역의 이미지를 검출한 후, 검출된 이미지와 저장부(740)에 저장된 다양한 눈 이미지(810)를 비교하여 사용자 시선 방향을 판단할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 사용자 시선을 감지하기 위한 디스플레이 장치의 상세한 구성을 나타낸 도면이다.
도 9를 참조하면, 디스플레이 장치(900)는 디스플레이부(910), 감지부(920), 시선 방향 감지부(930), 적외선 출력부(940), 촬상부(950), 제어부(960) 및 저장부(970)를 포함한다. 여기서, 디스플레이부(910), 감지부(920), 제어부(960) 및 저장부(970)에 대해서는 이미 설명하였으므로 자세한 설명은 생략하기로 한다.
적외선 출력부(940)는 사용자 방향으로 적외선을 출력한다. 주로, 적외선 조명(infrared light)이 적외선 출력부(940)로 사용될 수 있는데, 적외선 조명은 대상물이 가지고 있는 적외선의 정보를 감지하는 소자를 말한다. 적외선의 정보를 감지하는 방식에는 양자형과 열형이 있는데, 양자형은 광도전, 광기전력의 효과를 이용하여 빛을 양자로서 감지하고, 재료는 안티몬화인듐(InSb), 텔루르화수은카드뮴(HgCdTe) 등을 사용한다. 감도나 응답 속도는 좋지만, 열잡음을 줄이기 위해서 저온으로 둘 필요가 있고 파장에 대하여는 선택성이 있다.
또한, 열형은 흡수된 적외선을 열로 변환하여, 온도 변화에 의한 재료의 물리량 변화를 이용한다. 검출 원리에 따라 많은 형식이 있지만, 실제로 사용되고 있는 것은 전기 저항의 변화를 이용하는 서미스터형과 표면 전하량의 변화를 이용하는 초전형이다. 이런 종류의 센서는 전 파장에 동일하게 감응하며, 비선택성이고, 실내 온도 부근에서 사용할 수 있다.
적외선 출력부(940)는 적외선 조명을 사용하여 사용자 방향으로 적외선을 출력할 수 있는데, 보다 상세하게는 사용자의 눈 방향으로 적외선을 출력할 수 있다. 즉, 적외선 조명을 카메라 렌즈 주변에 배치함으로써, 적외선 출력부(940)는 적외선을 사용자의 눈 방향으로 출력할 수 있게 된다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치(900)는 사용자 방향으로 적외선을 출력하는 방식을 사용하는 것으로 설명하였으나, 적외선 뿐만 아니라, 주변 조명 또는 광을 출력하는 방식을 사용할 수도 있다.
촬상부(950)는 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성할 수 있다.
그리고, 시선 방향 감지부(930)는 촬영 이미지로부터 동공, 홍채 및 적외선에 의해 생성되는 글린트 영역을 검출할 수 있다. 일반적으로, 가시광선 조명 환경에서는 홍채와 동공의 밝기 분포가 비슷하여 동공과 홍채의 경계가 잘 나타나지 않지만, 적외선 조명 및 흑백 카메라 환경에서는 홍채와 동공의 밝기 차가 많이 나기 때문에, 동공과 홍채의 경계가 잘 나타나게 된다.
한편, 시선 방향 감지부(930)는 생성된 촬영 이미지로부터 동공 및 홍채를 검출하기 위해서는 촬영 이미지로부터 동공과 홍채와의 경계 및 홍채와 흰자위와의 경계를 검출해야 한다.
구체적으로, 동공과 홍채와의 경계 검출은 원형 경계 검출기(Circular Edge Detector)를 통해 이루어질 수 있다. 즉, 중심과 반지름을 변화시켜가면서 각 중심과 반지름에 의해 만들어지는 원의 둘레를 따라 픽셀들의 그레이 레벨 값들을 더한 뒤, 반지름의 변화에 따라 그 차이가 최대 값을 갖는 위치를 동공과 홍채와의 경계로 판단할 수 있다.
한편, 홍채와 흰자위와의 경계는 두껍고 블러되어 있기 때문에 경계 지점을 찾기가 상대적으로 어려운 면이 있어, 홍채의 중심은 동공의 중심을 기준으로 탐색될 수 있으며, 홍채 반지름은 고정 초점 카메라에서의 홍채 반지름이 거의 일정하다는 것에 기반하여 탐색될 수 있다.
물론, 동공 및 홍채를 검출하는 방법에는 상술한 예뿐만 아니라 다양한 선행 기술이 존재하며, 본 발명의 일 실시 예에 따른 디스플레이 장치(900)의 시선 방향 감지부(930)가 동공 및 홍채를 검출하는데 있어서 사용될 수 있다.
또한, 시선 방향 감지부(930)는 적외선에 의해 생성된 글린트 영역을 검출할 수 있다. 여기서, 적외선에 의해 생성된 글린트 영역은 적외선 출력부(940)에서 사용자 방향으로 출력한 적외선이 사용자 눈의 각막에 의해 반사된 반짝임을 의미한다.
시선 방향 감지부(930)는 적외선에 의해 생성된 글린트 영역을 검출하기 위해서, 적외선 필터를 사용하여 적외선에 의해 생성된 글린트 영역을 수광하는 방식을 사용할 수도 있고, 적외선에 의해 생성되는 글린트 영역이 표시된 촬영 이미지로부터 글린트 영역을 검출할 수도 있다.
도 10은 본 발명의 일 실시 예에 따른 적외선을 이용하여 시선 방향을 검출하는 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 적외선 출력부(940)는 적외선을 사용자 방향으로 출력하고, 출력된 적외선에 의해 글린트 영역이 표시되며, 이러한 글린트 영역이 표시된 상태의 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성할 수 있다.
여기서, 시선 방향 감지부(930)는 촬영 이미지로부터 동공(1010), 홍채(1020) 및 적외선에 의해 생성되는 글린트 영역(1030)을 검출할 수 있다.
한편, 상술한 예에서는 시선 방향 감지부(930)가 촬상부(950)에서 사용자에 대한 촬영을 수행하여 생성된 촬영 이미지로부터 동공(1010), 홍채(1020) 및 적외선에 의해 생성되는 글린트 영역(1030)을 검출하는 것으로 설명하였으나, 시선 방향 감지부(930)는 촬상부(950)가 촬영을 수행하지 않는 경우에도 적외선 출력부(940) 및 촬상부(950)를 제어하여 동공(1010), 홍채(1020) 및 적외선에 의해 생성되는 글린트 영역(1030)을 검출할 수 있다.
즉, 시선 방향 감지부(930)는 사용자에 대한 촬영 이미지를 생성하지 않고도, 실시간으로 동공(1010), 홍채(1020) 및 적외선에 의해 생성되는 글린트 영역(1030)을 검출할 수 있다.
다만, 본 발명의 상세한 설명에서 사용되는 촬영 이미지는 단지 촬영을 수행하여 획득된 스틸 이미지뿐만 아니라, 촬상부(950)를 통해 들어오는 모든 광에 의해 형성되는 이미지를 포함한다.
이에 따라, 시선 방향 감지부(930)가 실시간으로 동공(1010), 홍채(1020) 및 적외선에 의해 생성되는 글린트 영역(1030)을 검출하기 위한 실시간 이미지도 촬상부(950)를 통해 들어오는 모든 광에 의해 형성되는 이미지에 포함된다. 예를 들면, 프리뷰 형식으로 촬영된 이미지도 본 발명의 일 실시 예에 따른 촬영 이미지에 포함된다.
한편, 도 11은 본 발명의 일 실시 예에 따른 사용자 시선 방향을 판단하는 방법을 구체적으로 설명하기 위한 도면이다.
도 11에 따르면, 동공(1110), 홍채(1120) 및 글린트 영역(1130)이 도시되어 있고, 시선 방향 감지부(930)는 검출된 동공(1110), 홍채(1120) 및 글린트 영역(1130) 사이의 위치 관계에 기초하여 사용자 시선 방향을 감지할 수 있다. 구체적으로, 위치 관계는 동공(1110)과 글린트 영역(1130)의 중심 사이의 거리 및 홍채(1120)의 크기와의 관계를 의미한다.
특히, 시선 방향 감지부(930)는 동공(1110)의 중심점과 글린트 영역(1130)의 중심점 사이의 거리와 홍채(1120)의 크기를 비교하여 산출된 결과 값에 따라 사용자 시선 방향을 감지할 수 있다.
여기서, 동공(1110)의 중심점과 글린트 영역(1130)의 중심점 사이의 거리와 홍채(1120)의 크기 비교는 하기와 같은 수학식에 의해 연산될 수 있다.
Figure pat00001
여기서, d는 동공(1110)의 중심점과 글린트 영역(1130)의 중심점 사이의 거리를 의미하고, R은 홍채(1120)의 크기를 의미하며, 여기서, 홍채(1120)의 크기에는 홍채(1120)의 반지름 또는 지름의 길이가 사용될 수 있다.
따라서, 시선 방향 감지부(930)는 동공(1110)의 중심점과 글린트 영역(1130)의 중심점 사이의 거리를 홍채(1120)의 반지름 또는 지름의 길이로 나눈 결과 값(K)에 따라 사용자 시선 방향을 감지할 수 있다.
시선 방향 감지부(930)는 동공(1110)의 중심점과 글린트 영역(1130)의 중심점 사이의 거리와 홍채(1120)의 크기를 비교한 결과 값(K)에 따라 판단하기 때문에, 사용자와 디스플레이 장치(900)간의 거리가 변경되는 경우라도 비교한 결과 값(K)은 동공(1110)의 중심점과 글린트 영역(1130)의 중심점 사이의 거리와 홍채(1120)의 반지름 또는 지름 간의 비율 정보이므로, 일정하게 유지될 수 있다. 이에 따라, 본 발명의 일 실시 예에 따른 디스플레이 장치(900)의 시선 방향 감지부(930)는 사용자의 움직임 또는 디스플레이 장치(900)의 움직임, 진동 등에 의하여 사용자와 디스플레이 장치(900)간의 거리가 변경되더라도 사용자 시선 방향을 정확하게 파악할 수 있게 된다. 즉, 움직임에 의한 변수의 영향이 줄어들게 되고, 이에 대한 강인성이 증가하게 된다.
여기서, 위치 관계에는 디스플레이 장치(900)의 디스플레이부(910)에 디스플레이되는 화면의 복수의 영역 중 사용자 시선이 향하는 위치에 따라 서로 다른 값으로 설정되어 저장부(970)에 저장될 수 있다.
예를 들어, 도 5와 같이 디스플레이 장치(500)에 디스플레이된 화면이 세 개의 영역(510, 520, 530)으로 구분되어 있는 상태에서, 가장 위쪽에 위치한 영역(510)에 대한 동공(1110), 홍채(1120) 및 글린트 영역(1130) 사이의 위치 관계에 관한 값, 가운데에 위치한 영역(520)에 대한 동공(1110), 홍채(1120) 및 글린트 영역(1130) 사이의 위치 관계에 관한 값 및 가장 아래쪽에 위치한 영역(530)에 대한 동공(1110), 홍채(1120) 및 글린트 영역(1130) 사이의 위치 관계에 관한 값은 서로 다르게 설정되어 저장부(970)에 저장될 수 있다.
도 12a 내지 도 12c는 본 발명의 일 실시 예에 따른 동공, 홍채 및 글린트 영역 사이의 위치 관계에 기초하여 시선 방향을 판단하는 방법을 구체적으로 설명하기 위한 도면이다.
여기서, 적외선에 의해서 생성되는 글린트 영역(1213, 1223, 1233)은 일정한 지점에 표시되는 것으로 가정한다. 주로 사용자는 디스플레이 장치(900)의 화면을 정면으로 바라보고, 디스플레이 장치(900)를 움직이는 경우가 드물기 때문에, 적외선에 의해 생성되는 글린트 영역(1213, 1223, 1233)은 대부분 일정한 지점에 표시된다.
또한, 저장부(970)에 가장 위쪽에 위치한 영역(510)에 대한 동공(1110), 홍채(1120) 및 글린트 영역(1130) 사이의 위치 관계에 관한 값이 0부터 2/R 구간으로 설정되어 있고, 가운데에 위치한 영역(520)에 대한 동공(1110), 홍채(1120) 및 글린트 영역(1130) 사이의 위치 관계에 관한 값이 2/R부터 4/R 구간으로 설정되어 있으며, 가장 아래쪽에 위치한 영역(530)에 대한 동공(1110), 홍채(1120) 및 글린트 영역(1130) 사이의 위치 관계에 관한 값이 4/R부터 6/R 구간으로 설정되어 있다고 가정한다.
이에 따라, 도 12a를 참조하면, 동공(1211)의 중심점과 글린트 영역(1213)의 중심점과의 거리를 1이라고 가정하면 상술한 수학식에 의할 때 동공(1211)의 중심점과 글린트 영역(1213)의 중심점 사이의 거리(d)는 1이 되고, 홍채(1212)의 반지름 또는 지름은 일정한 상수인 R이라 하면 이들을 비교한 결과 값은 1/R이 된다.
그리고, 시선 방향 감지부(930)는 비교한 결과 값이 1/R로서, 저장부(970)에 저장된 구간 중 0부터 2/R 값으로 설정된 가장 위쪽에 위치한 영역(510)에 해당한다고 판단하여 사용자 시선 방향이 위쪽에 위치한 영역(510)이라고 감지할 수 있다.
도 12b를 참조하면, 동공(1221)의 중심점과 글린트 영역(1223)의 중심점과의 거리는 도 12a의 동공(1211)의 중심점과 글린트 영역(1213)의 중심점과의 거리에 비해 상대적으로 늘어나며, 3이라고 가정하면 상술한 수학식에 의할 때 동공(1221)의 중심점과 글린트 영역(1223)의 중심점 사이의 거리(d)는 3이 되고, 홍채(1222)의 반지름 또는 지름은 일정한 상수인 R이라 하면 이들을 비교한 결과 값은 3/R이 된다.
그리고, 시선 방향 감지부(930)는 비교한 결과 값이 3/R로서, 저장부(970)에 저장된 구간 중 2/R부터 4/R 값으로 설정된 가운데에 위치한 영역(520)에 해당한다고 판단하여 사용자 시선 방향이 가운데에 위치한 영역(520)이라고 감지할 수 있다.
도 12c를 참조하면, 동공(1231)의 중심점과 글린트 영역(1233)의 중심점과의 거리는 도 12b의 동공(1221)의 중심점과 글린트 영역(1223)의 중심점과의 거리에 비해 상대적으로 늘어나며, 5라고 가정하면 상술한 수학식에 의할 때 동공(1231)의 중심점과 글린트 영역(1233)의 중심점 사이의 거리(d)는 5가 되고, 홍채(1232)의 반지름 또는 지름은 일정한 상수인 R이라 하면 이들을 비교한 결과 값은 5/R이 된다.
그리고, 시선 방향 감지부(930)는 비교한 결과 값이 5/R로서, 저장부(970)에 저장된 구간 중 4/R부터 6/R 값으로 설정된 가장 아래쪽에 위치한 영역(530)에 해당한다고 판단하여 사용자 시선 방향이 가장 아래쪽에 위치한 영역(530)이라고 감지할 수 있다.
도 13은 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 13에 도시된 방법에 따르면, 사용자 시선 방향을 감지할 수 있다(S1310).
그리고, 화면을 복수의 영역으로 구분하여, 복수의 영역 중 하나인 제1 영역을 향하는 사용자 시선이 감지되고, 제1 영역에 대해서는 제1 터치 입력이 감지되면 제1 터치 입력에 대응되는 제1 제어 동작을 수행할 수 있다(S1320).
그리고, 제1 영역을 제외한 나머지 영역에 대해서 제2 터치 입력이 감지되면 제2 터치 입력에 대응되는 제2 제어 동작을 비수행할 수 있다(S1330).
한편, 도 14는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 14에 도시된 방법에 따르면, 사용자 시선 방향을 감지할 수 있다(S1410).
그리고, 화면을 복수의 영역으로 구분하여, 복수의 영역 중 하나인 제1 영역을 향하는 사용자 시선이 감지되고, 제1 영역에 대해서는 제1 터치 입력이 감지되면 제1 터치 입력에 대응되는 제1 제어 동작을 수행할 수 있다(S1420).
그리고, 제1 영역을 제외한 나머지 영역에 대해서 제2 터치 입력이 감지되면 제2 터치 입력에 대응되는 제2 제어 동작을 비수행할 수 있다(S1430).
또한, 제1 영역을 제외한 나머지 영역에서 기 설정된 형태의 사용자 조작이 입력되면, 사용자 조작에 대응되는 기능을 수행할 수 있다(S1440).
여기서, 사용자 조작은 화면을 스크롤하기 위한 스크롤 조작일 수 있으며, 사용자 조작에 대응되는 기능을 수행하는 단계는, 스크롤 조작이 입력되면 전체 화면을 스크롤 조작의 방향에 따라 스크롤할 수 있다.
또한, 사용자 조작은 화면에 표시된 가상 키보드를 조작하는 키보드 입력 조작일 수 있다.
한편, 도 13에 도시된 방법은 나머지 영역에 대해 입력 가능하도록 설정된 복수의 사용자 조작 및 각 사용자 조작에 매칭되는 기능 정보를 저장하는 단계 및 나머지 영역에서 복수의 사용자 조작 중 하나인 사용자 조작이 입력되면, 입력된 사용자 조작에 매칭된 기능 정보에 따른 제어 동작을 실행하는 단계를 더 포함할 수 있다.
또한, 도 13에 도시된 방법은 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하는 단계를 더 포함하며, 사용자 시선 방향을 감지하는 단계는, 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하여 검출된 이미지 및 저장부에 저장된 복수의 영역을 각각 바라보는 눈 이미지를 비교하여 사용자 시선 방향을 감지할 수 있다.
또한 도 13에 도시된 방법은 사용자 방향으로 적외선을 출력하는 단계 및 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하는 단계를 더 포함하며, 사용자 시선 방향을 감지하는 단계는, 촬영 이미지로부터 동공, 홍채 및 적외선에 의해 생성되는 글린트 영역을 검출하고 검출된 동공, 홍채 및 글린트 영역 사이의 위치 관계에 기초하여 사용자 시선 방향을 감지할 수 있다.
여기서, 위치 관계는 복수의 영역 중 사용자 시선이 향하는 위치에 따라 서로 다른 값으로 설정되어 저장될 수 있다.
한편, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
일 예로, 사용자 시선 방향을 감지하는 단계, 디스플레이부의 화면을 복수의 영역으로 구분하여 복수의 영역 중 하나인 제1 영역을 향하는 사용자 시선이 감지되고, 제1 영역에 대해서는 제1 터치 입력이 감지되면 제1 터치 입력에 대응되는 제1 제어 동작을 수행하는 단계, 제1 영역을 제외한 나머지 영역에 대해서 제2 터치 입력이 감지되면, 제2 터치 입력에 대응되는 제2 제어 동작을 비수행하는 단계 및 제1 영역을 제외한 나머지 영역에서 기 설정된 형태의 사용자 조작이 입력되면, 사용자 조작에 대응되는 기능을 수행하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 디스플레이 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 디스플레이 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 디바이스에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 디스플레이 장치 110: 디스플레이부
120: 감지부 130: 시선 방향 감지부
140: 제어부

Claims (16)

  1. 디스플레이부;
    상기 디스플레이부에 대한 터치 입력을 감지하기 위한 감지부;
    사용자 시선 방향을 감지하는 시선 방향 감지부; 및
    상기 디스플레이부의 화면을 복수의 영역으로 구분하여 상기 복수의 영역 중 하나인 제1 영역을 향하는 사용자 시선이 감지되고, 상기 제1 영역에 대해서는 제1 터치 입력이 감지되면, 상기 제1 터치 입력에 대응되는 제1 제어 동작을 수행하고, 상기 제1 영역을 제외한 나머지 영역에 대해서 제2 터치 입력이 감지되면, 상기 제2 터치 입력에 대응되는 제2 제어 동작을 비수행하는 제어부;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 나머지 영역에서 기 설정된 형태의 사용자 조작이 입력되면, 상기 사용자 조작에 대응되는 기능을 수행하는 것을 특징으로 하는 디스플레이 장치.
  3. 제2항에 있어서,
    상기 사용자 조작은,
    상기 디스플레이부의 화면을 스크롤하기 위한 스크롤 조작이며,
    상기 제어부는,
    상기 스크롤 조작이 입력되면, 상기 디스플레이부의 전체 화면을 상기 스크롤 조작의 방향에 따라 스크롤하는 것을 특징으로 하는 디스플레이 장치.
  4. 제2항에 있어서,
    상기 사용자 조작은,
    상기 디스플레이부에 표시된 가상 키보드를 조작하는 키보드 입력 조작인 것을 특징으로 하는 디스플레이 장치.
  5. 제1항에 있어서,
    상기 나머지 영역에 대해 입력 가능하도록 설정된 복수의 사용자 조작 및 각 사용자 조작에 매칭되는 기능 정보가 저장된 저장부;를 더 포함하며,
    상기 제어부는,
    상기 나머지 영역에서 상기 복수의 사용자 조작 중 하나인 사용자 조작이 입력되면, 상기 입력된 사용자 조작에 매칭된 기능 정보에 따른 제어 동작을 실행하는 것을 특징으로 하는 디스플레이 장치.
  6. 제1항에 있어서,
    사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하는 촬상부; 및
    상기 복수의 영역 각각을 바라보는 눈 이미지를 저장하는 저장부;를 더 포함하며,
    상기 시선 방향 감지부는,
    상기 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하여, 검출된 이미지 및 상기 저장부에 저장된 이미지를 비교하여 상기 사용자의 시선 방향을 감지하는 것을 특징으로 하는 디스플레이 장치.
  7. 제5항에 있어서,
    사용자 방향으로 적외선을 출력하는 적외선 출력부; 및
    상기 사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하는 촬상부;를 더 포함하며,
    상기 시선 방향 감지부는,
    상기 촬영 이미지로부터 동공, 홍채 및 상기 적외선에 의해 생성되는 글린트 영역을 검출하고, 검출된 상기 동공, 상기 홍채 및 상기 글린트 영역 사이의 위치 관계에 기초하여 상기 사용자 시선 방향을 감지하는 것을 특징으로 하는 디스플레이 장치.
  8. 제7항에 있어서,
    상기 위치 관계는 상기 복수의 영역 중 상기 사용자 시선이 향하는 위치에 따라 서로 다른 값으로 설정되어 상기 저장부에 저장된 것을 특징으로 하는 디스플레이 장치.
  9. 디스플레이 장치의 제어 방법에 있어서,
    사용자 시선 방향을 감지하는 단계;
    화면을 복수의 영역으로 구분하여, 상기 복수의 영역 중 하나인 제1 영역을 향하는 사용자 시선이 감지되고, 상기 제1 영역에 대해서는 제1 터치 입력이 감지되면, 상기 제1 터치 입력에 대응되는 제1 제어 동작을 수행하는 단계; 및
    상기 제1 영역을 제외한 나머지 영역에 대해서 제2 터치 입력이 감지되면, 상기 제2 터치 입력에 대응되는 제2 제어 동작을 비수행하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
  10. 제9항에 있어서,
    상기 나머지 영역에서 기 설정된 형태의 사용자 조작이 입력되면, 상기 사용자 조작에 대응되는 기능을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  11. 제10항에 있어서,
    상기 사용자 조작은,
    상기 화면을 스크롤하기 위한 스크롤 조작이며,
    상기 사용자 조작에 대응되는 기능을 수행하는 단계는,
    상기 스크롤 조작이 입력되면, 전체 화면을 상기 스크롤 조작의 방향에 따라 스크롤하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  12. 제10항에 있어서,
    상기 사용자 조작은,
    상기 화면에 표시된 가상 키보드를 조작하는 키보드 입력 조작인 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  13. 제9항에 있어서,
    상기 나머지 영역에 대해 입력 가능하도록 설정된 복수의 사용자 조작 및 각 사용자 조작에 매칭되는 기능 정보를 저장하는 단계; 및
    상기 나머지 영역에서 상기 복수의 사용자 조작 중 하나인 사용자 조작이 입력되면, 상기 입력된 사용자 조작에 매칭된 기능 정보에 따른 제어 동작을 실행하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  14. 제9항에 있어서,
    사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하는 단계;를 더 포함하며,
    상기 사용자 시선 방향을 감지하는 단계는,
    상기 촬영 이미지 내에서 사용자 눈 영역의 이미지를 검출하여, 검출된 이미지 및 저장부에 저장된 상기 복수의 영역을 각각 바라보는 눈 이미지를 비교하여 상기 사용자의 시선 방향을 감지하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  15. 제13항에 있어서,
    사용자 방향으로 적외선을 출력하는 단계; 및
    사용자에 대한 촬영을 수행하여 촬영 이미지를 생성하는 단계;를 더 포함하며,
    상기 사용자 시선 방향을 감지하는 단계는,
    상기 촬영 이미지로부터 동공, 홍채 및 상기 적외선에 의해 생성되는 글린트 영역을 검출하고, 검출된 상기 동공, 상기 홍채 및 상기 글린트 영역 사이의 위치 관계에 기초하여 상기 사용자 시선 방향을 감지하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  16. 제15항에 있어서,
    상기 위치 관계는 상기 복수의 영역 중 상기 사용자 시선이 향하는 위치에 따라 서로 다른 값으로 설정되어 저장되는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
KR1020140005686A 2014-01-16 2014-01-16 디스플레이 장치 및 그 제어 방법 KR102254169B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140005686A KR102254169B1 (ko) 2014-01-16 2014-01-16 디스플레이 장치 및 그 제어 방법
US14/588,707 US9811197B2 (en) 2014-01-16 2015-01-02 Display apparatus and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140005686A KR102254169B1 (ko) 2014-01-16 2014-01-16 디스플레이 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20150085713A true KR20150085713A (ko) 2015-07-24
KR102254169B1 KR102254169B1 (ko) 2021-05-20

Family

ID=53521366

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140005686A KR102254169B1 (ko) 2014-01-16 2014-01-16 디스플레이 장치 및 그 제어 방법

Country Status (2)

Country Link
US (1) US9811197B2 (ko)
KR (1) KR102254169B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200102228A (ko) * 2019-02-21 2020-08-31 한국과학기술원 입력 방법 및 이를 수행하는 장치들

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6757268B2 (ja) * 2017-01-30 2020-09-16 キヤノン株式会社 撮像装置及びその制御方法
JP6764151B2 (ja) * 2017-04-28 2020-09-30 株式会社オプティム コンピュータシステム、遠隔操作通知方法及びプログラム
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
CN109522887A (zh) * 2019-01-24 2019-03-26 北京七鑫易维信息技术有限公司 一种视线追踪方法、装置、设备及存储介质
GB201910621D0 (en) * 2019-07-25 2019-09-11 Licentia Group Ltd Computer-implemented system and method
CN113723731B (zh) * 2020-05-26 2024-05-28 中车株洲电力机车研究所有限公司 基于客流特征的城市轨道交通运行图编制方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100006652A (ko) * 2008-07-10 2010-01-21 성균관대학교산학협력단 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기
JP2012203671A (ja) * 2011-03-25 2012-10-22 Nec Casio Mobile Communications Ltd 電子機器、情報生成方法及びプログラム
WO2013141161A1 (ja) * 2012-03-23 2013-09-26 株式会社エヌ・ティ・ティ・ドコモ 情報端末、入力受付制御方法及び入力受付制御プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8446509B2 (en) * 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
KR101891786B1 (ko) 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US9007301B1 (en) * 2012-10-11 2015-04-14 Google Inc. User interface
EP2956844B1 (en) * 2013-02-14 2017-05-24 Facebook, Inc. Systems and methods of eye tracking calibration
KR20160005013A (ko) * 2013-03-01 2016-01-13 토비 에이비 지연 워프 시선 상호작용
US9833697B2 (en) * 2013-03-11 2017-12-05 Immersion Corporation Haptic sensations as a function of eye gaze
US20140347363A1 (en) * 2013-05-22 2014-11-27 Nikos Kaburlasos Localized Graphics Processing Based on User Interest

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100006652A (ko) * 2008-07-10 2010-01-21 성균관대학교산학협력단 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기
JP2012203671A (ja) * 2011-03-25 2012-10-22 Nec Casio Mobile Communications Ltd 電子機器、情報生成方法及びプログラム
WO2013141161A1 (ja) * 2012-03-23 2013-09-26 株式会社エヌ・ティ・ティ・ドコモ 情報端末、入力受付制御方法及び入力受付制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200102228A (ko) * 2019-02-21 2020-08-31 한국과학기술원 입력 방법 및 이를 수행하는 장치들

Also Published As

Publication number Publication date
US9811197B2 (en) 2017-11-07
US20150199066A1 (en) 2015-07-16
KR102254169B1 (ko) 2021-05-20

Similar Documents

Publication Publication Date Title
US20230367455A1 (en) Information processing apparatus for responding to finger and hand operation inputs
KR102254169B1 (ko) 디스플레이 장치 및 그 제어 방법
KR20200101207A (ko) 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
KR101184460B1 (ko) 마우스 포인터 제어 장치 및 방법
KR101545883B1 (ko) 단말의 카메라 제어 방법 및 그 단말
CN109791437B (zh) 显示装置及其控制方法
US9124686B2 (en) Portable device including automatic scrolling in response to a user's eye position and/or movement
JP4915367B2 (ja) 表示撮像装置および物体の検出方法
JP5300859B2 (ja) 撮像装置、表示撮像装置および電子機器
KR102227284B1 (ko) 디스플레이 장치 및 그 제어 방법
US20140267029A1 (en) Method and system of enabling interaction between a user and an electronic device
KR20170054861A (ko) 웨어러블 장치 및 그 제어 방법
KR20100072207A (ko) 터치-감응 장치상의 손가락 방향의 검출
US9639167B2 (en) Control method of electronic apparatus having non-contact gesture sensitive region
EP3427472B1 (en) Image capturing method and electronic device supporting the same
US10652442B2 (en) Image capturing apparatus with operation members provided on different sides, control method of the same, and storage medium
JP6128919B2 (ja) 表示制御装置及びその制御方法
KR20150093016A (ko) 디스플레이 장치 및 그 제어 방법
US20200319794A1 (en) Touch processing method and electronic device supporting same
US10212382B2 (en) Image processing device, method for controlling image processing device, and computer-readable storage medium storing program
US20100321292A1 (en) Electronic device and operating method thereof
KR102039025B1 (ko) 단말의 카메라 제어 방법 및 그 단말
TWI522892B (zh) 具有虛擬輸入功能的電子裝置
KR102110775B1 (ko) 단말의 카메라 제어 방법 및 그 단말
JP2021099643A (ja) 電子機器およびその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant