KR101904889B1 - 표시 장치와 이를 이용한 입력 처리 방법 및 시스템 - Google Patents

표시 장치와 이를 이용한 입력 처리 방법 및 시스템 Download PDF

Info

Publication number
KR101904889B1
KR101904889B1 KR1020170051512A KR20170051512A KR101904889B1 KR 101904889 B1 KR101904889 B1 KR 101904889B1 KR 1020170051512 A KR1020170051512 A KR 1020170051512A KR 20170051512 A KR20170051512 A KR 20170051512A KR 101904889 B1 KR101904889 B1 KR 101904889B1
Authority
KR
South Korea
Prior art keywords
user
input signal
input
gaze
tracking information
Prior art date
Application number
KR1020170051512A
Other languages
English (en)
Other versions
KR20170120523A (ko
Inventor
석윤찬
Original Assignee
주식회사 비주얼캠프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비주얼캠프 filed Critical 주식회사 비주얼캠프
Priority to PCT/KR2017/004291 priority Critical patent/WO2017183943A1/ko
Publication of KR20170120523A publication Critical patent/KR20170120523A/ko
Application granted granted Critical
Publication of KR101904889B1 publication Critical patent/KR101904889B1/ko
Priority to US16/166,450 priority patent/US10423225B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/436—Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

표시 장치와 이를 이용한 입력 처리 방법 및 시스템이 개시된다. 개시되는 일 실시예에 따른 입력 처리 시스템은, 사용자의 시선을 추적하여 시선 추적 정보를 생성하고, 생성된 시선 추적 정보를 전송하는 시선 추적 장치, 사용자로부터 음성을 입력 받아 음성 입력 신호를 생성하고, 생성된 음성 입력 신호를 전송하는 음성 입력 장치, 및 시선 추적 정보를 기반으로 화면 상에서 입력 제어 관련 대상을 검출하고, 음성 입력 신호를 분석하여 사용자 제어 명령을 추출하며, 사용자 제어 명령에 따라 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행하는 표시 장치를 포함한다.

Description

표시 장치와 이를 이용한 입력 처리 방법 및 시스템{DISPLAY APPARATUS AND METHOD AND SYSTEM FOR INPUT PROCESSING THEROF}
본 발명은 입력 신호 표시 기술에 관한 것으로, 보다 상세하게는 표시 장치와 이를 이용한 입력 처리 방법 및 시스템에 관한 것이다.
최근, 시선 추적 기술의 적용 대상 기기가 넓어지고 있으며, 정확한 시선 검출을 위한 기술 개발이 지속적으로 이루어지고 있다. 특히, 가상 현실 또는 증강 현실 기술 등에서 별도의 입력 도구 없이 사용자로부터 정보를 입력 받기 위한 입력 장치로서 시선 추적 기술을 이용하는 기술이 대두되고 있다.
하지만, 시선 추적만을 이용해 사용자로부터 정보를 입력 받는 경우, 사용자의 의도를 정확히 파악하지 못하는 경우가 발생하여, 사용자가 원하는 입력이 이루어지지 않는 문제점이 있다. 또한, 시선 추적만을 이용하는 경우, 현재 디스플레이의 화면 상에서 일시 정지, 각종 메뉴 표시 등의 기능을 실행시키기 어렵다는 문제점이 있다.
한국공개특허 제10-2008-0051664호 (2008. 06. 11)
본 발명의 실시예는 시선 추적 정보 기반의 새로운 입력 인터페이스 기법을 제공하기 위한 것이다.
개시되는 일 실시예에 따른 입력 처리 시스템은, 사용자의 시선을 추적하여 시선 추적 정보를 생성하고, 생성된 상기 시선 추적 정보를 전송하는 시선 추적 장치; 사용자의 입력에 따라 사용자 입력 신호를 발생시키고, 발생된 상기 사용자 입력 신호를 전송하는 사용자 입력 장치; 및 상기 시선 추적 정보 및 상기 사용자 입력 신호를 각각 수신하고, 상기 시선 추적 정보 및 상기 사용자 입력 신호를 기반으로 입력 제어를 수행하는 표시 장치를 포함한다.
상기 사용자 입력 장치는, 사용자로부터 음성을 입력 받아 음성 입력 신호를 생성하고, 생성된 상기 음성 입력 신호를 전송하는 제1 사용자 입력 장치를 포함하고, 상기 표시 장치는, 상기 시선 추적 정보를 기반으로 화면 상에서 입력 제어 관련 대상을 검출하고, 상기 음성 입력 신호를 분석하여 사용자 제어 명령을 추출하며, 상기 사용자 제어 명령에 따라 상기 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행할 수 있다.
상기 입력 처리 시스템은, 상기 사용자의 입력에 따라 보조 입력 신호를 발생시키고, 발생된 상기 보조 입력 신호를 전송하는 제2 사용자 입력 장치를 더 포함하고, 상기 표시 장치는, 상기 보조 입력 신호의 수신 여부에 따라 상기 음성 입력 신호의 분석 기능을 활성화시킬 수 있다.
상기 표시 장치는, 상기 시선 추적 정보를 기반으로 화면 상에서 상기 사용자가 응시하는 객체가 단어 또는 이미지이고, 상기 사용자 제어 명령이 상기 객체의 의미 검색인 경우, 상기 표시 장치와 연동된 인공 지능 엔진을 구동하여 상기 객체의 의미 검색을 수행할 수 있다.
상기 입력 처리 시스템은, 상기 사용자의 입력에 따라 보조 입력 신호를 발생시키고, 발생된 상기 보조 입력 신호를 전송하는 제2 사용자 입력 장치를 더 포함하고, 상기 표시 장치는, 상기 시선 추적 정보, 상기 음성 입력 신호, 및 상기 보조 입력 신호가 기 설정된 시간차 이내에 모두 수신되는 경우, 상기 사용자 제어 명령에 따라 상기 표시 장치와 연동된 인공 지능 엔진을 구동시킬 수 있다.
상기 사용자 입력 신호는, 상기 사용자 입력 장치에서 상기 사용자의 제스처를 인식하여 발생되고, 상기 표시 장치는, 상기 시선 추적 정보에 의한 시선 처리 패턴 및 상기 사용자의 제스처의 조합에 대응하는 기 설정된 입력 제어를 수행할 수 있다.
상기 표시 장치는, 상기 입력 제어를 수행한 후, 기 설정된 시간 이내에 상기 시선 추적 장치로부터 시선 추적 정보가 수신되고, 수신된 상기 시선 추적 정보가 상기 입력 제어와 관련된 시선 추적 정보인 경우, 상기 수행한 입력 제어를 취소시킬 수 있다.
상기 표시 장치는, 상기 시선 추적 정보에 의한 사용자의 시선이 화면의 특정 위치를 기 설정된 제1 시간 동안 주시하는 경우 상기 화면에서 상기 사용자의 시선에 대응하는 위치에 마커를 표시하고, 상기 시선 추적 정보에 의해 사용자의 시선이 이동하는 것으로 판단되는 경우, 상기 제1 시간보다 길게 설정되는 제2 시간 이내에 상기 음성 입력 신호가 수신되지 않으면, 상기 사용자의 시선 이동 방향에 따라 상기 화면에서 상기 마커를 이동시킬 수 있다.
개시되는 일 실시예에 따른 표시 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하는 표시 장치이고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 시선 추적 장치로부터 사용자의 시선을 추적하여 생성된 시선 추적 정보를 수신하기 위한 명령; 사용자 입력 장치로부터 사용자의 입력에 따라 발생된 사용자 입력 신호를 수신하기 위한 명령; 및 상기 시선 추적 정보 및 상기 사용자 입력 신호를 기반으로 입력 제어를 수행하기 위한 명령을 포함한다.
상기 사용자 입력 신호는, 사용자로부터 음성을 입력 받아 생성된 음성 입력 신호를 포함하고, 상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서, 상기 시선 추적 정보를 기반으로 화면 상에서 입력 제어 관련 대상을 검출하기 위한 명령; 상기 음성 입력 신호를 분석하여 사용자 제어 명령을 추출하기 위한 명령; 및 상기 사용자 제어 명령에 따라 상기 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행하기 위한 명령을 포함할 수 있다.
상기 사용자 입력 신호는, 상기 사용자의 입력에 따라 발생된 보조 입력 신호를 더 포함하고, 상기 하나 이상의 프로그램들은, 상기 보조 입력 신호의 수신 여부에 따라 상기 음성 입력 신호의 분석 기능을 활성화시키기 위한 명령을 더 포함할 수 있다.
상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서, 상기 시선 추적 정보를 기반으로 화면 상에서 상기 사용자가 응시하는 객체가 단어 또는 이미지인지 여부를 확인하기 위한 명령; 및 상기 사용자 제어 명령이 상기 객체의 의미 검색인 경우, 상기 표시 장치와 연동된 인공 지능 엔진을 구동하여 상기 객체의 의미 검색을 수행하기 위한 명령을 포함할 수 있다.
상기 사용자 입력 신호는, 상기 사용자의 입력에 따라 발생된 보조 입력 신호를 더 포함하고, 상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서, 상기 시선 추적 정보, 상기 음성 입력 신호, 및 상기 보조 입력 신호가 기 설정된 시간차 이내에 모두 수신되는 경우, 상기 사용자 제어 명령에 따라 상기 표시 장치와 연동된 인공 지능 엔진을 구동시키기 위한 명령을 포함할 수 있다.
상기 사용자 입력 신호는, 상기 사용자 입력 장치에서 상기 사용자의 제스처를 인식하여 발생되고, 상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서, 상기 시선 추적 정보에 의한 시선 처리 패턴 및 상기 사용자의 제스처의 조합에 대응하는 기 설정된 입력 제어를 수행할 수 있다.
상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행한 후, 상기 시선 추적 장치로부터 기 설정된 시간 이내에 시선 추적 정보가 수신되는지 여부를 확인하기 위한 명령; 및 상기 시선 추적 정보가 수신된 경우, 상기 수신된 시선 추적 정보가 상기 입력 제어와 관련된 시선 추적 정보인 경우, 상기 수행한 입력 제어를 취소시키기 위한 명령을 더 포함할 수 있다.
상기 하나 이상의 프로그램들은, 상기 시선 추적 정보에 의한 사용자의 시선이 화면의 특정 위치를 기 설정된 제1 시간 동안 주시하는 경우 상기 화면에서 상기 사용자의 시선에 대응하는 위치에 마커를 표시하기 위한 명령; 및 상기 시선 추적 정보에 의해 사용자의 시선이 이동하는 것으로 판단되는 경우, 상기 제1 시간보다 길게 설정되는 제2 시간 이내에 상기 음성 입력 신호가 수신되지 않으면, 상기 사용자의 시선 이동 방향에 따라 상기 화면에서 상기 마커를 이동시키기 위한 명령을 더 포함할 수 있다.
개시되는 일 실시예에 따른 입력 처리 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 시선 추적 장치로부터 사용자의 시선을 추적하여 생성된 시선 추적 정보를 수신하는 단계; 사용자 입력 장치로부터 사용자의 입력에 따라 발생된 사용자 입력 신호를 수신하는 단계; 및 상기 시선 추적 정보 및 상기 사용자 입력 신호를 기반으로 입력 제어를 수행하는 단계를 포함한다.
본 발명의 실시예에 의하면, 사용자의 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호 중 적어도 2개의 조합을 통해 표시 장치의 입력 제어를 수행함으로써, 사용자가 표시 장치에 정확한 입력 제어가 가능하도록 할 수 있다.
또한, 본 발명의 실시예에 의하면, 사용자의 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호 중 적어도 2개의 조합에 대하여 화면 상에 메뉴 표시 기능을 수행하도록 함으로써, 사용자가 컨텐츠 상에서 메뉴를 쉽게 확인할 수 있어, 사용자의 편의성을 증대시킬 수 있다.
또한, 본 발명의 실시예에 의하면, 가상 현실, 증강 현실, 게임 등과 같은 컨텐츠가 표시 장치의 전체 화면으로 표시되어 사용자에게 제공되는 경우, 사용자의 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호 중 적어도 2개의 조합을 통해 해당 컨텐츠를 제어할 수 있는 인터페이스를 용이하게 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 입력 처리 시스템의 구성도
도 2는 본 발명의 일 실시예에 따른 입력 신호 처리 장치의 블록도
도 3은 컨텐츠의 입력 제어 중 컨텐츠 제어 메뉴를 화면 상에 표시하는 경우의 예시도
도 4는 컨텐츠의 입력 제어 중 입력 제어와 매칭되어 저장된 동작을 수행하는 경우의 예시도
도 5는 본 발명의 일 실시예에 따른 입력 신호 처리 방법의 흐름도
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도 1 내지 도 6을 참조하여 본 발명의 구체적인 실시 예들을 설명하기로 한다. 그러나 이는 예시적 실시예에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하의 실시예는 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
도 1은 본 발명의 일 실시예에 따른 입력 처리 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 입력 처리 시스템(100)은 시선 추적 장치(102), 보조 입력 장치(104), 음성 입력 장치(106), 및 표시 장치(108)를 포함할 수 있다.
입력 처리 시스템(100)은 시선 추적 장치(102)의 시선 추적 정보, 보조 입력 장치(104)의 보조 입력 신호, 및 음성 입력 장치(106)의 음성 입력 신호 중 적어도 2개를 조합하여 표시 장치(108)의 화면 상에 기 설정된 입력 제어를 수행하기 위한 시스템일 수 있다.
예시적인 실시예에서, 시선 추적 장치(102), 보조 입력 장치(104), 및 음성 입력 장치(106)는 각각 근거리 무선 네트워크(예를 들어, 블루투스, 와이파이 등)과 같은 통신 네트워크(50)를 통해 표시 장치(108)와 통신 가능하게 연결될 수 있다. 그러나, 통신 네트워크(50)의 종류가 이에 한정되는 것은 아니며, 통신 네트워크(50)는 그 이외에 로컬 영역 네트워크(Local Area Network: LAN), 광역 네트워크(Wide Area Network: WAN), 셀룰라 네트워크 또는 인터넷 등을 포함할 수 있다. 또한, 시선 추적 장치(102), 보조 입력 장치(104), 및 음성 입력 장치(106)는 각각 유선(예를 들어, 케이블 등)을 통해 표시 장치(108)와 통신 가능하게 연결될 수도 있다.
표시 장치(108)는 화상 표시 수단을 이용하여 화면 상에 컨텐츠를 표시한다. 이때, 화상 표시 수단은 다양한 형태의 컨텐츠를 시각적으로 표시하기 위한 것으로 예를 들어, LCD 패널, OLED 패널, PDP, 투명 디스플레이 등을 포함할 수 있다. 또한, 컨텐츠는 동영상, 이미지, 게임, 웹 페이지, 가상 현실, 증강 현실 등 화상 표시 수단을 이용하여 화면 상에 시각적으로 표시할 수 있는 다양한 형태의 컨텐츠를 포함할 수 있다. 예시적인 실시예에서, 표시 장치(108)는 사용자의 두부에 착용할 수 있도록 구성된 가상 현실 장치, 스마트 글래스(Smart Glass), 헤드 마운티드 디스플레이(Head Mounted Display, HMD)의 형태로 구현될 수 있다. 그러나, 이에 한정되는 것은 아니며, 표시 장치(108)는 그 이외에 스마트 TV, 스마트 폰, PDA, 퍼스널 컴퓨터, 랩톱 컴퓨터 등을 포함할 수 있다.
시선 추적 장치(102)는 사용자의 시선을 추적하여 표시 장치(108)로 시선 추적 정보를 전송할 수 있다. 여기서, 시선 추적 정보는 사용자의 시선을 추적하여 생성되는 정보로서, 예를 들어, 사용자의 현재 시선 위치, 시선 이동 방향, 소정 위치 응시 여부 등을 포함할 수 있다.
구체적으로, 시선 추적 장치(102)는 표시 장치(108)에 디스플레이되는 화면에서 사용자의 시선을 추적하여 사용자의 시선 위치를 산출하고, 이를 기반으로 시선 추적 정보를 생성할 수 있다. 예시적인 실시예에서, 표시 장치(108)가 사용자의 두부에 착용 가능한 형태인 경우, 시선 추적 장치(102)는 표시 장치(108)에 일체로 구현될 수 있다. 시선 추적 장치(102)는 다양한 형태의 센서 또는 카메라를 이용하여, 사용자의 시선 움직임 정보를 수집하고, 수집된 시선 움직임 정보를 이용하여 사용자의 시선 위치를 산출할 수 있다.
사용자 시선을 추적하기 위한 기술은 예를 들어, 비디오 분석 방식, 콘택트 렌즈 방식, 센서 부착 방식의 3가지 방식을 들 수 있다. 이 중 비디오 분석 방식은 카메라를 이용하여 촬영된 카메라 이미지의 실시간 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 위치를 계산한다. 콘택트 렌즈 방식은 거울이 내장된 콘택트 렌즈의 반사된 빛이나, 코일이 내장된 콘택트 렌즈의 자기장 등을 이용하며, 편리성이 떨어지는 반면 정확도가 높다. 센서 부착 방식은 눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장을 이용하며, 눈을 감고 있는 경우(수면 등)에도 눈의 움직임 검출이 가능하다. 다만, 본 발명의 실시예들은 특정한 시선 추적 방식 내지 알고리즘에 한정되는 것은 아님을 유의한다.
사용자는 표시 장치(108)에서 컨텐츠 제어 메뉴 표시 또는 컨텐츠 화면 제어 등의 입력 제어가 수행되도록, 기 설정된 시선 처리 패턴에 대응되는 시선 처리를 하여 시선 추적 장치(102)를 통해 시선 추적 정보를 발생시킬 수 있다.
보조 입력 장치(104)는 사용자의 입력에 따라 보조 입력 신호를 발생하여 표시 장치(108)로 송신할 수 있다. 보조 입력 장치(104)는 사용자가 누를 수 있는 기계식(또는 압력식) 버튼이 구비된 장치(예를 들어, 마우스 또는 키보드 등)일 수 있으나, 이에 한정되는 것은 아니며 사용자의 터치에 의해 보조 입력 신호를 발생시키도록 구현될 수도 있다. 예시적인 실시예에서, 보조 입력 장치(104)는 사용자의 휴대성을 높이면서 조작 편의성을 높이기 위해 웨어러블 기기의 형태로 마련될 수 있다. 예를 들어, 보조 입력 장치(104)는 반지형으로 형성된 마우스, 손에 파지가 가능한 형태의 마우스, 스마트 워치 등과 같은 형태로 마련될 수 있다.
또한, 보조 입력 장치(104)는 사용자의 제스처를 감지할 수 있는 장치일 수 있다. 이를 위해, 보조 입력 장치(104)는 제스처 인식 센서 또는 카메라를 구비할 수 있다. 이 경우, 사용자는 기 설정된 제스처를 취함으로써, 보조 입력 신호를 발생시킬 수 있다.
보조 입력 장치(104)는 사용자의 입력에 따라 보조 입력 신호를 표시 장치(108)로 송신할 수 있다. 여기서, 보조 입력 신호는 보조 입력 장치(104)에 의해 사용자의 입력이 발생하였음을 표시 장치(108)로 알려주는 신호를 의미할 수 있다. 예시적인 실시예에서, 보조 입력 장치(104)는 버튼을 구비하고 있는 장치인 것으로 설명하며, 이에 따라 보조 입력 신호는 사용자의 버튼 입력에 따른 신호인 것으로 설명하나 이에 한정되는 것은 아니다.
구체적으로, 보조 입력 장치(104)는 사용자의 버튼 입력이 있는 경우, 보조 입력 신호를 발생시켜 표시 장치(108)로 송신할 수 있다. 보조 입력 장치(104)는 사용자가 버튼을 누르는 순간 버튼 입력이 있음을 알리는 보조 입력 신호를 생성하여 표시 장치(108)로 송신하고, 사용자의 버튼 입력이 해제되는 순간 보조 입력 신호의 송신을 중지할 수 있다. 사용자는 표시 장치(108)로 보조 입력 신호를 송신하고자 하는 시점에 보조 입력 장치(104)의 버튼을 누름으로써, 시선 추적 장치(102)만을 이용했을 때 보다 정확한 입력 신호의 송신이 가능하게 된다.
음성 입력 장치(106)는 사용자의 음성을 입력 받고, 음성 입력 신호를 표시 장치(108)로 전송할 수 있다. 음성 입력 장치(106)는 마이크로폰(Microphone)을 포함할 수 있다. 음성 입력 장치(106)는 사용자의 음성의 진동에 따른 음성 입력 신호를 발생시키고, 발생된 음성 입력 신호를 표시 장치(108)로 전송할 수 있다. 음성 입력 장치(106)는 표시 장치(108)와 일체로 구현될 수도 있다.
사용자는 기 설정된 시선 처리 패턴에 대응되는 시선 처리를 하면서 보조 입력 장치(104)를 통해 보조 입력 신호를 발생시키거나 음성 입력 장치(106)를 통해 음성 입력 신호를 발생시킬 수 있다. 또는, 사용자는 기 설정된 시선 처리 패턴에 대응하는 시선 처리를 하면서 보조 입력 장치(104)를 통해 보조 입력 신호를 발생시키고 음성 입력 장치(106)를 통해 음성 입력 신호를 발생시킬 수도 있다. 이로써, 표시 장치(108)에서 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호의 다양한 조합에 따른 입력 제어가 수행되도록 할 수 있다.
표시 장치(108)는 화상 표시 수단을 이용하여 화면 상에 컨텐츠를 표시한다. 표시 장치(108)는 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호 중 적어도 2개의 조합에 따라 기 설정된 입력 제어를 수행할 수 있다. 구체적으로, 입력 제어는 1) 시선 추적 정보 및 보조 입력 신호의 조합, 2) 시선 추적 정보 및 음성 입력 신호의 조합, 3) 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호의 조합에 따른 입력 제어로 구분될 수 있다. 한편, 본 명세서에서 보조 입력 신호 및 음성 입력 신호는 사용자 입력 신호로 총칭될 수 있다. 즉, 사용자 입력 신호에 보조 입력 신호와 음성 입력 신호가 포함될 수 있다. 또한, 보조 입력 장치(104) 및 음성 입력 장치(106)는 사용자 입력 장치로 총칭될 수 있다. 즉, 사용자 입력 장치에는 보조 입력 장치(104)와 음성 입력 장치(106)가 포함될 수 있다.
시선 추적 정보 및 보조 입력 신호의 조합에 따른 입력 제어
표시 장치(108)는 시선 추적 장치(102)로부터 수신한 시선 추적 정보 및 보조 입력 장치(104)로부터 수신한 보조 입력 신호를 기반으로 표시 장치(108)의 입력 제어를 수행할 수 있다.
구체적으로, 표시 장치(108)는 상기 수신한 시선 추적 정보를 통해 사용자의 시선 처리 패턴을 확인하고, 기 저장된 시선 처리 패턴과의 일치 여부를 확인할 수 있다. 여기서, 시선 처리 패턴이란 사용자의 현재 시선 위치, 시선의 일 방향에서 타 방향으로 이동(즉, 시선 이동 방향), 및 사용자의 시선의 기 지정된 지점의 응시(즉, 소정 위치 응시 여부) 중 적어도 하나를 포함하는 사용자의 시선 처리에 대한 패턴을 의미할 수 있다.
또한, 표시 장치(108)는 상기 수신한 보조 입력 신호를 통해 사용자의 보조 입력 신호 패턴을 확인하고, 기 저장된 보조 입력 신호 패턴과의 일치 여부를 확인할 수 있다. 예를 들어, 보조 입력 신호 패턴은 보조 입력 신호의 수신 지속 시간(즉, 보조 입력 지속 시간) 및 보조 입력 신호의 입력 횟수 등을 포함할 수 있다.
표시 장치(108)는 시선 추적 정보에 의한 시선 처리 패턴이 기 저장된 시선 처리 패턴과 일치하고, 보조 입력 신호에 의한 보조 입력 신호 패턴이 기 저장된 보조 입력 신호 패턴과 일치하는 경우, 상기 시선 처리 패턴 및 상기 보조 입력 신호 패턴의 조합과 대응되는 입력 제어를 수행할 수 있다.
예시적인 실시예에서, 표시 장치(108)는 사용자의 컨텐츠에 대한 몰입감 및 집중도를 높일 수 있도록 컨텐츠를 제어하기 위한 메뉴 등을 화면 상에 별도로 표시하지 않고, 실행되는 컨텐츠만을 화면 상에 전체 화면으로 제공할 수 있다. 이에 따라, 표시 장치(108)는 시선 추적 장치(102) 및 보조 입력 장치(104)로부터 각각 수신되는 시선 추적 정보 및 보조 입력 신호를 이용하여 그에 대응하는 입력 제어(예를 들어, 컨텐츠 제어 메뉴의 표시, 컨텐츠에 대한 화면 제어 등)를 수행함으로써, 표시 장치(108)의 입력 제어를 수행할 수 있다.
즉, 표시 장치(108)가 사용자의 두부에 착용할 수 있도록 구성된 가상 현실 장치, 스마트 글래스(Smart Glass), 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 등의 형태로 구현되는 경우, 화면에 메뉴를 표시하기 위한 입력이 어렵고, 컨텐츠에 대한 화면 제어를 수행하기 어렵다. 이에 따라, 표시 장치(108)는 사용자의 시선 추적 정보 및 보조 입력 신호를 통해 컨텐츠 제어 메뉴를 화면 상에 표시하는 입력 제어를 수행하거나, 컨텐츠에 대한 화면 제어를 수행할 수 있다.
# 제1 실시예
도 2는 본 발명의 일 실시예에 따른 표시 장치에서, 시선 추적 정보 및 보조 입력 신호의 조합에 따라 컨텐츠 제어 메뉴를 화면 상에 표시하는 상태를 나타낸 도면이다. 여기서는, 표시 장치(108)에서 실행되는 컨텐츠가 음악 플레이어인 경우를 일 예로 하였다.
도 2의 (a)를 참조하면, 표시 장치(108)의 화면에 음악 플레이어의 제어 메뉴가 별도로 표시되지 않고, 음악에 대한 배경 화면만 표시된 경우이다. 여기서, 표시 장치(108)는 시선 처리 패턴 및 보조 입력 신호 패턴에 따라 컨텐츠 제어 메뉴(즉, 음악 플레이어의 제어 메뉴)를 화면 상에 표시할 수 있다.
도 2의 (b)를 참조하면, 표시 장치(108)는 시선 추적 정보에 의한 시선 처리 패턴이 화면의 위에서 아래 방향으로 향하는 시선 이동 방향이고, 보조 입력 신호에 의한 보조 입력 신호 패턴이 입력 횟수 2회인 경우, 상기 시선 처리 패턴 및 상기 보조 입력 신호 패턴의 조합과 대응하여 기 설정된 입력 제어(여기서는, 상기 입력 제어가 제어 메뉴 표시인 것으로 함)를 수행할 수 있다. 즉, 표시 장치(108)는 화면의 위에서 아래 방향으로 향하는 시선 이동 방향 + 보조 입력 신호의 2회 입력에 대응하여 음악 플레이어의 제어 메뉴(예를 들어, 재생, 일시정지, 다음곡, 이전곡 등을 선택하는 메뉴)를 화면에 표시할 수 있다. 이때, 표시 장치(108)는 화면 상의 상측에서 하측으로(즉, 시선 처리 패턴의 시선 이동 방향으로) 음악 플레이어의 제어 메뉴가 스크롤 되어 표시되도록 할 수 있다.
다른 예로, 도 2의 (c)를 참조하면, 표시 장치(108)는 시선 추적 정보에 의한 시선 처리 패턴이 화면의 왼쪽에서 오른쪽 방향으로 향하는 시선 이동 방향이고, 보조 입력 신호에 의한 보조 입력 신호 패턴이 보조 입력 지속 시간 2초인 경우, 상기 시선 처리 패턴 및 상기 보조 입력 신호 패턴의 조합과 대응하여 기 설정된 입력 제어(여기서는, 상기 입력 제어가 정보 관련 메뉴 표시인 것으로 함)를 수행할 수 있다. 즉, 표시 장치(108)는 화면의 왼쪽에서 오르쪽 방향으로 향하는 시선 이동 방향 + 보조 입력 지속 시간 2초에 대응하여 음악 플레이어의 정보 관련 메뉴(예를 들어, 곡정보, 담기, 다운, 종료 등을 선택하는 메뉴)를 화면에 표시할 수 있다. 이때, 표시 장치(108)는 화면 상의 좌측에서 우측으로(즉, 시선 처리 패턴의 시선 이동 방향으로) 정보 관련 메뉴가 스크롤 되어 표시되도록 할 수 있다.
한편, 표시 장치(108)는 입력 제어를 수행한 후, 기 설정된 시간 내에 입력되는 시선 추적 정보에 따라 이전에 수행한 입력 제어를 취소할 수 있다. 즉, 표시 장치(108)는 입력 제어 수행 후, 기 설정된 시간 내에 시선 추적 장치(102)로부터 수신된 시선 추적 정보가 이전에 수행한 입력 제어와 관련된 시선 추적 정보인 경우, 이전에 수행한 입력 제어를 취소할 수 있다.
여기서, 입력 제어를 수행하도록 한 시선 추적 정보가 시선 이동 방향인 경우, 이전에 수행한 입력 제어와 관련된 시선 추적 정보는 상기 시선 이동 방향과 반대 방향의 시선 이동을 의미할 수 있다. 또한, 입력 제어를 수행하도록 한 시선 추적 정보가 화면 상의 소정 위치의 응시인 경우, 이전에 수행한 입력 제어와 관련된 시선 추적 정보는 상기 화면 상의 소정 위치의 재응시를 의미할 수 있다. 이러한 입력 제어 취소 동작은 시선 추적 정보 및 보조 입력 신호의 조합에 의한 입력 제어뿐만 아니라 다른 입력 제어(즉, 시선 추적 정보 및 음성 입력 신호의 조합에 의한 입력 제어 및 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호의 조합에 따른 입력 제어 등)에도 동일 또는 유사하게 적용될 수 있다.
예를 들어, 도 2의 (b)에서와 같이 화면의 위에서 아래 방향으로 향하는 시선 이동 방향 + 보조 입력 신호의 2회 입력에 대응하여 음악 플레이어의 제어 메뉴를 화면에 표시하는 입력 제어를 수행한 후, 기 설정된 시간 내(예를 들어, 2초 이내)에 상기 입력 제어를 수행하도록 하는 시선 처리 패턴과 반대 방향의 시선 처리 패턴(즉, 화면의 아래에서 위 방향으로 향하는 시선 이동 방향)이 검출되는 경우, 표시 장치(108)는 이전에 수행하였던 입력 제어(즉, 제어 메뉴의 화면 표시)를 취소할 수 있다.
# 제2 실시예
도 3은 본 발명의 일 실시예에 따른 표시 장치에서, 시선 추적 정보 및 보조 입력 신호의 조합에 따라 컨텐츠에 대한 화면 제어를 수행하는 상태를 나타낸 도면이다. 여기서는, 표시 장치(108)에서 실행되는 컨텐츠가 영상 플레이어인 경우를 일 예로 하였다.
도 3의 (a) 및 (b)를 참조하면, 표시 장치(108)는 시선 추적 정보에 의한 시선 처리 패턴이 화면의 소정 위치를 3초 이상 응시하는 것이고, 보조 입력 신호에 의한 보조 입력 신호 패턴이 보조 입력 지속 시간 3초인 경우, 상기 시선 처리 패턴 및 상기 보조 입력 신호 패턴의 조합과 대응하여 기 설정된 입력 제어(즉, 컨텐츠 화면 제어)를 수행할 수 있다.
즉, 표시 장치(108)는 상기 시선 처리 패턴에 의해 사용자의 시선이 응시하는 위치를 포커싱 영역으로 결정하고(도 3의 (a) 참조), 화면에서 포커싱 영역을 제외한 나머지 영역을 블러(Blur) 처리(도 3의 (b) 참조)하여 포커싱 영역이 시각적으로 구분되어 표시되도록 하는 컨텐츠 화면 제어를 수행할 수 있다. 이와 같이, 컨텐츠 화면 제어를 수행한 후, 기 설정된 시간 이내에 시선 추적 장치(102)로부터 수신된 시선 추적 정보가 상기 포커싱 영역을 재응시하는 것인 경우, 표시 장치(108)는 이전에 수행하였던 컨텐츠 화면 제어를 취소할 수 있다.
여기서, 포커싱 영역을 시각적으로 구분하여 표시하는 방식이 이에 한정되는 것은 아니며, 포커싱 영역의 색상, 밝기 등을 다른 영역과 달리하여 표시하는 것과 같이 사용자가 포커싱 영역과 다른 영역을 시각적으로 구분하여 인식할 수 있도록 하는 다양한 형태의 변형 실시예를 포함한다.
다른 예로, 도 3의 (a) 및 (c)를 참조하면, 표시 장치(108)는 시선 추적 정보에 의한 시선 처리 패턴이 소정 위치를 3초 이상 응시하는 것이고, 보조 입력 신호에 의한 보조 입력 신호 패턴이 보조 입력 지속 시간 2초인 경우, 상기 시선 처리 패턴 및 상기 보조 입력 신호 패턴의 조합과 대응하여 기 설정된 입력 제어(즉, 컨텐츠 화면 제어)를 수행할 수 있다.
즉, 표시 장치(108)는 상기 시선 처리 패턴에 의해 사용자의 시선이 응시하는 위치를 확대 영역으로 결정하고, 화면에서 해당 영역을 확대하여 표시되도록 하는 컨텐츠 화면 제어를 수행할 수 있다(도 3의 (c) 참조).
한편, 표시 장치(108)는 시선 추적 정보 및 보조 입력 신호의 조합에 따라 그 이외에 다양한 입력 제어를 수행할 수 있다. 예를 들어, 표시 장치(108)는 시선 추적 정보에 의한 시선 처리 패턴이 사용자의 시선 이동 방향이고, 보조 입력 신호에 의한 보조 입력 신호 패턴이 보조 입력 지속 시간인 경우, 표시 장치(108)의 화면이 사용자의 시선 이동 방향에 따라 보조 입력 지속 시간만큼 이동하도록 입력 제어를 수행할 수도 있다. 또한, 표시 장치(108)는 도 2의 (b)에서와 같이 음악 플레이어의 제어 메뉴가 표시된 경우, 사용자의 시선이 제어 메뉴 중 건너뛰기 메뉴를 응시하고, 보조 입력 신호가 1회 입력된 경우, 해당 메뉴를 실행하는 입력 제어를 수행할 수도 있다.
여기서는, 보조 입력 장치(104)가 버튼을 구비한 형태의 장치인 것을 일 예로 설명하였으나, 이에 한정되는 것은 아니며 보조 입력 장치(104)는 사용자의 제스처를 인식하는 장치일 수도 있다. 이때, 표시 장치(108)는 사용자의 시선 추적 정보에 의한 시선 처리 패턴 및 보조 입력 신호에 의한 사용자의 제스처의 조합을 기반으로 입력 제어를 수행할 수 있다. 예를 들어, 사용자의 시선 이동 방향에 따라 컨텐츠와 관련된 메뉴를 스크롤하여 표시하여 주다가, 사용자가 엄지와 검지를 맞대는 제스처를 취하면 스크롤되는 메뉴를 정지시키는 등의 입력 제어를 수행할 수 있다.
시선 추적 정보 및 음성 입력 신호의 조합에 따른 입력 제어
표시 장치(108)는 시선 추적 장치(102)로부터 수신한 시선 추적 정보 및 음성 입력 장치(106)로부터 수신한 음성 입력 신호를 기반으로 표시 장치(108)의 입력 제어를 수행할 수 있다.
구체적으로, 표시 장치(108)는 시선 추적 장치(102)로부터 수신한 시선 추적 정보를 기반으로 표시 장치(108)의 화면 상에서 입력 제어 관련 대상을 검출할 수 있다. 여기서, 입력 제어 관련 대상은 표시 장치(108)에 의해 제어가 이루어지는 컨텐츠(예를 들어, 동영상, 이미지, 게임, 웹 페이지, 가상 현실, 증강 현실 등)일 수 있다. 또한, 입력 제어 관련 대상은 표시 장치(108)에서 클릭되어 실행되는 객체(예를 들어, 화면 상의 메뉴, 버튼 등)일 수 있다. 또한, 입력 제어 관련 대상은 표시 장치(108)에서 그 의미가 설명되도록 검색되는 객체(예를 들어, 단어, 이미지 등)일 수도 있다.
또한, 표시 장치(108)는 음성 입력 장치(106)로부터 수신한 음성 입력 신호를 기반으로 상기 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행할 수 있다. 즉, 표시 장치(108)는 수신한 음성 입력 신호를 분석하여 사용자 제어 명령을 추출하고, 추출한 사용자 제어 명령에 따라 상기 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행할 수 있다.
예를 들어, 표시 장치(108)는 시선 추적 정보에 의한 사용자의 시선 처리 패턴이 화면 상의 특정 단어를 응시하고 있고, 음성 입력 신호가 “이 단어의 뜻이 뭐지”인 경우, 사용자가 응시하고 있는 단어의 의미를 검색하여 화면에 표시하여 주거나 스피커를 통해 음성으로 출력할 수 있다. 이때, 표시 장치(108)는 상기 음성 입력 신호를 분석하여 사용자 제어 명령이 단어 의미 검색인 것임을 추출할 수 있다.
그러나, 이에 한정되는 것은 아니며 음성 입력 신호 대신에 사용자의 제스처가 보조 입력 신호로 수신될 수도 있다. 예를 들어, 시선 추적 정보에 의한 사용자의 시선 처리 패턴이 화면 상의 특정 단어를 응시하고 있고, 보조 입력 신호에 따른 사용자의 제스처가 엄지와 검지를 맞대는 제스처인 경우, 표시 장치(108)는 사용자가 응시하고 있는 단어의 의미를 검색하여 화면에 표시하여 주거나 스피커를 통해 음성으로 출력할 수 있다.
또한, 표시 장치(108)는 시선 추적 정보에 의한 사용자의 시선 처리 패턴이 화면 상의 특정 이미지(예를 들어, 붉은 색 스포츠 카)를 응시하고 있고, 음성 입력 신호가 “이게 뭐지”인 경우, 사용자가 응시하고 있는 이미지를 검색하여 “붉은 색 스포츠 카는 테슬라 2017년형 모델입니다”는 결과를 화면에 표시하거나 음성 출력할 수 있다.
표시 장치(108)는 단어 의미 검색 또는 이미지 의미 검색 시, 인공 지능 엔진(Artificial Intelligence Engine)과 연동하여 동작될 수 있다. 즉, 표시 장치(108)는 음성 입력 신호에 의한 사용자 제어 명령이 단어 의미 검색 또는 이미지 의미 검색 등과 같은 객체 의미 검색인 경우, 표시 장치(108)와 연동된 인공 지능 엔진을 구동하여 객체 의미 검색을 수행할 수 있다. 이때, 표시 장치(108)는 보조 입력 신호의 수신 여부에 따라 인공 지능 엔진을 구동시킬 수 있다. 예를 들어, 표시 장치(108)는 시선 추적 정보, 음성 입력 신호, 및 보조 입력 신호가 기 설정된 시간차 이내에 모두 수신되는 경우, 객체 의미 검색을 수행하라는 사용자 제어 명령에 따라 인공 지능 엔진을 구동시킬 수 있다.
다시 말하면, 시선 추적 정보 및 음성 입력 신호 이외에 보조 입력 신호를 인공 지능 엔진을 활성화시키는 별도 입력 신호로 활용함으로써, 표시 장치(108)에서 사용자의 일반적인 음성과 입력 제어를 위한 음성을 명확히 구별하여 동작하도록 할 수 있다.
다른 예로, 표시 장치(108)는 시선 추적 정보에 의한 사용자의 시선 처리 패턴이 웹 사이트의 로그인 창을 응시하고 있고, 음성 입력 신호가 “웹 사이트에 로그인 해 줘”인 경우, 해당 웹 사이트의 아이디 및 패스워드를 검출한 후, 해당 웹 사이트의 아이디 및 패스워드를 입력하여 로그인을 수행할 수 있다.
또한, 표시 장치(108)는 시선 추적 정보에 의한 사용자의 시선 처리 패턴이 인터넷 뱅킹의 계좌 이체 버튼을 응시하고 있고, 음성 입력 신호가 “내 아내에게 10만원 이체해줘”인 경우, 사용자의 계좌에서 사용자의 아내의 계좌로 10만원을 이체하는 작업을 수행할 수 있다.
또한, 표시 장치(108)는 상기 수신한 시선 추적 정보에 의한 사용자의 시선 처리 패턴을 확인하고, 음성 입력 장치(106)로부터 수신한 음성 입력 신호를 분석하여 사용자 제어 명령을 추출하며, 시선 처리 패턴 및 사용자 제어 명령에 기반한 입력 제어를 수행할 수 있다.
예를 들어, 표시 장치(108)는 시선 추적 정보에 의한 사용자의 시선 처리 패턴이 화면의 위에서 아래 방향으로 향하는 시선 이동 방향이고, 음성 입력 신호가 “제어 메뉴를 화면에 표시해”인 경우, 현재 실행중인 컨텐츠(예를 들어, 음악 플레이어 등)의 제어 메뉴를 시선 이동 방향에 따라 스크롤하여 화면 상에 표시할 수 있다. 이때, 표시 장치(108)는 상기 음성 입력 신호를 분석하여 사용자 제어 명령이 제어 메뉴의 화면 표시인 것임을 추출할 수 있다.
시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호의 조합에 따른 입력 제어
표시 장치(108)는 시선 추적 장치(102)로부터 수신한 시선 추적 정보, 보조 입력 장치(104)로부터 수신한 보조 입력 신호, 및 음성 입력 장치(106)로부터 수신한 음성 입력 신호를 기반으로 표시 장치(108)의 입력 제어를 수행할 수 있다. 예시적인 실시예에서, 보조 입력 신호는 표시 장치(108)에서 음성 입력 신호의 분석 기능을 활성화시키는 역할을 할 수 있다. 즉, 보조 입력 신호를 통해 사용자가 시선 추적 정보 및 음성 입력 신호를 기반으로 소정의 입력 제어를 하려고 한다는 사실을 표시 장치(108)에 명확히 인지시켜 줄 수 있다. 이때, 표시 장치(108)는 상기 기술한 시선 추적 정보 및 음성 입력 신호의 조합에 따른 입력 제어에 대한 실시예들에서, 보조 입력 신호가 추가로 수신되는 경우에 한해, 음성 입력 신호를 분석하여 그에 대응하는 입력 제어를 수행할 수 있다.
그러나, 이에 한정되는 것은 아니며 표시 장치(108)는 시선 추적 정보에 의한 시선 처리 패턴, 보조 입력 신호에 의한 보조 입력 신호 패턴, 및 음성 입력 신호에 의한 사용자 제어 명령의 조합에 의한 입력 제어를 수행할 수도 있다. 예를 들어, 시선 처리 패턴이 화면의 왼쪽에서 오른쪽으로의 시선 이동이고, 음성 입력 신호에 의한 사용자 제어 명령이 컨텐츠의 “재생 속도 증가”이며, 보조 입력 신호 패턴이 보조 입력 지속 시간 3초인 경우, 표시 장치(108)는 화면에 표시된 컨텐츠에 대해 3초 동안 빨리 감기를 수행하는 입력 제어를 수행할 수 있다.
도 4는 본 발명의 일 실시예에 따른 표시 장치의 블록도이다. 도 4를 참조하면, 표시 장치(106)는 통신부(112), 음성 분석부(114), 입력 신호 처리부(116), 디스플레이부(118), 마커 표시부(120), 및 저장부(122)를 포함할 수 있다.
통신부(112)는 시선 추적 장치(102), 보조 입력 장치(104), 및 음성 입력 장치(106)와 각각 근거리 무선 네트워크(예를 들어, 블루투스, 와이파이 등)를 통해 무선 통신을 수행할 수 있다. 그러나, 이에 한정되는 것은 아니며, 통신부(112)는 케이블 또는 통신 버스 등을 통해 유선 통신을 수행할 수도 있다. 통신부(112)는 시선 추적 장치(102)로부터 시선 추적 정보를 수신할 수 있다. 또한, 통신부(112)는 보조 입력 장치(104)로부터 보조 입력 신호를 수신할 수 있다. 또한, 통신부(112)는 음성 입력 장치(106)로부터 음성 입력 신호를 수신할 수 있다.
음성 분석부(114)는 수신한 음성 입력 신호를 분석하여 사용자 제어 명령을 추출할 수 있다. 구체적으로, 음성 분석부(114)는 수신한 음성 입력 신호를 그에 대응하는 문자열로 변환한 후, 변환한 문자열을 분석하여 사용자 제어 명령을 추출할 수 있다.
입력 신호 처리부(116)는 통신부(112)로부터 수신되는 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호 중 적어도 2개의 조합에 따라 표시 장치(108)의 기 설정된 입력 제어를 수행할 수 있다. 예를 들어, 입력 신호 처리부(116)는 시선 추적 정보에 의한 사용자의 시선 처리 패턴 및 보조 입력 신호에 의한 보조 입력 신호 패턴의 조합에 대응하는 입력 제어를 수행할 수 있다.
또한, 입력 신호 처리부(116)는 시선 추적 정보를 기반으로 표시 장치(108)의 화면 상에서 입력 제어 관련 대상을 검출하고, 음성 입력 신호를 기반으로 추출한 사용자 제어 명령에 따라 상기 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행할 수 있다. 입력 신호 처리부(116)는 해당 입력 제어가 검색 동작을 수행하는 경우, 표시 장치(108)와 연동된 인공 지능 엔진을 구동시켜 검색 동작을 수행하고, 인공 지능 엔진으로부터 검색 결과를 수신할 수 있다.
또한, 입력 신호 처리부(116)는 시선 추적 정보에 의한 사용자의 시선 처리 패턴 및 음성 입력 신호에 의한 사용자 제어 명령에 기반하여 입력 제어를 수행할 수 있다. 입력 신호 처리부(116)는 보조 입력 장치(104)로부터 보조 입력 신호가 있는 경우(또는 보조 입력 신호에 의한 기 설정된 보조 입력 신호 패턴이 있는 경우), 음성 입력 신호로부터 사용자 제어 명령을 추출하는 분석 작업을 수행할 수 있다.
디스플레이부(118)는 화상 표시 수단을 이용하여 화면 상에 하나 이상의 컨텐츠(또는, 인터페이스 등)를 표시할 수 있다. 이때, 상기 화상 표시 수단은 액정 표시 장치(Liquid Crystal Display), 유기 발광 다이오드 디스플레이(Organic Light-Emitting Diode Display), 음극선관(Cathode Ray Tube), 플라즈마 디스플레이 등 일반적으로 시각적 정보를 전달하기 위한 전자 디스플레이를 포괄하는 의미이다.
마커 표시부(120)는 사용자의 현재 시선 위치를 디스플레이부(118)의 화면 상(이하, “화면 상”이라 칭함)에 표시할 수 있다. 예를 들어, 마커 표시부(120)는 화살표 모양, 또는 손가락 모양 등의 마커를 화면 상에 표시할 수 있다. 이때, 해당 마커의 위치는 시선 추적 장치(102)로부터 수신한 시선 추적 정보에 대응되는 위치일 수 있다.
마커 표시부(120)는 사용자의 현재 시선 위치를 항상 화면 상에 표시하는 것이 아니라, 사용자가 특정 위치를 일정 시간 이상 주시할 경우에만 표시하도록 구성될 수도 있다. 예를 들어, 사용자가 화면 상의 특정 위치를 일정 시간(예를 들어, 0.5초) 이상 주시하는 경우, 마커 표시부(120)는 화면 상의 사용자가 주시하는 위치를 반짝이게 하거나, 또는 해당 위치의 밝기, 색상 등을 변화시킴으로써 사용자가 자신이 어디를 주시하고 있는지를 알 수 있도록 할 수 있다.
한편, 일 실시예에서 마커 표시부(120)는 시선 추적 장치(102)로부터 수신한 시선 추적 정보에 의하여 사용자가 특정 방향으로 시선을 이동한 것으로 판단된 경우, 마커를 통해 특정 방향으로 시선이 이동되었음을 화면 상에 표시할 수 있다. 구체적으로, 마커 표시부(120)는 시선 추적 장치(102)로부터 시선 추적 정보가 수신된 후, 기 설정된 시간(예를 들어, 2초) 이내에 보조 입력 장치(104)로부터 보조 입력 신호가 수신되지 않는 경우(또는 음성 입력 신호가 수신되지 않는 경우), 수신한 시선 추적 정보에 따른 시선 이동 방향에 따라 마커를 화면 상에서 이동하여 표시할 수 있다. 이 경우, 별도의 인터페이스 없이도 화면 상의 마커 표시 제어를 용이하게 수행할 수 있게 된다.
저장부(122)는 표시 장치(108)에서 사용하는 각종 정보를 저장할 수 있다. 저장부(122)는 시선 추적 정보 및 보조 입력 신호의 조합에 따른 입력 제어, 시선 추적 정보 및 음성 입력 신호의 조합에 따른 입력 제어, 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호의 조합에 따른 입력 제어를 각각 저장할 수 있다. 여기서는, 저장부(122)가 저장하고 있는 대표적인 예를 설명한 것일 뿐, 이에 한정하는 것은 아니며, 저장부(120)는 표시 장치(108)에 저장될 수 있는 모든 정보를 저장할 수 있음은 물론이다.
도 5는 본 발명의 일 실시예에 따른 입력 신호 처리 방법의 흐름도이다. 도면에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다. 또한 실시예에 따라 상기 방법에 도시되지 않은 하나 이상의 단계들이 상기 방법과 함께 수행될 수도 있다.
도 5를 참조하면, 표시 장치(108)는 시선 추적 장치(102)로부터 시선 추적 정보를 수신한다(S502). 구체적으로, 표시 장치(108)는 시선 추적 장치(102)로부터 사용자의 현재 시선 위치, 시선 이동 방향, 소정 위치 응시 여부 등이 포함된 시선 추적 정보를 수신할 수 있다.
다음으로, 표시 장치(108)는 수신한 시선 추적 정보가 입력 제어 수행에 사용되는 시선 처리 패턴인지 여부를 확인한다(S504). 구체적으로, 표시 장치(106)는 시선 추적 장치(102)로부터 수신한 시선 추적 정보에서 추출된 시선 추적 패턴이 기 저장된 입력 제어 수행에 사용되는 시선 처리 패턴인지 여부를 확인할 수 있다.
단계 S504 결과, 수신한 시선 추적 정보에서 추출한 시선 처리 패턴이 기 저장된 입력 제어 수행에 사용되는 시선 처리 패턴인 경우, 표시 장치(108)는 보조 입력 장치(104)로부터 보조 입력 신호가 수신되는지 여부를 확인한다(S506). 구체적으로, 표시 장치(108)는 시선 추적 장치(102)로부터 시선 추적 정보의 수신하는 시점부터 기 설정된 시간(예를 들어, 5초) 이내에 보조 입력 장치(104)로부터 보조 입력 신호가 수신되는지 여부를 확인할 수 있다. 만약, 보조 입력 장치(104)로부터 보조 입력 신호가 수신되지 않는 경우, 표시 장치(106)는 디스플레이의 화면 상에 마커(예를 들어, 커서 등)를 이동시키거나 표시할 수 있다.
단계 S506 결과, 보조 입력 장치(104)로부터 보조 입력 신호가 수신되는 경우, 표시 장치(108)는 수신된 보조 입력 신호가 기 저장된 입력 제어 수행에 사용되는 보조 입력 신호 패턴인지 여부를 확인한다(S508). 구체적으로, 표시 장치(108)는 수신한 보조 입력 신호에서 추출된 보조 입력 신호 패턴이 기 저장된 입력 제어 수행에 사용되는 보조 입력 신호 패턴인지 여부를 확인할 수 있다.
단계 S508 결과, 보조 입력 신호에서 추출한 보조 입력 신호 패턴이 기 저장된 입력 제어 수행에 사용되는 보조 입력 신호 패턴인 경우, 표시 장치(108)는 시선 처리 패턴 및 보조 시선 패턴에 대응하는 입력 제어를 수행한다(S510). 구체적으로, 표시 장치(108)는 현재 표시 장치(108)의 디스플레이 화면 상에 표시된 컨텐츠(또는, 인터페이스 등)를 확인하고, 상기 확인한 시선 처리 패턴 및 보조 입력 신호 패턴을 기반으로, 현재 디스플레이 화면 상에 표시된 컨텐츠의 입력 제어를 수행할 수 있다.
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 화면 상에 컨텐츠를 표시하는 장치(예를 들어, 표시 장치(108))일 수 있다. 또한, 컴퓨팅 장치(12)는 사용자의 시선을 추적하기 위한 장치(예를 들어, 시선 추적 장치(102))일 수 있다. 또한, 컴퓨팅 장치(12)는 사용자의 보조 입력을 확인하는 장치(예를 들어, 보조 입력 장치(104))일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100 : 입력 처리 시스템
102 : 시선 추적 장치
104 : 보조 입력 장치
106 : 음성 입력 장치
108 : 표시 장치
112 : 통신부
114 : 음성 분석부
116 : 입력 신호 처리부
118 : 디스플레이부
120 : 마커표시부
122 : 저장부

Claims (19)

  1. 사용자의 시선을 추적하여 시선 추적 정보를 생성하고, 생성된 상기 시선 추적 정보를 전송하는 시선 추적 장치;
    사용자의 입력에 따라 사용자 입력 신호를 발생시키고, 발생된 상기 사용자 입력 신호를 전송하는 사용자 입력 장치; 및
    상기 시선 추적 정보 및 상기 사용자 입력 신호를 각각 수신하고, 상기 시선 추적 정보 및 상기 사용자 입력 신호를 기반으로 입력 제어를 수행하는 표시 장치를 포함하고,
    상기 표시 장치는,
    상기 입력 제어를 수행한 후, 기 설정된 시간 이내에 상기 시선 추적 장치로부터 시선 추적 정보가 수신되고, 수신된 상기 시선 추적 정보가 상기 입력 제어와 관련된 시선 추적 정보인 경우, 상기 수행한 입력 제어를 취소시키는, 입력 처리 시스템.
  2. 청구항 1에 있어서,
    상기 사용자 입력 장치는, 사용자로부터 음성을 입력 받아 음성 입력 신호를 생성하고, 생성된 상기 음성 입력 신호를 전송하는 제1 사용자 입력 장치를 포함하고,
    상기 표시 장치는, 상기 시선 추적 정보를 기반으로 화면 상에서 입력 제어 관련 대상을 검출하고, 상기 음성 입력 신호를 분석하여 사용자 제어 명령을 추출하며, 상기 사용자 제어 명령에 따라 상기 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행하는, 입력 처리 시스템.
  3. 청구항 2에 있어서,
    상기 입력 처리 시스템은,
    상기 사용자의 입력에 따라 보조 입력 신호를 발생시키고, 발생된 상기 보조 입력 신호를 전송하는 제2 사용자 입력 장치를 더 포함하고,
    상기 표시 장치는, 상기 보조 입력 신호의 수신 여부에 따라 상기 음성 입력 신호의 분석 기능을 활성화시키는, 입력 처리 시스템.
  4. 청구항 2에 있어서,
    상기 표시 장치는,
    상기 시선 추적 정보를 기반으로 화면 상에서 상기 사용자가 응시하는 객체가 단어 또는 이미지이고, 상기 사용자 제어 명령이 상기 객체의 의미 검색인 경우, 상기 표시 장치와 연동된 인공 지능 엔진을 구동하여 상기 객체의 의미 검색을 수행하는, 입력 처리 시스템.
  5. 청구항 2에 있어서,
    상기 입력 처리 시스템은,
    상기 사용자의 입력에 따라 보조 입력 신호를 발생시키고, 발생된 상기 보조 입력 신호를 전송하는 제2 사용자 입력 장치를 더 포함하고,
    상기 표시 장치는,
    상기 시선 추적 정보, 상기 음성 입력 신호, 및 상기 보조 입력 신호가 기 설정된 시간차 이내에 모두 수신되는 경우, 상기 사용자 제어 명령에 따라 상기 표시 장치와 연동된 인공 지능 엔진을 구동시키는, 입력 처리 시스템.
  6. 청구항 1에 있어서,
    상기 사용자 입력 신호는, 상기 사용자 입력 장치에서 상기 사용자의 제스처를 인식하여 발생되고,
    상기 표시 장치는,
    상기 시선 추적 정보에 의한 시선 처리 패턴 및 상기 사용자의 제스처의 조합에 대응하는 기 설정된 입력 제어를 수행하는, 입력 처리 시스템.
  7. 삭제
  8. 청구항 1에 있어서,
    상기 표시 장치는,
    상기 시선 추적 정보에 의한 사용자의 시선이 화면의 특정 위치를 기 설정된 제1 시간 동안 주시하는 경우 상기 화면에서 상기 사용자의 시선에 대응하는 위치에 마커를 표시하고,
    상기 시선 추적 정보에 의해 사용자의 시선이 이동하는 것으로 판단되는 경우, 상기 제1 시간보다 길게 설정되는 제2 시간 이내에 음성 입력 신호가 수신되지 않으면, 상기 사용자의 시선 이동 방향에 따라 상기 화면에서 상기 마커를 이동시키는, 입력 처리 시스템.
  9. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하는 표시 장치이고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    시선 추적 장치로부터 사용자의 시선을 추적하여 생성된 시선 추적 정보를 수신하기 위한 명령;
    사용자 입력 장치로부터 사용자의 입력에 따라 발생된 사용자 입력 신호를 수신하기 위한 명령; 및
    상기 시선 추적 정보 및 상기 사용자 입력 신호를 기반으로 입력 제어를 수행하기 위한 명령을 포함하고,
    상기 하나 이상의 프로그램들은,
    상기 입력 제어를 수행한 후, 상기 시선 추적 장치로부터 기 설정된 시간 이내에 시선 추적 정보가 수신되는지 여부를 확인하기 위한 명령; 및
    상기 시선 추적 정보가 수신된 경우, 상기 수신된 시선 추적 정보가 상기 입력 제어와 관련된 시선 추적 정보인 경우, 상기 수행한 입력 제어를 취소시키기 위한 명령을 더 포함하는, 표시 장치.
  10. 청구항 9에 있어서,
    상기 사용자 입력 신호는, 사용자로부터 음성을 입력 받아 생성된 음성 입력 신호를 포함하고,
    상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서,
    상기 시선 추적 정보를 기반으로 화면 상에서 입력 제어 관련 대상을 검출하기 위한 명령;
    상기 음성 입력 신호를 분석하여 사용자 제어 명령을 추출하기 위한 명령; 및
    상기 사용자 제어 명령에 따라 상기 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행하기 위한 명령을 포함하는, 표시 장치.
  11. 청구항 10에 있어서,
    상기 사용자 입력 신호는, 상기 사용자의 입력에 따라 발생된 보조 입력 신호를 더 포함하고,
    상기 하나 이상의 프로그램들은,
    상기 보조 입력 신호의 수신 여부에 따라 상기 음성 입력 신호의 분석 기능을 활성화시키기 위한 명령을 더 포함하는, 표시 장치.
  12. 청구항 10에 있어서,
    상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서,
    상기 시선 추적 정보를 기반으로 화면 상에서 상기 사용자가 응시하는 객체가 단어 또는 이미지인지 여부를 확인하기 위한 명령; 및
    상기 사용자 제어 명령이 상기 객체의 의미 검색인 경우, 상기 표시 장치와 연동된 인공 지능 엔진을 구동하여 상기 객체의 의미 검색을 수행하기 위한 명령을 포함하는, 표시 장치.
  13. 청구항 10에 있어서,
    상기 사용자 입력 신호는, 상기 사용자의 입력에 따라 발생된 보조 입력 신호를 더 포함하고,
    상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서,
    상기 시선 추적 정보, 상기 음성 입력 신호, 및 상기 보조 입력 신호가 기 설정된 시간차 이내에 모두 수신되는 경우, 상기 사용자 제어 명령에 따라 상기 표시 장치와 연동된 인공 지능 엔진을 구동시키기 위한 명령을 포함하는, 표시 장치.
  14. 청구항 9에 있어서,
    상기 사용자 입력 신호는, 상기 사용자 입력 장치에서 상기 사용자의 제스처를 인식하여 발생되고,
    상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서,
    상기 시선 추적 정보에 의한 시선 처리 패턴 및 상기 사용자의 제스처의 조합에 대응하는 기 설정된 입력 제어를 수행하는, 표시 장치.
  15. 삭제
  16. 청구항 9에 있어서,
    상기 하나 이상의 프로그램들은,
    상기 시선 추적 정보에 의한 사용자의 시선이 화면의 특정 위치를 기 설정된 제1 시간 동안 주시하는 경우 상기 화면에서 상기 사용자의 시선에 대응하는 위치에 마커를 표시하기 위한 명령; 및
    상기 시선 추적 정보에 의해 사용자의 시선이 이동하는 것으로 판단되는 경우, 상기 제1 시간보다 길게 설정되는 제2 시간 이내에 음성 입력 신호가 수신되지 않으면, 상기 사용자의 시선 이동 방향에 따라 상기 화면에서 상기 마커를 이동시키기 위한 명령을 더 포함하는, 표시 장치.
  17. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    시선 추적 장치로부터 사용자의 시선을 추적하여 생성된 시선 추적 정보를 수신하는 단계;
    사용자 입력 장치로부터 사용자의 입력에 따라 발생된 사용자 입력 신호를 수신하는 단계;
    상기 시선 추적 정보 및 상기 사용자 입력 신호를 기반으로 입력 제어를 수행하는 단계; 및
    상기 입력 제어를 수행한 후, 상기 시선 추적 장치로부터 기 설정된 시간 이내에 시선 추적 정보가 수신되는지 여부를 확인하는 단계; 및
    상기 시선 추적 정보가 수신된 경우, 상기 수신된 시선 추적 정보가 상기 입력 제어와 관련된 시선 추적 정보인 경우, 상기 수행한 입력 제어를 취소시키는 단계를 포함하는, 입력 처리 방법.
  18. 청구항 1에 있어서,
    상기 입력 제어를 수행하도록 한 시선 추적 정보가 시선 이동 방향이고,
    상기 표시 장치는,
    상기 입력 제어를 수행한 후, 기 설정된 시간 이내에 상기 시선 추적 장치로부터 상기 시선 이동 방향과 반대 방향의 시선 이동을 포함하는 시선 추적 정보가 수신되는 경우, 상기 수행한 입력 제어를 취소시키는, 입력 처리 시스템.
  19. 청구항 1에 있어서,
    상기 입력 제어를 수행하도록 한 시선 추적 정보가 상기 표시 장치의 화면 상의 소정 위치의 응시이고,
    상기 표시 장치는,
    상기 입력 제어를 수행한 후, 기 설정된 시간 이내에 상기 시선 추적 장치로부터 상기 화면 상의 상기 응시된 위치를 재응시하는 시선 추적 정보가 수신되는 경우, 상기 수행한 입력 제어를 취소시키는, 입력 처리 시스템.
KR1020170051512A 2016-04-21 2017-04-21 표시 장치와 이를 이용한 입력 처리 방법 및 시스템 KR101904889B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2017/004291 WO2017183943A1 (ko) 2016-04-21 2017-04-21 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
US16/166,450 US10423225B2 (en) 2016-04-21 2018-10-22 Display apparatus, and input processing method and system using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160048842 2016-04-21
KR1020160048842 2016-04-21

Publications (2)

Publication Number Publication Date
KR20170120523A KR20170120523A (ko) 2017-10-31
KR101904889B1 true KR101904889B1 (ko) 2018-10-05

Family

ID=60301376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170051512A KR101904889B1 (ko) 2016-04-21 2017-04-21 표시 장치와 이를 이용한 입력 처리 방법 및 시스템

Country Status (2)

Country Link
US (1) US10423225B2 (ko)
KR (1) KR101904889B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022145563A1 (ko) * 2020-12-31 2022-07-07 동국대학교 산학협력단 사용자 맞춤형 운동 훈련 방법 및 시스템

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808007A (zh) * 2017-11-16 2018-03-16 百度在线网络技术（北京）有限公司 信息处理方法和装置
JP7277569B2 (ja) 2018-05-04 2023-05-19 グーグル エルエルシー 検出されたジェスチャおよび凝視に基づく自動化アシスタントの機能の呼び出し
KR20230173211A (ko) * 2018-05-04 2023-12-26 구글 엘엘씨 감지된 입 움직임 및/또는 시선을 기반으로 자동화된 어시스턴트 적응
EP4130941A1 (en) 2018-05-04 2023-02-08 Google LLC Hot-word free adaptation of automated assistant function(s)
US11907417B2 (en) 2019-07-25 2024-02-20 Tectus Corporation Glance and reveal within a virtual environment
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
US10901505B1 (en) * 2019-10-24 2021-01-26 Tectus Corporation Eye-based activation and tool selection systems and methods
US11269406B1 (en) * 2019-10-24 2022-03-08 Facebook Technologies, Llc Systems and methods for calibrating eye tracking
US11662807B2 (en) 2020-01-06 2023-05-30 Tectus Corporation Eye-tracking user interface for virtual tool control
US11695758B2 (en) * 2020-02-24 2023-07-04 International Business Machines Corporation Second factor authentication of electronic devices
TW202301083A (zh) * 2021-06-28 2023-01-01 見臻科技股份有限公司 提供精準眼動追蹤之光學系統和相關方法
US11592899B1 (en) 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US12020704B2 (en) * 2022-01-19 2024-06-25 Google Llc Dynamic adaptation of parameter set used in hot word free adaptation of automated assistant
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device
WO2024080709A1 (ko) * 2022-10-14 2024-04-18 삼성전자주식회사 음성 신호에 기반하여 실행가능한 객체를 제어하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130311508A1 (en) * 2012-05-17 2013-11-21 Grit Denker Method, apparatus, and system for facilitating cross-application searching and retrieval of content using a contextual user model

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100850357B1 (ko) 2006-12-06 2008-08-04 한국전자통신연구원 시선 위치 추적 방법 및 그 장치
KR101568347B1 (ko) 2011-04-12 2015-11-12 한국전자통신연구원 지능형 로봇 특성을 갖는 휴대형 컴퓨터 장치 및 그 동작 방법
US10488919B2 (en) * 2012-01-04 2019-11-26 Tobii Ab System for gaze interaction
US10394320B2 (en) * 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
KR20140051771A (ko) 2012-10-23 2014-05-02 한국전자통신연구원 단말, 그리고 단말에서의 터치 동작 제어 방법
US9747898B2 (en) * 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
KR20140132246A (ko) 2013-05-07 2014-11-17 삼성전자주식회사 오브젝트 선택 방법 및 오브젝트 선택 장치
KR102130797B1 (ko) 2013-09-17 2020-07-03 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
EP3140780B1 (en) * 2014-05-09 2020-11-04 Google LLC Systems and methods for discerning eye signals and continuous biometric identification
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9583105B2 (en) 2014-06-06 2017-02-28 Microsoft Technology Licensing, Llc Modification of visual content to facilitate improved speech recognition
US10007352B2 (en) * 2015-08-21 2018-06-26 Microsoft Technology Licensing, Llc Holographic display system with undo functionality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130311508A1 (en) * 2012-05-17 2013-11-21 Grit Denker Method, apparatus, and system for facilitating cross-application searching and retrieval of content using a contextual user model

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022145563A1 (ko) * 2020-12-31 2022-07-07 동국대학교 산학협력단 사용자 맞춤형 운동 훈련 방법 및 시스템
KR20220098064A (ko) * 2020-12-31 2022-07-11 동국대학교 산학협력단 사용자 맞춤형 운동 훈련 방법 및 시스템
KR102556863B1 (ko) * 2020-12-31 2023-07-20 동국대학교 산학협력단 사용자 맞춤형 운동 훈련 방법 및 시스템

Also Published As

Publication number Publication date
KR20170120523A (ko) 2017-10-31
US20190056785A1 (en) 2019-02-21
US10423225B2 (en) 2019-09-24

Similar Documents

Publication Publication Date Title
KR101904889B1 (ko) 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
US11494000B2 (en) Touch free interface for augmented reality systems
US10001838B2 (en) Feature tracking for device input
US10511778B2 (en) Method and apparatus for push interaction
US10120454B2 (en) Gesture recognition control device
JP5962403B2 (ja) 情報処理装置、表示制御方法及びプログラム
KR101811909B1 (ko) 제스처 인식을 위한 장치 및 방법
WO2009150747A1 (ja) 視線入力によるユーザーインターフェース装置、ユーザーインターフェース方法、ユーザーインターフェースプログラム、及びユーザーインターフェースプログラムが記録された記録媒体
US20190026589A1 (en) Information processing device, information processing method, and program
US20130222246A1 (en) Navigation approaches for multi-dimensional input
US20120229509A1 (en) System and method for user interaction
KR20150135847A (ko) 글래스 타입 단말기 및 이의 제어방법
US20200142495A1 (en) Gesture recognition control device
US20120268359A1 (en) Control of electronic device using nerve analysis
WO2017104272A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN106774833A (zh) 虚拟现实交互方法及装置
US12026310B2 (en) Controlling a user interface with a trackpad and a smart watch
WO2017183943A1 (ko) 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
KR101499044B1 (ko) 사용자의 손동작 및 음성에 기초하여 사용자가 의도한 텍스트를 취득하는 웨어러블 컴퓨터 및 사용자가 의도한 텍스트를 취득하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right