KR102095765B1 - 디스플레이 장치 및 그 제어 방법 - Google Patents

디스플레이 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102095765B1
KR102095765B1 KR1020120116956A KR20120116956A KR102095765B1 KR 102095765 B1 KR102095765 B1 KR 102095765B1 KR 1020120116956 A KR1020120116956 A KR 1020120116956A KR 20120116956 A KR20120116956 A KR 20120116956A KR 102095765 B1 KR102095765 B1 KR 102095765B1
Authority
KR
South Korea
Prior art keywords
user
recognition
gaze
unit
recognized
Prior art date
Application number
KR1020120116956A
Other languages
English (en)
Other versions
KR20140050484A (ko
Inventor
안재홍
설경찬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020120116956A priority Critical patent/KR102095765B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2013/008073 priority patent/WO2014061916A1/en
Priority to MX2015004841A priority patent/MX346605B/es
Priority to IN3276DEN2015 priority patent/IN2015DN03276A/en
Priority to RU2015114537A priority patent/RU2617927C2/ru
Priority to JP2013210769A priority patent/JP6271935B2/ja
Priority to EP18191156.1A priority patent/EP3425485B1/en
Priority to EP13188743.2A priority patent/EP2735938B1/en
Priority to CN201310486543.4A priority patent/CN103826145B/zh
Priority to US14/056,472 priority patent/US9524023B2/en
Publication of KR20140050484A publication Critical patent/KR20140050484A/ko
Priority to US15/348,061 priority patent/US20170060370A1/en
Application granted granted Critical
Publication of KR102095765B1 publication Critical patent/KR102095765B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 사용자의 시선을 인식하는 인식부; 인식된 시선이 미리 설정된 인식 영역에 위치하는지 판단하고, 인식된 시선이 미리 설정된 인식 영역에 위치하면 인터랙션 모드의 진입을 제어하는 제어부; 인터랙션 모드에 대응하는 영상을 표시하는 표시부를 포함한다.
본 발명은 사용자의 시선을 추적하여 인터랙션 모드의 진입을 수행함으로써 인터랙션 모드의 진입을 용이하게 수행할 수 있고, 더욱 직관적으로 인터랙션을 수행할 수 있다.
또한 얼굴 인식, 음성 인식 및 시선 인식을 조합하여 멀티 모달(Multi-Modal) 인터랙션 모드를 수행함으로써 더욱 확장된 인터랙션 모드를 수행할 수 있고 사용자가 의도한 명령을 정확하게 판단할 수 있으며 이에 따라 정확한 기능을 수행할 수 있어 사용자의 편의성을 향상시킬 수 있다.

Description

디스플레이 장치 및 그 제어 방법 {Display apparatus and method for controlling the same}
본 발명은 사용자에 의해 입력된 정보의 인식 정확도를 향상시키기 위한 디스플레이 장치 및 그 제어 방법에 관한 것이다.
디스플레이 장치는 시각적이면서 입체적인 영상 정보를 표시하는 장치이다.
최근에는 음극선관(Cathode Ray Tube)의 단점인 무게와 부피가 줄어 설치 공간의 제약을 덜 받고 대화면의 영상 구현 및 평판화가 용이하며, 고화질 등 여러 가지로 성능이 우수한 평판 디스플레이 장치(Flat Display Device)들이 개발되고 있다.
평판 디스플레이 장치의 대표적인 예로, 액정 디스플레이 장치(Liquid Crystal Display Device : LCD), 일렉트로 루미네센스 디스플레이 장치(Electro-Luminescence Display Device : ELD), 전계 방출 디스플레이 장치(Field Emission Display Device : FED) 및 플라즈마 디스플레이 장치(Plasma Display Panel : 이하 "PDP"라 함), 박막액정디스플레이(TFT-LCD), 플렉시블 디스플레이 장치 등이 있다.
이러한 디스플레이 장치는 사용자의 편의성 향상을 위한 인식 기술들을 포함한다.
이를 예를 들면, 모션 인식 기술 및 음성 인식 기술 등이 있다. 이 중 모션 인식 기술은 모션 센서 등을 이용하여 사용자의 움직임을 인식하고 인식된 움직임에서 사용자가 명령하는 정보를 판단하는 기술이고, 음성인식 기술은 음성 센서 등을 이용하여 사용자의 음성을 인식하고 인식된 음성에서 사용자가 명령하는 정보를 판단하는 기술이다.
이와 같은 인식 기술들은, 모션이나 음성을 정확하게 입력하지 않으면 사용자가 의도하지 않은 기능을 수행하거나 사용자 입력 자체가 이루어지지 않아 수 차례 반복해야 번거로움이 있다.
또한 사용자가 무의식적으로 취하는 모션이나 음성으로 인해 사용자가 의도하지 않은 상태에서 특정 기능이 동작되는 문제가 있다.
또한 디스플레이 장치에 모션 인식 기술을 적용할 경우, 사용자가 취할 수 있는 모션이 제한적임에도 불구하고 사용자가 평상시에 잘 취하지 않는 모션이나 식별력이 높은 모션을 선택하여 명령어로 설정해야 하기 때문에 명령어 설정을 위한 모션 선택에 있어 어려운 문제가 있다.
일 측면은 사용자의 시선을 인식하여 인터랙션 모드를 진입하고 시선의 위치를 커서로 표시하는 디스플레이 장치 및 그 제어 방법을 제공한다.
다른 측면은 사용자의 시선과 모션을 인식하거나 사용자의 시선과 음성을 동시에 인식하여 동작 및 기능을 제어하는 디스플레이 장치 및 그 제어 방법을 제공한다.
일 측면에 따른 디스플레이 장치는 사용자의 시선을 인식하는 인식부; 인식된 시선이 미리 설정된 인식 영역에 위치하는지 판단하고, 인식된 시선이 미리 설정된 인식 영역에 위치하면 인터랙션 모드의 진입을 제어하는 제어부; 인터랙션 모드에 대응하는 영상을 표시하는 표시부를 포함한다.
표시부는, 미리 설정된 인식 영역을 표시한다.
제어부는, 시선이 인식되면 미리 설정된 영역의 표시 정보를 시선을 인식하기 전과 다른 표시 정보로 표시한다.
표시부는, 인식된 시선의 위치를 커서로 표시한다.
인식부는, 사용자의 모션을 인식하고, 제어부는, 인식된 모션에 대응하는 동작 명령을 판단하고, 판단된 동작 명령에 기초하여 표시부의 구동을 제어한다.
인식부는, 사용자의 음성을 인식하고, 제어부는, 인식된 음성에 대응하는 동작 명령을 판단하고, 판단된 동작 명령에 기초하여 표시부의 구동을 제어한다.
제어부는, 인터랙션 모드에 진입하면 사용자와의 인터랙션을 위한 복수의 인식 모드의 표시를 제어하고, 인식된 시선의 위치에 기초하여 복수의 인식 모드 중 어느 하나의 인식 모드를 선택한다.
디스플레이 장치는 사용자의 영상을 수집하는 영상 수집부와, 사용자의 음성을 수집하는 사운드 수집부를 더 포함하고, 제어부는, 선택된 어느 하나의 인식 모드에 기초하여 영상 수집부 및 사운드 수집부의 활성화를 제어한다.
인식부는, 사용자의 얼굴을 인식하고, 제어부는, 인식된 사용자가 미리 등록된 사용자인지 판단하고, 인식된 사용자가 미리 등록된 사용자이면 사용자의 시선 인식을 제어한다.
제어부는, 인식된 사용자가 복수이면 미리 저장된 우선 순위에 기초하여 우선 순위가 가장 높은 사용자의 시선 인식을 제어한다.
제어부는, 인식된 시선이 미리 설정된 종료 영역에 위치하는지 판단하고, 인식된 시선이 미리 설정된 종료 영역에 위치하면 인터랙션 모드를 종료 제어한다.
다른 측면에 따른 디스플레이 장치는, 사용자의 시선을 인식하는 제1인식부; 사용자의 명령을 인식하는 제2인식부; 인식된 시선이 미리 설정된 인식 영역에 위치하는지 판단하고, 인식된 시선이 미리 설정된 인식 영역에 위치하면 인터랙션 모드의 진입을 제어하고, 인식된 시선 및 명령에 기초하여 복수의 기능을 선택적으로 제어하는 제어부; 인터랙션 모드에 대응하는 영상 및 선택적으로 제어되는 기능에 대응하는 영상을 표시하는 표시부를 포함한다.
제 2 인식부는, 사용자의 모션 및 음성 중 적어도 하나의 신호를 인식하고 인식된 적어도 하나의 신호에 대응하는 동작 명령을 인식한다.
제어부는, 미리 설정된 영역에 시선이 위치하는 상태에서 모션이 인식되면 인식된 모션에 대응하는 명령을 확인하고, 확인된 명령에 대응되는 기능의 수행을 제어한다.
제어부는, 미리 설정된 영역에 시선이 위치하는 상태에서 음성이 인식되면 인식된 음성에 대응하는 명령을 확인하고, 확인된 명령에 대응되는 기능의 수행을 제어한다.
복수의 기능은, 외부의 방송 신호 재생, 외부의 컨텐츠 실행, 재생 모드 및 화면 조정 모드 중 적어도 하나를 포함한다.
디스플레이 장치는, 외부의 리모컨에서 전송된 사운드 신호를 수신하는 통신부를 더 포함하고, 제2인식부는, 수신된 사운드 신호에서 음성을 인식한다.
또 다른 측면에 따른 디스플레이 장치는 외부의 방송 신호를 수신하는 튜너부; 방송 신호를 영상 정보를 가진 영상 신호 및 사운드 정보를 가진 사운드 신호로 분리하고, 분리된 영상 신호 및 사운드 신호를 각각 신호 처리하는 신호처리부; 사용자의 시선을 인식하는 인식부; 인식된 시선이 미리 설정된 인식 영역에 위치하는지 판단하고, 인식된 시선이 미리 설정된 인식 영역에 위치하면 인터랙션 모드의 진입을 제어하는 제어부; 신호 처리된 영상 신호 및 인터랙션 모드에 대응하는 영상을 표시하는 표시부; 신호 처리된 사운드 신호를 출력하는 사운드 출력부를 포함한다.
표시부는, 미리 설정된 인식 영역, 채널 버튼 및 볼륨 버튼을 표시하고, 인식된 시선의 위치를 커서로 표시한다.
제어부는 표시부의 영역 외부에 사용자의 시선이 위치하면 인터랙션 모드를 종료 제어한다.
디스플레이 장치는 사용자의 음성 및 영상 중 적어도 하나의 정보를 수집하는 수집 모듈을 더 포함하고, 인식부는 수집된 음성 및 영상 중 적어도 하나의 정보에 대응하는 동작 명령을 인식하고, 제어부는 인터랙션 모드에 진입하면 인식된 명령에 기초하여 복수의 기능 중 적어도 하나의 기능을 제어한다.
또 다른 측면에 따른 디스플레이 장치의 제어 방법은, 사용자의 시선을 인식하고, 인식된 시선이 미리 설정된 인식 영역에 위치하는지 판단하고, 인식된 시선이 미리 정해진 인식 영역에 위치하면 인터랙션 모드로 진입하고, 사용자와의 인터랙션을 위한 복수의 인식 모드를 표시하고, 표시된 복수의 인식 모드 중 인식된 시선이 위치하는 인식 모드를 판단하고, 판단된 인식 모드를 수행하여 사용자의 명령을 인식하고, 인식된 명령에 대응하는 기능을 수행한다.
디스플레이 장치의 제어 방법은 인터랙션 모드로 진입하면 미리 설정된 인식 영역을 다른 표시 정보로 표시하는 것을 더 포함한다.
인터랙션 모드로 진입하는 것은, 시선이 미리 설정된 영역에 일정 시간 동안 주시하고 있는지 판단하는 것을 포함한다.
판단된 인식 모드를 수행하여 사용자의 명령을 인식하는 것은, 판단된 인식 모드가 모션 모드이면 사용자의 모션을 인식하고, 인식된 모션에 대응하는 명령을 판단하는 것을 포함한다.
판단된 인식 모드를 수행하여 사용자의 명령을 인식하는 것은, 판단된 인식 모드가 음성 모드이면 사용자의 음성을 인식하고, 인식된 음성에 대응하는 명령을 판단하는 것을 포함한다.
디스플레이 장치의 제어 방법은 사용자의 얼굴을 인식하고, 인식된 사용자가 미리 등록된 사용자인지 판단하고, 인식된 사용자가 미리 등록된 사용자이면 사용자의 시선을 인식하는 것을 더 포함한다.
디스플레이 장치의 제어 방법은, 인식된 시선이 미리 설정된 종료 영역에 위치하는지 판단하고, 인식된 시선이 미리 설정된 종료 영역에 위치하면 인터랙션 모드를 종료하는 것을 더 포함한다.
디스플레이 장치의 제어 방법은 미리 설정된 영역에 시선이 위치하는 상태에서 모션이 인식되면 인식된 모션에 대응하는 명령을 확인하고, 확인된 명령에 대응되는 기능의 수행을 제어하는 것을 더 포함한다.
디스플레이 장치의 제어 방법은 미리 설정된 영역에 시선이 위치하는 상태에서 음성이 인식되면 인식된 음성에 대응하는 명령을 확인하고, 확인된 명령에 대응되는 기능의 수행을 제어한다.
디스플레이 장치의 제어 방법은, 외부의 리모컨에서 전송된 음성 신호를 수신하고, 수신된 음성 신호에서 명령을 인식하는 것을 더 포함한다.
디스플레이 장치의 제어 방법은 사용자의 시선이 표시부의 영역 외부에 일정 시간 이상 위치하면 인터랙션 모드를 종료하는 것을 더 포함한다.
디스플레이 장치의 제어 방법은 인식된 시선의 위치를 커서로 표시하는 것을 더 포함한다.
디스플레이 장치의 제어 방법은 인식된 시선의 위치가 미리 설정된 인식 영역 내부와 외부를 교대로 이동하면 인터랙션 모드를 종료하는 것을 더 포함한다.
일 측면에 따르면, 사용자의 시선을 추적하여 인터랙션 모드의 진입을 수행함으로써 인터랙션 모드의 진입을 용이하게 수행할 수 있고, 더욱 직관적으로 인터랙션을 수행할 수 있다.
또한 얼굴 인식, 음성 인식 및 시선 인식을 조합하여 멀티 모달(Multi-Modal) 인터랙션 모드를 수행함으로써 더욱 확장된 인터랙션 모드를 수행할 수 있고 사용자가 의도한 명령을 정확하게 판단할 수 있으며 이에 따라 정확한 기능을 수행할 수 있어 사용자의 편의성을 향상시킬 수 있다.
또한 디스플레이 장치에 시선의 위치를 커서로 표시함으로써 사용자 시선의 위치를 정확하게 파악할 수 있다.
또한 사용자의 얼굴 또는 동공으로부터 사용자를 인식하고 인식된 사용자의 특징을 고려하여 시선, 음성, 모션을 인식함으로서 인식률을 향상시킬 수 있다.
도 1은 일 실시예에 따른 디스플레이 장치의 예시도이다.
도 2 내지 도 4는 일 실시예에 따른 디스플레이 장치의 표시 예시도이다.
도 5는 일 실시예에 따른 디스플레이 장치의 제어 구성도이다.
도 6은 일 실시예에 따른 디스플레이 장치의 인식부의 상세 구성도이다.
도 7은 일 실시예에 따른 디스플레이 장치에 표시된 팝업 메뉴의 예시도이다.
도 8a 및 도 8b는 일 실시예에 따른 디스플레이 장치의 제어 순서도이다.
도 9는 다른 실시예에 따른 디스플레이 장치의 제어 구성도이다.
도 10은 다른 실시예에 따른 디스플레이 장치의 제어 순서도이다.
도 11은 다른 실시예에 따른 디스플레이 장치의 표시 예시도이다.
도 12는 또 다른 실시예에 따른 디스플레이 장치의 예시도이다.
도 13은 또 다른 실시예에 따른 디스플레이 장치의 제어 구성도이다.
도 14는 또 다른 실시예에 따른 디스플레이 장치의 제어 순서도이다.
도 15 및 도 16은 또 다른 실시예에 따른 디스플레이 장치의 표시 예시도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.
도 1은 일 실시예에 따른 디스플레이 장치의 예시도로, 도 2 내지 도 4를 참조하여 설명한다.
디스플레이 장치는 텔레비전, 모니터 및 이동 통신 단말기의 표시 장치 등과 같이 영상을 표시하는 장치로, 도 1에 도시된 바와 같이 디스플레이 장치는 영상을 디스플레이하는 본체(100)와, 사용자의 영상 정보 및 음성 정보를 수집하기 위한 수집 모듈(200)을 포함한다. 이를 좀 더 구체적으로 설명한다.
본체(100)는 영상을 표시하는 표시부(110)와, 영상이 비표시되는 영역을 커버하는 베젤(120)을 포함한다.
표시부(110)는 사용자에 의해 요청된 메인 영상을 표시하는 표시 영역(110a)과, 인터랙션 모드 진입을 가능하게 하는 인식 영역(110b)과, 인터랙션 모드 종료를 가능하게 하는 종료 영역(110c)을 포함한다.
즉, 인식 영역(110b)은 인터랙션 모드를 진입하고자 할 때 사용자가 시선을 두어야 하는 영역이고, 종료 영역(110c)은 인터랙션 모드를 종료하고 할 때 사용자가 시선을 두어야 하는 영역이다.
표시부(110)는 사용자가 식별 가능하도록 인식 영역(110b)과 종료 영역(110c)을 표시 영역(110a)과 구별되는 표시 정보로 표시한다.
예를 들어, 도 2의 (a) 및 (b)에 도시된 바와 같이 표시 영역(110a)에 인식 영역(110b)과 종료 영역(110c)을 반투명의 색상으로 채워진 도형 또는 반투명 색상의 윤곽선으로 표시하거나, 도 2의 (c)에 도시된 바와 같이 반투명의 아이콘으로 표시 가능하다.
이때 표시부(110)는 인식 영역(110b) 및 종료 영역(110c)을 제1표시영역(110a)에 오버랩하여 표시한다.
또한 사용자가 표시 영역(110a)에 표시되는 메인 영상을 보는 데 있어, 사용자가 방해받지 않도록 하는 크기의 불투명한 심벌(도형, 윤곽선, 아이콘 등)로 인식 영역(110b)과 종료 영역(110c)을 표시하는 것도 가능하다.
표시부(110)는 인식 영역(110b)과 종료 영역(110c)을 일정 시간 간격으로 주기적으로 표시하는 것도 가능하고, 또한 구동 초기에 인식 영역(110b)과 종료 영역(110c)의 위치 및 인터랙션 모드의 이용에 대한 안내문을 표시하는 것도 가능하다.
또한 표시부(110)는 인터랙션 모드의 진입 전후를 서로 다르게 표시한다. 즉 표시부(110)는 인식 영역(110b)을 인터랙션 모드의 진입 전과 진입 후를 다른 표시 정보로 표시한다.
예를 들어, 도 3의 (a)에 도시된 바와 같이 인터랙션 모드 진입 전 인식 영역(110b)을 빈 도형으로만 표시하고 인터랙션 모드에 진입하면 인식 영역(110b)의 빈 도형 안에 아이콘을 표시하거나, 도 3의 (b)에 도시된 바와 같이 인터랙션 모드 진입 전 인식 영역(110b)을 제1 색상의 도형으로 표시하고 인터랙션 모드에 진입하면 인식 영역(110b)에 제2 색상의 도형으로 표시하는 것도 가능하다.
또한 표시부(110)는 인식 영역(110b)만을 표시하고 종료 영역(110c)을 표시하지 않는 상태로 유지시키다가 인터랙션 모드에 진입하면 종료 영역(110c)을 표시 상태로 전환하는 것도 가능하다.
표시부(110)는 인터랙션 모드 진입 후 인터랙션 모드가 수행 중임을 사용자에게 알리기 위해 인터랙션 모드 진입에 따른 표시 정보를 유지한다.
예를 들어, 인식 영역(110b)의 도형 내의 아이콘 표시를 유지시키거나, 인식 영역의 도형을 제2색상으로 유지시킨다.
표시부(110)는 인터랙션 모드에 진입하면 디스플레이 장치의 동작 및 기능 제어 시에 이용되는 복수의 인식 모드를 표시한다.
도 4에 도시된 바와 같이 사용자와 디스플레이 장치 간의 인터랙션을 위한 인식 모드를 표시한다. 그 예로, 표시부(110)는 표시 영역(110a)에 모션 인식 버튼(a1), 음성 인식 버튼(a2) 및 시선 인식 버튼(a3)을 표시한다. 이때 표시부(110)는 사용자의 시선을 커서(a4)로 표시한다.
또한 표시부(110)는 사용자에 의해 요청된 컨텐츠의 영상을 표시하고, 또한 사용자에 의해 화면 조정 정보가 변경된 경우 변경된 화면 조정 정보에 기초하여 영상을 표시한다.
이러한 표시부(110)는 디스플레이 패널(111), 확산판(112), 도광판(113), 백라이트 유닛(114), 섀시( 115)를 포함한다.
디스플레이 패널(111)은 문자, 숫자, 임의의 아이콘 등의 영상을 표시하는 패널이다.
표시부(110)는 디스플레이 패널(111)을 외부의 충격으로부터 보호하기 위한 글래스(미도시) 및 필터(미도시)를 더 포함한다. 여기서 글래스는 외부 충격으로부터 필터가 파손되는 것을 방지한다.
필터는 광특성막, 전자파(Electro Magnetic Interference: EMI) 차폐막 및 자외선 차폐막 등을 포함한다.
광특성막은 디스플레이 패널로 입사되는 광 중 적색(R) 및 녹색(G)의 휘도를 낮춤과 아울러 청색(B)의 휘도를 높여 광특성을 개선시키며, 전자파 차폐막은 전자파를 차폐하여 디스플레이 패널로 입사되는 전자파가 외부로 방출되는 것을 방지한다.
또한 적외선 차폐막은 디스플레이 패널에서 방사되는 적외선을 차폐하여 리모콘 등과 같이 적외선을 이용하여 전달되는 신호들이 정상적으로 전달될 수 있도록 기준 이상의 적외선이 외부로 방출되는 것을 방지한다.
확산판(112)은 백 라이트 유닛(114)에서 나오는 빛을 면을 따라 확산시켜 화면 전체적으로 색상 및 밝기가 균일하게 보이도록 해 주는 반투명 패널로, 백 라이트 유닛(114)에서 발광된 광의 휘도 등을 향상시켜 디스플레이 패널로 공급한다. 즉 확산판(112)은 백 라이트 유닛(114)의 발광 다이오드(LED)의 광을 증대시키고 전체 면의 밝기를 균일하게 유지시킨다.
도광판(113)은 백 라이트 유닛(114)의 광원을 디스플레이 패널 전체로 균일하게 입사시키고, 백라이트 유닛(114)은 디스플레이 패널(111)의 후면 또는 측면에서 빛을 방출한다.
즉 디스플레이 패널(111)은 액정 자체에서 빛을 내지 못하기 때문에 백 라이트 유닛에서 방출된 빛의 투과량과 색상을 조절함으로써 영상이 보이도록 한다.
섀시(115)는 영상 표시 및 사운드 출력에 필요한 구동 모듈(130)이 연결되는 패널이다.
구동 모듈(130)의 예로는, 영상 표시 및 사운드 출력을 제어하기 위한 각종 인쇄 회로 기판, 외부 기기와의 연결을 위한 인터페이스 장치, 각 장치에 동작 전원을 공급하는 전원 장치 등이 있다.
이러한 섀시(115)는 방열과 강도가 우수한 금속으로 이루어진다.
베젤(120)은 표시부(110)의 영상 비 표시면을 커버하고, 표시부(110)의 외관을 형성한다.
이러한 베젤(120)에는 복수의 버튼을 가지는 입력부(미도시)가 더 배치되어 있는 것도 가능하다. 즉 디스플레이 장치(1)는 입력부를 통해 동작 명령을 입력받는 것도 가능하다.
본체(100)는 표시부(110)의 비표시면을 보호하기 위한 커버(121)와, 표시부(110)의 디스플레이 패널, 확산판, 도광판, 백라이트 유닛 새시 등을 이격 상태로 지지하는 지지 부재(미도시)를 더 포함한다. 여기서 지지부재 및 커버(121)는 베젤(120)과 분리 가능하게 결합된다.
커버(121)는 베젤(120)과 결합 시 수용 공간을 형성하며, 이 수용 공간 내에는 디스플레이 패널, 확산판, 도광판, 백라이트 유닛 및 섀시 등이 배치된다.
수집 모듈(200)은 본체(100)의 베젤(120) 상단에 위치하고 사용자 및 그 주변의 영상 및 사운드를 수집하고 수집된 영상 및 사운드를 구동 모듈(130)로 전송한다.
수집 모듈(200)은 본체(100)의 베젤(120) 상단 뿐만 아니라 사용자의 정보를 수집하기 용이한 위치에 장착하는 것도 가능하다.
또한 수집 모듈(200)은 디스플레이 장치와 별도로 마련하는 것도 가능하다. 즉 수집 모듈(200)은 본체(100)로부터 분리 가능하게 마련되고 본체(100)에 연결 시 본체(100)에 마련된 인터페이스 장치(미도시)에 연결되는 것도 가능하다.
좀 더 구체적으로 수집 모듈(200)을 설명한다.
수집 모듈(200, MOIP: Multimedia Over Internet Protocol)은 하우징(210)과, 하우징(210)에 설치된 영상 수집부(220)인 카메라와, 하우징(210)에 설치된 사운드 수집부(230)인 제1 마이크로 폰과, 카메라 및 제1마이크로 폰의 구동을 제어하고 카메라 및 제1 마이크로 폰에서 수집된 영상 신호와 사운드 신호를 구동모듈(130)에 전달하는 제1마이컴(미도시)을 포함한다.
여기서 제1마이크로 폰은 복수 개의 마이크로 폰(230a, 230b)로 구현 가능하다.
영상 수집부(220)인 카메라는 사용자 및 그 주변의 영상을 수집하고, 수집된 영상의 데이터를 제1마이컴에 전송한다.
사운드 수집부(230a, 340b)인 복수의 제1마이크로 폰은 사용자의 음성을 포함한 주변의 사운드를 수집하고 수집된 사운드의 데이터를 제1마이컴에 전송한다.
제1마이컴은 수신된 영상 데이터 및 사운드 데이터를 구동모듈(130)에 전송한다. 아울러 재1 마이컴은 수신된 영상 데이터 및 사운드 데이터가 메모리(미도시)에 저장되도록 하는 것도 가능하다.
수집 모듈(200)은 이더넷과 같은 통신부(미도시)를 더 포함하는 것도 가능하다. 이때 수집 모듈(MOIP)의 제1마이컴은 영상 신호와 사운드 신호를 압축하고, 압축된 데이터를 이더넷을 통해 구동모듈(130)에 전송한다.
아울러 수집 모듈의 카메라(220)와 제1 마이크로 폰(230)은 구동 모듈(130)에 직접 연결되어 영상 신호와 사운드 신호를 구동 모듈에 직접 전송하는 것도 가능하다.
도 5는 일 실시예에 따른 디스플레이 장치의 제어 구성도로, 도 6 내지 도 7을 참조하여 설명한다.
일 실시예에 따른 디스플레이 장치(1)는 사용자의 의도에 의해 생성된 인터랙션 신호 및 입력부(미도시)의 신호 중 적어도 하나의 신호에 기초하여 동작한다.
이러한 디스플레이 장치(1)는 사용자가 의도한 명령을 수집하는 수집 모듈로 영상 수집부(220)와 사운드 수집부(230)를 포함하고, 동작 명령에 기초하여 동작을 제어하기 위한 구동 모듈(130)을 포함하며, 동작 수행을 출력하기 위한 출력 모듈로 표시부(110)과 사운드 출력부(140)를 포함한다.
영상 수집부(220)는 구동 모듈(130)과 전기적으로 연결되고 구동 모듈(130)의 명령에 기초하여 사용자의 영상을 수집하고 수집된 영상에 대한 신호를 구동 모듈(130)로 전송하고, 사운드 수집부(230)는 구동 모듈(130)과 전기적으로 연결되고 구동 모듈(130)의 명령에 기초하여 사용자의 음성을 수집하고 수집된 음성에 대한 신호를 구동 모듈(130)로 전송한다.
구동 모듈(130)은 입력부(미도시)의 신호에 기초하여 표시부(110) 및 사운드 출력부(140) 중 적어도 하나의 동작을 제어한다.
또한 구동 모듈(130)은 영상 수집부(220) 및 사운드 수집부(230) 중 적어도 하나의 수집부에서 수집된 정보에 기초하여 인터랙션 모드의 진입 및 종료를 제어하고, 인터랙션 모드 진입 후 인터랙션 모드를 수행하여 표시부(110) 및 사운드 출력부(140) 중 적어도 하나의 동작을 제어한다.
이러한 구동 모듈(130)은 인식부(131), 데이터베이스부(132), 네트워크 인터페이스부(133), 제어부(134), 저장부(135), 표시 구동부(136) 및 사운드 구동부(137)를 포함한다.
인식부(131)는 영상 수집부(220) 및 사운드 수집부(230) 중 적어도 하나의 수집부에서 수집된 정보의 신호를 수신하고, 수신된 신호에 기초하여 사용자 인식 및 사용자에 의해 의도된 동작 명령을 인식하고, 인식된 동작 명령을 제어부(134)에 전송한다. 이를 도 6을 참조하여 설명한다.
도 6은 일 실시예에 따른 디스플레이 장치에 마련된 인식부의 상세 구성도로, 인식부(131)는 인터랙션 모드로 진입 명령을 인식하기 위한 제1인식부(131-1)와, 기능 수행 및 동작 명령을 인식하기 위한 제2인식부(131-2)를 포함한다.
제1인식부(131-1)는 얼굴 인식부(131a) 및 시선 인식부(131b)를 포함한다.
얼굴 인식부(131a)는 영상 수집부(220)에서 전송된 영상으로부터 배경 영역을 제거하여 사용자의 얼굴 영상을 획득하고, 획득된 사용자의 얼굴 영상에서 에지, 색상 정보를 이용하여 얼굴 영역을 추출하며, 이 얼굴 영역에서 눈, 코, 입 등의 특징점을 추출함으로써 얼굴을 인식하고, 인식된 얼굴과 미리 등록된 얼굴 영상을 비교하여 인식된 얼굴이 미리 등록된 사용자의 얼굴인지 판단한다.
아울러 인식부(131)는 얼굴 인식 시 얼굴 영상을 필터링하여 노이즈를 제거하고, 얼굴 영상의 특징을 분석하는데 필요한 전처리를 수행한다.
시선 인식부(131b)는 사용자의 얼굴 영상에서 눈 영상을 검출하고, 검출된 눈 영상에서 동공의 위치를 획득하여 사용자의 시선의 위치를 인식한다.
제2인식부(131-2)는 모션 인식부(131c) 및 음성 인식부(131d)를 포함한다.
모션 인식부(131c)는 영상 수집부(220)에서 전송된 영상으로부터 배경 영역을 제거하여 사용자의 신체의 영상을 획득하고, 획득된 사용자의 신체 영상에서 에지, 색상 정보를 이용하여 사용자의 얼굴, 팔, 손, 몸통, 다리 및 발 영역을 추출하며, 추출된 얼굴, 팔, 손, 몸통, 다리, 발 등에서 특징점을 추출하여 사용자가 취한 모션을 인식하고, 데이터베이스부(132)에 저장된 모션 중 인식된 모션과 매치되는 모션을 검색하고, 검색된 모션에 대응하는 동작 명령을 인식한다.
음성 인식부(131d)는 사운드 수집부(230)에서 전송된 사운드로부터 노이즈를 제거하여 사용자가 발성한 음성을 획득하고, 사용자가 발성한 음성으로부터 특징 벡터를 추출하고 추출된 특징 벡터와 데이터베이스부(132)에 저장된 각 단어의 언어 모델 또는 음소 단위의 음향 모델을 비교하여 후보 단어 또는 후보 음소를 추출하고, 후보 단어 또는 후보 음소를 기초로 문장을 인식하고 데이터베이스부(132)에 저장된 문장 중 인식된 문장과 매치되는 문장을 검색하고, 검색된 문장에 대응하는 동작 명령을 인식한다.
아울러, 음성 인식부(131d)는 후보 단어 또는 후보 음소로부터 동작 명령을 인식하는 것도 가능하다.
또한 음성 인식부(131d)는 음성의 특징적 정보를 이용하여 사용자를 인식하는 것도 가능하다.
데이터베이스부(132)는 미리 등록된 사용자의 얼굴 영상 및 얼굴 영상의 특징점 정보 및 동공 정보를 저장하고, 모션별 동작 명령 및 음성별 동작 명령을 저장한다. 여기서 동공 정보는, 동공의 크기, 동공의 위치 및 동공 사이의 거리 정보를 포함하고, 이러한 동정 정보에 기초하여 사용자를 인식하는 것도 가능하다.
아울러, 데이터베이스부(132)는 사용자가 복수인 경우, 사용자 별로 모션에 대응하는 동작 명령을 각각 저장하고, 또한 사용자 별로 음성에 대응하는 동작 명령을 각각 저장하는 것도 가능하다.
네트워크 인터페이스부(133)는 IP 어드레스를 할당받아서 네트워크 통신을 수행하고, 네트워크를 통해 외부에서 전송된 데이터 패킷을 수신하여 처리하고, 데이터 패킷이 영상, 사운드 등의 멀티미디어 데이터인 경우에는 저장하거나 재생할 수 있도록 제어부에 전송한다.
예를 들어 방송, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신한다. 또한, 펌웨어의 업데이트 정보 및 업데이트 파일도 수신 가능하다.
아울러, 디스플레이 장치는 입력 인터페이스부를 더 포함하는 것도 가능하다. 이 때 입력 인터페이스부는 USB와 같은 외부 저장 장치나 DVD, CD와 같은 광 디스크 장치와 연결되어 멀티미디어 데이터를 제공받고 제공된 멀티미디어 데이터를 제어부에 전송하는 것도 가능하다.
제어부(134)는 디스플레이 장치(1)에 전원이 인가되거나, 입력부(미도시)의 버튼 입력을 통해 인터랙션 모드가 요청되는 경우 영상 수집부(220) 및 사운드 수집부(230)에 동작 명령을 전송한다.
제어부(134)는 인식부(131)에서 인식된 사용자의 등록 여부에 기초하여 인터랙션 모드의 진입 여부를 결정하고, 인식부(131)에서 인식된 사용자가 복수이면 복수의 사용자 중 우선순위가 가장 높은 사용자를 확인하고, 확인된 사용자의 시선의 위치에 기초하여 인터랙션 모드의 진입을 제어한다.
또한 제어부(134)는 사용자가 복수인 경우, 인식 영역에 위치하는 시선이 존재하는지 판단하고, 인식 영역에 위치하는 시선이 존재하면 인식 영역을 주시하고 있는 사용자의 시선에 기초하여 인터랙션 모드의 진입을 제어하는 것도 가능하다.
제어부(134)는 인식부(131)에서 전송된 시선의 위치에 기초하여 사용자가 주시하는 위치를 판단한다. 이때 제어부(134)는 사용자의 시선이 인식 영역에 일정 시간 이상 동안 위치하는지 판단하고, 사용자의 시선이 인식 영역에 일정 시간 이상 동안 위치하면 인터랙션 모드의 진입을 제어한다.
제어부(134)는 인터랙션 모드로 진입하면 표시부(110)의 인식 영역의 표시 정보를 인터랙션 모드 진입 전과 다른 표시 정보로 변경 제어한다.
제어부(134)는 인터랙션 모드로 진입하면 인터랙션을 통해 동작 명령을 입력받기 위한 복수의 인식 모드의 표시를 제어하고, 이때 인식부(131)에서 전송된 시선의 위치와 미리 저장된 복수의 인식 모드 버튼의 위치를 각각 비교하여 사용자가 선택하고자 하는 인식 모드를 판단하고, 판단된 인식 모드에 기초하여 영상 수집부(220) 및 사운드 수집부(230)의 동작을 온오프 제어한다.
예를 들어, 제어부(134)는 복수의 인식 모드 중 음성 인식 모드가 선택된 경우 사운드 수집부(230)의 동작을 온 제어하고 영상 수집부(220)의 동작은 오프 제어하며, 복수의 인식 모드 중 시선 인식 모드나 모션 인식 모드가 선택된 경우 사운드 수집부(230)의 동작을 오프 제어하고 영상 수집부(220)의 동작은 온 제어한다.
여기서 동작 명령은, 표시나 사운드 등의 출력 정보 변경 및 기능 변경 등을 포함한다.
제어부(134)는 인식부(131)에서 전송된 동작 명령에 기초하여 각 구동부(136, 137)의 구동을 제어한다.
제어부(134)는 종료 영역에 시선이 일정 시간 이상 위치하면 인터랙션 모드를 종료 제어한다.
제어부(134)는 종료 영역에 시선이 일정 시간 이상 위치하면 팝업 메뉴의 표시를 제어하는 것도 가능하다. 도 7에 도시된 바와 같이 팝업 메뉴(p1)는 우선 순위 변경 버튼, 볼륨 조정 버튼, 화면 조정 버튼 및 종료 버튼 등을 포함한다.
아울러, 제어부(134)는 인식 모드 수행 중 인식 영역을 주시하면 사용자의 인식 모드 변경 요구로 판단하여 복수의 인식 모드 버튼의 재표시를 제어하는 것도 가능하다.
제어부(134)는 사용자에 의해 요청된 메인 영상 신호의 표시 및 사운드 신호의 출력을 제어하고, 영상 및 사운드 출력 중 인터랙션 모드에 대응하는 영상이 메인 영상에 오버랩되어 표시되도록 제어한다.
저장부(135)는 미리 등록된 복수 사용자의 우선 순위를 저장하고, 인식 영역과 종료 영역의 위치를 저장하며, 인터랙션 모드 진입 전, 인터랙션 모드 진입, 인터랙션 모드 수행에 각각 대응하는 인식 영역의 표시 정보를 저장하고 복수의 인식 모드 버튼의 위치 정보를 저장한다.
표시 구동부(136)는 제어부(134)의 명령에 기초하여 표시부(110)를 구동시키고, 사운드 구동부(137)는 제어부(134)의 명령에 기초하여 사운드 출력부(140)를 구동시킨다.
출력 모듈인 표시부(110)는 구동모듈(130) 내의 제어부(134)의 명령에 기초하여 표시 영역에 영상을 표시하고, 인터랙션 모드 수행에 대응하는 영상을 표시한다.
출력 모듈인 사운드 출력부(140)는 구동모듈 내의 제어부의 명령에 기초하여 사운드를 출력한다. 여기서 사운드 출력부(140)는 디스플레이 장치(1)로부터 분리 가능하다.
즉, 사운드 출력부(140)는 스피커 등으로, 디스플레이 장치(1)와 별도로 마련되고, 사용자의 선택에 따라 디스플레이 장치(1)에 연결 가능하다.
도 8a 및 도 8b는 일 실시예에 따른 디스플레이 장치의 제어 순서도로, 도 1 내지 도 7을 참조하여 설명한다.
디스플레이 장치는 사용자에 의해 전원이 인가되면 영상 수집부(220)를 동작시켜 영상을 수집(301)한다.
다음 디스플레이 장치는 수집된 영상에서 배경 영역을 제거하여 사용자의 영상을 획득하고, 획득된 영상의 에지 정보 및 색상 정보를 이용하여 얼굴 영역을 추출하며, 이 얼굴 영역에서 눈, 코, 입 등의 특징점을 추출하여 얼굴을 인식(302)한다.
다음 디스플레이 장치는 인식된 얼굴의 수에 기초하여 인식된 사용자의 수를 확인(303)하고, 확인된 사용자의 수가 복수인지 판단(304)한다.
이때 확인된 사용자의 수가 한 명이면 인식된 얼굴과 미리 등록된 사용자의 얼굴 영상을 비교하여 인식된 얼굴의 사용자가 미리 등록된 사용자인지 판단(305)하고, 얼굴이 인식된 사용자가 미리 등록된 사용자가 아니라고 판단되면 인터랙션 모드의 수행이 불가함을 표시부(110)를 통해 표시(306)하고, 인식된 얼굴의 사용자가 미리 등록된 사용자이면 인식된 얼굴의 동공을 인식하여 시선을 추적(310)한다.
반면 디스플레이 장치는 인식된 사용자의 수가 복수이면 인식된 복수의 얼굴과 미리 등록된 사용자의 얼굴 영상을 각각 비교하여 인식된 복수의 사용자 중 미리 등록된 사용자를 확인하고, 미리 등록된 사용자로 판단된 사용자의 수를 확인(307)하고, 확인된 수가 복수인지 판단(308)한다.
디스플레이 장치는 미리 등록된 사용자가 복수 명 인식되었다고 판단되면 인식된 복수의 사용자 중 우선 순위가 가장 높은 사용자를 판단(309)하고, 판단된 사용자의 동공을 인식하여 시선을 추적(310)한다.
다음 디스플레이 장치는 인식된 시선이 인식 영역에 위치하는지 판단(311)하고, 인식된 시선이 인식 영역에 위치하고 있다고 판단되면 인식된 시선이 인식 영역을 미리 설정된 일정 시간 이상 주시하고 있는지 판단한다.
다음 디스플레이 장치는 인식된 시선이 인식 영역을 미리 설정된 일정 시간 이상 주시하고 있다고 판단되면 인터랙션 모드를 진입(312)하고, 인터랙션 모드로 진입됨을 사용자가 인식할 수 있도록 표시부(110) 내 인식 영역의 표시 정보를 변경하여 표시(313)한다.
예를 들어, 도 3에 도시된 바와 같이 인식 영역(110b) 내에 아이콘을 표시하거나 인식 영역(110b)의 색상을 변경한다.
다음 디스플레이 장치는 동작 명령을 입력받기 위한 복수의 인식 모드를 표시하고, 사용자의 시선의 위치를 확인(314)한 후 확인된 시선의 위치에 기초하여 사용자에 의해 선택된 인식 모드를 판단(315)한다.
즉, 디스플레이 장치는 복수의 인식 모드 버튼의 위치 중 확인된 시선의 위치와 매치되는 위치를 판단함으로써 사용자에 의해 선택된 인식 모드를 판단한다.
이때, 디스플레이 장치는 사용자가 시선의 위치를 확인할 수 있도록 표시부에 사용자의 시선의 위치를 실시간으로 커서로 표시한다.
다음 디스플레이 장치는 판단된 인식 모드를 수행(316)하고, 인식 모드 수행에 따른 인식 결과에 기초하여 동작 명령을 인식하고, 인식된 동작 명령에 기초하여 각 구동부를 동작(317)시킨다.
각 인식 모드의 선택에 따라 동작 명령을 인식하는 구성을 좀 더 구체적으로 설명하도록 한다.
(1) 디스플레이 장치는 사용자에 의해 모션 인식이 선택된 경우, 영상 수집부의 동작을 유지시키고, 영상 수집부를 통해 수집된 영상으로부터 배경 영역을 제거하여 사용자의 신체의 영상을 획득하고, 획득된 사용자의 신체 영상에서 에지, 색상 정보를 이용하여 사용자의 얼굴, 팔, 손, 몸통, 다리 및 발 영역을 추출하며, 추출된 얼굴, 팔, 손, 몸통, 다리, 발 등에서 특징점을 추출하여 사용자가 취한 모션을 인식하고, 데이터베이스부(132)에 저장된 모션 중 인식된 모션과 매치되는 모션을 검색하고, 검색된 모션에 대응하는 동작 명령을 인식한다.
다음 디스플레이 장치는 인식된 동작 명령에 기초하여 각 구동부(136, 137)을 구동시킴으로써 표시부(110)를 통해 사용자가 요구한 컨텐츠의 영상이 표시되도록 하고 또한 사운드 출력부(140)를 통해 사용자가 요구한 컨텐츠의 사운드가 출력되도록 한다.
(2) 디스플레이 장치는 사용자에 의해 음성 인식이 선택된 경우, 사운드 수집부를 동작시키고 사운드 수집부(230)에서 수집된 사운드로부터 노이즈를 제거하여 사용자가 발성한 음성을 획득하고, 사용자가 발성한 음성으로부터 특징 벡터를 추출하고 추출된 특징 벡터와 데이터베이스부(132)에 저장된 각 단어의 언어 모델 또는 음소 단위의 음향 모델을 비교하여 후보 단어 또는 후보 음소를 추출하고, 후보 단어 또는 후보 음소를 기초로 문장을 인식하고 데이터베이스부(132)에 저장된 문장 중 인식된 문장과 매치되는 문장을 검색하고, 검색된 문장에 대응하는 동작 명령을 인식한다.
다음 디스플레이 장치는 인식된 동작 명령에 기초하여 각 구동부(136, 137)을 구동시킴으로써 표시부(110)를 통해 사용자가 요구한 컨텐츠의 영상이 표시되도록 하고 또한 사운드 출력부(140)를 통해 사용자가 요구한 컨텐츠의 사운드가 출력되도록 한다.
(3) 디스플레이 장치는 사용자에 의해 시선 인식이 선택된 경우, 영상 수집부의 동작을 유지시키고, 표시부(110)에 팝업 메뉴를 표시하며 영상 수집부(220)에서 수집된 영상을 이용하여 사용자의 얼굴 및 동공을 인식하고 인식된 동공에 기초하여 시선을 추적하고 추적된 시선의 위치를 확인함으로써 팝업 메뉴 중 사용자에 의해 선택된 메뉴에 대응하는 동작을 수행한다.
여기서 팝업 메뉴는 복수의 메뉴를 포함하고, 복수의 메뉴는 동작 명령을 가진 버튼으로 이루어진다.
즉 디스플레이 장치는 팝업 메뉴 내 복수의 동작 명령 버튼의 위치 중 사용자의 시선의 위치와 매치되는 위치를 가진 버튼을 확인하고, 확인된 버튼에 대응하는 동작을 수행한다.
예를 들어, 도 7에 도시된 바와 같이 우선 순위 변경 버튼, 볼륨 조정 버튼, 화면 조정 버튼 및 종료 버튼을 가진 팝업 메뉴(p1)가 표시된 경우, 시선의 위치가 볼륨 조정 버튼이면 표시부(110)에 볼륨 조정을 위한 업/다운 버튼을 표시하고, 이때 사용자의 시선이 볼륨 업 버튼 상에 위치하면 볼륨을 업시키고, 볼륨 다운 버튼 상에 위치하면 볼륨을 다운시킨다.
아울러, 시선 인식을 통한 메뉴 선택 여부는 눈의 깜빡임 또는 시선이 버튼에 위치하는 시간에 기초하여 판단한다.
디스플레이 장치는 네트워크 인터페이스부(134) 또는 입력 인터페이스부를 통해 전송된 컨텐츠 등을 표시부에 표시한다. 이때 디스플레이 장치는 사용자에 의해 요청된 메인 영상 신호의 표시 및 사운드 신호의 출력을 제어하고, 영상 및 사운드 출력 중 인터랙션 모드에 따른 영상이 메인 영상에 오버랩되어 표시되도록 제어한다.
다음 디스플레이 장치는 표시부(110)의 종료 영역에 시선이 일정 시간 이상 위치하면 인터랙션 모드를 종료하고, 이 후 사용자의 시선이 인식 영역에 다시 위치하면 사용자의 인식 모드 변경 요구로 판단하여 복수의 인식 모드 버튼을 재표시한다.
아울러 디스플레이 장치는 표시부(110)의 외부에 시선이 일정 시간 이상 위치하면 인터랙션 모드를 종료하는 것도 가능하다.
도 9는 다른 실시예에 따른 디스플레이 장치의 예시도로, 다른 실시예에 따른 디스플레이 장치(1)는 사용자의 명령을 입력받기 위한 수집 모듈로 영상 수집부(220)와 사운드 수집부(230)를 포함하고, 동작 명령에 기초하여 동작을 제어하기 위한 구동 모듈(150)을 포함하며, 동작 수행을 출력하기 위한 출력 모듈로 표시부(110)와 사운드 출력부(140)를 포함한다.
여기서 영상 수집부(220), 사운드 수집부(230), 표시부(110)와 사운드 출력부(140)는 일 실시예와 동일하여 설명을 생략한다.
구동 모듈(150)은 인식부(151), 데이터베이스부(152), 네트워크 인터페이스부(153), 제어부(154), 저장부(155), 표시 구동부(156) 및 사운드 구동부(157)를 포함한다.
인식부(151)는 영상 수집부(220) 및 사운드 수집부(230) 중 적어도 하나의 수집부에서 수집된 정보의 신호를 수신하고, 수신된 신호에 기초하여 사용자 인식 및 사용자가 의도한 동작 명령을 인식하고, 인식된 동작 명령을 제어부(154)에 전송한다.
인식부(151)는 모션을 취한 사용자와 인식 영역을 주시하는 사용자가 동일한 사용자인지 판단하고, 동일한 사용자라고 판단되면 시선이 인식 영역에 위치하는 상태에서 인식된 모션에 대응하는 동작 명령을 인식한다.
또한 인식부(151)는 음성을 발성한 사용자와 인식 영역을 주시하는 사용자가 동일한 사용자인지 판단하고, 동일한 사용자라고 판단되면 시선이 인식 영역에 위치하는 상태에서 인식된 음성에 대응하는 동작 명령을 인식한다.
이러한 인식부(151)는 사용자의 얼굴 및 시선을 인식하기 위한 제1인식부와, 기능 수행 및 사용자의 동작 명령을 인식하기 위한 제2인식부를 포함하고, 제1인식부와 제2인식부는 일 실시예의 제1인식부(131-1) 및 제2인식부(131-2)와 동일하여 설명을 생략한다.
데이터베이스부(152)는 사용자의 얼굴 영상 및 동공 정보를 매칭시켜 저장하고, 또한 사용자의 음성 정보 및 동공 정보를 매칭시켜 저장한다.
그 외 데이터베이스부(152)의 구성 및 네트워크 인터페이스부(153)의 구성은 일 실시예의 데이터베이스부(132) 및 네트워크 인터페이스부(133)와 동일하여 설명을 생략한다.
제어부(154)는 디스플레이 장치(1)에 전원이 인가되거나, 입력부(미도시)의 버튼 입력을 통해 인터랙션 모드가 요청되는 경우 영상 수집부(220) 및 사운드 수집부(230)에 동작 명령을 전송한다.
제어부(154)는 인식부(151)에서 인식된 사용자의 등록 여부에 기초하여 인터랙션 모드의 진입 여부를 결정하고, 인식부(151)에서 인식된 사용자가 복수이면 복수의 사용자 중 우선순위가 가장 높은 사용자를 확인하고, 확인된 사용자의 시선의 위치에 기초하여 인터랙션 모드의 진입을 제어한다.
제어부(154)는 사용자의 시선이 인식 영역에 일정 시간 이상 동안 위치하는지 판단하고, 사용자의 시선이 인식 영역에 일정 시간 이상 동안 위치하면 인터랙션 모드의 진입을 제어한다.
제어부(154)는 인터랙션 모드로 진입하면 사용자의 명령을 입력받기 위한 복수의 인식 모드의 표시를 제어하고, 이때 인식부(151)에서 전송된 시선의 위치와 미리 저장된 복수의 인식 모드 버튼의 위치를 각각 비교하여 사용자가 선택하고자 하는 인식 모드를 판단하고, 판단된 인식 모드에 기초하여 영상 수집부(220) 및 사운드 수집부(230)의 동작을 온오프 제어한다.
여기서 복수의 인식 모드는 모션 인식 및 음성 인식을 포함한다.
제어부(154)는 모션 인식이 선택되면 시선 인식 및 모션 인식을 조합한 제1멀티모달 모드(Multi-Modal Mode)에 대응하는 동작 명령을 수신하고, 음성 인식이 선택되면 시선 인식 및 음성 인식을 조합한 제2멀티모달 모드에 대응하는 동작 명령을 수신한다.
제어부(154)는 동작 명령을 기초하여 각 구동부(156, 157)의 구동을 제어한다.
제어부(154)는 종료 영역에 시선이 일정 시간 이상 위치하면 인터랙션 모드를 종료 제어한다.
제어부(154)는 사용자에 의해 요청된 메인 영상 신호의 표시 및 사운드 신호의 출력을 제어한다.
저장부(155)는 미리 등록된 복수 사용자의 우선 순위를 저장하고, 인식 영역과 종료 영역의 위치를 저장하며, 인터랙션 모드 진입 전, 인터랙션 모드 진입, 인터랙션 모드 수행에 각각 대응하는 인식 영역의 표시 정보를 저장하고 복수의 인식 모드 버튼의 위치 정보를 저장한다.
표시 구동부(156) 및 사운드 구동부(157)는 일 실시예의 표시 구동부 및 사운드 구동부와 동일하여 설명을 생략한다.
도 10은 다른 실시예에 따른 디스플레이 장치의 제어 순서도로, 도 9 및 도 11 을 참조하여 설명한다.
디스플레이 장치는 사용자에 의해 전원이 인가되면 영상 수집부(220)를 동작시켜 영상을 수집하고, 수집된 영상에 기초하여 얼굴을 인식하고, 인식된 얼굴에 기초하여 인식된 사용자의 수를 확인한다.
다음 디스플레이 장치는 확인된 사용자의 수가 복수인지 판단하고, 인식된 복수의 사용자 중 미리 등록된 사용자를 판단하고, 인식된 복수의 사용자 중 미리 등록된 사용자의 수가 복수인지 판단한다.
다음 디스플레이 장치는 인식된 복수의 사용자 중 미리 등록된 사용자의 수가 복수이면 인식된 복수의 사용자 중 우선 순위가 가장 높은 사용자를 판단하고, 판단된 사용자의 동공을 인식하여 시선을 인식한다.
다음 디스플레이 장치는 인식된 시선이 인식 영역에 위치하는지 판단하고, 인식된 시선이 인식 영역에 위치하고 있다고 판단되면 인식된 시선이 인식 영역을 미리 설정된 일정 시간 이상 주시하고 있는지 판단하고 이때 인식된 시선이 인식 영역을 미리 설정된 일정 시간 이상 주시하고 있다고 판단되면 인터랙션 모드를 진입(401)하고, 인터랙션 모드로 진입됨을 사용자가 인식할 수 있도록 표시부(110) 내 인식 영역의 표시 정보를 변경하여 표시(402)한다.
이상의 과정은 일 실시예와 동일하다.
다음 디스플레이 장치는 동작 명령을 입력받기 위한 복수의 인식 모드를 표시하고, 사용자의 시선의 위치를 확인(403)한 후 확인된 시선의 위치에 기초하여 사용자에 의해 선택된 인식 모드를 판단(404)한다.
즉, 디스플레이 장치는 복수의 인식 모드 버튼의 위치 중 확인된 시선의 위치와 매치되는 위치를 판단함으로써 사용자에 의해 선택된 인식 모드를 판단한다.
이때, 디스플레이 장치는 사용자가 시선의 위치를 확인할 수 있도록 표시부(110)에 사용자의 시선의 위치를 커서로 실시간 표시한다.
다음 디스플레이 장치는 판단된 인식 모드와 시선 인식 모드를 조합한 멀티 모달 모드를 수행(405)하고, 멀티 모달 모드 수행에 따른 인식 결과에 기초하여 동작 명령을 인식하고, 인식된 동작 명령에 기초하여 각 구동부를 동작(406)시킨다.
이때 디스플레이 장치는 모션 인식과 시선 인식 모드를 조합한 제1 멀티 모달 모드를 수행하기 전에, 모션을 취하는 사용자와 인식 영역을 주시하는 사용자가 동일인인지 판단하고, 동일인이라고 판단되면 제1멀티 모달 모드에 기초하여 인터랙션 모드를 수행하고, 동일인이 아니라고 판단되면 인터랙션 모드의 수행 불가를 표시하는 것도 가능하다.
또한 디스플레이 장치는 음성 인식과 시선 인식 모드를 조합한 제2 멀티 모달 모드를 수행하기 전에, 음성을 발성한 사용자와 인식 영역을 주시하는 사용자가 동일인인지 판단하고, 동일인이라고 판단되면 제2멀티 모달 모드에 기초하여 인터랙션 모드를 수행하고, 동일인이 아니라고 판단되면 인터랙션 모드의 수행 불가를 표시하는 것도 가능하다.
멀티 모달 모드에 따라 동작 명령을 인식하는 구성을 좀 더 구체적으로 설명하도록 한다.
(1) 디스플레이 장치는 사용자에 의해 모션 인식이 선택된 경우, 모션 인식 모드와 시선 인식 모드를 조합한 제1멀티 모달 모드를 수행한다. 이때 영상 수집부(220)의 동작을 유지시키고, 인식 영역에 시선이 위치하는지 판단하고 인식 영역에 시선이 위치하고 있다고 판단되면 인식 영역에 시선이 위치하고 있는 상태에서 사용자가 취한 모션을 인식하고, 인식된 모션에 대응하는 동작 명령을 인식한다.
즉, 영상 수집부(220)를 통해 수집된 영상으로부터 배경 영역을 제거하여 사용자의 신체의 영상을 획득하고, 획득된 사용자의 신체 영상에서 에지, 색상 정보를 이용하여 사용자의 얼굴, 팔, 손, 몸통, 다리 및 발 영역을 추출하며, 추출된 얼굴, 팔, 손, 몸통, 다리, 발 등에서 특징점을 추출하여 사용자가 취한 모션을 인식하고, 데이터베이스부(152)에 저장된 모션 중 인식된 모션과 매치되는 모션을 검색하고, 검색된 모션에 대응하는 동작 명령을 인식한다.
다음 디스플레이 장치는 인식된 동작 명령에 기초하여 각 구동부(156, 157)을 구동시킴으로써 표시부(110)를 통해 사용자가 요구한 컨텐츠의 영상이 표시되도록 하고 또한 사운드 출력부(140)를 통해 사용자가 요구한 컨텐츠의 사운드가 출력되도록 한다.
이 예를 도 11을 참조하여 설명한다.
도 11에 도시된 바와 같이, 디스플레이 장치는 표시부의 표시 영역(110a)에 복수의 기능을 표시한 상태에서 제1멀티 모달 모드가 수행 중이면 영상 수집부를 이용하여 사용자의 시선 및 모션을 인식한다.
사용자가 인식 영역(110b)을 주시하고 동시에 하나의 손가락을 편 모션을 취했다고 가정하면, 디스플레이 장치는 인식 영역에 위치하는 시선을 인식함과 동시에 손가락 하나를 편 모션을 인식하고, 손가락을 하나 편 모션에 대응하는 동작 명령을 인식한다.
이때 손가락을 하나 편 모션에 대응하는 동작 명령이 '검색'이면 네트워크 인터페이스부를 통해 인터넷을 연결하여 검색이 가능하도록 한다.
(2) 디스플레이 장치는 사용자에 의해 음성 인식이 선택된 경우, 음성 인식 모드와 시선 인식 모드를 조합한 제2멀티 모달 모드를 수행한다. 이때 사운드 수집부(230)를 동작시키고, 인식 영역에 시선이 위치하는지 판단하고 인식 영역에 시선이 위치하고 있다고 판단되면 인식 영역에 시선이 위치하고 있는 상태에서 사용자가 발성한 음성을 인식하고, 인식된 음성에 대응하는 동작 명령을 인식한다.
즉 사운드 수집부(230)를 동작시키고 사운드 수집부(230)에서 수집된 사운드로부터 노이즈를 제거하여 사용자가 발성한 음성을 획득하고, 사용자가 발성한 음성으로부터 특징 벡터를 추출하고 추출된 특징 벡터와 데이터베이스부(152)에 저장된 각 단어의 언어 모델 또는 음소 단위의 음향 모델을 비교하여 후보 단어 또는 후보 음소를 추출하고, 후보 단어 또는 후보 음소를 기초로 문장을 인식하고 데이터베이스부(152)에 저장된 문장 중 인식된 문장과 매치되는 문장을 검색하고, 검색된 문장에 대응하는 동작 명령을 인식한다.
다음 디스플레이 장치는 인식된 동작 명령에 기초하여 각 구동부(156, 157)을 구동시킴으로써 표시부(110)를 통해 사용자가 요구한 컨텐츠의 영상이 표시되도록 하고 또한 사운드 출력부(140)를 통해 사용자가 요구한 컨텐츠의 사운드가 출력되도록 한다.
이 예를 도 11을 참조하여 설명한다.
도 11에 도시된 바와 같이, 디스플레이 장치는 표시부의 표시 영역(110a)에 복수의 기능을 표시한 상태에서 제2멀티 모달 모드가 수행 중이면 영상 수집부 및 사운드 수집부를 이용하여 사용자의 시선 및 음성을 인식한다.
사용자가 인식 영역(110b)을 주시하고 동시에 '삼'을 발성했다고 가정하면, 디스플레이 장치는 인식 영역에 위치하는 시선을 인식함과 동시에 음성 '삼'을 인식하고, 음성 '삼'에 대응하는 동작 명령을 인식한다.
이때 음성 '삼'에 대응하는 동작 명령이 '영화'이면 네트워크 인터페이스부를 통해 다운로드된 영화나, 별도의 저장 장치에 저장된 영화를 재생하거나, 영화에 대한 하위 목록을 표시한다.
디스플레이 장치는 표시부에 메인 영상 표시 중 인터랙션 모드가 수행되면 인터랙션 모드에 대응하는 영상을 메인 영상에 오버랩시켜 표시한다.
다음 디스플레이 장치는 표시부(110)의 종료 영역에 시선이 일정 시간 이상 위치하면 인터랙션 모드를 종료하고, 이 후 사용자의 시선이 인식 영역에 다시 위치하면 사용자의 인터랙션 모드의 진입을 재수행하고, 이를 표시부에 다시 표시한다.
도 12는 또 다른 실시예에 따른 디스플레이 장치의 예시도이다. 또 다른 실시예에 따른 디스플레이 장치로 텔레비전을 예를 들어 설명한다.
또 다른 실시예에 따른 디스플레이 장치인 텔레비전은 영상을 디스플레이하는 본체(100)와, 본체(100)의 하단에 장착되어 본체(100)를 하측에서 지지하는 스탠드(160) 및 사용자의 명령을 입력받기 위한 리모컨(170)을 더 포함한다.
여기서 스탠드(160)는 분리 가능하게 본체(100)에 결합된다. 아울러 디스플레이 장치인 텔레비전은 브라켓 등을 더 포함하고, 이 브라켓을 이용하여 벽에 본체(100)를 설치하는 것도 가능하다. 이때 스탠드는 생략 가능하다.
본체(100)는 영상을 표시하는 표시부(110)와, 영상이 비표시되는 영역을 커버하는 베젤(120)을 포함한다. 이러한 본체(100)의 구성은 일 실시예와 동일하여 설명한다.
본체(100)는 텔레비전의 동작 명령을 입력받기 위한 복수의 버튼을 가지는 입력부(미도시)를 더 포함하는 것도 가능하다.
수집 모듈(200)은 본체(100)의 베젤(120) 상측에 위치하고 사용자 및 그 주변의 영상 및 사운드를 획득하고 획득된 영상 및 사운드를 구동 모듈로 전송한다.
수집 모듈(200)은 본체(100)의 베젤(120) 상단 뿐만 아니라 사용자의 정보를 수집하기 용이한 위치에 장착하는 것도 가능하다.
또한 수집 모듈(200)은 텔레비전과 별도로 마련하는 것도 가능하다. 즉 수집 모듈(200)은 본체(100)로부터 분리 가능하게 마련되고 본체(100)에 연결 시 본체(100)에 마련된 인터페이스 장치(미도시)에 연결된다.
이러한 수집 모듈(200)은 일 실시예와 동일하여 설명을 생략한다.
리모컨(170)은 사용자의 편의를 위해 텔레비전을 원격에서 제어하기 위한 장치이다.
텔레비전을 원격 조정하는 리모컨은, 다수의 기능 선택 버튼, 숫자 버튼, 전원 온오프 버튼, 채널 변경 버튼 및 볼륨 조절 버튼 등 복수의 버튼(171)과, 사용자의 음성 신호를 수집하는 제2 마이크로 폰(172)과, 복수 버튼(410)의 신호 및 음성 신호를 입력받아 동작 신호를 생성하는 제2마이컴(미도시), 제2마이컴에서 생성된 동작 신호를 송신하는 통신부(173)와, 제2마이크로폰, 복수의 버튼, 마이컴 및 통신부에 구동 전원을 공급하는 배터리를 포함한다.
여기서 제2사운드 수집부(172)는 항상 동작 상태를 유지한다.
이러한 리모컨(170)은 텔레비전을 시청하는 사용자의 조작에 대응하여 채널 변경 신호를 텔레비전으로 전송하거나 볼륨 조절 신호 등의 동작 신호를 텔레비전으로 전송한다. 이로 인해 사용자는 텔레비전의 각종 기능들을 편리하게 조정할 수 있다.
아울러 방송 시청 및 인터넷 가능한 디스플레이 장치를 제어하기 위한 리모컨은, 방송 시청을 제어하기 위한 버튼 이외에도 인터넷 기능을 선택 및 제어하기 위한 복수의 버튼들을 포함한다.
도 13은 또 다른 실시예에 따른 디스플레이 장치인 텔레비전의 제어 구성도이다.
또 다른 실시예에 따른 디스플레이 장치인 텔레비전은 사용자의 명령을 수집하여 생성된 인터랙션 정보, 본체(100)에 마련된 입력부(미도시)의 신호 또는 리모컨(170)의 신호에 기초하여 동작한다.
이러한 텔레비전은 사용자의 명령을 입력받기 위해 사용자의 명령을 수집하는 수집 모듈로 영상 수집부(220)와 사운드 수집부(230)를 포함하고, 사용자의 명령에 기초하여 동작을 제어하기 위한 구동 모듈(180)을 포함하며, 동작 수행을 출력하기 위한 출력 모듈로 표시부(110)과 사운드 출력부(140)를 포함한다.
여기서 구동 모듈(180)은 입력부(미도시)의 신호 또는 리모컨(170)의 신호에 기초하여 표시부(110) 및 사운드 출력부(140) 중 적어도 하나의 동작을 제어한다.
즉 구동 모듈(180)은 영상 수집부(220) 및 사운드 수집부(230) 중 적어도 하나의 수집부에서 수집된 정보에 기초하여 인터랙션 모드의 진입 및 종료를 제어하고, 인터랙션 모드 진입 후 인터랙션 모드를 수행하여 표시부(110) 및 사운드 출력부(140) 중 적어도 하나의 동작을 제어한다.
이러한 텔레비전의 구동 모듈(180)은 방송부(181), 인터페이스부(182), 인식부(183), 데이터베이스부(184), 수신부(185), 제어부(186), 저장부(187) 및 구동부(188)를 포함한다.
방송부(181)는 튜너부(181a)와 신호 처리부(181b)를 포함한다.
튜너부(181a)는 제어부(186)의 튜닝 제어신호에 따라 그에 대응하는 주파수 대역을 갖는 방송 신호를 방송국 또는 위성으로부터 유선 또는 무선으로 수신하여 튜닝한다.
신호 처리부(171b)는 방송 신호를 영상 데이터를 가진 영상 신호, 사운드 데이터를 가진 사운드 신호, 부가 데이터를 가진 부가 신호로 분리하고, 분리된 영상 데이터의 신호 및 사운드 데이터의 신호를 각각 신호 처리하며 부가 데이터를 GUI생성부(미도시)로 전송한다. 여기서 부가 데이터는 EPG(Electronic Program Guide)를 포함한다.
신호 처리부(171b)는 네트워크 인터페이스부(182b)로부터 전송된 신호를 영상 데이터를 가진 영상 신호, 사운드 데이터를 가진 사운드 신호로 분리하고, 분리된 영상 신호 및 사운드 신호를 각각 신호 처리하는 것도 가능하다.
인터페이스부(182)는 입력 인터페이스부(182a) 및 네트워크 인터페이스부(182b)를 포함한다.
입력 인터페이스부(182a)는 수집모듈(200)이 연결되고, 수집 모듈(200)에서 수집된 영상 신호 및 사운드 신호를 수신하여 인식부(183)에 전송한다.
네트워크 인터페이스부(182b)는 IP 어드레스를 할당받아서 네트워크 통신을 수행하고, 네트워크를 통해 외부에서 전송된 데이터 패킷을 수신하여 처리하고, 데이터 패킷이 영상, 사운드 등의 멀티미디어 데이터인 경우에는 저장하거나 재생할 수 있도록 제어부(186)에 전송한다.
인식부(183)는 사용자의 얼굴 및 동공을 인식한 후 인식된 동공의 정보에 기초하여 사용자의 시선을 인식하고, 사용자의 명령을 인식한다.
인식부(183)는 수신부(185)에서 전송된 사운드 신호에서 사용자의 음성을 인식하고, 인식된 음성에 대응하는 동작 명령을 인식한다.
그 외 인식부(183)의 구성은 일 실시예와 동일하여 설명을 생략한다.
데이터베이스부(184)는 일 실시예와 동일하여 설명을 생략한다.
수신부(185)는 리모컨(170)에 마련된 복수 버튼(171) 중 어느 하나의 버튼 신호 및 리모컨(170)에 마련된 제2사운드 수집부(172)의 사운드 신호를 수신한다.
수신부(185)는 수신된 리모컨의 버튼 신호 및 사운드 신호를 인식부(183) 및 제어부(183)에 전송한다.
제어부(186)는 신호 처리부(181b)에서 신호 처리된 영상 데이터가 표시부(110)에 표시되도록 제어하고, 신호 처리된 사운드가 사운드 출력부(140)를 통해 출력되도록 제어한다.
제어부(186)는 리모컨(170)으로부터 전달되는 버튼 신호에 기초하여 사용자 명령을 판단하고, 판단된 사용자 명령에 따라 표시부(110)의 구동을 제어하며, 리모컨(170)을 통해 인터넷 기능 수행 요청 신호가 수신되면 네트워크 인터페이스부를 제어하여 인터넷 연결을 제어하고, 인식 영역에 사용자의 시선이 위치하면 수집 모듈의 구동을 제어하여 인터랙션 모드가 수행되도록 한다.
인터랙션 모드 진입, 인터랙션 모드 수행을 제어하는 제어부(186)의 구성은 일 실시예와 동일하여 설명을 생략한다.
저장부(187)는 일 실시예와 동일하여 설명을 생략한다.
구동부(188)는 표시 구동부(188a) 및 사운드 구동부(188b)를 포함한다. 여기서 표시 구동부(188a) 및 사운드 구동부(188b)는 일 실시예와 동일하여 설명을 생략한다.
도 14는 또 다른 실시예에 따른 디스플레이 장치인 텔레비전의 제어 구성도이다.
우선, 텔레비전은 전원이 인가되면 영상 수집부(220)를 동작시켜 영상을 수집하고, 수집된 영상에 기초하여 얼굴을 인식하고, 인식된 얼굴에 기초하여 사용자의 동공을 인식하고, 동공의 위치에 대응하는 시선을 인식(501)한다.
다음 텔레비전은 인식된 시선이 인식 영역에 위치하는지 판단(502)하고, 인식된 시선이 인식 영역에 위치하고 있다고 판단되면 인식된 시선이 인식 영역을 미리 설정된 일정 시간 이상 주시하고 있는지 판단(503)하고 이때 인식된 시선이 인식 영역을 미리 설정된 일정 시간 이상 주시하고 있다고 판단되면 인터랙션 모드를 진입(504)하고, 인터랙션 모드로 진입됨을 사용자가 인식할 수 있도록 표시부(110) 내 인식 영역의 표시 정보를 변경하여 표시한다.
이상의 과정은 일 실시예와 동일하다.
다음 텔레비전은 동작 명령을 입력받기 위한 복수의 인식 모드를 표시(505)하고, 사용자의 시선의 위치를 확인한 후 확인된 시선의 위치에 기초하여 사용자에 의해 선택된 인식 모드를 판단(506)한다.
즉, 텔레비전은 복수의 인식 모드 버튼의 위치 중 확인된 시선의 위치와 매치되는 위치를 판단함으로써 사용자가 선택한 인식 모드를 판단한다.
이때, 텔레비전은 사용자가 시선의 위치를 확인할 수 있도록 표시부(110)에 사용자의 시선의 위치를 실시간으로 커서로 표시한다.
다음 텔레비전은 판단된 인식 모드를 수행(507)하고, 인식 모드 수행에 따른 인식 결과에 기초하여 동작 명령을 인식하고, 인식된 동작 명령에 기초하여 각 구동부를 동작(508)시킨다.
각 인식 모드의 선택에 따라 동작 명령을 인식하는 구성을 좀 더 구체적으로 설명하도록 한다.
(1) 텔레비전은 사용자에 의해 모션 인식이 선택된 경우, 사용자가 취한 모션을 인식하고, 데이터베이스부(184)에 저장된 모션 중 인식된 모션과 매치되는 모션을 검색하고, 검색된 모션에 대응하는 동작 명령을 인식한다.
다음 텔레비전은 인식된 동작 명령에 기초하여 구동부(188)을 구동시킴으로써 표시부(110)를 통해 사용자가 요구한 방송 또는 컨텐츠의 영상이 표시되도록 하고 또한 사운드 출력부(140)를 통해 사용자가 요구한 방송 또는 컨텐츠의 사운드가 출력되도록 한다.
(2) 텔레비전은 사용자에 의해 음성 인식이 선택된 경우, 제1사운드 수집부(230)를 동작시키고 제1사운드 수집부(230) 또는 제2사운드 수집부(172)에서 수집된 사운드 내의 음성이 가진 문장을 인식하고, 데이터베이스부(184)에 저장된 문장 중 인식된 문장과 매치되는 문장을 검색하고, 검색된 문장에 대응하는 동작 명령을 인식한다.
다음 텔레비전은 인식된 동작 명령에 기초하여 구동부(188)을 구동시킴으로써 표시부(110)를 통해 사용자가 요구한 방송 또는 컨텐츠의 영상이 표시되도록 하고 또한 사운드 출력부(140)를 통해 사용자가 요구한 방송 또는 컨텐츠의 사운드가 출력되도록 한다.
(3) 텔레비전은 사용자에 의해 시선 인식이 선택된 경우, 영상 수집부의 동작을 유지시키고, 표시부(110)에 팝업 메뉴를 표시하며 영상 수집부(220)에서 수집된 영상을 이용하여 사용자의 얼굴 및 동공을 인식하고 인식된 동공에 기초하여 시선을 추적하고 추적된 시선의 위치를 확인함으로써 팝업 메뉴 중 사용자에 의해 선택된 메뉴에 대응하는 동작을 수행한다.
여기서 팝업 메뉴는 복수의 메뉴를 포함하고, 복수의 메뉴는 동작 명령을 가진 버튼으로 이루어진다.
즉 텔레비전은 팝업 메뉴 내 복수의 동작 명령 버튼의 위치 중 사용자의 시선의 위치와 매치되는 위치를 가진 버튼을 확인하고, 확인된 버튼에 대응하는 동작을 수행한다. 이를 도 15 및 도 16을 예를 들어 설명한다.
도 15에 도시된 바와 같이 표시부(110)에 기능 변경 버튼, 채널/볼륨 조정 버튼, 인식 모드 변경, 화면 조정 버튼 및 종료 버튼을 가진 팝업 메뉴(p2)가 표시된 경우, 각 버튼의 위치 중 시선의 위치가 매치되는 위치를 가진 버튼을 판단한다. 여기서 기능은 방송 기능, 인터넷 기능, 외부 기기와의 통신 기능 등을 포함한다.
시선의 위치가 채널/볼륨 조정 버튼의 위치이면 도 16에 도시된 바와 같이 표시부(110)에 볼륨 조정을 위한 볼륨 업/다운 버튼(a5), 채널 조정을 위한 채널 업/다운 버튼(a6) 및 시선의 위치를 나타내는 커서(a4)를 표시한다.
다음 텔레비전은 사용자의 시선의 위치와 볼륨 업/다운 버튼(a5) 및 채널 업/다운 버튼(a6)의 위치를 비교하여 채널 또는 볼륨을 업시키거나 다운시킨다.
아울러, 시선 인식을 통한 버튼 선택 여부는 눈의 깜빡임 또는 시선이 버튼에 위치하는 시간에 기초하여 판단하는 것도 가능하다.
이때 텔레비전은 표시부에 표시되는 메인 영상에 시선 인식을 위한 버튼을 오버랩하여 표시한다.
다음 텔레비전은 표시부(110)의 종료 영역에 시선이 일정 시간 이상 위치하면 인터랙션 모드를 종료하고, 이 후 사용자의 시선이 인식 영역에 다시 위치하면 사용자의 인식 모드 변경 요구로 판단하여 복수의 인식 모드 버튼을 재표시한다.
아울러 텔레비전은 표시부(110)의 외부에 시선이 일정 시간 이상 위치하면 인터랙션 모드를 종료하는 것도 가능하다.
100: 본체 110: 표시부
120: 베젤 130, 150, 180: 구동 모듈
200: 수집 모듈

Claims (34)

  1. 전면에 영상 표시가 가능한 제1영역과 영상 표시가 불가능한 제2영역을 가지는 디스플레이 장치에 있어서,
    상기 제1영역에 영상을 표시하는 디스플레이 패널;
    상기 제2영역에 배치된 마이크로폰;
    상기 제2영역에 상기 마이크로폰과 일렬로 배치된 카메라;
    상기 디스플레이 장치의 후면에 마련된 커버;
    미리 등록된 사용자의 얼굴에 대응하는 정보를 저장하는 저장부; 및
    상기 디스플레이 패널과 상기 커버 사이에 마련되고, 상기 카메라에 의해 획득된 영상 데이터를 기반으로 얼굴 인식과 시선 인식을 수행하고, 인식된 얼굴에 대응하는 정보와 상기 미리 등록된 사용자의 얼굴에 대응하는 정보를 비교하여 상기 인식된 얼굴이 상기 미리 등록된 사용자의 얼굴에 대응되고 상기 시선 인식에서 상기 사용자의 시선이 인식되면 인터랙션 모드로 진입하고, 사용자 명령을 인식하는 인식 모드를 수행하는 제어부를 포함하는 디스플레이 장치.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 제어부는,
    상기 인터랙션 모드로 진입한 후 복수의 인식 모드에 대한 버튼이 표시되도록 상기 디스플레이 패널을 제어하고, 상기 카메라를 이용하여 영상 데이터를 획득하고 상기 획득된 영상 데이터에서 시선을 인식하고 상기 인식된 시선에 기초하여 상기 복수의 인식 모드 중 상기 사용자 명령을 인식하기 위한 어느 하나의 인식 모드를 수행하는 디스플레이 장치.
  5. 제 4 항에 있어서,
    상기 제어부는,
    상기 어느 하나의 인식 모드에 기초하여 상기 카메라 및 상기 마이크로폰 중 적어도 하나의 활성화를 제어하고, 상기 카메라 및 마이크로폰 중 적어도 하나에서 획득된 데이터에 기초하여 음성 및 모션 중 적어도 하나를 인식하고, 상기 인식된 음성 및 모션 중 적어도 하나에 대응하는 사용자 명령을 판단하고, 상기 판단된 사용자 명령에 기초하여 상기 디스플레이 패널의 동작을 제어하는 디스플레이 장치.
  6. 제 4 항에 있어서,
    상기 제어부는,
    상기 인터랙션 모드로 진입한 후 상기 인식된 시선의 위치를 커서로 표시하도록 상기 디스플레이 패널을 제어하는 디스플레이 장치.
  7. 제 4 항에 있어서,
    상기 제어부는,
    상기 인터랙션 모드로 진입한 후 상기 인식된 시선이 상기 디스플레이 패널의 외부에 위치하면 상기 인터랙션 모드를 종료하는 디스플레이 장치.
  8. 제 4 항에 있어서, 상기 제어부는,
    상기 인터랙션 모드로 진입한 후 상기 인식된 시선이 미리 설정된 종료 영역에 위치한다고 판단되면 상기 인터랙션 모드를 종료하는 디스플레이 장치.
  9. 제 8 항에 있어서, 상기 제어부는,
    상기 인터랙션 모드의 진입 전과 상기 인터랙션 모드의 진입 후, 미리 설정된 영역이 서로 다르게 표시되도록 상기 디스플레이 패널을 제어하는 디스플레이 장치.
  10. 제 1 항에 있어서,
    상기 제어부는,
    상기 얼굴 인식을 수행할 때, 에지와 색상 정보를 이용하여 상기 카메라에 의해 획득된 영상 데이터에서 얼굴 영상을 획득하고 상기 획득된 얼굴 영상에서 특징점을 추출하는 디스플레이 장치.
  11. 제 1 항에 있어서,
    상기 저장부는, 복수의 미리 등록된 사용자의 얼굴에 대응하는 정보와 상기 복수의 미리 등록된 사용자의 우선 순위를 더 저장하고,
    상기 제어부는, 상기 얼굴 인식 시에 인식된 복수의 얼굴에 대응하는 정보가 상기 복수의 미리 등록된 사용자의 얼굴에 대응하는 정보라고 판단되면 상기 저장된 우선 순위에 기초하여 우선 순위가 가장 높은 사용자의 시선을 인식하는 디스플레이 장치.
  12. 제 1 항에 있어서,
    상기 제2영역은 베젤을 포함하는 디스플레이 장치.
  13. 제 1항에 있어서,
    상기 디스플레이 패널을 보호하기 위한 글래스를 더 포함하는 디스플레이 장치.
  14. 제 1 항에 있어서,
    상기 디스플레이 패널로 빛을 방출하는 백라이트 유닛; 및
    상기 백라이트 유닛으로부터 방출된 광을 가이드하는 도광판을 더 포함하는 디스플레이 장치.
  15. 제 14 항에 있어서,
    상기 백라이트 유닛에서 방출된 광을 확산시켜 색상 및 밝기가 균일하게 되도록 하는 확산판을 더 포함하는 디스플레이 장치.
  16. 제 15 항에 있어서,
    상기 디스플레이 패널, 상기 백라이트 유닛, 상기 도광판 및 상기 확산판을 지지하되 서로 분리되도록 지지하는 지지부재를 더 포함하는 디스플레이 장치.
  17. 제 15 항에 있어서,
    상기 커버와 상기 디스플레이 패널 사이에 형성된 수용 공간에는, 상기 백라이트 유닛, 상기 도광판 및 상기 확산판이 배치되는 디스플레이 장치.
  18. 제 1 항에 있어서,
    상기 디스플레이 패널과 상기 커버 사이에 마련된 섀시; 및
    상기 섀시에 마련되고 상기 카메라에 의해 출력되는 신호를 수신하는 구동 모듈을 더 포함하는 디스플레이 장치.
  19. 제 18 항에 있어서,
    상기 카메라와 상기 마이크로폰을 포함하고 상기 카메라에서 수집된 데이터와 상기 마이크로 폰에서 획득된 데이터를 상기 구동 모듈에 전송하는 수집 모듈을 더 포함하는 디스플레이 장치.
  20. 제 1 항에 있어서,
    상기 제어부의 명령에 기초하여 사운드를 출력하는 스피커를 더 포함하는 디스플레이 장치.
  21. 제 1 항에 있어서,
    사용자 입력을 수신하는 입력부를 더 포함하고,
    상기 제어부는, 상기 입력부에 수신된 사용자 입력에 기초하여 상기 인터랙션 모드로 진입하는 디스플레이 장치.
  22. 영상을 표시하는 디스플레이 패널;
    상기 디스플레이 패널의 상측 외부 중앙에 마련된 마이크로폰;
    상기 디스플레이 패널의 상측 외부 중앙에 마련되고 상기 마이크로폰과 인접하게 마련된 카메라;
    상기 디스플레이 패널의 후면에 마련된 커버;
    미리 등록된 사용자의 얼굴에 대응하는 정보를 저장하는 저장부; 및
    상기 디스플레이 패널과 상기 커버 사이에 마련되고 상기 카메라에 의해 획득된 영상 데이터를 기반으로 얼굴 인식과 시선 인식을 수행하고 인식된 얼굴에 대응하는 정보와 상기 미리 등록된 사용자의 얼굴에 대응하는 정보를 비교하여 상기 인식된 얼굴이 상기 미리 등록된 사용자의 얼굴에 대응되고 상기 시선 인식에서 상기 사용자의 시선이 인식되면 인터랙션 모드로 진입하고, 상기 인터랙션 모드로 진입한 후에 수행된 시선 인식에 기초하여 상기 디스플레이 패널에 표시된 복수의 인식 모드 중 어느 하나의 인식 모드를 선택하고 상기 선택된 어느 하나의 인식 모드에 기초하여 사용자 명령을 인식하는 제어부를 포함하는 디스플레이 장치.
  23. 영상이 표시되는 영역과 영상이 비표시되는 영역을 가지는 본체;
    상기 본체의 영역들 중 상기 영상이 표시되는 영역에 마련되고 영상을 표시하는 디스플레이 패널;
    상기 디스플레이 패널의 상측 외부 중앙에 마련된 마이크로폰;
    상기 디스플레이 패널의 상측 외부 중앙에 마련되되 상기 마이크로폰과 인접하게 마련된 카메라;
    상기 디스플레이 패널의 후면에 마련된 커버;
    미리 등록된 사용자의 얼굴에 대응하는 정보를 저장하는 저장부; 및
    상기 디스플레이 패널과 상기 커버 사이에 마련되고 상기 카메라에 의해 획득된 영상 데이터를 기반으로 얼굴 인식과 시선 인식을 수행하고 인식된 얼굴에 대응하는 정보와 상기 미리 등록된 사용자의 얼굴에 대응하는 정보를 비교하여 상기 인식된 얼굴이 상기 미리 등록된 사용자의 얼굴에 대응되고 상기 시선 인식에서 상기 사용자의 시선이 인식되면 인터랙션 모드로 진입하고, 상기 인터랙션 모드로 진입한 후에 수행된 시선 인식에 기초하여 상기 디스플레이 패널에 표시된 복수의 인식 모드 중 어느 하나의 인식 모드를 선택하고 상기 선택된 어느 하나의 인식 모드에 기초하여 사용자 명령을 인식하는 제어부를 포함하고,
    상기 본체의 영역들 중 상기 영상이 비표시되는 영역은 상기 디스플레이 패널의 상측 외부 중앙을 포함하고,
    상기 카메라와 상기 마이크로폰은, 상기 디스플레이 패널과 상기 커버 사이에 배치되는 디스플레이 장치.
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
KR1020120116956A 2012-10-19 2012-10-19 디스플레이 장치 및 그 제어 방법 KR102095765B1 (ko)

Priority Applications (11)

Application Number Priority Date Filing Date Title
KR1020120116956A KR102095765B1 (ko) 2012-10-19 2012-10-19 디스플레이 장치 및 그 제어 방법
MX2015004841A MX346605B (es) 2012-10-19 2013-09-06 Aparato de visualización y método de control del mismo.
IN3276DEN2015 IN2015DN03276A (ko) 2012-10-19 2013-09-06
RU2015114537A RU2617927C2 (ru) 2012-10-19 2013-09-06 Устройство отображения и его способ управления
PCT/KR2013/008073 WO2014061916A1 (en) 2012-10-19 2013-09-06 Display apparatus and control method thereof
JP2013210769A JP6271935B2 (ja) 2012-10-19 2013-10-08 ディスプレイ装置及びその制御方法
EP18191156.1A EP3425485B1 (en) 2012-10-19 2013-10-15 Mobile communication terminal
EP13188743.2A EP2735938B1 (en) 2012-10-19 2013-10-15 Display apparatus and control method thereof
CN201310486543.4A CN103826145B (zh) 2012-10-19 2013-10-17 显示装置及其控制方法
US14/056,472 US9524023B2 (en) 2012-10-19 2013-10-17 Display apparatus and control method thereof
US15/348,061 US20170060370A1 (en) 2012-10-19 2016-11-10 Display apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120116956A KR102095765B1 (ko) 2012-10-19 2012-10-19 디스플레이 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20140050484A KR20140050484A (ko) 2014-04-29
KR102095765B1 true KR102095765B1 (ko) 2020-04-01

Family

ID=49518656

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120116956A KR102095765B1 (ko) 2012-10-19 2012-10-19 디스플레이 장치 및 그 제어 방법

Country Status (9)

Country Link
US (2) US9524023B2 (ko)
EP (2) EP3425485B1 (ko)
JP (1) JP6271935B2 (ko)
KR (1) KR102095765B1 (ko)
CN (1) CN103826145B (ko)
IN (1) IN2015DN03276A (ko)
MX (1) MX346605B (ko)
RU (1) RU2617927C2 (ko)
WO (1) WO2014061916A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015056141A (ja) 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置、および情報処理方法
CN104598009A (zh) * 2013-10-30 2015-05-06 鸿富锦精密工业(武汉)有限公司 屏幕按键控制方法及***
JP5884811B2 (ja) * 2013-11-18 2016-03-15 コニカミノルタ株式会社 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム
KR102193029B1 (ko) 2014-05-09 2020-12-18 삼성전자주식회사 디스플레이 장치 및 그의 화상 통화 수행 방법
KR102337682B1 (ko) 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
KR102289904B1 (ko) * 2015-01-23 2021-08-18 삼성디스플레이 주식회사 표시 장치
WO2016136837A1 (ja) * 2015-02-25 2016-09-01 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
KR20160116162A (ko) * 2015-03-26 2016-10-07 삼성디스플레이 주식회사 표시 장치
CN105630148A (zh) * 2015-08-07 2016-06-01 宇龙计算机通信科技(深圳)有限公司 终端的显示方法、终端的显示装置和终端
KR20180071092A (ko) 2016-12-19 2018-06-27 삼성전자주식회사 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치
JP2019003228A (ja) * 2017-06-09 2019-01-10 富士通株式会社 機器連携システム、機器連携装置、機器連携方法及び機器連携プログラム
KR102203720B1 (ko) * 2017-06-26 2021-01-15 에스케이텔레콤 주식회사 음성 인식 방법 및 장치
US10732708B1 (en) * 2017-11-21 2020-08-04 Amazon Technologies, Inc. Disambiguation of virtual reality information using multi-modal data including speech
US11232645B1 (en) 2017-11-21 2022-01-25 Amazon Technologies, Inc. Virtual spaces as a platform
US10521946B1 (en) 2017-11-21 2019-12-31 Amazon Technologies, Inc. Processing speech to drive animations on avatars
CN114860187A (zh) * 2018-01-03 2022-08-05 腾讯科技（深圳）有限公司 智能语音设备控制方法、装置、计算机设备和存储介质
JP6855416B2 (ja) * 2018-07-06 2021-04-07 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
US10981052B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US10981067B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
JP6908573B2 (ja) 2018-02-06 2021-07-28 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
CN116328317A (zh) 2018-02-06 2023-06-27 日本聚逸株式会社 应用处理***、应用处理方法以及应用处理程序
JP6850769B2 (ja) * 2018-07-05 2021-03-31 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
CN108509856A (zh) * 2018-03-06 2018-09-07 深圳市沃特沃德股份有限公司 音频调整方法、装置和音响设备
US11169668B2 (en) * 2018-05-16 2021-11-09 Google Llc Selecting an input mode for a virtual assistant
CN108897589B (zh) * 2018-05-31 2020-10-27 刘国华 显示设备中人机交互方法、装置、计算机设备和存储介质
US11949943B2 (en) * 2018-07-16 2024-04-02 Arris Enterprises Llc Gaze-responsive advertisement
JP6524320B2 (ja) * 2018-09-12 2019-06-05 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
CN109683705A (zh) * 2018-11-30 2019-04-26 北京七鑫易维信息技术有限公司 眼球注视控制交互控件的方法、装置和***
EP3896983A4 (en) * 2018-12-11 2022-07-06 LG Electronics Inc. DISPLAY DEVICE
WO2020158218A1 (ja) * 2019-01-28 2020-08-06 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN109788256A (zh) * 2019-01-30 2019-05-21 温州大学 一种多模态图像的显示***
CN110211251A (zh) * 2019-04-26 2019-09-06 珠海格力电器股份有限公司 一种人脸识别方法、装置、存储介质及人脸识别终端
JP7277306B2 (ja) * 2019-07-31 2023-05-18 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
CN112423190A (zh) * 2019-08-20 2021-02-26 苹果公司 用于头戴式设备的基于音频的反馈
CN113050852A (zh) * 2019-12-27 2021-06-29 通用电气精准医疗有限责任公司 医疗***中显示单元的控制方法以及控制装置
US11112875B1 (en) * 2020-03-20 2021-09-07 Huawei Technologies Co., Ltd. Methods and systems for controlling a device using hand gestures in multi-user environment
US11698677B1 (en) * 2020-06-29 2023-07-11 Apple Inc. Presenting a notification based on an engagement score and an interruption priority value
CN112102828A (zh) * 2020-09-04 2020-12-18 杭州中软安人网络通信股份有限公司 大屏幕自动播报内容的语音控制方法及***
US11762458B2 (en) * 2021-02-15 2023-09-19 Sony Group Corporation Media display device control based on eye gaze
JP7039753B1 (ja) 2021-07-01 2022-03-22 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7089128B1 (ja) 2021-07-01 2022-06-21 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7141556B1 (ja) 2022-03-09 2022-09-22 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7387932B2 (ja) * 2022-03-09 2023-11-28 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7248853B2 (ja) * 2022-03-09 2023-03-29 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007160473A (ja) * 2005-12-15 2007-06-28 Fujitsu Ltd ロボットにおける対話相手識別方法およびロボット
US20090217211A1 (en) * 2008-02-27 2009-08-27 Gesturetek, Inc. Enhanced input using recognized gestures
US20090306991A1 (en) * 2008-06-09 2009-12-10 Samsung Electronics Co., Ltd. Method for selecting program and apparatus thereof
WO2012083415A1 (en) * 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
DE19736995B4 (de) * 1997-08-26 2009-05-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zum Bestimmen eines Fixationspunktes
US7216351B1 (en) * 1999-04-07 2007-05-08 International Business Machines Corporation Systems and methods for synchronizing multi-modal interactions
JP2001070293A (ja) * 1999-09-06 2001-03-21 Toshiba Corp Ｘ線診断装置
JP2001350578A (ja) * 2000-06-06 2001-12-21 Sensor:Kk 視線による入力制御装置及び方法並びに視線により入力させる制御プログラムを記録した記録媒体
US20030038754A1 (en) * 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
US7760248B2 (en) * 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
JP2005117185A (ja) * 2003-10-03 2005-04-28 Canon Inc デジタルテレビジョン装置
EP1978692B1 (en) * 2004-06-04 2011-07-27 QUALCOMM Incorporated High data rate interface apparatus and method
US7057888B2 (en) * 2004-09-22 2006-06-06 Intel Corporation Retractable and extendable camera and microphone array computer system
TWI287787B (en) * 2004-12-14 2007-10-01 Delta Electronics Inc A remote control device and method with speech control
JP4872241B2 (ja) * 2005-05-31 2012-02-08 船井電機株式会社 テレビ受像機
DE102006011288A1 (de) * 2006-03-10 2007-09-13 Siemens Ag Verfahren zur Auswahl von Funktionen mithilfe einer Benutzerschnittstelle und Benutzerschnittstelle
JP2007324866A (ja) * 2006-05-31 2007-12-13 Funai Electric Co Ltd 電子機器及びテレビ受像機
US20080013262A1 (en) * 2006-06-30 2008-01-17 Logitech Europe S.A. Computer monitor with detachable module
JP4260215B1 (ja) * 2007-08-29 2009-04-30 任天堂株式会社 撮像装置
US8325214B2 (en) * 2007-09-24 2012-12-04 Qualcomm Incorporated Enhanced interface for voice and video communications
TW200921483A (en) * 2007-11-09 2009-05-16 Tpk Touch Solutions Inc Touch-control display panel with an electric-field shielding layer
DE102008025124A1 (de) * 2008-05-26 2009-12-03 Volkswagen Ag Anzeigesystem für ein Fahrzeug und Bedienverfahren für ein Anzeigesystem eines Fahrzeugs
US8700332B2 (en) * 2008-11-10 2014-04-15 Volkswagen Ag Operating device for a motor vehicle
KR20100064177A (ko) * 2008-12-04 2010-06-14 삼성전자주식회사 전자장치 및 그의 디스플레이방법
AU2010221722A1 (en) * 2009-02-06 2011-08-18 Oculis Labs, Inc. Video-based privacy supporting system
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US20110084897A1 (en) * 2009-10-13 2011-04-14 Sony Ericsson Mobile Communications Ab Electronic device
KR101626159B1 (ko) * 2009-11-25 2016-05-31 엘지전자 주식회사 사용자 적응형 디스플레이 장치 및 디스플레이 방법
US20110154014A1 (en) * 2009-12-18 2011-06-23 Sony Ericsson Mobile Communications Ab Data exchange for mobile devices
US8977972B2 (en) * 2009-12-31 2015-03-10 Intel Corporation Using multi-modal input to control multiple objects on a display
US8922480B1 (en) * 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
KR101815020B1 (ko) * 2010-08-26 2018-01-31 삼성전자주식회사 인터페이스 제어 장치 및 방법
JP2012053545A (ja) * 2010-08-31 2012-03-15 Canon Inc 画像処理システムおよびその制御方法
JP5583531B2 (ja) * 2010-09-10 2014-09-03 日立コンシューマエレクトロニクス株式会社 映像表示装置
JP4977249B1 (ja) * 2010-12-24 2012-07-18 株式会社東芝 電子機器
WO2012099584A1 (en) * 2011-01-19 2012-07-26 Hewlett-Packard Development Company, L.P. Method and system for multimodal and gestural control
CN103339026A (zh) * 2011-01-31 2013-10-02 三洋电机株式会社 电动自行车
KR20120090621A (ko) * 2011-02-08 2012-08-17 삼성전자주식회사 백라이트 유닛 및 이를 갖는 표시장치
KR101191640B1 (ko) * 2011-02-23 2012-10-17 동국대학교 산학협력단 사용자에게 정보를 전달하는 정보전달장치 및 그 방법
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
KR101235594B1 (ko) * 2011-06-27 2013-02-21 엘지전자 주식회사 이동 단말기
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
JP5785015B2 (ja) * 2011-07-25 2015-09-24 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
US8988350B2 (en) * 2011-08-20 2015-03-24 Buckyball Mobile, Inc Method and system of user authentication with bioresponse data
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9594500B2 (en) * 2012-06-27 2017-03-14 sigmund lindsay clements Touch Free hygienic display control panel for a smart toilet
KR102081930B1 (ko) * 2013-03-21 2020-02-26 엘지전자 주식회사 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007160473A (ja) * 2005-12-15 2007-06-28 Fujitsu Ltd ロボットにおける対話相手識別方法およびロボット
US20090217211A1 (en) * 2008-02-27 2009-08-27 Gesturetek, Inc. Enhanced input using recognized gestures
US20090306991A1 (en) * 2008-06-09 2009-12-10 Samsung Electronics Co., Ltd. Method for selecting program and apparatus thereof
WO2012083415A1 (en) * 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
멀티모달 인터랙션을 위한 사용자 병렬 모달리티 입력방식(2006년)*

Also Published As

Publication number Publication date
CN103826145B (zh) 2019-02-15
RU2015114537A (ru) 2016-11-10
CN103826145A (zh) 2014-05-28
EP2735938A2 (en) 2014-05-28
EP2735938B1 (en) 2018-08-29
US20140111420A1 (en) 2014-04-24
RU2617927C2 (ru) 2017-04-28
IN2015DN03276A (ko) 2015-10-09
US9524023B2 (en) 2016-12-20
EP3425485A2 (en) 2019-01-09
JP2014086085A (ja) 2014-05-12
JP6271935B2 (ja) 2018-01-31
US20170060370A1 (en) 2017-03-02
KR20140050484A (ko) 2014-04-29
EP3425485B1 (en) 2020-12-02
EP3425485A3 (en) 2019-02-13
MX2015004841A (es) 2015-07-21
EP2735938A3 (en) 2015-01-07
MX346605B (es) 2017-03-24
WO2014061916A1 (en) 2014-04-24

Similar Documents

Publication Publication Date Title
KR102095765B1 (ko) 디스플레이 장치 및 그 제어 방법
JP6143975B1 (ja) 画像の取り込みを支援するためにハプティックフィードバックを提供するためのシステムおよび方法
US9341847B2 (en) Head mount display and display control method
EP2950181B1 (en) Eyewear type terminal and control method thereof
US11183151B2 (en) Display apparatus and controlling method thereof
JP6149403B2 (ja) 表示装置、および、表示装置の制御方法
EP2555512A1 (en) Display apparatus, control apparatus, television receiver, method of controlling display apparatus, program, and recording medium
KR102431712B1 (ko) 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
CN104837040B (zh) 图像显示装置
JP2016033757A (ja) 表示装置、表示装置の制御方法、および、プログラム
CN108924616A (zh) 一种显示控制方法及终端
JP2016033758A (ja) 表示装置、表示装置の制御方法、および、プログラム
US20190011701A1 (en) Head-mounted display apparatus
US11240466B2 (en) Display device, mobile device, video calling method performed by the display device, and video calling method performed by the mobile device
KR20190053727A (ko) 전자장치 및 그 제어방법
CN108600797B (zh) 一种信息处理法方法和电子设备
US20080043146A1 (en) Display device
US20190369955A1 (en) Voice-controlled display device and method for extracting voice signals
KR101816208B1 (ko) 멀티 앵글 기반 가상 현실 융합 디스플레이 장치 및 방법
KR102039425B1 (ko) 전자 기기
KR20200092158A (ko) 전자 장치 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right