KR20170035487A - 디스플레이 장치 및 이의 동작 방법 - Google Patents

디스플레이 장치 및 이의 동작 방법 Download PDF

Info

Publication number
KR20170035487A
KR20170035487A KR1020150134378A KR20150134378A KR20170035487A KR 20170035487 A KR20170035487 A KR 20170035487A KR 1020150134378 A KR1020150134378 A KR 1020150134378A KR 20150134378 A KR20150134378 A KR 20150134378A KR 20170035487 A KR20170035487 A KR 20170035487A
Authority
KR
South Korea
Prior art keywords
terminal
screen
user
notification
display
Prior art date
Application number
KR1020150134378A
Other languages
English (en)
Other versions
KR102400640B1 (ko
Inventor
염정호
김영우
이은주
김기형
김명선
이도영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150134378A priority Critical patent/KR102400640B1/ko
Publication of KR20170035487A publication Critical patent/KR20170035487A/ko
Application granted granted Critical
Publication of KR102400640B1 publication Critical patent/KR102400640B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00221—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Oral & Maxillofacial Surgery (AREA)

Abstract

본 발명의 실시 예에 따른 단말기와 연결되는 디스플레이 장치의 동작 방법은, 상기 디스플레이 장치가, 상기 단말기에 표시되는 화면을 수신하고, 수신된 화면을 디스플레이부에 표시하는 단계, 상기 디스플레이 장치가, 카메라를 이용하여 사용자의 상태를 인식하는 단계, 및 인식 결과에 기초하여, 상기 단말기에서 발생하는 알림의 내용을 상기 화면에 표시하도록 하는 제1 명령과, 상기 알림의 내용을 상기 화면에 표시하지 않도록 하는 제2 명령 중 어느 하나의 명령을 상기 단말기로 전송하는 단계를 포함할 수 있다.

Description

디스플레이 장치 및 이의 동작 방법{DISPLAY DEVICE AND OPERATING METHOD THEREOF}
본 발명의 개념에 따른 실시 예는 디스플레이 장치에 관한 것으로, 특히 사용자의 시선 또는 존재 등의 사용자 상태에 대한 인식 결과에 기초하여 상기 디스플레이 장치에 연결된 단말기의 화면에 표시되는 알림을 제어하는 디스플레이 장치와 이의 동작 방법에 관한 것이다.
미러링(mirroring, 또는 스크린 미러링)이란, 스마트폰이나 태블릿 PC와 같은 단말기의 화면을 다른 디스플레이 장치(예컨대, TV, 모니터, 프로젝터 등)에 그대로 표시하는 것을 의미한다. 일반적으로 단말기의 디스플레이 화면은 크기에 제약이 있으므로, 사용자는 미러링을 이용하여 단말기에서 제공되는 컨텐츠를 TV와 같은 대화면을 갖는 장치를 통해 이용할 수 있다.
단말기의 화면이 TV에 미러링되어 표시되면, 사용자는 TV를 조작함으로써 단말기의 동작, 즉 TV에 표시되는 단말기의 화면을 제어할 수도 있다. 이 경우, TV를 통해 단말기의 화면을 편리하게 제어하기 위한 다양한 방법들이 요구된다.
본 발명이 이루고자 하는 기술적 과제는, 사용자의 시선 또는 존재 여부 등의 사용자 상태에 대한 인식 결과에 기초하여 단말기의 화면에 표시되는 알림을 제어할 수 있는 디스플레이 장치와 이의 동작 방법을 제공하는 것이다.
본 발명의 실시 예에 따른 단말기와 연결되는 디스플레이 장치의 동작 방법은, 상기 디스플레이 장치가, 상기 단말기에 표시되는 화면을 수신하고, 수신된 화면을 디스플레이부에 표시하는 단계, 상기 디스플레이 장치가, 카메라를 이용하여 사용자의 상태를 인식하는 단계, 및 인식 결과에 기초하여, 상기 단말기에서 발생하는 알림의 내용을 상기 화면에 표시하도록 하는 제1 명령과, 상기 알림의 내용을 상기 화면에 표시하지 않도록 하는 제2 명령 중 어느 하나의 명령을 상기 단말기로 전송하는 단계를 포함할 수 있다.
실시 예에 따라, 상기 수신된 화면을 디스플레이부에 표시하는 단계는, 상기 디스플레이 장치가, 상기 단말기에 표시되는 화면을 실시간으로 수신하고, 실시간으로 수신된 화면을 상기 디스플레이부에 표시할 수 있다.
다른 실시 예에 따라, 상기 수신된 화면을 디스플레이부에 표시하는 단계는, 상기 수신된 화면을 상기 디스플레이부의 소정 영역에 표시하고, 외부로부터 수신된 컨텐트의 영상을 상기 디스플레이부의 나머지 영역에 표시할 수 있다.
실시 예에 따라, 상기 사용자의 상태를 인식하는 단계는, 상기 카메라를 이용하여 상기 사용자의 시선을 인식하고, 상기 어느 하나의 명령을 상기 단말기로 전송하는 단계는, 인식 결과 상기 사용자의 시선이 상기 소정 영역을 향하는 경우, 상기 제1 명령을 상기 단말기로 전송하고, 상기 사용자의 시선이 상기 소정 영역을 향하지 않는 경우, 상기 제2 명령을 상기 단말기로 전송할 수 있다.
다른 실시 예에 따라, 상기 사용자의 상태를 인식하는 단계는, 상기 카메라를 이용하여 상기 사용자의 존재 여부를 인식하고, 상기 어느 하나의 명령을 상기 단말기로 전송하는 단계는, 인식 결과 상기 사용자가 존재하는 경우, 상기 제1 명령을 상기 단말기로 전송하고, 상기 사용자가 존재하지 않는 경우, 상기 제2 명령을 상기 단말기로 전송할 수 있다.
또 다른 실시 예에 따라, 상기 사용자의 상태를 인식하는 단계는, 상기 카메라를 이용하여 상기 사용자 외의 타인의 존재 여부를 인식하고, 상기 어느 하나의 명령을 상기 단말기로 전송하는 단계는, 인식 결과 상기 타인이 존재하지 않는 경우, 상기 제1 명령을 상기 단말기로 전송하고, 상기 타인이 존재하는 경우, 상기 제2 명령을 상기 단말기로 전송할 수 있다.
상기 방법은, 상기 단말기의 배터리 잔량이 기준 잔량보다 낮은 경우, 상기 단말기로부터 수신되는 상기 알림의 내용이 표시되는 화면을 캡쳐하는 단계, 및 상기 인식 결과에 기초하여 캡쳐된 상기 알림의 내용이 표시되는 화면을 상기 디스플레이부에 표시하는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 어느 하나의 명령을 상기 단말기로 전송하는 단계는, 상기 제1 명령이 전송됨에 따라, 상기 디스플레이부에 상기 알림의 내용이 포함된 화면이 표시된 경우, 상기 알림의 내용에 기초한 요청을 수신하는 단계, 및 수신된 요청에 대응하는 제어 명령을 상기 단말기로 전송하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따른 단말기와 연결되는 디스플레이 장치는, 디스플레이부, 카메라, 상기 단말기에 표시되는 화면을 수신하는 외부장치 인터페이스부, 및 수신된 화면을 상기 디스플레이부에 표시하도록 제어하고, 상기 카메라를 이용하여 사용자의 상태를 인식하고, 인식 결과에 기초하여 상기 단말기에서 발생하는 알림의 내용을 상기 화면에 표시하도록 하는 제1 명령과, 상기 알림의 내용을 상기 화면에 표시하지 않도록 하는 제2 명령 중 어느 하나의 명령을 상기 단말기로 전송하는 제어부를 포함할 수 있다.
상기 디스플레이 장치는 TV, 모니터, 및 프로젝터 중 어느 하나를 포함할 수 있다.
본 발명의 실시 예에 따른 디스플레이 장치는, 카메라 모듈을 이용하여 사용자의 상태를 인식하고, 인식 결과에 기초하여 디스플레이 장치에 표시되는 단말기 화면의 알림 창 포함 여부를 제어할 수 있는 효과가 있다.
또한, 상기 디스플레이 장치는 단말기의 알림 창이 포함된 화면을 캡쳐하여 저장할 수 있으므로, 단말기와의 연결이 해제되거나 단말기의 전원이 오프되더라도 사용자에게 단말기에서 발생한 알림을 알릴 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 5는 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 6은 본 발명의 실시 예에 따른 디스플레이 장치가, 상기 디스플레이 장치에 연결된 단말기로부터 전송되는 상기 단말기의 화면을 표시하는 동작에 대한 예시도이다.
도 7은 도 5에 도시된 사용자의 상태가 사용자의 시선인 경우에 대한 실시 예를 설명하기 위한 래더 다이어그램이다.
도 8a 내지 도 8d는 도 7에 도시된 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.
도 9는 도 5에 도시된 사용자의 상태가 사용자의 존재 여부인 경우에 대한 실시 예를 설명하기 위한 래더 다이어그램이다.
도 10a 내지 도 10d는 도 9에 도시된 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.
도 11은 도 5에 도시된 사용자의 상태가 타인의 존재 여부인 경우에 대한 실시 예를 설명하기 위한 래더 다이어그램이다.
도 12a 내지 도 12d는 도 11에 도시된 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.
도 13a 내지 도 13c는 본 발명의 다른 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.
도 14는 도 1에 도시된 디스플레이 장치가 프로젝터를 포함하는 탁상용 조명장치인 경우에 대한 예시도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 디스플레이 장치(100)는 TV, 모니터, 프로젝터 또는 이를 포함하는 장치, 노트북, 태블릿 PC, 스마트폰 등으로 구현될 수 있다.
디스플레이 장치(100)는 방송 수신부(130), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 카메라(160), 제어부(170), 디스플레이부(180), 오디오 출력부(185), 및 전원공급부(190)를 포함할 수 있다.
방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부 (133)를 포함할 수 있다.
튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너 (131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조부(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
외부장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
외부장치 인터페이스부(135)는 디스플레이 장치(100)와 외부장치 간의 연결 경로를 제공할 수 있다. 디스플레이 장치(100)는 외부장치 인터페이스부(135)를 통해 외부장치와 유선 또는 무선으로 연결될 수 있다.
외부장치 인터페이스부(135)는 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여, 제어부(170)로 전달할 수 있다. 외부장치 인터페이스부(135)에 연결 가능한 외부장치는 셋톱박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있다.
저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램을 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 저장부(140)는 외부장치 인터페이스부(135), 네트워크 인터페이스부 (133), 또는 카메라(160)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부 (133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 저장부(140) 내에 저장되어 있는 컨텐츠 파일 (동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스부(150)는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스부(150)는 블루투스(Bluetooth), UWB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부 (135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 제어부(170)는, 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 제어부(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
카메라(160)는 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 카메라(160)에서 처리된 화상 프레임은 저장부(140)에 저장될 수 있다.
특히, 본 발명의 실시 예에 따른 카메라(160)는 사용자의 시선, 사용자의 존재 여부, 타인의 존재 여부 등 사용자의 상태를 인식하기 위해 사용될 수 있다. 이에 대해서는 도 7 내지 도 13c를 통해 후술하기로 한다.
디스플레이부(180)는 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 1에 도시된 디스플레이 장치(100)는 본 발명의 일실시예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시예에 따르면, 디스플레이 장치(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부장치 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
다음으로, 도 2 내지 도 3을 참조하여, 본 발명의 일 실시 예에 따른 원격제어장치에 대해 설명한다.
도 2는 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이고, 도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
먼저, 도 2를 참조하면, 원격제어장치(200)는 지문인식부(210), 무선통신부 (220), 사용자 입력부(230), 센서부(240), 출력부(250), 전원공급부(260), 저장부 (270), 제어부(280), 음성 획득부(290)를 포함할 수 있다.
도 2을 참조하면, 무선통신부(220)는 전술하여 설명한 본 발명의 실시 예에 따른 디스플레이 장치와 신호를 송수신한다.
원격제어장치(200)는 RF 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비하며, IR 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다. 또한, 원격제어장치(200)는 블루투스 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 블루투스 모듈(225)을 구비할 수 있다. 또한, 원격제어장치 (200)는 NFC(Near Field Communication) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수할 수 있는 NFC 모듈(227)을 구비하며, WLAN(Wireless LAN) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 WLAN 모듈(229)을 구비할 수 있다.
또한, 원격제어장치(200)는 디스플레이 장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 무선 통신부(220)를 통해 전송한다.
한편, 원격제어장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(230)를 조작하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(230)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 이에 대해서는 도 3을 참조하여 설명한다.
도 3을 참조하면, 원격제어장치(200)는 복수의 버튼을 포함할 수 있다. 복수의 버튼은 지문 인식 버튼(212), 전원 버튼(231), 홈 버튼(232), 라이브 버튼(233), 외부 입력 버튼(234), 음량 조절 버튼(235), 음성 인식 버튼(236), 채널 변경 버튼(237), 확인 버튼(238) 및 뒤로 가기 버튼(239)을 포함할 수 있다.
지문 인식 버튼(212)은 사용자의 지문을 인식하기 위한 버튼일 수 있다. 일 실시예로, 지문 인식 버튼(212)은 푸쉬 동작이 가능하여, 푸쉬 동작 및 지문 인식 동작을 수신할 수도 있다. 전원 버튼(231)은 디스플레이 장치(100)의 전원을 온/오프 하기 위한 버튼일 수 있다. 홈 버튼(232)은 디스플레이 장치(100)의 홈 화면으로 이동하기 위한 버튼일 수 있다. 라이브 버튼(233)은 실시간 방송 프로그램을 디스플레이 하기 위한 버튼일 수 있다. 외부 입력 버튼(234)은 디스플레이 장치(100)에 연결된 외부 입력을 수신하기 위한 버튼일 수 있다. 음량 조절 버튼(235)은 디스플레이 장치(100)가 출력하는 음량의 크기를 조절하기 위한 버튼일 수 있다. 음성 인식 버튼(236)은 사용자의 음성을 수신하고, 수신된 음성을 인식하기 위한 버튼일 수 있다. 채널 변경 버튼(237)은 특정 방송 채널의 방송 신호를 수신하기 위한 버튼일 수 있다. 확인 버튼(238)은 특정 기능을 선택하기 위한 버튼일 수 있고, 뒤로 가기 버튼(239)은 이전 화면으로 되돌아가기 위한 버튼일 수 있다.
다시 도 2를 설명한다.
사용자 입력부(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시 예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
예를 들어, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격제어장치(200)는 거리측정센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이부 (180)와의 거리를 센싱할 수 있다.
출력부(250)는 사용자 입력부(235)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(235)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다.
예를 들어, 출력부(250)는 사용자 입력부(235)가 조작되거나 무선 통신부(225)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
또한, 전원공급부(260)는 원격제어장치(200)로 전원을 공급하며, 원격제어장치(200)가 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로써 전원 낭비를 줄일 수 있다. 전원공급부(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 디스플레이 장치(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)과 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.
원격제어장치(200)의 제어부(280)는 원격제어장치(200)와 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.
제어부(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 제어부(280)는 사용자 입력부(235)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(220)를 통하여 디스플레이 장치(100)로 전송할 수 있다.
또한, 원격제어장치(200)의 음성 획득부(290)는 음성을 획득할 수 있다.
음성 획득부(290)는 적어도 하나 이상의 마이크를 포함할 수 있고, 마이크를 통해 음성을 획득할 수 있다.
다음으로 도 4를 설명한다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 4의 (a)는 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이부 (180)에 표시되는 것을 예시한다.
사용자는 원격 제어 장치(200)를 상하, 좌우로 움직이거나 회전할 수 있다. 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응한다. 이러한 원격 제어 장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 4의 (b)는 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송된다. 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 디스플레이 장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4의 (c)는, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.
이와 반대로, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.
한편, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격 제어 장치(200)가 디스플레이부(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격 제어 장치(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격 제어 장치(200)의 이동속도나 이동방향에 대응할 수 있다.
한편, 본 명세서에서의 포인터는, 원격 제어 장치(200)의 동작에 대응하여, 디스플레이부(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이부(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.
다음으로, 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법에 대해 설명한다.
도 5는 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 5를 참조하면, 디스플레이 장치(100)는 단말기(200)와 연결될 수 있다(S100).
구체적으로, 디스플레이 장치(100)는 외부장치 인터페이스부(135)를 통해 단말기(200)와 유선 및/또는 무선으로 연결될 수 있다. 예컨대, 디스플레이 장치(100)와 단말기(200)는 USB(universal serial bus) 인터페이스, HDMI(high definition multimedia interface) 등을 통해 유선으로 연결되거나, Wi-Fi, Wi-Fi 다이렉트 등을 통해 무선으로 연결될 수 있으나, 연결 방식의 종류가 이에 한정되는 것은 아니다.
디스플레이 장치(100)의 제어부(170)는, 단말기(200)의 디스플레이부에 표시되는 화면을 실시간으로 수신하고(S200), 수신된 화면을 디스플레이부(180)의 특정 영역에 표시할 수 있다(S300).
예컨대, 제어부(170)는 단말기(200)의 디스플레이부에 표시되는 화면을 미러링(mirroring)하여 디스플레이 장치(100)의 디스플레이부(180)에 표시할 수 있다. 미러링이란, 어느 하나의 디스플레이 장치(또는 단말기)에 표시되는 화면을 스트리밍(streaming)하여 다른 디스플레이 장치(또는 단말기)의 디스플레이부에 동일하게 표시하고, 다른 디스플레이 장치(또는 단말기)는 디스플레이부에 표시되는 화면을 이용하여 상기 어느 하나의 디스플레이 장치(또는 단말기)를 제어할 수 있는 기술을 의미할 수 있다.
비록 도 5에서는 S200 단계와 S300 단계에서만 단말기(200)에 표시되는 화면이 디스플레이 장치(100)로 실시간 전송되고, 제어부(170)가 실시간 수신되는 화면을 디스플레이부(180)의 특정 영역에 표시하는 것으로 도시되어 있으나, S200 단계와 S300 단계에 따른 디스플레이 장치(100)와 단말기(200)의 동작은 모든 시점에서 항상 수행되고 있을 수 있다. 즉, 후술할 다른 단계들에 의해 단말기(200)에 표시되는 화면이 변경되면, 변경된 화면이 디스플레이 장치(100)로 전송되어 디스플레이부(180)에 표시될 수 있다.
S300 단계에 대한 실시 예에 대해서는 도 6을 참조하여 설명하기로 한다.
도 6은 본 발명의 실시 예에 따른 디스플레이 장치가, 상기 디스플레이 장치에 연결된 단말기로부터 전송되는 상기 단말기의 화면을 표시하는 동작에 대한 예시도이다.
도 6의 (a)와 (b)를 참조하면, 디스플레이 장치(100)의 제어부(170)는 디스플레이부(180)의 특정 영역에, 외부장치 인터페이스부(135)를 통해 단말기 (200)로부터 실시간으로 수신되는 (예컨대, 스트리밍되는) 단말기 화면(220 또는 221)을 표시하고, 디스플레이부(180)의 나머지 영역에는 방송 수신부(130)로부터 수신되는 컨텐트에 대한 화면을 표시할 수 있다.
도 6에서는 제어부(170)가 단말기 화면(220 또는 221)을 디스플레이부 (180)의 우측 하단부의 특정 영역에 표시하는 실시 예만이 도시되어 있으나, 단말기 화면(220 또는 221)이 표시되는 위치, 및 디스플레이부(180)에 표시되는 단말기 화면(220 또는 221)의 크기가 이에 한정되는 것은 아니다. 따라서, 단말기 화면(220 또는 221)이 표시되는 위치 및/또는 크기는 원격 제어 장치(200)로부터 수신되는 요청 등에 의해 변경될 수도 있다.
단말기(200)에서 표시되는 화면이 세로 화면인 경우, 제어부(170)는 디스플레이부(180)의 소정 영역에 세로 방향으로 단말기 화면(220)을 표시하고, 단말기(200)에서 표시되는 화면이 가로 화면인 경우, 제어부(170)는 디스플레이부 (180)의 소정 영역에 가로 방향으로 단말기 화면(221)을 표시할 수 있다.
따라서, 사용자는 디스플레이 장치(100)의 디스플레이부(180)를 통해 방송 수신부(130) 등으로부터 수신되는 컨텐트를 시청하면서, 동시에 단말기 화면(220 또는 221)까지도 확인할 수 있다.
다시 도 5를 설명한다.
단말기(200)에서 알림이 발생하면(S400), 디스플레이 장치(100)는 사용자의 상태를 인식할 수 있다(S500).
구체적으로는, 단말기(200)에 설치되어 실행되는 각종 애플리케이션으로부터 알림(예컨대, 호 수신, 메시지 수신, 단말기 상태에 관련된 알림 등)이 발생할 수 있다. 일반적으로, 단말기(200)는 발생한 알림에 해당하는 알림 아이콘을 상태 바(또는 알림 바)에 표시하거나, 알림의 내용을 포함하는 알림 창을 표시할 수 있다.
디스플레이 장치(100)의 제어부(170)는 단말기(200)에서 알림이 발생하면, 카메라(160)를 이용하여 사용자의 상태를 인식할 수 있다. 예컨대, 제어부(170)는 단말기(200)로부터 알림이 발생하였음을 지시하는 신호(또는 플래그)를 수신하고, 수신된 신호에 응답하여 카메라(160)를 통해 사용자의 상태를 인식할 수 있다. 또는, 제어부(170)가 단말기(200)로부터 수신되는 화면에 알림 아이콘 및/또는 알림 창이 포함되어 있는지 여부를 판단하고, 판단 결과 알림 아이콘 및/또는 알림 창이 포함되어 있는 경우, 카메라(160)를 통해 사용자의 상태를 인식할 수도 있다.
사용자의 상태란, 단말기(200)의 사용자가 디스플레이부(180)에 표시되는 단말기 화면을 인식 가능한지 여부(또는 단말기 화면에 포함되는 알림을 인식 가능한지 여부)에 관련된 상태를 의미할 수 있다. 본 명세서에서는 사용자의 상태가 사용자의 시선, 사용자의 존재 여부, 및 타인의 존재 여부인 경우를 예로 들어 설명하기로 한다.
본 명세서에서는 S400 단계에 해당하는 시점에서 단말기(200)에 알림이 발생하는 것으로 도시되어 있으나, 실시 예에 따라 상기 알림이 발생하는 시점은 다양할 수 있다. 예컨대, 상기 알림은 디스플레이 장치(100)와 단말기(200)가 연결되기 전에 이미 발생되어 있을 수도 있다.
디스플레이 장치(100)의 제어부(170)는, 사용자의 상태에 대한 인식 결과에 기초하여 단말기(200)로 명령을 전송할 수 있고(S600), 단말기(200)는 수신된 명령에 기초하여 알림의 내용을 화면에 표시 또는 표시하지 않을 수 있다(S700).
S500 단계 내지 S700 단계에 대해서는 도 7 내지 도 12d를 참조하여, 사용자의 상태에 대한 다양한 실시 예들을 이용하여 상세히 설명하기로 한다.
도 7은 도 5에 도시된 사용자의 상태가 사용자의 시선인 경우에 대한 실시 예를 설명하기 위한 래더 다이어그램이고, 도 8a 내지 도 8d는 도 7에 도시된 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.
도 7을 참조하면, 도 5의 S400 단계에 따라 단말기(200)에 알림이 발생하면, 제어부(170)는 카메라(160)를 이용하여 사용자의 시선을 인식할 수 있다(S501).
도 8a에 도시된 바와 같이, 단말기(200)에 제1 알림과 제2 알림이 발생한 경우, 단말기(200)는 제1 알림의 내용을 포함하는 제1 알림 창(241)과, 제2 알림에 해당하는 제2 알림 아이콘(232)을 화면에 표시할 수 있다. 이에 대응하여, 디스플레이 장치(100)의 제어부(170)는 제1 알림 창(241)과 제2 알림 아이콘 (232)을 포함하는 단말기 화면(220)을 디스플레이부(180)의 특정 영역에 표시할 수 있다. 실시 예에 따라, 단말기(200)는 제1 알림 창(241) 대신 제1 알림 아이콘을 화면에 표시할 수도 있다.
제어부(170)는 카메라(160)를 이용하여 단말기(200)의 사용자의 시선을 인식할 수 있다. 구체적으로, 제어부(170)는 카메라(160)를 이용하여 획득되는 영상으로부터, 영상에 포함된 사용자의 시선이 향하는 방향을 인식할 수 있다.
다시 도 7을 참조하면, S501 단계에 따른 인식 결과 사용자의 시선이 단말기 화면이 표시된 영역을 향하지 않는 경우(S502의 NO), 제어부(170)는 사용자가 단말기 화면을 확인하지 않는 것으로 판단할 수 있다.
제어부(170)는 사용자가 단말기 화면을 확인하지 않는 것으로 판단한 경우, 단말기 화면에 알림의 내용을 포함하는 알림 창을 표시하지 않도록 하는 알림 미표시 명령을 단말기(200)로 전송할 수 있다(S601). 단말기(200)는 수신된 알림 미표시 명령에 응답하여, 알림의 내용을 포함하는 알림 창을 화면에 표시하지 않을 수 있다(S701). 이 때, 단말기(200)는 알림 창 대신 알림 아이콘만을 화면에 표시할 수 있다.
이와 관련하여 도 8b를 참조하면, 제어부(170)는 사용자의 시선이 디스플레이부(180)의 중앙을 향하는 것으로 인식하는 경우, 사용자가 단말기 화면(220)을 확인하지 않는 것으로 판단할 수 있다. 따라서, 제어부(170)는 단말기 화면(220)에 제1 알림 창(241)을 표시하지 않도록 하는 알림 미표시 명령을 단말기(200)로 전송하고, 단말기(200)는 수신된 알림 미표시 명령에 응답하여 제1 알림 창(241)을 화면에 표시하지 않을 수 있다. 실시 예에 따라, 단말기(200)는 제1 알림 창(241)을 화면에 표시하지 않는 대신, 제1 알림 아이콘(231)을 화면에 표시할 수 있고, 이 경우 디스플레이부(180)에 표시되는 단말기 화면(220)은 제1 알림 아이콘(231)과 제2 알림 아이콘(232)을 포함할 수 있다.
비록 도시되지는 않았으나, 제어부(170)는 사용자의 시선이 단말기 화면(220)을 향하지 않는 것으로 판단한 경우, 알림 미표시 명령을 단말기(200)로 전송하는 대신에, 단말기 화면(220) 자체를 디스플레이부(180)에 표시하지 않거나, 단말기 화면(220)을 반투명 형태로 표시할 수도 있다.
다시 도 7을 참조하면, S501 단계에 따른 인식 결과 사용자의 시선이 단말기 화면이 표시된 영역을 향하는 경우(S502의 YES), 제어부(170)는 사용자가 단말기 화면을 확인하는 것으로 판단할 수 있다.
제어부(170)는 사용자가 단말기 화면을 확인하는 것으로 판단한 경우, 단말기 화면에 알림의 내용을 포함하는 알림 창을 표시하도록 하는 알림 표시 명령을 단말기(200)로 전송할 수 있다(S602). 단말기(200)는 수신된 알림 표시 명령에 응답하여, 알림의 내용을 포함하는 알림 창을 화면에 표시할 수 있다(S702).
이와 관련하여 도 8c를 참조하면, 제어부(170)는 사용자의 시선이 디스플레이부(180)의 단말기 화면(220)이 표시된 영역을 향하는 것으로 인식하는 경우, 사용자가 단말기 화면(220)을 확인하는 것으로 판단할 수 있다. 따라서, 제어부(170)는 단말기 화면(220)에 알림 창(예컨대, 제1 알림 창(241))을 표시하도록 하는 알림 표시 명령을 단말기(200)로 전송하고, 단말기(200)는 수신된 알림 표시 명령에 응답하여 제1 알림 창(241)을 화면에 표시할 수 있다.
비록 도시되지는 않았으나, 제어부(170)는 사용자의 시선이 단말기 화면(220)을 향하는 것으로 판단한 경우, 알림 표시 명령을 단말기(200)로 전송하는 대신에, 디스플레이부(180)에 표시되지 않거나 반투명 형태로 표시되던 단말기 화면(220)을 디스플레이부(180)에 원래대로 표시할 수도 있다.
다시 도 7을 참조하면, 제어부(170)는 단말기 화면(220)에 표시된 알림(알림의 내용을 포함하는 알림 창)에 기초한 요청을 수신하면(S800), 수신된 요청에 대응하는 제어 명령을 단말기(200)로 전송할 수 있다(S810). 단말기(200)는 수신된 제어 명령에 기초한 동작을 수행할 수 있다(S820).
이와 관련하여 도 8d를 참조하면, 제어부(170)는 사용자 입력 인터페이스부 (150) 등을 통해 단말기 화면(220)에 대한 요청을 수신할 수 있다. 예컨대, 수신된 요청이 제2 알림의 내용을 확인하기 위해 단말기 화면(220)에 표시된 제1 알림 창(241)을 제2 알림 창(242)으로 전환하는 요청인 경우, 제어부(170)는 제1 알림 창(241)을 제2 알림 창(242)으로 전환하여 표시하는 명령을 단말기(200)로 전송할 수 있다.
단말기(200)는 수신된 명령에 응답하여 제1 알림 창(241)을 제2 알림 창(242)으로 전환하여 표시하고, 제2 알림 창(242)이 표시된 화면을 디스플레이 장치(100)로 전송할 수 있다. 제어부(170)는 제2 알림 창(242)이 표시된 단말기 화면(220)을 디스플레이부(180)의 특정 영역에 표시할 수 있다.
도 9는 도 5에 도시된 사용자의 상태가 사용자의 존재 여부인 경우에 대한 실시 예를 설명하기 위한 래더 다이어그램이고, 도 10a 내지 도 10c는 도 9에 도시된 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.
도 9를 참조하면, 도 5의 S400 단계에 따라 단말기(200)에 알림이 발생하면, 제어부(170)는 카메라(160)를 이용하여 사용자의 존재 여부를 인식할 수 있다(S503).
단말기(200)에 알림이 발생한 경우 디스플레이 장치(100)의 디스플레이부 (180)에 표시되는 단말기 화면(220)에 대해서는 도 8a에서 상술한 바와 실질적으로 동일하므로, 이에 대한 설명은 생략하기로 한다.
제어부(170)는 카메라(160)를 이용하여 단말기(200)의 사용자의 존재 여부를 인식할 수 있다. 구체적으로, 제어부(170)는 카메라(160)를 이용하여 획득되는 영상으로부터, 영상에 사용자가 포함되어 있는지 여부를 인식할 수 있다.
S503 단계에 따른 인식 결과 사용자가 존재하지 않는 경우(S504의 NO), 제어부(170)는 사용자가 단말기 화면을 확인하지 않는 것으로 판단할 수 있다.
제어부(170)는 사용자가 단말기 화면을 확인하지 않는 것으로 판단한 경우, 단말기 화면에 알림의 내용을 포함하는 알림 창을 표시하지 않도록 하는 알림 미표시 명령을 단말기(200)로 전송할 수 있다(S601). 단말기(200)는 수신된 알림 미표시 명령에 응답하여, 알림의 내용을 포함하는 알림 창을 화면에 표시하지 않을 수 있다(S701). 이 때, 단말기(200)는 알림 창 대신 알림 아이콘만을 화면에 표시할 수 있다.
이와 관련하여 도 10a를 참조하면, 제어부(170)는, 카메라(160)를 통해 획득된 영상에 사용자가 존재하지 않는 것으로 인식되는 경우, 사용자가 단말기 화면(220)을 확인하지 않는 것으로 판단할 수 있다. 따라서, 제어부(170)는 단말기 화면(220)에 제1 알림 창(241)을 표시하지 않도록 하는 알림 미표시 명령을 단말기(200)로 전송하고, 단말기(200)는 수신된 알림 미표시 명령에 응답하여 제1 알림 창(241)을 화면에 표시하지 않을 수 있다. 실시 예에 따라, 단말기(200)는 제1 알림 창(241)을 화면에 표시하지 않는 대신, 제1 알림 아이콘(231)을 화면에 표시할 수 있고, 이 경우 디스플레이부(180)에 표시되는 단말기 화면(220)은 제1 알림 아이콘(231)과 제2 알림 아이콘(232)을 포함할 수 있다.
다시 도 9를 참조하면, S503 단계에 따른 인식 결과 사용자가 존재하는 경우(S504의 YES), 제어부(170)는 사용자가 단말기 화면을 확인하는 것으로 판단할 수 있다.
제어부(170)는 사용자가 단말기 화면을 확인하는 것으로 판단한 경우, 단말기 화면에 알림의 내용을 포함하는 알림 창을 표시하도록 하는 알림 표시 명령을 단말기(200)로 전송할 수 있다(S602). 단말기(200)는 수신된 알림 표시 명령에 응답하여, 알림의 내용을 포함하는 알림 창을 화면에 표시할 수 있다(S702).
이와 관련하여 도 10b를 참조하면, 제어부(170)는, 카메라(160)를 통해 획득된 영상에 사용자(300)가 존재하는 것으로 인식되는 경우, 사용자(300)가 단말기 화면(220)을 확인하는 것으로 판단할 수 있다. 따라서, 제어부(170)는 단말기 화면(220)에 알림 창(예컨대, 제1 알림 창(241))을 표시하도록 하는 알림 표시 명령을 단말기(200)로 전송하고, 단말기(200)는 수신된 알림 표시 명령에 응답하여 제1 알림 창(241)을 화면에 표시할 수 있다.
다시 도 9를 참조하면, 제어부(170)는 단말기 화면(220)에 표시된 알림(알림의 내용을 포함하는 알림 창)에 기초한 요청을 수신하면(S800), 수신된 요청에 대응하는 제어 명령을 단말기(200)로 전송할 수 있다(S810). 단말기(200)는 수신된 제어 명령에 기초한 동작을 수행할 수 있다(S820).
이와 관련하여 도 10c를 참조하면, 예컨대 제1 알림이 메시지 수신 알림이고, 수신된 요청이 수신된 메시지에 대한 답변 요청인 경우, 제어부(170)는 수신된 메시지에 대한 답변 요청에 대응하는 명령을 단말기(200)로 전송할 수 있다.
단말기(200)는 수신된 명령에 응답하여 메시지 작성 창(251)을 포함하는 화면을 표시하고, 메시지 작성 창(251)이 표시된 화면을 디스플레이 장치(100)로 전송할 수 있다. 제어부(170)는 메시지 작성 창(251)이 표시된 단말기 화면(220)을 디스플레이부(180)의 특정 영역에 표시할 수 있다.
도 11은 도 5에 도시된 사용자의 상태가 타인의 존재 여부인 경우에 대한 실시 예를 설명하기 위한 래더 다이어그램이고, 도 12a 내지 도 12c는 도 11에 도시된 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.
도 11을 참조하면, 도 5의 S400 단계에 따라 단말기(200)에 알림이 발생하면, 제어부(170)는 카메라(160)를 이용하여, 단말기(200)의 사용자 외에 타인이 존재하는지 여부를 인식할 수 있다(S505).
단말기(200)에 알림이 발생한 경우 디스플레이 장치(100)의 디스플레이부 (180)에 표시되는 단말기 화면(220)에 대해서는 도 8a에서 상술한 바와 실질적으로 동일하므로, 이에 대한 설명은 생략하기로 한다.
제어부(170)는 카메라(160)를 이용하여 단말기(200)의 사용자 외에 타인이 존재하는지 여부를 인식할 수 있다. 구체적으로, 제어부(170)는 카메라(160)를 이용하여 획득되는 영상으로부터, 영상에 단말기(200)의 사용자가 아닌 타인이 포함되어 있는지 여부를 인식하여 단말기 화면(220)에 알림의 내용을 표시할 것인지 여부를 판단할 수 있다. 이는 단말기(200)의 사용자 외에 타인이 존재하는 경우, 알림의 내용이 타인에게도 보여지는 것을 방지하기 위함이다.
S505 단계에 따른 인식 결과 타인이 존재하는 경우(S506의 YES), 제어부(170)는 단말기 화면에 알림의 내용을 포함하는 알림 창을 표시하지 않도록 하는 알림 미표시 명령을 단말기(200)로 전송할 수 있다(S601). 단말기(200)는 수신된 알림 미표시 명령에 응답하여, 알림의 내용을 포함하는 알림 창을 화면에 표시하지 않을 수 있다(S701). 이 때, 단말기(200)는 알림 창 대신 알림 아이콘만을 화면에 표시할 수 있다.
이와 관련하여 도 12a를 참조하면, 제어부(170)는, 카메라(160)를 통해 획득된 영상에 타인(301)이 존재하는 것으로 인식되는 경우, 단말기 화면(220)에 제1 알림 창(241)을 표시하지 않도록 하는 알림 미표시 명령을 단말기(200)로 전송하고, 단말기(200)는 수신된 알림 미표시 명령에 응답하여 제1 알림 창(241)을 화면에 표시하지 않을 수 있다. 실시 예에 따라, 단말기(200)는 제1 알림 창(241)을 화면에 표시하지 않는 대신, 제1 알림 아이콘(231)을 화면에 표시함으로써 사용자에게 알림이 발생하였음을 알릴 수 있다.
다시 도 11을 참조하면, S505 단계에 따른 인식 결과 사용자 외에 타인이 존재하지 않는 경우(S506의 NO), 제어부(170)는 단말기 화면에 알림의 내용을 포함하는 알림 창을 표시하도록 하는 알림 표시 명령을 단말기(200)로 전송할 수 있다(S602). 단말기(200)는 수신된 알림 표시 명령에 응답하여, 알림의 내용을 포함하는 알림 창을 화면에 표시할 수 있다(S702).
이와 관련하여 도 12b를 참조하면, 제어부(170)는, 카메라(160)를 통해 획득된 영상에 사용자(300) 외에 타인이 존재하지 않는 것으로 인식되는 경우, 단말기 화면(220)에 알림 창(예컨대, 제1 알림 창(241))을 표시하도록 하는 알림 표시 명령을 단말기(200)로 전송하고, 단말기(200)는 수신된 알림 표시 명령에 응답하여 제1 알림 창(241)을 화면에 표시할 수 있다.
다시 도 11을 참조하면, 제어부(170)는 단말기 화면(220)에 표시된 알림(알림의 내용을 포함하는 알림 창)에 기초한 요청을 수신하면(S800), 수신된 요청에 대응하는 제어 명령을 단말기(200)로 전송할 수 있다(S810). 단말기(200)는 수신된 제어 명령에 기초한 동작을 수행할 수 있다(S820).
이와 관련하여 도 12c를 참조하면, 예컨대 제1 알림이 메시지 수신 알림이고, 수신된 요청이 메시지의 상대방에 대한 호 발신 요청인 경우, 제어부(170)는 수신된 메시지의 상대방에 대한 호 발신 요청에 대응하는 명령을 단말기(200)로 전송할 수 있다.
단말기(200)는 수신된 명령에 응답하여 호 발신 창(252)을 포함하는 화면을 표시하고, 호 발신 창(252)이 표시된 화면을 디스플레이 장치(100)로 전송할 수 있다. 제어부(170)는 호 발신 창(252)이 표시된 단말기 화면(220)을 디스플레이부 (180)의 특정 영역에 표시할 수 있다.
도 13a 내지 도 13c는 본 발명의 다른 실시 예에 따른 디스플레이 장치의 동작을 나타내는 예시도이다.
제어부(170)는 단말기(200)에서 발생하는 알림에 대한 알림 창을 캡쳐(또는 알림 창을 포함하는 단말기 화면을 캡쳐)할 수 있다.
도 13a에 도시된 바와 같이, 예컨대 사용자가 알림을 확인하지 않고(사용자의 시선이 단말기 화면(220)이 표시된 영역을 향하지 않거나, 사용자가 존재하지 않거나, 사용자 외에 타인이 존재하는 경우), 단말기(200)의 배터리 잔량이 기준 잔량보다 낮은 경우, 단말기(200)에 제1 알림, 제2 알림, 및 제3 알림이 발생하면, 제어부(170)는 제1 알림의 내용을 포함하는 제1 알림 창(241), 제2 알림의 내용을 포함하는 제2 알림 창, 및 제3 알림의 내용을 포함하는 제3 알림 창을 각각 표시하는 단말기 화면들 각각을 캡쳐할 수 있다.
도 13b와 도 13c를 참조하면, 사용자가 디스플레이부(180)를 통해 알림을 확인할 수 있는 경우(예컨대, 시선이 단말기 화면이 표시된 영역을 향하거나, 사용자가 존재하거나, 사용자 외에 타인이 존재하지 않는 경우), 제어부(170)는 배터리 부족 창(245)을 포함하는 단말기 화면(220)을 표시하고, 단말기(200)로부터 전송되는 화면 대신 캡쳐한 제1 알림 창 내지 제3 알림 창 중 적어도 하나를 표시할 수 있다. 표시된 알림 창은 원격 제어 장치(200) 등을 통해 수신되는 요청에 의해 전환될 수 있다.
실시 예에 따라, 제1 알림 창 내지 제3 알림 창이 캡쳐된 후, 단말기(200)의 배터리가 모두 소모되어 단말기(200)의 전원이 오프(off)된 경우, 제어부(170)는 사용자가 단말기 화면을 확인하면, 단말기(200)의 전원이 오프되었음을 알리는 화면을 표시한 후, 캡쳐된 제1 알림 창 내지 제3 알림 창 중 적어도 하나를 표시할 수도 있다.
즉, 도 13a 내지 도 13c에 도시된 실시 예에 따르면, 디스플레이 장치(100)는 단말기(200)의 배터리가 부족하거나 단말기(200)의 전원이 오프된 경우에도 미리 캡쳐된 단말기 화면을 표시함으로써 사용자에게 알림을 표시할 수 있다.
도 14는 도 1에 도시된 디스플레이 장치의 일 실시 예로서 프로젝터 모듈을 포함하는 장치에 대한 사시도이다.
도 14를 참조하면, 프로젝터 모듈이 포함된 장치의 일 실시 예로서 프로젝터 모듈(1200)이 구비된 탁상용 조명장치(1000)가 도시되어 있으나, 본 발명의 실시 예가 탁상용 조명장치(1000)에만 한정되는 것은 아니고, 프로젝터 모듈을 포함하는 각종 장치에 적용될 수 있다.
탁상용 조명장치(1000)는, 광을 발산하는 광원부(1010), 및 발산된 광을 확산하는 광 확산부(1020)를 포함할 수 있다. 비록 도시되지는 않았으나, 탁상용 조명장치(1000)는 공지된 탁상용 조명장치의 각종 구성들을 더 포함할 수 있다.
특히, 본 발명의 실시 예에 따른 탁상용 조명장치(1000)는 카메라 모듈(1100)과 프로젝터 모듈(1200)을 포함할 수 있고, 카메라 모듈(1100)과 프로젝터 모듈(1200) 각각의 동작을 제어하는 제어부를 포함할 수 있다.
카메라 모듈(1100), 및 제어부 각각은 도 1에 도시된 카메라(160), 및 제어부(170) 각각과 실질적으로 동일하므로, 이에 대한 설명은 생략하기로 한다.
프로젝터 모듈(1200)은 영상에 해당하는 빛을 렌즈를 통해 투사 (projection)하여, 프로젝터 모듈(1200)과 이격된 스크린이나 벽 등에 표시할 수 있다.
실시 예에 따라, 카메라 모듈(1100), 프로젝터 모듈(1200), 및 제어부는 탁상용 조명장치(1000)와 별도의 모듈 또는 장치로 구현되어, 탁상용 조명장치 (1000)에 부착되어 사용될 수도 있다.
제어부는 카메라 모듈(1100)을 이용하여 사용자의 단말기(200)를 감지하고, 감지된 단말기(200)와 연결할 수 있다. 이를 위해, 제어부, 제어부를 포함하는 모듈, 또는 탁상용 조명장치(1000)는 무선 통신부를 포함할 수 있다.
제어부는 카메라 모듈(1100)을 이용하여 단말기(200)의 사용자를 감지하고, 감지 결과에 따라 단말기(200)에 대한 사용자 인증을 수행할 수 있다.
제어부는 프로젝터 모듈(1200)을 이용하여 단말기(200)의 화면을 표시할 수 있다. 예컨대, 제어부는 단말기(200)의 화면을 미러링하여 프로젝터 모듈(1200)을 통해 표시할 수도 있고, 단말기(200)에 알림이 발생하는 경우, 알림에 대한 정보를 수신하여 수신된 알림에 대한 정보를 프로젝터 모듈(1200)을 통해 표시할 수도 있다.
도 5 내지 도 12d에서 상술한 실시 예들과 유사하게, 도 14에 도시된 탁상용 조명장치(1000)의 제어부는 카메라 모듈(1100)을 이용하여 사용자가 존재하는지 여부, 또는 사용자 외에 타인이 존재하는지 여부를 인식할 수 있다.
인식 결과, 사용자가 존재하거나 사용자 외에 타인이 존재하지 않는 경우, 제어부는 프로젝터 모듈(1200)을 통해 단말기 화면(220) 또는 단말기(200)에 발생한 알림의 내용을 포함하는 알림 창(241)을 표시할 수 있다.
인식 결과, 사용자가 존재하지 않거나 사용자 외에 타인이 존재하는 경우, 제어부는 단말기(200)로 하여금 화면에 알림 창을 표시하지 않도록 하기 위한 명령을 전송하거나, 프로젝터 모듈(1200)이 아무런 화면을 표시하지 않도록 제어할 수 있다.
또한, 도 13a부터 도 13c에서 상술한 실시 예와 유사하게, 탁상용 조명장치 (1000)의 제어부는 사용자가 존재하지 않고 단말기(200)의 배터리 잔량이 기준 잔량보다 낮은 경우, 단말기(200)에서 발생한 알림에 대한 정보를 저장(예컨대, 알림 창이 표시된 단말기의 화면이 캡쳐된 이미지를 저장 등)할 수 있다. 이후 사용자가 돌아오면, 제어부는 저장된 알림에 대한 정보를 프로젝터 모듈(1200)을 통해 표시할 수 있다.
따라서, 단말기(200)의 배터리가 모두 소모되어 단말기(200)의 전원이 오프되더라도, 제어부는 저장된 알림에 대한 정보를 프로젝터 모듈(1200)을 통해 사용자에게 알려줄 수 있다. 실시 예에 따라, 제어부는 사용자가 저장된 알림에 대한 정보를 확인하면, 저장된 알림에 대한 정보를 삭제할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (17)

  1. 단말기와 연결되는 디스플레이 장치의 동작 방법에 있어서,
    상기 디스플레이 장치가, 상기 단말기에 표시되는 화면을 수신하고, 수신된 화면을 디스플레이부에 표시하는 단계;
    상기 디스플레이 장치가, 카메라를 이용하여 사용자의 상태를 인식하는 단계; 및
    인식 결과에 기초하여, 상기 단말기에서 발생하는 알림의 내용을 상기 화면에 표시하도록 하는 제1 명령과, 상기 알림의 내용을 상기 화면에 표시하지 않도록 하는 제2 명령 중 어느 하나의 명령을 상기 단말기로 전송하는 단계를 포함하는 디스플레이 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 수신된 화면을 디스플레이부에 표시하는 단계는,
    상기 디스플레이 장치가, 상기 단말기에 표시되는 화면을 실시간으로 수신하고, 실시간으로 수신된 화면을 상기 디스플레이부에 표시하는 디스플레이 장치의 동작 방법.
  3. 제1항에 있어서,
    상기 수신된 화면을 디스플레이부에 표시하는 단계는,
    상기 수신된 화면을 상기 디스플레이부의 소정 영역에 표시하고, 외부로부터 수신된 컨텐트의 영상을 상기 디스플레이부의 나머지 영역에 표시하는 디스플레이 장치의 동작 방법.
  4. 제3항에 있어서,
    상기 사용자의 상태를 인식하는 단계는,
    상기 카메라를 이용하여 상기 사용자의 시선을 인식하고,
    상기 어느 하나의 명령을 상기 단말기로 전송하는 단계는,
    인식 결과 상기 사용자의 시선이 상기 소정 영역을 향하는 경우, 상기 제1 명령을 상기 단말기로 전송하고, 상기 사용자의 시선이 상기 소정 영역을 향하지 않는 경우, 상기 제2 명령을 상기 단말기로 전송하는 디스플레이 장치의 동작 방법.
  5. 제1항에 있어서,
    상기 사용자의 상태를 인식하는 단계는,
    상기 카메라를 이용하여 상기 사용자의 존재 여부를 인식하고,
    상기 어느 하나의 명령을 상기 단말기로 전송하는 단계는,
    인식 결과 상기 사용자가 존재하는 경우, 상기 제1 명령을 상기 단말기로 전송하고, 상기 사용자가 존재하지 않는 경우, 상기 제2 명령을 상기 단말기로 전송하는 디스플레이 장치의 동작 방법.
  6. 제1항에 있어서,
    상기 사용자의 상태를 인식하는 단계는,
    상기 카메라를 이용하여 상기 사용자 외의 타인의 존재 여부를 인식하고,
    상기 어느 하나의 명령을 상기 단말기로 전송하는 단계는,
    인식 결과 상기 타인이 존재하지 않는 경우, 상기 제1 명령을 상기 단말기로 전송하고, 상기 타인이 존재하는 경우, 상기 제2 명령을 상기 단말기로 전송하는 디스플레이 장치의 동작 방법.
  7. 제1항에 있어서,
    상기 단말기의 배터리 잔량이 기준 잔량보다 낮은 경우, 상기 단말기로부터 수신되는 상기 알림의 내용이 표시되는 화면을 캡쳐하는 단계; 및
    상기 인식 결과에 기초하여 캡쳐된 상기 알림의 내용이 표시되는 화면을 상기 디스플레이부에 표시하는 단계를 더 포함하는 디스플레이 장치의 동작 방법.
  8. 제1항에 있어서,
    상기 어느 하나의 명령을 상기 단말기로 전송하는 단계는,
    상기 제1 명령이 전송됨에 따라, 상기 디스플레이부에 상기 알림의 내용이 포함된 화면이 표시된 경우, 상기 알림의 내용에 기초한 요청을 수신하는 단계; 및
    수신된 요청에 대응하는 제어 명령을 상기 단말기로 전송하는 단계를 더 포함하는 디스플레이 장치의 동작 방법.
  9. 단말기와 연결되는 디스플레이 장치에 있어서,
    디스플레이부;
    카메라;
    상기 단말기에 표시되는 화면을 수신하는 외부장치 인터페이스부; 및
    수신된 화면을 상기 디스플레이부에 표시하도록 제어하고, 상기 카메라를 이용하여 사용자의 상태를 인식하고, 인식 결과에 기초하여 상기 단말기에서 발생하는 알림의 내용을 상기 화면에 표시하도록 하는 제1 명령과, 상기 알림의 내용을 상기 화면에 표시하지 않도록 하는 제2 명령 중 어느 하나의 명령을 상기 단말기로 전송하는 제어부를 포함하는 디스플레이 장치.
  10. 제9항에 있어서,
    상기 외부장치 인터페이스부는 상기 단말기에 표시되는 화면을 실시간으로 수신하고,
    상기 제어부는 실시간으로 수신되는 화면을 상기 디스플레이부에 표시하도록 제어하는 디스플레이 장치.
  11. 제9항에 있어서,
    상기 제어부는,
    상기 수신된 화면을 상기 디스플레이부의 소정 영역에 표시하고, 외부로부터 수신되는 컨텐트의 영상을 상기 디스플레이부의 나머지 영역에 표시하도록 제어하는 디스플레이 장치.
  12. 제11항에 있어서,
    상기 사용자의 상태는 상기 사용자의 시선이고,
    상기 제어부는,
    인식 결과 상기 사용자의 시선이 상기 소정 영역을 향하는 경우, 상기 제1 명령을 상기 단말기로 전송하고,
    상기 사용자의 시선이 상기 소정 영역을 향하지 않는 경우, 상기 제2 명령을 상기 단말기로 전송하는 디스플레이 장치.
  13. 제9항에 있어서,
    상기 사용자의 상태는 상기 사용자의 존재 여부이고,
    상기 제어부는,
    인식 결과 상기 사용자가 존재하는 경우, 상기 제1 명령을 상기 단말기로 전송하고,
    상기 사용자가 존재하지 않는 경우, 상기 제2 명령을 상기 단말기로 전송하는 디스플레이 장치.
  14. 제9항에 있어서,
    상기 사용자의 상태는 상기 사용자 외의 타인의 존재 여부이고,
    상기 제어부는,
    인식 결과 상기 타인이 존재하지 않는 경우, 상기 제1 명령을 상기 단말기로 전송하고,
    상기 타인이 존재하는 경우, 상기 제2 명령을 상기 단말기로 전송하는 디스플레이 장치.
  15. 제9항에 있어서,
    상기 제어부는,
    상기 단말기의 배터리 잔량이 기준 잔량보다 낮은 경우, 상기 단말기로부터 수신되는 상기 알림의 내용이 표시되는 화면을 캡쳐하고,
    상기 인식 결과에 기초하여 캡쳐된 상기 알림의 내용이 표시되는 화면을 상기 디스플레이부에 표시하도록 제어하는 디스플레이 장치.
  16. 제9항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 상기 알림의 내용이 포함된 화면이 표시된 경우, 상기 알림의 내용에 기초한 요청을 수신하고,
    수신된 요청에 대응하는 제어 명령을 상기 단말기로 전송하는 디스플레이 장치.
  17. 제9항에 있어서,
    상기 디스플레이 장치는 TV, 모니터, 및 프로젝터 중 어느 하나를 포함하는 디스플레이 장치.
KR1020150134378A 2015-09-23 2015-09-23 디스플레이 장치 및 이의 동작 방법 KR102400640B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150134378A KR102400640B1 (ko) 2015-09-23 2015-09-23 디스플레이 장치 및 이의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150134378A KR102400640B1 (ko) 2015-09-23 2015-09-23 디스플레이 장치 및 이의 동작 방법

Publications (2)

Publication Number Publication Date
KR20170035487A true KR20170035487A (ko) 2017-03-31
KR102400640B1 KR102400640B1 (ko) 2022-05-20

Family

ID=58500769

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150134378A KR102400640B1 (ko) 2015-09-23 2015-09-23 디스플레이 장치 및 이의 동작 방법

Country Status (1)

Country Link
KR (1) KR102400640B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080093970A (ko) * 2005-12-05 2008-10-22 마이크로소프트 코포레이션 이미지 캡처 장치 및 방법
KR20120059304A (ko) * 2010-11-30 2012-06-08 현대자동차주식회사 시선인식 디스플레이 시스템
JP2012227618A (ja) * 2011-04-15 2012-11-15 Panasonic Corp 表示装置、表示制御方法、および表示制御プログラム
KR20150033429A (ko) * 2013-09-24 2015-04-01 엘지전자 주식회사 이동 단말기 및 이의 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080093970A (ko) * 2005-12-05 2008-10-22 마이크로소프트 코포레이션 이미지 캡처 장치 및 방법
KR20120059304A (ko) * 2010-11-30 2012-06-08 현대자동차주식회사 시선인식 디스플레이 시스템
JP2012227618A (ja) * 2011-04-15 2012-11-15 Panasonic Corp 表示装置、表示制御方法、および表示制御プログラム
KR20150033429A (ko) * 2013-09-24 2015-04-01 엘지전자 주식회사 이동 단말기 및 이의 제어방법

Also Published As

Publication number Publication date
KR102400640B1 (ko) 2022-05-20

Similar Documents

Publication Publication Date Title
US10606542B2 (en) Image display apparatus
KR102484135B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR102500558B1 (ko) 디스플레이 장치 및 그 동작 방법
CN108738374B (zh) 图像显示装置
US10725732B2 (en) Display device and operating method thereof
KR20150146193A (ko) 디스플레이 장치 및 그의 동작 방법
US10327030B2 (en) Display device and operating method thereof
KR102567803B1 (ko) 디스플레이 장치
KR20170121640A (ko) 디스플레이 장치 및 그의 동작 방법
KR20150146067A (ko) 영상 표시 기기 및 그의 동작 방법
US20190286318A1 (en) Display device
US11871066B2 (en) Display device and display system
KR20160095377A (ko) 디스플레이 장치 및 그의 동작 방법
KR20170035487A (ko) 디스플레이 장치 및 이의 동작 방법
KR102524901B1 (ko) 디스플레이 장치 및 그를 포함하는 디스플레이 시스템
KR20210130066A (ko) 디스플레이 장치 및 그의 동작 방법
US11974004B2 (en) Display device and operating method thereof
US11962832B2 (en) Display device, remote control device and display system including display device and remote control device
KR20170081454A (ko) 디스플레이 장치
EP4383734A1 (en) Display apparatus and operating method therefor
US20240036802A1 (en) Display device and operation method thereof
EP4336848A1 (en) Wireless display system
KR20180054052A (ko) 디스플레이 장치 및 그의 동작 방법
KR20230120798A (ko) 디스플레이 시스템
EP3992816A1 (en) Display device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant