KR102524180B1 - 디스플레이장치 및 그 제어방법 - Google Patents

디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
KR102524180B1
KR102524180B1 KR1020170152404A KR20170152404A KR102524180B1 KR 102524180 B1 KR102524180 B1 KR 102524180B1 KR 1020170152404 A KR1020170152404 A KR 1020170152404A KR 20170152404 A KR20170152404 A KR 20170152404A KR 102524180 B1 KR102524180 B1 KR 102524180B1
Authority
KR
South Korea
Prior art keywords
information
user
image
display device
related information
Prior art date
Application number
KR1020170152404A
Other languages
English (en)
Other versions
KR20190055558A (ko
Inventor
서유진
장정록
이재황
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170152404A priority Critical patent/KR102524180B1/ko
Priority to US16/472,053 priority patent/US20200099984A1/en
Priority to CN201880040640.1A priority patent/CN110786019B/zh
Priority to JP2019536255A priority patent/JP7332473B2/ja
Priority to PCT/KR2018/013740 priority patent/WO2019098624A1/ko
Priority to EP18877582.9A priority patent/EP3547699A4/en
Publication of KR20190055558A publication Critical patent/KR20190055558A/ko
Application granted granted Critical
Publication of KR102524180B1 publication Critical patent/KR102524180B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 디스플레이장치에 관한 것으로서, 디스플레이장치는, 디스플레이부; 신호수신부; 사용자입력부; 및 상기 신호수신부를 통해 수신된 영상신호를 처리하여 영상을 상기 디스플레이부에 표시하고, 상기 영상 표시 중 상기 사용자입력부를 통해 사용자입력이 수신되면, 상기 수신된 사용자입력정보에 기초하여 상기 영상의 적어도 일부를 포함한 영상정보에서 탐색대상을 결정하고, 상기 탐색대상에 관한 관련정보를 수집하고, 상기 관련정보를 상기 디스플레이부에 표시하는 처리부를 포함한다.
이에 의하여, 영상에 관한 관련정보가 사전에 DB로 마련되지 않은 영상에 대해서도 관련정보를 제공할 수 있다.

Description

디스플레이장치 및 그 제어방법 {DISPLAY APPARATUS AND THE CONTROL METHOD THEREOF}
본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 구체적으로는 영상에 관한 관련정보를 제공하는 디스플레이장치 및 그 제어방법에 관한 것이다.
디스플레이장치의 사용자에게는 디스플레이장치에서 재생되는 영상에 관한 관련정보를 제공받고자 하는 수요가 있다. 예를 들어, TV 시청자들은 TV 시청 중 화면에 표시되는 상품이나 화면상의 장소, 나오는 음악 등이 무엇인지를 알고 싶어한다. 이 수요를 만족시키기 위하여 관련정보를 제공하는 서비스가 제공되었다.
이러한 관련정보를 제공하기 위하여, 영상 제작자나 제공자가 해당 영상과 관련된 데이터를 미리 DB 형태로 제공하거나 영상에 포함하여 제공하는 방법이 사용되었다.
그러나 이러한 DB가 미리 구축되지 않은 영상에 대해서는 위 서비스를 제공할 수 없었다.
이에 본 발명은, 영상에 관한 관련정보가 사전에 DB로 마련되지 않은 영상에 대해서도 관련정보를 제공할 수 있는 디스플레이장치를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치는, 디스플레이부; 신호수신부; 사용자입력부; 통신부; 및 상기 신호수신부를 통해 수신된 영상신호를 처리하여 영상을 상기 디스플레이부에 표시하고, 상기 영상 표시 중 상기 사용자입력부를 통해 사용자입력이 수신되면, 상기 영상의 적어도 일부를 포함한 영상정보 및 상기 사용자입력에 관한 사용자입력정보를 상기 통신부를 통해 외부장치로 전송하고, 상기 영상정보 및 상기 사용자입력정보에 기초한 정보로서 상기 외부장치로부터 수신한 관련정보를 상기 디스플레이부에 표시하는 처리부를 포함한다. 이에 의하면, 영상에 관한 관련정보가 사전에 DB로 마련되지 않은 영상에 대해서도 관련정보를 제공할 수 있다.
상기 처리부는 사용자에 관한 개인화정보, 상기 영상의 컨텐츠에 관한 컨텐츠정보 또는 시청환경에 관한 정황정보 중 적어도 하나를 포함하는 추가정보를 상기 외부장치에 전송할 수 있다. 이에 의하면, 사용자의 의도에 더 잘 부합하는 관련정보를 제공할 수 있다.
상기 디스플레이장치에서, 상기 신호수신부는 오디오신호를 더 수신하고, 상기 영상정보는 상기 오디오신호를 처리한 오디오의 적어도 일부를 포함할 수 있다.
상기 디스플레이장치는, 저장부를 포함하고, 상기 처리부는 제1사용자입력에 기초한 제1관련정보를 상기 외부장치로부터 수신하여 상기 저장부에 저장하고, 제2사용자입력이 입력되면 상기 저장된 제1관련정보를 상기 디스플레이부에 표시할 수 있다. 이에 의하면, 관련정보를 더욱 다양한 방법으로 제공받을 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 서버는, 통신부; 및 상기 통신부를 통해 영상정보와 사용자입력정보를 외부장치로부터 수신하고, 상기 수신된 사용자입력정보에 기초하여 상기 영상정보에서 탐색대상을 결정하고, 상기 탐색대상에 관한 관련정보를 수집하여 상기 외부장치에 전송하는 처리부를 포함한다. 이에 의하면, 영상에 관한 관련정보가 사전에 DB로 마련되지 않은 영상에 대해서도 관련정보를 제공할 수 있다.
상기 처리부는 상기 수신된 사용자입력정보로부터 키워드를 추출하고, 상기 영상정보에서 상기 키워드에 대응하는 탐색대상을 결정할 수 있다.
상기 처리부는 사용자에 관한 개인화정보, 상기 영상에 관한 컨텐츠정보 또는 시청환경에 관한 정황정보 중 적어도 하나를 포함하는 추가정보를 수신하고, 상기 사용자입력정보 및 상기 수신한 추가정보에 기초하여 상기 영상정보에서 탐색대상을 결정할 수 있다. 또한, 상기 처리부는 상기 수신한 추가정보에 기초하여 상기 탐색대상에 관한 관련정보를 수집할 수 있다. 이에 의하면, 사용자의 의도에 더 잘 부합하는 관련정보를 제공할 수 있다.
상기 처리부는 자동추천모드를 설정하는 사용자입력에 대응하여, 사용자에 대한 관련정보 제공 이력에 기초하여 상기 수신된 영상정보에서 상기 탐색대상을 결정할 수 있다. 이에 의하면, 영상을 시청하는 사용자가 일일이 관련정보를 제공받고자 하는 입력을 하지 않더라도, 사용자에 대한 관련정보 제공 이력에 기초하여 관련정보를 자동으로 제공할 수 있다.
상기 처리부는 소정 구간의 영상에 대하여 관련정보의 제공을 요청하는 사용자입력에 대응하여, 상기 수신된 영상정보 중 상기 소정 구간에 대응하는 영상정보에서 상기 탐색대상을 결정할 수 있다. 이에 의하면, 소정 구간의 영상에 대하여 한번의 사용자입력만으로도 동일한 유형의 관련정보를 지속적으로 제공할 수 있어서, 사용자 편의성이 향상된다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 디스플레이장치는, 디스플레이부; 신호수신부; 사용자입력부; 및 상기 신호수신부를 통해 수신된 영상신호를 처리하여 영상을 상기 디스플레이부에 표시하고, 상기 영상 표시 중 상기 사용자입력부를 통해 사용자입력이 수신되면, 상기 수신된 사용자입력정보에 기초하여 상기 영상의 적어도 일부를 포함한 영상정보에서 탐색대상을 결정하고, 상기 탐색대상에 관한 관련정보를 수집하고, 상기 관련정보를 상기 디스플레이부에 표시하는 처리부를 포함한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치의 제어방법은, 영상신호를 수신하는 단계; 상기 수신된 영상신호를 처리하여 영상을 표시하는 단계; 상기 영상 표시 중 사용자입력이 수신되면, 상기 영상의 적어도 일부를 포함한 영상정보 및 상기 사용자입력에 관한 사용자입력정보를 외부장치로 전송하는 단계; 및 상기 영상정보 및 상기 사용자입력정보에 기초한 정보로서 상기 외부장치로부터 수신한 관련정보를 표시하는 단계를 포함한다.
상기 전송하는 단계는 사용자에 관한 개인화정보, 상기 영상의 컨텐츠에 관한 컨텐츠정보 또는 시청환경에 관한 정황정보 중 적어도 하나를 포함하는 추가정보를 상기 외부장치에 더 전송할 수 있다.
상기 수신하는 단계는 오디오신호를 더 수신하고, 상기 영상정보는 상기 오디오신호를 처리한 오디오의 적어도 일부를 포함할 수 있다.
상기 표시하는 단계는 제1사용자입력에 기초한 제1관련정보를 상기 외부장치로부터 수신하여 저장하고, 제2사용자입력이 입력되면 상기 저장된 제1관련정보를 표시할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 서버의 제어방법은, 서버의 제어방법에 있어서, 영상정보와 사용자입력정보를 외부장치로부터 수신하는 단계; 상기 수신된 사용자입력정보에 기초하여 상기 영상정보에서 탐색대상을 결정하는 단계; 및 상기 탐색대상에 관한 관련정보를 수집하여 상기 외부장치에 전송하는 단계를 포함한다.
상기 결정하는 단계는 상기 수신된 사용자입력정보로부터 키워드를 추출하고, 상기 영상정보에서 상기 키워드에 대응하는 탐색대상을 결정할 수 있다.
상기 수신하는 단계는 사용자에 관한 개인화정보, 상기 영상에 관한 컨텐츠정보 또는 시청환경에 관한 정황정보 중 적어도 하나를 포함하는 추가정보를 더 수신하고, 상기 결정하는 단계는 상기 사용자입력정보 및 상기 수신한 추가정보에 기초하여 상기 영상정보에서 탐색대상을 결정할 수 있다. 또는, 상기 수신하는 단계는 추가정보를 더 수신하고, 상기 전송하는 단계는 수신한 추가정보에 기초하여 상기 탐색대상에 관한 관련정보를 수집하여 상기 외부장치에 전송할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치의 제어방법은, 영상신호를 수신하는 단계; 상기 수신된 영상신호를 처리하여 영상을 표시하는 단계; 상기 영상 표시 중 사용자입력이 수신되면, 상기 수신된 사용자입력정보에 기초하여 상기 영상정보에서 탐색대상을 결정하는 단계; 상기 탐색대상에 관한 관련정보를 수집하는 단계; 및 상기 관련정보를 표시하는 단계를 포함한다.
이에 의하면, 영상에 관한 관련정보가 사전에 DB로 마련되지 않은 영상에 대해서도 관련정보를 제공할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 컴퓨터프로그램은, 디스플레이장치와 결합되어 위 제어방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램이다.
상기 컴퓨터프로그램은 서버 내의 매체에 저장되고 네트워크를 통해 상기 디스플레이장치에 다운로드 될 수 있다.
상기한 바와 같이, 본 발명에 의하면, 영상에 관한 관련정보가 사전에 DB로 마련되지 않은 영상에 대해서도 관련정보를 제공할 수 있다.
또한, 본 발명에 의하면, 관련정보를 제공함에 있어서, 사용자의 의도에 잘 부합하는 관련정보를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이장치와 서버의 시스템을 나타내는 도면,
도 2는 본 발명의 일 실시예에 따른 디스플레이장치와 서버의 구성을 나타내는 블록도,
도 3은 본 발명의 일 실시예에 따른 디스플레이장치의 제어방법을 나타내는 도면,
도 4는 본 발명의 일 실시예에 따른 서버의 제어방법을 나타내는 도면,
도 5는 본 발명의 제1실시예에 따른 디스플레이장치와 서버의 작동 예를 나타내는 도면,
도 6은 본 발명의 제2실시예에 따른 디스플레이장치와 서버의 작동 예를 나타내는 도면,
도 7은 본 발명의 제3실시예에 따른 디스플레이장치와 서버의 작동 예를 나타내는 도면,
도 8은 본 발명의 제4실시예에 따른 디스플레이장치와 서버의 작동 예를 나타내는 도면,
도 9는 본 발명의 제5실시예에 따른 디스플레이장치와 서버의 작동 예를 나타내는 도면,
도 10은 본 발명의 제6실시예에 따른 디스플레이장치와 서버의 작동 흐름을 나타내는 도면,
도 11은 본 발명의 제7실시예에 따른 디스플레이장치와 서버의 작동 흐름을 나타내는 도면.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이장치(100)와 외부장치(200)의 시스템을 도시한다. 본 발명의 일 실시예에 따른 디스플레이장치(100)는, 예컨대, TV로 구현될 수 있다. 또한, 본 발명의 다른 실시예에 따른 디스플레이장치(100)는, 예컨대, 스마트폰, 태블릿, 모바일폰, 스마트워치, 헤드 마운트형 디스플레이(Head-Mounted Display) 등의 웨어러블 디바이스, 컴퓨터, 멀티미디어 재생기, 전자액자, 디지털 광고판, LFD(Large Format Display), 디지털 싸이니지, 셋탑박스, 냉장고 등의 장치로 구현될 수 있다. 그러나 본 발명의 일 실시예에 따른 디스플레이장치(100)가 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 외부장치(200)는, 예컨대, 서버로 구현될 수 있다. 그러나 본 발명의 일 실시예에 따른 외부장치(200)가 이에 한정되는 것은 아니다. 외부장치(200)는 그 명칭이나 형태에 관계 없이, 디스플레이장치(100)로부터 정보를 수신하여 이를 처리하고 처리한 정보를 디스플레이장치(100)로 전송할 수 있는 장치라면 무엇이든 가능하다. 이하에서는 본 발명의 일 실시예에 따른 외부장치가 서버(200)인 경우를 예로 들어 설명한다.
도 1을 참조하여 본 발명의 일 실시예에 의한 디스플레이장치(100)와 서버(200)의 작동을 개괄적으로 설명하면, 디스플레이장치(100)는 1) 영상을 표시하고, 2) 사용자입력이 수신되면, 3) 영상정보 및 사용자입력정보를 서버(200)로 전송한다. 디스플레이장치(100)로부터 영상정보 및 사용자입력정보를 수신한 서버(200)는 이에 기초하여 4) 탐색대상을 결정하고, 5) 탐색대상 관련정보를 수집하여, 6) 수집한 관련정보를 디스플레이장치(100)로 전송한다. 디스플레이장치(100)는 서버(200)로부터 수신한 관련정보를 표시한다. 각각의 작동에 대한 자세한 설명은 이하 관련도면을 참조하여 후술한다.
도 2는 본 발명의 일 실시예에 따른 디스플레이장치(100)와 서버(200)의 구성을 도시한다. 본 발명의 일 실시예에 따른 디스플레이장치(100)는 신호수신부(101), 사용자입력부(102), 처리부(103), 디스플레이부(104)를 포함한다. 다만, 도 2에 도시된 본 디스플레이장치(100)의 구성은 하나의 예시일 뿐, 본 발명의 실시예에 의한 디스플레이장치는 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일 실시예에 의한 디스플레이장치는 도 2에 도시된 구성 외에 다른 구성이 추가되거나, 혹은 도 2에 도시된 구성 중 일부가 배제되어 구현될 수도 있다.
신호수신부(101)는 영상신호를 수신한다. 신호수신부(101)가 수신하는 영상신호는 유선신호 또는 무선신호일 수 있고, 디지털신호 또는 아날로그신호일 수도 있다. 신호수신부(101)는 방송신호를 수신할 수도 있다. 방송신호는 공중파 신호, 케이블신호, 위성신호 또는 네트워크신호일 수도 있다. 나아가 신호수신부(203)는 무선통신을 위한 와이파이 통신모듈, 별도의 유선 접속을 위한 이더넷 모듈, USB 메모리의 접속을 위한 USB 포트 등을 추가적으로 포함할 수 있다.
신호수신부(101)는 처리부(103)의 제어에 따라 복수의 채널 중 어느 하나의 채널의 방송신호를 수신할 수 있다. 방송신호에는 방송국에서 제공하는 방송 컨텐츠가 실려 있다. 방송 컨텐츠는 드라마, 영화, 뉴스, 스포츠, 음악, VOD 등 다양한 방송 프로그램을 포함하며, 그 내용의 제한은 없다.
사용자입력부(102)는 사용자입력을 수신하여 처리부(103)로 전달한다. 사용자입력부(102)는 사용자입력의 방식에 따라서 다양한 형태로 구현될 수 있다. 예컨대 리모컨으로부터 수신되는 사용자입력의 리모컨신호를 수신하는 리모컨신호수신부, 디스플레이장치(100)의 외측에 설치된 메뉴버튼, 디스플레이부에 마련되어 사용자의 터치입력을 수신하는 터치스크린(Touch-Screen), 사용자의 제스처입력을 감지하는 카메라, 사용자의 음성입력을 인식하는 마이크, 사용자의 키 입력을 인식하는 키보드 등으로 구현될 수 있다.
처리부(103)는 신호수신부(101)에 의해 수신된 영상신호를 처리할 수 있다. 예를 들어 영상신호가 방송신호일 경우, 처리부(103)는 수신된 방송신호의 규격에 대응하는 신호처리를 수행하여 방송 컨텐츠의 데이터를 추출한다.
처리부(103)가 수행하는 영상처리 프로세스의 종류는 한정되지 않는다. 처리부(103)에서 수행하는 영상처리는, 예를 들어, 입력되는 스트림을 영상, 음성, 부가데이터의 각 하위 스트림으로 구분하는 디멀티플렉싱(de-multiplexing), 영상스트림의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상스트림을 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상스트림을 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
처리부(103)는 사용자입력부(102)를 통해 수신되는 사용자입력에 따른 처리를 수행할 수도 있다.
처리부(103)는, 디스플레이장치(100)의 제반 구성들이 동작하기 위한 제어를 수행할 수 있다. 처리부(103)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)과, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리 및 로드된 제어프로그램을 실행하는 적어도 하나의 프로세서 혹은 CPU(Central Processing Unit)를 포함할 수 있다. 또한, 이와 같은 제어프로그램은, 디스플레이장치(100) 이외의 다른 전자기기에도 저장될 수 있다.
제어프로그램은 BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 디스플레이장치(100)의 제조 시에 디스플레이장치(100)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 디스플레이장치(100)에 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 디스플레이장치(100)로 다운로드될 수도 있으나, 이에 한정되는 것은 아니다. 한편, 처리부(103)는 device, S/W module, circuit, chip 등의 형태 또는 그 조합으로 구현될 수 있다.
처리부(103)는, 예컨대, 사용자입력을 수신하도록 사용자입력부(102)를 제어할 수 있다. 처리부(103)는 또한 영상신호에 대해 영상처리를 수행한 후, 처리된 영상이 출력되도록 디스플레이부(104)를 제어할 수 있다. 도 2에 도시된 디스플레이장치(100)는 하나의 처리부(103)에서 처리와 제어를 함께 수행하는 구성으로 구현된 것을 나타내나, 이는 하나의 예시일 뿐이며, 본 발명의 다른 실시예에 의한 디스플레이장치(100)는 처리부와 별도로 제어부를 추가 구비한 구성으로 구현될 수도 있다.
디스플레이부(104)는, 처리부(103)에서 처리된 영상을 표시할 수 있다. 디스플레이부(104)의 구현 방식은 한정되지 않으며, 예컨대 액정(Liquid Crystal), 플라즈마(Plasma), 발광 다이오드(Light-Emitting Diode), 유기발광 다이오드(Organic Light-Emitting Diode), 면전도 전자총(Surface-Conduction Electron-Emitter), 탄소 나노 튜브(Carbon Nano-Tube), 나노 크리스탈(Nano-Crystral) 등의 다양한 디스플레이 방식으로 구현될 수 있다. 디스플레이부(104)는, 액정 방식인 경우에, 액정 디스플레이 패널과 액정 디스플레이 패널에 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널을 구동시키는 패널구동부 등을 포함한다. 디스플레이부(104)는, 백라이트유닛 없이, 자발광 소자인 OLED 패널로 구현될 수 있다.
본 발명의 일 실시예에 따른 디스플레이장치(100)는 통신부(105) 또는 저장부를 더 포함할 수 있다.
통신부(105)는 외부장치, 예를 들어 서버(200)와 통신할 수 있다. 통신부(105)는 유선 또는 무선으로 통신 할 수 있다. 따라서 유선 접속을 위한 커넥터 또는 단자를 포함하는 접속부 이외에도 다양한 다른 통신 방식으로 구현될 수 있다. 예컨대, Wi-Fi, 블루투스, 지그비(Zigbee), 적외선 통신, Radio Control, UWM(Ultra-Wide Band), Wireless USB, NFC(Near Field Communication) 중 하나 이상의 통신을 수행하도록 구성될 수 있다. 통신부(105)는 BLE(Bluetooth Low Energy), SPP(Serial Port Profile), WiFi Direct, 적외선 통신, Zigbee, NFC(Near Field Communication) 등의 통신모듈을 포함할 수 있다. 통신부(105)는 device, S/W module, circuit, chip 등의 형태로 구현될 수 있다.
저장부는 처리부(103)의 처리 및 제어에 따라서 다양한 데이터를 저장할 수 있다. 저장부는 처리부(103)에 의해 엑세스되어, 데이터의 독취, 기록, 수정, 삭제, 갱신 등을 수행할 수 있다. 저장부는 디스플레이장치(100)에 대한 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive), SSD(solid-state drive) 등과 같은 비휘발성 메모리를 포함할 수 있다. 또한, 저장부는 처리부(103)에 의해 처리되는 데이터가 임시로 로딩되기 위한 버퍼, 램 등과 같은 휘발성 메모리를 포함할 수 있다.
본 발명의 일 실시예에 따른 서버(200)는 처리부(201) 및 통신부(202)를 포함한다. 다만, 도 2에 도시된 본 서버(200)의 구성은 하나의 예시일 뿐, 본 발명의 실시예에 의한 서버(200)는 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일 실시예에 의한 서버(200)는 도 2에 도시된 구성 외에 다른 구성이 추가되거나, 혹은 도 2에 도시된 구성 중 일부가 배제되어 구현될 수도 있다. 서버(200)의 처리부(201)와 통신부(202)에 관한 설명은 디스플레이장치(100)에서의 처리부(103)와 통신부(105)에 관한 설명이 그대로 적용 가능하므로 생략한다.
도 3은 본 발명의 일 실시예에 따른 디스플레이장치(100)의 제어방법을 도시한다.
본 발명의 일 실시예에 따른 디스플레이장치(100)의 처리부(103)는 신호수신부(101)를 통해 수신된 영상신호를 처리하여 영상을 디스플레이부(104)에 표시한다(S301).
처리부(103)는 영상을 처리하여 표시하는 동안, 사용자입력부(102)를 통해 사용자입력이 수신되는지 여부를 감지한다(S302). 사용자입력은 영상에 관한 관련정보의 제공을 요청하는 사용자의 입력을 포함한다. 여기서 영상에 관한 관련정보란, 직접적 또는 간접적으로 영상과 관련성이 있는 정보라면 무엇이든 해당할 수 있는 정보로서, 영상에 기초하여 수집할 수 있는 정보라면 그 범위에 한정은 없다. 예를 들어, 영상의 컨텐츠 내에 등장하는 인물이나 사물, 관련상품, 상품에 대한 광고, 영상의 배경음악, 영상의 촬영지, 영상 속에서 나오는 장소 등이 영상에 관한 관련정보에 해당할 수 있다. 그러므로 영상에 관한 관련정보의 제공을 요청하는 사용자의 입력은, 예를 들어, 사용자가 디스플레이장치(100)를 통해 드라마를 시청하고 있는 경우, 사용자입력은 드라마 주인공들이 누구인지, 주인공이 입고 있는 옷은 어떤 옷인지, 현재 나오는 음악은 무엇인지, 드라마의 촬영지는 어디인지 등을 발화하는 사용자의 음성입력이 될 수 있다. 다만, 관련정보의 제공을 요청하는 사용자명령의 내용이 이에 한정되는 것은 아니다. 또한, 사용자입력의 형태가 음성입력으로 한정되는 것도 아니다. 예를 들어 사용자입력은 터치입력, 리모컨입력, 제스처입력의 형태로 입력될 수도 있다.
사용자입력의 수신이 감지된 경우, 처리부(103)는 영상의 적어도 일부를 포함한 영상정보 및 사용자입력에 관한 사용자입력정보를 통신부(105)를 통해 외부장치, 예를 들어 서버(200)로 전송한다(S303). 여기서 영상정보란 영상 자체에 관한 정보를 의미하는 것으로서, 그 형태나 포맷에 있어서 특별히 한정되지는 않는다. 예를 들어, 신호수신부(101)에서 수신한 영상신호일 수도 있고, 처리부(103)에 의해 처리된 영상신호일 수도 있다. 영상정보가 포함하는 영상의 범위에도 특별한 한정은 없다. 예를 들어, 영상이 동영상일 경우, 영상정보는 동영상의 일부 프레임일 수도 있고, 한 프레임 내의 일부 영역일 수도 있고, 동영상 전체일 수도 있다.
사용자입력정보 또한 사용자입력 자체에 관한 정보라면 그 형태나 포맷에 있어서 특별히 한정되지는 않는다. 예를 들어, 사용자입력이 음성입력일 경우 사용자입력정보는 음성신호일 수 있고, 사용자입력이 터치입력일 경우 터치입력의 좌표일 수 있다. 사용자입력정보의 범위에도 특별한 한정은 없다. 예를 들어, 사용자입력이 음성입력일 경우, 사용자입력정보는 해당 음성입력 전체일 수도 있고 전체 중 일부에만 해당하는 음성입력일 수도 있다.
영상정보와 사용자입력정보를 외부장치(200)로 전송한 처리부(103)는, 외부장치(200)에서 위 영상정보와 사용자입력정보에 기초하여 관련정보를 수집하여 전송하는 것에 대응하여, 수신한 관련정보를 표시한다(S304).
이에 의하면, 사용자입력정보와 함께 영상정보를 외부장치로 전송하고 외부장치가 전송한 관련정보를 표시함으로써, 본 발명의 디스플레이장치(100)는 영상에 관한 관련정보가 사전에 DB로 마련되지 않은 영상에 대해서도 관련정보를 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 서버(200)의 제어방법을 도시한다.
본 발명의 일 실시예에 따른 서버(200)의 처리부(201)는, 디스플레이장치(100)로부터 영상정보와 사용자입력정보를 수신한다(S401). 처리부(201)는 사용자입력정보에 기초하여 영상정보에서 탐색대상을 결정한다(S402). 여기서 탐색대상이란 사용자가 관련정보의 제공을 요청한 것으로 파악되는 대상 객체를 의미하는 것으로서, 이후 관련정보 수집에 있어서 기반이 되는 객체를 의미한다. 탐색대상은 영상 내에 존재하는 객체일 수도 있고 영상 내에 직접 존재하지는 않더라도 영상과 관련 있는 객체일 수도 있다. 예를 들어, 탐색 대상은 영상의 컨텐츠 내에 등장하는 인물이나 사물일 수도 있고, 영상과 함께 재생되는 오디오일 수도 있다.
처리부(201)는 탐색대상에 관한 관련정보를 수집한다(S403). 여기서 탐색대상에 관한 관련정보는, 영상에 관한 관련정보와 마찬가지로, 직접적 또는 간접적으로 탐색대상과 관련성이 있는 정보라면 무엇이든 해당할 수 있는 정보로서, 탐색대상에 기초하여 수집할 수 있는 정보라면 그 범위에 한정은 없다. 예를 들어, 탐색대상이 영상 속에 나오는 장소일 경우, 그에 관한 관련정보는 그 장소 자체에 관한 정보, 그 장소와 분위기가 유사한 추천 여행지, 여행지의 유명 음식점 등을 포함할 수 있다.
처리부(201)는 수집된 관련정보를 외부장치, 예를 들어 디스플레이장치(100)로 전송한다(S404).
이에 의하면, 본 발명의 서버(200)는 수신한 사용자입력정보에 기초하여 수신한 영상정보에서 탐색대상을 결정하고 탐색대상에 관한 관련정보를 직접 수집하여 디스플레이장치(100)에 전송함으로써, 영상에 관한 관련정보가 사전에 DB로 마련되지 않은 영상에 대해서도 사용자에게 관련정보를 제공할 수 있도록 한다.
이하 도 5를 참조하여 본 발명의 일 실시예에 따른 디스플레이장치(100)와 서버(200)의 작동을 보다 구체적으로 설명한다.
도 5는 사용자가 TV를 통해 생방송을 시청하고 있는 중에 관련정보의 제공을 요청하는 경우를 도시한다. 예를 들어, 사용자가 TV를 통해 드라마를 시청하는 경우(501), 디스플레이장치(100)인 TV의 처리부(103)는 신호수신부(101)를 통해 수신된 영상신호를 처리하여 영상을 디스플레이부(104)에 표시한다. 이 때 드라마를 시청하던 사용자는, 예를 들어, 드라마의 등장인물들이 입고 있는 옷 중 여주인공이 입고 있는 원피스가 무엇인지 궁금하면, TV에 대하여 "저 원피스 어디 것이야"라는 음성입력을 발화할 수 있다(502). 처리부(103)는 영상을 처리하여 표시하는 동안, 사용자입력부(102)를 통해 사용자입력이 수신되는지 여부를 감지하고 있으므로, 위와 같은 사용자의 발화를 감지할 수 있다.
영상 표시 중 사용자입력이 수신되면, 처리부(103)는 영상의 적어도 일부를 포함한 영상정보 및 사용자입력에 관한 사용자입력정보를 서버(200)로 전송한다. 도 5에서는 영상정보로서 영상의 한 프레임, 즉 사용자의 음성입력이 발화된 시점에서 재생되고 있던 영상을 캡쳐한 캡쳐화면(503)을 서버(200)로 전송하는 예를 도시한다. 사용자입력정보로는 사용자가 입력한 음성을 그대로 서버(200)로 전송하는 예를 도시한다. 그러나 영상정보 및 사용자입력정보가 이에 한정되는 것은 아니다.
디스플레이장치(100)로부터 영상의 캡쳐화면(503)과 사용자입력음성(504)을 수신한 서버(200)의 처리부(201)는, 사용자입력정보에 기초하여 영상정보에서 탐색대상을 결정한다. 사용자입력정보에 기초하여 영상정보에서 탐색대상을 결정하는 방법의 일 예로서, 처리부(203)는 사용자입력정보로부터 키워드를 추출하고, 상기 영상정보에서 상기 키워드에 대응하는 탐색대상을 결정할 수 있다. 예를 들어 "저 원피스 어디 것이야?"라는 음성입력으로부터 처리부(201)는 "원피스"라는 키워드를 추출할 수 있다. 음성입력을 인식하고 그로부터 키워드를 추출하는 것은, 예를 들어, DTW(Dynamic Time Warping) 기반의 음성인식 기술, 은닉 마르코프 모델(HMM; Hidden Markov Model) 기반의 음성인식 기술, 규칙 접근법(Rule-based approach) 기반의 음성인식 기술, 심층신경망(DNN; Deep Neural Network)을 이용한 딥러닝 기반의 음성인식 기술 등을 활용하여 구현할 수 있다.
사용자입력정보로부터 "원피스"라는 키워드를 추출한 후, 처리부(201)는 영상정보인 캡쳐화면(503)에서 원피스에 해당하는 객체를 인식하여 이를 탐색대상으로 결정한다. 영상정보에서 사용자입력정보 또는 키워드에 대응하는 객체를 인식하여 탐색대상으로 결정하는 방법은, 예를 들어, SVM(Support Vector Machin) 알고리즘 등을 이용한 머신 러닝(Machine Learning) 기술을 이용할 수도 있고, 딥 러닝(Deep Learning), 그 중에서도 CNN(Convolutional Neural Network)를 이용한 딥 러닝 기술 등을 활용하여 구현할 수도 있다. 다만, 구현 방법이 이에 한정되는 것은 아니고 그 외 다양한 영상 및 객체 인식 기술을 이용하여 구현 가능하다. 다시 도 5를 참조하면, 도 5의 캡쳐화면(503)에서 원피스에 해당하는 객체는 우측에서 두 번째에 위치한 주인공이 입고 있는 검정색 원피스이므로, 처리부(201)는 해당 검정색 원피스를 탐색대상으로 결정할 수 있다.
탐색대상을 결정한 후, 처리부(201)는 탐색대상에 관한 관련정보를 수집한다. 도 5에서의 탐색대상은 우측에서 두 번째에 위치한 주인공이 입고 있는 검정색 원피스이므로, 이에 관한 관련정보는 해당 원피스와 색상 및 스타일이 동일하거나 유사한 원피스 제품의 목록을 포함할 수 있다. 탐색대상에 대응하는 이미지와 동일 유사한 이미지를 가진 관련정보를 검색하는 방법은, 예를 들어, 특징량 벡터 클러스터링을 기반으로 고속 유사 벡터 검색기법 등을 사용하여 구현할 수 있다. 다만, 구현 방법이 이에 한정되는 것은 아니다. 탐색대상에 관한 관련정보 수집 시 수집의 대상이 되는 정보원(information source)에 있어서도 특별한 한정은 없다. 즉, 처리부(201)는 인터넷 등의 공개 네트워크로부터 관련정보를 수집할 수도 있고, 미리 구축된 데이터베이스로부터 관련정보를 수집할 수도 있다.
검색된 관련정보의 양이 많을 경우, 처리부(201)는 검색된 관련정보에서 사용자에게 추천할만한 일부를 선별할 수도 있다. 선별은 무작위로 할 수도 있고, 일정한 기준에 의해 할 수도 있다. 후자에 의할 경우 사용 가능한 기준으로는, 예를 들어, 사용자의 개인 정보, 검색 이력 등이 사용될 수 있다.
위 과정을 거쳐 관련정보가 수집되면, 서버(200)의 처리부(201)는 위 관련정보를 디스플레이장치(100)로 전송한다.
디스플레이장치(100)의 처리부(103)는 서버(200)로부터 관련정보를 수신하면, 이를 디스플레이부(104)에 표시한다. 표시하는 방법으로는, 관련정보가 수신되면 바로 관련정보(507)를 디스플레이부(104)에 표시할 수도 있고, 도 5에서 도시하듯이, 관련정보가 수신되었다는 알림(505)을 먼저 표시한 후 사용자로부터 관련정보를 표시를 요청하는 추가 입력을 받아 관련정보(507)를 표시할 수도 있다. 관련정보가 수신되었다는 알림은 디스플레이장치(100)의 오디오 출력, 또는 별도 스피커의 오디오 출력(506)의 형태를 띨 수도 있다.
이상과 같이 본 발명에 의하면, 영상에 관한 관련정보의 제공을 요청하는 사용자의 입력에 대응하여, 사용자의 의도를 파악하여 영상에 관한 관련정보를 제공할 수 있고, 특히 영상에 관한 관련정보가 사전에 DB로 마련되지 않은 영상에 대해서도 관련정보를 제공할 수 있다.
도 6은 본 발명의 제2실시예에 따른 디스플레이장치(100)와 서버(200)의 작동 예를 도시한다.
본 발명의 제2실시예에 따른 디스플레이장치(100)는, 영상정보와 사용자입력정보 외에도, 추가정보를 서버(200)에 더 전송할 수 있다. 여기서 추가정보란, 사용자에 관한 개인화정보, 상기 영상의 컨텐츠에 관한 컨텐츠정보 또는 시청환경에 관한 정황정보 중 적어도 하나를 포함할 수 있다. 사용자에 관한 개인화정보란 사용자를 식별하거나 사용자의 취향을 파악하는 데 도움이 되는 정보를 포함한 사용자 개인에 관한 정보로서, 예를 들어, 사용자의 나이, 성별, 주소, 관심사, 취향 등을 포함할 수 있다. 영상의 컨텐츠에 관한 컨텐츠정보는 컨텐츠의 제목, 종류, 유형, 장르, 방송사, 방송시간 등을 포함할 수 있다. 시청환경에 관한 정황정보란 사용자 개인과 컨텐츠 자체에 관한 정보를 제외하고 영상 시청 상황 또는 환경과 관련된 정보를 포괄하는 정보로서, 예를 들어 영상 시청 시간대, 시청 시의 주변 조명, 주변 소음, 영상을 시청하는 사용자의 수 등을 포함할 수 있다.
도 6을 참조하여 추가정보를 활용하는 구체적인 예를 설명한다. 사용자가 TV를 통해 드라마(601)를 시청하는 도중에 사용자가 "저 옷 뭐야?"라는 음성입력을 발화할 경우(602), 처리부(103)는 영상을 처리하여 표시하는 동안, 사용자입력부(102)를 통해 사용자입력이 수신되는지 여부를 감지하여 위와 같은 사용자의 발화를 감지할 수 있다.
사용자입력을 감지한 처리부(103)는 영상의 적어도 일부를 포함한 영상정보(603) 및 사용자입력에 관한 사용자입력정보(604)와 함께, 추가정보(605)를 서버(200)로 전송한다. 도 6에서는 추가정보(605)의 일 예로 사용자에 관한 개인화정보로서 "20대", "여성", "검정색 선호"의 정보가 전송된 예를 도시한다.
수신된 추가정보(605)는 서버(200)에서 탐색대상을 결정하는 데 활용될 수 있다. 즉, 서버(200)의 처리부(201)는 사용자입력정보와 추가정보에 기초하여 영상정보에서 탐색대상을 결정할 수 있다. 예를 들면, 처리부(201)가 사용자입력정보인 "저 옷 뭐야?"라는 음성입력으로부터 "옷"이라는 키워드를 추출하고 이를 바탕으로 영상정보인 캡쳐화면(603)에서 탐색대상을 바로 결정할 경우, 도 6의 캡쳐화면(603)에는 총 4명의 등장인물에 대응하는 옷이 있으므로 사용자가 의도한 옷이 무엇인지, 어떤 옷을 탐색대상으로 결정해야 하는지 처리부(201)가 판단하기 어렵다. 이 때 처리부(201)는 사용자입력정보로부터 추출한 "옷"이라는 키워드 외에도 추가정보인 "20대", "여성", "검정색 선호"를 더 참조함으로써, 영상정보 내의 "옷" 중에서 우측에서 두 번째에 위치한 주인공이 입고 있는 검정색 원피스를 탐색대상을 결정할 수 있다(606).
수신된 추가정보(605)는 또한, 서버(200)에서 탐색대상에 관한 관련정보를 수집하는 데에도 활용될 수 있다. 예를 들어, 탐색대상이 캡쳐화면(603) 중 우측에서 두 번째에 위치한 주인공이 입고 있는 검정색 원피스로 결정된 경우, 도 5에서는 바로 이에 관한 관련정보를 검색했던 것과 달리, 도 6에서는 여기서 더 나아가, 관련정보를 검색하는 데 있어서 추가정보를 더 고려할 수 있다. 예를 들어, 위 원피스와 색상 및 스타일이 동일 유사한 원피스 제품을 검색함에 있어서, 그동안 사용자의 원피스 또는 옷 검색 이력 등을 참고하여 사용자의 취향을 더 고려할 수도 있고, 현재의 계절에 맞는 원피스에 한정하여 검색할 수도 있으며, 해당 원피스를 입고 있는 여주인공이 선전하는 다른 옷을 검색할 수도 있다. 다만, 추가정보를 더 고려한 관련정보 검색의 예가 이에 한정되는 것은 아니다.
이상의 과정을 거쳐 수집된 관련정보를 디스플레이장치(100)로 보내어 표시하는 방법은 도 5에서의 설명이 그대로 적용 가능하다.
이에 의하면, 사용자의 의도에 더 잘 부합하는 관련정보를 제공할 수 있다.
도 7은 본 발명의 제3실시예에 따른 디스플레이장치(100)와 서버(200)의 작동 예를 도시한다. 본 발명의 제3실시예에 따르면, 본 발명의 영상정보는, 오디오 신호를 처리한 오디오의 적어도 일부일 수 있고, 앞서 본 바와 같은 영상의 캡쳐화면에 더해 오디오정보를 더 포함할 수도 있다.
도 7에서 도시하듯이, 사용자가 TV를 통해 드라마(701)를 시청하는 도중에 사용자가 "이 노래 뭐야?"라는 음성입력을 발화할 경우(702), 처리부(103)는 영상을 처리하여 표시하는 동안 사용자입력부(102)를 통해 사용자입력이 수신되는지 여부를 감지하므로 위와 같은 사용자의 발화를 감지할 수 있다.
이 경우 처리부(103)는 사용자의 입력음성이 노래에 관한 것임을 인식하여, 앞서 도 5와 6과 달리, 위 음성입력 시점에 재생되고 있는 오디오의 일부를 포함한 오디오정보(703)를 영상정보로서 서버(200)로 전송한다. 또는, 도 5 및 도 6에서의 캡쳐화면과 함께 오디오정보(703)를 서버(200)로 전송할 수도 있다.
이 경우 서버(200)의 처리부(201)는 사용자입력정보에 기초하여 위 오디오정보(703)를 탐색대상으로 결정하여 위 오디오정보(703)가 어떤 노래에 해당하는지 인식할 수 있고, 이를 바탕으로 관련정보를 검색하여, 예를 들어, 해당 음원이 어떤 앨범에 수록된 어떤 노래인지(704), 해당 음원이 포함된 음원 차트는 무엇인지(705) 등에 관한 정보를 관련정보로 수집할 수 있다.
도 8은 본 발명의 제4실시예에 따른 디스플레이장치(100)와 서버(200)의 작동 예를 도시한다. 본 발명의 제4실시예는, 사용자가 영상에 관한 정보 중 영상의 배경장소에 관한 정보의 제공을 요청하는 경우에 관한 것이다. 이 경우 앞선 도 5 내지 도 7의 실시예와 비교하여, 사용자입력정보가 장소에 관한 것이라는 점(801)과, 수집된 관련정보가 해당 장소가 어디인지(802) 또는 해당 장소와 유사한 경치나 지리적 특징을 지닌 여행지가 어디인지(803) 등을 포함할 수 있다는 점은 다르다. 그러나 그 이외에는 앞선 실시예의 설명이 모두 적용 가능하다.
한편, 이상에서는 관련정보의 제공을 요청하는 사용자의 입력이 감지되는 시점과 그에 대응하여 수집된 관련정보를 표시하여 제공하는 시점이 서로 근접한 실시예를 설명하였으나, 본 발명의 실시예가 이에 한정되는 것은 아니다. 즉, 관련정보의 제공을 요청하는 사용자의 입력이 감지되는 시점과 그에 대응하여 수집된 관련정보를 표시하여 제공하는 시점은 상호 관련 없이 별개로 동작할 수도 있고, 여러 요청을 입력받아 각 관련정보를 수집한 후 수집된 관련정보를 추후 한번에 표시할 수도 있다. 도 9를 참조하여 후자의 일 예를 설명한다. 도 9는 본 발명의 제5실시예에 따른 디스플레이장치(100)와 서버(200)의 작동 예를 도시한다.
본 발명의 제5실시예에 따른 디스플레이장치(100)는 저장부를 더 포함할 수 있고, 처리부(103)는 제1사용자입력에 기초한 제1관련정보를 상기 외부장치로부터 수신하여 저장부에 저장하고, 제2사용자입력이 입력되면 상기 저장된 제1관련정보를 상기 디스플레이부에 표시할 수 있다.
예를 들어, TV를 통해 드라마를 시청하는 중 t1 시점에 사용자가 "여주인공 누구지?"라는 음성입력을 발화할 경우(901), 처리부(103)는 영상정보와 사용자입력정보를 서버(200)로 전송하여 대상객체를 결정하고 관련정보를 수집할 수 있도록 한 후, 관련정보를 수신할 수 있다. 이 때 디스플레이장치(100)는 저장부를 더 구비하여, 수신된 관련정보를 바로 디스플레이부(104)에 표시하지 않고, 우선 저장부에 저장할 수 있다.
t2 시점에 사용자가 "이 노래 뭐야?"라는 음성입력을 발화한 경우, 그리고 t3 시점에 사용자가 "저기는 어디야?"라는 음성입력을 발화한 경우(902)에도 마찬가지 설명이 적용 가능하다.
이후 t4 시점에 사용자가 "찾은 정보 보여줘"라고 음성입력을 발화하면, 처리부(103)는 그동안 저장해 둔 관련정보들을 취합하여 한번에 표시할 수 있다. 다만, 관련정보들의 표시를 요청하는 사용자의 음성입력 문구가 이에 한정되는 것은 아니다.
이에 의하면, 관련정보의 제공을 요청하는 사용자의 입력이 감지되는 시점과 그에 대응하여 수집된 관련정보를 표시하여 제공하는 시점을 서로 달리할 수 있고, 나아가 여러 요청을 입력받아 우선 각 관련정보를 수집한 후 수집된 관련정보를 추후에 한번에 표시할 수도 있게 되어, 관련정보를 더욱 다양한 방법으로 제공할 수 있다.
도 10은 본 발명의 제6실시예에 따른 디스플레이장치(100)와 서버(200)의 작동을 도시한다. 본 발명의 제6실시예에 따르면, 사용자로부터 영상에 관한 관련정보의 제공 요청이 없더라도, 사용자에 대한 관련정보 제공 이력에 기초하여 관련정보를 제공할 수 있다.
본 발명의 제6실시예는 이른바 자동추천모드로서, 자동추천모드를 설정하는 사용자의 입력을 수신함으로써 그 작동을 시작할 수 있다. 다만, 자동추천모드의 시작방법이 이에 한정되는 것은 아니고 자동추천모드가 기본값으로 설정되어 있을 수도 있다.
디스플레이장치(100)의 처리부(103)가 자동추천모드를 설정하는 사용자입력을 수신하면(S1001), 처리부(103)는 해당 사용자입력을 서버(200)로 전송하고(S1002), 그 이후로는 영상 표시 중 영상정보를 지속적으로 서버(200)로 전송한다(S1003). 한편, 서버(200)의 처리부(201)는 자동추천모드를 설정하는 사용자입력을 수신하면(S1011), 사용자에 대한 관련정보 제공 이력에 기초하여 영상정보에서 탐색대상을 결정한다(S1012). 탐색대상을 결정한 서버(200)의 처리부(201)는 탐색대상에 관한 관련정보를 수집하여 디스플레이장치(100)에 전송한다(S1013). 서버(200)로부터 관련정보를 수신한 디스플레이장치(100)의 처리부(103)는, 그에 대응하여 수신에 관한 알림을 표시한다(S1004). 이에 의해 사용자는 자동으로 관련정보가 수집되어 제공될 상태에 있다는 점을 알 수 있다. 사용자로부터 관련정보의 표시를 요청하는 입력이 수신되면, 처리부(103)는 수신된 관련정보를 표시한다. 다만, 관련정보의 알림 및 표시 방법이 이에 한정되는 것은 아니고, 예를 들어 자동추천모드에서는 별도의 알림 없이 바로 관련정보를 표시하도록 미리 설정하는 것도 가능하다.
이에 의하면, 영상을 시청하는 사용자가 일일이 관련정보를 제공받고자 하는 입력을 하지 않더라도, 사용자에 대한 관련정보 제공 이력에 기초하여 관련정보를 자동으로 제공할 수 있다.
도 11은 본 발명의 제7실시예에 따른 디스플레이장치(100)와 서버(200)의 작동을 도시한다. 본 발명의 제7실시예에 따르면, 소정 구간의 영상에 대하여 한번의 사용자입력만으로도 동일한 유형의 관련정보를 지속적으로 제공할 수 있다.
디스플레이장치(100)의 처리부(103)가 소정 구간의 영상에 대하여 관련정보의 제공을 요청하는 사용자입력을 수신하면(S1101), 처리부(103)는 해당 사용자입력을 서버(200)로 전송하고(S1102), 그 이후로는 영상 표시 중 소정 구간의 영상에 대응하는 영상정보를 지속적으로 서버(200)로 전송한다(S1103). 여기서 소정 구간의 영상에 대하여 관련정보의 제공을 요청하는 사용자입력은, 예를 들어 "지금 보고 있는 드라마에서 예쁜 원피스가 나오면 알려줘"와 같이, 소정 구간을 지정하는 입력과 관련정보의 제공을 요청하는 입력을 함께 포함한다.
서버(200)의 처리부(201)는 소정 구간의 영상에 대하여 관련정보의 제공을 요청하는 사용자입력을 수신하면(S1111), 소정 구간에 대응하는 영상정보에서 탐색대상을 결정한다(S1112). 탐색대상을 결정한 서버(200)의 처리부(201)는 탐색대상에 관한 관련정보를 수집하여 디스플레이장치(100)에 전송한다(S1113). 서버(200)로부터 관련정보를 수신한 디스플레이장치(100)의 처리부(103)는, 그에 대응하여 수신에 관한 알림을 표시한다(S1104). 이에 의해 사용자는 자동으로 관련정보가 수집되어 제공될 상태에 있다는 점을 알 수 있다. 사용자로부터 관련정보의 표시를 요청하는 입력이 수신되면, 처리부(103)는 수신된 관련정보를 표시한다. 다만, 관련정보의 알림 및 표시 방법이 이에 한정되는 것은 아니고, 예를 들어 별도의 알림 없이 바로 관련정보를 표시하도록 미리 설정하는 것도 가능하다.
이에 의하면, 소정 구간의 영상에 대하여 한번의 사용자입력만으로도 동일한 유형의 관련정보를 지속적으로 제공할 수 있어서, 사용자 편의성이 향상된다.
도 12은 본 발명의 제8실시예에 따른 디스플레이장치(100)와 서버(200)의 작동을 도시한다. 앞서 도 10을 참조하여 설명한 자동추천모드에 관한 실시예를 통해, 사용자의 입력이 없더라도 관련정보를 제공할 수 있는 실시예를 설명하였다. 다만, 위 실시예에서는 사용자에 대한 관련정보 제공 이력에 기초하여 관련정보를 제공하였다.
그러나 자동추천모드에서 관련정보를 제공하는 방법이, 위와 같이 사용자에 대한 관련정보 제공 이력에 기초하는 방법에 한정되는 것은 아니다. 사용자의 입력이 없는 경우에도 관련정보를 제공하는 방법은 그 외에도 다양한 방법이 가능하다.
도 12가 도시하는 본 발명의 제8실시예가 그 일 예로서, 본 발명의 제8실시예에 따르면 사용자의 입력이 없어도 수신된 영상을 자체적으로 분석하여 탐색대상을 결정하고 그에 관한 관련정보를 제공할 수 있다.
본 발명의 제8실시예에 따르면, 디스플레이장치(100)의 처리부(103)는 수신된 영상신호를 처리하여 영상을 표시하는 중에, 영상정보를 지속적으로 서버(200)로 전송한다(S1201). 일 예로, 처리부(103)는 소정 시간 간격으로 영상정보를 서버(200)로 전송할 수 있다. 다른 예로, 처리부(103)는 수신된 영상신호에 대해 장면 인식(Scene Detection) 기술을 적용하여 각 장면들을 구분하여 인식한 후, 해당 장면마다 영상정보를 서버(200)로 전송할 수도 있다. 다만, 영상정보를 지속적으로 서버(200)로 전송하는 방법이 이에 한정되는 것은 아니다.
한편, 디스플레이장치(100)로부터 영상정보를 수신한 서버(200)는 영상정보를 분석한 결과에 기초하여 영상정보에서 탐색대상을 결정하고(S1202), 탐색대상에 관한 관련정보를 수집하여 디스플레이장치(100)에 전송한다(S1203). 본 실시예의 경우 탐색대상을 특정할 수 있는 별도의 사용자 입력정보가 없는 상황이므로, 서버(200)의 처리부(201)는 영상정보로부터 인식 가능한 모든 대상을 탐색대상으로 결정하여 그에 관한 관련정보를 제공할 수 있다. 예를 들어, 처리부(201)는 영상에 포함된 인물, 객체, 상품, 배경, 장소, 영상과 함께 재생되는 음악 등을 인식하고 이를 탐색대상으로 결정하여, 이에 관한 관련정보, 예를 들어 주인공 프로필, 상품 정보, 촬영 장소 정보 및 관련 여행 정보, 배경음악 정보 등을 디스플레이장치(100)로 전송할 수 있다. 전송할 관련정보의 종류가 많을 경우, 서버(200)의 처리부(201)는 이를 종류별로 카테고리화 및/또는 순위화하여 전송할 수도 있다. 이 경우 관련정보의 카테고리화 및/또는 순위화는 디스플레이장치(100)의 처리부(103)가 수행할 수도 있다.
서버(200)로부터 관련정보를 수신한 디스플레이장치(100)의 처리부(103)는 수신된 관련정보를 표시한다(S1205). 디스플레이장치(100)의 처리부(103)가 수신된 관련정보를 표시하는 방법의 일 예로, 처리부(103)는, 도 10 및 도 11과 같이, 수신에 관한 알림을 표시한 후 그에 대한 사용자의 입력에 따라 관련정보를 표시할 수 있다. 다른 예로, 도 12와 같이, 처리부(103)는 영상의 표시가 종료되었는지 여부를 판단하여(S1204), 종료된 경우 수신된 관련정보를 표시할 수도 있다(S1205). 한편, 처리부(103)는 수신된 관련정보를 표시함에 있어서, 수신된 관련정보를 모두 표시할 수도 있고, 사용자의 개인화정보를 이용하여 수신된 관련정보 중 일부를 선별하여 표시할 수도 있다.
이에 의하면, 영상을 시청하는 사용자가 관련정보를 제공받고자 하는 입력을 하지 않더라도, 관련정보를 자동으로 제공할 수 있다.
한편, 이상에서 디스플레이장치(100)의 처리부(103)와 서버(200)의 처리부(201)에서 처리하는 내용과 관련하여, 서버(200)의 처리부(201)에서의 처리 작업의 일부를 디스플레이장치(100)의 처리부(103)가 처리하는 것도 가능하다. 예를 들어, 디스플레이장치(100)의 처리부(103)는 사용자입력정보로부터 키워드를 추출하는 처리를 수행할 수 있고, 사용자입력정보에 기초하여 영상정보에서 탐색대상을 결정하는 처리도 수행할 수 있다. 나아가 서버(200)의 처리부(201)에서 수행하는 처리를 모두 디스플레이장치(100)의 처리부(103)에서 처리하는 것도 가능하다. 이 경우 영상정보와 사용자입력정보를 디스플레이장치(100)에서 서버(200)로 보내거나, 관련정보를 디스플레이장치(100)가 서버(200)에서 수신할 필요가 없으므로, 디스플레이장치(100)에서 통신부의 구성이 생략되어도 무방하다.
100: 디스플레이장치
101: 신호수신부
102: 사용자입력부
103: 처리부
104: 디스플레이부
105: 통신부

Claims (20)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 서버에 있어서,
    외부 디스플레이장치와 통신하는 통신부; 및
    캡처된 영상에 관한 정보 및 사용자음성입력에 관한 정보와, 사용자에 관한 사용자 정보 및 상기 사용자의 시청환경에 관한 환경 정보에 관한 추가 정보를 상기 통신부를 통해 상기 외부 디스플레이장치로부터 수신하고,
    상기 캡처된 영상에 관한 정보로부터 복수의 객체를 식별하고,
    상기 사용자음성입력에 관한 정보에 기초하여 키워드를 식별하고,
    상기 복수의 객체 중 상기 식별된 키워드에 대응하는 적어도 2이상의 객체가 식별되면, 상기 추가 정보에 기초하여 상기 식별된 적어도 2이상의 객체 중 하나의 객체를 식별하고,
    상기 식별된 하나의 객체에 관한 정보 및 상기 추가 정보에 기초하여 상기 식별된 하나의 객체에 관한 관련정보를 수집하고,
    상기 외부 디스플레이장치가 상기 수집된 관련 정보를 표시하도록 상기 수집된 관련 정보를 상기 외부 디스플레이장치에 전송하는 처리부를 포함하며,
    상기 캡처된 영상은 상기 사용자음성입력이 수신된 때에 상기 외부 디스플레이장치에 표시되는 영상을 캡처하여 획득되는 서버.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제5항에 있어서,
    상기 처리부는 자동추천모드를 설정하는 사용자음성입력에 대응하여, 상기 사용자에 대한 관련 정보 제공 이력에 기초하여 상기 복수의 객체 중 상기 객체를 식별하는 서버.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 서버의 제어방법에 있어서,
    캡처된 영상에 관한 정보 및 사용자음성입력에 관한 정보와, 사용자에 관한 사용자 정보 및 상기 사용자의 시청환경에 관한 환경 정보에 관한 추가 정보를 외부 디스플레이장치로부터 수신하는 단계;
    상기 캡처된 영상에 관한 정보로부터 복수의 객체를 식별하는 단계;
    상기 사용자음성입력에 관한 정보에 기초하여 키워드를 식별하는 단계;
    상기 복수의 객체 중 상기 식별된 키워드에 대응하는 적어도 2이상의 객체가 식별되면, 상기 추가 정보에 기초하여 상기 식별된 적어도 2이상의 객체 중 하나의 객체를 식별하는 단계;
    상기 식별된 하나의 객체에 관한 정보 및 상기 추가 정보에 기초하여 상기 식별된 하나의 객체에 관한 관련 정보를 수집하는 단계; 및
    상기 외부 디스플레이장치가 상기 수집된 관련 정보를 표시하도록 상기 수집된 관련 정보를 상기 외부 디스플레이장치에 전송하는 단계를 포함하며,
    상기 캡처된 영상은 상기 사용자음성입력이 수신된 때에 상기 외부 디스플레이장치에 표시되는 영상을 캡처하여 획득되는 서버의 제어방법.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020170152404A 2017-11-15 2017-11-15 디스플레이장치 및 그 제어방법 KR102524180B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020170152404A KR102524180B1 (ko) 2017-11-15 2017-11-15 디스플레이장치 및 그 제어방법
US16/472,053 US20200099984A1 (en) 2017-11-15 2018-11-12 Display device and control method thereof
CN201880040640.1A CN110786019B (zh) 2017-11-15 2018-11-12 服务器及其控制方法
JP2019536255A JP7332473B2 (ja) 2017-11-15 2018-11-12 サーバー及びその制御方法
PCT/KR2018/013740 WO2019098624A1 (ko) 2017-11-15 2018-11-12 디스플레이장치 및 그 제어방법
EP18877582.9A EP3547699A4 (en) 2017-11-15 2018-11-12 DISPLAY DEVICE AND CONTROL METHOD THEREFOR

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170152404A KR102524180B1 (ko) 2017-11-15 2017-11-15 디스플레이장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20190055558A KR20190055558A (ko) 2019-05-23
KR102524180B1 true KR102524180B1 (ko) 2023-04-21

Family

ID=66539712

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170152404A KR102524180B1 (ko) 2017-11-15 2017-11-15 디스플레이장치 및 그 제어방법

Country Status (6)

Country Link
US (1) US20200099984A1 (ko)
EP (1) EP3547699A4 (ko)
JP (1) JP7332473B2 (ko)
KR (1) KR102524180B1 (ko)
CN (1) CN110786019B (ko)
WO (1) WO2019098624A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176590A1 (ja) * 2018-03-15 2019-09-19 ソニー株式会社 情報処理装置、情報処理装置およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140188925A1 (en) 2012-12-31 2014-07-03 Google Inc. Using content identification as context for search
US20140255003A1 (en) 2013-03-05 2014-09-11 Google Inc. Surfacing information about items mentioned or presented in a film in association with viewing the film
KR101482094B1 (ko) * 2011-06-27 2015-01-13 주식회사 케이티 영상 관련 정보 제공 방법 및 시스템

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110082735A1 (en) * 2009-10-06 2011-04-07 Qualcomm Incorporated Systems and methods for merchandising transactions via image matching in a content delivery system
KR101215871B1 (ko) * 2009-11-05 2012-12-27 에스케이플래닛 주식회사 캡처 영상 및 관련 정보의 처리 시스템 및 방법
US8694533B2 (en) * 2010-05-19 2014-04-08 Google Inc. Presenting mobile content based on programming context
US20120167146A1 (en) * 2010-12-28 2012-06-28 White Square Media Llc Method and apparatus for providing or utilizing interactive video with tagged objects
US9424471B2 (en) * 2011-03-01 2016-08-23 Sony Corporation Enhanced information for viewer-selected video object
KR101952170B1 (ko) * 2011-10-24 2019-02-26 엘지전자 주식회사 검색 방법을 채용한 휴대 전자 기기
KR101319478B1 (ko) * 2011-12-27 2013-10-17 전세운 방송 화면을 이용한 전자상거래 방법 및 그 장치
KR20130081595A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 디스플레이 장치, 원격 제어 장치 및 그 검색 방법
KR20140001498A (ko) * 2012-06-27 2014-01-07 네이버 주식회사 Ｔｖ에서의 음악 인식을 통한 음악 관련 정보 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR20140004515A (ko) * 2012-07-03 2014-01-13 삼성전자주식회사 디스플레이 장치, 대화형 시스템 및 응답 정보 제공 방법
WO2014123328A1 (en) * 2013-02-08 2014-08-14 Samsung Electronics Co., Ltd. Method and device for providing recommendation panel, and method and server for providing recommendation item
KR102099086B1 (ko) * 2013-02-20 2020-04-09 삼성전자주식회사 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스
US9384217B2 (en) * 2013-03-11 2016-07-05 Arris Enterprises, Inc. Telestration system for command processing
KR20140118604A (ko) * 2013-03-29 2014-10-08 인텔렉추얼디스커버리 주식회사 개인화된 증강 객체를 전송하는 서버 및 방법
CN105100911A (zh) * 2014-05-06 2015-11-25 夏普株式会社 智能多媒体***和方法
KR20150136312A (ko) * 2014-05-27 2015-12-07 삼성전자주식회사 디스플레이 장치 및 이의 정보 제공 방법
US9762851B1 (en) * 2016-05-31 2017-09-12 Microsoft Technology Licensing, Llc Shared experience with contextual augmentation
KR101791924B1 (ko) * 2016-06-27 2017-11-01 인천대학교 산학협력단 방송 영상 콘텐츠 내 등장하는 객체를 검색 가능하게 하는 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101482094B1 (ko) * 2011-06-27 2015-01-13 주식회사 케이티 영상 관련 정보 제공 방법 및 시스템
US20140188925A1 (en) 2012-12-31 2014-07-03 Google Inc. Using content identification as context for search
US20140255003A1 (en) 2013-03-05 2014-09-11 Google Inc. Surfacing information about items mentioned or presented in a film in association with viewing the film

Also Published As

Publication number Publication date
EP3547699A1 (en) 2019-10-02
US20200099984A1 (en) 2020-03-26
KR20190055558A (ko) 2019-05-23
CN110786019B (zh) 2022-07-15
JP2021503107A (ja) 2021-02-04
EP3547699A4 (en) 2019-10-09
CN110786019A (zh) 2020-02-11
JP7332473B2 (ja) 2023-08-23
WO2019098624A1 (ko) 2019-05-23

Similar Documents

Publication Publication Date Title
US11716514B2 (en) Methods and systems for recommending content in context of a conversation
US20200014979A1 (en) Methods and systems for providing relevant supplemental content to a user device
US10142585B2 (en) Methods and systems for synching supplemental audio content to video content
KR102545837B1 (ko) 디스플레이 장치, 디스플레이 장치의 배경음악 제공방법 및 배경음악 제공 시스템
US10466955B1 (en) Crowdsourced audio normalization for presenting media content
CN110663079A (zh) 基于语音纠正使用自动语音识别生成的输入的方法和***
US20160035347A1 (en) Systems and methods for performing asr in the presence of heterographs
KR20120105346A (ko) 오브젝트 정보 검색 방법 및 그를 이용한 영상 표시 장치
US20160309214A1 (en) Method of synchronizing alternate audio content with video content
CN104272753A (zh) 显示装置、服务器及其控制方法
US20230401030A1 (en) Selecting options by uttered speech
US20150012946A1 (en) Methods and systems for presenting tag lines associated with media assets
CN106060641B (zh) 用于搜索的显示装置及其控制方法
US20240236426A1 (en) Recommending audiovisual content items to a subscriber based on locations visited by the subscriber
KR102524180B1 (ko) 디스플레이장치 및 그 제어방법
US10503776B2 (en) Image display apparatus and information providing method thereof
US20150020125A1 (en) System and method for providing interactive or additional media
US11949942B2 (en) Display device
KR101544547B1 (ko) 사용자에 의한 컨텐트 이용에 기초하여 광고를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP2017060059A (ja) 制御プログラム、記憶媒体、携帯通信機、番組関連情報提供装置及び番組関連情報表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant