KR102326067B1

KR102326067B1 - Display device, server device, display system comprising them and methods thereof

Info

Publication number: KR102326067B1
Application number: KR1020200032458A
Authority: KR
Inventors: 이희란; 류희섭; 최성욱; 황성필
Original assignee: 삼성전자주식회사
Priority date: 2013-12-27
Filing date: 2020-03-17
Publication date: 2021-11-12
Also published as: KR20200033245A

Abstract

디스플레이 장치가 개시된다. 본 장치는, 적어도 하나의 컨텐츠를 포함하는 화면을 디스플레이하는 디스플레이부, 음성 신호를 입력받기 위한 입력부, 음성 신호에 대응되는 결과 화면을, 화면 내의 컨텐츠의 상태에 따라 상이하게 구성하여 디스플레이부에 디스플레이하는 제어부를 포함한다. 이에 따라, 디스플레이 장치의 상태에 따라 상이한 결과 화면을 제공할 수 있다. A display device is disclosed. The apparatus configures a display unit for displaying a screen including at least one content, an input unit for receiving a voice signal, and a result screen corresponding to the voice signal, to be differently configured according to the state of the content in the screen and displayed on the display unit It includes a control unit that Accordingly, it is possible to provide different result screens according to the state of the display device.

Description

디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들 {DISPLAY DEVICE, SERVER DEVICE, DISPLAY SYSTEM COMPRISING THEM AND METHODS THEREOF } A display device, a server device, a display system including the same, and methods for providing the contents {DISPLAY DEVICE, SERVER DEVICE, DISPLAY SYSTEM COMPRISING THEM AND METHODS THEREOF }

본 발명은 사용자의 음성에 응답하여 각종 정보를 제공하는 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들에 대한 것이다. The present invention relates to a display device that provides various types of information in response to a user's voice, a server device, a display system including the same, and methods for providing contents thereof.

전자 기술의 발달에 힘입어 다양한 종류의 전자 장치가 개발되어 보급되고 있다. 특히, 최근에는 TV를 비롯한 다양한 유형의 전자 장치들이 일반 가정에서 사용되고 있다. 이들 전자 장치들은 사용자의 요구에 따라 점차 다양한 기능을 구비하게 되었다. BACKGROUND ART With the development of electronic technology, various types of electronic devices have been developed and distributed. In particular, in recent years, various types of electronic devices including TVs have been used in general homes. These electronic devices are gradually equipped with various functions according to user's needs.

가령, TV의 경우, 최근에는 인터넷과 연결되어 인터넷 서비스까지 지원하고 있다. 또한, 사용자는 TV를 통해 많은 수의 디지털 방송 채널까지 시청할 수 있게 되었다.For example, in the case of a TV, it is recently connected to the Internet and supports Internet service as well. In addition, users can watch a large number of digital broadcasting channels through the TV.

이에 따라, 디스플레이 장치의 다양한 기능들을 보다 편리하게 사용할 수 있도록 하는 제어 방법들이 사용되고 있다. 일 예로, 최근에는 사용자의 음성을 인식하여 그 음성에 따라 제어되는 디스플레이 장치도 개발되고 있다.Accordingly, control methods that allow various functions of the display apparatus to be used more conveniently are being used. For example, recently, a display device that recognizes a user's voice and controls the user's voice according to the voice has been developed.

하지만, 종래의 디스플레이 장치는 사용자가 발화한 음성 신호 안에 포함되는 키워드에 대응되는 서비스를 제공하는 수준에 그치고 있다. 즉, 제한된 수준의 서비스만을 제공하고 있다.However, the conventional display apparatus is limited to providing a service corresponding to a keyword included in a voice signal uttered by a user. That is, only a limited level of service is provided.

이에 따라, 사용자의 발화 의도에 맞게 다양한 결과 화면을 제공할 수 있는 기술에 대한 필요성이 대두되었다.Accordingly, the need for a technology capable of providing various result screens according to the user's utterance intention has emerged.

본 발명은 이상과 같은 필요성에 따른 것으로, 본 발명의 목적은 디스플레이 장치에서 표시되고 있는 컨텐츠의 상태에 따라 다양한 결과 화면을 제공할 수 있는 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들을 제공함에 있다.The present invention is in accordance with the above needs, and an object of the present invention is to provide a display device capable of providing various result screens according to the state of content being displayed on a display device, a server device, a display system including the same, and the contents thereof methods are provided.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 디스플레이 장치는, 적어도 하나의 컨텐츠를 포함하는 화면을 디스플레이하는 디스플레이부, 음성 신호를 입력받기 위한 입력부, 상기 음성 신호에 대응되는 결과 화면을, 상기 화면 내의 컨텐츠의 상태에 따라 상이하게 구성하여 상기 디스플레이부에 디스플레이하는 제어부를 포함한다. According to an embodiment of the present invention for achieving the above object, a display device includes a display unit for displaying a screen including at least one content, an input unit for receiving a voice signal, and a result corresponding to the voice signal. and a controller configured to configure a screen differently according to the state of content in the screen and display the screen on the display unit.

디스플레이 장치는, 서버 장치와 통신을 수행하기 위한 통신부를 더 포함할 수도 있다. 이 경우, 상기 제어부는, 상기 적어도 하나의 컨텐츠에 대한 상태 정보 및 상기 음성 신호에 대응되는 텍스트를 상기 통신부를 통해 상기 서버 장치로 전송하고, 상기 서버 장치로부터 상기 상태 정보 및 상기 텍스트에 대응되는 검색 결과가 수신되면, 상기 검색 결과에 기초하여 상기 결과 화면을 구성할 수 있다.The display apparatus may further include a communication unit for communicating with the server apparatus. In this case, the control unit transmits the text corresponding to the state information on the at least one content and the voice signal to the server device through the communication unit, and searches the status information and the text corresponding to the text from the server device. When a result is received, the result screen may be configured based on the search result.

또는, 상기 제어부는, 상기 음성 신호가 입력되면, 상기 통신부를 통해 상기 음성 신호를 텍스트 변환부로 전송하고, 상기 텍스트 변환부에서 상기 음성 신호를 상기 텍스트로 변환하면, 상기 통신부를 통해 상기 텍스트를 수신할 수도 있다.Alternatively, when the voice signal is input, the controller transmits the voice signal to a text converter through the communication unit, and when the text converter converts the voice signal into the text, receives the text through the communication unit You may.

또는, 상기 제어부는, 상기 음성 신호에 의해 지정된 컨텐츠가 상기 화면 내에 존재하면, 상기 지정된 컨텐츠를 획득할 수 있는 주소 정보를 상기 서버 장치로부터 수신하고, 상기 주소 정보에 따라 상기 지정된 컨텐츠를 획득하며, 획득된 상기 컨텐츠를 재생하여 상기 결과 화면으로 디스플레이하며, 상기 음성 신호에 의해 지정된 컨텐츠가 상기 화면 내에 비존재하면, 상기 음성 신호에 기초한 검색 결과를 상기 서버 장치로부터 수신하여, 상기 검색 결과에 기초하여 상기 결과 화면을 구성할 수 있다.Alternatively, if the content designated by the voice signal exists in the screen, the control unit receives address information for obtaining the designated content from the server device, and acquires the designated content according to the address information, The acquired content is reproduced and displayed on the result screen, and when the content designated by the voice signal does not exist in the screen, a search result based on the voice signal is received from the server device, and based on the search result The result screen can be configured.

또는, 상기 상태 정보는, 상기 디스플레이부에서 디스플레이되고 있는 화면의 종류 정보, 화면 뎁스 정보, 상기 적어도 하나의 컨텐츠에 대한 타이틀 정보, 상기 적어도 하나의 컨텐츠에 대한 얼라이어스 타이틀(alias title) 정보, 상기 적어도 하나의 컨텐츠를 식별하기 위한 식별 정보, 상기 화면 내에 포함된 컨텐츠의 개수 정보 중 적어도 하나의 정보를 포함할 수 있다. Alternatively, the status information may include type information of a screen being displayed on the display unit, screen depth information, title information on the at least one content, alias title information on the at least one content, and the It may include at least one of identification information for identifying at least one content and information on the number of content included in the screen.

한편, 본 발명의 일 실시 예에 따른 서버 장치는, 디스플레이 장치와 통신을 수행하여, 상기 디스플레이 장치의 상태 정보 및 상기 디스플레이 장치에서 입력된 음성 신호에 대응되는 텍스트를 수신하는 서버 통신부 및 상기 상태 정보 및 상기 텍스트에 기초한 검색을 수행하고, 그 결과 데이터를 상기 디스플레이 장치로 전송하는 서버 제어부를 포함한다.Meanwhile, the server device according to an embodiment of the present invention communicates with a display device to receive status information of the display device and a text corresponding to a voice signal input from the display device, and the server communication unit and the status information and a server control unit that performs a search based on the text and transmits the result data to the display device.

여기서, 상기 서버 제어부는, 상기 상태 정보에 기초하여 상기 화면 내에 포함된 적어도 하나의 컨텐츠를 식별하고, 상기 텍스트에 의해 지정된 컨텐츠가 상기 디스플레이 장치의 화면 내에 존재하면, 상기 지정된 컨텐츠를 획득할 수 있는 주소 정보를 검색하여 상기 디스플레이 장치로 전송하고, 상기 텍스트에 의해 지정된 컨텐츠가 상기 디스플레이 장치의 화면 내에 비존재하면, 상기 텍스트를 이용한 검색을 수행하여 그 검색 결과를 상기 디스플레이 장치로 전송할 수 있다.Here, the server control unit identifies at least one content included in the screen based on the status information, and when the content designated by the text exists in the screen of the display device, it is possible to obtain the designated content The address information may be retrieved and transmitted to the display device, and when the content designated by the text does not exist on the screen of the display device, the search may be performed using the text and the search result may be transmitted to the display device.

또한, 상기 상태 정보는, 상기 디스플레이 장치에서 디스플레이되고 있는 화면의 종류 정보, 화면 뎁스 정보, 상기 적어도 하나의 컨텐츠에 대한 타이틀 정보, 상기 적어도 하나의 컨텐츠에 대한 얼라이어스 타이틀(alias title) 정보, 상기 적어도 하나의 컨텐츠를 식별하기 위한 식별 정보, 상기 화면 내에 포함된 컨텐츠의 개수 정보 중 적어도 하나의 정보를 포함할 수 있다.The state information may include type information of a screen being displayed on the display device, screen depth information, title information on the at least one content, alias title information on the at least one content, and the It may include at least one of identification information for identifying at least one content and information on the number of content included in the screen.

한편, 본 발명의 일 실시 예에 따른 디스플레이 시스템은, 음성 신호 입력이 가능한 디스플레이 장치, 상기 디스플레이 장치에서 입력된 상기 음성 신호를 텍스트로 변환하는 텍스트 변환부, 상기 디스플레이 장치의 상태 정보 및 상기 텍스트에 따라 검색을 수행하여 그 검색 결과를 상기 디스플레이 장치로 제공하는 서버 장치를 포함한다. 상기 디스플레이 장치는 상기 검색 결과가 수신되면, 상기 음성 신호 입력에 대응되는 결과 화면을 디스플레이할 수 있다.On the other hand, the display system according to an embodiment of the present invention includes a display device capable of inputting a voice signal, a text converter for converting the voice signal input from the display device into text, and state information of the display device and the text. and a server device that performs a search according to the search and provides the search result to the display device. When the search result is received, the display device may display a result screen corresponding to the voice signal input.

여기서, 상기 서버 장치는, 상기 상태 정보에 기초하여 상기 디스플레이 장치의 현재 화면 내에 포함된 컨텐츠를 식별하고, 상기 음성 신호에 대응되는 상기 텍스트가 상기 화면 내에 포함된 컨텐츠 중 하나를 지정하는 제1 식별어를 포함하면, 상기 지정된 컨텐츠를 획득할 수 있는 주소 정보를 검색하여 상기 디스플레이 장치로 전송하고, 상기 텍스트가 상기 화면 내에 미포함된 컨텐츠를 지정하는 제2 식별어를 포함하면, 상기 제2 식별어에 대응되는 컨텐츠를 검색하여 그 검색 결과를 상기 디스플레이 장치로 전송할 수 있다.Here, the server device identifies the content included in the current screen of the display device based on the status information, and the text corresponding to the voice signal designates one of the contents included in the screen. When the text includes a second identifier for designating content not included in the screen, the text is searched for address information for obtaining the specified content and transmitted to the display device, the second identifier It is possible to search for content corresponding to , and transmit the search result to the display device.

한편, 본 발명의 일 실시 예에 따르면, 디스플레이 장치의 컨텐츠 정보 제공 방법은, 적어도 하나의 컨텐츠를 포함하는 화면을 디스플레이하는 단계, 음성 신호를 입력받는 단계, 상기 음성 신호에 대응되는 결과 화면을, 상기 화면 내의 컨텐츠의 상태에 따라 상이하게 구성하여 디스플레이하는 디스플레이 단계를 포함한다. Meanwhile, according to an embodiment of the present invention, a method for providing content information of a display device includes: displaying a screen including at least one content; receiving a voice signal; displaying a result screen corresponding to the voice signal; and a display step of configuring and displaying differently according to the state of the content in the screen.

또한, 상기 적어도 하나의 컨텐츠에 대한 상태 정보 및 상기 음성 신호에 대응되는 텍스트를 서버 장치로 전송하는 단계, 상기 서버 장치로부터 상기 상태 정보 및 상기 텍스트에 대응되는 검색 결과를 수신하는 단계, 상기 검색 결과에 기초하여 상기 결과 화면을 구성하는 단계;를 더 포함할 수 있다. In addition, transmitting the status information on the at least one content and text corresponding to the voice signal to a server device, receiving the status information and a search result corresponding to the text from the server device, the search result Composing the result screen based on the; may further include.

또한, 상기 음성 신호가 입력되면, 상기 음성 신호를 텍스트 변환부로 전송하는 단계, 상기 텍스트 변환부에서 상기 음성 신호를 상기 텍스트로 변환하면, 상기 텍스트를 수신하는 단계를 더 포함할 수도 있다.The method may further include transmitting the voice signal to a text converter when the voice signal is input, and receiving the text when the text converter converts the voice signal into the text.

한편, 상기 디스플레이 단계는, 상기 음성 신호에 지정되는 컨텐츠가 상기 화면 내에 존재하면, 상기 지정된 컨텐츠를 획득할 수 있는 주소 정보를 상기 서버 장치로부터 수신하고, 상기 주소 정보에 따라 상기 지정된 컨텐츠를 획득하며, 획득된 상기 컨텐츠를 재생하여 상기 결과 화면으로 디스플레이하는 단계, 상기 음성 신호에 의해 지정되는 컨텐츠가 상기 화면 내에 비존재하면, 상기 음성 신호에 의해 지정된 컨텐츠에 대한 검색 결과를 상기 서버 장치로부터 수신하여, 상기 검색 결과에 기초하여 상기 결과 화면을 구성하여 디스플레이하는 단계를 포함할 수 있다.On the other hand, in the display step, if the content specified in the voice signal exists in the screen, receiving address information for obtaining the specified content from the server device, and obtaining the specified content according to the address information, , reproducing the obtained content and displaying it on the result screen, if the content specified by the voice signal does not exist in the screen, receiving the search result for the content specified by the voice signal from the server device , configuring and displaying the result screen based on the search result.

또한, 상기 상태 정보는, 상기 디스플레이 장치에서 디스플레이되고 있는 화면의 종류 정보, 화면 뎁스 정보, 상기 적어도 하나의 컨텐츠에 대한 타이틀 정보, 상기 적어도 하나의 컨텐츠에 대한 얼라이어스 타이틀(alias title) 정보, 상기 적어도 하나의 컨텐츠를 식별하기 위한 식별 정보, 상기 화면 내에 포함된 컨텐츠의 개수 정보 중 적어도 하나의 정보를 포함할 수 있다. The state information may include type information of a screen being displayed on the display device, screen depth information, title information on the at least one content, alias title information on the at least one content, and the It may include at least one of identification information for identifying at least one content and information on the number of content included in the screen.

또한, 본 발명의 일 실시 예에 따른 서버 장치의 컨텐츠 정보 제공 방법은, 디스플레이 장치에서 디스플레이 중인 화면 내의 적어도 하나의 컨텐츠에 대한 상태 정보 및 상기 디스플레이 장치에서 입력된 음성 신호에 대응되는 텍스트를 수신하는 단계 및 상기 상태 정보 및 상기 텍스트에 기초한 검색을 수행하고, 그 검색 결과를 상기 디스플레이 장치로 전송하는 단계를 포함한다.In addition, the method for providing content information of a server device according to an embodiment of the present invention includes receiving status information on at least one content in a screen being displayed on a display device and a text corresponding to a voice signal input from the display device. and performing a search based on the status information and the text, and transmitting the search result to the display device.

여기서, 상기 검색 결과를 상기 디스플레이 장치로 전송하는 단계는, 상기 텍스트에 의해 지정되는 컨텐츠가 상기 디스플레이 장치의 상기 화면 내에 존재하면, 상기 지정된 컨텐츠를 획득할 수 있는 주소 정보를 상기 디스플레이 장치로 전송하는 단계, 상기 텍스트에 의해 지정되는 컨텐츠가 상기 디스플레이 장치의 상기 화면 내에 비존재하면, 상기 텍스트에 의해 지정되는 컨텐츠에 대한 검색을 수행하고, 그 검색 결과를 상기 디스플레이 장치로 전송하는 단계를 포함할 수 있다. Here, the transmitting of the search result to the display device includes: if the content designated by the text exists in the screen of the display device, transmitting address information for obtaining the designated content to the display device step, when the content designated by the text does not exist in the screen of the display device, performing a search for the content designated by the text, and transmitting the search result to the display device; have.

이상과 같은 다양한 실시 예에 따르면, 디스플레이 장치는 사용자의 음성이 입력되면, 그 음성에 대응되는 결과 화면을 디스플레이 장치의 상태에 따라 다양하게 구성하여 디스플레이할 수 있다. 이에 따라, 사용자의 의도에 맞게 음성 제어를 수행할 수 있다.According to various embodiments as described above, when a user's voice is input, the display device may configure and display a result screen corresponding to the voice in various ways according to the state of the display device. Accordingly, voice control may be performed according to the user's intention.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도,
도 2 내지 도 11은 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면,
도 12는 본 발명의 일 실시 예에 따른 디스플레이 장치의 컨텐츠 정보 제공 방법을 설명하기 위한 흐름도,
도 13은 본 발명의 일 실시 예에 따른 디스플레이 시스템의 구성을 나타내는 블럭도,
도 14는 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 구성을 종합적으로 설명하기 위한 블럭도,
도 15는 본 발명의 일 실시 예에 따른 디스플레이 장치의 소프트웨어 구조를 설명하기 위한 도면,
도 16은 본 발명의 일 실시 예에 따른 서버 장치의 구성을 나타내는 도면, 그리고,
도 17은 본 발명의 일 실시 예에 따른 디스플레이 시스템의 동작을 설명하기 위한 타이밍도이다. 1 is a block diagram showing the configuration of a display device according to an embodiment of the present invention;
2 to 11 are diagrams for explaining an operation of a display device according to various embodiments of the present disclosure;
12 is a flowchart illustrating a method for providing content information of a display device according to an embodiment of the present invention;
13 is a block diagram showing the configuration of a display system according to an embodiment of the present invention;
14 is a block diagram for comprehensively explaining the configuration of a display device according to various embodiments of the present disclosure;
15 is a diagram for explaining a software structure of a display device according to an embodiment of the present invention;
16 is a view showing the configuration of a server device according to an embodiment of the present invention, and;
17 is a timing diagram illustrating an operation of a display system according to an embodiment of the present invention.

이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다. 도 1의 디스플레이 장치(100)는 TV, PC, 랩탑 PC, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 전자 액자, 키오스크 등과 같은 다양한 유형의 장치로 구현될 수 있다. 도 1에 따르면, 디스플레이 장치(100)는 입력부(110), 제어부(120), 디스플레이부(130) 및 그래픽 처리부(140)를 포함한다. 1 is a block diagram showing the configuration of a display device according to an embodiment of the present invention. The display device 100 of FIG. 1 may be implemented as various types of devices such as a TV, a PC, a laptop PC, a mobile phone, a tablet PC, a PDA, an MP3 player, an electronic picture frame, a kiosk, and the like. Referring to FIG. 1 , a display apparatus 100 includes an input unit 110 , a control unit 120 , a display unit 130 , and a graphic processing unit 140 .

입력부(110)는 사용자의 음성 신호를 입력받기 위한 구성요소이다. 다양한 실시 예들에 따라서, 입력부(110)의 구성은 달라질 수 있다. 가령, 입력부(110)는 자체적으로 마이크를 포함하여 음성을 직접 입력받을 수도 있고, 리모콘 등에 설치된 마이크에서 입력되는 사용자 음성을 리모콘으로부터 간접적으로 입력받을 수도 있다. The input unit 110 is a component for receiving a user's voice signal. According to various embodiments, the configuration of the input unit 110 may vary. For example, the input unit 110 may directly receive a voice including a microphone itself, or may indirectly receive a user's voice input from a microphone installed on the remote control or the like from the remote control.

제어부(120)는 디스플레이 장치(100)의 동작을 전반적으로 제어하기 위한 구성요소이다. 그래픽 처리부(140)는 각종 화면을 구성하기 위한 구성요소이다. 구체적으로는, 그래픽 처리부(140)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(130)로 제공될 수 있다.The controller 120 is a component for overall controlling the operation of the display apparatus 100 . The graphic processing unit 140 is a component for configuring various screens. Specifically, the graphic processing unit 140 may generate a screen including various objects such as icons, images, and texts by using a calculation unit (not shown) and a rendering unit (not shown). The calculation unit calculates property values such as coordinate values, shape, size, color, etc. of each object to be displayed according to the layout of the screen. The rendering unit generates screens of various layouts including objects based on the attribute values calculated by the calculation unit. The screen generated by the rendering unit may be provided to the display unit 130 .

디스플레이부(130)는 그래픽 처리부(140)에서 생성하는 각종 화면을 디스플레이한다.The display unit 130 displays various screens generated by the graphic processing unit 140 .

디스플레이 장치(100)가 방송 신호를 수신하여 처리하는 방송 수신 장치인 경우에는, 디스플레이부(130)는 방송 프로그램 화면을 디스플레이할 수 있다. 또는, 디스플레이 장치(100)가 IP(Internet Protocol) 서버 등과 같은 각종 컨텐츠 제공 서버로부터 컨텐츠를 다운로드받는 경우에는, 디스플레이부(130)는 컨텐츠 재생 화면을 디스플레이할 수 있다. When the display device 100 is a broadcast reception device that receives and processes a broadcast signal, the display unit 130 may display a broadcast program screen. Alternatively, when the display apparatus 100 downloads content from various content providing servers such as an Internet Protocol (IP) server, the display unit 130 may display a content reproduction screen.

그 밖에, 제어부(120)는, 각종 컨텐츠들을 선택할 수 있는 컨텐츠 선택 화면이나, 각종 메뉴를 선택할 수 있는 메인 화면, 사용자가 자주 사용하는 선호 기능 화면, 사용자가 시청한 컨텐츠 정보를 안내하는 시청 이력 화면 등과 같은 다양한 화면을 구성하도록 그래픽 처리부(140)를 제어할 수 있다. In addition, the control unit 120 includes a content selection screen for selecting various contents, a main screen for selecting various menus, a preferred function screen frequently used by the user, and a viewing history screen for guiding the content information viewed by the user. The graphic processing unit 140 may be controlled to configure various screens, such as.

적어도 하나의 컨텐츠를 포함하는 화면이 디스플레이부(130)에 디스플레이되어 있는 상태에서 사용자의 음성 신호가 입력되면, 제어부(120)는 음성 신호에 대응되는 결과 화면을 구성하도록 그래픽 처리부(140)를 제어할 수 있다. 그래픽 처리부(140)에 의해 생성된 화면은 디스플레이부(130)로 제공되어 디스플레이될 수 있다. 이 경우, 제어부(120)는 화면 내에 포함되어 있는 컨텐츠의 정보에 따라 상이한 결과 화면을 구성하도록 그래픽 처리부(140)를 제어할 수 있다. When a user's voice signal is input while a screen including at least one content is displayed on the display unit 130 , the controller 120 controls the graphic processing unit 140 to configure a result screen corresponding to the voice signal. can do. The screen generated by the graphic processing unit 140 may be provided to and displayed by the display unit 130 . In this case, the controller 120 may control the graphic processing unit 140 to configure different result screens according to information on content included in the screen.

도 1에서는 그래픽 처리부(140)가 제어부(120)와 별개의 구성요소인 것 처럼 도시 및 설명하였으나, 실시 예에 따라서는 그래픽 처리부(140)는 제어부(120) 내에 마련되는 GPU(Graphic Processing Unit)로 구현될 수도 있다. 이에 대한 별도의 도시는 생략한다.In FIG. 1 , the graphic processing unit 140 is illustrated and described as a separate component from the control unit 120 , but according to an embodiment, the graphic processing unit 140 is a GPU (Graphic Processing Unit) provided in the control unit 120 . may be implemented as A separate illustration thereof will be omitted.

도 2 내지 도 11은 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다. 2 to 11 are diagrams for explaining an operation of a display apparatus according to various embodiments of the present disclosure.

도 2는 사용자가 음성 신호를 이용하여 지정한 컨텐츠가 화면 내에 포함되어 있는지 여부에 따라 상이한 동작을 수행하는 실시 예를 설명하기 위한 도면이다.FIG. 2 is a diagram for explaining an embodiment in which different operations are performed depending on whether content designated by a user using a voice signal is included in a screen.

도 2에 도시된 바와 같이, 디스플레이 장치(100)는, 방송 중인 컨텐츠들에 대한 정보를 포함하는 화면(210)을 디스플레이할 수 있다. 이러한 화면(210)은 컨텐츠 선택 화면이나 ONTV 패널 등과 같이 다양한 이름으로 명명할 수 있다. 도 2에 따르면, 화면(210)에는 TV 방송망, IP 망 기타 다양한 루트를 통해 시청 가능한 컨텐츠들에 대한 썸네일 이미지(211-1 ~ 211-12)가 기 설정된 레이아웃으로 표시될 수 있다. As shown in FIG. 2 , the display apparatus 100 may display a screen 210 including information on contents being broadcast. Such a screen 210 may be named by various names, such as a content selection screen or an ONTV panel. Referring to FIG. 2 , thumbnail images 211-1 to 211-12 for content that can be viewed through a TV broadcasting network, an IP network, and other various routes may be displayed in a preset layout on the screen 210 .

이러한 화면(210)이 디스플레이되고 있는 상태에서, 제어부(120)는 사용자(10)가 화면 내의 컨텐츠의 타이틀을 포함하는 음성 신호를 발화하면, 그 음성 신호 및 디스플레이 장치(100)의 상태에 기초하여, 음성 신호에 대한 결과 화면(220)을 디스플레이한다. 가령, 복수의 썸네일 이미지(211-1 ~ 211-12) 중에서 하나(211-9)가 AAA라는 타이틀을 가진 컨텐츠에 대한 썸네일 이미지이고, 사용자(10)가 "AAA 보여줘"라는 말을 했다면, 제어부(120)는 AAA 컨텐츠를 바로 선택하여 재생하기 위한 제어 동작을 수행한다. 구체적으로는, 디스플레이 장치(100)는 컨텐츠 재생을 위한 처리부(미도시)를 더 포함할 수 있다. 제어부(120)는 AAA 컨텐츠를 재생하도록 처리부를 제어할 수 있다. While the screen 210 is being displayed, when the user 10 utters a voice signal including the title of content on the screen, the controller 120 based on the voice signal and the state of the display device 100 . , the result screen 220 for the voice signal is displayed. For example, if one 211-9 among the plurality of thumbnail images 211-1 to 211-12 is a thumbnail image for content with the title AAA, and the user 10 says "Show AAA", the control unit 120 performs a control operation for directly selecting and playing the AAA content. Specifically, the display apparatus 100 may further include a processing unit (not shown) for content reproduction. The controller 120 may control the processor to reproduce the AAA content.

이에 따라, 디스플레이부(130)는 AAA 컨텐츠의 재생 화면(220)을 디스플레이한다. AAA 컨텐츠는 다양한 소스로부터 제공받을 수 있다. 가령, 디스플레이 장치(100)가 AAA 컨텐츠를 이미 저장하고 있는 경우라면, 저장된 AAA 컨텐츠를 바로 재생할 수 있다. 또는, AAA 컨텐츠가 특정 방송국에서 제공하는 방송 채널을 통해 제공되는 방송 프로그램인 경우라면, 제어부(120)는 튜너(미도시)를 제어하여 해당 방송 채널을 선국하고, 그 방송 채널을 통해 방송 프로그램을 수신할 수도 있다. 또는, AAA 컨텐츠가 컨텐츠 제공 서버(미도시)로부터 제공되는 컨텐츠인 경우라면, 제어부(120)는 통신부(미도시)를 제어하여, AAA 컨텐츠를 획득할 수 있는 주소 정보를 이용하여 컨텐츠 제공 서버로 액세스하여, AAA 컨텐츠를 다운로드받을 수도 있다. 주소 정보는 디스플레이 장치(100)가 사전에 저장해 두고 있는 정보일 수도 있지만, 또 다른 실시 예에 따르면, 디스플레이 장치(100)와 연동하는 서버 장치(미도시)가 주소 정보를 제공할 수도 있다. 이상과 같은 실시 예에서 언급한 처리부 및 통신부에 대해서는 본 명세서 후반부에서 별도의 도면과 함께 구체적으로 설명한다. Accordingly, the display unit 130 displays the playback screen 220 of the AAA content. AAA content may be provided from various sources. For example, if the display apparatus 100 has already stored the AAA content, the stored AAA content may be directly reproduced. Alternatively, if the AAA content is a broadcast program provided through a broadcast channel provided by a specific broadcast station, the controller 120 controls a tuner (not shown) to tune into a corresponding broadcast channel, and provides a broadcast program through the broadcast channel. may receive. Alternatively, if the AAA content is the content provided from the content providing server (not shown), the controller 120 controls the communication unit (not shown) to send the AAA content to the content providing server using address information from which to obtain the AAA content. You can also access and download AAA content. The address information may be information stored in advance by the display apparatus 100 , but according to another embodiment, a server device (not shown) interworking with the display apparatus 100 may provide the address information. The processing unit and the communication unit mentioned in the above embodiments will be described in detail with separate drawings in the latter part of this specification.

한편, 사용자(10)는 화면 내에 미포함된 컨텐츠의 타이틀을 말할 수도 있다. 도 3은 도 2와 동일한 화면(210)이 표시된 상태에서, 사용자가 "BBB 보여줘" 라고 말한 경우를 나타낸다. 제어부(120)는 사용자의 음성 신호에 의해 지정되는 컨텐츠 BBB가 현재 화면(120) 내에 비 존재하면, BBB 컨텐츠를 검색한 검색 결과 화면(310)을 표시한다. 실시 예에 따라서, 검색은 다양한 장치에서 수행될 수 있다. 일 예로, 디스플레이 장치(100)의 제어부(120)가 자체적으로 수행할 수도 있지만, 외부의 서버 장치에서 검색을 수행하고, 그 수행 결과를 제어부(120)로 제공할 수도 있다. 도 3에서의 검색 결과 화면(310)에는 BBB라는 키워드를 포함하는 각종 아이템(311-1 ~ 311-12)들이 포함된 상태를 나타낸다. On the other hand, the user 10 may say the title of the content not included in the screen. 3 shows a case in which the user says "Show BBB" in a state where the same screen 210 as that of FIG. 2 is displayed. If the content BBB designated by the user's voice signal does not exist in the current screen 120 , the controller 120 displays the search result screen 310 for searching for the BBB content. According to an embodiment, the search may be performed in various devices. For example, the control unit 120 of the display apparatus 100 may perform the search by itself, but may also perform a search in an external server device and provide the execution result to the control unit 120 . The search result screen 310 in FIG. 3 shows a state in which various items 311-1 to 311-12 including the keyword BBB are included.

제어부(120)는 아이템(311-1 ~ 311-12)들 중 하나가 사용자에 의해 선택되면, 선택된 아이템에 대응되는 컨텐츠를 재생하여 디스플레이부(130)를 통해 출력할 수도 있다. When one of the items 311-1 to 311-12 is selected by the user, the controller 120 may reproduce content corresponding to the selected item and output it through the display 130 .

도 2 및 도 3에서 설명한 실시 예에 따르면, 디스플레이 장치(100)는 사용자의 음성 신호에 의해 지정된 컨텐츠에 대한 정보가 현재 화면에 포함되어 있는지 여부에 따라 상이한 제어 동작을 수행할 수 있다. 이에 따라, 사용자가 특정 컨텐츠를 바로 재생할 수도 있고, 검색을 수행할 수도 있다. According to the embodiment described with reference to FIGS. 2 and 3 , the display apparatus 100 may perform different control operations according to whether information on content specified by the user's voice signal is included in the current screen. Accordingly, the user may directly play specific content or may perform a search.

한편, 본 발명의 또 다른 실시 예에 따르면, 디스플레이 장치(100)는 표시 중인 화면의 종류에 따라, 다양한 결과 화면을 제공하여 줄 수도 있다.Meanwhile, according to another embodiment of the present invention, the display apparatus 100 may provide various result screens according to the type of screen being displayed.

가령, 도 2에서 설명한 바와 같이, 현재 시청 가능한 컨텐츠에 대한 정보 포함하는 화면(210)이 표시된 상태에서는, 사용자가 음성 신호를 입력하면, 제어부(120)는 화면(210) 내의 컨텐츠 포함 여부에 따라 상이한 동작을 수행할 수 있다. For example, as described with reference to FIG. 2 , when the user inputs a voice signal while the screen 210 including information on the currently viewable content is displayed, the controller 120 controls the screen 210 according to whether the content in the screen 210 is included. Different actions can be performed.

반면, 도 4에 도시된 바와 같이, 사용자가 선호하는 컨텐츠에 대한 정보를 포함하는 화면(410)이 표시된 상태에서는, 사용자가 화면(410)에 포함된 특정 컨텐츠를 지정한 음성 신호를 입력하더라도, 해당 컨텐츠를 바로 재생하지 않고, 상이한 제어 동작을 수행할 수 있다. On the other hand, as shown in FIG. 4 , in a state in which the screen 410 including information on the content that the user prefers is displayed, even if the user inputs a voice signal designating the specific content included in the screen 410, the corresponding A different control operation may be performed without directly playing the content.

구체적으로는, 도 4에 도시된 바와 같이, 디스플레이 장치(100)는, 사용자가 예전에 시청하였던 컨텐츠, 그 관련 컨텐츠, 유사 컨텐츠 등을 포함하는 화면(410)을 디스플레이할 수 있다. 이러한 화면(410)은 선호 컨텐츠 화면이나, MYCONTENTS 화면, 시청 이력 화면 등과 같이 다양한 이름으로 명명할 수 있다. 도 4에 따르면, 화면(410)에는 다양한 컨텐츠들에 대한 썸네일 이미지(411-1 ~ 411-8)가 기 설정된 레이아웃으로 표시될 수 있다. 도 4의 화면(410)의 레이아웃은 도 2 및 도 3에서 도시한 화면(210)의 레이아웃과는 상이하게 설정될 수 있다.Specifically, as shown in FIG. 4 , the display apparatus 100 may display a screen 410 including content previously viewed by the user, related content, and similar content. The screen 410 may be named various names such as a preferred content screen, a MYCONTENTS screen, a viewing history screen, and the like. Referring to FIG. 4 , thumbnail images 411-1 to 411-8 for various contents may be displayed in a preset layout on the screen 410 . The layout of the screen 410 of FIG. 4 may be set to be different from the layout of the screen 210 shown in FIGS. 2 and 3 .

이러한 상태에서 사용자가 말한 음성 신호가 입력부(110)를 통해 입력되면, 제어부(120)는 음성 신호에 대응되는 컨텐츠에 대한 정보, 즉, 썸네일 이미지가 현재 화면(410) 내에 포함되어 있는지 여부를 확인한다. 확인 결과, 음성 신호에 대응되는 컨텐츠의 썸네일 이미지(예를 들어, 411-6)가 존재한다면, 제어부(120)는 해당 컨텐츠와 관련된 각종 컨텐츠에 대한 검색 결과 화면(420)을 디스플레이부(130)에 디스플레이할 수 있다. 검색 결과 화면(420)에는 해당 컨텐츠에 대해 이미 시청한 컨텐츠 정보(421-1, 421-2) 및 새로이 시청 가능한 컨텐츠 정보(421-3 ~ 421-5) 등이 포함될 수 있다. 해당 컨텐츠가 복수의 시리즈로 구성된 동영상인 경우, 제어부(120)는 복수의 시리즈 중에서 사용자가 이미 시청한 것(421-1, 421-2)과 시청하지 않은 것(421-3, 421-4, 421-5)을 구분하여 표시할 수 있다. 이러한 화면(420)이 표시된 상태에서 사용자가 특정 회차의 컨텐츠(예를 들어, 421-3)를 지정하는 음성 신호(예를 들어, 3회)를 입력하면, 제어부(120)는 해당 컨텐츠를 바로 재생하여 출력할 수 있다. In this state, when a voice signal spoken by the user is input through the input unit 110 , the control unit 120 checks whether information on content corresponding to the voice signal, that is, a thumbnail image, is included in the current screen 410 . do. As a result of checking, if there is a thumbnail image (eg, 411-6) of content corresponding to the voice signal, the control unit 120 displays a search result screen 420 for various contents related to the corresponding content on the display unit 130 can be displayed on The search result screen 420 may include previously viewed content information 421-1 and 421-2 and newly viewable content information 421-3 to 421-5 for the corresponding content. When the corresponding content is a moving picture composed of a plurality of series, the controller 120 controls those that the user has already watched (421-1, 421-2) and those that the user has not watched (421-3, 421-4, 421-5) can be displayed separately. When the user inputs a voice signal (for example, 3 times) for designating content (for example, 421-3) of a specific round while the screen 420 is displayed, the controller 120 immediately transmits the corresponding content. It can be played and printed.

도 5는 사용자가 선호하는 컨텐츠에 대한 정보를 포함하는 화면(410)이 표시된 상태에서, 사용자가 입력한 음성 신호에 의해 지정된 컨텐츠가 해당 화면(410)내에 비존재하는 경우를 나타낸다. 가령, 도 5에 도시된 바와 같이 사용자가 화면(410) 내에 존재하지 않는 컨텐츠(예를 들어, DDD)를 지정하기 위한 "DDD 보여줘"라는 음성 신호를 입력하였다면, 제어부(120)는 해당 음성 신호에 포함된 키워드 중에서 식별어 DDD에 대한 검색 결과 화면(510)을 디스플레이한다. 검색 결과 화면(510)에는 DDD라는 텍스트를 포함하는 다양한 타이틀을 가지는 컨텐츠들에 대한 정보(511-1 ~ 511-n)가 포함될 수 있다. 5 shows a case in which the content designated by the voice signal input by the user does not exist in the corresponding screen 410 while the screen 410 including information on the content preferred by the user is displayed. For example, as shown in FIG. 5 , if the user inputs a voice signal “Show DDD” for designating content (eg, DDD) that does not exist in the screen 410 , the controller 120 controls the corresponding voice signal. A search result screen 510 for the identifier DDD among the keywords included in . The search result screen 510 may include information 511-1 to 511-n about contents having various titles including the text DDD.

도 6은 특정 컨텐츠의 재생 화면(610)이 표시되고 있는 상태에서 사용자가 음성 신호를 입력한 경우를 설명하기 위한 도면이다. 이 경우, 제어부(120)는 음성 신호에 포함된 컨텐츠(예를 들어, DDD)가 현재 화면내에 포함되지 않은 것으로 판단하여, 음성 신호에 포함된 식별어에 대한 검색 결과 화면을 표시한다. 도 5에서 설명한 식별어 DDD와 동일하다고 가정하면, 도 5와 동일한 내용의 검색 결과 화면(510)이 표시될 수 있다. FIG. 6 is a diagram for explaining a case in which a user inputs a voice signal while the playback screen 610 of a specific content is being displayed. In this case, the controller 120 determines that the content (eg, DDD) included in the voice signal is not included in the current screen, and displays a search result screen for the identifier included in the voice signal. Assuming that it is the same as the identifier DDD described in FIG. 5 , the search result screen 510 having the same content as in FIG. 5 may be displayed.

이상과 같은 실시 예들에서, 제어부(120)는 타이틀의 풀 네임이 발음되는 경우 이외에도, 타이틀에 대한 줄임말, 별칭 등이 발음되는 경우, 그 줄임말, 별칭 등에 대응되는 컨텐츠들에 대한 정보를 디스플레이할 수도 있다. In the above embodiments, in addition to the case where the full name of the title is pronounced, the controller 120 may display information on contents corresponding to the abbreviation or alias when an abbreviation or an alias for the title is pronounced. have.

도 4 내지 도 6에서 설명한 바와 같이, 디스플레이 장치(100)는 사용자가 동일한 음성 신호를 입력하였다고 하더라도, 현재 표시되고 있는 화면의 종류나, 화면 내의 컨텐츠 표시 상태 등과 같은 다양한 조건에 따라서 다양한 결과 화면을 제공하여 줄 수 있다. 4 to 6 , even if the user inputs the same voice signal, the display apparatus 100 displays various result screens according to various conditions, such as the type of the currently displayed screen or the content display state in the screen, even if the user inputs the same voice signal. can provide.

한편, 이상에서는 사용자가 특정 컨텐츠를 지정하기 위한 음성 신호를 입력한 경우를 기준으로 설명하였으나, 디스플레이 장치(100)는 사용자가 임의로 말하는 음성신호를 입력받아 그 의미에 따라 다양한 결과 화면을 제공하여 줄 수도 있다. Meanwhile, in the above description, a case in which a user inputs a voice signal for designating a specific content has been described as a reference, but the display device 100 receives a voice signal that the user arbitrarily speaks and provides various result screens according to the meaning. may be

도 7은 이러한 실시 예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다. 도 7에 따르면, 제어부(120)는 임의의 컨텐츠 화면(710)이 표시되고 있는 상태에서 사용자(10)가 "저거 뭐야?"와 같은 음성 신호를 입력한 상태를 나타낸다. 제어부(120)는 사용자의 음성 신호를 분석하여 그 의미를 판단한다. 이에 따라, 제어부(120)는 "저거"라는 표현이 지칭하는 객체가 무엇인지를 판단하고, 그 판단 결과에 대응되는 응답 메시지(720)를 디스플레이한다. 도 7에서는 EEE라는 이름의 펭귄 캐릭터가 출연한 애니메이션 컨텐츠가 재생되고 있는 상태에서 사용자의 음성 신호가 입력된 경우를 나타낸다. 제어부(120)는 사용자의 질문에 대해 "EEE는 펭귄입니다"라는 응답 메시지(720)를 구성하여 디스플레이할 수 있다. 7 is a diagram for explaining the operation of the display device according to this embodiment. Referring to FIG. 7 , the controller 120 indicates a state in which the user 10 inputs a voice signal such as “What is that?” while the arbitrary content screen 710 is being displayed. The control unit 120 analyzes the user's voice signal and determines its meaning. Accordingly, the control unit 120 determines what the object referred to by the expression "jerger" is, and displays a response message 720 corresponding to the determination result. 7 illustrates a case in which a user's voice signal is input while animation content featuring a penguin character named EEE is being reproduced. The controller 120 may configure and display a response message 720 stating "EEE is a penguin" to the user's question.

응답 메시지를 구성하는 방법은 다양하게 구현될 수 있다. A method of constructing a response message may be implemented in various ways.

일 예로, 제어부(120)는 현재 디스플레이되고 있는 컨텐츠의 메타 데이터에서, 해당 컨텐츠의 타이틀, 등장 인물 명, 캐릭터 명, 부가 설명 등과 같은 다양한 정보들을 검색할 수 있다. 제어부(120)는 그 검색 결과에 따라 응답 메시지(720)를 구성하도록 그래픽 처리부(140)를 제어할 수 있다.For example, the controller 120 may search for various information such as a title of the corresponding content, a character name, a character name, an additional description, and the like, from the metadata of the currently displayed content. The controller 120 may control the graphic processing unit 140 to configure the response message 720 according to the search result.

다른 예로, 제어부(120)는 사용자의 음성 신호가 입력된 시점에 디스플레이된 이미지 프레임을 검출한다. 제어부(120)는 검출된 이미지 프레임 내에 포함된 에지(edge)를 검출한 후, 그 에지에 의해 특정되는 오브젝트의 형상에 대응되는 관련 이미지들을 검색할 수 있다. 제어부(120)는 관련 이미지가 검색되면, 검색된 관련 이미지나 그 관련 이미지에 부가된 텍스트 등을 이용하여 응답 메시지(720)를 구성하도록 그래픽 처리부(140)를 제어할 수 있다. As another example, the controller 120 detects an image frame displayed at the time the user's voice signal is input. After detecting an edge included in the detected image frame, the controller 120 may search for related images corresponding to the shape of an object specified by the edge. When a related image is searched for, the controller 120 may control the graphic processing unit 140 to construct a response message 720 using the searched related image or text added to the related image.

그 밖에, 해당 컨텐츠에 링크된 주소 정보를 이용하여, 특정 서버 장치에 액세스하여 해당 서버 장치가 제공하는 텍스트에 기초하여 응답 메시지(720)를 구성하도록 그래픽 처리부(140)를 제어할 수도 있다. In addition, by using the address information linked to the corresponding content, the graphic processing unit 140 may be controlled to access a specific server device and configure the response message 720 based on the text provided by the corresponding server device.

도 8은 웹 화면(810)이 디스플레이되고 있는 상태를 나타낸다. 이러한 상태에서 사용자가 "저거 뭐야?"와 같은 음성 신호를 입력하면, 제어부(120)는 현재 표시되고 있는 웹 화면(810)을 제공하는 웹 서버(미도시)에 대한 정보에 기초하여 응답 메시지(820)를 디스플레이할 수 있다. 도 8에서는 현재 표시되고 있는 사이트가 FFF 포털 사이트임을 나타내는 응답 메시지(820)를 도시하였다. 8 shows a state in which the web screen 810 is being displayed. In this state, when the user inputs a voice signal such as "What is that?", the controller 120 controls a response message ( 820) may be displayed. 8 illustrates a response message 820 indicating that the currently displayed site is an FFF portal site.

다른 예로는, 제어부(120)는 현재 표시되고 있는 웹 화면(810)의 URL을 포함하는 응답 메시지(820)를 구성하도록 그래픽 처리부(140)를 제어할 수도 있다. As another example, the controller 120 may control the graphic processing unit 140 to configure the response message 820 including the URL of the currently displayed web screen 810 .

도 9는 적어도 하나의 컨텐츠에 대한 정보를 포함하는 컨텐츠 선택 화면이 디스플레이된 상태에서 사용자가 임의의 음성 신호를 입력한 경우를 설명하기 위한 도면이다. 도 9에 따르면, 컨텐츠 선택 화면(910)에는 시청 가능한 컨텐츠들에 대한 썸네일 이미지들(911-1 ~ 911-12)가 포함될 수 있다.9 is a diagram for explaining a case in which a user inputs an arbitrary voice signal while a content selection screen including information on at least one content is displayed. Referring to FIG. 9 , the content selection screen 910 may include thumbnail images 911-1 to 911-12 for viewable content.

제어부(120)는 썸네일 이미지들(911-1 ~ 911-12) 중 하나를 하이라이트 표시할 수 있다. 도 9에서는 두 번째 썸네일 이미지(911-2)가 하이라이트 표시된 상태를 나타낸다. 제어부(120)는 사용자가 원격 제어 장치에 구비된 방향 키를 조작하거나, 방향을 나타내는 음성 신호를 입력하는 경우, 그 방향 키 또는 음성 신호에 대응되는 방향으로 하이라이트 표시를 이동시킬 수 있다. 이러한 상태에서, 사용자가 "저거 뭐야?"라는 음성 신호를 입력하면, 제어부(120)는 현재 하이라이트 표시된 썸네일 이미지(911-2)에 링크된 상세 정보 화면(920)을 디스플레이하도록 그래픽 처리부(140) 및 디스플레이부(130)를 제어할 수 있다. 예를 들어, 해당 썸네일 이미지(911-2)가 영화 컨텐츠에 대한 것이라면, 상세 정보 화면(920)에는 영화 제목, 언어, 재생 시간, 줄거리, 주요 장면 등과 같은 다양한 정보들이 포함될 수 있다. The controller 120 may highlight one of the thumbnail images 911-1 to 911-12. 9 shows a state in which the second thumbnail image 911-2 is highlighted. When the user manipulates a direction key provided in the remote control device or inputs a voice signal indicating a direction, the controller 120 may move the highlight display in a direction corresponding to the direction key or the voice signal. In this state, when the user inputs a voice signal "What is that?", the control unit 120 controls the graphic processing unit 140 to display the detailed information screen 920 linked to the currently highlighted thumbnail image 911-2. and the display unit 130 . For example, if the thumbnail image 911-2 is about movie content, the detailed information screen 920 may include various information such as a movie title, language, playing time, plot, and main scenes.

또는, 제어부(120)는 사용자가 "저거 보여줘"라는 음성 신호를 입력하였다면, 현재 하이라이트 표시된 썸네일 이미지(911-2)에 대응되는 컨텐츠를 바로 재생하도록 처리부를 제어하여, 그 재생 화면을 디스플레이부(130)에서 디스플레이할 수도 있다. Alternatively, if the user inputs a voice signal "Show me that", the controller 120 controls the processor to immediately play the content corresponding to the currently highlighted thumbnail image 911-2, and displays the playback screen on the display unit ( 130) may be displayed.

이상과 같이, 본 발명의 다양한 실시 예에 따르면, 디스플레이 장치는 사용자가 동일한 음성 신호를 입력하더라도, 디스플레이 장치의 동작 상태에 따라 다양한 결과 화면을 제공하여 줄 수 있다.As described above, according to various embodiments of the present disclosure, the display apparatus may provide various result screens according to the operating state of the display apparatus even when the user inputs the same voice signal.

이 밖에도, 디스플레이 장치는 사용자가 동일한 음성 신호를 입력하더라도, 디스플레이 장치의 동작 상태에 따라 상이한 제어 동작을 수행할 수도 있다. In addition, the display apparatus may perform different control operations according to the operating state of the display apparatus even if the user inputs the same voice signal.

도 10 및 도 11은 본 발명의 또 다른 실시 예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다. 본 실시 예에 따르면 디스플레이 장치는, 사용자가 동일한 음성 신호를 입력한 경우에도, 디스플레이 장치의 동작 상태에 따라 상이한 제어 동작을 수행할 수 있다. 10 and 11 are diagrams for explaining an operation of a display device according to another embodiment of the present invention. According to the present embodiment, the display apparatus may perform different control operations according to the operation state of the display apparatus even when the user inputs the same voice signal.

도 10 및 도 11은 사용자가 "더 크게"라는 음성 신호를 입력한 경우를 나타낸다. 도 10에서는 오디오 볼륨과 상관없는 화면(1010)이 표시되고 있는 상태를 나타낸다. 구체적으로는, 디스플레이 장치(100)는 복수의 오브젝트(1011-1 ~ 1011-8)를 포함하는 화면(1010)을 표시할 수 있다. 가령, 도 2 내지 도 5에서 도시한, 시청 가능한 컨텐츠에 대한 썸네일 이미지를 포함하는 컨텐츠 선택 화면이나, 사용자 선호 컨텐츠에 대한 화면 등을 표시할 수 있다. 10 and 11 show a case in which a user inputs a voice signal "more loud". 10 shows a state in which the screen 1010 irrespective of the audio volume is being displayed. Specifically, the display apparatus 100 may display a screen 1010 including a plurality of objects 1011-1 to 1011-8. For example, a content selection screen including a thumbnail image for viewable content, a screen for user preference content, or the like shown in FIGS. 2 to 5 may be displayed.

이러한 상태에서, 제어부(120)는 "더 크게"라는 음성 신호가 입력되면, 사용자(10)의 의도가 화면(1010)을 확대하여 표시하라는 의도인 것으로 판단할 수 있다. 이에 따라, 확대된 크기의 오브젝트들(1011-1 ~ 1011-8)을 포함하는 화면(1020)을 구성하도록 그래픽 처리부(140)를 제어할 수 있다. 확대 결과, 전체 오브젝트들(1011-1 ~ 1011-8)이 한 화면(1020)에 모두 포함될 수 없으면, 한 화면(1020)에 포함된 오브젝트의 개수를 줄일 수 있다. 도 10에서는 확대 전 화면(1010)에서는 8개의 오브젝트(1011-1 ~ 1011-8)가 포함되다가, 확대 후 화면(1020)에서는 4개의 오브젝트(1011-1, 1011-2, 1011-5, 1011-6)가 포함된 경우를 나타낸다. 제어부(120)는 "더 크게"라는 음성 신호가 복수 횟수 반복 입력되면, 오브젝트(1011-1 ~ 1011-8)의 크기를 지속적으로 확대시키도록 그래픽 처리부(140)를 제어할 수 있다. 또한, 제어부(120)는 기 설정된 횟수 이상 반복 입력되면, 오브젝트(1011-1 ~ 1011-8) 중 하나(예를 들어, 1011-1)를 전체 화면 크기로 구성하도록 그래픽 처리부(140)를 제어할 수도 있다. 도 10에서는 각 오브젝트(1011-1 ~ 1011-8)가 썸네일 이미지 형태인 것으로 도시하였으나, 오브젝트는 텍스트나, 사진, 이미지 등과 같이 다양한 형태로 구현될 수 있다.In this state, when a voice signal “larger” is input, the controller 120 may determine that the intention of the user 10 is to enlarge and display the screen 1010 . Accordingly, the graphic processing unit 140 may be controlled to configure the screen 1020 including the enlarged objects 1011-1 to 1011-8. As a result of the enlargement, if all objects 1011-1 to 1011-8 cannot be included in one screen 1020, the number of objects included in one screen 1020 may be reduced. In FIG. 10 , eight objects 1011-1 to 1011-8 are included in the screen 1010 before enlargement, and four objects 1011-1, 1011-2, 1011-5, 1011 are included in the screen 1020 after enlargement. -6) is included. The controller 120 may control the graphic processing unit 140 to continuously enlarge the size of the objects 1011-1 to 1011-8 when the voice signal “larger” is repeatedly input a plurality of times. In addition, the control unit 120 controls the graphic processing unit 140 to configure one of the objects 1011-1 to 1011-8 (eg, 1011-1) in a full screen size when the input is repeated a preset number of times or more. You may. Although each object 1011-1 to 1011-8 is illustrated in the form of a thumbnail image in FIG. 10, the object may be implemented in various forms such as text, photos, and images.

도 11은 동영상 컨텐츠를 재생하여 그 재생 화면(1110)을 디스플레이하고 있는 상태를 나타낸다. 이러한 상태에서 사용자(10)가 "더 크게"라는 음성 신호를 입력하면, 제어부(120)는 사용자가 오디오 볼륨을 키우라는 의도인 것으로 판단할 수 있다. 이에 따라, 제어부(120)는 오디오 볼륨을 일정 레벨만큼 증대시킬 수 있다. 또한, 제어부(120)는 오디오 볼륨 상태를 나타내는 GUI(Graphic User Interface)(1120)를 구성하도록 그래픽 처리부(140)를 제어할 수도 있다.11 shows a state in which a video content is reproduced and the reproduction screen 1110 is displayed. In this state, if the user 10 inputs a voice signal "more loud", the controller 120 may determine that the user intends to increase the audio volume. Accordingly, the controller 120 may increase the audio volume by a predetermined level. Also, the controller 120 may control the graphic processing unit 140 to configure a graphic user interface (GUI) 1120 indicating an audio volume state.

도 10 및 도 11에서는 "더 크게"라는 음성 신호를 예로 들어 설명하였으나, 이 밖에도 "더 작게"라는 음성 신호가 입력되는 경우에는 화면 종류에 따라 사이즈 축소 또는 오디오 볼륨 축소 등과 같이 상이한 동작을 수행할 수 있다. In FIGS. 10 and 11 , the voice signal “larger” has been described as an example. In addition, when a voice signal “smaller” is input, different operations such as size reduction or audio volume reduction may be performed depending on the type of screen. can

이상과 같이, 본 발명의 다양한 실시 예에 따르면, 디스플레이 장치는 사용자가 동일한 음성 신호를 입력하더라도, 디스플레이 장치의 동작 상태에 따라 다양한 동작을 수행할 수 있다. As described above, according to various embodiments of the present disclosure, the display apparatus may perform various operations according to the operating state of the display apparatus even if the user inputs the same voice signal.

한편, 상술한 실시 예들에서는, 디스플레이 장치(100)에서 음성 신호를 입력받아 처리하는 것을 설명하였으나, 디스플레이부를 갖추지 않은 방송 수신 장치(예를 들어, 셋탑 박스 등)에서 상술한 처리 동작을 수행할 수도 있다. 가령, 셋탑 박스는 외부의 디스플레이 장치에서 적어도 하나의 컨텐츠를 포함하는 화면을 디스플레이하고 있는 상태에서 사용자의 음성 신호가 입력되면, 셋탑 박스는 그 음성 신호에 대응되는 결과 화면을 컨텐츠 상태에 따라 상이하게 구성하여 디스플레이 장치로 제공하여 줄 수 있다. 이에 따라, 음성 신호에 대응되는 결과 화면이 디스플레이 장치에서 디스플레이될 수 있다. 방송 수신 장치에서 구성하는 결과 화면은 상술한 도 2 내지 도 11에서 설명한 바와 같이 다양하게 구성될 수 있다. 방송 수신 장치의 구성 및 동작에 대한 도시 및 설명은 생략한다. Meanwhile, in the above-described embodiments, it has been described that a voice signal is received and processed by the display device 100, but the above-described processing operation may be performed in a broadcast receiving device (eg, a set-top box, etc.) not equipped with a display unit. have. For example, when a user's voice signal is input while the set-top box is displaying a screen including at least one content on an external display device, the set-top box displays a result screen corresponding to the voice signal differently depending on the content state. It can be configured and provided as a display device. Accordingly, a result screen corresponding to the voice signal may be displayed on the display device. The result screen configured in the broadcast reception device may be configured in various ways as described with reference to FIGS. 2 to 11 described above. The illustration and description of the configuration and operation of the broadcast receiving device will be omitted.

도 12는 본 발명의 일 실시 예에 따른 디스플레이 장치의 컨텐츠 정보 제공 방법을 설명하기 위한 흐름도이다. 12 is a flowchart illustrating a method for providing content information by a display apparatus according to an embodiment of the present invention.

도 12에 따르면, 디스플레이 장치(100)는 임의의 화면을 디스플레이하고 있는 상태에서(S1210), 사용자의 음성 신호를 입력받을 수 있다(S1220). 화면은 도 2 내지 도 11에서 설명한 바와 같이 다양하게 구현될 수 있다. 사용자의 음성 신호가 입력되면, 디스플레이 장치(100)는 그 음성 신호에 대응되는 결과 화면을 화면 내의 컨텐츠 상태에 따라 상이하게 구성하여 디스플레이할 수 있다(S1230). 이러한 동작은 디스플레이 장치(100)가 독립적으로 수행할 수 있으나, 반드시 이에 한정되는 것은 아니다. 즉, 본 발명의 일 실시 예에 따르면, 텍스트 변환부, 디스플레이 장치(100) 및 서버 장치를 포함하는 디스플레이 시스템에서 상술한 동작을 수행할 수 있다. 12 , the display apparatus 100 may receive a user's voice signal while displaying an arbitrary screen (S1210) (S1220). The screen may be implemented in various ways as described with reference to FIGS. 2 to 11 . When a user's voice signal is input, the display apparatus 100 may configure and display a result screen corresponding to the voice signal differently according to the content state in the screen (S1230). Such an operation may be independently performed by the display apparatus 100, but is not limited thereto. That is, according to an embodiment of the present invention, the above-described operation may be performed in the display system including the text converter, the display apparatus 100 and the server apparatus.

도 13은 본 발명의 일 실시 예에 따른 디스플레이 시스템의 구성을 나타내는 블럭도이다. 도 13에 따르면, 디스플레이 시스템(1300)은 텍스트 변환부(1310), 디스플레이 장치(100), 서버 장치(1400)를 포함한다. 13 is a block diagram illustrating a configuration of a display system according to an embodiment of the present invention. Referring to FIG. 13 , a display system 1300 includes a text converter 1310 , a display device 100 , and a server device 1400 .

디스플레이 장치(100)는 음성 신호가 입력되면, 외부의 텍스트 변환부(1310)로 음성 신호를 전송할 수 있다. 텍스트 변환부(1310)는 디스플레이 장치(100)를 통해 전송되는 음성 신호를 텍스트로 변환하여 제공하는 일종의 장치를 의미한다. 실시 예에 따라서, 텍스트 변환부(1310)는 별도의 서버 장치로 구현될 수도 있고, 서버 장치(1400) 내부에 포함될 수도 있다. When a voice signal is input, the display apparatus 100 may transmit the voice signal to the external text converter 1310 . The text converter 1310 refers to a type of device that converts a voice signal transmitted through the display device 100 into text and provides the converted text. According to an embodiment, the text conversion unit 1310 may be implemented as a separate server device or may be included in the server device 1400 .

텍스트 변환부(1310)는 동적정합법(Dynamic time warping method), 은닉 마코프모델(Hidden Markov Model), 신경망(Neural Network) 등과 같은 다양한 인식 알고리즘 중 적어도 하나를 이용하여 음성을 인식하고, 인식된 음성을 텍스트로 변환할 수 있다. 일 예로, 은닉 마코프 모델을 사용하는 경우, 텍스트 변환부(1310)는 사용자 음성의 시간적 변화 및 스펙트럼 변화를 각각 모델링하여, 기 저장된 언어 데이터베이스에서 유사한 어휘를 검출한다. 이에 따라, 검출된 어휘를 텍스트로 출력할 수 있다. 텍스트 변환부(1310)는 변환된 텍스트를 디스플레이 장치(100)로 전송한다. 한편, 상술한 바와 같이, 디스플레이 장치(100)가 텍스트 변환 기능을 갖춘 경우에는, 텍스트 변환부(1310)로 음성 신호를 전송하지 않고, 디스플레이 장치(100)가 직접 음성 신호를 텍스트로 변환할 수 있다. The text converter 1310 recognizes a voice using at least one of various recognition algorithms such as a dynamic time warping method, a hidden Markov model, and a neural network, and recognizes the recognized voice. can be converted to text. For example, when using the hidden Markov model, the text converter 1310 models temporal changes and spectral changes of the user's voice, respectively, and detects similar vocabulary from a pre-stored language database. Accordingly, the detected vocabulary may be output as text. The text converter 1310 transmits the converted text to the display apparatus 100 . Meanwhile, as described above, when the display apparatus 100 has a text conversion function, the display apparatus 100 may directly convert the audio signal into text without transmitting the audio signal to the text conversion unit 1310 . have.

디스플레이 장치(100)는 텍스트 변환부(1310)로부터 텍스트가 전송되면, 입력된 텍스트에 대응되는 제어 동작을 수행할 수 있다. 가령, 디스플레이 장치(100)는 사용자가 입력한 음성 신호 내에 기 정의된 음성 코맨드가 포함되면, 그 음성 코맨드에 대응되는 동작을 수행할 수 있다. 가령, 디스플레이 장치(100)가 TV인 경우, 턴-온, 턴-오프, 볼륨 업, 볼륨 다운, 채널 업, 채널 다운 등과 같은 다양한 동작들 각각에 대해 음성 코맨드가 지정되어 저장될 수 있다. 디스플레이 장치(100)는 이러한 음성 코맨드가 입력되면, 해당 음성 코맨드에 매칭되는 동작을 수행한다.When text is transmitted from the text conversion unit 1310 , the display apparatus 100 may perform a control operation corresponding to the input text. For example, when a predefined voice command is included in the voice signal input by the user, the display apparatus 100 may perform an operation corresponding to the voice command. For example, when the display apparatus 100 is a TV, a voice command may be designated and stored for each of various operations such as turn-on, turn-off, volume up, volume down, channel up, channel down, and the like. When such a voice command is input, the display apparatus 100 performs an operation matching the corresponding voice command.

반면, 음성 명령어와 텍스트가 일치하지 않으면, 디스플레이 장치(100)는 텍스트를 서버 장치(1400)로 제공한다. 또한, 디스플레이 장치(100)는 음성 신호가 입력되었을 때 디스플레이하고 있던 화면 내에 포함된 컨텐츠에 대한 상태 정보도 서버 장치(1400)로 전송한다. On the other hand, if the voice command and the text do not match, the display apparatus 100 provides the text to the server apparatus 1400 . In addition, the display apparatus 100 also transmits status information about the content included in the screen being displayed when a voice signal is input to the server apparatus 1400 .

서버 장치(1400)는 디스플레이 장치(100)로부터 상태 정보 및 텍스트를 수신할 수 있다. 상태 정보 및 텍스트는 한꺼번에 일괄적으로 수신될 수도 있고, 필요에 따라 순차적으로 수신할 수도 있다. 가령, 서버 장치(1400)는 디스플레이 장치(100)로부터 상태 정보를 먼저 수신하고, 그 이후에 텍스트를 후순위로 수신할 수도 있다. The server device 1400 may receive status information and text from the display device 100 . The status information and text may be received at once in a batch or sequentially as needed. For example, the server device 1400 may first receive the status information from the display device 100 , and then receive the text in the second order.

서버 장치(1400)는 수신된 상태 정보 및 텍스트에 기초하여 검색을 수행하고, 그 검색 결과를 디스플레이 장치(100)로 전송한다. 검색 결과에는 다양한 정보가 포함될 수 있다. 예를 들어, 사용자의 음성 신호에 포함된 키워드를 포함하는 다양한 컨텐츠들에 대한 썸네일 이미지나, 타이틀 정보, 컨텐츠 정보를 획득할 수 있는 주소 정보 등과 같은 다양한 정보가 포함될 수 있다. The server device 1400 performs a search based on the received status information and text, and transmits the search result to the display device 100 . The search result may include a variety of information. For example, various information such as thumbnail images of various contents including keywords included in the user's voice signal, title information, and address information from which contents information can be obtained may be included.

디스플레이 장치(100)는 검색 결과가 수신되면, 수신된 검색 결과에 기초하여 결과 화면을 구성하여 디스플레이할 수 있다. 상태 정보에는 화면 내에 포함된 컨텐츠의 타이틀 정보, 얼라이어스 타이틀 정보, 식별 정보 중 적어도 하나가 포함될 수 있다. 또는, 상태 정보는, 화면 내에 포함된 컨텐츠의 개수 정보, 컨텐츠 종류 정보, 컨텐츠 설정 정보 중 적어도 하나의 정보를 포함할 수도 있다. 컨텐츠 개수 정보란, 도 2와 같은 화면 내에 표시된 썸네일 이미지의 개수가 몇 개인지를 알리는 정보이고, 컨텐츠 종류 정보는 그 화면 내의 컨텐츠가 동영상, 사진, 웹 페이지, TV, VOD 등과 같은 다양한 컨텐츠 중 어떤 컨텐츠인지를 알리는 정보를 의미한다. 컨텐츠 설정 정보란 사용자가 각 컨텐츠에 대해 설정해 둔 설정 정보를 의미한다. 가령, 3D 컨텐츠인 경우에는 뎁스 정보가 될 수 있다.When a search result is received, the display apparatus 100 may configure and display a result screen based on the received search result. The status information may include at least one of title information, alias title information, and identification information of content included in the screen. Alternatively, the state information may include at least one of information on the number of content included in the screen, content type information, and content setting information. The content number information is information indicating how many thumbnail images are displayed on the screen as shown in FIG. 2, and the content type information indicates which content among various content such as videos, photos, web pages, TVs, VODs, etc. information indicating awareness. The content setting information means setting information set by a user for each content. For example, in the case of 3D content, it may be depth information.

일 예로, 디스플레이 장치(100)는 다음과 같은 상태 정보를 전송할 수 있다.As an example, the display apparatus 100 may transmit the following status information.

TV_status : recommend, smart-function, web-browser, etcTV_status : recommend, smart-function, web-browser, etc

screen_info : OnTV, Mycontent, Apps, Movies, TV, photo, web page, multimedia, account, recommendation bar, multiscreen, main screen, etcscreen_info : OnTV, Mycontent, Apps, Movies, TV, photo, web page, multimedia, account, recommendation bar, multiscreen, main screen, etc

panel_depth_info : first, second, third, etcpanel_depth_info : first, second, third, etc

panel_text : title1, title2, command1, command2, etcpanel_text : title1, title2, command1, command2, etc

contents_title : title-1, title-2, title-3... , title-ncontents_title : title-1, title-2, title-3... , title-n

alias-title : a-title-1, a-title-2, a-title-3, ..., title-nalias-title : a-title-1, a-title-2, a-title-3, ..., title-n

content_num : ncontent_num : n

content_id : ID-1, ID-2, ... ID-ncontent_id : ID-1, ID-2, ... ID-n

다른 예로, 특정 컨텐츠를 재생하고 있는 경우, 디스플레이 장치(100)는 다음과 같은 상태 정보를 전송할 수 있다. As another example, when a specific content is being reproduced, the display apparatus 100 may transmit the following status information.

device_status_type : EPGdevice_status_type : EPG

content_info : content-id-001content_info : content-id-001

content_time : 20130102-10:00content_time : 20130102-10:00

title : EEE is My friendtitle : EEE is My friend

user_id : KIMuser_id : KIM

서버 장치(1400)는 디스플레이 장치(100)에서 상태 정보를 이용하여, 디스플레이 장치(100)의 현재 상태를 판단할 수 있다. 가령, "AAA 보여줘"라는 텍스트가 입력되었다면, 서버 장치(1400)는 상태 정보 내의 타이틀 정보나 얼라이어스 타이틀 정보, 식별 정보 등을 이용하여, 디스플레이 장치(100)의 현재 화면 내에 AAA라는 타이틀을 가지는 컨텐츠가 존재하는지 여부를 판단한다. 판단 결과, AAA 컨텐츠가 존재한다면, 서버 장치(1400)는 AAA 컨텐츠를 직접 디스플레이 장치(100)로 전송할 수 있다. 또 다른 실시 예에 따르면, 서버 장치(1400)는 AAA 컨텐츠를 획득할 수 있는 주소 정보를 디스플레이 장치(100)로 전송하여 줄 수도 있다. 디스플레이 장치(100)는 주소 정보가 수신되면, 그 주소 정보에 기초하여 컨텐츠 제공 서버(미도시)에 액세스하여, AAA 컨텐츠를 획득할 수 있다.The server device 1400 may determine the current state of the display device 100 by using the status information from the display device 100 . For example, if the text "Show AAA" is input, the server device 1400 uses title information, alias title information, and identification information in the status information to have a title of AAA in the current screen of the display device 100 . Determines whether the content exists. As a result of the determination, if the AAA content exists, the server device 1400 may directly transmit the AAA content to the display device 100 . According to another embodiment, the server device 1400 may transmit address information for obtaining the AAA content to the display device 100 . When the address information is received, the display apparatus 100 may acquire AAA content by accessing a content providing server (not shown) based on the address information.

도 13의 디스플레이 시스템(1300)에 포함된 디스플레이 장치(100)는 도 1에서 설명한 구성을 그대로 포함할 수도 있으나, 반드시 이에 한정되는 것은 아니다. The display apparatus 100 included in the display system 1300 of FIG. 13 may include the configuration described in FIG. 1 as it is, but is not limited thereto.

도 14는 상술한 다양한 실시 예들에서 설명한 디스플레이 장치(100)가 텔레비전으로 구현된 경우의 세부 구성 예를 나타내는 도면이다. 14 is a diagram illustrating a detailed configuration example of a case in which the display apparatus 100 described in the various embodiments described above is implemented as a television.

도 14에 따르면, 디스플레이 장치(100)는 입력부(110), 제어부(120), 디스플레이부(130), 그래픽 처리부(140), 저장부(150), 통신부(165), 방송 수신부(160), 처리부(170), 스피커부(180), 리모콘 신호 수신부(190)를 포함할 수 있다. 14 , the display device 100 includes an input unit 110 , a control unit 120 , a display unit 130 , a graphic processing unit 140 , a storage unit 150 , a communication unit 165 , a broadcast receiving unit 160 , It may include a processing unit 170 , a speaker unit 180 , and a remote control signal receiving unit 190 .

입력부(110)는 상술한 바와 같이 음성 신호를 입력받기 위한 구성요소이다.The input unit 110 is a component for receiving a voice signal as described above.

그래픽 처리부(140)는 상술한 바와 같이 각종 화면을 구성하기 위한 구성요소이다.The graphic processing unit 140 is a component for configuring various screens as described above.

제어부(120)는 입력부(110)를 통해서 입력된 음성 신호를 직접 텍스트로 변환하거나, 또는, 도 13에서 설명한 바와 같이 텍스트 변환부로 전송하여 텍스트로 변환하도록 할 수도 있다. The control unit 120 may directly convert the voice signal input through the input unit 110 into text, or transmit it to the text conversion unit to convert it into text as described with reference to FIG. 13 .

통신부(165)는 텍스트 변환부(1310) 및 서버 장치(1400)를 비롯한 각종 외부 장치와 통신을 수행하기 위한 구성요소이다. 통신부(165)는 다양한 유형의 통신방식에 따라 통신을 수행할 수 있다. 구체적으로는, 통신부(165)는 와이파이, 블루투스, 지그비, LAN, 3G, 4G, NFC 등과 같은 다양한 유무선 통신 방식에 따라 통신을 수행할 수 있다. 제어부(120)는 통신부(165)를 통해 텍스트 변환부(1310) 및 서버 장치(1400) 등과 통신을 수행할 수 있다. 가령, 제어부(120)는 음성 신호가 입력되면, 그 입력 시점에 디스플레이부(130)에서 디스플레이되고 있는 화면에 대한 상태 정보와, 음성 신호에 대응되는 텍스트를 통신부(165)를 통해 서버 장치(1400)로 전송할 수 있다.The communication unit 165 is a component for performing communication with various external devices including the text conversion unit 1310 and the server device 1400 . The communication unit 165 may perform communication according to various types of communication methods. Specifically, the communication unit 165 may perform communication according to various wired and wireless communication methods such as Wi-Fi, Bluetooth, Zigbee, LAN, 3G, 4G, NFC, and the like. The control unit 120 may communicate with the text conversion unit 1310 and the server device 1400 through the communication unit 165 . For example, when a voice signal is input, the control unit 120 transmits state information on the screen being displayed on the display unit 130 at the input time and text corresponding to the voice signal through the communication unit 165 to the server device 1400 . ) can be transmitted.

리모콘 신호 수신부(190)는 원격 제어 장치로부터 각종 리모콘 신호를 수신하기 위한 구성요소이다. The remote control signal receiver 190 is a component for receiving various remote control signals from the remote control device.

방송 수신부(160)는 각종 방송 채널을 선국하여, 선국된 방송 채널을 통해 방송 컨텐츠를 수신하기 위한 구성요소이다.The broadcast receiver 160 is a component for selecting various broadcast channels and receiving broadcast content through the selected broadcast channel.

제어부(120)는 리모콘 신호 수신부(190)를 통해 수신된 리모콘 신호에 따라, 방송 수신부(160)를 제어하여, 방송 채널을 선국할 수 있다. The controller 120 may tune into a broadcast channel by controlling the broadcast receiver 160 according to the remote control signal received through the remote control signal receiver 190 .

처리부(170)는 컨텐츠를 처리하기 위한 구성요소이다. 처리부(170)는 방송 수신부(160)를 통해 수신된 방송 컨텐츠나, 인터넷이나 기타 네트워크를 통해 수신되는 컨텐츠, 저장부(150)에 저장된 컨텐츠들과 같이 다양한 컨텐츠를 처리하여, 재생할 수 있다. The processing unit 170 is a component for processing content. The processing unit 170 may process and reproduce various contents, such as broadcast contents received through the broadcast receiving unit 160 , contents received through the Internet or other networks, and contents stored in the storage unit 150 .

처리부(170)는 비디오 프로세서, 오디오 프로세서 등을 포함할 수 있다. 비디오 프로세서는 컨텐츠에 포함된 비디오 데이터를 처리하기 위한 구성요소이다. 비디오 프로세서에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다. 오디오 프로세서는 컨텐츠에 포함된 오디오 데이터를 처리하기 위한 구성요소이다. 오디오 프로세서에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.The processing unit 170 may include a video processor, an audio processor, and the like. The video processor is a component for processing video data included in content. The video processor may perform various image processing, such as decoding, scaling, noise filtering, frame rate conversion, and resolution conversion, on video data. The audio processor is a component for processing audio data included in content. In the audio processor, various processing such as decoding, amplification, noise filtering, etc. may be performed on audio data.

디스플레이부(130)는 처리부(170)에서 처리된 비디오 데이터를 출력할 수 있다.The display unit 130 may output the video data processed by the processing unit 170 .

또한, 스피커부(180)는 처리부(170)에서 처리한 오디오 데이터를 출력할 수 있다.Also, the speaker unit 180 may output audio data processed by the processing unit 170 .

저장부(150)는 디스플레이 장치(100)의 동작에 필요한 각종 프로그램이나 데이터, 컨텐츠 등을 저장하기 위한 구성요소이다. The storage unit 150 is a component for storing various programs, data, contents, etc. necessary for the operation of the display apparatus 100 .

제어부(120)는 저장부(150)에 저장된 프로그램을 이용하여 디스플레이 장치(100)의 전반적인 동작을 제어할 수 있다. 제어부(120)는 다양한 형태로 구성될 수 있다. 일 예로, 제어부(120)는 도 14에 도시된 바와 같이 RAM(121), ROM(122), CPU(123), 버스(125)를 포함한다. RAM(121), ROM(122), CPU(123) 등은 버스(125)를 통해 서로 연결될 수 있다. The controller 120 may control the overall operation of the display apparatus 100 by using a program stored in the storage 150 . The control unit 120 may be configured in various forms. For example, the controller 120 includes a RAM 121 , a ROM 122 , a CPU 123 , and a bus 125 as shown in FIG. 14 . The RAM 121 , the ROM 122 , the CPU 123 , and the like may be connected to each other through the bus 125 .

CPU(123)는 저장부(150)에 액세스하여, 저장부(150)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(150)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.The CPU 123 accesses the storage unit 150 and performs booting using the O/S stored in the storage unit 150 . Then, various operations are performed using various programs, contents, data, etc. stored in the storage unit 150 .

ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(123)는 ROM(122)에 저장된 명령어에 따라 저장부(150)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(123)는 저장부(150)에 저장된 각종 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. The ROM 122 stores an instruction set for system booting and the like. When a turn-on command is input and power is supplied, the CPU 123 copies the O/S stored in the storage unit 150 to the RAM 121 according to the command stored in the ROM 122, and executes the O/S to the system boot up When booting is completed, the CPU 123 copies various programs stored in the storage unit 150 to the RAM 121 , and executes the programs copied to the RAM 121 to perform various operations.

그 밖에, 도 14에서는 도시하지 않았으나, 디스플레이 장치(100)는 마이크, 카메라, USB 포트, 외부 입력 포트 등과 같은 다양한 구성요소들을 더 포함할 수도 있다. In addition, although not shown in FIG. 14 , the display apparatus 100 may further include various components such as a microphone, a camera, a USB port, and an external input port.

도 15는 디스플레이 장치(100)에 저장된 소프트웨어의 구조를 설명하기 위한 도면이다. 도 15에 따르면, 저장부(150)에는 OS(151), 음성 신호 처리 모듈(152-1), 상태 정보 처리 모듈(152-2), 커맨드 처리 모듈(152-3), UI 프레임워크(152-4), APP 매니저(152-5), 멀티미디어 프레임워크(152-6), 데이터베이스(153) 및 다양한 어플리케이션(154-1 ~ 154-m)이 저장될 수 있다. 15 is a diagram for explaining the structure of software stored in the display device 100 . 15 , the storage unit 150 includes an OS 151 , a voice signal processing module 152-1 , a state information processing module 152-2 , a command processing module 152-3 , and a UI framework 152 . -4), the APP manager 152-5, the multimedia framework 152-6, the database 153, and various applications 154-1 to 154-m may be stored.

운영체제(Operating System: OS, 151)는 하드웨어의 전반적인 동작을 제어하고 관리하는 기능을 수행한다. 즉, OS(151)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 소프트웨어이다. An operating system (OS) 151 controls and manages the overall operation of hardware. That is, the OS 151 is software in charge of basic functions such as hardware management, memory, and security.

음성 신호 처리 모듈(152-1)은 입력부(110)를 통해 입력된 음성 신호를 텍스트로 변환하기 위한 소프트웨어이다. 텍스트 변환은 상술한 바와 같이 다양한 알고리즘에 따라 수행될 수 있다.The voice signal processing module 152-1 is software for converting the voice signal input through the input unit 110 into text. Text conversion may be performed according to various algorithms as described above.

상태 정보 처리 모듈(152-2)은 디스플레이부(130)에서 디스플레이하고 있는 화면에 포함된 각종 컨텐츠에 대한 상태 정보를 생성하기 위한 구성요소이다. 상태 정보는 상술한 바와 같이 다양한 형태로 구성될 수 있다.The status information processing module 152 - 2 is a component for generating status information about various contents included in the screen displayed on the display unit 130 . The state information may be configured in various forms as described above.

커맨드 처리 모듈(152-3)은 서버 장치(1400)에서 전송되는 커맨드를 파싱하기 위한 구성요소이다. 제어부(120)는 커맨드 처리 모듈(152-3)에서 처리된 커맨드에 대응되는 동작을 수행한다. The command processing module 152 - 3 is a component for parsing a command transmitted from the server device 1400 . The controller 120 performs an operation corresponding to the command processed by the command processing module 152 - 3 .

UI 프레임워크(152-4)는 디스플레이부(110)에 표시할 각종 UI를 제공하기 위한 모듈이다. UI 프레임워크(152-4)는 화면 내에 포함되는 각종 오브젝트를 구성하는 이미지 합성기(Image Compositor module), 오브젝트가 표시될 좌표를 산출하는 좌표 합성기, 구성된 오브젝트를 산출된 좌표에 렌더링하는 렌더링 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다. 제어부(120)는 UI 프레임워크(152-3)를 실행시켜, 도 2 내지 도 11에서 설명한 바와 같은 다양한 화면을 디스플레이할 수 있다. The UI framework 152 - 4 is a module for providing various UIs to be displayed on the display unit 110 . The UI framework 152-4 includes an image compositor module that composes various objects included in the screen, a coordinate compositor that calculates coordinates at which objects are to be displayed, a rendering module that renders the composed objects to the calculated coordinates, and 2D Alternatively, it may include a 2D/3D UI toolkit that provides a tool for constructing a 3D UI. The controller 120 may execute the UI framework 152 - 3 to display various screens as described with reference to FIGS. 2 to 11 .

APP 매니저(152-5)는 저장부(150)에 설치(install)된 각종 어플리케이션의 실행 상태를 관리하는 모듈이다. APP 매니저(152-5)는 어플리케이션 실행 이벤트가 감지되면, 해당 이벤트에 대응되는 어플리케이션을 호출하여 실행시킨다.The APP manager 152 - 5 is a module for managing execution states of various applications installed in the storage unit 150 . When an application execution event is detected, the APP manager 152-5 calls and executes an application corresponding to the corresponding event.

데이터베이스(143)는 각종 음성 코맨드나 키워드 등을 포함한다. 그 밖에도, 저장부(150)에는 다양한 어플리케이션(145-1 ~ 145-m)이 저장될 수 있다. The database 143 includes various voice commands, keywords, and the like. In addition, various applications 145 - 1 to 145 -m may be stored in the storage unit 150 .

도 15에 표시된 소프트웨어 구조는 일 예에 불과하므로, 반드시 이에 한정되어야 하는 것은 아니다. 따라서, 필요에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다. 가령, 디스플레이 장치(100)가 텍스트 변환 기능을 구비하지 않은 경우에는, 음성 신호 처리 모듈(152-1) 및 데이터베이스(143)는 생략될 수도 있다. Since the software structure shown in FIG. 15 is only an example, it is not necessarily limited thereto. Accordingly, it goes without saying that some may be omitted, modified, or added as necessary. For example, when the display apparatus 100 does not have a text conversion function, the voice signal processing module 152-1 and the database 143 may be omitted.

한편, 상술한 바와 같이 디스플레이 장치(100)는 텔레비젼 이외에도 다양한 유형의 장치로 구성될 수 있다. 따라서, 도 14 및 도 15에서 설명한 구성은, 디스플레이 장치(100)의 종류에 따라 다양하게 변형될 수 있다. Meanwhile, as described above, the display device 100 may be configured of various types of devices in addition to the TV. Accordingly, the configuration described with reference to FIGS. 14 and 15 may be variously modified according to the type of the display apparatus 100 .

도 16은 디스플레이 시스템(1300)에 포함된 서버 장치의 구성의 일 예를 나타내는 블럭도이다. 도 16에 따르면, 서버 장치(1400)는 서버 통신부(1410) 및 서버 제어부(1420)를 포함한다.16 is a block diagram illustrating an example of a configuration of a server device included in the display system 1300 . Referring to FIG. 16 , the server device 1400 includes a server communication unit 1410 and a server control unit 1420 .

서버 통신부(1410)는 디스플레이 장치(100)와 통신을 수행하기 위한 구성요소이다. 서버 통신부(1410)는 디스플레이 장치(100)에서 디스플레이 중인 화면 내의 적어도 하나의 컨텐츠에 대한 상태 정보 및 텍스트를 수신할 수 있다.The server communication unit 1410 is a component for performing communication with the display apparatus 100 . The server communication unit 1410 may receive status information and text on at least one content in a screen being displayed on the display apparatus 100 .

서버 제어부(1420)는 수신된 상태 정보 및 텍스트에 기초하여, 디스플레이 장치(100)의 사용 의도에 부합하는 검색을 수행할 수 있다. 구체적으로는, 서버 제어부(1420)는 상태 정보에 기초하여 디스플레이 장치(100)의 화면 내에 포함된 컨텐츠를 식별할 수 있다. 서버 제어부(1420)는 텍스트에 의해 지정된 컨텐츠가 식별된 컨텐츠 중에 존재하면, 지정된 컨텐츠를 획득할 수 있는 주소 정보를 검색하여 디스플레이 장치(100)로 전송할 수 있다. 반면, 서버 제어부(1420)는 텍스트에 의해 지정된 컨텐츠가 디스플레이 장치(100)의 화면 내에 비존재하면, 텍스트를 이용한 검색을 수행하여 그 검색 결과를 디스플레이 장치(100)로 전송할 수 있다. Based on the received state information and text, the server controller 1420 may perform a search corresponding to the intention of use of the display apparatus 100 . Specifically, the server controller 1420 may identify content included in the screen of the display apparatus 100 based on the state information. If the content designated by the text exists among the identified content, the server controller 1420 may search for address information for obtaining the designated content and transmit it to the display apparatus 100 . On the other hand, if the content designated by text does not exist on the screen of the display apparatus 100 , the server controller 1420 may perform a text search and transmit the search result to the display apparatus 100 .

서버 제어부(1420)는 입력 데이터 처리부(1421), 대화 의도 분석부(1422), 컨텐츠 처리부(1423), 상태 정보 분석부(1424), 명령어 생성부(1425), 출력 데이터 처리부(1426)를 포함한다. The server control unit 1420 includes an input data processing unit 1421 , a conversation intention analysis unit 1422 , a content processing unit 1423 , a state information analysis unit 1424 , a command generation unit 1425 , and an output data processing unit 1426 . do.

입력 데이터 처리부(1421)는 디스플레이 장치(100)에서 전송된 데이터를 파싱(parsing)하여, 각 구성요소들(1422 ~ 1426)로 제공하기 위한 구성요소이다. The input data processing unit 1421 is a component for parsing the data transmitted from the display apparatus 100 and providing it to each of the components 1422 to 1426 .

상태 정보 분석부(1422)는 입력 데이터 처리부(1421)에서 처리된 상태 정보를 입력받아, 그 상태 정보를 분석하기 위한 구성요소이다. 상태 정보 분석부(1422)는 상태 정보를 분석하여 디스플레이 장치(100)에서 디스플레이된 화면 내에 어떠한 컨텐츠가 포함되었는지, 화면의 종류가 무엇인지 여부를 판단할 수 있다. The state information analysis unit 1422 is a component for receiving the state information processed by the input data processing unit 1421 and analyzing the state information. The state information analyzer 1422 may analyze the state information to determine which content is included in the screen displayed on the display apparatus 100 and the type of the screen.

대화 의도 분석부(1423)는 서버 통신부(1410)를 통해 수신된 텍스트와, 상태 정보 정보 분석부(1422)에서 분석된 분석 결과를 바탕으로 사용자의 의도를 분석하는 작업을 수행하는 구성요소이다. The conversation intention analysis unit 1423 is a component that analyzes the user's intention based on the text received through the server communication unit 1410 and the analysis result analyzed by the state information information analysis unit 1422 .

컨텐츠 처리부(1424)는 사용자의 음성 신호에 의해 지정된 컨텐츠에 대한 정보를 포함하는 퀘어리(query)를 생성하기 위한 구성요소이다. 서버 통신부(1410)는 생성된 퀘어리를 컨텐츠 제공 서버(1600)나 기타 데이터베이스 등으로 전송하여, 전송된 퀘어리에 대한 응답 신호를 수신할 수 있다. 응답 신호에는 검색 결과가 포함될 수 있다. The content processing unit 1424 is a component for generating a query including information on content specified by a user's voice signal. The server communication unit 1410 may transmit the generated query to the content providing server 1600 or other database to receive a response signal to the transmitted query. The response signal may include a search result.

명령어 생성부(1425)는 대화 의도 분석부(1423)의 분석 결과 및 수신된 응답 신호를 바탕으로 디스플레이 장치(100)에 부합하는 명령어를 생성한다. The command generation unit 1425 generates a command corresponding to the display apparatus 100 based on the analysis result of the conversation intention analysis unit 1423 and the received response signal.

출력 데이터 처리부(1426)는 생성된 명령어 및 검색 결과를 포함하는 출력 데이터를 생성하기 위한 구성요소이다. 출력 데이터는 디스플레이 장치(100)에서 실행 가능한 형태로 생성될 수 있다. The output data processing unit 1426 is a component for generating output data including the generated command and the search result. The output data may be generated in a form executable by the display apparatus 100 .

도 17은 본 발명의 일 실시 예에 따른 디스플레이 시스템의 동작을 설명하기 위한 타이밍도이다. 도 17에 따르면, 디스플레이 장치(100)는 사용자의 음성이 입력되면(S1710), 그 음성 신호를 텍스트 변환부(1310)로 전송한다.17 is a timing diagram for explaining an operation of a display system according to an embodiment of the present invention. Referring to FIG. 17 , when a user's voice is input ( S1710 ), the display apparatus 100 transmits the voice signal to the text converter 1310 .

텍스트 변환부(1310)는 음성 신호를 텍스트로 변환하여(S1720), 변환된 텍스트를 디스플레이 장치(100)로 전송한다(S1725). 디스플레이 장치(100)는 수신된 텍스트 및 상태 정보를 서버 장치(1400)로 전송한다(S1730). 상태 정보는 상술한 바와 같이 다양하게 구성될 수 있다.The text converter 1310 converts the voice signal into text (S1720) and transmits the converted text to the display apparatus 100 (S1725). The display apparatus 100 transmits the received text and status information to the server apparatus 1400 (S1730). The state information may be variously configured as described above.

서버 장치(1400)는 상태 정보에 기초하여 대화 의도를 분석한다(S1735). 서버 장치(1400)는 분석된 대화 의도에 부합되는 검색을 수행한다(S1740). 구체적인 검색 방법은 도 2 내지 도 11에서 설명한 바와 같이 다양하게 수행될 수 있다.The server device 1400 analyzes the conversation intention based on the state information (S1735). The server device 1400 performs a search matching the analyzed conversation intention (S1740). A specific search method may be variously performed as described with reference to FIGS. 2 to 11 .

서버 장치(1400)는 검색 결과를 디스플레이 장치(100)로 전송할 수 있다(S1745). 검색 결과에는 다양한 컨텐츠를 획득할 수 있는 주소 정보가 포함될 수 있다. 디스플레이 장치(100)는 검색 결과에 포함된 주소 정보에 따라 컨텐츠 제공 서버(1600)에 액세스한다. 디스플레이 장치(100)는 컨텐츠 제공 서버(1600)에 대해 컨텐츠 정보를 요청한다(S1750).The server device 1400 may transmit the search result to the display device 100 (S1745). The search result may include address information from which various contents can be obtained. The display apparatus 100 accesses the content providing server 1600 according to address information included in the search result. The display apparatus 100 requests content information from the content providing server 1600 (S1750).

컨텐츠 제공 서버(1600)는 요청에 따라 컨텐츠나 썸네일 이미지 등을 제공할 수 있다(S1755).The content providing server 1600 may provide content or a thumbnail image according to a request (S1755).

디스플레이 장치(100)는 전송된 데이터에 기초하여 결과 화면을 구성할 수 있다(S1760). 결과 화면은 디스플레이 장치(100)의 상태 및 사용자의 음성 신호에 따라 도 2 내지 도 11에 도시된 바와 같이 다양하게 구성되어 디스플레이될 수 있다. The display apparatus 100 may configure a result screen based on the transmitted data (S1760). The result screen may be configured and displayed in various ways as shown in FIGS. 2 to 11 according to the state of the display apparatus 100 and the user's voice signal.

이상과 같이 디스플레이 장치(100)는 사용자가 입력한 음성 신호 및 디스플레이 장치(100)의 화면 표시 상태에 따라 다양한 결과 화면을 디스플레이할 수 있다. As described above, the display apparatus 100 may display various result screens according to the voice signal input by the user and the screen display state of the display apparatus 100 .

상술한 다양한 실시 예들에 따른 디스플레이 장치 또는 디스플레이 시스템의 컨텐츠 정보 제공 방법은 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다. The method for providing content information of a display apparatus or a display system according to various embodiments described above may be stored in a non-transitory readable medium. Such non-transitory readable media may be mounted on and used in various devices.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.The non-transitory readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device. Specifically, it may be a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, or the like.

일 예로, 적어도 하나의 컨텐츠를 포함하는 화면을 디스플레이하는 단계, 음성 신호를 입력받는 단계, 상기 음성 신호에 대응되는 결과 화면을, 상기 컨텐츠의 상태에 따라 상이하게 구성하여 디스플레이하는 디스플레이 단계를 수행하기 위한 프로그램 코드가 비일시적 판독 가능 매체(non-transitory readable medium)에 저장되어 제공될 수 있다. For example, displaying a screen including at least one content, receiving a voice signal, and displaying a result screen corresponding to the voice signal differently configured according to the state of the content and displayed The program code for this purpose may be provided by being stored in a non-transitory readable medium.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다. In addition, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the claims Various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.

110 : 입력부 120 : 제어부
130 : 디스플레이부110: input unit 120: control unit
130: display unit

Claims

전자 장치에 있어서,
디스플레이부;
사용자 음성을 수신하는 음성 수신부;
서버와 통신을 수행하는 통신부; 및
선택 가능한 컨텐츠들의 제 1 리스트가 상기 디스플레이부에 디스플레이되는 동안 상기 음성 수신부를 통해 제 1 사용자 음성 입력을 수신하고,
상기 제 1 사용자 음성 입력이 상기 제 1 리스트의 선택 가능한 컨텐츠들 중 하나와 관련된 정보에 포함된 제 1 텍스트에 대응되면, 상기 제 1 리스트의 선택 가능한 컨텐츠들 중 하나를 디스플레이하도록 상기 디스플레이부를 제어하고,
상기 제 1 사용자 음성 입력이 상기 제 1 리스트의 선택 가능한 컨텐츠들과 관련된 정보 중 어느 것에도 대응되지 않으면, 상기 제 1 사용자 음성 입력에 기초한 검색 결과에 대응되는 데이터를 상기 서버로부터 수신하고,
상기 제 1 사용자 음성 입력에 대응되는 선택 가능한 컨텐츠들의 제 2 리스트를 포함하는 상기 검색 결과를 디스플레이하도록 상기 디스플레이부를 제어하고,
상기 제 2 리스트가 상기 디스플레이부에 디스플레이되는 동안 상기 음성 수신부를 통해 제 2 사용자 음성 입력을 수신하고,
상기 제 2 사용자 음성 입력이 상기 제 2 리스트의 선택 가능한 컨텐츠들 중 하나와 관련된 정보에 포함된 제 2 텍스트에 대응되면, 상기 제 2 리스트의 선택 가능한 컨텐츠들 중 하나를 디스플레이하도록 상기 디스플레이부를 제어하는 프로세서;를 포함하는 전자 장치.In an electronic device,
display unit;
a voice receiver for receiving a user's voice;
a communication unit for communicating with the server; and
receiving a first user voice input through the voice receiver while the first list of selectable contents is displayed on the display unit;
When the first user's voice input corresponds to a first text included in information related to one of the selectable contents of the first list, controlling the display unit to display one of the selectable contents of the first list, ,
When the first user voice input does not correspond to any of the information related to the selectable contents of the first list, data corresponding to a search result based on the first user voice input is received from the server,
controlling the display unit to display the search result including a second list of selectable contents corresponding to the first user's voice input;
receiving a second user voice input through the voice receiver while the second list is displayed on the display unit;
When the second user's voice input corresponds to a second text included in information related to one of the selectable contents of the second list, controlling the display unit to display one of the selectable contents of the second list An electronic device comprising a processor.

제 1 항에 있어서,
상기 제 2 리스트의 선택 가능한 컨텐츠들은, 상기 제 1 리스트의 선택 가능한 컨텐츠들과 상이한 전자 장치. The method of claim 1,
The selectable contents of the second list are different from the selectable contents of the first list.

제 1 항에 있어서,
상기 선택 가능한 컨텐츠들의 제 1 리스트는,
상기 제 1 리스트의 선택 가능한 컨텐츠들의 타이틀 정보, 별칭 정보 또는 식별 정보 중 적어도 하나를 포함하고,
상기 선택 가능한 컨텐츠들의 제 2 리스트는,
상기 제 2 리스트의 선택 가능한 컨텐츠들의 타이틀 정보, 별칭 정보 또는 식별 정보 중 적어도 하나를 포함하는 전자 장치. The method of claim 1,
The first list of selectable contents,
including at least one of title information, alias information, and identification information of the selectable contents of the first list,
The second list of the selectable contents is,
The electronic device including at least one of title information, alias information, and identification information of the selectable contents of the second list.

제 1 항에 있어서,
방송 컨텐츠를 수신하는 방송 수신부;를 포함하고,
상기 제 1 리스트의 선택 가능한 컨텐츠들 중 하나는, 방송 컨텐츠이고,
상기 프로세서는,
상기 디스플레이부에 디스플레이될 상기 제 1 리스트의 선택 가능한 컨텐츠들 중 하나를 수신하도록 상기 방송 수신부를 제어하는 전자 장치. The method of claim 1,
Including; a broadcast receiving unit for receiving the broadcast content;
One of the selectable contents of the first list is broadcast contents,
The processor is
An electronic device for controlling the broadcast receiving unit to receive one of the selectable contents of the first list to be displayed on the display unit.

제 1 항에 있어서,
상기 음성 수신부는, 마이크인 전자 장치. The method of claim 1,
The audio receiver is an electronic device that is a microphone.

제 1 항에 있어서,
상기 프로세서는,
상기 제 1 사용자 음성 입력이 상기 제 1 텍스트에 대응되면, 상기 제 1 리스트의 선택 가능한 컨텐츠들 중 하나의 실행 화면을 디스플레이하도록 상기 디스플레이부를 제어하고,
상기 제 2 사용자 음성 입력이 상기 제 2 텍스트에 대응되면, 상기 제 2 리스트의 선택 가능한 컨텐츠들 중 하나의 실행 화면을 디스플레이하도록 상기 디스플레이부를 제어하는 전자 장치. The method of claim 1,
The processor is
when the first user's voice input corresponds to the first text, controlling the display unit to display an execution screen of one of the selectable contents of the first list;
When the second user's voice input corresponds to the second text, the electronic device controls the display unit to display an execution screen of one of the selectable contents of the second list.

제 1 항에 있어서,
상기 프로세서는,
상기 제 1 사용자 음성 입력이 상기 음성 수신부를 통해 수신되면, 상기 제 1 사용자 음성 입력을 텍스트 변환 서버로 전송하도록 상기 통신부를 제어하고,
상기 제 1 사용자 음성 입력이 상기 텍스트 변환 서버에 의해 텍스트로 변환되면, 상기 통신부를 통해 상기 변환된 텍스트를 상기 텍스트 변환 서버로부터 수신하고,
상기 텍스트 변환 서버로부터 수신된 상기 변환된 텍스트가 상기 제 1 텍스트에 대응되면, 상기 제 1 리스트의 선택 가능한 컨텐츠들 중 상기 제 1 텍스트에 대응되는 하나를 디스플레이하도록 상기 디스플레이부를 제어하는 전자 장치. The method of claim 1,
The processor is
When the first user voice input is received through the voice receiver, controlling the communication unit to transmit the first user voice input to a text conversion server,
When the first user's voice input is converted into text by the text conversion server, receiving the converted text from the text conversion server through the communication unit,
When the converted text received from the text conversion server corresponds to the first text, the electronic device controls the display unit to display one of the selectable contents of the first list corresponding to the first text.

제 7 항에 있어서,
상기 텍스트 변환 서버는,
상기 제 1 사용자 음성 입력에 기초한 검색 결과에 대응되는 데이터를 전송하는 서버에 포함되는 전자 장치. 8. The method of claim 7,
The text conversion server,
An electronic device included in a server for transmitting data corresponding to a search result based on the first user's voice input.

디스플레이를 포함하는 전자 장치의 제어 방법에 있어서,
선택 가능한 컨텐츠들의 제 1 리스트가 상기 디스플레이에 디스플레이되는 동안 제 1 사용자 음성 입력을 수신하는 단계;
상기 제 1 사용자 음성 입력이 상기 제 1 리스트의 선택 가능한 컨텐츠들 중 하나와 관련된 정보에 포함된 제 1 텍스트에 대응되면, 상기 제 1 리스트의 선택 가능한 컨텐츠들 중 하나를 상기 디스플레이에 디스플레이하는 단계;
상기 제 1 사용자 음성 입력이 상기 제 1 리스트의 선택 가능한 컨텐츠들과 관련된 정보 중 어느 것에도 대응되지 않으면, 상기 제 1 사용자 음성 입력에 기초한 검색 결과에 대응되는 데이터를 서버로부터 수신하는 단계;
상기 제 1 사용자 음성 입력에 대응되는 선택 가능한 컨텐츠들의 제 2 리스트를 포함하는 상기 검색 결과를 상기 디스플레이에 디스플레이하는 단계;
상기 제 2 리스트가 상기 디스플레이에 디스플레이되는 동안 제 2 사용자 음성 입력을 수신하는 단계; 및
상기 제 2 사용자 음성 입력이 상기 제 2 리스트의 선택 가능한 컨텐츠들 중 하나와 관련된 정보에 포함된 제 2 텍스트에 대응되면, 상기 제 2 리스트의 선택 가능한 컨텐츠들 중 하나를 상기 디스플레이에 디스플레이하는 단계;를 포함하는 제어 방법. A method for controlling an electronic device including a display, comprising:
receiving a first user voice input while a first list of selectable contents is displayed on the display;
displaying one of the selectable contents of the first list on the display when the first user's voice input corresponds to a first text included in information related to one of the selectable contents of the first list;
receiving, from a server, data corresponding to a search result based on the first user's voice input when the first user's voice input does not correspond to any of the information related to the selectable contents of the first list;
displaying the search result including a second list of selectable contents corresponding to the first user's voice input on the display;
receiving a second user voice input while the second list is displayed on the display; and
displaying one of the selectable contents of the second list on the display when the second user's voice input corresponds to a second text included in information related to one of the selectable contents of the second list; A control method comprising a.

제 9 항에 있어서,
상기 제 2 리스트의 선택 가능한 컨텐츠들은, 상기 제 1 리스트의 선택 가능한 컨텐츠들과 상이한 제어 방법. 10. The method of claim 9,
The selectable contents of the second list are different from the selectable contents of the first list.

제 9 항에 있어서,
상기 선택 가능한 컨텐츠들의 제 1 리스트는,
상기 제 1 리스트의 선택 가능한 컨텐츠들의 타이틀 정보, 별칭 정보 또는 식별 정보 중 적어도 하나를 포함하고,
상기 선택 가능한 컨텐츠들의 제 2 리스트는,
상기 제 2 리스트의 선택 가능한 컨텐츠들의 타이틀 정보, 별칭 정보 또는 식별 정보 중 적어도 하나를 포함하는 제어 방법. 10. The method of claim 9,
The first list of selectable contents,
including at least one of title information, alias information, and identification information of the selectable contents of the first list,
The second list of the selectable contents is,
A control method comprising at least one of title information, alias information, and identification information of the selectable contents of the second list.

제 9 항에 있어서,
상기 제 1 리스트의 선택 가능한 컨텐츠들 중 하나는, 방송 컨텐츠이고,
상기 디스플레이에 디스플레이될 상기 제 1 리스트의 선택 가능한 컨텐츠들 중 하나를 수신하는 단계;를 포함하는 제어 방법. 10. The method of claim 9,
One of the selectable contents of the first list is broadcast contents,
and receiving one of the selectable contents of the first list to be displayed on the display.

삭제delete

제 9 항에 있어서,
상기 제 1 리스트의 선택 가능한 컨텐츠들 중 하나를 상기 디스플레이에 디스플레이하는 단계는, 상기 제 1 사용자 음성 입력이 상기 제 1 텍스트에 대응되면, 상기 제 1 리스트의 선택 가능한 컨텐츠들 중 하나의 실행 화면을 상기 디스플레이에 디스플레이하고,
상기 제 2 리스트의 선택 가능한 컨텐츠들 중 하나를 상기 디스플레이에 디스플레이하는 단계는, 상기 제 2 사용자 음성 입력이 상기 제 2 텍스트에 대응되면, 상기 제 2 리스트의 선택 가능한 컨텐츠들 중 하나의 실행 화면을 상기 디스플레이에 디스플레이하는 제어 방법. 10. The method of claim 9,
In the step of displaying one of the selectable contents of the first list on the display, when the first user voice input corresponds to the first text, an execution screen of one of the selectable contents of the first list is displayed. display on the display,
The step of displaying one of the selectable contents of the second list on the display may include, when the second user voice input corresponds to the second text, an execution screen of one of the selectable contents of the second list. A control method for displaying on the display.

제 9 항에 있어서,
상기 제 1 사용자 음성 입력이 수신되면, 상기 제 1 사용자 음성 입력을 텍스트 변환 서버로 전송하는 단계;
상기 제 1 사용자 음성 입력이 상기 텍스트 변환 서버에 의해 텍스트로 변환되면, 상기 변환된 텍스트를 상기 텍스트 변환 서버로부터 수신하는 단계;
상기 텍스트 변환 서버로부터 수신된 상기 변환된 텍스트가 상기 제 1 텍스트에 대응되면, 상기 제 1 리스트의 선택 가능한 컨텐츠들 중 상기 제 1 텍스트에 대응되는 하나를 상기 디스플레이에 디스플레이하는 단계;를 포함하는 제어 방법. 10. The method of claim 9,
when the first user's voice input is received, transmitting the first user's voice input to a text conversion server;
when the first user's voice input is converted into text by the text conversion server, receiving the converted text from the text conversion server;
When the converted text received from the text conversion server corresponds to the first text, displaying one of the selectable contents of the first list corresponding to the first text on the display; Way.

제 15 항에 있어서,
상기 텍스트 변환 서버는,
상기 제 1 사용자 음성 입력에 기초한 검색 결과에 대응되는 데이터를 전송하는 서버에 포함되는 제어 방법. 16. The method of claim 15,
The text conversion server,
A control method included in a server for transmitting data corresponding to a search result based on the first user's voice input.

디스플레이를 포함하는 전자 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 비일시적 컴퓨터 판독가능 기록 매체에 있어서,
상기 제어 방법은,
선택 가능한 컨텐츠들의 제 1 리스트가 상기 디스플레이에 디스플레이되는 동안 제 1 사용자 음성 입력을 수신하는 단계;
상기 제 1 사용자 음성 입력이 상기 제 1 리스트의 선택 가능한 컨텐츠들 중 하나와 관련된 정보에 포함된 제 1 텍스트에 대응되면, 상기 제 1 리스트의 선택 가능한 컨텐츠들 중 하나를 상기 디스플레이에 디스플레이하는 단계;
상기 제 1 사용자 음성 입력이 상기 제 1 리스트의 선택 가능한 컨텐츠들과 관련된 정보 중 어느 것에도 대응되지 않으면, 상기 제 1 사용자 음성 입력에 기초한 검색 결과에 대응되는 데이터를 서버로부터 수신하는 단계;
상기 제 1 사용자 음성 입력에 대응되는 선택 가능한 컨텐츠들의 제 2 리스트를 포함하는 상기 검색 결과를 상기 디스플레이에 디스플레이하는 단계;
상기 제 2 리스트가 상기 디스플레이에 디스플레이되는 동안 제 2 사용자 음성 입력을 수신하는 단계; 및
상기 제 2 사용자 음성 입력이 상기 제 2 리스트의 선택 가능한 컨텐츠들 중 하나와 관련된 정보에 포함된 제 2 텍스트에 대응되면, 상기 제 2 리스트의 선택 가능한 컨텐츠들 중 하나를 상기 디스플레이에 디스플레이하는 단계;를 포함하는 기록 매체. A non-transitory computer-readable recording medium comprising a program for executing a control method of an electronic device including a display,
The control method is
receiving a first user voice input while a first list of selectable contents is displayed on the display;
displaying one of the selectable contents of the first list on the display when the first user's voice input corresponds to a first text included in information related to one of the selectable contents of the first list;
receiving, from a server, data corresponding to a search result based on the first user's voice input when the first user's voice input does not correspond to any of the information related to the selectable contents of the first list;
displaying the search result including a second list of selectable contents corresponding to the first user's voice input on the display;
receiving a second user voice input while the second list is displayed on the display; and
displaying one of the selectable contents of the second list on the display when the second user's voice input corresponds to a second text included in information related to one of the selectable contents of the second list; A recording medium comprising a.

제 17 항에 있어서,
상기 제 2 리스트의 선택 가능한 컨텐츠들은, 상기 제 1 리스트의 선택 가능한 컨텐츠들과 상이한 기록 매체. 18. The method of claim 17,
The selectable contents of the second list are different from the selectable contents of the first list.

제 17 항에 있어서,
상기 선택 가능한 컨텐츠들의 제 1 리스트는,
상기 제 1 리스트의 선택 가능한 컨텐츠들의 타이틀 정보, 별칭 정보 또는 식별 정보 중 적어도 하나를 포함하고,
상기 선택 가능한 컨텐츠들의 제 2 리스트는,
상기 제 2 리스트의 선택 가능한 컨텐츠들의 타이틀 정보, 별칭 정보 또는 식별 정보 중 적어도 하나를 포함하는 기록 매체. 18. The method of claim 17,
The first list of selectable contents,
including at least one of title information, alias information, and identification information of the selectable contents of the first list,
The second list of the selectable contents is,
and at least one of title information, alias information, and identification information of the selectable contents of the second list.

제 17 항에 있어서,
상기 제 1 리스트의 선택 가능한 컨텐츠들 중 하나는, 방송 컨텐츠이고,
상기 디스플레이에 디스플레이될 상기 제 1 리스트의 선택 가능한 컨텐츠들 중 하나를 수신하는 단계;를 포함하는 기록 매체.
18. The method of claim 17,
One of the selectable contents of the first list is broadcast contents,
and receiving one of the selectable contents of the first list to be displayed on the display.