JP6440346B2 - ディスプレイ装置、電子装置、対話型システム及びそれらの制御方法 - Google Patents

Description

本発明は、ディスプレイ装置、電子装置、対話型システム及びそれらの制御方法に関し、さらに詳細には、ユーザの音声に応じて制御されるディスプレイ装置、電子装置、対話型システム及びそれらの制御方法に関する。

電子技術の発達に伴って、多様な種類のディスプレイ装置が開発されて普及しつつある。特に、最近では、ＴＶをはじめとする多様な類型のディスプレイ装置が一般家庭で使用されている。これらのディスプレイ装置は、ユーザの要求によって次第に多様な機能を具備するようになった。特に、ＴＶの場合、最近では、インターネットと接続されてインターネットサービスまで支援している。また、ユーザは、ＴＶを通じて多くの数のデジタル放送チャネルまで視聴できるようになった。

これにより、ディスプレイ装置の多様な機能を效率的に使用するための多様な入力方法が求められている。例えば、リモコンを利用した入力方法、マウスを利用した入力方法、及びタッチパッドを利用した入力方法などがディスプレイ装置に採用されている。

しかしながら、このような単純な入力方法だけでは、ディスプレイ装置の多様な機能を効果的に使用することが困難であった。たとえば、ディスプレイ装置のすべての機能をリモコンだけで制御するように具現化する場合、リモコンのボタン数を増やさざるを得なかった。この場合、一般ユーザがリモコンの使用法を身につけることは、決して容易ではなかった。また、多様なメニューを画面上に表示してユーザが該当メニューを探索し選択するようにする方法の場合、ユーザが複雑なメニューツリーをいちいち確認して、自身の望むメニューを選択しなければならないという面倒さがあった。

また、最近では、セットトップボックス、ＤＶＤプレーヤー、ホームシアターなどのような多様な周辺機器がディスプレイ装置と接続されて使用されるケースが多くなった。このような周辺機器を制御するためには、各機器と連動するリモコンで個別的に制御しなければならなかった。これにより、多様な周辺機器を一つのリモコンで制御できる統合リモコンなどが開発されたが、統合リモコンを使用するためには、ユーザが周辺機器の製造社とモデル名を直接検索しリモコンに登録しなければならないという面倒さがあった。

これにより、ディスプレイ装置及び多様な周辺機器を制御するための効率的な入力方法の摸索が要請される。

韓国特開第２０１１−０１２０１３２号公報

本発明は、上述した必要によりなされたものであって、本発明の目的は、外部のサーバと連動してユーザの音声に対応する動作を行うディスプレイ装置、ユーザの音声で周辺機器を制御できる電子装置、対話型システム及びそれらの制御方法を提供することにある。

上記の目的を達成すべく、本発明の一実施形態によるディスプレイ装置と通信を行う電子装置は、前記ディスプレイ装置の周辺機器を制御するためのリモコン信号とユーザの音声に対応する制御信号とがマッチングした周辺機器制御情報を格納する格納部と、ユーザの音声を収集する音声収集部と、前記収集されたユーザの音声を前記ディスプレイ装置に送信し、前記ディスプレイ装置から前記ユーザの音声に対応する制御信号を受信する通信部と、前記周辺機器を制御するためのリモコン信号を送信するＩＲ発信部と、前記ディスプレイ装置から前記制御信号を受信すると、前記格納部に格納されたリモコン信号のうち、前記受信された制御信号に対応するリモコン信号を前記周辺機器に送信するように前記ＩＲ発信部を制御する制御部とを備える。

ここで、前記ディスプレイ装置の周辺機器を制御するためのリモコンからリモコン信号を受信するＩＲ受信部をさらに備え、前記制御部は、前記リモコン信号に対応して収集されたユーザの音声を前記ディスプレイ装置に送信し、前記ディスプレイ装置から前記ユーザの音声に対応する制御信号を受信して、前記周辺機器制御情報を生成することができる。

そして、前記周辺機器制御情報は、前記受信された外部入力モードに対する情報をさらに含むことができ、前記通信部は、前記制御信号及びディスプレイ装置の外部入力モードに対する情報を受信し、前記制御部は、前記ディスプレイ装置から制御信号及び前記ディスプレイ装置の外部入力モードに対する情報を受信すると、前記受信された制御信号及び外部入力モードに対応するリモコン信号を前記周辺機器に送信するように前記ＩＲ発信部を制御することができる。

また、前記ディスプレイ装置の周辺機器を制御するためのリモコンからリモコン信号を受信するＩＲ受信部をさらに備え、前記制御部は、前記リモコン信号に対応して収集されたユーザの音声を前記ディスプレイ装置に送信し、前記ディスプレイ装置から前記ユーザの音声に対応する制御信号及び前記ディスプレイ装置の外部入力モードに対する情報を受信して、前記周辺機器制御情報を生成することができる。

ここで、前記電子装置は、ＩＲ（Ｉｎｆｒａｒｅｄ Ｒａｙ）ブラスターまたはＭＢＲ（Ｍｕｌｔｉ Ｂｒａｎｄ Ｒｅｍｏｔｅ ｃｏｎｔｒｏｌｌｅｒ）でありうる。

一方、本発明の一実施形態による周辺機器を制御するための電子装置と通信を行うディスプレイ装置は、電子装置と通信を行う第１通信部と、音声認識機能を行うサーバと通信を行う第２通信部と、前記電子装置からユーザの音声が受信されると前記受信されたユーザの音声を前記サーバに送信し、前記サーバから前記ユーザの音声に対応する制御信号を受信して前記電子装置に送信するように制御する制御部とを備える。前記制御信号は、前記電子装置で前記周辺機器を制御するためのリモコン信号に対応する信号でありうる。

ここで、前記制御部は、前記ユーザの音声が受信されると外部入力モードを判断し、該判断された外部入力モードに対する情報を前記ユーザの音声と共に前記サーバに送信し、前記サーバから前記外部入力モードに対する情報及び前記ユーザの音声に対応する制御信号を受信して前記電子装置に送信するように制御することができる。

または、前記制御部は、前記ユーザの音声が受信されると外部入力モードを判断し、該判断された外部入力モードに対する情報を前記サーバから受信された制御信号と共に前記電子装置に送信するように制御することができる。

一方、本発明の一実施形態による電子装置の制御方法は、ディスプレイ装置の周辺機器を制御するためのリモコン信号とユーザの音声に対応する制御信号とがマッチングした周辺機器制御情報を格納するステップと、ユーザの音声を収集するステップと、前記収集されたユーザの音声を前記ディスプレイ装置に送信するステップと、前記ディスプレイ装置から前記ユーザの音声に対応する制御信号を受信するステップと、予め格納されたリモコン信号のうち、前記受信された制御信号に対応するリモコン信号を前記周辺機器に送信するステップとを含む。

ここで、前記格納するステップは、前記ディスプレイ装置の周辺機器を制御するためのリモコンからリモコン信号を受信するステップと、前記リモコン信号に対応してユーザの音声を収集するステップと、前記収集されたユーザの音声を前記ディスプレイ装置に送信するステップと、前記ディスプレイ装置から前記ユーザの音声に対応する制御信号及び前記ディスプレイ装置の外部入力モードに対する情報を受信するステップと、前記受信されたリモコン信号、制御信号及び外部入力モードに対する情報がマッチングした周辺機器制御情報を生成し格納するステップとを含むことができる。

そして、前記周辺機器制御情報は、前記受信された外部入力モードに対する情報をさらに含むことができ、前記制御信号を受信するステップは、前記制御信号及びディスプレイ装置の外部入力モードに対する情報を受信し、リモコン信号を前記周辺機器に送信するステップは、前記受信された制御信号及び外部入力モードに対する情報に対応するリモコン信号を前記周辺機器に送信できる。

また、前記格納するステップは、前記ディスプレイ装置の周辺機器を制御するためのリモコンからリモコン信号を受信するステップと、前記リモコン信号に対応してユーザの音声を収集するステップと、前記収集されたユーザの音声を前記ディスプレイ装置に送信するステップと、前記ディスプレイ装置から前記ユーザの音声に対応する制御信号及び前記ディスプレイ装置の外部入力モードに対する情報を受信するステップと、前記受信されたリモコン信号、制御信号及び外部入力モードに対する情報がマッチングした周辺機器制御情報を生成して格納するステップとを含むことができる。

ここで、前記電子装置は、ＩＲ（Ｉｎｆｒａｒｅｄ Ｒａｙ）ブラスターまたはＭＢＲ（Ｍｕｌｔｉ Ｂｒａｎｄ Ｒｅｍｏｔｅ ｃｏｎｔｒｏｌｌｅｒ）でありうる。

一方、周辺機器を制御するための電子装置と通信を行うディスプレイ装置の制御方法は、前記電子装置からユーザの音声を受信するステップと、前記受信されたユーザの音声を音声認識機能を行うサーバに送信するステップと、前記サーバから前記ユーザの音声に対応する制御信号を受信するステップと、前記受信された制御信号を電子装置に送信するステップとを含む。前記制御信号は、前記電子装置で前記周辺機器を制御するためのリモコン信号に対応する信号でありうる。

ここで、前記ユーザの音声が受信されると外部入力モードを判断するステップと、前記判断された外部入力モードに対する情報を前記サーバに送信するステップとをさらに含むことができ、前記制御信号を受信するステップは、前記サーバから前記外部入力モードに対する情報及び前記ユーザの音声に対応する制御信号を受信することができる。

または、前記ユーザの音声が受信されると外部入力モードを判断するステップと、前記判断された外部入力モードに対する情報を前記電子装置に送信するステップとをさらに含むことができる。

一方、本発明の一実施形態に係るディスプレイ装置及び前記ディスプレイ装置の周辺機器を制御するための電子装置を含むシステムは、収集されたユーザの音声を前記ディスプレイ装置に送信し、前記ディスプレイ装置から前記ユーザの音声に対応する制御信号を受信して予め格納されたリモコン信号のうち、前記受信された制御信号に対応するリモコン信号を前記周辺機器に送信する電子装置と、前記電子装置からユーザの音声が受信されると前記受信されたユーザの音声を前記音声認識機能を行うサーバに送信し、前記サーバから前記ユーザの音声に対応する制御信号を受信して前記電子装置に送信するディスプレイ装置とを備える。

以上、本発明の多様な実施形態によれば、ユーザの音声がディスプレイ装置及びディスプレイ装置の周辺機器を制御するための手段として使用されることができるから、ユーザの便宜性が向上することができる。

また、ユーザは、電子装置を利用して周辺機器を制御するために周辺機器の製造社とモデル名を直接検索しリモコンに登録する必要無しで、ユーザの音声で対応するリモコン信号を登録できるから、ユーザの便宜が向上することができる。

本発明の一実施形態に係る対話型システムを説明するための図である。 図１に示す対話型システムの動作を説明するためのタイミング図である。 図１に示す対話型システムの動作を説明するためのタイミング図である。 図１に示すディスプレイ装置の構成を説明するためのブロック図である。 図４に示すディスプレイ装置の細部構成を説明するためのブロック図である。 図１に示す電子装置の構成を説明するためのブロック図である。 図６に示す電子装置の細部構成を説明するためのブロック図である。 図１に示す第１サーバの構成を説明するためのブロック図である。 図１に示す第２サーバの構成を説明するためのブロック図である。 本発明の一実施形態に係る電子装置の制御方法を説明するためのフローチャートである。 本発明の一実施形態に係るディスプレイ装置１００の制御方法を説明するためのフローチャートである。

以下、添付された図面を参照して、本発明をさらに詳細に説明する。

図１は、本発明の一実施形態に係る対話型システムを説明するための図である。図１に示すように、対話型システムは、ディスプレイ装置１００、電子装置２００、第１サーバ３００及び第２サーバ４００を備える。ディスプレイ装置１００は、図１に示すように、スマートＴＶでありうるが、これは、一例に過ぎず、スマートフォンのような携帯電話、デスクトップＰＣ、ノート型パソコン、ナビゲーションなどのような多様な装置により具現化されることができ、電子装置２００は、ＩＲ（Ｉｎｆｒａｒｅｄ Ｒａｙ）ブラスター、ＭＢＲ（Ｍｕｌｔｉ Ｂｒａｎｄ Ｒｅｍｏｔｅ ｃｏｎｔｒｏｌｌｅｒ）などのような装置により具現化されることができる。

本発明に係る対話型システムは、音声認識モードにある場合に動作でき、音声認識モードは、設定モードと動作モードとを含むことができる。対話型システムは、各モードに応じて互いに異なるように動作できるので、モード別に分けて説明する。一方、設定モードと動作モードは、対話型システムの動作のうち、ディスプレイ装置１００を介してユーザにより変更できる。

＜設定モード＞
設定モードとは、ディスプレイ装置の周辺機器を制御するための周辺機器制御情報を設定するためのモードのことを意味する。設定モードの動作を実施形態別に分けて説明する。対話型システムは、ディスプレイ装置１００の外部入力モードに対する情報を第２サーバ４００に送信するか、または電子装置２００に送信するかに応じて異なるように動作する。

＜第１の実施形態＞
第１の実施形態によれば、設定モードにおいて、電子装置２００は、周辺機器を制御するためのリモコン（図示せず）から制御信号を受信する。そして、電子装置２００は、リモコン信号に対応するユーザの音声を収集して、ディスプレイ装置１００に送信する。ディスプレイ装置１００は、ユーザの音声が受信されると、ディスプレイ装置１００の現在の外部入力モードを判断し、受信されたユーザの音声を第１サーバ３００に送信する。ディスプレイ装置１００からユーザの音声が受信されると、第１サーバ３００は、受信されたユーザの音声をテキスト情報に変換し、テキスト情報をディスプレイ装置１００に送信する。

そして、ディスプレイ装置１００は、第１サーバ３００から受信されたテキスト情報及び判断された外部入力モードに対する情報を第２サーバ４００に送信する。ディスプレイ装置１００からテキスト情報が受信されると、第２サーバ４００は、受信したテキスト情報及び外部入力モードに対する情報に対応する制御信号を生成して、ディスプレイ装置１００に送信する。

ディスプレイ装置１００は、受信した制御信号を電子装置２００に送信し、電子装置２００は、リモコン（図示せず）から受信したリモコン信号と、ディスプレイ装置１００から受信した制御信号とをマッチングさせて、周辺機器制御情報を生成し格納する。

＜第２の実施形態＞
第２の実施形態によれば、設定モードにおいて、電子装置２００は、周辺機器を制御するためのリモコン（図示せず）から制御信号を受信する。そして、電子装置２００は、リモコン信号に対応するユーザの音声を収集して、ディスプレイ装置１００に送信する。ディスプレイ装置１００は、ユーザの音声が受信されると、ディスプレイ装置１００の現在の外部入力モードを判断し、受信されたユーザの音声を第１サーバ３００に送信する。ディスプレイ装置１００からユーザの音声が受信されると、第１サーバ３００は、受信されたユーザの音声をテキスト情報に変換し、テキスト情報をディスプレイ装置１００に送信する。

そして、ディスプレイ装置１００は、第１サーバ３００から受信されたテキスト情報を第２サーバ４００に送信する。ディスプレイ装置１００からテキスト情報が受信されると、第２サーバ４００は、受信したテキスト情報に対応する制御信号を生成して、ディスプレイ装置１００に送信する。

ディスプレイ装置１００は、受信した制御信号及び判断された外部入力モードに対する情報を電子装置２００に送信し、電子装置２００は、リモコン（図示せず）から受信したリモコン信号と、ディスプレイ装置１００から受信した制御信号及び外部入力モードに対する情報をマッチングさせて、周辺機器制御情報を生成し格納する。

＜動作モード＞
動作モードとは、ディスプレイ装置の周辺機器を制御するために、ユーザの音声に対応するリモコン信号を周辺機器に送信するためのモードのことを意味する。動作モードの動作を実施形態別に分けて説明する。

＜第１の実施形態＞
第１の実施形態によれば、動作モードにおいて、電子装置２００は、周辺機器を制御するためのユーザの音声を収集して、ディスプレイ装置１００に送信する。ディスプレイ装置１００は、ユーザの音声が受信されると、ディスプレイ装置１００の現在の外部入力モードを判断し、受信されたユーザの音声を第１サーバ３００に送信する。ディスプレイ装置１００からユーザの音声が受信されると、第１サーバ３００は、受信されたユーザの音声をテキスト情報に変換し、テキスト情報をディスプレイ装置１００に送信する。

そして、ディスプレイ装置１００は、第１サーバ３００から受信されたテキスト情報及び判断された外部入力モードに対する情報を第２サーバ４００に送信する。ディスプレイ装置１００からテキスト情報が受信されると、第２サーバ４００は、受信したテキスト情報及び外部入力モードに対する情報に対応する制御信号を生成して、ディスプレイ装置１００に送信する。

ディスプレイ装置１００は、受信した制御信号を電子装置２００に送信し、電子装置２００は、予め格納されたディスプレイ装置１００から受信した制御信号を予め格納された周辺機器制御情報の制御信号と比較して、対応するリモコン信号を周辺機器に送信する。

＜第２の実施形態＞
第２の実施形態によれば、動作モードにおいて、電子装置２００は、周辺機器を制御するためのユーザの音声を収集して、ディスプレイ装置１００に送信する。ディスプレイ装置１００は、ユーザの音声が受信されると、ディスプレイ装置１００の現在の外部入力モードを判断し、受信されたユーザの音声を第１サーバ３００に送信する。ディスプレイ装置１００からユーザの音声が受信されると、第１サーバ３００は、受信されたユーザの音声をテキスト情報に変換し、テキスト情報をディスプレイ装置１００に送信する。

そして、ディスプレイ装置１００は、第１サーバ３００から受信されたテキスト情報を第２サーバ４００に送信する。ディスプレイ装置１００からテキスト情報が受信されると、第２サーバ４００は、受信したテキスト情報に対応する制御信号を生成して、ディスプレイ装置１００に送信する。

ディスプレイ装置１００は、受信した制御信号及び判断された外部入力モードに対する情報を電子装置２００に送信し、電子装置２００は、ディスプレイ装置１００から受信した制御信号及び外部入力モードに対する情報を予め格納された周辺機器制御情報の制御信号及び外部入力モードに対する情報と比較して、対応するリモコン信号を周辺機器に送信する。

一方、上述した実施形態では、第１サーバ３００及び第２サーバ４００がそれぞれ異なる機能を行う別個のサーバであると説明したが、実施形態によって第１サーバ３００及び第２サーバ４００は、一つのサーバにより具現化されることができる。

図２及び図３は、図１に示す対話型システムの各動作を説明するためのタイミング図である。具体的に、図２は、第１の実施形態による対話型システムの動作を説明するためのタイミング図であり、図３は、第２の実施形態による対話型システムの動作を説明するためのタイミング図である。

＜第１の実施形態＞
図２によれば、設定モードが開始されると、電子装置２００は、ディスプレイ装置１００の周辺機器を制御するためのリモコン（図示せず）からリモコン信号を受信することができる（Ｓ１）。すなわち、設定モードにおいてユーザが周辺機器を制御するためのリモコンの特定ボタンを入力すると、リモコンは、入力されたボタンに対応するリモコン信号を電子装置２００に送信する。

そして、ユーザがリモコンの特定ボタンに対応する音声を発話すると、電子装置２００は、ユーザの音声を収集して（Ｓ２）、ディスプレイ装置１００に送信する（Ｓ３）。具体的に、電子装置２００は、予め設定された距離以内でユーザが発話した音声を収集して、ディスプレイ装置１００に送信できる。

このために、電子装置２００は、ユーザの発話した音声を受け取るためのマイクなどを具備できる。この場合、マイクは、電子装置２００に内蔵されて一体型をなすか、または電子装置２００と分離された形態により具現化されることができる。分離された形態により具現化される場合、マイクは、ユーザが手で握る形態、または食卓やテーブルに置かれうる形態により具現化されることができ、電子装置２００と有線または無線ネットワークにより接続されることができる。

ディスプレイ装置１００は、電子装置２００からユーザの音声が受信されると、ディスプレイ装置１００の外部入力モードを判断する（Ｓ４）。外部入力モードとは、ディスプレイ装置１００と外部機器との間の信号入出力モードを意味し、外部機器で支援する信号送信規格に従って変わることができる。以後、ディスプレイ装置１００は、電子装置２００から受信したユーザの音声を第１サーバ３００に送信する（Ｓ５）。

第１サーバ３００は、ディスプレイ装置１００から受信したユーザの音声をテキスト情報に変換して（Ｓ６）、ディスプレイ装置１００にテキスト情報を送信する（Ｓ７）。具体的に、第１サーバ３００は、ＳＴＴ（Ｓｐｅｅｃｈ ｔｏ Ｔｅｘｔ）のためのアルゴリズムを利用して、ディスプレイ装置１００から受信した音声信号をテキスト情報に変換できる。

ディスプレイ装置１００は、第１サーバ３００から受信したテキスト情報及びステップＳ４にて判断した外部入力モードに対する情報を第２サーバ４００に送信する（Ｓ８）。

第２サーバ４００は、ディスプレイ装置１００からテキスト情報及び外部入力モードに対する情報が受信されると、それに対応する制御信号を生成して（Ｓ９）、ディスプレイ装置１００に送信する（Ｓ１０）。

ディスプレイ装置１００は、第２サーバから受信した制御信号を電子装置２００に送信し（Ｓ１１）、電子装置２００は、ディスプレイ装置１００から受信した制御信号及びリモコン（図示せず）から受信したモコン信号をマッチングさせて、周辺機器制御情報を生成し格納する（Ｓ１２）。

一方、周辺機器を制御するためのリモコンの複数のボタンに対して上述した過程を繰り返すことによって、電子装置２００は、リモコンの各ボタンに対する周辺機器制御情報を格納することができる。周辺機器を制御するためのリモコンが複数の場合、複数のリモコンに対して周辺機器制御情報を格納することができる。リモコンに対する周辺機器制御情報設定が完了すると、動作モードにおいてユーザの音声でディスプレイ装置の周辺機器を制御できる。すなわち、ユーザが動作モードでディスプレイ装置の周辺機器を制御するために音声を発話すると、電子装置２００は、ユーザの音声を収集して（Ｓ１３）、ディスプレイ装置１００に送信する（Ｓ１４）
ディスプレイ装置１００は、電子装置２００からユーザの音声が受信されると、ディスプレイ装置１００の外部入力モードを判断する（Ｓ１５）。そして、ディスプレイ装置１００は、電子装置２００から受信したユーザの音声を第１サーバ３００に送信する（Ｓ１６）。

第１サーバ３００は、ディスプレイ装置１００から受信したユーザの音声をテキスト情報に変換して（Ｓ１７）、ディスプレイ装置１００にテキスト情報を送信する（Ｓ１８）。そして、第１サーバ３００から受信されたテキスト情報及びステップＳ１５にて判断した外部入力モードに対する情報を第２サーバ４００に送信する（Ｓ１９）。

第２サーバ４００は、ディスプレイ装置１００からテキスト情報及び外部入力モードに対する情報が受信されると、それに対応する制御信号を生成して（Ｓ２０）、ディスプレイ装置１００に送信する（Ｓ２１）。

ディスプレイ装置１００は、第２サーバから受信された制御信号を電子装置２００に送信し（Ｓ２２）、電子装置２００は、予め格納された周辺機器制御情報のリモコン信号のうち、ディスプレイ装置１００から受信された制御信号に対応するリモコン信号を周辺機器に送信する（Ｓ２３）。一方、複数の周辺機器がある場合、電子装置２００は、リモコン信号をマルチキャスト方式で周辺機器に送信でき、送信されたリモコン信号を認識できる周辺機器だけがリモコン信号に応じて制御される。

＜第２の実施形態＞
図３によれば、設定モードが開始されると、電子装置２００は、ディスプレイ装置１００の周辺機器を制御するためのリモコン（図示せず）からリモコン信号を受信することができる（Ｓ５１）。すなわち、設定モードにおいてユーザが周辺機器を制御するためのリモコンの特定ボタンを入力すると、リモコンは、入力されたボタンに対応するリモコン信号を電子装置２００に送信する。そして、ユーザがリモコンの特定ボタンに対応する音声を発話すると、電子装置２００は、ユーザの音声を収集して（Ｓ５２）、ディスプレイ装置１００に送信する（Ｓ５３）。

ディスプレイ装置１００は、電子装置２００からユーザの音声が受信されると、ディスプレイ装置１００の外部入力モードを判断する（Ｓ５４）。そして、ディスプレイ装置１００は、電子装置２００から受信したユーザの音声を第１サーバ３００に送信する（Ｓ５５）。

第１サーバ３００は、ディスプレイ装置１００から受信されたユーザの音声をテキスト情報に変換して（Ｓ５６）、ディスプレイ装置１００にテキスト情報を送信する（Ｓ５７）。

ディスプレイ装置１００は、第１サーバ３００から受信されたテキスト情報を第２サーバ４００に送信する（Ｓ５８）。

第２サーバ４００は、ディスプレイ装置１００からテキスト情報が受信されると、それに対応する制御信号を生成して（Ｓ５９）、ディスプレイ装置１００に送信する（Ｓ６０）。

ディスプレイ装置１００は、第２サーバから受信された制御信号及びステップＳ５４にて判断した外部入力モードに対する情報を電子装置２００に送信し（Ｓ６１）、電子装置２００は、ディスプレイ装置１００から受信された制御信号及び外部入力モードに対する情報をリモコン（図示せず）から受信されたリモコン信号とマッチングさせて、周辺機器制御情報を生成し格納する（Ｓ６２）。

一方、周辺機器を制御するためのリモコンの複数のボタンに対して上述した過程を繰り返すことによって、電子装置２００は、リモコンの各ボタンに対する周辺機器制御情報を格納することができる。周辺機器を制御するためのリモコンが複数の場合、複数のリモコンに対して周辺機器制御情報を格納することができる。リモコンに対する周辺機器制御情報設定が完了すると、動作モードにおいてユーザの音声でディスプレイ装置の周辺機器を制御できる。すなわち、ユーザが動作モードにおいてディスプレイ装置の周辺機器を制御するために音声を発話すると、電子装置２００は、ユーザの音声を収集して（Ｓ６３）、ディスプレイ装置１００に送信する（Ｓ６４）。

ディスプレイ装置１００は、電子装置２００からユーザの音声が受信されると、ディスプレイ装置１００の外部入力モードを判断する（Ｓ６５）。そして、ディスプレイ装置１００は、電子装置２００から受信したユーザの音声を第１サーバ３００に送信する（Ｓ６６）。

第１サーバ３００は、ディスプレイ装置１００から受信されたユーザの音声をテキスト情報に変換して（Ｓ６７）、ディスプレイ装置１００にテキスト情報を送信する（Ｓ６８）。そして、第１サーバ３００から受信されたテキスト情報を第２サーバ４００に送信する（Ｓ６９）。

第２サーバ４００は、ディスプレイ装置１００からテキスト情報が受信されると、それに対応する制御信号を生成して（Ｓ７０）、ディスプレイ装置１００に送信する（Ｓ７１）。

ディスプレイ装置１００は、第２サーバから受信された制御信号及びステップＳ６５にて判断した外部入力モードに対する情報を電子装置２００に送信し（Ｓ７２）、電子装置２００は、予め格納された周辺機器制御情報のリモコン信号のうち、ディスプレイ装置１００から受信された制御信号及び外部入力モードに対する情報に対応するリモコン信号を周辺機器に送信する（Ｓ７３）。複数の周辺機器がある場合、電子装置２００は、リモコン信号をマルチキャスト方式で周辺機器に送信でき、送信されたリモコン信号を認識できる周辺機器だけがリモコン信号に応じて制御される。

一方、図２及び図３では、ディスプレイ装置１００がユーザの音声を受信すると、ディスプレイ装置の外部入力モードを判断すると説明したが、ディスプレイ装置の外部入力モードを判断する過程は、必要によって省略しても良い。すなわち、収集されたユーザの音声が周辺機器を制御するための命令でないか、または外部入力モードを判断しなくてもリモコン信号の識別に混同がないと判断される場合には、ディスプレイ装置の外部入力モードを判断する過程は省略できる。

図４は、図１に示すディスプレイ装置の構成を説明するためのブロック図である。図４によれば、ディスプレイ装置１００は、第１通信部１１０、第２通信部１２０及び制御部１３０を備える。

第１通信部１１０は、電子装置２００と通信を行う。具体的に第１通信部１１０は、電子装置２００からユーザの音声を受信し、ユーザの音声に対応する制御信号を電子装置２００に送信できる。また、実施形態によって第１通信部１１０は、ディスプレイ装置１００の外部入力モードに対する情報を電子装置２００に送信できる。

一方、第１通信部１００は、電子装置２００とＷｉｆｉ、ブルートゥース（ｂｌｕｅｔｏｏｔｈ）、ＩＲＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）、ＩＥＥＥ ８０２．１１、ＷＬＡＮ、ＨＲ ＷＰＡＮ、ＵＷＢ、ＬＲ ＷＰＡＮ、ＩＥＥＥ １３９４などのような無線通信技術で通信できる。

第２通信部１２０は、サーバと通信を行う。具体的に、第２通信部は、第１通信部を介して受信されたユーザの音声を第１サーバ３００に送信でき、第１サーバ３００からユーザの音声に対応するテキスト情報を受信することができる。また、第１サーバ３００から受信したテキスト情報を第２サーバに送信し、第２サーバ４００からテキスト情報に対応する制御信号を受信することができる。第２通信部は、第１サーバ及び第２サーバとインターネットなどのネットワークにより接続されることができる。

一方、第２通信部は、第１サーバ３００から受信したテキスト情報と共にディスプレイ装置１００の外部入力モードに対する情報を第２サーバ４００に送信でき、第２サーバ４００からテキスト情報及び外部入力モードに対する情報に対応する制御信号を受信することができる。

一方、第２通信部３００は、一つの構成で第１サーバ及び第２サーバの両方と通信を行うと説明したが、ディスプレイ装置１００は、第１サーバ３００及び第２サーバ４００とそれぞれ通信を行うことができるように、二つの第２通信部を備えることもできる。

第２通信部が第２サーバ４００から受信する制御信号は、電子装置２００でディスプレイ装置の周辺機器を制御するためのリモコン信号とマッチングできる。

制御部１３０は、ディスプレイ装置１００の全般的な動作を制御する。すなわち、制御部１３０は、ディスプレイ装置１００の構成の各々を制御して、対応する動作を行うように制御できる。特に、制御部１３０は、第１通信部を介してユーザの音声が受信されると、受信されたユーザの音声を第２通信部を介してサーバ３００、４００に送信し、対応する制御信号を受信することができる。そして、受信された制御信号を電子装置２００に送信できる。

また、制御部１３０は、電子装置２００からユーザの音声が受信されると、ディスプレイ装置１００の外部入力モードを判断でき、実施形態によって判断された外部入力モードに対する情報を電子装置２００または第２サーバ４００に送信するように制御できる。

一方、動作モードにおいて、第２サーバ４００から受信された制御信号がディスプレイ装置１００を制御するための制御信号の場合、すなわち、外部入力モードが使用されない場合、制御部１３０は、第２サーバ４００から受信された制御信号に応じてディスプレイ装置１００の動作を制御できる。

図５は、図４に示すディスプレイ装置の細部構成を説明するためのブロック図である。図４によれば、ディスプレイ装置１００は、第１通信部１１０、第２通信部１２０及び制御部１３０の他に音声収集部１４０、入力部１５０、出力部１６０、格納部１７０、受信部１８０及び信号処理部１９０をさらに備えることができる。一方、図４に示す構成要素と重複する構成に対して重複する説明は省略する。

第２通信部１２０は、サーバと通信を行う。図４では、第２通信部が第２サーバから制御信号だけを受信すると説明したが、第２通信部１２０は、第２サーバからユーザの音声に対応する応答メッセージ情報を受信することができる。すなわち、第２サーバは、受信されたテキスト情報に対応する制御信号だけでなく、制御信号に応じて実行される特定機能と関連した応答メッセージ情報を含むことができる。

例えば、ユーザがセットトップボックスを利用してケーブル放送を視聴する途中に「チャネルを２５番に変更してくれ」というユーザの音声を発話した場合、電子装置２００は、ユーザの音声を収集してディスプレイ装置１００に送信し、ユーザの音声は、第１サーバに送信されてテキスト情報に変換された後、第２サーバに送信されることができる。このとき、第２サーバは、チャネル変更命令に対応する制御信号だけでなく、これに対応する応答メッセージ情報をディスプレイ装置１００に送信でき、ディスプレイ装置１００は、受信された応答メッセージ情報を利用して、出力部１６０を介して「チャネルが２５番に変更されました」または「チャネル変更が完了しました」のような応答メッセージをテキストまたは音声として出力できる。

音声収集部１４０は、ユーザの音声を収集する。例えば、音声収集部１４０は、ユーザの音声を収集するためのマイクにより具現化されて、ディスプレイ装置１００に内蔵されて一体型をなすか、またはディスプレイ装置１００と分離された形態により具現化されることができる。

音声収集部１４０は、収集されたユーザの音声を処理して、音声信号を生成する。すなわち、音声収集部１４０は、収集されたユーザの音声からノイズ（例えば、エアコン音、掃除機音、音楽音等）を除去して、音声信号を生成できる。具体的に、音声収集部１２０は、アナログ形態のユーザの音声が入力されると、これをサンプリングしてデジタル信号に変換する。そして、音声収集部１２０は、変換されたデジタル信号のエネルギーを計算して、デジタル信号のエネルギーが予め設定された値以上であるかどうかを判断する。

デジタル信号のエネルギーが予め設定された値以上の場合、音声収集部１２０は、デジタル信号からノイズ成分を除去して、第１通信部１３０に伝達する。このとき、ノイズ成分は、家庭環境で発生できる突発性雑音であって、エアコン音、掃除機音、音楽音などが含まれることができる。一方、デジタル信号のエネルギーが予め設定された値未満の場合、音声収集部１２０は、デジタル信号に特別な処理過程を行わずに、他の入力を待つ。これにより、ユーザ発話音声でない他の音により全体オーディオ処理過程がアクティブにならないから、不必要な電力消費を防止できる。

一方、ディスプレイ装置１００の音声収集部１４０は、電子装置２００の音声収集部（図６の２２０）と同じ機能を行うことができ、ディスプレイ装置１００の音声収集部及び電子装置２００の音声収集部に同時にユーザの音声が入力された場合には、各収集したユーザの音声のうち、より音量が大きくてノイズが少ない音声を選択するように具現化されることもできる。また、具現例によっては、ディスプレイ装置１００の音声収集部１４０は省略しても良い。

入力部１５０は、多様なユーザ操作を受け取って制御部１３０に伝達するための入力手段であって、入力パネルにより具現化されることができる。ここで、入力パネルは、タッチパッド（Ｔｏｕｃｈ Ｐａｄ）あるいは各種のファンクションキー、数字キー、特殊キー、文字キーなどが付いたキーパッド（Ｋｅｙ Ｐａｄ）またはタッチスクリーン（Ｔｏｕｃｈ Ｓｃｒｅｅｎ）方式でなされることができる。それだけでなく、入力部１５０は、ディスプレイ装置１００を制御するためのリモコンから送信されるリモコン信号を受信するためのＩＲ受信部（図示せず）により具現化されることもできる。

一方、入力部１５０は、ディスプレイ装置１００の機能を制御するための各種のユーザ操作を受け取ることができる。例えば、ディスプレイ装置１００がスマートＴＶにより具現化される場合、電源オン／オフ、チャネル変更、ボリウム変更など、スマートＴＶの機能を制御するためのユーザ操作を受け取ることができる。この場合、制御部１３０は、入力部１５０を介して入力されたユーザ操作に対応する各種の機能を実行するように他の構成要素を制御できる。例えば、制御部１３０は、電源オフ命令が入力されると、ディスプレイ装置１００の各構成要素に供給される電源を遮断でき、チャネル変更が入力されると、ユーザ操作によって選択されたチャネルを選局するように受信部１８０を制御できる。

特に、入力部１５０は、ユーザの音声を収集するための音声認識モードを開始するためのユーザ操作を受け取ることができる。音声認識モードを開始するためのユーザ操作が入力部１５０を介して入力されると、制御部１５０は、音声収集部１４０を活性化してユーザの音声を収集できる。また、音声認識モードが開始されると、制御部１５０は、音声認識モード開始信号を電子装置２００に送信して、電子装置２００の音声収集部２２０が活性化されるようにすることができる。

出力部１６０は、映像及び音声のうち、少なくとも一つを出力する。具体的に、出力部１００は、ユーザの音声に対応する応答メッセージを音声またはテキストの形態で出力できる。

このために、出力部１６０は、ディスプレイ部及びオーディオ出力部を備えることができる。具体的に、ディスプレイ部は、液晶表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ；ＬＣＤ）、有機電気発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ；ＯＬＥＤ）またはプラズマ表示パネル（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ；ＰＤＰ）などにより具現化されて、ディスプレイ装置１００を介して提供可能な多様なディスプレイ画面を提供できる。特に、ディスプレイ部は、ユーザの音声に対応する応答メッセージをテキストまたはイメージの形態でディスプレーできる。

一方、オーディオ出力部は、スピーカーまたは出力ポートにより具現化されて、ユーザの音声に対応する応答メッセージを音声の形態で出力できる。

格納部１７０は、ディスプレイ装置１００を動作させるために必要な各種のプログラムなどが格納される格納媒体であって、メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などにより具現可能である。例えば、格納部１７０は、制御部１３０の動作遂行のためのプログラムを格納するためのＲＯＭ、制御部１３０の動作遂行によるデータを一時的に格納するためのＲＡＭなどを具備できる。また、各種の参照データを格納するためのＥＥＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）などをさらに具備できる。

特に、格納部１７０は、ユーザの音声に対応する各種の応答メッセージを音声またはテキストデータとして予め格納していることができる。これにより、制御部１３０は、第２サーバ４００から受信される音声メッセージ情報（特に、制御信号）に対応する音声またはテキストデータを格納部１７０から読み出して、オーディオ出力部またはディスプレイ部に出力できる。この場合、制御部１３０は、音声データに対してデコードなどの信号処理を行い、デコードされた音声データを増幅してオーディオ出力部を介して出力でき、テキストデータを構成するテキストが含まれるようにＵＩ画面を構成して、ディスプレイ部を介して出力できる。たとえ、上述した実施形態では、制御部１３０が格納部１７０から読み出された音声及びテキストデータに対する信号処理を行うと説明したが、制御部１３０は、音声及びテキストデータに対する信号処理を行うように信号処理部１９０を制御することもできる。

受信部１８０は、多様なコンテンツを受信する。具体的に、受信部１８０は、放送ネットワークを利用して放送プログラムコンテンツを送信する放送局またはインターネットを利用してコンテンツファイルを送信するウェブサーバからコンテンツを受信する。また、ディスプレイ装置１００内に設けられるか、またはディスプレイ装置１００に接続した各種の記録媒体再生装置からコンテンツを受信することもできる。記録媒体再生装置とは、ＣＤ、ＤＶＤ、ハードディスク、ブルーレイディスク、メモリカード、ＵＳＢメモリなどのような多様な類型の記録媒体に格納されたコンテンツを再生する装置を意味する。

放送局からコンテンツを受信する実施形態の場合には、受信部１８０は、チューナー（図示せず）、復調器（図示せず）、等化器（図示せず）などのような構成を備える形態により具現化されることができる。反面、ウェブサーバのようなソースからコンテンツを受信する実施形態の場合には、受信部１８０は、ネットワークインタフェースカード（図示せず）により具現化されることができる。または、上述した各種の記録媒体再生装置からコンテンツを受信する実施形態の場合には、受信部１８０は、記録媒体再生装置と接続したインタフェース部（図示せず）により具現化されることができる。このように、受信部１８０は、実施形態によって多様な形態により具現化されることができる。

信号処理部１９０は、受信部１８０を介して受信されたコンテンツが出力部１６０を介して出力されうるようにコンテンツに対する信号処理を行う。

具体的に、信号処理部１９０は、コンテンツに含まれたビデオ信号に対してデコード、スケーリング及びフレームレート変換などの動作を行って、ディスプレイ部から出力可能な形態にビデオ信号を変換できる。また、信号処理部１９０は、コンテンツに含まれたオーディオ信号に対してデコードなどの信号処理を行って、オーディオ出力部から出力可能な形態にオーディオ信号を変換できる。

図６は、図１に示す電子装置の構成を説明するためのブロック図である。図６によれば、電子装置２００は、格納部２１０、音声収集部２２０、通信部２３０、ＩＲ発信部２４０及び制御部２５０を備える。

格納部２１０は、周辺機器制御情報を格納する。周辺機器制御情報とは、ディスプレイ装置の周辺機器を制御するためのリモコン信号とユーザの音声に対応する制御信号とがマッチングした情報である。一方、他の実施形態によれば、周辺機器制御情報は、ディスプレイ装置１００の外部入力モードに対する情報をさらに含むことができる。

格納部２１０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のようにリード／ライト（ｒｅａｄ／ｗｒｉｔｅ）が可能な多様な記憶装置により具現化されることができ、設定モードではライト動作を、動作モードではリード動作を行うことができる。

音声収集部２２０は、ユーザの音声を収集する。上述したように、電子装置２００の音声収集部２２０は、ディスプレイ装置１００の音声収集部１４０とその機能が同一なので詳細な説明は省略する。

通信部２３０は、ディスプレイ装置１００と通信を行う。具体的に、通信部２３０は、ディスプレイ装置１００の第１通信部１１０と接続されて通信を行うことができる。

特に、通信部２３０は、音声収集部２２０を介して収集されたユーザの音声をディスプレイ装置１００に送信し、ディスプレイ装置１００からユーザの音声に対応する制御信号を受信することができる。一方、他の実施形態によれば、通信部２３０は、制御信号と共にディスプレイ装置の外部入力モードに対する情報をさらに受信することができる。

ＩＲ発信部２４０は、周辺機器を制御するためのリモコン信号を送信する。具体的に、ＩＲ発信部２４０は、制御部２５０の制御に応じて通信部２３０で受信した制御信号に対応するリモコン信号を周辺機器に送信できる。

制御部２５０は、電子装置２００の全般的な動作を制御する。具体的に、制御部２５０は、電子装置２５０の構成要素の各々を制御して対応する動作を行うようにすることができる。特に、制御部２５０は、動作モードにおいて、通信部２３０を介してユーザの音声に対応する制御信号が受信されると、受信した制御信号を格納部２１０の周辺機器制御情報に含まれた制御信号と比較して、一致する制御信号に対応するリモコン信号を周辺機器に送信するようにＩＲ発信部２４０を制御できる。

他の実施形態によれば、動作モードにおいて、通信部２３０が制御信号と共にディスプレイ装置の外部入力モードに対する情報を受信すると、制御部２５０は、受信された制御信号及び外部入力モードに対応する情報を格納部２１０の周辺機器制御情報に含まれた制御信号及び外部入力モードに対する情報と比較して、対応するリモコン信号を周辺機器に送信するようにＩＲ発信部２４０を制御できる。

一方、ＩＲ発信部２４０は、ブロードキャスト形式でディスプレイ装置の周辺機器にリモコン信号を送信でき、送信されたリモコン信号を認識する周辺機器だけがリモコン信号に対応する動作を行うようになる。

図７は、図６に示す電子装置の細部構成を説明するためのブロック図である。図７によれば、電子装置２００は、図６に示す構成の他にＩＲ受信部２６０をさらに備えることができる。ＩＲ受信部２６０以外の構成は、図６に示す構成とその機能が同一なので、詳細な説明は省略する。

ＩＲ受信部２６０は、リモコンからリモコン信号を受信する。具体的に、ＩＲ受信部２６０は、設定モードにおいてディスプレイ装置の周辺機器を制御するためのリモコンからリモコン信号を受信することができる。

制御部２５０は、通信部２３０を制御して受信されたリモコン信号に対応して収集されたユーザの音声をディスプレイ装置１００に送信し、ディスプレイ装置１００からユーザの音声に対応する制御信号を受信することができる。そして、受信されたリモコン信号及び制御信号をマッチングさせて、周辺機器制御情報を生成でき、生成された周辺機器制御信号は、格納部２１０に格納されることができる。

一方、他の実施形態によって、通信部２３０がディスプレイ装置１００から制御信号だけでなくディスプレイ装置の外部入力モードに対する情報を共に受信した場合、制御部２５０は、リモコン信号、制御信号及び外部入力モードに対する情報をマッチングさせて、周辺機器制御情報を生成できる。

図８は、図１に示す第１サーバの構成を説明するためのブロック図である。図８に示すように、第１サーバ３００は、通信部３１０及び制御部３２０を備える。

通信部３１０は、ディスプレイ装置１００と通信を行う。具体的に、通信部３１０は、ディスプレイ装置１００からユーザの音声を受信し、ユーザの音声に対応するテキスト情報をディスプレイ装置１００に送信できる。このために、通信部３１０は、近距離無線通信モジュール（図示せず）、無線通信モジュール（図示せず）、ネットワークインタフェース（図示せず）などのような多様な通信モジュールを備えることができる。

制御部３２０は、第１サーバ３００の全般的な動作を制御する。特に、制御部３２０は、ディスプレイ装置１００からユーザの音声が受信されると、ユーザの音声をテキスト情報として生成し、これをディスプレイ装置１００に送信するように通信部３１０を制御する。

具体的に、制御部３２０は、ＳＴＴ（Ｓｐｅｅｃｈ ｔｏ Ｔｅｘｔ）エンジンを利用して、ユーザの音声をテキスト情報として生成できる。ここで、ＳＴＴエンジンは、音声信号をテキストに変換するためのモジュールであって、従来に開示されている多様なＳＴＴアルゴリズムを利用して、音声信号をテキストに変換できる。

例えば、制御部３２０は、受信された音声信号内でユーザが発話した音声の始めと終わりを検出して、音声区間を判断する。具体的に、制御部３２０は、受信された音声信号のエネルギーを計算し、該計算されたエネルギーに応じて音声信号のエネルギーレベルを分類して、動的プログラミングを介して音声区間を検出できる。そして、制御部２２０は、検出された音声区間内で音響モデル（Ａｃｏｕｓｔｉｃ Ｍｏｄｅｌ）に基づいて音声の最小単位である音素を検出して音素データを生成し、生成された音素データにＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）確率モデルを適用して、テキスト情報を生成できる。

図９は、図１に示す第２サーバの構成を説明するためのブロック図である。図９に示すように、第２サーバ４００は、通信部４１０、格納部４２０及び制御部４３０を備える。

通信部４１０は、ディスプレイ装置１００と通信を行う。具体的に、通信部４１０は、ディスプレイ装置１００からテキスト情報を受信し、テキスト情報に対応する応答情報をディスプレイ装置１００に送信できる。このために、通信部４１０は、近距離無線通信モジュール（図示せず）、無線通信モジュール（図示せず）などのような多様な通信モジュールを備えることができる。

格納部４２０は、ディスプレイ装置１００から受信されたテキスト情報に対応する制御信号及び応答メッセージ情報を生成するための多様な情報を格納する。

具体的に、格納部４２０は、特定サービスドメインごとに予め定義された話行、主行及び核心要素を格納していることができる。例えば、放送ドメインの場合、話行（Ｄｉａｌｏｇ Ａｃｔ）は、叙述文（Ｓｔａｔｅｍｅｎｔ）、要請文（Ｒｅｑｕｅｓｔ）、Ｗｈｙ疑問文（ＷＨ−Ｑｕｅｓｔｉｏｎ）、Ｙｅｓ−Ｎｏ疑問文（ＹＮ−Ｑｕｅｓｔｉｏｎ）などを含み、 主行（Ｍａｉｎ Ｇｏａｌ）は、ＴＶオン／オフ、プログラム検索、プログラム時間検索、プログラム予約などを含み、核心要素は、ジャンル、プログラム名、開始時間、チャネル名、俳優名前などを含むことができる。

また、格納部４２０は、各ドメイン別にユーザの発話意図に対応する答弁を格納するコーパス（ｃｏｒｐｕｓ）データベースを含むことができる。例えば、放送サービスドメインで特定プログラムのジャンルを問い合わせるユーザの発話意図に対応する答弁として「．．．．プログラムのジャンルは．．．．です」を格納することができ、プログラム開始時間を問い合わせるユーザの発話意図に対応する答弁として「．．．．プログラムの開始時間は．．．．です」を格納することができる。

そして、格納部４２０は、ユーザの発話意図別にマッチングされる制御信号を格納していることができる。例えば、ユーザの発話意図がチャネル変更である場合、チャネルを変更するための制御信号をマッチングさせて格納し、ユーザの発話意図が予約録画である場合、特定プログラムに対する予約録画機能を実行させるための制御命令をマッチングさせて格納していることができる。

制御部４３０は、第２サーバ４００の全般的な動作を制御する。特に、通信部４１０を介してディスプレイ装置１００からユーザの音声に対応するテキスト情報が受信されると、制御部４３０は、受信されたテキスト情報に対応する制御信号及び応答メッセージ情報のうち、少なくとも一つを生成し、該生成された制御信号及び応答メッセージ情報を通信部４１０を介してディスプレイ装置１００に送信するように制御できる。

具体的に、制御部４３０は、格納部４２０に話行、主行及び核心要素を利用してディスプレイ装置１００から受信されたテキスト情報に対応するユーザの発話意図を把握し、ユーザの発話意図に対応する制御命令及び答弁を応答情報として生成できる。

例えば、「○○○（放送プログラム名）を予約してくれ」というテキストがディスプレイ装置１００から受信された場合を仮定する。この場合、制御部４３０は、話行を介して受信されたテキストが「要請」と関連した文章形態であると判断し、主行及び核心要素を介して「○○○」に対する「プログラム予約」を希望すると判断する。結果的に、制御部４３０は、受信されたテキスト情報に対応するユーザの発話意図は、「○○○」に対して「プログラム予約」を「要請」することと判断できる。

これにより、制御部４３０は、「○○○」に対して「プログラム予約」を「要請」するユーザの発話意図に対してディスプレイ装置１００から「○○○」の予約録画機能を行うための制御信号を生成できる。この場合、制御部４３０は、コーパスＤＢを利用して「○○○の録画が予約されました」という応答メッセージ情報をテキスト形態で追加的に生成して、制御信号と共にディスプレイ装置１００に送信できる。

一方、通信部４１０がディスプレイ装置１００からテキスト情報だけでなくディスプレイ装置の外部入力モードに対する情報を共に受信した場合、制御部４３０は、テキスト情報だけでなく外部入力モードに対する情報を考慮して制御信号を生成できる。具体的に、制御部４３０は、同じテキスト情報に対してもディスプレイ装置の外部入力モードが相異なった場合、相異なる制御信号をディスプレイ装置１００に送信するように制御できる。

これにより、複数の周辺機器が存在する場合にも、電子装置２００は、ディスプレイ装置の現在の外部入力モードに応じてユーザが制御しようとする特定周辺機器に対するリモコン信号を送信できる。

図１０は、本発明の一実施形態に係る電子装置の制御方法を説明するためのフローチャートである。

電子装置は、周辺機器制御情報を格納する（Ｓ１０１０）。具体的に、ディスプレイ装置の周辺機器を制御するためのリモコン信号とユーザの音声に対応する制御信号とがマッチングした周辺機器制御情報を格納することができる。

ここで、格納するステップ（Ｓ１０１０）は、ディスプレイ装置の周辺機器を制御するためのリモコンからリモコン信号を受信するステップと、受信されたリモコン信号に対応してユーザの音声を収集するステップと、収集されたユーザの音声をディスプレイ装置に送信するステップと、ディスプレイ装置からユーザの音声に対応する制御信号を受信するステップと、受信されたリモコン信号及び制御信号がマッチングした周辺機器制御情報を生成し格納するステップとを含むことができる。

他の実施形態によれば、格納するステップ（Ｓ１０１０）は、ディスプレイ装置の周辺機器を制御するためのリモコンからリモコン信号を受信するステップと、受信されたリモコン信号に対応してユーザの音声を収集するステップと、収集されたユーザの音声をディスプレイ装置に送信するステップと、ディスプレイ装置からユーザの音声に対応する制御信号及びディスプレイ装置の外部入力モードに対する情報を受信するステップと、受信されたリモコン信号、制御信号及び外部入力モードに対する情報がマッチングした周辺機器制御情報を生成して格納するステップとを含むことができる。

そして、電子装置は、ユーザの音声を収集し（Ｓ１０２０）、該収集されたユーザの音声をディスプレイ装置に送信する（Ｓ１０３０）。

以後、ディスプレイ装置からユーザの音声に対応する制御信号を受信し（Ｓ１０４０）、受信された制御信号に対応するリモコン信号を周辺機器に送信する（Ｓ１０５０）。具体的に、格納するステップ（Ｓ１０１０）にて格納された周辺機器制御情報の制御信号と受信された制御信号とを比較して、対応するリモコン信号を周辺機器に送信できる。

他の実施形態によれば、制御信号を受信するステップ（Ｓ１０４０）は、ディスプレイ装置から制御信号だけでなくディスプレイ装置の外部入力モードに対する情報を共に受信し、リモコン信号を周辺機器に送信するステップ（Ｓ１０５０）は、受信された制御信号及び外部入力モードに対する情報に対応するリモコン信号を周辺機器に送信できる。

図１１は、本発明の一実施形態に係るディスプレイ装置１００の制御方法を説明するためのフローチャートである。

まず、電子装置からユーザの音声を受信する（Ｓ１１１０）。そして、受信されたユーザの音声を音声認識機能を行うサーバに送信する（Ｓ１１２０）。サーバからユーザの音声に対応する制御信号を受信すると（Ｓ１１３０）、受信した制御信号を電子装置に送信する（Ｓ１１４０）。

一方、ユーザの音声が受信されると外部入力モードを判断するステップ及び判断された外部入力モードに対する情報をサーバに送信するステップをさらに含むことができ、これにより、制御信号を受信するステップ（Ｓ１１３０）は、ユーザの音声に対応する制御信号及び外部入力モードに対する情報に対応する制御信号を受信することができる。

または、ユーザの音声が受信されると外部入力モードを判断するステップ及び判断された外部入力モードに対する情報を電子装置に送信するステップをさらに含むことができる。

一方、上述した本発明の多様な実施形態による電子装置の制御方法及びディスプレイ装置の制御方法は、電子装置及びディスプレイ装置で実行可能なプログラムにより具現化されることができる。そして、このようなプログラムは、多様な類型の記録媒体に格納されて使用されることができる。

具体的には、上述した方法を行うためのコードは、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ハードディスク、リムーバブルディスク、メモリカード、ＵＳＢメモリ、ＣＤ−ＲＯＭなどのように、多様な類型の不揮発性記録媒体に格納されていることができる。

また、ディスプレイ装置、電子装置及びサーバに対して示した上述のブロック図ではバス（ｂｕｓ）を示していないが、ディスプレイ装置、電子装置及びサーバにおいて各構成要素間の通信は、バスを介してなされることもできる。また、各デバイスには、上述した多様なステップを行うＣＰＵ、マイクロ・プロセッサなどのようなプロセッサがさらに備えられることができる。

以上では、本発明の実施の形態について図示し説明したが、本発明は、上述した特定の実施の形態に限定されるものではなく、請求の範囲で請求する本発明の要旨から逸脱せずに当該発明が属する技術分野における通常の知識を有した者によって多様な変形実施が可能なことはもちろんで、このような変形実施は、本発明の技術的思想や展望から個別的に理解されてはならない。

１００ ディスプレイ装置
１１０ 第１通信部
１２０ 第２通信部
１３０、２５０、３２０、４３０ 制御部
１４０、２２０ 音声収集部
１５０ 入力部
１６０ 出力部
１７０、２１０、４２０ 格納部
１８０ 受信部
１９０ 信号処理部
２００ 電子装置
２３０、３１０、４１０ 通信部
２４０ ＩＲ発信部
２６０ ＩＲ受信部
３００ 第１サーバ
４００ 第２サーバ

Claims (11)

1. 周辺機器を制御するための電子装置と通信を行うディスプレイ装置であって、
   前記電子装置と通信を行う第１通信部と、
   音声認識機能を行うサーバと通信を行う第２通信部と、
   前記電子装置からユーザの音声が受信されると前記受信されたユーザの音声を前記サーバに送信し、前記サーバから前記ユーザの音声に対応する制御信号を受信して前記電子装置に送信するように制御する制御部とを備え、
   前記制御部は、
   前記ユーザの音声が受信されると外部入力モードを判断し、
   前記制御信号は、
   前記電子装置で前記周辺機器を制御するための信号である、
   ことを特徴とするディスプレイ装置。
2. 前記制御部は、
   前記判断された外部入力モードに対する情報を前記ユーザの音声と共に前記サーバに送信し、前記サーバから前記外部入力モードに対する情報及び前記ユーザの音声に対応する制御信号を受信して前記電子装置に送信するように制御する、
   ことを特徴とする請求項１に記載のディスプレイ装置。
3. 前記制御部は、
   前記判断された外部入力モードに対する情報を前記サーバから受信された制御信号と共に前記電子装置に送信するように制御する、
   ことを特徴とする請求項１に記載のディスプレイ装置。
4. 周辺機器を制御するための電子装置と通信を行うディスプレイ装置の制御方法であって、
   第１通信方法によって前記電子装置からユーザの音声を受信するステップと、
   前記ユーザの音声が受信されると外部入力モードを判断するステップと、
   前記ユーザの音声及び前記外部入力モードに対する情報をサーバに伝送し、前記サーバから前記ユーザの音声及び前記外部入力モードに対応する制御信号を受信するステップと、
   前記第１通信方法によって前記制御信号を前記電子装置に伝送するステップと、
   を含み、
   前記制御信号は、
   前記電子装置から第２通信方法によって前記周辺機器に伝送され、前記周辺機器を制御するための信号である、
   ことを特徴とするディスプレイ装置の制御方法。
5. 前記第１通信方法は、
   ワイファイ（Ｗｉ−Ｆｉ）、ブルートゥース（ｂｌｕｅｔｏｏｔｈ）、ＩＲＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＲＦ(Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ)、ＩＥＥＥ ８０２．１１、ＷＬＡＮ、ＨＲ
   ＷＰＡＮ、ＵＷＢ、ＬＲ ＷＰＡＮ、ＩＥＥＥ １３９４のうち、少なくとも１つによる通信方法である、
   ことを特徴とする請求項４に記載のディスプレイ装置の制御方法。
6. 前記第２通信方法は、
   ＩＲ（Ｉｎｆｒａｒｅｄ Ｒａｙ）による通信方法である、
   ことを特徴とする請求項４に記載のディスプレイ装置の制御方法。
7. 前記制御信号を受信するステップは、
   前記ユーザの音声を第１サーバに伝送するステップと、
   前記第１サーバから前記ユーザの音声の変換されたテキスト情報を受信するステップと、
   前記テキスト情報を第２サーバに伝送するステップと、
   前記第２サーバから前記テキスト情報に対応する前記制御信号を受信するステップと、
   を含む、
   ことを特徴とする請求項５に記載のディスプレイ装置の制御方法。
8. 前記制御信号は、
   前記電子装置で前記周辺機器を制御するためのリモコン信号にマッチングする制御信号である、
   ことを特徴とする請求項４に記載のディスプレイ装置の制御方法。
9. 前記電子装置は、
   ＭＢＲ（Ｍｕｌｔｉ Ｂｒａｎｄ Ｒｅｍｏｔｅ ｃｏｎｔｒｏｌｌｅｒ）である、
   ことを特徴とする請求項４に記載のディスプレイ装置の制御方法。
10. 前記ユーザの音声が受信されると、前記ディスプレイ装置の外部入力モードに対する情報を前記電子装置に伝送するステップ、を更に含む、
    ことを特徴とする請求項４に記載のディスプレイ装置の制御方法。
11. ディスプレイ装置及び前記ディスプレイ装置の周辺機器を制御するための電子装置を含む対話型システムにおいて、
    第１通信方法によって、収集されたユーザの音声を前記ディスプレイ装置に伝送し、前記ディスプレイ装置から前記ユーザの音声に対応する制御信号を受信し、第２通信方法によって、前記周辺機器を制御するための前記制御信号を前記周辺機器に伝送する電子装置と、
    前記電子装置からユーザの音声が受信されると、外部入力モードを判断し、音声認識機能を行うサーバを介して前記ユーザの音声及び前記外部入力モードに対応する前記制御信号を受信し、前記第１通信方法によって制御信号を前記電子装置に伝送するディスプレイ装置と、
    を含む、対話型システム。

Images