JP2014134791A - ディスプレイ装置及び制御方法 - Google Patents

Abstract

【課題】ユーザ発話に対応する機能を行ううえで、より素早い応答速度及び機能実行エラーを最小限化するためのディスプレイ装置及び制御方法を提供する。
【解決手段】ディスプレイ装置１００は、ユーザ発話を収集する音声収集部１１０と、ユーザ発話を対話型サーバに伝送し、ユーザ発話に基づいて生成された対応する応答情報を受信する通信部１２０と、ユーザ発話のそれぞれに対応する制御情報を保存する保存部１３０と、収集されたユーザ発話を対話型サーバに伝送しつつ、収集されたユーザ発話に対応する制御情報が保存部に保存されているか否かを判断する制御部１４０とを含み、制御部１４０は、収集されたユーザ発話に対応する制御情報が保存部に保存されている場合、保存された制御情報に基づいてユーザ発話に対応する動作を行い、保存部に保存されていない場合、対話型サーバから受信された応答情報に基づいてユーザ発話に対応する動作を行う。
【選択図】図４

Description

本発明は、ディスプレイ装置及び制御方法に関し、より詳細には、ユーザ発話に対応する動作を行うディスプレイ装置及び制御方法に関する。

一般に、音声認識が可能なディスプレイ装置は、大きくエンベデッド（Ｅｍｂｅｄｄｅｄ）方式と対話型方式とがある。エンベデッド方式のディスプレイ装置は、発話命令に限定されてユーザ発話を認識する。すなわち、エンベデッド方式のディスプレイ装置は、予め設定された発話命令に対応するユーザ発話が収集される場合にのみ、ユーザ発話に対応する機能を行う。すなわち、エンベデッド方式のディスプレイ装置は、予め設定された発話命令に対応するユーザ発話が収集される場合、当該ユーザ発話に対応する機能をより素早く行うことでメリットがあるが、発話命令に対応するユーザ発話のみを認識するということで、ユーザ発話を認識するうえで非常に限定的であった。

対話型方式のディスプレイ装置は、多様なユーザ発話を認識してユーザ意図を把握し、その把握されたユーザの意図に適した動作を行う。このような対話型方式のディスプレイ装置は、ユーザ発話が収集されると、対話型サーバからユーザ発話に関する応答情報を受信し、その受信した応答情報に基づいてユーザ発話に対応する動作を行う。このような対話型方式のディスプレイ装置は、エンベデッド方式のディスプレイ装置に比べて多様なユーザ発話を認識し、認識したユーザ発話に対応する動作を行うということで長所があった。しかし、このような対話型方式のディスプレイ装置は、上述の一連の過程を通じてユーザ発話に対応する機能を行う。すなわち、対話型方式のディスプレイ装置は、音量やチャネル等の単純な機能操作を行う場合、対話型サーバを通じて提供された応答情報に基づいてユーザ発話に対応する機能を行うため、エンベデッド方式のディスプレイ装置に比べて応答速度が遅いという問題がある。

韓国特開第２００５−００３６３３１号公報 国際出願公開第２０１０−００２５４４０号 国際出願公開第２００３−００８３８２９号 日本特開第２００５−００６５１５６号公報

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ディスプレイ装置でユーザ発話に対応する機能を行ううえで、より素早い応答速度及び機能実行エラーを最小限化することにある。

以上のような目的を達成するための本発明の一実施形態に係るディスプレイ装置は、ユーザ発話を収集する音声収集部と、前記ユーザ発話を対話型サーバに伝送し、前記ユーザ発話に基づいて生成された対応する応答情報を受信する通信部と、ユーザ発話のそれぞれに対応する制御情報を保存する保存部と、前記収集されたユーザ発話を前記対話型サーバに伝送しつつ、前記収集されたユーザ発話に対応する制御情報が前記保存部に保存されているか否かを判断する制御部とを含み、前記制御部は、前記収集されたユーザ発話に対応する制御情報が前記保存部に保存されている場合、保存された制御情報に基づいて前記ユーザ発話に対応する動作を行い、前記保存部に保存されていない場合、前記対話型サーバから受信された応答情報に基づいて前記ユーザ発話に対応する動作を行う。

そして、前記制御部は、予め設定された臨界時間内に前記保存部に保存された制御情報に基づいて、前記ユーザ発話に対応する動作が行われない場合、前記対話型サーバから受信した応答情報に基づいて、前記ユーザ発話に対応する動作を行ってよい。

なお、映像及び音声を出力する出力部を更に含み、前記保存部は、前記ユーザ発話のそれぞれに関する制御情報のうち、少なくとも一つの制御情報に確認メッセージをマッチングさせて保存し、前記制御部は、前記収集されたユーザ発話に対応する制御情報に確認メッセージがマッチングされている場合、前記出力部を介して前記確認メッセージを出力し、追加ユーザ発話が収集されると、前記制御情報に基づいて前記ディスプレイ装置の機能を制御してよい。

そして、前記制御情報は、ユーザ発話のそれぞれに対して、前記ディスプレイ装置の機能を予め設定されたターゲット値に調整するための情報であってよい。

なお、前記制御部は、前記ディスプレイ装置の機能が前記予め設定されたターゲット値に調整された後、追加ユーザ発話が収集されると、前記ディスプレイ装置の機能を再調整してよい。

そして、前記応答情報は、前記ユーザ発話に対応する応答メッセージまたは前記ディスプレイ装置の機能を制御するための制御命令のうちの一つであってよい。

なお、前記対話型サーバは、前記収集されたユーザ発話をテキスト情報に変換する第１サーバと、前記テキスト情報に変換されたユーザ発話に対応する応答情報を生成する第２サーバとを含み、前記制御部は、前記収集されたユーザ発話をデジタル信号に変換して前記第１サーバに伝送し、前記第１サーバから前記ユーザ発話に関するテキスト情報が受信されると、前記テキスト情報を前記第２サーバに伝送し、前記ユーザ発話に対応する応答情報を受信してよい。

一方、本発明の一実施形態に係るディスプレイ装置の制御方法において、前記方法は、ユーザ発話を収集するステップと、前記収集されたユーザ発話を対話型サーバに伝送しつつ、前記収集されたユーザ発話に対応する制御情報が予め保存されているか否かを判断するステップと、前記判断結果、前記収集されたユーザ発話に対応する制御情報が予め保存されている場合、前記予め保存された制御情報に基づいて、前記ユーザ発話に対応する動作を行い、予め保存されていない場合、前記対話型サーバから受信された応答情報に基づいて前記ユーザ発話に対応する動作を行うステップとを含む。

そして、前記判断するステップの後、前記対話型サーバから前記収集されたユーザ発話に対応する応答情報を受信するステップを更に含み、前記動作を行うステップは、予め設定された臨界時間内に予め保存された前記制御情報に基づいて、前記ユーザ発話に対応する動作が行われない場合、前記応答情報に基づいて、前記ユーザ発話に対応する動作を行ってよい。

なお、前記動作を行うステップは、前記収集されたユーザ発話に対応する制御情報に確認メッセージがマッチングされている場合、前記確認メッセージを出力し、追加ユーザ発話が収集されると、前記制御情報に基づいて前記ディスプレイ装置の機能を制御してよい。

そして、前記制御情報は、ユーザ発話のそれぞれに対して、前記ディスプレイ装置の機能を予め設定されたターゲット値に調整するための情報であってよい。

なお、前記動作を行うステップは、前記ディスプレイ装置の機能が前記予め設定されたターゲット値に調整された後、追加ユーザ発話が収集されると、前記収集された追加ユーザ発話に対応する制御情報に基づいてディスプレイ装置の機能を再調整してよい。

そして、前記応答情報は、前記ユーザ発話に対応する応答メッセージまたは前記ディスプレイ装置の機能を制御するための制御命令のうちの一つであってよい。

なお、前記対話型サーバは、前記収集されたユーザ発話をテキスト情報に変換する第１サーバと、前記テキスト情報に変換されたユーザ発話に対応する応答情報を生成する第２サーバとを含み、前記動作を行うステップは、前記収集されたユーザ発話をデジタル信号に変換して前記第１サーバに伝送し、前記第１サーバから前記ユーザ発話に関するテキスト情報が受信されると、前記テキスト情報を前記第２サーバに伝送し、前記ユーザ発話に対応する応答情報を受信してよい。

一方、本発明の一実施形態に係る対話型システムは、ユーザ発話をテキスト情報に変換し、前記変換されたテキスト情報を分析し、前記ユーザ発話に対応する応答情報を提供する対話型サーバ及び前記ユーザ発話が収集されると、前記収集されたユーザ発話を前記対話型サーバに伝送しつつ、前記ユーザ発話に対応する制御情報が予め保存されているか否かを判断し、前記制御情報が保存されている場合、前記予め保存された制御情報に基づいて前記ユーザ発話に対応する動作を行い、前記予め保存されていない場合、前記対話型サーバから提供された応答情報に基づいて前記ユーザ発話に対応する動作を行う。

以上説明したように、本発明によれば、ディスプレイ装置は、多様なユーザ発話に対応する機能を行ううえで、より素早い応答速度及び機能実行エラーを最小限化することができる。

本発明の一実施形態に係る対話型システムの第１例示図である。 本発明の別の実施形態に係る対話型システムの第２例示図である。 本発明の一実施形態に係る対話型システムでユーザ発話に対応する動作を行う方法のシーケンス図である。 本発明の一実施形態に係るディスプレイ装置のブロック図である。 本発明の一実施形態に係る対話型サーバのブロック図である。 本発明の一実施形態に係るディスプレイ装置でユーザ発話に基づいて動作を行うための制御方法のフローチャートである。 本発明の一実施形態に係るディスプレイ装置でユーザ発話に対応する動作を行うための制御方法のフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の一実施形態に係る対話型システムの第１例示図である。

図１に示すように、本発明の一実施形態に係る対話型システムは、ディスプレイ装置１００及び対話型サーバ２００を含む。

ディスプレイ装置１００は、例えば、スマートテレビ、スマートフォン、デスクトップ、ノートパソコン、ナビゲーション等のような多様な電子装置で実現されてよい。このようなディスプレイ装置１００は、ユーザからユーザ発話が収集されると、収集されたユーザ発話を対話型サーバ２００に伝送しつつ、ユーザ発話に対応する制御情報が予め保存されているか否かを判断する。判断の結果、ユーザ発話に対応する制御情報が予め保存されている場合、ディスプレイ装置１００は予め保存された制御情報に基づいてユーザ発話に対応する動作を行う。一方、判断の結果、ユーザ発話に対応する制御情報が予め保存されていない場合、ディスプレイ装置１００は対話型サーバ２００からユーザ発話に基づいて生成された応答情報を受信し、受信された応答情報に基づいてユーザ発話に対応する動作を行う。

対話型サーバ２００は、ディスプレイ装置１００からユーザ発話が受信されると、受信されたユーザ発話をテキスト情報に変換する。その後、対話型サーバ２００は、変換されたテキスト情報を分析し、ユーザ発話に関する応答情報を生成し、それをディスプレイ装置１００に伝送する。

例えば、音量操作のためのユーザ発話が収集されると、ディスプレイ装置１００は収集されたユーザ発話を対話型サーバ２００に伝送する。同時に、ディスプレイ装置１００は、収集されたユーザ発話に対応する制御情報が予め保存されているか否かを判断する。判断の結果、ユーザ発話に対応する制御情報が予め保存されている場合、ディスプレイ装置１００は予め保存された制御情報に基づいて音量を調整することができる。すなわち、ディスプレイ装置１００は、ユーザ発話に対応する制御情報が予め保存されている場合、対話型サーバ２００から応答情報が受信される前に、予め保存された制御情報に基づいて音量を調整することができる。

別の例として、コンテンツ情報提供のためのユーザ発話が収集されると、ディスプレイ装置１００は、収集されたユーザ発話を対話型サーバ２００に伝送する。同時に、ディスプレイ装置１００は、収集されたユーザ発話に対応する制御情報が予め保存されているか否かを判断する。判断の結果、ユーザ発話に対応する制御情報が予め保存されていない場合、ディスプレイ装置１００は、対話型サーバ２００から受信した応答情報に基づいてユーザ発話に対応する機能を行うことができる。すなわち、ディスプレイ装置１００は、対話型サーバ２００から受信した応答情報に基づいてユーザ発話に対応する応答メッセージを映像及び音声のうち、少なくとも一方で出力することができる。

更に別の例として、外部機器３００の制御のためのユーザ発話が収集されると、ディスプレイ装置１００は、収集されたユーザ発話を対話型サーバ２００に伝送する。同時に、ディスプレイ装置１００は、収集されたユーザ発話に対応する制御情報が予め保存されているか否かを判断する。判断の結果、ユーザ発話に対応する制御情報が予め保存されていない場合、ディスプレイ装置１００は対話型サーバ２００から受信した応答情報に基づいてユーザ発話に対応する機能を行うことができる。すなわち、ディスプレイ装置１００は、対話型サーバ２００から受信した応答情報に基づいて、外部機器３０の機能を制御することができる。ここで、外部機器３００は、ＤＶＤプレーヤ、セットトップボックス、音響機器、ゲーム機等のように、ディスプレイ装置１００に接続され、機能を行う電子装置であってよい。

このように、本発明に係る対話型システムで、ディスプレイ装置１００は対話型サーバ２００から受信した応答情報に基づいてユーザの意図した機能を行うだけでなく、内部的にもユーザ発話に対応する制御情報に基づいてユーザの意図した機能を行うことができる。よって、本発明に係る対話型システムのディスプレイ装置１００は、ユーザ発話に対応する機能を行ううえでエラーを最小限化するだけでなく、より素早い処理速度でユーザ発話に対応する機能を行うことができる。

一方、上述のように、ディスプレイ装置１００からユーザ発話を受信し、受信されたユーザ発話に基づいて応答情報を生成する対話型サーバ２００は、ディスプレイ装置１００から受信されたユーザ発話の意味を分析し、ディスプレイ装置１００の動作を制御するための応答情報を生成してディスプレイ装置１００に伝送する。すなわち、対話型サーバ２００は、ディスプレイ装置１００からユーザ発話が受信されると、受信されたユーザ発話から発話要素を抽出し、その抽出された発話要素に基づいてユーザ発話に関連する応答情報を生成して伝送することができる。ここで、発話要素は、ユーザ発話内でユーザが要求した動作を行うための中核キーワードであってよい。例えば、“今週の土曜日の○○○（放送番組名）は何時から放送？”というユーザの発話音声の場合、発話要素は、“今週”、“土曜日”、“○○○（放送番組名）”、“何時”、“放送”であってよい。

このような発話要素が抽出されると、対話型サーバ２００は、ユーザ発話から抽出した発話要素に基づいてユーザ発話に対応する動作を行うための応答情報を生成してディスプレイ装置１００に伝送する。

例えば、ディスプレイ装置１００は、ユーザから“今週の土曜日の○○○（放送番組名）は何時から放送？”というＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）関連のユーザ発話を収集することができる。このようなユーザ発話が収集されると、ディスプレイ装置１００は、収集されたユーザ発話を対話型サーバ２００に伝送する。ここで、ユーザ発話は、アナログ信号であってよい。よって、ディスプレイ装置１００は、収集されたユーザ発話をデジタル信号に変換した後、変換されたデジタル信号であるユーザ発話を対話型サーバ２００に伝送することができる。デジタル信号に変換されたユーザ発話が受信されると、対話型サーバ２００は、デジタル信号に変換されたユーザ発話に基づいてテキスト情報を生成した後、生成したテキスト情報を分析してユーザ発話に対応する応答情報を生成することができる。

しかし、本発明は、それに限定されず、ディスプレイ装置１００は収集されたユーザ発話を別途の信号処理なしに、対話型サーバ２００に伝送することができる。この場合、対話型サーバ２００は、ディスプレイ装置１００から受信したユーザ発話をデジタル信号に変換した後、変換されたデジタル信号に基づいてユーザ発話に関するテキスト情報を生成することができる。ユーザ発話を通じてテキスト情報に変換することは、公知技術であるため、本発明では詳細な説明を省略する。

上述のように、“今週の土曜日の○○○（放送番組名）は何時から放送？”というユーザ発話に関するテキスト情報が生成されると、対話型サーバ２００は、“今週の土曜日の○○○（放送番組名）は何時から放送？”というユーザ発話を分析して発話要素を抽出することができる。ここで、抽出された発話要素は、“今週”、“土曜日”、“○○○（放送番組名）”、“何時”、“放送”であってよい。このような発話要素が抽出されると、対話型サーバ２００は、抽出された発話要素に基づいて当該放送番組が始まる放送時間情報に対する応答情報を生成し、ディスプレイ装置１００に伝送する。それにより、ディスプレイ装置１００は、受信した応答情報に基づいて、“○○○（放送番組名）は７時から放送が始まります”という応答メッセージを音声またはテキスト形態の映像で出力することができる。

更に別の例として、ディスプレイ装置１００は、ユーザから“今週の土曜日の○○○（放送番組名）を予約して”という発話音声を収集することができる。このようなユーザ発話が収集されると、ディスプレイ装置１００は、収集されたユーザ発話を対話型サーバ２００に伝送する。この場合、対話型サーバ２００は、“今週の土曜日の○○○（放送番組名）を予約して”というユーザ発話から発話要素を抽出し、抽出された発話要素に基づいて当該放送番組が始まる時点で、“○○○”の予約録画機能を行うための制御命令及び“○○○の録画が予約されました”という応答メッセージを含む応答情報を生成し、それをディスプレイ装置１００に伝送することができる。よって、ディスプレイ装置１００は、受信した応答情報に基づいて当該放送番組に対する予約録画機能を実行し、それと同時に、“○○○の録画が予約されました”という応答メッセージを音声またはテキスト形態の映像で出力することができる。

一方、上述の対話型サーバ２００は、デジタル信号に変換されたユーザ発話をテキスト情報に変換する第１サーバ１０及びテキスト情報で生成されたユーザ発話に対応する応答情報を生成する第２サーバ２０を含むことができる。以下では、第１及び第２サーバ１０、２０を介してユーザ発話に適した応答情報をディスプレイ装置１００に提供する対話型システムについて詳細に説明する。

図２は、本発明の別の実施形態に係る対話型システムの第２例示図である。

図２に示すように、ディスプレイ装置１００は、ユーザからユーザ発話が収集されると、収集されたユーザ発話に対応する制御情報が予め保存されているか否かを判断する。同時に、ディスプレイ装置１００は、収集されたユーザ発話をデジタル信号に変換し、第１サーバ１０に伝送する。デジタル信号に変換されたユーザ発話が受信されると、第１サーバ１０は予め保存された多様なユーザ発話に対する特定パターンに応じて、ユーザ発話に関するテキスト情報を生成してディスプレイ装置１００に伝送する。

その後、第１サーバ１０からユーザ発話に関するテキスト情報が受信されると、ディスプレイ装置１００は、受信されたテキスト情報を第２サーバ２０に伝送する。しかし、本発明はそれに限定されず、第１サーバ１０はユーザ発話に関するテキスト情報が受信されると、受信されたテキスト情報を第２サーバ２０に伝送することができる。このように、第１サーバ１０から生成されたテキスト情報がディスプレイ装置１００或いは第１サーバ１０を介して受信されると、第２サーバ２０は受信したテキスト情報を分析して発話要素を抽出し、その抽出された発話要素に基づいてユーザ発話に対応する動作を行うための応答情報を生成してディスプレイ装置１００に伝送することができる。

これまで、本発明に係るディスプレイ装置１００と対話型サーバ２００とからなる対話型システムで、ユーザ発話に対応する動作を行うものについて概略に説明してきた。以下では、本発明に係る対話型システムでユーザ発話に対応する動作を行う方法について概略に説明する。

図３は、本発明の一実施形態に係る対話型システムでユーザ発話に対応する動作を行う方法のシーケンス図である。

図３に示すように、ディスプレイ装置１００は、ユーザからユーザ発話を収集する（Ｓ３０１）。ユーザ発話が収集されると、ディスプレイ装置１００は収集されたユーザ発話に対応する制御情報が予め保存されているか否かを判断する。同時に、ディスプレイ装置１００は、収集されたユーザ音声をデジタル信号に変換し、第１サーバ１０に伝送する（Ｓ３０２、Ｓ３０３）。本発明では、説明の便宜上、ユーザ発話に対応する制御命令の保存有無判断及びユーザ発話を第１サーバ１０に伝送することに対する動作実行ステップを区分しているだけで、ステップＳ３０２、Ｓ３０３の動作が同時に行われることが望ましい。

その後、ディスプレイ装置１００は、収集されたユーザ発話に関する制御情報が予め保存されている場合、第１サーバ１０及び第２サーバ２０からユーザ発話に関連して受信される情報を利用することなく、予め保存された制御情報に基づいてユーザ発話に対応する動作を行う（Ｓ３０４）。一方、ディスプレイ装置１００は、収集されたユーザ発話に関する制御情報が予め保存されていない場合、後述するステップを通じてユーザ発話に対応する動作を行うことができる。上述のように、ディスプレイ装置１００からデジタル信号に変換されたユーザ発話を受信した第１サーバ１０はデジタル信号に変換されたユーザ音声をテキスト情報を生成した後、生成されたテキスト情報をディスプレイ装置１００に伝送する（Ｓ３０５、Ｓ３０６）。その後、ディスプレイ装置１００は、第１サーバ１０から受信したテキスト情報を第２サーバ２０に伝送する（Ｓ３０７）。ディスプレイ装置１００からテキスト情報に変換されたユーザ発話を受信した第２サーバ２０は、受信したテキスト情報から発話要素を抽出する（Ｓ３０８）。第２サーバ２０でユーザ発話に関するテキスト情報から発話要素を抽出する動作は、図１及び図２を参照して説明しているため、省略する。

このような発話要素が抽出されると、第２サーバ２０は抽出した発話要素に基づいて、ユーザ発話に対応する機能を行うための応答情報を生成した後、生成された応答情報をディスプレイ装置１００に伝送する（Ｓ３０９、Ｓ３１０）。それにより、ディスプレイ装置１００は、ユーザ音声に対応する応答情報に基づいてユーザ発話に対応する動作を行う（Ｓ３１１）。

上述の例のように、音量操作のためのユーザ発話が収集されると、収集されたユーザ発話に対応する制御情報が予め保存されているか否かを判断する。同時に、ディスプレイ装置１００は、第２サーバ２０からユーザ発話に対応する応答情報を受信するために入力されたユーザ発話をデジタル信号に変換して第１サーバ１０に伝送する。一方、ユーザ発話に対応する制御情報が予め保存されていると判断されると、ディスプレイ装置１００は予め保存された制御情報に基づいて音量を調整することができる。すなわち、ディスプレイ装置１００は、ユーザ発話に対応する制御情報が予め保存されている場合、第２サーバ２０から応答情報が受信される前に予め保存された制御情報に基づいて音量を調整することができる。

一方、ユーザ発話に対応する制御情報が予め保存されていないと判断されると、ディスプレイ装置１００は、第２サーバ２０から受信した応答情報に基づいてユーザ発話に対応する機能を行うことができる。すなわち、ディスプレイ装置１００は、第２サーバ２０から受信した応答情報に基づいて、ユーザ発話に対応する応答メッセージを映像及び音声のうち、少なくとも一方で出力することができる。

このように、本発明に係る対話型システムのディスプレイ装置１００は、ユーザ発話が収集されると、収集されたユーザ発話に対するユーザの意図を内部的に判断するだけでなく、第１及び第２サーバ１０、２０を介して判断することができる。よって、対話型システムのディスプレイ装置は、ユーザ発話に対応する応答を迅速に行うだけでなく、ユーザ発話に対する応答エラーを最小限化することができる。

これまで、本発明に係る対話型システム及び対話型システムを通じてユーザ発話に対応する動作を行うことについて概略に説明している。以下では、上述の対話型システムを構成するディスプレイ装置１００及び対話型サーバ２０の各構成について詳細に説明する。

図４は、本発明の一実施形態に係るディスプレイ装置のブロック図である。

図４に示すように、ディスプレイ装置１００は、音声収集部１１０と、通信部１２０と、保存部１３０及び制御部１４０を含む。

音声収集部１１０は、ユーザから発話されたユーザ発話を収集する。具体的に、音声収集部１１０は、アナログ形態のユーザ発話が収集されると、収集されたユーザ発話をサンプリングしてデジタル信号に変換する。このとき、収集されたユーザ発話にノイズ（例えば、エアコンの音、掃除機の音、音楽の音等）がある場合、音声収集部１１０は、ノイズを取り除いた後、ノイズが取り除かれたユーザ発話をデジタル信号に変換することができる。

通信部１２０は、音声収集部１１０を介してユーザ発話がデジタル信号に変換されると、変換されたデジタル信号を対話型サーバ２００に伝送し、伝送されたユーザ発話に対応する応答情報を受信する。ここで、通信部１２０は、近距離無線通信モジュール（図示せず）、無線通信モジュール（図示せず）等のような多様な通信モジュールを含むことができる。ここで、近距離無線通信モジュール（図示せず）は、近距離に位置する対話型サーバ２００及び外部機器３００と無線通信を行う通信モジュールとして、例えば、ブルートゥース、Ｚｉｇｂｅｅ（登録商標）等であってよい。無線通信モジュール（図示せず）は、Ｗｉ−Ｆｉ、ＩＥＥＥ等のような無線通信プロトコールによって外部ネットワークに接続されて通信を行うモジュールである。その他に、無線通信モジュールは、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等のような多様な移動通信規格によって移動通信網に接続して、通信を行う移動通信モジュールを更に含むこともできる。

一方、ユーザ発話に対応する応答情報を提供する対話型サーバ２００は上述のように、デジタル信号に変換されたユーザ発話をテキストに変換する第１サーバ１０及びテキストに変換されたユーザ発話を分析してユーザ発話に対応する応答情報を生成する第２サーバ２０で実現されてよい。本発明においては、対話型サーバ２００を介してユーザ発話に対応する応答情報を生成することに限定して説明を進める。

保存部１３０は、ディスプレイ装置１００を動作させるために必要な各種プログラム等が保存される記録媒体として、メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等で実現されてよい。例えば、保存部１３０は、制御部１４０の動作実行のためのプログラムを保存するためのＲＯＭ、制御部１４０の動作実行によるデータを一時的に保存するためのＲＡＭ等を備えてよい。更に、保存部１３０は、各種参照データを保存するためのＥＥＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等を更に備えてよい。特に、保存部１３０は、ユーザ発話のそれぞれに対応する制御情報を保存する。具体的に、保存部１３０は、ディスプレイ装置１００の音量、チャネル、画質等の調整のためのユーザ発話に対応する制御情報を保存する。ここで、制御情報は、ユーザ発話のそれぞれに対してディスプレイ装置１００の機能を予め設定されたターゲット値に調整するための情報として、製造者によって最初設定されたり、入力部１５０を介して入力されたユーザ命令に基づいて設定されてよい。

ここで、入力部１５０は、多様なユーザ操作を受信して制御部１４０に伝達するための入力手段として、入力パネルで実現されてよい。ここで、入力パネルは、タッチパッド（Ｔｏｕｃｈ Ｐａｄ）或いは各種機能キー、数字キー、特殊キー、文字キー等を備えたキーパッド（Ｋｅｙ Ｐａｄ）またはタッチスクリーン（Ｔｏｕｃｈ Ｓｃｒｅｅｎ）方式で構成されてよい。更に、入力部１５０は、ディスプレイ装置１００を制御するためのリモコンから伝送されるリモコン信号を受信するためのＩＲ受信部（図示せず）で実現されてよい。このような入力部１５０を介してディスプレイ装置１００の機能を制御するための各種ユーザ操作を受信することができる。例えば、ディスプレイ装置１００が、スマートテレビで実現される場合、入力部１５０は電源オン／オフ、チャネル変更、音量変更等、スマートテレビの機能を制御するためのユーザ操作を受信することができる。

制御部１４０は、音声収集部１１０を介して収集されたユーザ発話を通信部１２０を介して対話型サーバ２００に伝送し、同時に、収集されたユーザ発話に対応する制御情報が保存部１３０に保存されているか否かを判断する。判断の結果、収集されたユーザ発話に対応する制御情報が保存部１３０に保存されている場合、制御部１４０は、保存部１３０に保存された制御情報に基づいてユーザ発話に対応する動作を行う。このとき、制御部１４０は、通信部１２０を介してユーザ発話に対応する応答情報が対話型サーバ２０から受信されると、受信された応答情報に対しては別途の動作を行わない。一方、判断の結果、収集されたユーザ発話に対応する制御情報が保存部１３０に保存されていないと判断されると、制御部１４０は、通信部１２０を介して対話型サーバ２００から受信された応答情報に基づいてユーザ発話に対応する動作を行う。ここで、応答情報は、ユーザ発話に対応する応答メッセージまたはディスプレイ装置１００の機能を制御するための制御命令のうちに一つである。よって、制御部１４０は、通信部１２０を介して対話型サーバ２００から応答情報が受信されると、受信された応答情報に基づいて後述の出力部１６０を介して応答メッセージを出力するか、またはディスプレイ装置１００の機能を制御することができる。

このような制御部１４０は、本発明の更なる態様により、予め設定された臨海時間内に保存部１３０に保存された制御情報に基づいて、ユーザ発話に対応する動作が行われない場合、対話型サーバ２００から受信した応答情報に基づいてユーザ発話に対応する動作を行うことができる。

一方、本発明の更なる態様によって、ディスプレイ装置１００は、映像及び音声を出力する出力部１６０を更に含んでよい。具体的に、出力部１６０は、ユーザ発話に関連する応答メッセージまたは確認メッセージを音声またはテキスト形態の映像で出力することができる。ここで、応答メッセージは、対話型サーバ２００から受信された応答情報に基づいて生成されたメッセージであり、確認メッセージは、保存部１３０に保存された複数の制御情報のうち、少なくとも一つの制御情報にマッチングされて保存されたメッセージであってよい。このような応答メッセージまたは確認メッセージを出力する出力部１６０は、ディスプレイ部１６１及びオーディオ出力部１６３を含む。具体的に、ディスプレイ部１６１は、液晶表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）、有機電気発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ：ＯＬＥＤ）またはプラズマ表示パネル（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ：ＰＤＰ）等で実現され、ディスプレイ装置１００を介して提供可能な多様なディスプレイ画面を提供することができる。特に、ディスプレイ部１６１は、ユーザの発話音声に関連する応答メッセージ或いは確認メッセージをテキストまたはイメージ形態でディスプレイすることができる。ここで、ディスプレイ部１６１は、タッチパッドとともに相互レイヤ構造をなすタッチスクリーン形態で実現されてよく、タッチスクリーンはタッチ入力位置、面積、タッチ入力の圧力までも検出するように構成されてよい。

オーディオ出力部１６３は、スピーカまたはジャック等のような出力ポートで実現され、ユーザ発話に関連する応答メッセージまたは確認メッセージを可聴音で出力することができる。

一方、上述のように、保存部１３０は、ユーザ発話のそれぞれに対する制御情報のうち、少なくとも一つの制御情報に確認メッセージをマッチングさせて保存することができる。よって、制御部１４０は、収集されたユーザ発話に対応する制御情報に確認メッセージがマッチングされている場合、出力部１６０を介してユーザ発話に対応する制御情報にマッチングされている確認メッセージを出力する。出力部１６０を介して確認メッセージを出力した後、音声収集部１１０を介して追加ユーザ発話が収集されると、制御部１４０は、以前のユーザ発話に関連して獲得した制御情報に基づいてディスプレイ装置１００の機能を制御する。すなわち、制御部１４０は、追加ユーザ発話が収集されると、出力部１６０を介して出力した確認メッセージとマッチングされた制御情報に基づいてディスプレイ装置１００の機能を制御する。しかし、本発明はそれに限定されず、制御部１４０は、出力部１６０を介して確認メッセージを出力した後、音声収集部１１０を介して追加ユーザ発話が収集されると、収集された追加ユーザ発話を分析し、保存部１３０から追加ユーザ発話に対応する新たな制御情報を獲得し、獲得した新たな制御情報に基づいてディスプレイ装置１００の機能を制御することができる。

一方、制御部１４０は、ユーザ発話に対応する制御情報に基づいてディスプレイ装置１００の機能を調整した後、追加ユーザ発話が収集されると、収集された追加ユーザ発話に基づいてディスプレイ装置１００の機能を再調整することができる。上述のように、制御情報は、ユーザ発話のそれぞれにディスプレイ装置１００の機能を予め設定されたターゲット値に調整するための情報である。よって、制御部１４０は、ユーザ発話に対応する制御情報に基づいて、ディスプレイ装置１００の機能を予め設定されたターゲット値に調整する。その後、ユーザから追加ユーザ発話が収集されると、収集された追加ユーザ発話に対応する制御情報が保存部１３０に保存されているか否かを判断する。判断の結果、追加ユーザ発話に対応する制御情報が保存されている場合、制御部１４０は、当該制御情報に基づいてディスプレイ装置１００の機能を予め設定されたターゲット値に再調整することができる。

以下では、上述のディスプレイ装置１００でユーザ発話に対応する制御情報に基づいて、ディスプレイ装置１００の機能を制御する動作について、より具体的に説明する。

上記の表１は、音量調整に関連し、ユーザ発話のそれぞれに対する機能調整単位が定量化されたテーブルを示すものであり、このようなテーブルは、保存部１３０に保存されてよい。このようなテーブルが保存部１３０に保存された状態で、ユーザから“音量をとても大きくして”というユーザ発話が収集されると、制御部１４０は、収集されたユーザ発話を通信部１２０を介して対話型サーバ２００に伝送する。同時に、制御部１４０は、“音量をとても大きくして”というユーザ発話を分析してユーザの意図を把握する。すなわち、制御部１４０は、“音量をとても大きくして”というユーザ発話から音量をとても大きく調整せよというユーザの意図を把握することができる。よって、制御部１４０は、このようなユーザの意図に基づいて音量調整に関連するテーブルから“現在値＋１０”というターゲット値を獲得する。その後、制御部１４０は、獲得したターゲット値に基づいて現在設定された音量の大きさを調整することができる。例えば、現在設定された音量値が５であれば、制御部１４０は予め獲得したターゲット値に基づいて現在設定された音量値を５から１５に調整することができる。

一方、制御部１４０は、“音量を小さくして”というユーザ発話が収集されると、収集されたユーザ発話を分析して音量を小さく調整せよというユーザの意図を把握することができる。よって、制御部１４０は、このようなユーザの意図に基づいて音量調整に関連するテーブルから“現在値−５”というターゲット値を獲得する。その後、制御部１４０は、獲得したターゲット値に基づいて現在設定された音量の大きさを調整することができる。例えば、現在設定された音量値が１０であれば、制御部１４０は予め獲得したターゲット値に基づいて現在設定された音量値を１０から５に調整することができる。

一方、ユーザ発話からユーザの意図が正確に把握することができない場合、制御部１４０は、出力部１６０を介して確認メッセージを出力することができる。

上記の表２は、音量調整に関連し、ユーザ発話のそれぞれに対して定量化された機能調整単位及び各機能調整単位別に確認メッセージがマッチングされたテーブルを示すものとして、このようなテーブルは、保存部１３０に保存されてよい。このようなテーブルが保存部１３０に保存された状態で、ユーザから“うるさ過ぎる”というユーザ発話が収集されると、制御部１４０は、収集されたユーザ発話を通信部１２０を介して対話型サーバ２００に伝送する。同時に、制御部１４０は、“うるさ過ぎる”というユーザ発話を分析してユーザの意図を把握する。すなわち、制御部１４０は、“うるさ過ぎる”というユーザ発話から音量を小さく調整せよというユーザの意図を把握することができる。よって、制御部１４０は、このようなユーザの意図に基づいて、音量調整に関連するテーブルから“現在値−５”というターゲット値を獲得することができる。

一方、獲得したターゲット値に関連して確認メッセージがマッチングされている場合、制御部１４０は、出力部１６０を介して“音量を下げますか？”という確認メッセージを音声及び映像のうちに一方で出力する。その後、制御部１４０は、予め設定された臨界時間内に追加ユーザ発話が収集されると、収集された追加ユーザ発話を分析してユーザの意図を把握する。すなわち、制御部１４０は、収集された追加ユーザ発話が応答に対する発話であると、以前のユーザ発話から獲得したターゲット値に基づいて現在設定された音量を調整することができる。例えば、現在設定された音量値が１０である場合、制御部１４０は、以前のユーザ発話によって獲得した“現在値−５”というターゲット値に基づいて現在設定された音量値を１０から５に調整することができる。

このように、ユーザ発話からユーザの意図を把握し、その把握されたユーザの意図に基づいて獲得したターゲット値からディスプレイ装置１００の機能を調整する制御部１４０は、ディスプレイ装置１００の機能を調整した後、追加ユーザ発話に基づいて調整された機能を再調整することができる。

上記の表３は、音量再調整に関連し、ユーザ発話のそれぞれに対して、機能調整単位が定量化されたテーブルを示すものとして、このようなテーブルは、保存部１３０に保存されてよい。このようなテーブルが保存部１３０に保存された状態で、ユーザから“音が大き過ぎ”という追加ユーザ発話が収集されてよい。すなわち、制御部１４０は、以前のユーザ発話に対応するターゲット値に基づいて音量を調整した後、予め設定された臨界時間内にユーザから追加ユーザ発話が収集されてよい。この場合、制御部１４０は、収集された追加ユーザ発話を通信部１２０を介して対話型サーバ２００に伝送する。同時に、制御部１４０は、“音が大き過ぎ”という追加ユーザ発話を分析してユーザの意図を把握する。すなわち、制御部１４０は、ユーザ発話に基づいて音量を調整した後、予め設定された臨界時間内に“音が大き過ぎ”という追加ユーザ発話が収集されると、調整された音量を再調整せよというユーザの意図として把握することができる。よって、制御部１４０は、表３のように、音量再調整に関連し、保存部１３０に保存されたテーブルに基づいて“現在値−３”というターゲット値を獲得することができる。

例えば、以前のユーザ発話に基づいて音量値が１５に調整された状態で、音量再調整に関連して“現在値−３”というターゲット値が獲得されると、制御部１４０は、現在獲得したターゲット値に基づいて音量値を１５から１２に調整することができる。

一方、表１ないし表３のうち、少なくとも一つによって、ユーザ発話に対応するターゲット値が獲得されなければ、制御部１４０は、通信部１２０を介して対話型サーバ２００から受信した応答情報に基づいて応答メッセージを出力したり、或いは、ディスプレイ装置１００の機能を調整することができる。

例えば、ユーザから“今日放送の○○○（放送番組名）を録画して”という発話音声が入力されると、制御部１４０は、“今日放送の○○○（放送番組名）を録画して”というユーザ発話をデジタル信号に変換し、対話型サーバ２００に伝送する。それにより、対話型サーバ２００は、“今日放送の○○○（放送番組名）を録画して”というユーザ発話に関するテキスト情報を生成する。その後、対話型サーバ２００は、“今日放送の○○○（放送番組名）を録画して”というユーザ発話に関するテキスト情報から“今日”、“ ○○○（放送番組名）”、“録画”という発話要素を抽出し、抽出した発話要素に基づいてＥＰＧ関連機能であると判断する。その後、対話型サーバ２００は、○○○（放送番組名）に対する予約録画に対する制御命令と、“○○○（放送番組名）の録画が予約されました”という応答メッセージを含む応答情報をディスプレイ装置１００に伝送する。

よって、制御部１４０は、受信した応答情報に含まれた制御命令に応じて、○○○（放送番組名）の予約録画を設定する。そして、制御部１４０は、受信した応答情報に含まれた応答メッセージに基づいて、“○○○（放送番組名）の録画が予約されました”という応答メッセージを映像及び音声のうち少なくとも一方を通じて出力するように出力部１６０を制御する。よって、出力部１６０は、“○○○（放送番組名）の録画が予約されました”という応答メッセージを音声またはテキスト形態の映像で出力することができる。

以下では、本発明に係る対話型サーバ２００でディスプレイ装置１００を介して受信したユーザ発話に適した応答情報を生成し、ディスプレイ装置１００に伝送する動作について、詳細に説明する。

図５は、本発明の一実施形態に係る対話型サーバのブロック図である。

図５に示すように、対話型サーバ２００は、通信部２１０と、抽出部２２０と、保存部２３０及び制御部２４０を含む。

通信部２１０は、ディスプレイ装置１００と通信を行い、抽出部２２０は、通信部２１０を介してディスプレイ装置１００から受信したユーザ発話から発話要素を抽出する。保存部２３０は、ユーザ発話別の談話履歴情報を記録及びＥＰＧ情報を保存している。制御部２４０は、抽出部２２０を介して抽出されたユーザ発話に対する発話要素によって分類された機能に基づいて、ユーザ発話に対応する応答情報を異なる形態で生成し、生成された応答情報をディスプレイ装置１００に伝送する。ここで、発話要素によって分類される機能は、ＥＰＧ関連機能及びディスプレイ装置１００の動作制御機能のうち、少なくとも一つを含んでよい。よって、制御部２４０は、ユーザ発話から抽出された発話要素に応じて、ユーザ発話がＥＰＧに関連するものか、それともディスプレイ装置１００の動作を制御するためのものかを判断し、その判断結果に応じてユーザ発話に対応する応答情報を生成することができる。

実施形態によって、ユーザ発話から抽出された発話要素がＥＰＳ関連発話要素である場合、制御部２４０は、保存部２３０に予め保存されたＥＰＧ情報に基づいてユーザ発話に対応するＥＰＧ情報提供が可能か否かを判断する。判断の結果、ＥＰＧ情報提供が可能であれば、制御部２４０は、ＥＰＧ情報に基づいてユーザ発話に対応する応答情報を生成する。一方、判断の結果、ＥＰＧ情報提供が不可である場合、制御部２４０は、保存部２３０に予め定められた情報及びウェブサーチのうち、少なくとも一つに基づいてユーザ発話に関連する代替応答情報を生成する。

具体的に、抽出部２２０は、ユーザ発話に対するテキスト情報が受信されると、受信されたテキスト情報から、対話作用（ｄｉａｌｏｇｕｅ ａｃｔ）、主作用（ｍａｉｎ ａｃｔｉｏｎ）及び構成要素（ｃｏｍｐｏｎｅｎｔ ｓｌｏｔ）を含む発話要素を抽出することができる。ここで、対話作用は、ユーザ発話に対する発話行為の力（Ｉｌｌｏｃｕｔｉｏｎａｒｙ ｆｏｒｃｅ）を示すラベルとして、例えば、叙述（ｓｔａｔｅｍｅｎｔ）、要求（Ｒｅｑｕｅｓｔ）、質問（Ｑｕｅｓｔｉｏｎ）等であってよい。主作用は、ユーザ発話から実際のユーザの意図を示すラベルを指すものとして、例えば、テレビオン／オフ、番組検索、番組時間検索、番組予約等であってよい。そして、構成要素は、ジャンル、番組名、時間、チャネル名、俳優の名前等であってよい。

例えば、“○○○（放送番組名）は何時から始まる？”というユーザ発話の場合、対話作用は“る？”という質問であってよく、主作用は“始ま”という番組時間の検索であってよい。そして、構成要素は“○○○（放送番組名）”という番組名であってよい。よって、抽出部２２０は、“○○○（放送番組名）は何時から始まる？”というユーザ発話に対するテキスト情報が受信されると、受信されたテキスト情報から対話作用、主作用及び構成要素を含む発話要素を抽出することができる。このような発話要素が抽出されると、制御部２４０は、保存部２３０に保存されたＥＰＧ情報を参照して抽出された発話要素がＥＰＧ情報に関連する要素であるかを判断することができる。このように、ユーザ発話から抽出された発話要素がＥＰＧ情報に関連する要素であると判断されると、制御部２４０は、抽出された発話要素からユーザ発話に対応する応答情報を生成するための条件を満たすかを判断する。

実施形態によって、制御部２４０は、ユーザ発話から抽出された発話要素に対話作用、主作用及び構成要素を全て含む場合、ユーザ発話に対応する応答情報を生成するための条件を満たすかを判断することができる。上述の例で、“○○○（放送番組名）は何時から始まる？”というユーザ発話から抽出された発話要素は、対話作用、主作用及び構成要素を全て含む。この場合、制御部２４０は、ユーザ発話に対応する応答情報を生成するための条件を満たすかを判断することができる。一方、“何時から始まる？”というユーザ発話は、“る？”という対話作用及び“始ま”という主作用に対する発話要素のみを含む。この場合、制御部２４０は、ユーザ発話に対応する応答情報を生成するための条件を全て満たすことができないと判断し、保存部２３０に予め保存された談話履歴情報に基づいて中核要素に対する発話要素を問い合わせる代替応答情報を生成する。例えば、制御部２４０は、“どんな番組のことですか？”という問い合わせ関連応答情報を生成することができる。

このような一連の動作を通じて、ユーザ発話に対応する応答情報を生成するための条件が満たされると、制御部２４０は、保存部２３０に保存されたＥＰＧ情報に基づいてユーザ発話から抽出された発話要素によって、ＥＰＧ情報提供が可能かを判断することができる。判断の結果、発話要素に応じて、ＥＰＧ情報提供が可能であれば、制御部２４０は、ＥＰＧ情報に基づいてユーザ発話に対応する応答情報を生成し、ＥＰＧ情報提供が不可であれば、制御部２４０は、ユーザ発話に関連する代替応答情報を生成することができる。

例えば、“今週放送の○○○（放送番組名）を録画して！”というユーザ発話の場合、発話要素は、“今週”、“○○○（放送番組名）”、“録画”、“して”になる。このような発話要素が抽出されると、制御部２４０は、保存部２３０に保存されたＥＰＧ情報から○○○（放送番組名）に対する番組情報及び開始時間情報を獲得することができる。よって、制御部２４０は、予め獲得した番組情報及び開始時間情報に基づいて、○○○（放送番組名）に対する予約録画関連制御命令及び保存部２３０に予め保存された談話履歴情報に基づいて生成された応答メッセージを含む応答情報を生成することができる。

一方、“○○○（放送番組名）に出てる主人公って誰？”というユーザ発話の場合、発話要素は“○○○（放送番組名）”、“主人公”、“誰”になる。このような発話要素が抽出されると、制御部２４０は、保存部２３０に保存されたＥＰＧ情報から○○○（放送番組名）に対する主人公情報があるかをチェックする。チェックの結果、予め保存されたＥＰＧ情報から○○○（放送番組名）に対する主人公情報の獲得ができない場合、制御部２４０は、ＥＰＧ情報またはウェブサーチを通じて、ユーザ発話に関連する代替情報を受信するかを問い合わせる代替応答情報を生成する。例えば、ＥＰＧ情報から代替情報を受信するというユーザ発話が入力されると、制御部２４０は、予め保存されたＥＰＧ情報から○○○（放送番組名）に対する出演者情報を獲得する。このように、ＥＰＧ情報を通じてユーザ発話に関連する代替情報が獲得されると、制御部２４０は、保存部２３０に予め保存された談話履歴情報に基づいて予め獲得した代替情報を含む代替応答情報を生成することができる。

一方、制御部２４０は、ユーザ発話から抽出された発話要素がＥＰＧ情報に関連する要素である場合、その抽出された発話要素が複数の要求に対するＥＰＧ関連の発話要素であるか判断する。判断の結果、発話要素が複数の要求に対するＥＰＧ関連の発話要素であれば、制御部２４０は、ディスプレイ装置１００でユーザ発話を再要求するための発話要素再要求メッセージを生成することができる。

例えば、“今週放送の○○○（放送番組名）を録画して、△△△（放送番組）を視聴予約して！”というユーザ発話の場合、発話要素は、“今週”、“○○○（放送番組名）”、“△△△（放送番組）”“録画”、“視聴”、“して”になる。このような発話要素が抽出されると、制御部２４０は、抽出された発話要素に複数の要求に対する発話要素（“○○○（放送番組名）”、“△△△（放送番組）”“録画”、“視聴”）があると判断する。よって、制御部２４０は、保存部２３０に予め保存された談話履歴情報に基づいて、“一つだけ要求して下さい”という発話音声再要求メッセージを生成することができる。

一方、ユーザ発話から抽出された発話要素がディスプレイ装置１００の動作制御に関連した発話要素である場合、制御部２４０は、抽出された発話要素に基づいてユーザ発話に対応するディスプレイ装置１００の動作制御が可能か否かを判断する。判断の結果、ディスプレイ装置１００の動作制御が可能であれば、制御部２４０は、ディスプレイ装置１００の動作を制御するための応答情報を生成することができる。

実施形態によって、保存部２３０は、ディスプレイ装置１００の動作を制御することができるマニュアル情報を保存することができる。ここで、マニュアル情報は、ユーザ発話に応じてディスプレイ装置１００の動作を制御することができる情報及びユーザ発話を除く残りの制御命令に応じて、ディスプレイ装置１００の動作を制御することができる情報を含む。よって、制御部２４０は、ディスプレイ装置１００の制御に関連する発話要素が抽出されると、保存部２３０に予め保存されたマニュアル情報に基づいてユーザ発話によって、ディスプレイ装置１００の動作を制御することができるかを判断する。判断の結果、ユーザ発話音声に応じてディスプレイ装置１００の動作を制御することができれば、制御部２４０は、ユーザ発話に対応する動作を行うための制御命令を含む応答情報を生成することができる。

例えば、“ＭＢＣにチャネルを変えて！”というユーザ発話の場合、発話要素は、“ＭＢＣ”、“チャネル”、“変え”であってよい。このような発話要素が抽出されると、制御部２４０は、抽出された発話要素がディスプレイ装置１００の機能制御に関連する発話要素であると判断する。その後、制御部２４０は、保存部２３０に予め保存されたマニュアル情報を参照して抽出された発話要素に応じて、ディスプレイ装置１００のチャネル変更が可能かを判断する。判断の結果、ユーザ発話でディスプレイ装置１００のチャネル変更が可能であれば、制御部２４０は、ディスプレイ装置１００で現在設定されたチャネルをＭＢＣに変えるようにする制御命令を含む応答情報を生成することができる。

一方、判断の結果、ユーザ発話に応じて、ディスプレイ装置１００の動作制御が不可であれば、制御部２４０は、ディスプレイ装置１００の動作制御方法及び現在状態報知のうち、少なくとも一つに関連する応答情報を生成することができる。

例えば、“画面を明るくして！”というユーザ発話の場合、発話要素は、“画面”、“明るく”、“して”が抽出されてよい。このような発話要素が抽出されると、制御部２４０は、ディスプレイ装置１００の機能制御に関連する発話要素であると判断する。その後、制御部２４０は、保存部２３０に予め保存されたマニュアル情報を参照して抽出された発話要素に応じて、ディスプレイ装置１００の画面調整が可能かを判断する。判断の結果、ユーザ発話でディスプレイ装置１００の画面調整が不可であれば、制御部２４０は、保存部２３０に保存されたマニュアル情報を参照してディスプレイ装置１００の画面調整に対する方法の応答情報を生成することができる。

これまで、本発明に係るユーザ発話に適した応答情報を提供する対話型サーバ２００の各構成について詳細に説明してきた。以下では、上述のディスプレイ装置１００でユーザ発話に基づいて動作を行うための制御方法について詳細に説明する。

図６は、本発明の一実施形態に係るディスプレイ装置でユーザ発話に基づいて動作を行うための制御方法のフローチャートである。

図６に示すように、ディスプレイ装置は、ユーザからユーザ発話を収集する（Ｓ６１０）。このようなユーザ発話が収集されると、ディスプレイ装置は収集されたユーザ発話を対話型サーバに伝送する。同時に、ディスプレイ装置は、収集されたユーザ発話に対応する制御情報が予め保存されているか否かを判断する（Ｓ６２０、Ｓ６３０）。判断の結果、収集されたユーザ発話に対応する制御情報が予め保存されていない場合、ディスプレイ装置は、対話型サーバから受信された応答情報に基づいてユーザ発話に対応する動作を行う（Ｓ６４０）。一方、判断の結果、収集されたユーザ発話に対応する制御情報が予め保存されている場合、ディスプレイ装置は、予め保存された制御情報に基づいてユーザ発話に対応する動作を行う（Ｓ６５０）。予め保存された制御情報に基づいてユーザ発話に対応する動作を行う場合、ディスプレイ装置は対話型サーバから受信した応答情報が受信されると、受信した応答情報に基づいて別途の動作を行わないことが望ましい。

一方、本発明の更なる態様によって、ディスプレイ装置は、予め設定された臨界時間内にユーザ発話に関連して獲得した制御情報に基づいてユーザ発話に対応する動作を行わない場合、対話型サーバから受信した応答情報に基づいて、ユーザ発話に対応する動作を行うことができる。

例えば、音量操作のためのユーザ発話が収集されると、ディスプレイ装置は収集されたユーザ発話を対話型サーバに伝送すると同時に、当該ユーザ発話に対応する制御情報が予め保存されているか否かを判断する。判断の結果、ユーザ発話に対応する制御情報が保存されている場合、ディスプレイ装置は、予め保存された制御情報に基づいて音量を調整することができる。すなわち、ディスプレイ装置は、ユーザ発話に対応する制御情報が予め保存されている場合、対話型サーバから応答情報が受信される前に、予め保存された制御情報に基づいて音量を調整することができる。

一方、別の例として、ディスプレイ装置は、ユーザからコンテンツ情報提供のためのユーザ発話を収集することができる。この場合、ディスプレイ装置は収集されたユーザ発話を対話型サーバに伝送すると同時に、収集されたユーザ発話に対応する制御情報が予め保存されているか否かを判断する。判断の結果、ユーザ発話に対応する制御情報が予め保存されていないと判断されると、ディスプレイ装置は対話型サーバから受信した応答情報に基づいてユーザ発話に対応する動作を行うことができる。すなわち、ディスプレイ装置は、対話型サーバから受信した応答情報に基づいてユーザ 発話に対応する応答メッセージを映像及び音声のうち、少なくとも一方で出力したり、ディスプレイ装置の機能を制御することができる。

このように、本発明に係るディスプレイ装置は、対話型サーバから受信した応答情報に基づいてユーザの意図した機能を行うだけでなく、内部的にもユーザ発話に対応する制御情報に基づいてユーザの意図した機能を行うことができる。よって、本発明に係るディスプレイ装置は、ユーザ発話に対応する機能を行ううえでエラーを最小限化するだけでなく、より素早い処理速度でユーザ発話に対応する機能を行うことができる。

以下では、上述のディスプレイ装置で、ユーザ発話に対応する動作を行う方法について、より具体的に説明する。

図７は、本発明の一実施形態に係るディスプレイ装置でユーザ発話に対応する動作を行うための制御方法のフローチャートである。

図７に示すように、ディスプレイ装置は、ユーザ発話が収集されると、収集されたユーザ発話に対応する制御情報が予め保存されているか否かを判断する。判断の結果、ユーザ発話に対応する制御情報が予め保存されている場合、ディスプレイ装置は、当該制御情報を獲得し、獲得した制御情報に確認メッセージがマッチングされているか否かを判断する（Ｓ７１０）。ここで、制御情報は、ユーザ発話のそれぞれに対してディスプレイ装置の機能を予め設定されたターゲット値に調整するための情報である。よって、ディスプレイ装置は、収集されたユーザ発話に対応するターゲット情報が予め保存されているか否かを判断し、ターゲット情報が予め保存されていると判断されると、ターゲット情報とともに確認メッセージがマッチングされているか否かを判断する。

判断の結果、ユーザ発話に対応する制御情報に確認メッセージがマッチングされていると判断されると、ディスプレイ装置は、当該確認メッセージを音声または映像で出力する（Ｓ７２０）。その後、ディスプレイ装置は、確認メッセージを出力した後、追加ユーザ発話が収集されるか否かを判断し、追加ユーザ発話が収集されると、追加ユーザ発話に対応する制御情報を獲得する（Ｓ７３０、Ｓ７４０）。その後、追加ユーザ発話に対応する制御情報が獲得されると、ディスプレイ装置は、獲得した制御情報に基づいてディスプレイ装置の機能を調整する（Ｓ７５０）。一方、上述のステップＳ７１０でユーザ発話に対応して獲得した制御情報に確認メッセージがマッチングされていない場合、ディスプレイ装置は、ステップＳ７５０を通じて、ユーザ発話に対応して獲得した制御情報に基づいてディスプレイ装置の機能を調整することができる。

具体的に、表１で説明しているように、ディスプレイ装置は、音量調整に関連し、ユーザ発話のそれぞれに対する機能調整単位が定量化したテーブルが保存されてよい。このようなテーブルが保存された状態で、ユーザから“音量をとても大きくして”というユーザ発話が収集されると、ディスプレイ装置は、収集されたユーザ発話から音量をとても大きく調整せよというユーザの意図を把握することができる。よって、ディスプレイ装置は、このようなユーザの意図に基づいて、音量調整に関連するテーブルから“現在値＋１０”というターゲット値を獲得する。その後、ディスプレイ装置は、“現在値＋１０”というターゲット値に関連し、確認メッセージがマッチングされているか否かを確認し、確認メッセージがマッチングされていない場合、“現在値＋１０”というターゲット値に基づいて現在設定された音量の大きさを調整することができる。

一方、表２で説明しているように、ユーザから“うるさ過ぎる”というユーザ発話が収集されると、ディスプレイ装置は、収集されたユーザ発話から音量を小さく調整せよというユーザの意図を把握することができる。よって、ディスプレイ装置は、このようなユーザの意図に基づいて、音量調整に関連するテーブルから“現在値−５”というターゲット値を獲得することができる。一方、獲得した“現在値−５”というターゲット値に関連して確認メッセージがマッチングされている場合、ディスプレイ装置は、“音量を下げますか？”という確認メッセージを音声及び映像のうち少なくとも一方で出力する。その後、ディスプレイ装置は、予め設定された臨界時間内に追加ユーザ発話が収集されると、収集された追加ユーザ発話を分析してユーザの意図を把握する。

例えば、表２で説明しているように、ディスプレイ装置は、“うるさ過ぎる”というユーザ発話に関連し、音量調整にお関連するテーブルから“現在値−５”というターゲット値を獲得することができる。一方、獲得したターゲット値に関連して確認っメッセージがマッチングされている場合、ディスプレイ装置は、“音量を下げますか？”という確認メッセージを音声及び映像のうち少なくとも一方で出力する。その後、ディスプレイ装置は、予め設定された臨界時間内に追加ユーザ発話が収集されると、収集された追加ユーザ発話を分析してユーザの意図を把握する。すなわち、ディスプレイ装置は、収集された追加ユーザ発話が応答に対する発話であれば、以前のユーザ発話から獲得したターゲット値に基づいて現在設定された音量を調整することができる。

一方、ユーザ発話に対応するターゲット値に基づいてディスプレイ装置の機能を調整した後、追加ユーザ発話が収集されると、ディスプレイ装置は、収集された追加ユーザ発話に基づいて調整された機能を再調整することができる。

上記の表３で説明しているように、ディスプレイ装置は、以前のユーザ発話に対応するターゲット値に基づいて音量を調整した後、予め設定された臨界時間内にユーザから“音が大き過ぎ”という追加ユーザ発話が収集されてよい。この場合、ディスプレイ装置は、収集された追加ユーザ発話を分析し、調整された音量を再調整せよというユーザの意図と把握することができる。よって、ディスプレイ装置は、音量再調整に関連するテーブルから“現在値−３”というターゲット値を獲得することができる。このようなターゲット値が獲得されると、ディスプレイ装置は、以前のユーザ発話に対応するターゲット値に基づいて調整された音量値を追加ユーザ発話に対応するターゲット値に基づいて再調整することができる。

一方、上述のように、ディスプレイ装置は、ユーザ発話が収集されると、収集されたユーザ発話に対応する制御情報が予め保存されているか否かを判断すると同時に、対話型サーバにユーザ発話を伝送する。よって、対話型サーバは、ディスプレイ装置から受信したユーザ発話に基づいて応答情報を生成し、生成された応答情報をディスプレイ装置に伝送する。このような対話型サーバは、ディスプレイ装置から収集されたユーザ発話をテキスト情報に変換する第１サーバ及びテキスト情報に変換されたユーザ発話に対応する応答情報を生成する第２サーバとを含んでよい。具体的に、ディスプレイ装置は、ユーザ発話が収集されると、第１サーバに収集されたユーザ発話をデジタル信号に変換して伝送する。その後、第１サーバからユーザ発話に関するテキスト情報が受信されると、ディスプレイ装置は、受信したテキスト情報を第２サーバに伝送する。しかし、本発明はそれに限定されず、第１サーバは、ユーザ発話に関するテキスト情報を生成した後、第２サーバに伝送することができる。よって、第２サーバは、ディスプレイ装置或いは第１サーバから受信したテキスト情報に基づいて応答情報を生成し、生成された応答情報をディスプレイ装置に伝送する。

よって、ディスプレイ装置は、収集されたユーザ発話に対応する制御情報が予め保存されていない場合、対話型サーバの第２サーバから受信した応答情報に基づいてユーザ発話に対応する応答メッセージを出力するか、またはユーザ発話に対応する機能を制御することができる。

これまで、本発明について、その好適な実施形態を中心に説明してきた。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ 第１サーバ
２０ 第２サーバ
２０ 対話型サーバ
３０ 外部機器
１００ ディスプレイ装置
１１０ 音声収集部
１２０ 通信部
１３０ 保存部
１４０ 制御部
１５０ 入力部
１６０ 出力部
１６１ ディスプレイ部
１６３ オーディオ出力部
２００ 対話型サーバ
２１０ 通信部
２２０ 抽出部
２３０ 保存部
２４０ 制御部
３００ 外部機器

Claims (14)

1. ユーザ発話を収集する音声収集部と、
   前記ユーザ発話を対話型サーバに伝送し、前記ユーザ発話に基づいて生成された対応する応答情報を受信する通信部と、
   ユーザ発話のそれぞれに対応する制御情報を保存する保存部と、
   前記収集されたユーザ発話を前記対話型サーバに伝送しつつ、前記収集されたユーザ発話に対応する制御情報が前記保存部に保存されているか否かを判断する制御部と
   を含み、
   前記制御部は、
   前記収集されたユーザ発話に対応する制御情報が前記保存部に保存されている場合、保存された制御情報に基づいて前記ユーザ発話に対応する動作を行い、前記保存部に保存されていない場合、前記対話型サーバから受信された応答情報に基づいて前記ユーザ発話に対応する動作を行うディスプレイ装置。
2. 前記制御部は、
   予め設定された臨界時間内に前記保存部に保存された制御情報に基づいて、前記ユーザ発話に対応する動作が行われない場合、前記対話型サーバから受信した応答情報に基づいて、前記ユーザ発話に対応する動作を行うことを特徴とする請求項１に記載のディスプレイ装置。
3. 映像及び音声を出力する出力部を更に含み、
   前記保存部は、
   前記ユーザ発話のそれぞれに関する制御情報のうち、少なくとも一つの制御情報に確認メッセージをマッチングさせて保存し、
   前記制御部は、
   前記収集されたユーザ発話に対応する制御情報に確認メッセージがマッチングされている場合、前記出力部を介して前記確認メッセージを出力し、追加ユーザ発話が収集されると、前記制御情報に基づいて前記ディスプレイ装置の機能を制御することを特徴とする請求項１に記載のディスプレイ装置。
4. 前記制御情報は、
   ユーザ発話のそれぞれに対して、前記ディスプレイ装置の機能を予め設定されたターゲット値に調整するための情報であることを特徴とする請求項３に記載のディスプレイ装置。
5. 前記制御部は、
   前記ディスプレイ装置の機能が前記予め設定されたターゲット値に調整された後、追加ユーザ発話が収集されると、前記ディスプレイ装置の機能を再調整することを特徴とする請求項４に記載のディスプレイ装置。
6. 前記応答情報は、
   前記ユーザ発話に対応する応答メッセージまたは前記ディスプレイ装置の機能を制御するための制御命令のうちの一つであることを特徴とする請求項３に記載のディスプレイ装置。
7. 前記対話型サーバは、
   前記収集されたユーザ発話をテキスト情報に変換する第１サーバと、前記テキスト情報に変換されたユーザ発話に対応する応答情報を生成する第２サーバとを含み、
   前記制御部は、
   前記収集されたユーザ発話をデジタル信号に変換して前記第１サーバに伝送し、前記第１サーバから前記ユーザ発話に関するテキスト情報が受信されると、前記テキスト情報を前記第２サーバに伝送し、前記ユーザ発話に対応する応答情報を受信することを特徴とする請求項１に記載のディスプレイ装置。
8. ディスプレイ装置の制御方法において、
   ユーザ発話を収集するステップと、
   前記収集されたユーザ発話を対話型サーバに伝送しつつ、前記収集されたユーザ発話に対応する制御情報が予め保存されているか否かを判断するステップと、
   前記判断の結果、前記収集されたユーザ発話に対応する制御情報が予め保存されている場合、前記予め保存された制御情報に基づいて、前記ユーザ発話に対応する動作を行い、予め保存されていない場合、前記対話型サーバから受信された応答情報に基づいて前記ユーザ発話に対応する動作を行うステップと
   を含む制御方法。
9. 前記判断するステップの後、前記対話型サーバから前記収集されたユーザ発話に対応する応答情報を受信するステップを更に含み、
   前記動作を行うステップは、
   予め設定された臨界時間内に予め保存された前記制御情報に基づいて、前記ユーザ発話に対応する動作が行われない場合、前記応答情報に基づいて、前記ユーザ発話に対応する動作を行うことを特徴とする請求項８に記載の制御方法。
10. 前記動作を行うステップは、
    前記収集されたユーザ発話に対応する制御情報に確認メッセージがマッチングされている場合、前記確認メッセージを出力し、追加ユーザ発話が収集されると、前記制御情報に基づいて前記ディスプレイ装置の機能を制御することを特徴とする請求項８に記載の制御方法。
11. 前記制御情報は、
    ユーザ発話のそれぞれに対して、前記ディスプレイ装置の機能を予め設定されたターゲット値に調整するための情報であることを特徴とする請求項１０に記載の制御方法。
12. 前記動作を行うステップは、
    前記ディスプレイ装置の機能が前記予め設定されたターゲット値に調整された後、追加ユーザ発話が収集されると、前記収集された追加ユーザ発話に対応する制御情報に基づいてディスプレイ装置の機能を再調整することを特徴とする請求項９に記載の制御方法。
13. 前記応答情報は、
    前記ユーザ発話に対応する応答メッセージまたは前記ディスプレイ装置の機能を制御するための制御命令のうちの一つであることを特徴とする請求項１０に記載の制御方法。
14. 前記対話型サーバは、
    前記収集されたユーザ発話をテキスト情報に変換する第１サーバと、前記テキスト情報に変換されたユーザ発話に対応する応答情報を生成する第２サーバとを含み、
    前記動作を行うステップは、
    前記収集されたユーザ発話をデジタル信号に変換して前記第１サーバに伝送し、前記第１サーバから前記ユーザ発話に関するテキスト情報が受信されると、前記テキスト情報を前記第２サーバに伝送し、前記ユーザ発話に対応する応答情報を受信することを特徴とする請求項８に記載の制御方法。

Images