JP6236303B2 - 制御装置、制御方法およびプログラム - Google Patents

Description

本発明は、１つ以上の電子機器を制御するための制御装置に関し、特に、エアコン、パワーウィンドウ等の車載機器の制御をユーザとのインタラクションによって行う制御装置に関するものである。

従来、エアコン、オーディオ等の様々な車載機器を、ユーザの音声入力によって操作するための制御装置が提案されている。例えば、特許文献１に記載された装置は、制御対象機器に対応させて専用の語彙が登録されている複数の音声認識辞書を有している。そして、発話者が視聴している情報のソースに対応した専用の音声認識辞書を選択し、選択した辞書を用いて音声認識を行うことによって、発話内容に対する認識率を高める技術が記載されている。

特開２００７−２８６１３６号公報

特許文献１に記載の技術は、要するに、発話者が視聴している情報のソースと、各語彙の意味とから、ユーザがどの機器に対してどのような操作を意図しているかを特定して、操作を実行するものである。したがって、ユーザの発話内容が、いわゆる音声コマンドほど明瞭でなくても、ユーザの操作意図に即した適切な操作を行うことができる。しかし、特許文献１に記載の技術では、発話者が視聴している情報のソースとは無関係な機器の制御を意図する場合、発話者の操作意図を正しく理解して、適切な機器制御を行うことはできない。

また、ユーザが、各車載機器がどのような機能を有しているのかを知らないために、あるいは、各機能を実現するための操作方法を知らないために、発話に含まれるユーザの操作意図が曖昧となる場合がある。このような場合には、発話からユーザの操作意図を把握して的確に機器制御を行うことが困難であった。

本発明は、上記の問題に鑑みてなされたものであり、ユーザの意図に沿って電子機器の制御を行うことができる制御装置を提供することを目的とする。

本発明の制御装置は、ユーザの入力クエリに応じて、少なくとも１つの電子機器の制御を行う制御装置であって、ユーザから入力クエリを受け付ける入力クエリ受付部と、前記入力クエリに対して、前記ユーザに対する質問と、前記質問に対する前記ユーザの回答候補と、各電子機器に対する制御内容とが対応付けられた対話モデルが記憶された対話モデル記憶部と、ユーザ周辺の環境データを取得する環境データ取得部と、前記環境データに基づいて、前記対話モデルにおいて前記入力クエリに対応する質問及びその回答候補に対応付けられた各制御内容が実行された場合における所定時間経過後の前記ユーザ周辺の環境予測データを算出する環境予測データ算出部と、前記環境予測データに基づいて前記各制御内容を実行した場合におけるユーザの周辺環境の快適度を示すデータを算出し、前記対話モデル記憶部に記憶された前記対話モデルを参照して、前記快適度を示すデータを最大化する制御内容に対応する質問を選択する質問選択部と、前記質問選択部にて選択された質問を出力する出力部と、出力された前記質問に対する前記ユーザの回答に応じて、前記制御内容の実行を指示する制御信号を前記電子機器に送信する制御信号送信部とを備えた構成を有している。

この構成により、ユーザから入力クエリを受け付けると、ユーザ周辺の環境がより快適になると予測されるアクチュエーション（制御内容）が特定され、その制御内容に対応付けられた質問が選択されて、クエリを入力したユーザに出力される。そして、出力された質問に対するユーザの回答に応じて、電子機器の操作が実行される。通常、ユーザは、周辺環境が快適になることを望んでいると考えられる。したがって、ユーザの入力クエリに明確な操作指示が含まれなくても、適切な対話を通じて、ユーザの周辺環境がより快適になるような操作をユーザの操作意図として特定し、、車載機器の制御を行うことができる。なお、環境データとは、例えば、温度、湿度、花粉濃度等、環境状態を示す計測可能なデータをいい、環境予測データとは、環境データの予測値をいう。また、環境データ及び環境予測データの具体的数値については、その環境状態の人体にとっての快適度を数値により評価することができる。

本発明の制御装置において、前記快適度を示すデータは、理想環境データ記憶部に記憶された理想環境データと、各前記環境予測データとの距離に基づいて算出されてよい。

この構成によれば、快適度を示すデータは、理想環境データと環境予測データとの距離に基づき客観的に表すことができる。したがって、快適度を適切に比較することができ、ユーザの周辺環境をより快適にするために適切な質問を選択することができる。

本発明の制御装置において、前記理想環境データ記憶部には、時期に応じて異なる複数の理想環境データが記憶され、前記快適度を示すデータは、時期に応じて選択された前記理想環境データと前記環境予測データとの距離に基づいて算出されてよい。

この構成によれば、同じ環境予測データが算出されても、時期に応じて異なる快適度を示すデータが算出され得る。したがって、ユーザ周辺の環境が快適となる制御内容をより精度よく特定することができ、より適切な質問を選択することができる。

本発明の制御装置において、前記理想環境データ記憶部には、前記ユーザごとに異なる複数の理想環境データが記憶され、前記快適度を示すデータは、ユーザごとに選択された前記理想環境データと前記環境予測データとの距離に基づいて算出されてよい。

この構成によれば、同じ環境予測データが算出されても、ユーザに応じて異なる快適度を示すデータが算出され得る。したがって、当該ユーザにとって、周辺環境が快適となる制御内容をより精度よく特定することができ、より適切な質問を選択することができる。

本発明の制御装置において、前記電子機器の制御ステータスを確認する制御ステータス確認部をさらに備え、前記質問選択部は、前記制御ステータスに応じて、前記対話モデル記憶部に記憶された前記対話モデルにおいて、前記電子機器に対して命令可能な制御内容を特定し、前記環境予測データ算出部は、前記質問選択部にて特定された制御内容について前記環境予測データを算出してよい。

この構成によれば、電子機器の制御ステータスに応じて抽出された制御内容に対応する質問が、質問選択の対象となる。したがって、電子機器のステータスによっては不適切である質問を除外し、ユーザに対してより適切な質問を出力することができる。

本発明の制御装置において、前記入力クエリを前記電子機器を制御するためのコマンドに変換する入力クエリ変換部をさらに備え、前記質問選択部は、前記入力クエリ変換部にて、前記入力クエリが前記コマンドに変換できない場合に、前記ユーザに対して出力すべき質問を選択してよい。

ユーザの入力クエリがコマンドに変換可能な場合とは、言い換えれば、入力クエリにユーザの明確な操作意図が含まれている場合である。すなわち、この構成により、ユーザの操作意図を明確にできない場合にのみ、ユーザとの対話が行われることになる。したがって、機器制御のためのユーザの負担を低減させることができる。

本発明の制御装置において、前記質問選択部は、前記各質問に対する前記ユーザの回答容易性を示すデータを算出し、前記快適度を示すデータと前記回答容易性を示すデータとの和を最大化する制御内容に対応する前記質問を選択してよい。

この構成によれば、ユーザが回答容易である質問が選択されることになる。回答容易であるとは、ユーザが出力された質問に対して回答する際の負担が小さいということを意味する。したがって、この構成によれば、ユーザに負担をかけることなく、対話を通じて、周辺環境がより快適となるように、機器の制御を行うことができる。

本発明の制御装置において、前記回答容易性を示すデータは、前記各質問に対する前記回答候補の数に基づいて算出されてよい。

一般に、回答候補の数が少ないほど、ユーザはその質問に対して、容易に回答することができると考えらえる。したがって、この構成によれば、簡易かつ的確に、回答容易性を示すデータ算出及び質問の選択を行うことができる。

本発明の制御装置において、前記回答容易性を示すデータは、前記各質問を含む、前記各質問に至るまでに前記ユーザに出力すべき質問の総数に基づいて算出されてよい。

ユーザとの対話を繰り返すことになる質問は、ユーザにとって煩雑であり、回答容易でないと考えられる。したがって、この構成によれば、簡易かつ的確に、回答容易性を示すデータの算出及び質問の選択を行うことができる。

本発明の制御装置において、前記回答候補には、前記電子機器の制御のための対話のキャンセルが含まれ、前記対話モデルにおいては、前記キャンセルの確率と前記質問とが対応付けて記憶され、前記質問選択部は、前記キャンセルの確率の低さを示すデータを算出し、前記快適度を示すデータと前記キャンセルの確率の低さを示すデータとの和を最大化する制御内容に対応する前記質問を選択してよい。

電子機器の制御のための対話がキャンセルされるのは、ユーザに対して出力された質問が適切でなかったためであると考えられる。したがって、キャンセルの確率に基づいて質問を選択することで、ユーザの操作意図に沿った適切な対話を通じて、周辺環境がより快適となるような車載機器の操作に、ユーザを誘導することができる。

本発明の別の態様の制御装置は、ユーザの入力クエリに応じて、少なくとも１つの電子機器の制御を行う制御装置であって、ユーザから入力クエリを受け付ける入力クエリ受付部と、前記入力クエリに対して、前記ユーザに対する質問と、前記電子機器の制御のための対話のキャンセルを含む前記質問に対する前記ユーザの回答候補と、各電子機器に対する制御内容とが対応付けられた対話モデルが記憶された対話モデル記憶部と、ユーザ周辺の環境データを取得する環境データ取得部と、前記環境データに基づいて、前記対話モデルにおいて前記入力クエリに対応する質問及びその回答候補に対応付けられた各制御内容が実行された場合における所定時間経過後の前記ユーザ周辺の環境予測データを算出する環境予測データ算出部と、前記環境予測データに基づく前記各制御内容を実行した場合におけるユーザの周辺環境の快適度を示すデータと、前記各質問に対する前記ユーザの回答容易性を示すデータと、前記対話モデルにおいて前記質問と対応付けて記憶されるキャンセルの確率に基づく前記キャンセルの確率の低さを示すデータとを算出し、前記快適度を示すデータと前記回答容易性を示すデータと前記キャンセルの確率の低さを示すデータとの和を最大化する制御内容に対応する質問を選択する質問選択部と、前記質問選択部にて選択された質問を出力する出力部と、出力された前記質問に対する前記ユーザの回答に応じて、前記制御内容の実行を指示する制御信号を前記電子機器に送信する制御信号送信部とを備えた構成を有している。

この構成によれば、ユーザに対して提示される質問が、ユーザの周辺環境の快適度、質問に対する回答容易性、対話キャンセル確率という異なる指標の総合評価により決定される。したがって、ユーザに対して提示すべき質問の適切性を精度よく判断することができる。

本発明の制御方法は、ユーザの入力クエリに応じて、少なくとも１つの電子機器の制御を行う制御方法であって、ユーザから入力クエリを受け付けるステップと、ユーザ周辺の環境データを取得するステップと、対話モデル記憶部に記憶された、前記入力クエリに対して、前記ユーザに対する質問と、前記質問に対する前記ユーザの回答候補と、各電子機器に対する制御内容とが対応付けられた対話モデルにおいて、前記各制御内容が実行された場合における所定時間経過後の前記ユーザ周辺の環境予測データを前記環境データに基づいて算出するステップと、前記環境予測データに基づいて前記各制御内容を実行した場合におけるユーザの周辺環境の快適度を示すデータを算出し、前記対話モデル記憶部に記憶された前記対話モデルを参照して、前記快適度を示すデータを最大化する制御内容に対応する質問を選択するステップと、前記質問選択部にて選択された質問を出力するステップと、出力された前記質問に対する前記ユーザの回答に応じて、前記制御内容の実行を指示する制御信号を前記電子機器に送信するステップとを備える。

この構成により、適切な対話を通じてユーザの操作意図を特定し、ユーザの周辺環境がより快適になるように、電子機器の制御を行うことができる。なお、本発明の制御方法に、上述した制御装置の各構成を適用することも可能である。

本発明のプログラムは、ユーザの入力クエリに応じて、少なくとも１つの電子機器の制御を行うためのプログラムであって、コンピュータに、ユーザから入力クエリを受け付けるステップと、ユーザ周辺の環境データを取得するステップと、対話モデル記憶部に記憶された、前記入力クエリに対して、前記ユーザに対する質問と、前記質問に対する前記ユーザの回答候補と、各電子機器に対する制御内容とが対応付けられた対話モデルにおいて、前記各制御内容が実行された場合における所定時間経過後の前記ユーザ周辺の環境予測データを前記環境データに基づいて算出するステップと、前記環境予測データに基づいて前記各制御内容を実行した場合におけるユーザの周辺環境の快適度を示すデータを算出し、前記対話モデル記憶部に記憶された前記対話モデルを参照して、前記快適度を示すデータを最大化する制御内容に対応する質問を選択するステップと、前記質問選択部にて選択された質問を出力するステップと、出力された前記質問に対する前記ユーザの回答に応じて、前記制御内容の実行を指示する制御信号を前記電子機器に送信するステップとを実行させる。

この構成により、適切な対話を通じてユーザの操作意図を特定し、ユーザの周辺環境がより快適になるように、電子機器の制御を行うことができる。なお、本発明のプログラムに、上述した制御装置の各構成を適用することも可能である。

本発明によれば、ユーザ周辺の環境がより快適になると予測される制御内容が特定され、その制御内容に対応付けられた質問が選択されて、クエリを入力したユーザに出力されるので、対話を通じてユーザの操作意図を特定し、ユーザの周辺環境がより快適になるように、電子機器の制御を行うことができる。

本発明の第１の実施の形態における制御装置の構成を示すブロック図 入力クエリ変換チャート記憶部に記憶される変換チャートの例を示す図 本発明の第１の実施の形態における対話モデル記憶部に記憶される対話モデルの例を示す図 理想環境データ記憶部に記憶される理想環境データの例と環境予測データ算出部にて算出された環境予測データの例を示す図 本発明の第１の実施の形態における制御装置の動作フロー図 本発明の第１の実施の形態における制御装置の質問選択処理の流れを示すフロー図 本発明の第２の実施の形態における制御装置の質問選択処理の流れを示すフロー図 本発明の第３の実施の形態における対話モデル記憶部に記憶される対話モデルの例を示す図 本発明の第３の実施の形態における制御装置の質問選択処理の流れを示すフロー図

以下、本発明の実施の形態の制御装置について、図面を参照しながら説明する。

（第１の実施の形態）
図１は、第１の実施の形態の制御装置１の構成を示す図である。制御装置１は、エアコン５１、パワーウィンドウ５２、オーディオ５３、ナビゲーション装置５４等の車載機器５０に接続されている。制御装置１は、車両内に搭載され、車載機器５０に制御信号を送信し、車載機器５０の制御を行う。

本実施の形態の制御装置１は、ユーザから入力された音声クエリに対して、ユーザに質問を出力し、ユーザとの音声対話を通じて、車載機器の制御に関するユーザの意図を明確化するための構成として、マイク１０と、スピーカ１１と、制御部２０と、入力クエリ変換チャート記憶部３０と、対話モデル記憶部３１と、理想環境データ記憶部３２と、通信インターフェース４０とを有している。マイク１０は、ユーザの発話を制御部２０に出力する。制御部２０は、マイク１０を介して入力されたユーザの発話を車載機器５０の操作を行うための入力クエリとし、入力クエリ変換チャート記憶部３０、対話モデル記憶部３１、理想環境データ記憶部３２を参照して、ユーザの操作意図を明確にするための質問を選択する。制御部２０は、また、マイク１０を介して入力された、質問に対するユーザの回答に応じて、車載機器５０に通信インターフェース４０を介して制御信号を送信する。スピーカ１１は、制御部２０にて選択された質問を、ユーザに対して音声で出力する。

制御部２０は、音声認識部２１と、入力クエリ変換部２２と、車載機器ステータス確認部２３と、環境データ取得部２４と、環境予測データ算出部２５と、質問選択部２６と、制御信号送信部２７とを有する。制御部２０が有するこれらの機能は、図示しないＲＯＭ等に記憶されたプログラムを実行することによって実現される。制御部２０の機能を実現するプログラムも本発明の範囲に含まれる。

音声認識部２１は、入力されたユーザの発話について、音声認識を行う。音声認識部２１は、認識されたユーザの発話が音声コマンドに該当する場合には、その音声コマンドを制御信号送信部２７に出力する。音声コマンドとは、制御対象機器及び制御内容が、それ自体から明確な音声入力である。制御信号送信部２７は、音声コマンドに対応する制御信号を、通信インターフェース４０を介して車載機器５０に送信する。音声認識部２１は、認識されたユーザの発話が音声コマンドに該当しない場合には、認識内容を入力クエリ変換部２２に出力する。入力クエリ変換部２２は、音声コマンドに該当しないユーザの発話（入力クエリ）について、入力クエリ変換チャート記憶部３０に記憶されるデータを参照して、入力クエリを音声コマンドまたは標準クエリに変換する。入力クエリ変換部２２は、入力クエリから変換された音声コマンドは制御信号送信部２７に出力し、入力クエリから変換された標準クエリは質問選択部２６に出力する。このように、本実施の形態では、ユーザの音声クエリを、ａ）語意及び操作意図が明確な音声コマンド、ｂ）語意は音声コマンドほど直接的ではないが、操作意図が明確な音声クエリ、ｃ）語意も操作意図もあいまいな音声クエリの３つに分け、制御装置１は、ｂ）については、音声コマンドに変換し、ｃ）については、音声対話を通じて、適切な機器操作に誘導するために、質問選択部２６にてユーザに出力すべき質問を選択する。

図２は、入力クエリ変換チャート記憶部３０に記憶された入力クエリ変換チャートの例を示す図である。例えば、「空調つけて」、「エアコン後ろ切って」という入力クエリからは、ユーザの操作意図（制御対象機器及び操作内容）を一義的に特定することができるので、これらの入力クエリには、それぞれ「エアコン／オン」、「エアコン／後方送風／オフ」という音声コマンドが対応付けられている。一方、「暑い」、「あちー」、「暑いよー」という入力クエリに対しては、例えば、窓を開ける、エアコンをつけるなどの複数の選択肢があり、ユーザの操作意図を特定することができないため、音声コマンドは対応付けられず、代わりに、「暑い」という標準クエリが対応付けられている。なお、標準クエリとは、同じ意味を持つ複数の入力クエリの代表的表現である。

図１に戻り、車載機器ステータス確認部２３は、車載機器５０の制御状態（オン／オフ、設定温度、ボリューム等）を確認し、質問選択部２６に出力する。質問選択部２６は、対話モデル記憶部３１に記憶される対話モデルから、車載機器５０の状態に基づいて、標準クエリに対応するアクチュエーション（制御内容）を抽出し、環境予測データ算出部２５に出力する。

図３は、対話モデル記憶部３１に記憶される対話モデルの例を示す図である。対話モデルは、標準クエリから車載機器に対するアクチュエーション（制御内容）までの経路を、ユーザへの質問及びそれに対するユーザからの回答候補と対応付けて列挙したデータベースである。図３に示すように、「暑い」という標準クエリに対しては、Ｑ１「現在の設定温度はｘ度ですが、何度下げますか？」、Ｑ２「エアコンをつけますか？」、Ｑ３「窓をどのくらいあけますか？」という、ユーザに対する３つの質問が対応付けられており、３つの質問には、それぞれの質問に対するユーザからの回答候補が対応付けられている。また、ユーザからの回答候補のそれぞれには、アクチュエーションが対応付けられている。

上述のように、制御装置１は、ユーザの操作意図を明確にするために、音声クエリを入力したユーザに対して質問を提示し、ユーザとの音声対話を行う。したがって、いかに適切な質問をユーザに対して提示するかが重要である。本実施の形態では、「適切な質問」を、最終的にユーザの意図する結果に導くことができる質問と捉え、このような質問を選択する。より具体的には、ユーザの周辺環境を快適にする操作にたどり着ける質問を選択する。これは、通常、ユーザは、周辺環境をより快適にする操作を意図していると考えられるためである。

再び図１に戻り、環境データ取得部２４は、図示しない温度計や湿度計、匂いセンサ、花粉センサ等からのセンシングデータを取得して、環境予測データ算出部２５に出力する。環境予測データ算出部２５は、環境データ取得部にて取得されたセンシングデータに基づき、質問選択部２６にて抽出されたアクチュエーションを実行した場合における所定時間経過後の環境予測データをアクチュエーションごとに算出する。環境予測データとは、車両内環境を示すデータの予測値である。環境予測データは、所定の計算式によって算出されてもよいし、統計データに基づき、最頻値等の代表値を用いてもよい。

質問選択部２６は、理想環境データ記憶部３２を参照し、環境予測データと、理想環境データとの距離とを用いて算出される、ユーザの周辺環境の快適度を示すデータを最も大きくするアクチュエーションに対応する質問を選択する。質問選択部２６は、また、特定されたアクチュエーションに対応する質問を音声データとしてスピーカ１１に出力する。

ここで、理想環境データ記憶部３２に記憶されている理想環境データとは、ユーザの身体にとって快適と評価される車両内環境を示すデータであり、温度、湿度、匂いの強弱を示す数値、花粉濃度、風量等の１つ以上のパラメータを用いて表される。ただし、花粉濃度のように、特定の時期においてのみ、重要性を持つパラメータもある。また、ユーザの身体にとって快適な温度や湿度は、季節によって変わり得る。したがって、理想環境データ記憶部２３に記憶される理想環境データは、時期ごとに、パラメータの数も異なり得るとともに、各パラメータの数値も異なり得る。これに対応して、環境データ取得部２４にて取得される環境データの種類及び環境予測データ算出部２５にて算出される環境予測データの種類も、時期に応じて異なり得る。

図４は、理想環境データ記憶部３２に記憶される理想環境データと環境予測データ算出部にて算出された環境予測データの例を示す図である。図４の理想環境データＣ_iは、４月における理想環境データであり、温度、匂い、花粉濃度のパラメータからなる。また、Ｃ_pAは、アクチュエーションＡが実行された場合における環境予測データであり、Ｃ_pBは、アクチュエーションＢが実行された場合における環境予測データである。Ｃ_pAとＣ_pBとを比較すると、Ｃ_pAの方が、Ｃ_iとの距離が近い。これは、アクチュエーションＡを実行した方が、車両内環境がより快適となることを意味する。つまり、Ｃ_pAの方が、快適度を示すデータも大きくなる。したがって、質問選択部２６は、アクチュエーションＡに対応する質問を選択する。

より具体的には、快適度を示すデータはＳ_a（Ｑ）で表され、次式により求められる。

ここで、γは所定の係数値である。また、Ｃ_pは環境予測データ、Ｃ_iは理想環境データである。

次に、第１の実施の形態の制御装置１の動作について説明する。図５は、制御装置１の動作フロー図である。制御装置１は、まず、ユーザの入力クエリに対して音声認識処理を行い、音声コマンドに該当するか否かを判断する（ステップＳ１１）。ユーザの入力クエリが音声コマンドに該当する場合には（ステップＳ１１にてＹｅｓ）、制御装置１は、車載装置５０に対して制御信号を送信する（ステップＳ１２）。ユーザの入力クエリが音声コマンドに該当しない場合でも（ステップＳ１１にてＮｏ）、入力クエリ変換チャートを用いて音声コマンドに変換可能な場合は（ステップＳ１３にてＹｅｓ）、音声コマンドに変換して（ステップＳ１４）、制御信号を送信する。

一方、ユーザの発話が音声コマンドに変換できない場合（ステップＳ１３にてＮｏ）、制御装置１は、ユーザの入力クエリを標準クエリに変換して（ステップＳ１５）、標準クエリからユーザの操作意図を特定するために、ユーザに対して出力する質問を選択する（ステップＳ１６）。ステップＳ１６の処理については、後述する。ステップＳ１６にて選択された質問はユーザに対して出力される（ステップＳ１７）。続いて、ユーザからの回答を取得し（ステップＳ１８）、次の質問がなければ（ステップＳ１９にてＮｏ）取得したユーザからの回答に基づいて車載機器５０に対するアクチュエーションを特定し、制御信号を送信する。次の質問があれば（ステップＳ１９にてＹｅｓ）、質問選択処理（ステップＳ１６）を繰り返す。なお、ステップＳ１８にて取得したユーザの回答に基づき、まずは車載機器５０に対して制御信号を送信（ステップＳ１２）した後に、次の質問の有無を判断してもよい。

図６は、図５のステップＳ１６の質問選択処理の流れを示すフロー図である。まず、制御機器装置１は、車載機器５０のステータスを確認し（ステップＳ１６１）、対象アクチュエーションを抽出する（ステップＳ１６２）。例えば、取得した標準クエリが「暑い」であった場合、ステップＳ１６１にて、エアコンがオフとなっていることが確認されると、図３の対話モデルにおいて、「設定温度はｘ度ですが、何度下げますか？」という質問は不適切である。したがって、この質問から派生する経路は無視され、「エアコンをつけますか？」及び「窓をどのくらい開けますか？」という質問から派生するアクチュエーションが抽出されることになる。

図６に戻り、制御装置１は、次に、抽出された各アクチュエーションが実行された場合における、環境予測データを算出し（ステップＳ１６３）、アクチュエーションごとにＳ_a（Ｑ）を算出する（ステップＳ１６４）。そして、制御装置１は、算出されたＳ_a（Ｑ）が最も大きくなるアクチュエーションに対応する質問を、出力すべき質問として決定する（ステップＳ１６５）。

ステップＳ１６１からステップＳ１６５までの処理により、図３に示すような対話モデルから出力されるべき質問が選択される。例えば、標準クエリが「暑い」であったとすると、図３において、対応する質問はＱ１からＱ３の３つあるが、エアコンがオフ状態であった場合、Ｑ２及びＱ３から続くアクチュエーションＡ４からＡ７が抽出される。アクチュエーションＡ４、Ａ６、Ａ７のＳ_a（Ｑ）が、それぞれ、０．８、０．５、０．３であったとすると、アクチュエーションＡ４に対応する質問Ｑ２が選択される。

以上、説明したように、第１の実施の形態の制御装置１は、ユーザの入力クエリが音声コマンドに該当しないか、または、音声コマンドに変換することができない場合、入力クエリに対応する各アクチュエーションごとに環境予測データを算出する。そして、環境予測データと理想環境データとの距離に基づいて、所定時間経過後のユーザの周辺環境の快適度を示すＳ_a（Ｑ）値を算出し、Ｓ_a（Ｑ）値が最大となるアクチュエーションに対応する質問を選択する。したがって、入力クエリを音声コマンドに変換することができない場合も、ユーザの操作意図を特定し、車両内環境がより快適になるように、車載機器の制御を行うことができる。

また、上記の実施の形態では、車載機器の制御ステータスに応じて対象となるアクチュエーション及び質問を絞り込むため、ユーザに対してより適切な質問を出力することができる。

なお、第１の実施の形態では、Ｓ_a（Ｑ）が最も大きくなるアクチュエーションに対応する質問を、出力すべき質問として決定する場合について説明したが、１つの質問について複数のＳ_a（Ｑ）値が算出される場合（すなわち、１つの質問について、複数の回答候補及びアクチュエーションが対応付けられる場合）、Ｓ_a（Ｑ）値の平均値等、分布状態を考慮した代表値の比較により、質問を選択してもよい。また、対象アクチュエーション抽出処理を行わなくてもよく、その場合、車載機器のステータスを確認しなくてよい。

また、上記の実施の形態では、理想環境データ記憶部には、時期ごとに異なる理想環境データが記憶される場合について説明したが、同一の理想環境データが記憶されていてもよい。また、例えば、花粉症のユーザのみ、花粉濃度もパラメータに含めるなど、ユーザごとに異なる理想環境データが記憶されていてもよい。

また、第１の実施の形態では、ユーザの入力クエリが音声データである場合について説明したが、ユーザの入力クエリはテキストデータ等であってもよい。さらに、上記の実施の形態では、制御装置１がエアコン又はパワーウィンドウの制御を行う場合について説明したが、オーディオやナビゲーション装置等の他の車載機器の制御を行ってもよいし、車載機器以外の電子機器を制御してもよい。

（第２の実施の形態）
次に、本発明の第２の実施の形態の制御装置について説明する。第２の実施の形態の制御装置も、ユーザの操作意図を明確にするためにユーザに質問を提示して対話を行うが、第２の実施の形態では、ユーザに対して出力すべき適切な質問の要素として、さらに、ユーザの負担にならない質問であるか否かも考慮する。第２の実施の形態の制御装置の構成は、第１の実施の形態の制御装置の構成と同じである。しかし、第２の実施の形態の制御装置の質問選択部２６は、さらに、出力された質問に対するユーザの回答容易性を示すデータＳ_d（Ｑ）を算出する。質問の回答容易性を示すデータＳ_d（Ｑ）は、ユーザが出力された質問に対して容易に回答できるか否かを示す指標であり、値が大きいほどユーザへの負担が小さく、回答容易であることを意味する。そして、Ｓ_a（Ｑ）とＳ_d（Ｑ）とに基づいて、次式により、Ｓ_a（Ｑ）とＳ_d（Ｑ）の和を最大にする質問Ｑを選択する。

ここで、Ｓ_d（Ｑ）は、次式により求められる。
上式において、α、βは、所定の係数値、Ｃ_nは、ユーザの回答候補数、Ｑ_nは、その質問を含む経路に含まれる質問総数（当該質問を含む）である。つまり、回答候補数が多いほどＳ_d（Ｑ）は小さくなる。これは、回答候補数が多いほど、ユーザが回答までに多くのことを考えなければならないと想定されるためである。具体的には、はい／いいえで答えられる質問は、Ｓ_d（Ｑ）が大きくなり、回答の自由度の高い質問は、Ｓ_d（Ｑ）が小さくなる。また、質問総数が大きいほど、Ｓ_d（Ｑ）は小さくなる。これは、質問総数が多いほど、ユーザとの対話の回数が増えるためである。

図３を参照して、質問選択部２６が算出するＳ_d（Ｑ）の具体例を説明する。例えば、Ｑ２「エアコンをつけますか？」という質問は、回答候補数が１つであり、また、Ｑ２まを含む経路における質問総数は、Ｑ２とＱ４の２つなので、Ｓ_d（Ｑ）は、α・β／２となる。一方、Ｑ３「窓をどのくらい開けますか？」という質問は、回答候補数が２つあり、Ｑ３の経路にＱ３以外の質問はなく、質問総数は１つとなるので、Ｓ_d（Ｑ）は、α・β／２となる。

図７は、第２の実施の形態における質問選択処理の流れを示すフロー図である。ステップＳ１６１からステップＳ１６４までの処理は、第１の実施の形態と同じである。第２の実施の形態の制御装置２は、続くステップＳ１６５にて、Ｓ_d（Ｑ）を算出し、ステップＳ１６６にて、Ｓ_a（Ｑ）とＳ_d（Ｑ）とに基づいて、質問Ｑを選択する。

例えば、図３の例で、Ａ１からＡ４、及びＡ６、Ａ７のＳ_a（Ｑ）値が、それぞれ、０．７、０．８、０．７、０．８、０．５、０．３であったとすると、Ｑ１、Ｑ２、Ｑ３のそれぞれについて、
は、α・β／３＋０．８γ、α・β／２＋０．８γ、α・β／２＋０．５γとなる。α＝β＝γ＝１のとき、α・β／２＋０．８γが一番大きくなるので、エアコンがついていない状態であれば、Ｑ２が選択される。

以上説明したように、第２の実施の形態の制御装置は、出力された質問に対するユーザの回答容易性を示すデータＳ_d（Ｑ）を算出して、Ｓ_a（Ｑ）とＳ_d（Ｑ）とに基づいて質問Ｑを選択するので、ユーザに負担をかけることなく、対話を通じて、車両内環境がより快適となるように、車載機器の操作を行うことができる。

第２の実施の形態においては、Ｓ_a（Ｑ）を算出した後にＳ_d（Ｑ）を算出する場合について説明したが、順序が逆であってもよく、また、Ｓ_d（Ｑ）は予め対話モデル記憶部３１において、各質問と対応付けて記憶されていてもよい。さらに、上記の実施の形態では、Ｓ_d（Ｑ）を算出する際、各質問に対応付けられた回答候補数Ｃ_nを用いたが、その質問を含む経路に含まれる全質問（当該質問も含む）の回答候補数を用いてもよい。この場合、Ｓ_d（Ｑ）は、次式により求められる。
なお、Ｃ_kは、質問ｋにおける回答候補数、ｎはその質問を含む経路に含まれる質問総数（当該質問も含む）である。例えば、図３のＱ２については、Ｑ２を含む経路の質問総数は、Ｑ２とＱ４の２つであり、Ｑ２についての回答候補数が１つ、Ｑ４についての回答候補数が３つであるので、Ｓ_d（Ｑ）は、α／３×β／２となる。

（第３の実施形態）
次に、第３の実施の形態の制御装置について説明する。第３の実施の形態の制御装置も、ユーザの操作意図を明確にするためにユーザに質問を提示して対話を行う。対話の途中で、ユーザから対話をキャンセルされると、最終的にユーザの意図する結果にたどり着くことができないから、ユーザから対話をキャンセルされる質問は、適切な質問とは言えない。そこで、第３の実施の形態の制御装置の質問選択部２６は、快適度を示すデータＳ_a（Ｑ）に加えて、ユーザから対話をキャンセルされる確率の低さを示すデータＳ_q（Ｑ）を算出する。なお、第３の実施の形態の制御装置の基本的な構成は、第１の実施の形態の制御装置の構成と同じである。そして、Ｓ_a（Ｑ）とＳ_q（Ｑ）とに基づいて、次式により質問を選択する。
Ｓ_q（Ｑ）は、次式により求められる。
ここで、δは所定係数値、Ｐ_g（Ｑ）は、ある質問をユーザに出力した際にキャンセルされる確率、ｉは質問番号、ｎは、その質問までの経路に含まれる質問総数（当該質問を含む）である。

図８は、第３の実施形態において、対話モデル記憶部３１に記憶される対話モデルの例を示す図である。図８に示すように、第３の実施の形態の対話モデルには、ユーザからの回答候補として「キャンセル」が含まれる。例えば、質問に対して、「いいえ」と解答された場合や、質問出力から所定時間、ユーザから他の回答候補に該当する回答がなかった場合には、「キャンセル」と判断される。各「キャンセル」の下の数字は、それぞれの確率（Ｐ_g（Ｑ））を示している。なお、同じ質問を出力した場合でも、出力された時期や時間帯によってキャンセルされる確率は異なり得るので、年月や時間帯ごとに異なるキャンセル確率が記憶されてもよい。また、各Ｐ_g（Ｑ）は、固定値でもよいし、ユーザとの実際の対話結果の学習により随時更新させてもよい。

図９は、第３の実施の形態における質問選択処理の流れを示すフロー図である。ステップＳ１６１からステップＳ１６４までの処理は、第１の実施の形態と同じである。第２の実施の形態の制御装置１は、続くステップＳ１６５にて、Ｓ_q（Ｑ）を算出し、ステップＳ１６６にて、Ｓ_a（Ｑ）とＳ_q（Ｑ）とに基づいて、質問Ｑを選択する。

例えば、図８の例で、Ａ１からＡ４、及びＡ６、Ａ７のＳ_a（Ｑ）値が、それぞれ、０．７、０．８、０．７、０．８、０．５、０．３であり、Ｑ１、Ｑ２、Ｑ３に対するキャンセル確率が、それぞれ、０．２、０．１、０．３であったとすると、Ｑ１、Ｑ２、Ｑ３のそれぞれについて、Ｓ_a（Ｑ）とＳ_q（Ｑ）との和は、０．８γ＋０．８δ、０．８γ＋０．９δ、０．５γ＋０．７δとなる。α＝β＝δ＝１のとき、０．８γ＋０．９δが一番大きくなるので、エアコンがついていない状態であれば、Ｑ２が選択されることになる。

以上説明したように、第３の実施の形態の制御装置は、ユーザから操作をキャンセルされる確率の低さを示すデータＳ_q（Ｑ）を算出して、Ｓ_a（Ｑ）とＳ_q（Ｑ）とに基づいて質問Ｑを選択するので、ユーザの操作意図に沿った適切な対話を通じて、車両内環境がより快適となるような車載機器の操作に、ユーザを誘導することができる。

第３の実施の形態では、Ｓ_a（Ｑ）とＳ_q（Ｑ）とに基づいて質問Ｑを選択する場合について説明したが、さらにＳ_d（Ｑ）を用いて質問を選択してもよい。この場合、質問の選択は、次式に基づいて行われる。
このように、さらにＳ_d（Ｑ）を用いることで、ユーザに負担をかけずに、ユーザの意図する快適性を実現する操作に誘導するための質問を選択することができる。

以上説明したように、本発明は、ユーザの意図に沿って電子機器の制御を行うことができるという効果を有し、電子機器の制御装置等として有用である。

１ 制御装置
１０ マイク
１１ スピーカ
２０ 制御部
２１ 音声認識部
２２ 入力クエリ変換部
２３ 車載機器ステータス確認部
２４ 環境データ取得部
２５ 環境予測データ算出部
２６ 質問選択部
２７ 制御信号送信部
３０ 入力クエリ変換チャート記憶部
３１ 対話モデル記憶部
３２ 理想環境データ記憶部
４０ 通信インターフェース
５０ 車載機器
５１ エアコン
５２ パワーウィンドウ
５３ オーディオ
５４ ナビゲーション装置

Claims (13)

1. ユーザの入力クエリに応じて、少なくとも１つの電子機器の制御を行う制御装置であって、
   ユーザから入力クエリを受け付ける入力クエリ受付部と、
   前記入力クエリに対して、前記ユーザに対する質問と、前記質問に対する前記ユーザの回答候補と、各電子機器に対する制御内容とが対応付けられた対話モデルが記憶された対話モデル記憶部と、
   ユーザ周辺の環境データを取得する環境データ取得部と、
   前記環境データに基づいて、前記対話モデルにおいて前記入力クエリに対応する質問及びその回答候補に対応付けられた各制御内容が実行された場合における所定時間経過後の前記ユーザ周辺の環境予測データを算出する環境予測データ算出部と、
   前記環境予測データに基づいて前記各制御内容を実行した場合におけるユーザの周辺環境の快適度を示すデータを算出し、前記対話モデル記憶部に記憶された前記対話モデルを参照して、前記快適度を示すデータを最大化する制御内容に対応する質問を選択する質問選択部と、
   前記質問選択部にて選択された質問を出力する出力部と、
   出力された前記質問に対する前記ユーザの回答に応じて、前記制御内容の実行を指示する制御信号を前記電子機器に送信する制御信号送信部と、
   を備える制御装置。
2. 前記快適度を示すデータは、理想環境データ記憶部に記憶された理想環境データと、各前記環境予測データとの距離に基づいて算出される、請求項１に記載の制御装置。
3. 前記理想環境データ記憶部には、時期に応じて異なる複数の理想環境データが記憶され、
   前記快適度を示すデータは、時期に応じて選択された前記理想環境データと前記環境予測データとの距離に基づいて算出される、請求項２に記載の制御装置。
4. 前記理想環境データ記憶部には、前記ユーザごとに異なる複数の理想環境データが記憶され、
   前記快適度を示すデータは、ユーザごとに選択された前記理想環境データと前記環境予測データとの距離に基づいて算出される、請求項２または３に記載の制御装置。
5. 前記電子機器の制御ステータスを確認する制御ステータス確認部をさらに備え、
   前記質問選択部は、前記制御ステータスに応じて、前記対話モデル記憶部に記憶された前記対話モデルにおいて、前記電子機器に対して命令可能な制御内容を特定し、
   前記環境予測データ算出部は、前記質問選択部にて特定された制御内容について前記環境予測データを算出する請求項１から４のいずれかに記載の制御装置。
6. 前記入力クエリを、前記電子機器を制御するためのコマンドに変換する入力クエリ変換部をさらに備え、
   前記質問選択部は、前記入力クエリ変換部にて、前記入力クエリが前記コマンドに変換できない場合に、前記ユーザに対して出力すべき質問を選択する請求項１から５のいずれかに記載の制御装置。
7. 前記質問選択部は、前記各質問に対する前記ユーザの回答容易性を示すデータを算出し、前記快適度を示すデータと前記回答容易性を示すデータとの和を最大化する制御内容に対応する前記質問を選択する請求項１から６のいずれかに記載の制御装置。
8. 前記回答容易性を示すデータは、前記各質問に対する前記回答候補の数に基づいて算出される請求項７に記載の制御装置。
9. 前記回答容易性を示すデータは、前記対話モデルにおける、前記ユーザとの対話回数に基づいて算出される請求項７または８に記載の制御装置。
10. 前記回答候補には、前記電子機器の制御のための対話のキャンセルが含まれ、前記対話モデルにおいては、前記キャンセルの確率と前記質問とが対応付けて記憶され、
    前記質問選択部は、前記キャンセルの確率の低さを示すデータを算出し、前記快適度を示すデータと前記キャンセルの確率の低さを示すデータとの和を最大化する制御内容に対応する前記質問を選択する請求項１から６のいずれかに記載の制御装置。
11. ユーザの入力クエリに応じて、少なくとも１つの電子機器の制御を行う制御装置であって、
    ユーザから入力クエリを受け付ける入力クエリ受付部と、
    前記入力クエリに対して、前記ユーザに対する質問と、前記電子機器の制御のための対話のキャンセルを含む前記質問に対する前記ユーザの回答候補と、各電子機器に対する制御内容とが対応付けられた対話モデルが記憶された対話モデル記憶部と、
    ユーザ周辺の環境データを取得する環境データ取得部と、
    前記環境データに基づいて、前記対話モデルにおいて前記入力クエリに対応する質問及びその回答候補に対応付けられた各制御内容が実行された場合における所定時間経過後の前記ユーザ周辺の環境予測データを算出する環境予測データ算出部と、
    前記環境予測データに基づく前記各制御内容を実行した場合におけるユーザの周辺環境の快適度を示すデータと、前記各質問に対する前記ユーザの回答容易性を示すデータと、前記対話モデルにおいて前記質問と対応付けて記憶されるキャンセルの確率に基づく前記キャンセルの確率の低さを示すデータとを算出し、前記快適度を示すデータと前記回答容易性を示すデータと前記キャンセルの確率の低さを示すデータとの和を最大化する制御内容に対応する質問を選択する質問選択部と、
    前記質問選択部にて選択された質問を出力する出力部と、
    出力された前記質問に対する前記ユーザの回答に応じて、前記制御内容の実行を指示する制御信号を前記電子機器に送信する制御信号送信部と、
    を備える制御装置。
12. ユーザの入力クエリに応じて、少なくとも１つの電子機器の制御を行う制御方法であって、
    ユーザから入力クエリを受け付けるステップと、
    ユーザ周辺の環境データを取得するステップと、
    対話モデル記憶部に記憶された、前記入力クエリに対して、前記ユーザに対する質問と、前記質問に対する前記ユーザの回答候補と、各電子機器に対する制御内容とが対応付けられた対話モデルにおいて、前記各制御内容が実行された場合における所定時間経過後の前記ユーザ周辺の環境予測データを前記環境データに基づいて算出するステップと、
    前記環境予測データに基づいて前記各制御内容を実行した場合におけるユーザの周辺環境の快適度を示すデータを算出し、前記対話モデル記憶部に記憶された前記対話モデルを参照して、前記快適度を示すデータを最大化する制御内容に対応する質問を選択するステップと、
    前記質問選択部にて選択された質問を出力するステップと、
    出力された前記質問に対する前記ユーザの回答に応じて、前記制御内容の実行を指示する制御信号を前記電子機器に送信するステップと、
    を備える制御方法。
13. ユーザの入力クエリに応じて、少なくとも１つの電子機器の制御を行うためのプログラムであって、コンピュータに、
    ユーザから入力クエリを受け付けるステップと、
    ユーザ周辺の環境データを取得するステップと、
    対話モデル記憶部に記憶された、前記入力クエリに対して、前記ユーザに対する質問と、前記質問に対する前記ユーザの回答候補と、各電子機器に対する制御内容とが対応付けられた対話モデルにおいて、前記各制御内容が実行された場合における所定時間経過後の前記ユーザ周辺の環境予測データを前記環境データに基づいて算出するステップと、
    前記環境予測データに基づいて前記各制御内容を実行した場合におけるユーザの周辺環境の快適度を示すデータを算出し、前記対話モデル記憶部に記憶された前記対話モデルを参照して、前記快適度を示すデータを最大化する制御内容に対応する質問を選択するステップと、
    前記質問選択部にて選択された質問を出力するステップと、
    出力された前記質問に対する前記ユーザの回答に応じて、前記制御内容の実行を指示する制御信号を前記電子機器に送信するステップと、
    を実行させるプログラム。