JPWO2019082630A1 - 情報処理装置、及び情報処理方法 - Google Patents

Abstract

本技術は、ユーザの意図に即した応答を行うことができるようにする情報処理装置、及び情報処理方法に関する。ユーザとの対話で得られるユーザの発話に関する発話情報に基づいて、ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、選択確率に応じて選択対象を選択する処理部を備える情報処理装置が提供される。本技術は、例えば、スマートスピーカ等のホームコンソールを含むホームコンソールシステムに適用することができる。

Description

本技術は、情報処理装置、及び情報処理方法に関し、特に、ユーザの意図に即した応答を行うことができるようにした情報処理装置、及び情報処理方法に関する。

近年、ユーザの発話に応じた応答を行う音声対話システムが、様々な分野で利用されはじめている。例えば、音声対話システムを利用することで、ユーザがシステムに対し、「ここどこですか？」と質問したとき、「セントラルパークにいます」という回答が返ってくる。

また、ネットワークに接続可能な電子機器の増加に伴い、複数の機器を家庭内LANに接続したホームネットワークの構築も一般的になりつつある。例えば、特許文献１には、ホームネットワークに接続された機器を、ユーザの生活習慣や生活環境、あるいはユーザの嗜好に応じて制御する技術が開示されている。

特開２００３−１１１１５７号公報

ところで、ユーザの発話に応じて、ホームネットワークに接続された複数の機器を制御する場合には、制御対象となる機器が複数存在するため、ユーザの意図に即した機器が制御され、その応答が行われるようにすることが求められる。

本技術はこのような状況に鑑みてなされたものであり、ユーザの意図に即した応答を行うことができるようにするものである。

本技術の一側面の情報処理装置は、ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、前記選択確率に応じて選択対象を選択する処理部を備える情報処理装置である。

本技術の一側面の情報処理方法は、情報処理装置の情報処理方法において、前記情報処理装置が、ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、前記選択確率に応じて選択対象を選択する情報処理方法である。

本技術の一側面の情報処理装置、及び情報処理方法においては、ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率が算出され、選択対象の候補の中から、前記選択確率に応じて選択対象が選択される。

本技術の一側面の情報処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。

本技術の一側面によれば、ユーザの意図に即した応答を行うことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用したホームコンソールシステムの一実施の形態の構成例を示すブロック図である。 住宅内に設置される家電機器類の例を示す図である。 対話に応じた対象機器制御処理の流れを説明するフローチャートである。 行動履歴DBに記録されるユーザ行動ログの第１の例を示す図である。 テレビ操作時の動作候補機器の選択スコアの例を示す図である。 行動履歴DBに記録されるユーザ行動ログの第２の例を示す図である。 行動履歴DBに記録されるユーザ行動ログの第３の例を示す図である。 コンセントの差し込み口ごとの電力使用量の第１の例を示す図である。 コンセントの差し込み口ごとの電力使用量の第２の例を示す図である。 暖房器具の操作時の動作候補機器の選択スコアの第１の例を示す図である。 暖房器具の操作時の動作候補機器の選択スコアの第２の例を示す図である。 暖房器具の操作時の動作候補機器の選択スコアの第３の例を示す図である。 暖房器具の操作時の動作候補機器の選択スコアの第４の例を示す図である。 電源の操作時の動作候補機器の選択スコアの第１の例を示す図である。 電源の操作時の動作候補機器の選択スコアの第２の例を示す図である。 外出先からの暖房器具の操作時の動作候補機器の選択スコアの第１の例を示す図である。 外出先からの暖房器具の操作時の動作候補機器の選択スコアの第２の例を示す図である。 ユーザの料理材料の傾向スコアの例を示す図である。 行動履歴DBに記録されるユーザ行動ログの第４の例を示す図である。 リマインダ機能の第２の例の対話シーケンスを示す図である。 リマインダ機能の第３の例の対話シーケンスを示す図である。 スケジュールDBに記録される予定情報の例を示す図である。 本技術を適用したホームコンソールシステムの一実施の形態の他の構成例を示す図である。 コンピュータの構成例を示すブロック図である。

以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。

１．本技術の実施の形態
２．変形例
３．コンピュータの構成

＜１．本技術の実施の形態＞

（ホームコンソールシステムの構成例）
図１は、本技術を適用したホームコンソールシステムの一実施の形態の構成例を示すブロック図である。

ホームコンソールシステムは、住宅内にある全部又は一部の家電機器と接続され、それらの家電機器の状態を取得し、その状態に応じた操作を行うことができる。また、ホームコンソールシステムは、住宅内に設置された各種のセンサと接続され、そのセンシング結果を解析することで、室内におけるユーザの状態を認識することもできる。

ホームコンソールシステムは、ホームコンソール１０を含んで構成される。ホームコンソール１０は、例えば、ネットワークに接続可能なスピーカであって、いわゆるスマートスピーカやホームエージェントなどとも称される。この種のスピーカは、音楽の再生のほか、例えば、ユーザとの音声対話や、照明器具や空調設備などの機器に対する音声操作などを行うことができる。

なお、ホームコンソール１０は、スピーカに限らず、例えば、パーソナルコンピュータやテレビ受像機、ゲーム機、タブレット型のコンピュータ、スマートフォンや携帯電話機等のモバイル機器などの電子機器として構成されるようにしてもよい。

ホームコンソール１０は、処理部１１、知識情報DB３１、行動履歴DB３２、及びスケジュールDB３３を含んで構成される。

処理部１１は、例えば、CPU(Central Processing Unit)やマイクロプロセッサ等から構成される。知識情報DB３１、行動履歴DB３２、及びスケジュールDB３３は、外部のサーバや、ホームコンソール１０に内蔵された記録装置（例えば、HDD(Hard Disk Drive)や半導体メモリ等）に、データベースとして記録されている。

また、処理部１１は、発話内容分類部２１、キーフレーズ抽出部２２、知識情報処理部２３、センサ情報取得部２４、状態推定部２５、動作選択部２６、及び実行判定・動作命令発行部２７から構成される。なお、発話内容分類部２１乃至実行判定・動作命令発行部２７は、例えば、CPUとしての処理部１１が、プログラムを実行することで実現される。

発話内容分類部２１と、キーフレーズ抽出部２２と、知識情報処理部２３によって、ユーザの発話入力に基づき、その発話の意味を解析するための発話意味解析機能が提供される。

発話内容分類部２１は、ホームコンソール１０に内蔵されたマイクロフォン（不図示）により収音されるユーザの発話の音声信号を処理して、発話の内容を分類し、その結果得られる発話内容の分類結果を、キーフレーズ抽出部２２に供給する。なお、ここでは、音声信号に対する音声認識処理が行われ、この音声認識処理で得られるテキスト情報の発話の内容が分類されることになる。

キーフレーズ抽出部２２は、発話内容分類部２１から供給される発話内容の分類結果に基づいて、ユーザの発話に含まれるキーフレーズを抽出し、知識情報処理部２３に供給する。

知識情報処理部２３は、知識情報DB３１に記録されている知識情報に基づいて、キーフレーズ抽出部２２から供給されるキーフレーズの抽出結果に基づいて、ユーザの発話の意味解析を行う。知識情報処理部２３は、発話の意味解析結果（以下、発話情報ともいう）を、動作選択部２６に供給する。

この発話意味解析では、ユーザが実行させたい「動作命令」と、そのパラメータとなる「付属情報」の形で、発話の意味が表現される。ここで、１つの動作命令には、複数の付属情報が付与される可能性があり、発話の意味解析結果として、それらの組が１つ、又は複数個出力される。

例えば、「来週のスケジュールを確認したい」であるユーザの発話がなされた場合には、「動作命令」は、"予定の提示"であり、「付属情報」は、その日が"2017/9/8 (金)"であるとすれば、次の週の"2017/9/11 (月) 〜 2017/9/17 (日)"である。

なお、知識情報DB３１には、外部から収集されるか、又はユーザ自らが登録した知識情報が記録されている。この知識情報は、例えば、事実や常識、経験などの知識をコンピュータが解読できる形式で、データベースにしたものである。

センサ情報取得部２４と状態推定部２５によって、センサからの入力に基づき、現在のユーザの状態を認識するためのユーザ状態把握機能が提供される。

センサ情報取得部２４は、住宅内に設置された１又は複数のセンサによるセンシングの結果得られるセンサ情報を取得し、状態推定部２５に供給する。

状態推定部２５は、センサ情報取得部２４から供給されるセンサ情報に基づいて、現在のユーザの状態又はその周辺の状態を推定し、その結果得られる推定結果（以下、状態情報ともいう）を、動作選択部２６に供給する。また、状態推定部２５は、現在のユーザの状態を示す状態情報を、ユーザ行動ログとして、行動履歴DB３２に記録する。

行動履歴DB３２は、ユーザ行動ログを、ユーザの行動履歴情報として、時系列順に記録している。なお、ユーザが所持する携帯端末装置（例えば、スマートフォンやウェアラブル端末等の後述の携帯端末装置５０）から、ユーザの位置情報や状態情報などの情報を取得し、これらの情報を、時間情報とともに、ユーザ行動ログとして、行動履歴DB３２に記録するようにしてもよい。すなわち、ユーザ行動ログは、ユーザが住宅内にいるときの状態だけでなく、外出先でのユーザの状態を含んでいる。

スケジュールDB３３は、ユーザのスケジュールを、登録情報として、時系列順に記録している。なお、スケジュールは、例えば、ユーザが、携帯端末装置やパーソナルコンピュータ等の機器を操作することで登録されるようにするか、あるいは、ホームコンソール１０が、ユーザの発話を認識することで登録されるようにしてもよい。

なお、行動履歴DB３２及びスケジュールDB３３には、ユーザに関する情報だけでなく、例えば、そのユーザの家族に関する情報など、他のユーザの行動履歴情報や登録情報が、記録されるようにしてもよい。

動作選択部２６によって、ユーザの意図に応じた動作対象機器の候補（以下、動作候補機器ともいう）の中から、動作対象機器を選択する（すなわち、ユーザに提供する行動を選択する）ための動作選択機能が提供される。

ここで、動作選択部２６によって実行される動作対象機器の選択やその動作内容の決定は、ユーザの発話の意味解析結果や、現在のユーザの状態、ユーザ行動ログのほか、例えば、住宅内の状態など加味して実行される。なお、動作対象機器としては、例えば、住宅内に設置された家電機器などの電気機械器具が対象となる。

動作選択部２６には、知識情報処理部２３からの発話情報と、状態推定部２５からの状態情報が供給される。また、動作選択部２６は、行動履歴DB３２に記録されたユーザ行動ログ（行動履歴情報）、又はスケジュールDB３３に記録された予定情報（登録情報）を適宜取得する。

動作選択部２６は、発話情報、状態情報、行動履歴情報、及び登録情報のうち、少なくとも１つの情報に基づいて、動作候補機器の中から、動作対象機器を選択し、その選択結果を、実行判定・動作命令発行部２７に供給する。

なお、詳細は後述するが、動作選択部２６は、動作対象機器を選択する際に、例えば、各動作候補機器の動作確率（スコア）を算出することで、算出した動作確率に応じて一意に特定される動作対象機器を選択することができる。

また、動作選択部２６は、選択した動作対象機器に関する情報（以下、機器情報ともいう）、及び発話情報等から得られるユーザの意図などに基づいて、選択した動作対象機器の動作内容を決定し、実行判定・動作命令発行部２７に供給される、動作対象機器の選択結果に含めることができる。

実行判定・動作命令発行部２７によって、動作対象機器の選択結果に応じて動作命令を発行するための選択結果・実行判定機能が提供される。ここで、動作対象機器の動作としては、即時に実行される動作のほかに、所定の条件を満たした場合に実行されるような動作も存在する。なお、所定の条件とは、ホームコンソールシステムが持っている、あらかじめ定められた条件のほかに、ユーザが自由に設定できるものも存在する。

実行判定・動作命令発行部２７は、動作選択部２６から供給される動作対象機器の選択結果に基づいて、動作対象機器４１の動作を即時に実行するかどうかを判定する。

実行判定・動作命令発行部２７は、即時に実行すると判定した場合、動作対象機器４１に対し、動作内容に応じた動作命令を発行し、動作対象機器４１の動作を制御する。実行判定・動作命令発行部２７は、即時に実行しないと判定した場合、その旨を、動作選択部２６に通知する。

ホームコンソールシステムは、以上のように構成される。

（家電機器類の設置例）
図２は、ユーザが居住している住宅内に設置される家電機器類の例を示す図である。

住宅１００は、２階建ての建物であって、１階の部分に、居間１０１、玄関１０２、及び台所１０３が設けられ、２階の部分に、書斎１０４、寝室１０５、及び浴室１０６が設けられている。

居間１０１には、部屋全体を照らすことが可能なライト１１１と、部屋内の空気の温度や湿度等を調整する冷暖房機１１２と、壁に埋め込まれたコンセント１１３が設けられている。また、居間１０１には、ホームコンソール１０のほか、テレビ受像機（以下、テレビと略記する）１１４や録画機１１５等のAV機器や、ゲーム機１１６が設置されている。

さらに、居間１０１の天井には、部屋全体をセンシング可能なセンサ１１７が取り付けてある。センサ１１７としては、例えば、被写体を撮像して撮像画像を生成するイメージセンサや、赤外線により対象物（の温度）を検出する赤外線センサ、温度を検出する温度センサ、湿度を検出する湿度センサ、周囲の明るさを検出する環境光センサなど、各種のセンサを含めることができる。

なお、ユーザは、ペットとしてネコを飼っているため、居間１０１には、ネコのエサ用の入れ物１１８と、ネコ砂用の入れ物１１９が設置してある。

玄関１０２の天井には、ライト１２１と、センサ１２２が設けられている。また、台所１０３の天井にも、ライト１３１と、センサ１３２が設けられている。台所１０３には、冷蔵庫１３３が設置されている。なお、センサ１２２とセンサ１３２としては、例えば、イメージセンサや赤外線センサ等の各種のセンサを設けることができる。

書斎１０４には、ライト１４１と、冷暖房機１４２と、コンセント１４３が設けられている。また、書斎１０４には、パーソナルコンピュータ（以下、ＰＣと略記する）が設置されている。さらに、書斎１０４の天井にも、イメージセンサや温度センサ等のセンサ１４５が取り付けられている。

寝室１０５には、ライト１５１と、暖房器具１５２と、コンセント１５３が設けられている。また、寝室１０５には、ランプ１５４が設置されている。さらに、寝室１０５の天井にも、イメージセンサや温度センサ等のセンサ１５５が取り付けられている。

浴室１０６の天井には、ライト１６１と、センサ１６２が設けられている。また、浴室１０６には、お風呂を沸かしたり、湯張りをしたりするための給湯器１６３が設けられている。

ここで、住宅１００において、各部屋に設置された家電機器は、通信機能を有し、ホームネットワークとして、例えば、家庭内LAN(Local Area Network)等のネットワークに接続されており、ホームコンソール１０を中心としたホームコンソールシステムを構成している。すなわち、住宅１００の各部屋に設置された家電機器は、動作候補機器であって、ホームコンソール１０により制御される動作対象機器４１（図１）となり得る。

なお、各家電機器を接続するための通信方式としては、家庭内LAN（Wi-Fi（登録商標））に限らず、例えば、Bluetooth（登録商標）等の方式に準拠した無線通信や、イーサーネット（登録商標）等の方式に準拠した有線通信などを用いるようにしてもよい。

また、図２においては、ユーザが、居間１０１にいる場合を例示しているが、以下の説明では、ユーザが、住宅１００内の各部屋に移動する場合や、外出する場合についても示す。また、以下の説明では、ユーザに、住宅１００内で同居している家族がいる場合についても説明する。

さらに、ユーザは、携帯端末装置５０を所有しており、外出時には、携帯端末装置５０を所持して出かけるものとする。携帯端末装置５０としては、例えば、スマートフォンや携帯電話機等のモバイル機器のほか、ユーザが身につけて持ち歩くことができるウェアラブル機器（例えば、腕時計型やブレスレット型、眼鏡型、指輪型などの機器）などであってもよい。

携帯端末装置５０は、LTE(Long Term Evolution)やLTE-A(LTE-Advanced)、5G(5th Generation)等のセルラー通信プロトコルを実装した通信モジュールを有し、携帯電話網等のネットワークを介して、住宅１００内に構築されたホームコンソールシステムと通信を行うことができる。また、携帯端末装置５０は、GPSモジュールを有し、GPS(Global Positioning System)信号から算出される位置情報を取得することができる。

さらに、携帯端末装置５０は、各種のセンサを有している。例えば、センサとしては、イメージセンサのほか、磁場（磁界）の大きさや方向を検出する磁気センサや、加速度を検出する加速度センサ、角度（姿勢）や角速度、角加速度を検出するジャイロセンサ、近接するものを検出する近接センサ、あるいは、指紋や虹彩、脈拍などの生体情報を検出する生体センサなどを含めることができる。これらのセンサから得られるセンサ情報に基づき、例えば、ユーザの状態を示す状態情報が得られる。

（対象機器制御処理の流れ）
次に、図３のフローチャートを参照して、ホームコンソールシステムにより実行される、ユーザとシステムとの対話に応じた対象機器制御処理の流れを説明する。

ホームコンソールシステムは、ユーザによる発話が行われるのを待ち受け（Ｓ１１）、ユーザにより発話がなされた場合、処理は、ステップＳ１２に進められる。

ステップＳ１２において、発話内容分類部２１は、マイクロフォンにより収音されるユーザの発話の音声信号を処理することで、ユーザの発話の内容を分類する。

ステップＳ１３において、キーフレーズ抽出部２２は、ステップＳ１２の処理で得られる発話内容の分類結果に基づいて、ユーザの発話に含まれるキーフレーズを抽出する。

ステップＳ１４において、知識情報処理部２３は、ステップＳ１３の処理で得られるキーフレーズの抽出結果に基づいて、ユーザの発話の意味解析を行い、キーフレーズに対し、知識情報DB３１から得られる知識情報を付与する。

ステップＳ１５において、センサ情報取得部２４は、住宅１００内に設置された複数のセンサ（例えば、図２のセンサ１１７やセンサ１４５、センサ１５５等）から得られるセンサ情報を取得する。

ステップＳ１６において、状態推定部２５は、ステップＳ１５の処理で得られるセンサ情報に基づいて、現在のユーザの状態を推定する。なお、ここでは、ユーザの状態に限らず、例えば、センサ情報に基づき、住宅１００内の各部屋の状態などが推定されるようにしてもよい。

このように、ユーザにより発話が行われると、ステップＳ１１乃至Ｓ１４の処理が実行されることで、発話意味解析機能によって発話情報が得られ、処理は、ステップＳ１７に進められる。また、ユーザによる発話に関係なく、ステップＳ１５乃至Ｓ１６の処理が実行されることで、ユーザ状態把握機能によって状態情報が得られ、処理は、ステップＳ１７に進められる。なお、状態情報は、ユーザの現在の位置を示す位置情報を含めるようにしてもよい。

ステップＳ１７において、動作選択部２６は、発話意味解析機能で得られる発話情報と、ユーザ状態把握機能で得られる状態情報の推定結果とを統合する。

ステップＳ１８において、動作選択部２６は、ステップＳ１７の処理で得られる統合結果に基づいて、ホームネットワークに接続された動作候補機器の動作確率（スコア）を算出する。なお、動作候補機器の動作確率（スコア）を算出する際には、発話情報と状態情報のほか、行動履歴情報や登録情報などの他の情報が用いられるようにしてもよい。

ここで、動作候補機器の動作確率（スコア）の算出方法としては、発話情報や状態情報、行動履歴情報、登録情報などの情報から得られる様々なパラメータを用いたアルゴリズムなどを実行することで、動作確率（スコア）を算出することができるが、その算出方法としては、各種の文献などに開示されている公知の手法を用いることができる。

ステップＳ１９において、動作選択部２６は、ステップＳ１８の処理で得られる動作確率（スコア）に基づいて、動作候補機器の中から、動作対象機器が一意に特定されるかどうかを判定する。ステップＳ１９において、動作対象機器が一意に特定されないと判定された場合、処理は、ステップＳ２０に進められる。

ステップＳ２０において、処理部１１（動作選択部２６）は、発話を行ったユーザに対し、動作対象機器を一意にするための応答を行う（聞き返し機能）。この聞き返し機能による応答（質問）に対し、ユーザが、発話（回答）をすることで、再度、ステップＳ１１乃至Ｓ１４の処理が実行され、この発話意味解析機能で得られる発話情報が、ユーザ状態把握機能で得られる状態情報と統合される（Ｓ１７）。

そして、動作候補機器の動作確率（スコア）が再計算され（Ｓ１８）、例えば、２回目のステップＳ１９の判定処理で、動作対象機器が一意になると判定された場合、処理は、ステップＳ２１に進められる。なお、２回目のステップＳ１９の判定処理でも、動作対象機器が一意にならないと判定された場合には、動作対象機器が一意になると判定されるまで（Ｓ１９の「YES」）、上述した処理が繰り返される。

すなわち、ステップＳ１１乃至Ｓ２０の処理が繰り返して行われることで、動作候補機器の動作確率（スコア）が、ユーザとの対話に応じて繰り返し得られる対話情報や状態情報などの情報に基づき、動的に更新され、その結果として、更新された動作確率に応じて、動作候補機器の中から、動作対象機器が一意に特定されることになる。

ステップＳ２１において、動作選択部２６は、ステップＳ１９の処理で一意になると判定された動作対象機器に対し、ホームネットワークを介して、機器情報を要求することで、当該動作対象機器の機器情報を取得する。なお、機器情報は、動作対象機器が一意に特定される前に、事前に取得しておいてもよい。

ステップＳ２２において、動作選択部２６は、ステップＳ２１の処理で得られる機器情報、及び発話情報等から得られるユーザの意図などに基づいて、動作対象機器の動作内容を決定する。ここでは、例えば、動作対象機器がテレビ１１４である場合に、その動作内容として、"電源オン"が決定される。また、動作対象機器の動作内容を決定する際には、行動履歴情報や状態情報、登録情報などの他の情報が用いられるようにしてもよい。

ステップＳ２３において、実行判定・動作命令発行部２７は、ステップＳ２２の処理で決定された動作対象機器の動作内容が、即時に実行する動作であるかどうかを判定する。

ステップＳ２３において、動作内容が、即時に実行する動作であると判定された場合、処理は、ステップＳ２４に進められる。ステップＳ２４において、実行判定・動作命令発行部２７は、住宅１００内に設置された家電機器の中から選択された動作対象機器４１に対し、動作内容に応じた動作命令を発行し、当該動作対象機器４１の動作を制御する。

一方で、ステップＳ２３において、動作内容が、即時に実行する動作ではないと判定された場合、処理は、ステップＳ２５に進められる。ステップＳ２５において、動作選択部２６は、ユーザ状態把握機能で得られる状態情報を取得する。

ステップＳ２６において、動作選択部２６は、ステップＳ２５の処理で得られる状態情報に基づいて、発話を行ったユーザに対し、フィードバックが必要であるかどうかを判定する。

ステップＳ２６において、フィードバックが必要ではないと判定された場合、処理は、ステップＳ２２に進められる。ここで、動作選択部２６は、ステップＳ２５の処理で得られる状態情報に基づき、動作対象機器の動作内容を再決定する（Ｓ２２）。そして、ステップＳ２３の判定処理で、ステップＳ２２の処理で再決定された動作内容が、即時に実行する動作であるかが判定される。

また、ステップＳ２６において、フィードバックが必要であると判定された場合、処理は、ステップＳ２７に進められる。ステップＳ２７において、処理部１１（動作選択部２６）は、発話を行ったユーザに対し、フィードバックを実行する。

そして、動作選択部２６によって、ステップＳ２７の処理で得られるフィードバックの結果に基づき、動作対象機器の動作内容が再決定され（Ｓ２２）、再決定された行動内容が、即時に実行する動作であるかが判定される（Ｓ２３）。

その後、ステップＳ２３の判定処理で、再決定した動作内容が、即時に実行する動作であると判定された場合、処理は、ステップＳ２４に進められる。そして、ステップＳ２４においては、実行判定・動作命令発行部２７によって、動作対象機器４１に対し、再決定した動作内容に応じた動作命令が発行され、当該動作対象機器４１の動作が制御される。

例えば、ユーザが、「お風呂沸かしておいて」という発話を行った場合に、ホームコンソールシステムでは、ユーザの現在位置、住宅１００内の給湯器１６３の状態、現在の気温などから、いつからお風呂を沸かしはじめるかを推定して、給湯器１６３に対し、動作命令を発行することになる。

ここで、ホームコンソールシステムがデザインした条件では、ユーザが外出している場合、ユーザの帰宅時刻に合わせるように、お風呂を沸かすようにする。ただし、ユーザの帰宅時刻までに、お風呂が沸かし終わらないような状態の場合には、その旨を、ユーザにフィードバックする。また、ユーザが在宅の場合には、ホームコンソールシステムは、給湯器１６３に対して、即時に、動作命令を発行することになる。なお、ユーザは、このような条件の部分を自由に設定することができる。

また、例えば、ユーザが外出時に、「お風呂沸かしておいて」という発話を行った場合、ホームコンソールシステムは、給湯器１６３を制御して、ユーザの帰宅時刻に合わせてお湯張りが行われるようにするが、ユーザが帰宅後、直ちにお風呂に入らなかった場合、ユーザに対し、「お風呂が沸いています」などの通知を行う。

その後、ホームコンソールシステムは、ユーザに対し、「xx分後に追い炊きを行いますか」などの代案をフィードバックするようにしてもよい。ここで、ホームコンソールシステムは、ユーザが動作結果を享受しなかったと認識する際には、例えば、状態情報（例えばユーザの行動など）や、機器情報（例えば、お風呂を沸かしてからの経過時間）などの情報が用いられる。

なお、ここでは、ステップＳ２５の処理で、状態情報を取得する例を示したが、例えば、行動履歴情報や登録情報などの他の情報が取得され、その後の処理で用いられるようにしてもよい。

以上、ユーザとシステムとの対話に応じた対象機器制御処理の流れを説明した。次に、ユーザとシステムとの対話に応じた対象機器制御処理について、より具体的な例を示す。

ただし、以下の説明において、対話が行われる際の住宅１００内の環境は、図２に示した通りである。また、対話に応じて実行される動作対象機器の制御は、図３のフローチャートの各ステップに沿って行われる。なお、以下の説明では、対話における、ユーザの発話を、「Ｕ（User）」と表記し、ホームコンソールシステムの応答を、「Ｓ（System）」と表記する。

（Ａ）テレビ操作の例（時間：平日の20:00頃、場所：居間）
まず、平日の夜20時頃の居間１０１において、ユーザの発話に応じて、テレビ１１４の操作が行われる場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。

＜＜ 帰宅後の20:00頃 ＞＞

Ｕ：「テレビつけて」
Ｓ：「XYZ放送をつけます」

＜＜ １時間後の21:00 ＞＞

Ｕ：「けして」
Ｓ：「テレビを消します」

このテレビ操作の例において、ホームコンソールシステムは、「テレビつけて」であるユーザの発話の意図が、"テレビの電源をオンする"ことであると認識する。すなわち、この例では、動作対象機器が、テレビ１１４であって、その動作内容が、電源オンとなる。

また、ホームコンソールシステムは、これまでのユーザの生活の行動履歴から、例えば、テレビ視聴時におけるユーザの行動パターンを認識することができる。

図４は、行動履歴DB３２に記録されるユーザ行動ログの例を示している。図４においては、例えば、9月1日(金) 20:00-21:00，9月4日(月) 20:05-20:50，9月6日(水) 20:10-21:00等の時間帯に、ユーザがXYZ放送の番組を視聴していることが、ユーザ行動ログとして記録されている。

ホームコンソールシステムは、図４に示したユーザ行動ログを解析することで、ユーザは、平日の20時頃に、XYZ放送の番組を視聴する可能性が高いことを認識することができる。

これによって、ホームコンソールシステムは、「テレビつけて」であるユーザの発話に応じて、居間１０１のテレビ１１４の電源をオンする際に、XYZ放送のチャンネルが選局されるようにする。そして、ホームコンソールシステムは、「XYZ放送をつけます」である応答を行い、テレビ１１４は、電源がオンされて起動すると、まず、はじめに、XYZ放送の番組を表示する。

それから１時間後の21:00頃に、ユーザが番組の視聴を終えて、「けして」である発話を行った場合、ユーザの発話の意図が、必ずしも明確ではない。そのため、ホームコンソールシステムは、その時点で、ユーザが使用している家電機器（動作候補機器）の中で、最も「消す」という行為として正しいものを選択して、選択した家電機器（動作対象機器）に対し、電源をオフする終了処理を実行する。

このとき、「消す」という行為が可能な家電機器として、居間１０１には、テレビ１１４のほかに、ライト１１１、冷暖房機１１２、録画機１１５、及びゲーム機１１６が存在しているものとする。ホームコンソールシステムは、ユーザによる家電機器の利用状態や、対話シーケンスなどに基づき、「けして」であるユーザ発話を認識した時点で、今まで利用してきた家電機器が、テレビ１１４である可能性が高く、他の機器との関連性は低いと判定し、テレビの電源をオフする。

図５は、テレビ操作時の動作候補機器の選択スコアの例を示している。

図５においては、動作候補機器として、居間１０１に設置されたライト１１１、冷暖房機１１２、テレビ１１４、録画機１１５、及びゲーム機１１６が例示されている。また、スコアの範囲は、0.0〜1.0とされ、スコアの最小値は0.0、最大値は1.0となる。

図５のＡは、20:00頃に、「テレビつけて」であるユーザ発話が行われたときの選択スコアの例を示している。図５のＡにおいては、ライト１１１と、冷暖房機１１２と、テレビ１１４と、録画機１１５と、ゲーム機１１６の選択スコアとして、0.2，0.3，0.7，0.4，0.1がそれぞれ算出されている。

この場合において、0.7であるスコア（動作確率）が算出されたテレビ１１４が、最もスコア（動作確率）が高い、動作候補機器となるため、ホームコンソールシステムは、動作対象機器として、テレビ１１４を選択し、その動作内容として、電源をオンする制御を行う。

また、図５のＢは、21:00頃に、「けして」であるユーザ発話が行われたときの選択スコアの例を示している。図５のＢにおいては、ライト１１１と、冷暖房機１１２と、テレビ１１４と、録画機１１５と、ゲーム機１１６の選択スコアとして、0.3，0.0，0.9，0.0，0.0がそれぞれ算出されている。

この場合においても、0.9であるスコア（動作確率）が算出されたテレビ１１４が、最もスコア（動作確率）が高い、動作候補機器となるため、ホームコンソールシステムは、動作対象機器として、テレビ１１４を選択し、その電源をオフする制御を行う。

（Ｂ）ＰＣ操作の例（時間：休日の7:00頃、場所：寝室）
次に、休日の朝7時頃の寝室１０５において、ユーザの発話に応じて、ＰＣ１４４の操作が行われる場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。

（第１の例）

Ｕ：「書斎の用意をしておいて」
Ｓ：「パソコンを立ち上げました 暖房をつけました 26℃に設定してあります」

このＰＣ操作の第１の例において、ホームコンソールシステムは、「書斎の用意をしておいて」であるユーザの発話の意図が、"書斎を使用する"ことであると認識する。また、ホームコンソールシステムは、これまでのユーザの生活の行動履歴から、例えば、書斎使用時におけるユーザの行動パターンを認識することができる。

図６は、行動履歴DB３２に記録されるユーザ行動ログの例を示している。図６においては、例えば、9月1日(金) 22:00-23:00，9月2日(土) 9:00-13:00，9月3日(日) 20:00-22:30等の時間帯に、ユーザによって書斎１０４が使用され、そのときの室温が26℃であったことが、ユーザ行動ログとして記録されている。

ホームコンソールシステムは、図６に示したユーザ行動ログを解析することで、ユーザが書斎１０４を使用するときは、ＰＣ１４４を利用し、その室温を26℃にする可能性が高いことを認識することができる。

これによって、ホームコンソールシステムは、「書斎の用意をしておいて」であるユーザの発話に応じて、ＰＣ１４４を起動するとともに、冷暖房機１４２の電源をオンしてその設定温度を26℃にする。すなわち、この例では、動作対象機器が、冷暖房機１４２とＰＣ１４４であって、その動作内容が共に電源オンとなる。

そして、ホームコンソールシステムは、ユーザに対し、「パソコンを立ち上げました 暖房をつけました 26℃に設定してあります」である応答を行う。

なお、ホームコンソールシステムは、ユーザが発話を行った場合に、その時点で、行動履歴情報から認識される状態に合っていないときには、その状態に合うように、動作対象機器を制御する。そのため、例えば、既に書斎１０４の室温が26℃となっている場合、ホームコンソールシステムは、冷暖房機１４２に対して、暖房を開始する制御を実行する必要はない。

（第２の例）

Ｕ：「書斎の用意しておいて」
Ｓ：「書斎を教えて下さい」
Ｕ：「パソコンのある部屋」
Ｓ：「パソコンを立ち上げました 暖房をつけました 26℃に設定してあります」

このＰＣ操作の第２の例において、ホームコンソールシステムは、上述の第１の例と同様に、ユーザの発話の意図が、"書斎を使用する"ことであると認識したが、書斎１０４がどの部屋かを認識できない場合には、ユーザに対し、「書斎を教えて下さい」である明示を要求する応答（質問）を行う（聞き返し機能）。

この質問に対し、ユーザが、「パソコンのある部屋」である発話（回答）を行った場合、ホームコンソールシステムは、住宅１００の各部屋に設置された家電機器の電源情報等に基づき、各部屋に存在する家電機器を認識することができる。

そして、ホームコンソールシステムは、ＰＣ１４４の存在を認識できた段階で、これまでのユーザの生活の行動履歴から認識される状態などに基づき、ＰＣ１４４が設置された部屋である書斎１０４に、ユーザがいる場合に起こる可能性の高い状態に合うように、書斎１０４内に設置された動作対象機器を制御する。

例えば、ホームコンソールシステムは、ユーザが書斎１０４にいるときは、ＰＣ１４４を利用し、その室温は約26℃になっていることを、これまでのユーザの生活の行動履歴（例えば、図６のユーザ行動ログ）から認識しているため、ＰＣ１４４を起動するとともに、冷暖房機１４２の電源をオンしてその設定温度を26℃にし、その旨を、ユーザに応答する。

（第３の例）

Ｕ：「書斎の用意しておいて」
Ｓ：「書斎を教えて下さい」
Ｕ：「パソコンのある部屋」
Ｓ：「申し訳ありません 分かりませんでした」

このＰＣ操作の第３の例において、ホームコンソールシステムは、上述の第２の例と同様に、書斎１０４がどの部屋かを認識できない場合に、「書斎を教えて下さい」である明示を要求する質問を行い、ユーザから、「パソコンのある部屋」である回答を得ている。

ホームコンソールシステムは、家電機器の電源情報に基づき、各部屋に存在する家電機器を認識する。ここでは、ホームコンソールシステムは、ＰＣ１４４の存在を認識できなかったため、ユーザに対し、「申し訳ありません 分かりませんでした」である応答を行い、その旨をフィードバックする。

（第４の例）

Ｕ：「書斎の用意しておいて」
Ｓ：「書斎を教えて下さい」
Ｕ：「パソコンのある部屋」
Ｓ：「申し訳ありません 分かりませんでした」
Ｕ：「隣の部屋だよ」
Ｓ：「書斎の暖房をつけました 26℃に設定してあります」

このＰＣ操作の第４の例において、ホームコンソールシステムは、上述の第３の例と同様に、書斎１０４がどの部屋かを認識できない場合に、「書斎を教えて下さい」である明示を要求する質問を行い、「パソコンのある部屋」である回答を得たが、結局、その部屋を特定できず、「申し訳ありません 分かりませんでした」である応答（フィードバック）を行っている。

このフィードバックを行った後に、ホームコンソールシステムは、対話シーケンスが続くかどうかの判定を行う。このとき、このフィードバックに対し、ユーザが、「隣の部屋だよ」である発話を続けて行った場合、ホームコンソールシステムは、続けて行われたユーザの発話の内容のほか、今までの対話シーケンスで得られている情報などに基づき、寝室１０５の隣の部屋としての書斎１０４を特定する。そして、ホームコンソールシステムは、ユーザが書斎１０４にいる場合の環境状態に適合するように、書斎１０４内に設置された動作対象機器を制御する。

例えば、ホームコンソールシステムは、ユーザが書斎１０４にいるときは、その室温は約26℃になっていることを、これまでのユーザの生活の行動履歴（例えば、図６のユーザ行動ログ）から認識しているため、冷暖房機１４２の電源をオンしてその設定温度を26℃にし、その旨を、ユーザに応答する。

（第５の例）

Ｕ：「書斎の用意しておいて」
Ｓ：「書斎を教えて下さい」
Ｕ：「パソコンのある部屋」
Ｓ：「申し訳ありません 分かりませんでした」

＜＜ 一定期間経過 ＞＞

Ｕ：「電気をつけて」
Ｓ：「了解しました」

このＰＣ操作の第５の例において、ホームコンソールシステムは、上述の第３の例と同様に、書斎１０４がどの部屋かを認識できない場合に、「書斎を教えて下さい」である明示を要求する質問を行い、「パソコンのある部屋」である回答を得たが、結局、その部屋を特定できず、「申し訳ありません 分かりませんでした」である応答（フィードバック）を行っている。

このフィードバックを行った後に、ホームコンソールシステムは、対話シーケンスが続くかどうかの判定を行う。その後、一定期間が経過した後に、ユーザによって、「電気をつけて」である発話が行われた場合には、一定期間が経過したことを受けて、ホームコンソールシステムは、当該発話を、新たなユーザの発話であるとして処理を実行する。

すなわち、ホームコンソールシステムは、「電気をつけて」である新たなユーザの発話に応じて、「了解しました」である応答を行い、ユーザの発話の意図が、"照明を点灯する"ことであると認識する。そして、ホームコンソールシステムは、ユーザが現在いる寝室１０５の照明を点灯する処理を実行するが、寝室１０５内には、ライト１５１とランプ１５４が存在し、共に電気をつける対象となり得る。

図７は、行動履歴DB３２に記録されるユーザ行動ログの例を示している。図７においては、寝室１０５では、例えば、9月1日(金) 6:00-6:15，9月2日(土) 7:00-7:20等の朝の時間帯に、ライト１５１が使用され、9月1日(金) 23:00-23:30，9月2日(土) 23:30-0:00等の夜の時間帯に、ランプ１５４が使用されている。

これによって、ホームコンソールシステムは、現在時刻が、朝7時頃であって、朝の段階で利用される照明の利用率から、ランプ１５４よりも、ライト１５１を点灯させるほうが適切であると認識して、ライト１５１を点灯する。

ただし、行動履歴DB３２に蓄積される、日頃のユーザの行動履歴として、朝にランプ１５４を点灯する確率が高い場合には、その限りでなく、ライト１５１とランプ１５４のうち、ランプ１５４が選択され、点灯されるようにしてもよい。

（Ｃ）コンセント操作の例（場所：書斎又は寝室）
次に、ユーザが掃除機を用いて、２階の書斎１０４と寝室１０５の掃除を行う場合に、書斎１０４の掃除が終わった後に、掃除をしつつ、書斎１０４から寝室１０５に部屋を移ったときに、電源コードが届かなくなった場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。

ただし、この場合において、掃除機の電源プラグは、書斎１０４のコンセント１４３に差し込まれているものとする。

（第１の例）

Ｕ：「このコンセント外して」
Ｓ：「掃除機のコンセントを外しました」

このコンセント操作の第１の例において、ホームコンソールシステムは、「このコンセント外して」であるユーザの発話の意図が、"コンセントの電源プラグを抜く"ことであると認識する。また、ホームコンソールシステムは、各種のセンサから得られるセンサ情報や、家電機器の電力使用量などに基づき、ユーザが現在どの部屋にいて、何を使っているのかを認識することができる。

ここでは、センサ情報として、例えば、書斎１０４に設置されたセンサ１４５や、寝室１０５に設置されたセンサ１５５から得られるセンサ情報が用いられ、電力使用量として、例えば、書斎１０４の壁面に設けられたコンセント１４３や、寝室１０５の壁面に設けられたコンセント１５３に接続された家電機器の電力使用量が用いられる。

これにより、ホームコンソールシステムは、現在、ユーザが使用している家電機器が、掃除機であると認識する。そして、ホームコンソールシステムは、ユーザにより掃除機が使用されていないことの確認がとれた時点で、掃除機の電源プラグをコンセント１４３から外して、掃除機に対し、電力供給源からの電力が供給されないようにする。

ここで、コンセント１４３の差し込み口に対し、家電機器の電源プラグが複数差し込まれている場合には、例えば、図８に示すように、コンセント１４３の差し込み口ごとの電力使用量を解析することで、対象の差し込み口を特定することができる。

図８は、コンセント１４３の差し込み口ごとの電力使用量の第１の例を示している。なお、図８のＡ乃至図８のＣの各グラフにおいて、縦軸が電力使用量（W）を示し、横軸が時間を表している。

例えば、コンセント１４３には、３つの差し込み口が、縦方向に並んで設けられており、コンセントID1で識別される１つ目の差し込み口（以下、第１コンセントと記述する）の電力使用量を、図８のＡに示している。

また、コンセントID2で識別される２つ目の差し込み口（以下、第２コンセントと記述する）の電力使用量を、図８のＢに示し、コンセントID3で識別される３つ目の差し込み口（以下、第３コンセントと記述する）の電力使用量を、図８のＣに示している。

時刻t1において、「このコンセント外して」であるユーザの発話が行われた場合、ホームコンソールシステムは、ユーザの発話の時点の時刻から過去の電力使用量の推移に関する電力情報を取得し、コンセント１４３の差し込み口の中から、現在使用されておらず、かつ、一定時間使用されていた差し込み口を選択する。

具体的には、第１コンセント（図８のＡ）は、常に一定の電力使用量となって、現時点で使用中の家電機器の差し込み口となるため、選択対象から除外される。また、第３コンセント（図８のＣ）は、時間帯ごとに電力使用量が変化しているものの、現時点では使用中の家電機器の差し込み口となるため、選択対象から除外される。

一方で、第２コンセント（図８のＢ）は、時刻t1のユーザの発話前に、電力使用量が急激に低下した現時点で未使用の家電機器であって、一定期間使用されていた家電機器の差し込み口となるため、選択対象のコンセント（の差し込み口）とされる。換言すれば、第１コンセント乃至第３コンセントのうち、第２コンセントが、最も選択確率の高いコンセント（差し込み口）であると言える。

このように、コンセント（の差し込み口）の選択は、それぞれの電力使用量の相関を用いることで、コンセントID2で識別される第２コンセントが選択され、この第２コンセントに差し込まれた電源プラグを外すことになる。これにより、掃除機への電力の供給が停止され、ホームコンソールシステムは、その旨をユーザに応答することになる。

なお、書斎１０４に設けられたコンセント１４３から、掃除機の電源プラグを抜く方法であるが、例えば、コンセント１４３に、専用の取り外し機構を設けることで、差し込み口に差し込まれた電源プラグを、自動で抜くことができる。

より具体的には、例えば、コイルバネや空気バネ等の弾性体を用いた機構を、コンセント１４３に組み込むことで、圧縮空気が送られるシリンダや、バネの回転モーメントによって、差し込み口に差し込まれた電源プラグを押し出して、コンセント１４３から外すことができる。また、例えば、ロックで止められたギヤを用いた機構を、コンセント１４３に組み込んで、ギヤを止めていたロックが外されたときに、バネの力がプレートに加わって、当該プレートを前面に押し出すことによって、差し込み口に差し込まれた電源プラグを押し出すようにしてもよい。

（第２の例）

Ｕ：「このコンセント外して」
Ｓ：「第１コンセントと第２コンセントの２つの候補があります」
Ｕ：「真ん中のやつ」
Ｓ：「第２コンセントを外しました」

このコンセント操作の第２の例において、ホームコンソールシステムは、上述の第１の例と同様に、ユーザの発話の意図が、"コンセントの電源プラグを抜く"ことであると認識したが、選択対象のコンセント（の差し込み口）が複数ある場合には、ユーザに対し、「第１コンセントと第２コンセントの２つの候補があります」である応答を行う（聞き返し機能）。

図９は、コンセント１４３の差し込み口ごとの電力使用量の第２の例を示している。なお、図９においては、図８と同様に、第１コンセントと、第２コンセントと、第３コンセントとの電力使用量の変化を時系列で示している。

時刻t1において、「このコンセント外して」であるユーザの発話が行われた場合、ホームコンソールシステムは、電力情報を取得し、コンセント１４３の差し込み口の中から、現在使用されておらず、かつ、一定時間使用されていた差し込み口を選択するが、選択対象の差し込み口が複数存在している。

具体的には、第１コンセント（図９のＡ）と、第２コンセント（図９のＢ）は、時間帯ごとに電力使用量が変化しているが、現時点では未使用の家電機器であって、一定期間使用されていた家電機器の差し込み口となるため、共に選択対象のコンセント（差し込み口）とされる。

なお、第３コンセント（図９のＣ）は、時間帯ごとに電力使用量が変化しているものの、現時点では使用中の家電機器の差し込み口となるため、選択対象から除外される。換言すれば、第１コンセント乃至第３コンセントのうち、第１コンセントと第２コンセントが、最も選択確率の高いコンセント（差し込み口）であると言える。

このように、コンセント（の差し込み口）の選択に際して、それぞれの電力使用量の相関を用いることで、第１コンセントと第２コンセントまでは絞り込むことができるが、これらの選択対象の候補をさらに絞り込むことができない場合がある。その場合に、ホームコンソールシステムは、「第１コンセントと第２コンセントの２つの候補があります」である応答を行う（聞き返し機能）。

この応答に対し、ユーザが、「真ん中のやつ」である発話（回答）を行った場合、ホームコンソールシステムは、選択対象となる第１コンセントと第２コンセントのうち、第２コンセントに差し込まれた電源プラグを外すことを認識することができる。換言すれば、ユーザの発話（回答）に応じて更新された選択確率によれば、第１コンセント乃至第３コンセントのうち、第２コンセントが、最も選択確率の高いコンセント（差し込み口）であると言える。

そして、ホームコンソールシステムは、コンセントID2で識別される第２コンセントに差し込まれた電源プラグ（掃除機の電源プラグ）を外し、その旨をユーザに応答することになる。

（Ｄ）暖房器具の操作の例（時間：休日の23:00頃、場所：居間）
次に、休日の夜の23時頃の居間１０１において、ユーザの発話に応じて、暖房器具（冷暖房機）の操作が行われる場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。

（第１の例）

Ｕ：「暖房ついてる」
Ｓ：「寝室はついていません」
Ｕ：「つけておいて」
Ｓ：「暖房をつけました 26℃に設定してあります」

この暖房器具の操作の第１の例において、ホームコンソールシステムは、「暖房ついてる」であるユーザの発話の意図が、"暖房器具の電源を確認する"ことであると認識する。

また、ホームコンソールシステムは、住宅１００には暖房として動作する暖房器具が３つ存在していることを認識しているが、夜の23時のユーザの存在確率として、寝室１０５が最も高いことを、これまでのユーザの生活の行動履歴（例えば、図７のユーザ行動ログ）から認識している。

そのため、ホームコンソールシステムは、ユーザの発話の意図が、寝室１０５の暖房器具１５２を指していると認識し、現時点での寝室１０５の暖房の状態として、「寝室はついていません」である応答を行う。

この応答に対し、ユーザが、「つけておいて」である発話を行った場合、ホームコンソールシステムは、それまでの対話シーケンスから、ユーザの発話の意図が、寝室１０５の暖房器具１５２を指していると認識して、寝室１０５に設置された暖房器具１５２の電源をオンしてその設定温度を26℃にする。そして、ホームコンソールシステムは、ユーザに対し、「暖房をつけました 26℃に設定してあります」である応答を行う。

図１０は、暖房器具の操作時の動作候補機器の選択スコアの第１の例を示している。

図１０においては、動作候補機器として、居間１０１に設置された冷暖房機１１２（居間暖房）、書斎１０４に設置された冷暖房機１４２（書斎暖房）、及び寝室１０５に設置された暖房器具１５２（寝室暖房）が例示されている。なお、これらの関係は、後述する図１１乃至図１３においても同様とされる。

図１０は、23:00頃に、「暖房ついてる」（又は「つけておいて」）であるユーザの発話が行われたときの選択スコアの例を示しており、冷暖房機１１２と、冷暖房機１４２と、暖房器具１５２の選択スコアとして、0.5，0.1，0.8がそれぞれ算出されている。

この場合において、0.8であるスコアが算出された暖房器具１５２が、最もスコアが高い、動作候補機器となるため、ホームコンソールシステムは、動作対象機器として、寝室１０５に設置された暖房器具１５２を選択し、その動作内容として、電源をオンして設定温度を26℃にする制御を行う。

（第２の例）

Ｕ：「暖房ついてる」
Ｓ：「寝室はついていません」
Ｕ：「今いるところの」
Ｓ：「居間の暖房はついています」
Ｕ：「消しといて」
Ｓ：「居間の暖房を消しました」

この暖房器具の操作の第２の例において、ホームコンソールシステムは、上述の第１の例と同様に、ユーザの発話の意図が、寝室１０５の暖房器具１５２を指していると認識し、寝室１０５の現在の暖房の状態として、「寝室はついていません」である応答を行っている。

この応答に対し、ユーザが、「今いるところの」である発話を行った場合、ホームコンソールシステムは、それまでの対話シーケンスから、ユーザの発話の意図が、寝室１０５ではなく、居間１０１の暖房器具である冷暖房機１１２を指していたものであったと認識する。そして、ホームコンソールシステムは、居間１０１の冷暖房機１１２の電源情報に基づき、冷暖房機１１２の電源がオン状態となっていることを認識し、ユーザに対し、「居間の暖房はついています」である応答を行う（聞き返し機能）。

さらに、この応答に対し、ユーザが、「消しといて」である発話を行った場合、ホームコンソールシステムは、それまでの対話シーケンスから、ユーザの発話の意図が、居間１０１に設置された冷暖房機１１２を指していると認識して、冷暖房機１１２の電源をオフする。そして、ホームコンソールシステムは、ユーザに対し、「居間の暖房を消しました」である応答を行う。

図１１は、暖房器具の操作時の動作候補機器の選択スコアの第２の例を示している。

図１１のＡは、「暖房ついてる」であるユーザの発話が行われたときの選択スコアの例を示している。図１１のＡにおいては、冷暖房機１１２と、冷暖房機１４２と、暖房器具１５２の選択スコアとして、0.5，0.1，0.8がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い暖房器具１５２を、動作候補機器として選択し、ユーザに応答を行う。

また、図１１のＢは、「今いるところの」であるユーザの発話が行われたときの選択スコアの例を示している。図１１のＢにおいては、更新後の選択スコアとして、0.9，0.0，0.0がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い冷暖房機１１２を、動作候補機器として選択し、ユーザに応答を行う。

また、図１１のＣは、「消しといて」であるユーザの発話が行われたときの選択スコアの例を示している。図１１のＣにおいては、更新後の選択スコアとして、0.9，0.1，0.7がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い冷暖房機１１２を、動作対象機器として選択し、その電源をオフする制御を行う。

このように、１回目のユーザの発話に対する応答では、ユーザの意図と異なったものとなっていたが、２回目と３回目のユーザの発話に対する応答では、ユーザとの対話によって、ユーザの意図に合ったものに修正されている。また、それに伴って、各動作候補機器の選択スコア（確率）も更新され、更新された選択スコアに基づき、動作候補機器の中から、動作対象機器が選択されている。

（第３の例）

Ｕ：「暖房ついてる」
Ｓ：「居間、寝室、どちらでしょうか」
Ｕ：「今いるところの」
Ｓ：「居間の暖房はついています」
Ｕ：「消しといて」
Ｓ：「居間の暖房を消しました」

この暖房器具の操作の第３の例において、ホームコンソールシステムは、「暖房ついてる」であるユーザの発話の意図が、どの暖房器具を指しているのかを認識できないため、「居間、寝室、どちらでしょうか」である応答を行っている（聞き返し機能）。

この応答に対し、ユーザが、「今いるところの」である発話を行った場合、ホームコンソールシステムは、上述の第２の例と同様に、ユーザの発話の意図が、寝室１０５ではなく、居間１０１の暖房器具である冷暖房機１１２を指していたものであったと認識し、「居間の暖房はついています」である応答を行う（聞き返し機能）。

さらに、この応答に対し、ユーザが、「消しといて」である発話を行った場合、ホームコンソールシステムは、上述の第２の例等と同様に、冷暖房機１１２の電源をオフし、その旨を応答する。

図１２は、暖房器具の操作時の動作候補機器の選択スコアの第３の例を示している。

図１２のＡは、「暖房ついてる」であるユーザの発話が行われたときの選択スコアの例を示している。図１２のＡにおいては、冷暖房機１１２と、冷暖房機１４２と、暖房器具１５２の選択スコアとして、0.7，0.1，0.7がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い暖房器具として、冷暖房機１１２と暖房器具１５２の２つが存在しているため、それらを動作候補機器として選択し、ユーザに応答を行う。

また、図１２のＢは、「今いるところの」であるユーザの発話が行われたときの選択スコアの例を示している。図１２のＢにおいては、更新後の選択スコアとして、0.9，0.0，0.0がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い冷暖房機１１２を、動作候補機器として選択し、ユーザに応答を行う。

また、図１２のＣは、「消しといて」であるユーザの発話が行われたときの選択スコアの例を示している。図１２のＣにおいては、更新後の選択スコアとして、0.9，0.0，0.0がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い冷暖房機１１２を、動作対象機器として選択し、その電源をオフする制御を行う。

このように、１回目のユーザの発話に対する応答では、最も選択スコア（確率）が高い暖房器具が複数存在する場合に、ユーザによる指示を仰ぐことで、２回目と３回目のユーザに対する発話に対する応答では、ユーザの意図に合ったものとなっている。また、それに伴って、各動作候補機器の選択スコア（確率）も更新され、更新された選択スコアに基づき、動作候補機器の中から、動作対象機器が選択されている。

（第４の例）

Ｕ：「居間の暖房ついてる」
Ｓ：「居間の暖房はついています」
Ｕ：「消しといて」
Ｓ：「居間の暖房を消しました」

この暖房器具の操作の第４の例において、ホームコンソールシステムは、「居間の暖房ついてる」であるユーザの発話から、ユーザの発話の意図が、居間１０１の冷暖房機１１２を指しているものと認識し、「居間の暖房はついています」である応答を行う。さらに、この応答に対し、ユーザが、「消しといて」である発話を行った場合、ホームコンソールシステムは、上述の第２の例等と同様に、冷暖房機１１２の電源をオフし、その旨を応答する。

図１３は、暖房器具の操作時の動作候補機器の選択スコアの第４の例を示している。

図１３のＡは、「居間の暖房ついてる」であるユーザの発話が行われたときの選択スコアの例を示している。図１３のＡにおいては、冷暖房機１１２と、冷暖房機１４２と、暖房器具１５２の選択スコアとして、0.9，0.0，0.0がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い冷暖房機１１２を、動作候補機器として選択し、ユーザに応答を行う。

また、図１３のＢは、「消しといて」であるユーザの発話が行われたときの選択スコアの例を示している。図１３のＢにおいては、更新後の選択スコアとして、0.9，0.0，0.0がそれぞれ算出されている。この場合、ホームコンソールシステムは、最もスコアが高い冷暖房機１１２を、動作対象機器として選択し、その電源をオフする制御を行う。

このように、１回目のユーザの発話に対する応答では、動作候補機器に対するスコア（確率）の値に差がある場合でも、ユーザが動作対象機器を明示した場合には、それに従うことで、２回目のユーザに対する発話に対する応答では、ユーザの意図に合った機器が制御されることになる。

（第５の例）

Ｕ：「寝る部屋暖めておいて」
Ｓ：「xxxxさんの寝室の暖房をつけます」
Ｕ：「12時くらいに寝るから」
Ｓ：「わかりました」

この暖房器具の操作の第５の例において、ホームコンソールシステムは、「寝る部屋暖めておいて」であるユーザの発話の意図が、"暖房器具の電源をオンする"ことであると認識する。また、ホームコンソールシステムは、センサ情報や、行動履歴DB３２に記録されるユーザ行動ログなどから、ユーザがどの部屋で寝るかを認識し、ユーザの寝る時間帯に合わせて、寝室１０５の室内が適温になるように、暖房器具１５２の起動を実行する。

ここでは、ユーザにより寝る時間が指定された場合、ホームコンソールシステムは、その時間に合わせて、暖房器具１５２の動作を制御するようにする。なお、ユーザにより寝る時間の指定がなかった場合でも、センサ情報やユーザ行動ログなどに基づき、ユーザの寝る時間を推定して、暖房器具１５２の動作を制御することができる。

（Ｅ）ゲーム機の操作の例（時間：平日の16:00頃、場所：居間）
次に、平日の16時頃の居間１０１において、ユーザの発話に応じて、ゲーム機１１６の操作が行われる場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。

（第１の例）

Ｕ：「つけて」
Ｓ：「なにをつけますか」
Ｕ：「ゲーム」
Ｓ：（ゲーム機の起動処理を実行）

このゲーム機の操作の第１の例において、ホームコンソールシステムは、「つけて」であるユーザの発話の意図が、"家電機器の電源をオンする"ことであると認識する。また、ホームコンソールシステムは、ユーザが現在いる居間１０１において、電源をオンすることができる家電機器が複数存在することを認識している。

このとき、ホームコンソールシステムは、居間１０１に設置された、冷暖房機１１２、テレビ１１４、録画機１１５、及びゲーム機１１６などの家電機器に対するユーザに適合した利用確率を参照するが、それらの家電機器ごとの利用確率に差異がなかった場合、どの家電機器を指しているのかを認識できないため、ユーザに対し、「なにをつけますか」である応答を行う。

すなわち、この応答は、ユーザに対して、所望の動作対象機器を明示してもらうための問いかけとなる（聞き返し機能）。そして、この応答に対し、ユーザが、「ゲーム」である発話を行った場合、ホームコンソールシステムは、ユーザの発話の意図が、ゲーム機１１６を指していたものであったと認識する。これにより、ホームコンソールシステムは、ゲーム機１１６の起動処理を実行し、ゲーム機１１６の電源をオンする。

図１４は、電源の操作時の動作候補機器の選択スコアの第１の例を示している。

図１４においては、動作候補機器として、居間１０１に設置された、冷暖房機１１２、テレビ１１４、録画機１１５、及びゲーム機１１６が例示されている。なお、これらの関係は、後述する図１５においても同様とされる。

図１４のＡは、「つけて」であるユーザの発話が行われたときの選択スコアの例を示している。図１４のＡにおいては、冷暖房機１１２と、テレビ１１４と、録画機１１５と、ゲーム機１１６の選択スコアとして、0.3，0.3，0.3，0.3がそれぞれ算出されている。この場合、ホームコンソールシステムは、動作候補機器のスコアに差がなく、動作対象機器を一意に特定できないため、ユーザに問い合わせる。

図１４のＢは、「ゲーム」であるユーザの発話が行われたときの選択スコアの例を示している。図１４のＢにおいては、更新後の選択スコアとして、0.0，0.0，0.0，0.9がそれぞれ算出されている。ホームコンソールシステムは、最もスコアが高いゲーム機１１６を、動作対象機器として選択し、その電源をオンする制御を行う。

このように、１回目のユーザの発話に対する応答では、対象となり得る家電機器が複数存在する場合に、ユーザに対し、動作対象機器を明示してもらうための問いかけを行うことで、２回目のユーザに対する発話に対する応答では、ユーザの意図に合った機器が制御されることになる。

（第２の例）

Ｕ：「つけて」
Ｓ：「なにをつけますか」
Ｕ：「冷蔵庫」
Ｓ：「申し訳ありません 冷蔵庫をつけることはできませんでした」

この第２の例において、ホームコンソールシステムは、上述の第１の例と同様に、ユーザの発話の意図が、どの家電機器を指しているのかを認識できないため、「なにをつけますか」である応答を行う。

この応答に対し、ユーザが、「冷蔵庫」である発話を行った場合、ホームコンソールシステムは、ユーザの発話の意図が、台所１０３に設置された冷蔵庫１３３を指していたものと認識するが、冷蔵庫１３３は動作対象機器として選択ができないため、「申し訳ありません 冷蔵庫をつけることはできませんでした」である応答を行う。なお、ここでは、冷蔵庫１３３の電源が既にオン状態となっている場合に、ホームコンソールシステムは、「現在オン状態です」などの応答を行うようにしてもよい。

図１５は、電源の操作時の動作候補機器の選択スコアの第２の例を示している。

図１５のＡは、「つけて」であるユーザの発話が行われたときの選択スコアの例を示している。図１５のＡにおいては、冷暖房機１１２と、テレビ１１４と、録画機１１５と、ゲーム機１１６の選択スコアとして、0.3，0.3，0.3，0.3がそれぞれ算出されている。この場合、ホームコンソールシステムは、動作候補機器のスコアに差がないため、ユーザに問い合わせる。

図１５のＢは、「冷蔵庫」であるユーザの発話が行われたときの選択スコアの例を示している。図１５のＢにおいては、更新後の選択スコアとして、0.0，0.0，0.0，0.0がそれぞれ算出されている。ホームコンソールシステムは、冷暖房機１１２が動作候補機器に含まれておらず、動作対象機器として選択することはできないため、ユーザに対し、その旨の応答（処理が失敗している旨の通知）を行う。

このように、１回目のユーザの発話に対する応答では、対象となり得る家電機器が複数存在する場合に、ユーザに対し、動作対象機器を明示してもらうための問いかけを行ったが、動作対象機器となり得ない機器が指示されたとき、２回目のユーザに対する発話に対する応答では、「つけて」であるユーザの発話に応じた処理が失敗している旨をフィードバックすることになる。

（Ｆ）外出先からの暖房器具の操作の例（時間：平日の18:00頃、場所：外出先）
次に、平日の18時頃に、ユーザが外出先から自宅へと帰る際に、ユーザの発話に応じて、暖房器具（冷暖房機）の操作が行われる場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。なお、このとき、ユーザの発話は、例えば、スマートフォン等の携帯端末装置５０を通じて、外出先から行われる。

（第１の例）

Ｕ：「暖めておいて」
Ｓ：「居間の暖房をつけました 26℃に設定してあります」

この外出時の暖房器具の操作の第１の例において、ホームコンソールシステムは、「暖めておいて」であるユーザの発話の意図が、"暖房器具の電源をオンする"ことであると認識する。

また、ホームコンソールシステムは、住宅１００には暖房として動作する暖房器具が３つ存在していることを認識しているが、ユーザが外出先から戻ってきたときに、最も利用する確率の高い部屋が、居間１０１であることを、これまでのユーザの生活の行動履歴（例えば、図４のユーザ行動ログ）から認識している。

そのため、ホームコンソールシステムは、「暖めておいて」であるユーザの発話の意図が、居間１０１を指していると認識し、居間１０１に設置された冷暖房機１１２の電源をオンしてその設定温度を26℃にする。そして、ホームコンソールシステムは、ユーザに対し、「居間の暖房をつけました 26℃に設定してあります」である応答を行う。

図１６は、外出先からの暖房器具の操作時の動作候補機器の選択スコアの第１の例を示している。

図１６においては、動作候補機器として、居間１０１に設置された冷暖房機１１２（居間暖房）、書斎１０４に設置された冷暖房機１４２（書斎暖房）、及び寝室１０５に設置された暖房器具１５２（寝室暖房）が例示されている。なお、これらの関係は、後述する図１７においても同様とされる。

図１６は、18:00頃に、「暖めておいて」であるユーザの発話が行われたときの選択スコアの例を示しており、冷暖房機１１２と、冷暖房機１４２と、暖房器具１５２の選択スコアとして、0.7，0.4，0.1がそれぞれ算出されている。

この場合において、ホームコンソールシステムは、動作対象機器として、最もスコアが高い冷暖房機１１２を選択し、その動作内容として、電源をオンして設定温度を26℃にする制御を行う。

（第２の例）

Ｕ：「暖めておいて」
Ｓ：「どの部屋を暖めますか」
Ｕ：「居間をお願い」
Ｓ：「居間の暖房をつけました 26℃に設定してあります」

この外出時の暖房器具の操作の第２の例において、ホームコンソールシステムは、上述の第１の例と同様に、ユーザの発話の意図が、"暖房器具の電源をオンする"ことであると認識する。また、ホームコンソールシステムは、住宅１００にて暖房器具が３つ存在していることを認識している。

ホームコンソールシステムは、居間１０１に設置された冷暖房機１１２、書斎１０４に設置された冷暖房機１４２、及び寝室１０５に設置された暖房器具１５２に対するユーザに適合した利用確率を参照するが、それらの暖房器具ごとの利用確率に差異がなかった場合、どの暖房器具を指しているのかを認識できないため、「どの部屋を暖めますか」である応答を行う（聞き返し機能）。

この応答に対し、ユーザが、「居間をお願い」である発話を行った場合、ホームコンソールシステムは、ユーザの発話の意図が、居間１０１に設置された冷暖房機１１２を指していたものであったと認識する。これにより、ホームコンソールシステムは、冷暖房機１１２の電源をオンしてその設定温度を26℃にする。

図１７は、外出先からの暖房器具の操作時の動作候補機器の選択スコアの第２の例を示している。

図１７のＡは、「暖めておいて」であるユーザの発話が行われたときの選択スコアの例を示しており、冷暖房機１１２と、冷暖房機１４２と、暖房器具１５２の選択スコアとして、0.3，0.3，0.3がそれぞれ算出されている。この場合、ホームコンソールシステムは、動作候補機器のスコアに差がないため、ユーザに問い合わせる。

図１７のＢは、「居間をお願い」であるユーザの発話が行われたときの選択スコアの例を示しており、更新後の選択スコアとして、0.9，0.0，0.0がそれぞれ算出されている。この場合、ホームコンソールシステムは、動作対象機器として、最もスコアが高い冷暖房機１１２を選択し、その動作内容として、電源をオンする制御を行う。

このように、１回目のユーザの発話に対する応答では、対象となり得る暖房器具が複数存在する場合に、ユーザに対し、動作対象機器を明示してもらうための問いかけを行うことで、２回目のユーザに対する発話に対する応答では、ユーザの意図に合った暖房器具が制御されることになる。

（Ｇ）外出先からの夕食の準備の操作の例（時間：平日の18:00頃、場所：外出先）
次に、平日の18時頃に、ユーザが外出先で、帰宅後の自宅で作りたい夕食を思い浮かべている場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。なお、ここでも、ユーザの発話は、例えば、スマートフォン等の携帯端末装置５０を通じて、外出先から行われる。

（第１の例）

Ｕ：「たこ焼き作りたい」
Ｓ：（ウェブサイトから「たこ焼きのレシピ」を取得）
Ｓ：（ユーザの普段の料理で利用されている食材の情報を取得）
Ｓ：「xxxxが不足しています」

この外出時の夕食の準備の第１の例において、ホームコンソールシステムは、「たこ焼き作りたい」であるユーザの発話から、ユーザの発話の意図が、"夕食としてたこ焼きを作る"ことであると認識し、インターネット上のウェブサイトに公開されている"たこ焼きのレシピ"であるレシピ情報を取得する。このレシピ情報によって、たこ焼きの材料として、例えば、小麦粉、茹でたこ、青のり、紅ショウガ、揚げ玉が必要となることが認識される。

また、ホームコンソールシステムは、冷蔵庫１３３の内部に設けられたセンサからのセンサ情報、あるいはユーザによる買い物の際の購入ログ（ユーザ行動ログ）などに基づき、ユーザの普段の料理で利用されている食材の情報（食材履歴情報）を取得する。この食材履歴情報としては、例えば、下記に示すような、ある期間の食事ごとに使用された食材に関する情報が得られる。

（食材履歴情報）

９月１日：昼：データなし
：夜：ひき肉、キャベツ、もやし
９月２日：昼：茹でたこ、紅ショウガ
：夜：さんま、大根、ほうれん草
９月３日：昼：鶏肉、トマト、チーズ
：夜：データなし

・・・

ホームコンソールシステムは、レシピ情報と食材履歴情報に基づき、９月２日の昼に、ユーザが、「たこ焼き」らしいものを作っていることを推定する。また、ホームコンソールシステムは、食材履歴情報等に基づき、利用されている食材の頻度から、必要な食材を推定する。

キーワード：たこ焼き
レシピ情報（たこ焼きのレシピ）：小麦粉、茹でたこ、青のり、紅ショウガ、揚げ玉
食材履歴情報（ユーザ使用食材）：茹でたこ、紅ショウガ

図１８は、ユーザの料理材料の傾向スコアの例を示している。図１８においては、たこ焼きのレシピに含まれる小麦粉、茹でたこ、青のり、紅ショウガ、揚げ玉の傾向スコアとして、0.1，0.8，0.1，0.8，0.1がそれぞれ算出されている。

この場合において、0.8であるスコアが算出された茹でたこ、紅ショウガが、最もスコアが高く、それ以外の小麦粉、青のり、揚げ玉は、スコアが低いので、ホームコンソールシステムは、これらのスコアに応じて、ユーザに対して自宅で不足している可能性が高い食材を、優先的にフィードバックすればよい。

（第２の例）

Ｕ：「たこ焼き作りたい」
Ｓ：（ウェブサイトから「たこ焼きのレシピ」を取得）
Ｓ：（ユーザの普段の料理で利用されている食材の情報を取得）
Ｓ：（NG食材情報を取得）
Ｓ：「xxxxが不足しています」

この外出時の夕食の準備の第２の例において、ホームコンソールシステムは、上述の第１の例と同様に、ユーザの発話から、ユーザの発話の意図が、"夕食としてたこ焼きを作る"ことであると認識し、レシピ情報と食材履歴情報に基づき、必要な食材を推定する。

ここで、ホームコンソールシステムは、例えば、茹でたこ、紅ショウガが不足している可能性が高い食材であると推定した場合に、家族の嗜好を考慮に入れて、必要な食材が推薦されるようにすることができる。家族の嗜好を示す情報としては、例えば、下記に示すような、ある家族の苦手な食材を、ユーザごとに登録したNG食材情報を用いることができる。

（NG食材情報）

ユーザＡ：セロリ
ユーザＢ：紅ショウガ、椎茸
ユーザＣ：なし

・・・

ホームコンソールシステムは、NG食材情報を参照して、茹でたこ、紅ショウガのうち、紅ショウガがユーザＢのNG食材となっているので、それを除いた食材として、ユーザに対し、「茹でたこが不足しています」である応答を行うことができる。

（第３の例）

Ｕ：「何か家で食べれそう」
Ｓ：「冷蔵庫には、豚肉、キャベツ、ピーマンがあります」
Ｓ：「野菜炒めができそうです」

この外出時の夕食の準備の第３の例において、ホームコンソールシステムは、ユーザの発話から、ユーザの発話の意図が、"夕食のレシピの確認"あると認識し、レシピ情報と食材履歴情報などに基づき、調理可能なレシピを推定して、ユーザに対し、フィードバックしている。なお、冷蔵庫１３３にある食材を列挙するに際して、対象の食材が多すぎる場合には、レシピ情報から検索された調理可能な料理に基づき、対象の食材をピックアップして通知すればよい。

（Ｈ）外出先でのメッセージの通知の例（時間：休日の16:00頃、場所：外出先）
次に、休日の16時頃に、外出先で、ペットを飼っているユーザの所持する携帯端末装置５０に対し、ペットに関するメッセージが通知される場合における、対話シーケンスの例を示す。

（第１の例）

Ｓ：「ネコのエサがなくなっています 自宅に戻った方がよいかもしれません」

この外出時のメッセージの通知の第１の例において、ホームコンソールシステムは、休日の16時頃に、ユーザが、ペットのネコにエサをあげる可能性が高いことを、これまでのユーザの生活の行動履歴から認識している。

図１９は、行動履歴DB３２に記録されるユーザ行動ログの例を示している。図１９においては、例えば、9月1日(金) 20:00-20:05，9月4日(月) 20:05-20:10等の平日の時間帯や、9月2日(土) 16:00-16:10，9月3日(日) 16:00-16:10等の休日の時間帯に、ユーザが、ペットのネコにエサをあげていることが、ユーザ行動ログとして記録されている。

ホームコンソールシステムは、図１９に示したユーザ行動ログに基づき、ユーザは、平日の20時過ぎ頃、又は休日の16時頃に、ネコにエサをあげる可能性が高いことを認識することができる。

また、住宅１００においては、センサ１１７等のセンサによって、エサ置き場の入れ物１１８の状況や、エサの量、ネコの行動ログなどがセンシングされているので、ホームコンソールシステムは、そのセンシング結果から得られるセンサ情報を解析することで、外出中のユーザに対し、通知すべきメッセージ（フィードバック情報）を生成する。

さらに、ホームコンソールシステムは、外出中のユーザが所持している携帯端末装置５０から得られる位置情報（例えば、GPS情報）に基づき、ユーザがいつもネコにエサを与えている16時に、住宅１００に戻れるかどうかの解析を行う。

そして、ホームコンソールシステムは、例えば、現在時刻が15時で、ユーザが外出先から１時間程度で戻れる場合には、ユーザの所持する携帯端末装置５０に対し、ネットワークを介して、「ネコのエサがなくなっています 自宅に戻った方がよいかもしれません」であるメッセージを通知する。

（第２の例）

Ｓ：「ネコのエサがなくなっています 家族に連絡しました」

この外出時のメッセージの通知の第２の例においては、ホームコンソールシステムは、これまでのユーザの生活の行動履歴（例えば、図１９のユーザ行動ログ）から、休日の16時頃にネコにエサをあげる可能性が高いことを認識しているが、外出中のユーザの位置情報に基づいた解析の結果、ユーザがいつもネコにエサを与えている16時に、住宅１００には戻れないと認識している。

この場合、ホームコンソールシステムは、ユーザの家族が所持する携帯端末装置に対し、ネコのエサがない旨のメッセージを通知する。ただし、ユーザの家族が、住宅１００内にいる場合には、ホームコンソールシステムは、例えば、ユーザの家族が存在している部屋に設置された家電機器（例えば、ホームコンソール１０）を制御して、音声や表示などによって、ネコのエサがない旨を通知するようにしてもよい。

そして、ホームコンソールシステムは、ユーザの所持する携帯端末装置５０に対し、「ネコのエサがなくなっています 家族に連絡しました」であるメッセージを通知する。

（第３の例）

Ｓ：「あとxx分で、いつものエサの時間に間に合わなくなります ただ、ネコのエサはまだ入っているようです」

この外出時のメッセージの通知の第３の例において、ホームコンソールシステムは、これまでのユーザの生活の行動履歴（例えば、図１９のユーザ行動ログ）から、休日の16時頃にネコにエサをあげる可能性が高いことを認識しているが、センサ情報に基づいた解析の結果、エサ置き場の入れ物１１８に、ネコのエサは残っていると認識している。

また、ホームコンソールシステムは、外出中のユーザの位置情報に基づいた解析の結果、ユーザがいつもネコにエサを与えている16時に、住宅１００に戻れるが、それまでの残り時間は少ないと認識している。

この場合、ホームコンソールシステムは、ユーザの所持する携帯端末装置５０に対し、「あとxx分で、いつものエサの時間に間に合わなくなります ただ、ネコのエサはまだ入っているようです」であるメッセージを通知する。ただし、このメッセージにおいて、「xx分」は、住宅１００に、16時に戻るための出発時刻までの残り時間となる。

なお、上述した外出時のメッセージの通知の第１の例乃至第３の例においては、ホームコンソールシステムからの応答のみを示しているが、例えば、ユーザが、ペットのネコにエサをあげたかどうかを忘れてしまった場合に、「ネコにエサあげたっけ」である発話がなされたとき、上述した第１の例乃至第３の例に示した応答が行われるようにしてもよい。

（Ｉ）外出先からのお風呂の操作の例（時間：平日の19:00頃、場所：外出先）
次に、平日の19時頃に、ユーザが外出先で、住宅１００に帰ったらお風呂に入ろうと思っている場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。なお、ここでも、ユーザの発話は、例えば、スマートフォン等の携帯端末装置５０を通じて、外出先から行われる。

（第１の例）

Ｕ：「お風呂入れるようにしておいて」
Ｓ：「準備しておきます」

この外出時のお風呂の操作の第１の例において、ホームコンソールシステムは、「お風呂入れるようにしておいて」であるユーザの発話から、ユーザの発話の意図が、"お風呂を沸かす"ことであると認識する。また、ホームコンソールシステムは、外出中のユーザが所持している携帯端末装置５０から得られる位置情報（GPS情報）に基づいて、ユーザの帰宅可能性のある時間帯を推定するための解析を行う。

そして、ホームコンソールシステムは、ユーザが帰宅すると推定される時間帯に、お風呂が沸き終わるように、浴室１０６内に設置された給湯器１６３を制御する。また、ホームコンソールシステムは、ユーザに対し、「準備しておきます」である応答をする。

なお、お風呂の沸き終わり時刻であるが、ホームコンソールシステムは、携帯端末装置５０から通知される情報（例えば、位置情報）などに基づき、逐次再計算して補正することができる。例えば、ユーザが、システムに対する発話の後に、直ぐに帰宅する予定であったのだが、急に他の用事ができてしまった場合には、お風呂の沸き終わり時刻を遅らせるなど、外出先のユーザの行動に応じて、お風呂の沸き終わり時刻を調整することができる。

また、例えば、外出中のユーザが、住宅１００の近くにいて、お風呂の沸き終わり時刻よりも先に帰宅してしまう場合に、ホームコンソールシステムは、ユーザが所持する携帯端末装置５０に対し、提案メッセージを通知して、ユーザの帰宅時刻を、お風呂の沸き終わり時刻に合わせるようにしてもよい。この提案メッセージとしては、例えば、冷蔵庫１３３の食材として、卵を切らしている場合であって、近所のお店で卵の特売が行われているときに、「近所のお店で卵の特売をやっていますが、寄ってみてはどうでしょうか」等のメッセージを通知することができる。

（第２の例）

Ｕ：「お風呂入れるようにしておいて」
Ｓ：「準備しておきます」

＜＜ 帰宅後別行動を開始 ＞＞

Ｓ：「お風呂の保温（追い炊き）を開始しました」

この外出時のお風呂の操作の第２の例において、ホームコンソールシステムは、上述の第１の例と同様に、ユーザの発話に応じて、ユーザが帰宅すると推定される時間帯に、お風呂が沸き終わるように、浴室１０６内に設置された給湯器１６３を制御する。

ただし、この第２の例では、ユーザは、予定していた帰宅時刻に帰宅し、その時点でお風呂は沸いていたが、帰宅後直ぐにはお風呂に入らず、例えば、食事やあと片付けなどの別行動をはじめた場合、ホームコンソールシステムは、センサ１１７等のセンサから得られるセンサ情報の解析結果に基づき、ユーザが直ぐにはお風呂に入らないことを認識する。

そして、ホームコンソールシステムは、例えば保温や追い炊きなどが行われるように、浴室１０６内に設置された給湯器１６３を制御する。また、ホームコンソールシステムは、ユーザに対し、「お風呂の保温（追い炊き）を開始しました」である応答をする。

（Ｊ）在宅時のお風呂の操作の例（時間：休日の20:00頃、場所：居間）
次に、休日の20時頃の居間１０１において、ユーザがお風呂に入ろうとしている場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。

（第１の例）

Ｕ：「お風呂 入れたっけ」
Ｓ：「お風呂は沸かされています」

この在宅時のお風呂の操作の第１の例において、ホームコンソールシステムは、「お風呂 入れたっけ」であるユーザの発話から、ユーザの発話の意図が、"お風呂の状態を確認する"ことであると認識する。

また、ホームコンソールシステムは、浴室１０６に設置されたセンサ１６２から得られるセンサ情報を解析することで、他の家族が入っているかなど、お風呂が使用可能な状態となっているかどうかを認識する。

そして、ホームコンソールシステムは、お風呂が使用可能な状態ではない場合、給湯器１６３に対し、お風呂が沸かされている状態かどうかを問い合わせる。ホームコンソールシステムは、給湯器１６３から、お風呂が沸かされている状態であるとの通知が得られた場合、ユーザに対し、「お風呂は沸かされています」である応答を行う。

なお、お風呂が使用可能な状態である場合には、ホームコンソールシステムは、ユーザに対し、お風呂を利用可能である旨の応答を行うことになる。

（第２の例）

Ｕ：「お風呂 入れたっけ」
Ｓ：「xxxxさんが入っているようです」

この在宅時のお風呂の操作の第２の例において、ホームコンソールシステムは、上述の第１の例と同様に、ユーザの発話の意図が、"お風呂の状態を確認する"ことであると認識したが、センサ１６２から得られるセンサ情報の解析結果から、他の家族が使用中であると認識し、ユーザに対し、「xxxxさんが入っているようです」である応答を行う。

（第３の例）

Ｕ：「お風呂 入れたっけ」
Ｓ：「お風呂はxx時に沸かされています 二人が入ったようです
現在36℃です 追い炊きしますか」
Ｕ：「追い炊きして」
Ｓ：「追い炊きを開始します」

この在宅時のお風呂の操作の第３の例において、ホームコンソールシステムは、上述の第１の例と同様に、ユーザの発話の意図が、"お風呂の状態を確認する"ことであると認識したが、給湯器１６３からの問い合わせ結果（機器情報）や、センサ１６２から得られるセンサ情報の解析結果に基づいて、お風呂の状態や、他の家族が入っているかなど、お風呂が使用可能な状態となっているかどうかを認識する。

このとき、ホームコンソールシステムは、お風呂が使用可能な状態である場合に、お風呂の状態に応じて、ユーザに対し、追い炊きや足し湯、保温などの機能を提案することができる。例えば、ホームコンソールシステムは、お風呂を沸かしてからある程度の時間が経過し、さらに他の家族が入ることで、お湯の温度が下がってきている場合に、ユーザに対し、「・・・追い炊きしますか」である応答（提案）を行う。なお、お風呂の温度は、ユーザごとに変えることができる。

この応答に対し、ユーザが、「追い炊きして」である発話を行った場合には、ホームコンソールシステムは、ユーザの発話の意図が、"追い炊きを指示する"ことであると認識し、給湯器１６３を制御して、お風呂の追い炊きが行われるようにする。また、ホームコンソールシステムは、ユーザに対し、「追い炊きを開始します」である応答を行う。

（Ｋ）買い物のリマインダ機能の例（時間：休日の10:00頃、場所：玄関）
次に、休日の10時頃の玄関１０２において、ユーザが、出かける前に、買う物を忘れないようにリマインダの登録を行う場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。

（第１の例）

Ｕ：「ネコの砂忘れないで」
Ｓ：「わかりました」

＜＜ 外出 ＞＞

Ｓ：「ネコの砂を購入できる最後の店舗です」

このリマインダ機能の第１の例において、ホームコンソールシステムは、「ネコの砂忘れないで」であるユーザの発話から、ユーザの発話の意図が、"ネコの砂を購入するスケジュールの登録"であると認識する。そして、ホームコンソールシステムは、スケジュールDB３３に、"ネコの砂を購入する"である予定を登録し、「わかりました」である応答を行う。

また、ホームコンソールシステムは、ユーザの登録済みの予定のリマインダ機能を実現するために、例えば、インターネット上のウェブサイトに公開されている"ネコの砂"を購入可能な店舗に関する店舗情報を取得する。そして、ホームコンソールシステムは、外出中のユーザが所持している携帯端末装置５０から得られる位置情報（GPS情報）やユーザ行動ログに基づいて、店舗情報により特定される店舗の場所の付近に、ユーザが移動しているかどうかを確認するための解析を行う（ユーザの位置情報のトラッキングを行う）。

ホームコンソールシステムは、位置情報やユーザ行動ログを用いた解析の結果に従い、例えば、ユーザが帰宅するまでに"ネコの砂"の購入行動を感知できなかった場合には、携帯端末装置５０に対し、メッセージ（リマインダ）を通知する。ここでは、例えば、ユーザが外出先から帰宅する際にその経路上にある"ネコの砂"を購入可能な店舗の中で、最も自宅に近い店舗の場所の付近に、ユーザが近づいたときに、ホームコンソールシステムは、携帯端末装置５０に対し、「ネコの砂を購入できる最後の店舗です」であるメッセージを通知することができる。

これにより、ユーザは、確実に、自宅近辺の店舗で、確実に所望の商品を購入することができるため、商品を持ち帰る手間を最低限に留めることができる。

なお、ユーザが所持する携帯端末装置５０に対し、メッセージを通知する方法であるが、音声による通知は勿論、例えば、テキスト情報や、バイブレーション機能によって通知するようにしてもよい。また、ここでは、ユーザの自宅に最も近い店舗を推薦する例を示したが、例えば、所望の商品を、最も安い価格で販売している店舗を推薦するなど、他の条件を用いるようにしてもよい。

（第２の例）

Ｕ_Ａ ：「ネコの砂忘れないで」
Ｓ→Ｕ_Ａ：「わかりました」

＜＜ 外出 ＞＞

Ｓ→Ｕ_Ｂ：「ネコの砂忘れないでと伝言があります」
Ｓ→Ｕ_Ｃ：「ネコの砂忘れないでと伝言があります」

Ｓ→Ｕ_Ａ：「ネコの砂を購入できる最後の店舗です」

なお、リマインダ機能の第２の例において、「Ｕ」は、ユーザの発話を表しているが、ここでは、ある家族が、ユーザＡ，ユーザＢ，ユーザＣの３人家族である場合に、ユーザＡの発話を、「Ｕ_Ａ」と表記し、ホームコンソールシステムから、ユーザＡ，ユーザＢ，ユーザＣのそれぞれに対する応答を、「Ｓ→Ｕ_Ａ」、「Ｓ→Ｕ_Ｂ」、「Ｓ→Ｕ_Ｃ」と表記している。

このリマインダ機能の第２の例において、ホームコンソールシステムは、上述の第１の例と同様に、ユーザの発話の意図が、"ネコの砂を購入するスケジュールの登録"であると認識し、予定を登録して「わかりました」である応答を行っている。

ここで、ホームコンソールシステムは、ユーザＡ以外の家族であるユーザＢとユーザＣが外出する際にも、同様のリマインダ機能が有効になるようにする。図２０は、リマインダ機能の第２の例の対話シーケンスを示している。

図２０において、「System」は、ホームコンソールシステムを表し、「UserA」は、ユーザＡを表し、「UserB」と「UserC」は、ユーザＡの家族（ユーザＢ，Ｃ）を表している。また、図２０において、時間の方向は、図中の上側から下側に向かう方向とされ、図中のハッチングが施された区間が、ユーザやその家族が外出している時間帯を表している。なお、これらの関係は、後述する図２１においても同様とされる。

ホームコンソールシステムは、ユーザＡから、「ネコの砂忘れないで」である発話がなされた場合、ネコの砂を購入する予定を登録して、「わかりました」である応答を行う（Ｓ５１）。また、ホームコンソールシステムは、既に外出中のユーザＣが所持している携帯端末装置５０Ｃに対し、ネットワークを介して、「ネコの砂忘れないでと伝言があります」であるメッセージを通知する（Ｓ５２）。

このとき、ユーザＢは、住宅１００内にいるが、ホームコンソールシステムは、ユーザＢの外出時に、ユーザＢに対し、「ネコの砂忘れないでと伝言があります」とのメッセージを通知する（Ｓ５３）。これにより、「ネコの砂忘れないで」であるメッセージが家族内で共有されることになる。

その後、外出中のユーザＡが、ネコの砂を購入可能な店舗Ｓの付近に来たとき、ホームコンソールシステムは、ユーザＡの位置情報と、店舗Ｓに関する店舗情報に基づき、ユーザＡが店舗Ｓの近くにいることを確認し、ユーザＡの所持する携帯端末装置５０Ａに対し、「ネコの砂を購入できる最後の店舗です」であるメッセージを通知する（Ｓ５４）。

このように、家族の１人が、所望の商品を購入するためのリマインド機能を利用する際に、他の家族に対してもリマインド機能が共有されるため、家族のうち、誰かが所望の商品の購入を忘れてしまっていても、他の誰かが、システムからのメッセージを確認して所望の商品を購入することができる。そのため、外出時に、所望の商品の購入を忘れる確率を、低下させることが可能となる。

（第３の例）

Ｕ_Ａ ：「ネコの砂忘れないで」
Ｓ→Ｕ_Ａ：「わかりました」

＜＜ 外出 ＞＞

Ｓ→Ｕ_Ｂ：「ネコの砂忘れないでと伝言があります」
Ｓ→Ｕ_Ｃ：「ネコの砂忘れないでと伝言があります」

＜＜ Ｕ_Ｂが購入 ＞＞

Ｓ→Ｕ_Ａ：「Ｕ_Ｂさんがネコの砂を購入しました」
Ｓ→Ｕ_Ｃ：「Ｕ_Ｂさんがネコの砂を購入しました」

このリマインダ機能の第３の例において、ホームコンソールシステムは、上述の第１の例と同様に、ユーザの発話の意図が、"ネコの砂を購入するスケジュールの登録"であると認識し、予定を登録して「わかりました」である応答を行っている。

ここで、ホームコンソールシステムは、ユーザＡ以外の家族であるユーザＢとユーザＣが外出する際にも、同様のリマインダ機能が有効になるようにする。図２１は、リマインダ機能の第３の例の対話シーケンスを示している。

図２１において、ホームコンソールシステムは、ユーザＡから、「ネコの砂忘れないで」である発話がなされた場合、この発話の内容を記録して、「わかりました」である応答を行う（Ｓ６１）。また、ホームコンソールシステムは、外出中のユーザＣが所持している携帯端末装置５０Ｃに対し、ネットワークを介して、「ネコの砂忘れないでと伝言があります」であるメッセージを通知する（Ｓ６２）。

このとき、ユーザＢは、住宅１００内にいるが、ホームコンソールシステムは、ユーザＢの外出時に、ユーザＢに対し、「ネコの砂忘れないでと伝言があります」とのメッセージを通知する（Ｓ６３）。これにより、「ネコの砂忘れないで」であるメッセージが家族内で共有されることになる。

その後、最後に外出したユーザＢが、ある店舗Ｓで、ネコの砂を購入したとき、ユーザＢの所持する携帯端末装置５０Ｂは、ネコの砂が購入済みであることを示す購入メッセージを、ネットワークを介して、ホームコンソールシステムに通知する（Ｓ６４）。この購入メッセージは、例えば、携帯端末装置５０Ｂから得られる位置情報や、ユーザＢのユーザ行動ログ、ユーザＢの明示の指示などに基づいて、ホームコンソールシステムに対し、通知される。

ホームコンソールシステムは、ユーザＢの所持する携帯端末装置５０Ｂからの購入メッセージを受信し、ユーザＢが、ネコの砂を購入したことを認識する。そして、ホームコンソールシステムは、ユーザＡの所持する携帯端末装置５０Ａと、ユーザＣの所持する携帯端末装置５０Ｃに対し、「ユーザＢさんがネコの砂を購入しました」であるメッセージを通知する（Ｓ６５，Ｓ６６）。

このように、家族の１人が、所望の商品を購入するためのリマインド機能を利用する際に、他の家族に対してもリマインド機能が共有されるため、確実に、所望の商品を購入することができる。また、家族のうちの誰かが、所望の商品を購入した場合に、その事実（実行済みの内容）が、他の者にも通知されるため、例えば、所望の商品を重複して購入してしまう、といったことを未然に防止することができる。

（第４の例）

Ｕ：「洗濯洗剤なかった」
Ｓ：「前回の購入が１ヶ月前です 残りが少なくなっていると思われます」

＜＜ 外出 ＞＞

Ｓ：「購入履歴がありません 洗剤を購入したほうがよいのではないでしょうか」

このリマインダ機能の第４の例において、ホームコンソールシステムは、「洗濯洗剤なかった」であるユーザの発話から、ユーザの発話の意図が、"洗剤の残量の確認"であると認識する。ホームコンソールシステムは、行動履歴DB３２に記録されるユーザ行動ログから、洗剤の購入履歴を確認し、洗剤の購入履歴が存在する場合には、例えば、洗濯回数や使用期間などから、洗剤の残量を推定する。

そして、ホームコンソールシステムは、推定した洗剤の残量に応じて、ユーザに対し、「前回の購入が１ヶ月前です 残りが少なくなっていると思われます」である応答を行う。また、ホームコンソールシステムは、ユーザの位置情報に基づき、ユーザが洗剤を購入する行動を行っていない場合には、携帯端末装置５０に対し、メッセージを通知して、洗剤の購入を促すことができる。

なお、行動履歴DB３２から、洗剤の購入履歴を取得することができない状況下において、ユーザが、洗剤を購入していた場合には、ユーザが、ホームコンソールシステムに対し、購入済みのインプットを行うことで、上述した第４の例に示したサービスを受けることが可能になる。

（Ｌ）在宅時のスケジュール確認の例（時間：平日の7:00頃、場所：玄関）
次に、平日の朝7時の玄関において、ユーザの発話に応じて、スケジュールの確認を行う場合における、ユーザとホームコンソールシステムとの対話シーケンスの例を示す。

（第１の例）

Ｕ：「何時に帰れるかな」
Ｓ：「21時30分には帰宅できるようです」

このスケジュール確認の第１の例において、ホームコンソールシステムは、住宅１００内のセンサから得られるセンサ情報や、ユーザの所持する携帯端末装置５０から得られる位置情報などから、ユーザが、住宅１００内の玄関１０２にいることを認識している。

また、ホームコンソールシステムは、「何時に帰れるかな」であるユーザの発話の意図が、"スケジュールの確認"であると認識し、あらかじめ記録されているユーザの当日の予定情報から、その日の最後の予定の終了時刻や場所を取得する。

そして、ホームコンソールシステムは、その日の最後の予定の終了時刻のほか、行動履歴DB３２に記録されているユーザ行動ログなどを用い、帰宅時刻を予測して、ユーザに対する応答を行う。

図２２は、スケジュールDB３３に記録される予定情報の例を示している。図２２においては、ユーザの9月7日(木)の予定として、10:00-11:00に、自社でのグループ内のミーティング、12:00-13:00に、レストランＡでの昼食、16:00-18:00に、Ｂ社でのＢ社のＤさんとのミーティングが登録されている。

ホームコンソールシステムは、図２２に示した予定情報に基づき、ユーザの9月7日(木)の最後の予定であるＢ社のＤさんとのミーティングについて、18:00である終了時刻と、Ｂ社である場所を認識することで、Ｂ社から自宅までにかかる時間が、１時間程度であることを予測する。

ここで、帰宅時刻の予測に際しては、行動履歴DB３２に記録されているユーザ行動ログを用いるようにしてもよい。例えば、ユーザ行動ログから得られる時刻修正情報を用いて、予定の内容や、予定の相手に関する情報を、その日の最後の予定の終了時刻に加味することで、より正確に、帰宅時刻を予測することが可能となる。この時刻修正情報としては、例えば、下記に示すような、その日の最後の予定の終了時刻を修正するための情報が得られる。

（時刻修正情報）

Ｂ社のＤさんとのミーティングの後は、飲み会などが長引き、帰宅時間が、２時間以上遅れる
Ｂ社のＤさんとの飲み会は、居酒屋Ｃで行われることが多い

・・・

ホームコンソールシステムは、修正後の最後の予定の終了時刻として、最後の予定である"Ｂ社のＤさんとのミーティング"の終了時刻である18:00を、時刻修正情報に応じて２時間程度遅らせた20:00を算出する。また、ここでは、例えば、居酒屋Ｃから自宅までにかかる時間が、1時間30分程度であることが再計算される。

そして、ホームコンソールシステムは、修正後のユーザの帰宅時間として、最後の予定の終了時刻である20:00に、１時間30分を加えた21:30を算出し、ユーザに対し、「21時30分には帰宅できるようです」である応答を行うことになる。

（第２の例）

Ｕ：「何時に帰れるかな」
Ｓ：「本日の最後の予定は、20時に終了するようです」

このスケジュール確認の第２の例において、ホームコンソールシステムは、上述の第１の例と同様に、ユーザの発話に応じて、その日の最後の予定であるＢ社のＤさんとのミーティングの終了時刻が、18:00であることを認識している。また、ホームコンソールシステムは、時刻修正情報によって、Ｂ社のＤさんとのミーティングの後は、飲み会が行われ、終了時刻が、２時間程度遅くなることを認識しているが、飲み会の場所を認識できなかった場合を想定する。

この場合、ホームコンソールシステムは、修正後の最後の予定の終了時刻として、最後の予定である"Ｂ社のＤさんとのミーティング"の終了時刻である18:00を、２時間程度遅らせた20:00を算出し、ユーザに対し、その日の最後の予定のタイトルと終了時刻とを結合して得られる「本日の最後の予定は、20時に終了するようです」である応答を行う。

このように、ユーザ行動ログから得られる時刻修正情報を用いて、ユーザに提示する時刻情報を補正することで、ユーザに対して、より正確な時刻情報を通知することが可能となる。

（第３の例）

Ｕ：「品川に行ってくるね」
Ｓ：「いってらっしゃいませ」
Ｕ：「6時には帰るよ」
Ｓ：「わかりました」

＜＜ ユーザの家族が帰宅 ＞＞

Ｕ：「xxxxさんは品川にいっています 18時には戻るそうです」

この第３の例において、ホームコンソールシステムは、「品川に行ってくるね」及び「6時には帰るよ」であるユーザの発話の意図が、"スケジュールの登録"であると認識し、それらを予定情報として、スケジュールDB３３に記録する。その後、ホームコンソールシステムは、センサ情報等に基づき、ユーザの家族が帰宅したことを認識した場合、スケジュールDB３３に記録された予定情報に基づき、ユーザの家族に対し、「xxxxさんは品川にいっています 18時には戻るそうです」である応答を行う。

なお、ホームコンソールシステムの応答において、例えば、"6時"を、"18時"に変換するなど、時間情報などは、ユーザに合わせて、言い回しを補正するようにしてもよい。また、ユーザの家族が、自宅にいて伝言を聞くことができる場合には、ホームコンソールシステムは、特にアクションを起こさなくてもよい。ただし、ユーザの家族が自宅にいる場合であっても、能動的に質問（例えば、「どこ行ったっけ」など）を発話した場合には、上述した第３の例と同様のフィードバックを行うようにする。

以上のように、本技術によれば、ホームネットワークに接続された複数の機器（家電機器）が制御可能な場合に、ユーザの発話に応じて、ユーザの意図に即した機器が制御され、その応答が行われる。その結果として、ユーザの意図に即した応答を行うことができる。

なお、従来の音声操作技術は、動作対象機器ごとに組み込まれており、動作対象機器を操作するために必要な発話内容、語彙のみを受け付けるようになっている。また、ユーザが動作対象機器の操作を行いたい場合に、動作対象機器に対し、操作を開始するための明示的な指示を与える必要がある。この明示的な指示は、例えば、手を叩くことによる破裂音であったり、特定のキーワードを用いることによる呼びかけであったりする。

そして、従来の動作対象機器の操作機能は、ユーザが即時に動作を実行して欲しい内容にのみ対応し、結果を提供するか、あるいは、あらかじめ動作を実行して欲しい条件を入力することで、該当する条件下において、結果を提示するようになっている。

ここで、音声で動作対象機器を操作する状況において、ユーザは、必ずしも操作したい対象を指定することや、条件を設定するわけではない。例えば、「電源つけて」や、「消しておいて」などの操作要求のみを発話することが多くみられる。

本技術では、ユーザが操作したい動作対象機器に対して、明示的な指定を与えていない場合や、動作条件を明示していない場合において、現在のユーザの状態や、行動履歴DB３２に記録されているユーザ行動ログ、ユーザの発話内容から、ユーザが何をしたかったのかを推定して実行することで、ユーザに対し、ストレスのない音声機器操作を実現することができるようにしている。

＜２．変形例＞

（ホームコンソールシステムの他の構成例）
上述した説明では、ホームコンソール１０（の処理部１１）により処理が実行され、動作対象機器４１が制御されることで、ホームコンソールシステムが実現される場合を例示したが、このようなホームコンソールシステムを実現するための構成として、例えば、図２３に示すような構成を採用することができる。

図２３において、ホームコンソールシステムは、住宅１００等のローカル側に設置され、システムのユーザインターフェースとして機能するホームコンソール１０と、データセンタ等のクラウド側に設置され、システムを実現するための実質的な処理を行うサーバ２１１とから構成されている。

図２３のホームコンソールシステムにおいて、ホームコンソール１０とサーバ２１１とは、インターネット２１２を介して相互に接続されている。

ホームコンソール１０は、例えば、家庭内LAN等のネットワークに接続可能なスピーカであって、いわゆるスマートスピーカやホームエージェントなどとも称される。ホームコンソール１０は、インターネット２１２を介してサーバ２１１と連携することで、ユーザに対し、ホームコンソールシステムのユーザインターフェースを提供することができる。

すなわち、ホームコンソール１０は、ユーザから発せられた音声（ユーザの発話）を収音し、その音声信号に応じた音声データを、インターネット２１２を介して、サーバ２１１に送信する。また、ホームコンソール１０は、インターネットを介してサーバ２１１から送信されてくる処理データを受信し、その処理データに応じた処理を行う（例えば、動作対象機器４１の制御を行う）。

サーバ２１１は、クラウドベースのホームコンソールシステムを提供するためのサーバである。サーバ２１１は、インターネット２１２を介してホームコンソール１０から送信されてくる音声データに基づいて、音声認識処理や対話制御処理などの処理を行い、その処理の結果得られる処理データを、インターネット２１２を介してホームコンソール１０に送信する。

ここで、音声認識処理は、例えば、音声信号をテキスト情報に変換するための処理である。また、対話制御処理は、例えば、音声認識処理で得られる音声認識結果（テキスト情報）に基づき、ユーザの意図に応じた応答を行うための処理（例えば、ユーザの意図に即した機器を制御するための制御情報を得るための処理）である。なお、サーバ２１１は、自身が音声認識処理を実行せずに、他の音声認識サービスを利用して得られる音声認識結果を用いるようにしてもよい。

すなわち、上述した説明では、図１の処理部１１０の機能（発話内容分類部２１乃至実行判定・動作命令発行部２７）が、ホームコンソール１０に組み込まれるとして説明したが、図１の処理部１１０の機能が、サーバ２１１の機能として組み込まれるようにしてもよい。換言すれば、図１の処理部１１０の機能（発話内容分類部２１乃至実行判定・動作命令発行部２７）のそれぞれは、ホームコンソール１０、及びサーバ２１１のうち、いずれの機器に組み込まれてもよい。

例えば、図１の処理部１１０の機能のうち、発話内容分類部２１、キーフレーズ抽出部２２、知識情報処理部２３、状態推定部２５、及び動作選択部２６が、クラウド側のサーバ２１１に組み込まれ、センサ情報取得部２４、及び実行判定・動作命令発行部２７が、ローカル側のホームコンソール１０に組み込まれるようにすることができる。

なお、いずれの構成を採用した場合でも、知識情報DB３１や行動履歴DB３２、スケジュールDB３３等のデータベースは、インターネット２１２上のサーバ２１１が管理することができる。

以上のように、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

（ホームコンソールの構成例）
また、上述した説明では、ホームコンソール１０のハードウェア構成について、特に述べていないが、例えば、次のような構成とすることができる。すなわち、ホームコンソール１０は、例えば、スマートスピーカとして構成されるため、CPUやメモリ等のほか、例えば、マイクロフォンやスピーカ、通信I/Fなどを含んで構成することができる。

例えば、図２４のコンピュータの構成に示すように、ホームコンソール１０は、CPU１００１を有し、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを実行することで、図１の処理部１１０の機能（発話内容分類部２１乃至実行判定・動作命令発行部２７）が実現される。また、ホームコンソール１０は、マイクロフォンを含む入力部１００６や、スピーカを含む出力部１００７、家庭内LANやインターネットに接続可能な通信I/Fとしての通信部１００９を有するようにすることができる。

（その他の変形例）
ホームコンソールシステムは、ユーザからの指示を待ち受けているだけでなく、ユーザに対し、適宜、情報を提示することができる。例えば、ユーザが掃除機を使って掃除を行っているとき、ホームコンソールシステムが、「掃除機の吸引力が落ちています」などのメッセージを通知するようにしてもよい。また、ホームコンソールシステムは、掃除機の消費電力量などを確認することで、ユーザに対し、「ゴミ袋の交換」などを通知するようにしてもよい。

また、例えば、ユーザが、冷暖房機１１２等の冷房をつけようとしたときに、ホームコンソールシステムは、インターネット上のお天気サイトや、屋外に設けられたセンサからのセンサ情報などから得られる、外気温や風量などの情報に基づき、「外気のほうが涼しいようです」などのメッセージを通知して、冷房以外の選択肢を提案するようにしてもよい。

上述した説明では、音声対話システムとして実現されるホームコンソールシステムを説明したが、ユーザの発話の代わりに、テキストチャットによって、ユーザにより入力されるテキスト情報が用いられるようにしてもよい。この場合、ホームコンソール１０には、テキスト情報が入力されるため、音声認識処理を行う必要はない。

また、上述した説明では、ホームコンソール１０において、処理部１１の動作選択部２６によって、動作確率に応じて一意に特定される動作対象機器が選択されるとして説明したが、選択される動作対象機器は、１つに限らず複数あってもよい。例えば、ユーザから、「録画機１１５に記録された映像コンテンツの再生指示」がなされた場合に、テレビ１１４の電源がオンされていないときには、ホームコンソール１０は、動作対象機器として、テレビ１１４と録画機１１５を選択することになる。なお、上述した説明では、浴室１０６に設置される給湯器１６３も、家電機器（電気機械器具）に含まれるものとする。

＜３．コンピュータの構成＞

上述した一連の処理（例えば、図３に示した対話に応じた対象機器制御処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータ１０００において、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。

入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。

以上のように構成されるコンピュータ１０００では、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

コンピュータ１０００では、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、図３に示した対話に応じた対象機器制御処理の各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は、以下のような構成をとることができる。

（１）
ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、前記選択確率に応じて選択対象を選択する処理部を備える
情報処理装置。
（２）
前記処理部は、前記発話情報、及び現在の前記ユーザの状態又はその周辺の状態を示す状態情報のうち、少なくとも１つの情報に基づいて、前記選択確率を算出する
前記（１）に記載の情報処理装置。
（３）
前記処理部は、前記発話情報、前記状態情報、及び前記ユーザの行動履歴を示す行動履歴情報のうち、少なくとも１つの情報に基づいて、前記選択確率を算出する
前記（２）に記載の情報処理装置。
（４）
前記処理部は、前記ユーザの意図に応じた動作対象機器の候補となる動作候補機器の中から、各動作候補機器の動作確率に応じて一意に特定される動作対象機器を選択する
前記（３）に記載の情報処理装置。
（５）
前記処理部は、
前記ユーザとの対話に応じて繰り返し得られる前記発話情報、前記状態情報、及び前記行動履歴情報のうち、少なくとも１つの情報に基づいて、前記動作確率を動的に更新し、
更新した前記動作確率に応じて、前記動作候補機器の中から、前記動作対象機器を選択する
前記（４）に記載の情報処理装置。
（６）
前記処理部は、前記動作対象機器を一意に特定できない場合に、前記ユーザに対する応答を行うことで得られる新たな発話情報に基づき、前記動作確率を更新する
前記（５）に記載の情報処理装置。
（７）
前記処理部は、前記ユーザに対し、前記動作対象機器を一意に特定するための問い合わせを行うことで、新たな発話情報を取得する
前記（６）に記載の情報処理装置。
（８）
前記処理部は、前記ユーザに対する問い合わせとして、その時点での前記動作候補機器の状態を含める
前記（７）に記載の情報処理装置。
（９）
前記処理部は、前記ユーザに対する問い合わせとして、その時点で選択可能となる前記動作候補機器を含める
前記（７）又は（８）に記載の情報処理装置。
（１０）
前記処理部は、選択した前記動作対象機器の動作を制御する
前記（４）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記処理部は、
選択した前記動作対象機器に関する機器情報、及び前記ユーザの意図に基づいて、選択した前記動作対象機器の動作内容を決定し、
決定した前記動作内容に応じて、前記動作対象機器の動作を制御する
前記（１０）に記載の情報処理装置。
（１２）
前記処理部は、前記動作対象機器の動作を即時に実行しないと判定した場合、その判定後に得られた前記状態情報に基づいて、前記動作内容を修正又は再決定する
前記（１１）に記載の情報処理装置。
（１３）
前記処理部は、前記ユーザに対し、前記状態情報に応じたフィードバックを行い、そのフィードバックに対する前記ユーザの発話から得られる発話情報に基づいて、前記動作内容を修正又は再決定する
前記（１２）に記載の情報処理装置。
（１４）
前記処理部は、前記動作対象機器の動作を即時に実行すると判定した場合、前記動作対象機器の動作を制御する
前記（１１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
前記状態情報は、前記ユーザの現在の位置を示す位置情報を含み、
前記処理部は、前記動作内容及び前記位置情報に基づいて、前記動作対象機器の動作を制御する
前記（１１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
前記処理部は、前記発話情報、及び前記ユーザにより登録された登録情報に基づいて、前記選択確率を算出する
前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記処理部は、各種のセンサによるセンシング結果から得られるセンサ情報に基づいて、前記状態情報を推定する
前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１８）
前記行動履歴情報は、前記ユーザと異なる他のユーザの行動履歴をさらに含む
前記（３）乃至（１５）のいずれかに記載の情報処理装置。
（１９）
前記情報処理装置は、ホームコンソールであり、
前記動作対象機器は、ホームネットワークを介して、前記ホームコンソールと接続される家電機器を含む
前記（４）乃至（１５）のいずれかに記載の情報処理装置。
（２０）
情報処理装置の情報処理方法において、
前記情報処理装置が、
ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、前記選択確率に応じて選択対象を選択する
情報処理方法。

１０ ホームコンソール， ２１ 発話内容分類部， ２２ キーフレーズ抽出部， ２３ 知識情報処理部， ２４ センサ情報取得部， ２５ 状態推定部， ２６ 動作選択部， ２７ 実行判定・動作命令発行部， ３１ 知識情報DB， ３２ 行動履歴DB， ３３ スケジュールDB， ４１ 動作対象機器， １１１ ライト， １１２ 冷暖房機， １１３ コンセント， １１４ テレビ， １１５ 録画機， １１６ ゲーム機， １１７ センサ， １２１ ライト， １２２ センサ， １３１ ライト， １３２ センサ， １３３ 冷蔵庫， １４１ ライト， １４２ 冷暖房機， １４３ コンセント， １４４ ＰＣ， １４５ センサ， １５１ ライト， １５２ 暖房器具， １５３ コンセント， １５４ ランプ， １５５ センサ， １６１ ライト， １６２ センサ， １６３ 給湯器， ２１１ サーバ， ２１２ インターネット， １０００ コンピュータ， １００１ CPU

Claims (20)

1. ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、前記選択確率に応じて選択対象を選択する処理部を備える
   情報処理装置。
2. 前記処理部は、前記発話情報、及び現在の前記ユーザの状態又はその周辺の状態を示す状態情報のうち、少なくとも１つの情報に基づいて、前記選択確率を算出する
   請求項１に記載の情報処理装置。
3. 前記処理部は、前記発話情報、前記状態情報、及び前記ユーザの行動履歴を示す行動履歴情報のうち、少なくとも１つの情報に基づいて、前記選択確率を算出する
   請求項２に記載の情報処理装置。
4. 前記処理部は、前記ユーザの意図に応じた動作対象機器の候補となる動作候補機器の中から、各動作候補機器の動作確率に応じて一意に特定される動作対象機器を選択する
   請求項３に記載の情報処理装置。
5. 前記処理部は、
   前記ユーザとの対話に応じて繰り返し得られる前記発話情報、前記状態情報、及び前記行動履歴情報のうち、少なくとも１つの情報に基づいて、前記動作確率を動的に更新し、
   更新した前記動作確率に応じて、前記動作候補機器の中から、前記動作対象機器を選択する
   請求項４に記載の情報処理装置。
6. 前記処理部は、前記動作対象機器を一意に特定できない場合に、前記ユーザに対する応答を行うことで得られる新たな発話情報に基づき、前記動作確率を更新する
   請求項５に記載の情報処理装置。
7. 前記処理部は、前記ユーザに対し、前記動作対象機器を一意に特定するための問い合わせを行うことで、新たな発話情報を取得する
   請求項６に記載の情報処理装置。
8. 前記処理部は、前記ユーザに対する問い合わせとして、その時点での前記動作候補機器の状態を含める
   請求項７に記載の情報処理装置。
9. 前記処理部は、前記ユーザに対する問い合わせとして、その時点で選択可能となる前記動作候補機器を含める
   請求項７に記載の情報処理装置。
10. 前記処理部は、選択した前記動作対象機器の動作を制御する
    請求項４に記載の情報処理装置。
11. 前記処理部は、
    選択した前記動作対象機器に関する機器情報、及び前記ユーザの意図に基づいて、選択した前記動作対象機器の動作内容を決定し、
    決定した前記動作内容に応じて、前記動作対象機器の動作を制御する
    請求項１０に記載の情報処理装置。
12. 前記処理部は、前記動作対象機器の動作を即時に実行しないと判定した場合、その判定後に得られた前記状態情報に基づいて、前記動作内容を修正又は再決定する
    請求項１１に記載の情報処理装置。
13. 前記処理部は、前記ユーザに対し、前記状態情報に応じたフィードバックを行い、そのフィードバックに対する前記ユーザの発話から得られる発話情報に基づいて、前記動作内容を修正又は再決定する
    請求項１２に記載の情報処理装置。
14. 前記処理部は、前記動作対象機器の動作を即時に実行すると判定した場合、前記動作対象機器の動作を制御する
    請求項１１に記載の情報処理装置。
15. 前記状態情報は、前記ユーザの現在の位置を示す位置情報を含み、
    前記処理部は、前記動作内容及び前記位置情報に基づいて、前記動作対象機器の動作を制御する
    請求項１１に記載の情報処理装置。
16. 前記処理部は、前記発話情報、及び前記ユーザにより登録された登録情報に基づいて、前記選択確率を算出する
    請求項１に記載の情報処理装置。
17. 前記処理部は、各種のセンサによるセンシング結果から得られるセンサ情報に基づいて、前記状態情報を推定する
    請求項２に記載の情報処理装置。
18. 前記行動履歴情報は、前記ユーザと異なる他のユーザの行動履歴をさらに含む
    請求項３に記載の情報処理装置。
19. 前記情報処理装置は、ホームコンソールであり、
    前記動作対象機器は、ホームネットワークを介して、前記ホームコンソールと接続される家電機器を含む
    請求項４に記載の情報処理装置。
20. 情報処理装置の情報処理方法において、
    前記情報処理装置が、
    ユーザとの対話で得られる前記ユーザの発話に関する発話情報に基づいて、前記ユーザの意図に応じた選択対象を選択する際に用いる選択確率を算出し、選択対象の候補の中から、前記選択確率に応じて選択対象を選択する
    情報処理方法。

Images