JP6854146B2 - ネットワークシステム、サーバ、情報処理方法および冷蔵庫 - Google Patents

Description

本発明の一態様は、音声メッセージを出力するネットワークシステム、サーバ、情報処理方法および冷蔵庫の技術に関する。

従来から、状況に適したメッセージを出力するための技術が知られている。たとえば、特開２０１６−２４６３６号公報（特許文献１）には、制御装置、制御方法および制御プログラムが開示されている。特許文献１によると、制御装置は、対話エージェントシステムとユーザとの会話における音の特徴に基づいて、応答メッセージとして出力する広告に関する情報である広告情報を検索する検索部と、検索部によって検索された広告情報に関する広告を応答メッセージとして出力するよう制御する出力制御部と、を備えたことを特徴とする。このため、制御装置は、ユーザに適したメッセージを出力することができる。

特開２０１６−２４６３６号公報

本発明の一態様の目的は、状況に適したタイミングでメッセージを出力することができるネットワークシステム、サーバ、情報処理方法および冷蔵庫を提供することにある。

本発明の一態様に従うと、ネットワークシステムが提供される。ネットワークシステムは、複数の冷蔵庫と、複数の冷蔵庫それぞれの過去の扉の開閉動作に基づいて、複数の冷蔵庫それぞれに複数種類のメッセージのそれぞれを音声出力させるためのタイミングを決定するサーバと、を備える。

以上のように、本発明の一態様によれば、状況に適したタイミングでメッセージを出力することができるネットワークシステム、サーバ、情報処理方法および冷蔵庫が提供される。

第１の実施の形態にかかるネットワークシステム１の全体構成と動作概要とを示す図である。 第１の実施の形態にかかるネットワークシステム１を構成するサーバ１００の構成を示すブロック図である。 第１の実施の形態にかかる冷蔵庫３００の構成を示すブロック図である。 第１の実施の形態にかかるネットワークシステム１の機能構成を示すブロック図である。 第１の実施の形態にかかる発動条件データ１２１を示すイメージ図である。 第１の実施の形態にかかる発話データ１２２を示すイメージ図である。 第１の実施の形態にかかる操作・対話ログデータベース１２３を示すイメージ図である。 第１の実施の形態にかかる操作・対話ログの回数の推移のグラフ１２３Ｂを示すイメージ図である。 第１の実施の形態にかかるタイミング予測用のグラフ１２４Ｂを示すイメージ図である。 第１の実施の形態にかかるタイミング予測データ１２４を示すイメージ図である。 第１の実施の形態にかかるユーザ情報データ１２５を示すイメージ図である。 第１の実施の形態にかかるサーバ１００におけるログ蓄積処理を示すフローチャートである。 第１の実施の形態にかかるサーバ１００におけるメッセージ提供処理を示すフローチャートである。 第１の実施の形態にかかる冷蔵庫３００におけるメッセージ出力処理を示すフローチャートである。 第２の実施の形態にかかる事象関連データ１２６を示すイメージ図である。 第２の実施の形態にかかるタイミング予測データ１２４Ｃを示すイメージ図である。 第２の実施の形態にかかるサーバ１００におけるメッセージ提供処理を示すフローチャートである。 第３の実施の形態にかかる応答データ１２７を示すイメージ図である。 第３の実施の形態にかかる集計データ１２８を示すイメージ図である。 第３の実施の形態にかかるサーバ１００におけるメッセージ提供処理を示すフローチャートである。 第３の実施の形態にかかる冷蔵庫３００におけるメッセージ出力処理を示すフローチャートである。 第４の実施の形態にかかる発話データ１２２Ｄを示すイメージ図である。 第４の実施の形態にかかるタイミング予測データ１２４Ｄを示すイメージ図である。 第５の実施の形態にかかる発話データ１２２Ｅを示すイメージ図である。 第５の実施の形態にかかるタイミング予測データ１２４Ｅを示すイメージ図である。 第５の実施の形態にかかるサーバ１００におけるメッセージ提供処理を示すフローチャートである。 第６の実施の形態にかかる第１の発話データ１２２Ｆを示すイメージ図である。 第６の実施の形態にかかる第２の発話データ１２２Ｇを示すイメージ図である。 第７の実施の形態にかかるタイミング予測データ１２４Ｈを示すイメージ図である。 第７の実施の形態にかかる発動条件データ１２１Ｈを示すイメージ図である。 第８の実施の形態にかかるネットワークシステム１の全体構成と動作概要とを示す図である。 第８の実施の形態にかかる冷蔵庫３００におけるログ蓄積処理を示すフローチャートである。 第８実施の形態にかかる冷蔵庫３００におけるメッセージ出力処理を示すフローチャートである。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
＜第１の実施の形態＞
＜ネットワークシステム１の全体構成＞

まず、図１を参照して、本実施の形態にかかるネットワークシステム１の全体構成について説明する。ネットワークシステム１は、主に、メッセージ提供サービスを実現するためのサーバ１００Ａと、当該サーバ１００に天気予報やニュースやおススメ料理やユーザのカレンダ情報などを提供する他のサーバ１００Ｂ，１００Ｃと、ルータ２００やインターネットなどを介して当該サーバ１００と通信可能な冷蔵庫３００などを含む。
＜ネットワークシステム１の動作概要＞

次に、本実施の形態にかかるネットワークシステム１の動作概要について説明する。図１（Ａ）を参照して、ユーザが起床後すぐに冷蔵庫３００の扉を開けると、冷蔵庫３００が起床時に適したメッセージを出力する。図１（Ｂ）を参照して、ユーザが朝食の準備時に冷蔵庫３００の扉を開けると、冷蔵庫３００が朝食の準備時に適したメッセージを出力する。図１（Ｃ）を参照して、ユーザが出勤前に冷蔵庫３００の扉を開けると、冷蔵庫３００が出勤時に適したメッセージを出力する。

このように本実施の形態にかかるネットワークシステム１では、冷蔵庫を利用するユーザが置かれている状況に適したメッセージが出力される。以下、このような機能を実現するためのネットワークシステム１の具体的な構成について詳述する。
＜サーバ１００の構成＞

図２を参照して、ネットワークシステム１を構成するサーバ１００の構成について説明する。まず、サーバ１００の構成について説明する。サーバ１００は、主たる構成要素として、ＣＰＵ（Central Processing Unit）１１０と、メモリ１２０と、操作部１４０と、通信インターフェイス１６０とを含む。

ＣＰＵ１１０は、メモリ１２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、冷蔵庫３００の各部を制御する。

メモリ１２０は、各種のＲＡＭ（Random Access Memory）、各種のＲＯＭ（Read Only Memory）などによって実現される。メモリ１２０は、ＣＰＵ１１０によって実行されるプログラムや、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、操作部１３０を介して入力されたデータなどを記憶する。

操作部１３０は、サービスの管理者などからの命令を受け付けてＣＰＵ１１０に入力する。

通信インターフェイス１６０は、無線ＬＡＮまたは有線ＬＡＮなどの通信モジュールによって実現される。通信インターフェイス１６０は、有線通信あるいは無線通信によって、冷蔵庫３００や他のサーバなどとの間でデータをやり取りする。
＜冷蔵庫３００の構成＞

図３を参照して、冷蔵庫３００の構成について説明する。冷蔵庫３００は、主たる構成要素として、ＣＰＵ３１０と、メモリ３２０と、ディスプレイ３３０と、操作部３４０と、通信インターフェイス３６０と、スピーカ３７０と、マイク３８０と、機器駆動部３９０と、扉センサ３９１とを含む。

ＣＰＵ３１０は、メモリ３２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、冷蔵庫３００の各部を制御する。

メモリ３２０は、各種のＲＡＭや各種のＲＯＭなどによって実現される。メモリ３２０は、ＣＰＵ３１０によって実行されるプログラムや、ＣＰＵ３１０によるプログラムの実行により生成されたデータなどを記憶する。

ディスプレイ３３０は、ＣＰＵ３１０からの信号に基づいて、文字や画像などを出力する。ディスプレイ３３０は、単にライトであってもよい。操作部３４０は、各種のユーザ操作を受け付けて、操作命令をＣＰＵ３１０に入力する。なお、ディスプレイ３３０と操作部３４０とは、タッチパネルを構成してもよい。

通信インターフェイス３６０は、無線ＬＡＮまたは有線ＬＡＮなどの通信モジュールによって実現される。通信インターフェイス３６０は、有線通信あるいは無線通信によって、サーバなどの他の装置などとの間でデータをやり取りする。

スピーカ３７０は、ＣＰＵ３１０からの信号に基づいて音声を出力する。マイク３８０は、音声を受け付けて、音声信号をＣＰＵ３１０に受け渡す。

機器駆動部３９０は、ＣＰＵ１１０からの信号に基づいて、電気機器の各部（モータやヒータなど）を制御する。

扉センサ３９１は、冷蔵室や冷凍室の扉の開閉動作を検知するためのものであって、検知結果をＣＰＵ３１０に入力する。
＜ネットワークシステム１の機能構成＞

次に、図４を参照して、ネットワークシステム１を構成するサーバ１００と冷蔵庫３００の機能構成について説明する。サーバ１００は、ログ記録部１１１と学習部１１２と発話制御部１１３とを含む。ログ記録部１１１と学習部１１２と発話制御部１１３とは、ＣＰＵ１１０がメモリ１２０のプログラムを実行することによって実現される。また、サーバ１００のメモリ１２０には、事象の発動条件データ１２１と発話データ１２２と操作・対話ログデータベース１２３と事象のタイミング予測データ１２４とが格納される。

まず発動条件データ１２１は、図５に示すように、予期される標準的な事象毎に、事象ＩＤと、事象名と、時間帯条件と、扉の開閉条件との対応関係を含む。

また発話データ１２２は、図６に示すように、予期される標準的な事象毎に、事象ＩＤと、事象名と、発話内容の種別と、発話内容本体との対応関係を含む。

そして、操作・対話ログデータベース１２３は、図７に示すように、冷蔵庫３００に対するユーザ操作の履歴のデータである。操作・対話ログデータベース１２３は、ユーザの操作毎に、機器を特定するためのＩＤと、冷蔵庫の扉の累積開閉回数と、冷凍庫の扉の累積開閉回数と、当該ユーザ操作が検知された日時との対応関係を含む。

本実施の形態においては、ログ記録部１１１が、冷蔵庫３００に対するユーザ操作に関する情報を受信するたびに、操作・対話ログデータベース１２３にデータを蓄積していく。そして、学習部１１２が、操作・対話ログデータベース１２３に基づいて、図８に示すようなユーザ毎または冷蔵庫毎の一日のドアの開閉回数の推移のグラフ１２３Ｂを作成する。

学習部１１２は、当該推移のグラフ１２３Ｂに基づいて、発動条件データ１２１を参照することによって、図９に示すようなタイミング予測のグラフ１２４Ｂを作成する。すなわち、学習部１１２は、ユーザ毎または冷蔵庫毎に、事象毎の、事象が生じる可能性が高いタイミングを特定する。図１０に示すように、タイミング予測データ１２４は、事象毎に、機器ＩＤと、事象ＩＤと、事象名と、日付と、事象が生じやすい時間帯の開始時刻と、事象が生じやすい時間帯の終了時刻との対応関係を含む。たとえば、学習部１１２は、朝６時以降に初めて扉を開いた時刻に起床の事象を対応付けたり、２回目に扉を開いた時刻に朝食の支度の開始の事象を対応付けたり、３分以内に２回以上または５分以内に３回以上扉を開いた期間に朝食の支度の最中の事象を対応付けたりする。

なお、学習部１１２は、一日の操作・対話ログデータに基づいて、次の日の事象の予測時間を決定することができる。あるいは、学習部１１２は、１週間の操作・対話ログデータに基づいて、次の週の事象の予測時間を決定することができる。あるいは、学習部１１２は、１か月の操作・対話ログデータに基づいて、次の月の事象の予測時間を決定することができる。あるいは、学習部１１２は、曜日毎の過去の操作・対話ログデータに基づいて、曜日毎の事象の予測時間を決定することができる。あるいは、学習部１１２は、ユーザ毎のカレンダ情報やユーザ操作などに基づいて、平日と休日とを判断してから、平日の操作・対話ログデータに基づいて平日の事象の予測時間を決定し、休日の操作・対話ログデータに基づいて休日の事象の予測時間を決定してもよい。

なお、事象毎の予測タイミングは、１つの時刻であってもよいし、複数の時刻の平均の時刻であってもよいし、本実施の形態のように測定期間中のバラツキに応じた期間、たとえば平均の時刻から前後方向に開閉時間のバラツキに対応する標準偏差までを含む期間であってもよい。

発話制御部１１３は、タイミング予測データ１２４を参照して、発話データ１２２のメッセージや音声出力すべき期間などを当該冷蔵庫３００に送信することによって、状況に適したタイミングで冷蔵庫３００に音声メッセージを出力させる。

なお、メモリ１２０には、図１１に示すようなユーザ情報データ１２５も格納される。ユーザ情報データ１２５は、ユーザ毎または冷蔵庫毎に、ユーザＩＤ、ユーザ名、機器ＩＤ、機器の型番、ユーザの住所、機器のアドレスなどの対応関係を含む。これによって、ＣＰＵ１１０は、対象となる冷蔵庫３００毎に、周囲の状況に適したタイミングで音声メッセージを出力させることができる。
＜サーバ１００の情報処理＞

次に、図１２を参照して、本実施の形態にかかるサーバ１００のタイミング予測データ１２４の作成更新処理について説明する。ＣＰＵ１１０は、通信インターフェイス１６０を介して、冷蔵庫３００からデータを受信すると以下の処理を実行する。

ログ記録部１１１としてのＣＰＵ１１０は、受信データから、冷蔵庫３００の機器ＩＤを取得する（ステップＳ１０２）。ＣＰＵ１１０は、受信データから操作ログや対話ログを読み出して、機器ＩＤに対応付けて操作・対話ログデータベース１２３に蓄積する（ステップＳ１０４）。学習部１１２としてのＣＰＵ１１０は、最新の操作・対話ログデータベース１２３に基づいて、発動条件データ１２１を参照することによって、タイミング予測データ１２４を作成したり更新したりする（ステップＳ１０６）。

次に、図１３を参照して、本実施の形態にかかるサーバ１００のメッセージ出力処理について説明する。まず、ＣＰＵ１１０は、対象となる冷蔵庫３００毎に、タイミング予測データ１２４を読み出す（ステップＳ１１２）。ＣＰＵ１１０は、未だ処理が完了していない事象のうちで、開始時刻が最も早い事象を特定する（ステップＳ１１４）。

ＣＰＵ１１０は、当該事象の発話内容を読み出す（ステップＳ１２２）。

ＣＰＵ１１０は、ユーザ情報データ１２５を参照して、通信インターフェイス１６０を介して、発話開始時刻と終了時刻と発話内容の音声データとを対象となる冷蔵庫３００に送信する（ステップＳ１３８）。

ＣＰＵ１１０は、冷蔵庫から発話実行ログを受信するか、発話内容の音声データの有効期限の終了まで待機する（ステップＳ１４２）。

ＣＰＵ１１０は、タイミング予測データ１２４を参照して、まだ処理が完了していない事象があるか否かを判断する（ステップＳ１４８）。ＣＰＵ１１０は、対象となる事象が見つかった場合（ステップＳ１４８においてＹＥＳである場合）、ステップＳ１１４からの処理を繰り返す。ＣＰＵ１１０は、対象となる事象が見つからなかった場合（ステップＳ１４８においてＹＥＳである場合）、本日の一連の処理を終了する。
＜冷蔵庫３００の情報処理＞

次に、図１４を参照して、本実施の形態にかかる冷蔵庫３００のメッセージ出力処理について説明する。ＣＰＵ３１０は、通信インターフェイス３６０を介して、サーバ１００から発話内容の音声データを受信する（ステップＳ１５２）。ＣＰＵ３１０は、音声データの有効期限の開始時刻まで待機する（ステップＳ１５４）。

開始時刻になると、ＣＰＵ３１０は、音声データをスタンバイさせてユーザの操作を待ち受ける（ステップＳ１５６）。本実施の形態においては、ユーザの操作は、冷蔵室か冷凍室の扉を開けることであるが、他の扉を開けることや、それらの扉の閉じることや、タッチパネルに命令を入力することであってもよい。

ＣＰＵ３１０は、ユーザの操作を受け付けか否かを判断する（ステップＳ１６０）。ＣＰＵ３１０は、ユーザの操作を受け付けた場合（ステップＳ１６０においてＹＥＳである場合）、待機させていたメッセージをスピーカ３７０に音声出力させる（ステップＳ１７２）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、サーバ１００に発話実行ログを通知する（ステップＳ１７４）。ＣＰＵ３１０は、通信インターフェイス３６０を介してサーバ１００から次のデータを待ち受ける。

ＣＰＵ３１０は、ユーザの操作を受け付けていない場合（ステップＳ１６０においてＮＯである場合）、音声データの有効期限が終了したか否かを判断する（ステップＳ１８０）。音声データの有効期限が終了していない場合（ステップＳ１８０においてＮＯである場合）、ＣＰＵ３１０は、ステップＳ１５６からの処理を繰り返す。音声データの有効期限が終了した場合（ステップＳ１８０においてＹＥＳである場合）、ＣＰＵ３１０は、通信インターフェイス３６０を介してサーバ１００から次のデータを待ち受ける。
＜第２の実施の形態＞

第１の実施の形態においては、事象毎に有効期限の開始時刻と終了時刻が設定されるものであった。本実施の形態においては、それに加えて事象と事象との間隔が考慮されるものである。

具体的には、サーバ１００のメモリ１２０が、図１５に示すような事象関連データ１２６を記憶する。事象関連データ１２６は、他の事象との関連を有する事象毎に、事象ＩＤと、関連先の事象のＩＤと、当該関連先の事象からの最小経過時間と、当該関連先の事象からの最大経過時間との対応関係を含むものである。

これよって、本実施の形態においては、学習部１１２は、図８に示すようなユーザ毎または冷蔵庫毎の一日のドアの開閉回数の推移のグラフ１２３Ｂに基づいて、発動条件データ１２１と事象関連データ１２６とを参照することによって、図１６に示すようなタイミング予測データ１２４Ｃを作成する。タイミング予測データ１２４Ｃは、事象毎に、機器ＩＤと、事象ＩＤと、事象名と、日付と、事象が生じやすい時間帯の開始時刻と、事象が生じやすい時間帯の終了時刻と、関連する事象と、関連する事象からの最小経過時間と、関連する事象からの最大経過時間との対応関係を含む。

次に、図１７を参照して、本実施の形態にかかるサーバ１００のメッセージ出力処理について説明する。まず、ＣＰＵ１１０は、対象となる冷蔵庫３００毎に、タイミング予測データ１２４Ｃを読み出す（ステップＳ１１２）。ＣＰＵ１１０は、未だ処理が完了していない事象のうちで、開始時刻が最も早い事象を特定する（ステップＳ１１４）。

ＣＰＵ１１０は、当該事象の発話内容を読み出す（ステップＳ１２２）。ＣＰＵ１１０は、タイミング予測データ１２４Ｃに基づいて、当該事象に関する事象があるか否かを判断する（ステップＳ１２８）。当該事象に関する事象がない場合（ステップＳ１２８にてＮＯである場合）、ＣＰＵ１１０は、ステップＳ１３８からの処理を実行する。

当該事象に関する事象がある場合（ステップＳ１２８にてＹＥＳである場合）、ＣＰＵ１１０は、当該関連する事象が既に発話されたか否かを判断する（ステップＳ１３０）。当該関連する事象が既に発話されていない場合（ステップＳ１３０にてＮＯである場合）、ＣＰＵ１１０は、ステップＳ１３８からの処理を実行する。

当該関連する事象が既に発話された場合（ステップＳ１３０にてＹＥＳである場合）、ＣＰＵ１１０は、下記の式（１）に基づいて発話開始時刻すなわち発話可能期間の開始時刻を算出し、下記の式（２）に基づいて発話終了時刻すなわち発話可能期間の終了時刻を算出する（ステップＳ１３４）。
発話開始時刻＝関連する事象の発話時刻＋関連する事象からの最小経過時間・・・（１）
発話終了時刻＝関連する事象の発話時刻＋関連する事象からの最大経過時間・・・（２）

ＣＰＵ１１０は、ユーザ情報データ１２５を参照して、通信インターフェイス１６０を介して、発話開始時刻と終了時刻と発話内容の音声データを対象となる冷蔵庫３００に送信する（ステップＳ１３８）。

ＣＰＵ１１０は、通信インターフェイス１６０を介して冷蔵庫３００から発話実行ログを受信するか、発話内容の音声データの有効期限の終了まで待機する（ステップＳ１４２）。

ＣＰＵ１１０は、タイミング予測データ１２４Ｃを参照して、まだ処理が完了していない事象があるか否かを判断する（ステップＳ１４８）。ＣＰＵ１１０は、対象となる事象が見つかった場合（ステップＳ１４８においてＹＥＳである場合）、ステップＳ１１４からの処理を繰り返す。ＣＰＵ１１０は、対象となる事象が見つからなかった場合（ステップＳ１４８においてＹＥＳである場合）、本日の一連の処理を終了する。
＜第３の実施の形態＞

本実施の形態においては、冷蔵庫３００が出力したメッセージに対するユーザの応答メッセージを取得して、その後の処理に利用するものである。

具体的には、本実施の形態にかかるサーバ１００のメモリ１２０が、図１８に示すような応答データ１２７を記憶する。応答データ１２７は、ユーザの応答毎に、機器ＩＤと、冷蔵庫の質問内容と、ユーザの応答の種類と、当該応答ログの取得日時との対応関係を含む。本実施の形態においては、ユーザの応答の種類は、ユーザの応答が肯定的であったか否定的であったかを含む。

また、サーバ１００のメモリ１２０は、図１９に示すような集計データ１２８を記憶する。集計データ１２８は、事象毎に、機器ＩＤと、事象名と、ユーザからの肯定的な応答の回数と、ユーザからの否定的な応答の回数と、いずれの応答が多いかを示す情報との対応関係を含む。

本実施の形態においては、学習部１１２としてのＣＰＵ１１０は、通信インターフェイス１６０を介して、ユーザの応答を受け付けると、応答データ１２７に、応答ログを追加する。そして、ＣＰＵ１１０は、最新の応答データ１２７に基づいて、集計データ１２８を更新する。

次に、図２０を参照して、本実施の形態にかかるサーバ１００のメッセージ出力処理について説明する。まず、ＣＰＵ１１０は、対象となる冷蔵庫３００毎に、タイミング予測データ１２４を読み出す（ステップＳ１１２）。ＣＰＵ１１０は、未だ処理が完了していない事象のうちで、開始時刻が最も早い事象を特定する（ステップＳ１１４）。

ここで本実施の形態においては、ＣＰＵ１１０は、集計データ１２８を参照して、当該事象が発話ＮＧであるか否かを判断する（ステップＳ１１６）。ＣＰＵ１１０は、当該事象が発話ＮＧである場合（ステップＳ１１６にてＹＥＳである場合）、ステップＳ１１４からの処理を繰り返す。

ＣＰＵ１１０は、当該事象が発話ＮＧでない場合（ステップＳ１１６にてＮＯである場合）、当該事象が発話ＯＫであるか否かを判断する（ステップＳ１１８）。当該事象が発話ＯＫである場合（ステップＳ１１８にてＹＥＳである場合）、ＣＰＵ１１０は、当該事象の発話内容を発話データ１２２から読み出す（ステップＳ１２０）。ＣＰＵ１１０は、ステップＳ１３８からの処理を実行する。

当該事象が発話ＯＫでない場合（ステップＳ１１８にてＮＯである場合）、ＣＰＵ１１０は、当該事象の発話内容を発話データ１２２から読み出して、当該事象の発話の確認フレーズを応答データ１２７から読み出す（ステップＳ１２２Ｂ）。

ＣＰＵ１１０は、ユーザ情報データ１２５を参照して、通信インターフェイス１６０を介して、発話開始時刻と終了時刻と発話内容の音声データと、必要であれば確認フレーズの音声データと、を対象となる冷蔵庫３００に送信する（ステップＳ１３８Ｂ）。

ＣＰＵ１１０は、通信インターフェイス１６０を介して冷蔵庫３００から発話実行ログを受信するか、発話内容の音声データの有効期限の終了まで待機する（ステップＳ１４２）。なお、確認フレーズを冷蔵庫３００に送信していた場合には、ＣＰＵ１１０は、ユーザからの肯定的な回答または否定的な回答を受け付けて、応答データ１２７や集計データ１２８を更新する。

ＣＰＵ１１０は、タイミング予測データ１２４を参照して、まだ処理が完了していない事象があるか否かを判断する（ステップＳ１４８）。ＣＰＵ１１０は、対象となる事象が見つかった場合（ステップＳ１４８においてＹＥＳである場合）、ステップＳ１１４からの処理を繰り返す。ＣＰＵ１１０は、対象となる事象が見つからなかった場合（ステップＳ１４８においてＹＥＳである場合）、一連の処理を終了する。

次に、図２１を参照して、本実施の形態にかかる冷蔵庫３００のメッセージ出力処理について説明する。ＣＰＵ３１０は、通信インターフェイス１６０を介して、サーバ１００から発話内容の音声データを受信する（ステップＳ１５２）。ＣＰＵ３１０は、音声データの有効期限の開始時刻まで待機する（ステップＳ１５４）。

有効期限の開始時刻に達すると、ＣＰＵ３１０は、音声データをスタンバイさせてユーザの操作を待ち受ける（ステップＳ１５６）。ＣＰＵ３１０は、ユーザの操作を受け付けか否かを判断する（ステップＳ１６０）。ＣＰＵ３１０は、ユーザの操作を受け付けた場合（ステップＳ１６０においてＹＥＳである場合）、受信データに発話確認フレーズが含まれているか否かを判断する（ステップＳ１６２）。

受信データに発話確認データが含まれている場合（ステップＳ１６２にてＹＥＳである場合）、ＣＰＵ３１０は、スピーカ３７０に発話確認フレーズを出力させる（ステップＳ１６４）。ＣＰＵ３１０は、マイク３８０を介して、ユーザから肯定的な応答を受けたか否かを判断する（ステップＳ１６６）。ＣＰＵ３１０は、ユーザから肯定的な応答を受けたと判断できた場合（ステップＳ１６６にてＹＥＳである場合）、ステップＳ１７２からの処理を実行する。

ＣＰＵ３１０は、ユーザから肯定的な応答を受けなかった場合（ステップＳ１６６にてＮＯである場合）、通信インターフェイス３６０を介してサーバ１００に発話ＮＧログを送信する（ステップＳ１６８）。ＣＰＵ３１０は、通信インターフェイス３６０を介してサーバ１００から次のデータを待ち受ける。

受信データに発話確認データが含まれていない場合（ステップＳ１６２にてＮＯである場合）、ＣＰＵ３１０は、スピーカ３７０に発話内容の音声を出力させる（ステップＳ１７２）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、サーバ１００に発話ＯＫログと発話実行ログとを通知する（ステップＳ１７４Ｂ）。ＣＰＵ３１０は、通信インターフェイス３６０を介してサーバ１００から次のデータを待ち受ける。

ＣＰＵ３１０は、ユーザの操作を受け付けていない場合（ステップＳ１６０においてＮＯである場合）、音声データの有効期限が終了したか否かを判断する（ステップＳ１８０）。音声データの有効期限が終了していない場合（ステップＳ１８０においてＮＯである場合）、ＣＰＵ３１０は、ステップＳ１５６からの処理を繰り返す。音声データの有効期限が終了した場合（ステップＳ１８０においてＹＥＳである場合）、ＣＰＵ３１０は、通信インターフェイス３６０を介してサーバ１００から次のデータを待ち受ける。

なお、応答データ１２７や集計データ１２８は、複数のユーザに共通のデータを準備してもよいし、ユーザ毎の応答内容や事象名や肯定的な応答の回数や否定的な応答の回数やいずれの応答が多いかを示す情報などを準備してもよい。すなわち、図２０のステップＳ１１６やステップＳ１１８において、複数のユーザに共通の判断を行ってもよいし、ユーザ毎の判断を行ってもよい。
＜第４の実施の形態＞

さらに、ユーザが外出している時間帯を特定したり、当該時間帯に冷蔵庫が操作された際に雑談用のメッセージを出力したり、してもよい。より詳細には、本実施の形態においては、図２２に示すように、発話データ１２２Ｄが、外出していることが多い時間帯用のメッセージを格納する。そして、図２３に示すように、ユーザ毎または冷蔵庫毎に、タイミング予測データ１２４Ｄが、外出という事象に関する各種データを格納する。

たとえば、学習部１１２としてのＣＰＵ１１０が、操作・対話ログデータベース１２３に基づいて、ユーザの操作が数時間以上、たとえば３時間以上、行われることがない可能性が高い期間をユーザの外出期間と判断する。そして、ＣＰＵ１１０は、当該時間帯を外出という事象に対応付けてタイミング予測データ１２４Ｄに格納する。これによって、外出しているはずのユーザが冷蔵庫３００を操作した際に、ＣＰＵ１１０は当該冷蔵庫３００に、「あれっ、今日はお休みですか？」という音声メッセージを出力させる。
＜第５の実施の形態＞

あるいは、起床という事象に加えて、通常よりも遅めの起床の時間帯を設定したり、当該時間帯に冷蔵庫が操作された際に雑談用のメッセージを出力したり、してもよい。当然に、通常よりも早めの起床の時間帯を設定したり、当該時間帯に冷蔵庫が操作された際に雑談用のメッセージを出力したり、してもよい。

より詳細には、本実施の形態においては、図２４に示すように、発話データ１２２Ｅが、遅めの起床の時間帯用のメッセージを格納する。そして、図２５に示すように、ユーザ毎または冷蔵庫毎に、タイミング予測データ１２４Ｅが、遅めの起床という事象に関する各種データを格納する。なお、本実施の形態においては、雑談用の事象に関しては、関連する事象は設定されるが、当該関連する事象からの最小経過時間や最大経過時間が設定されない。

この場合は、図２６に示すように、当該関連する事象が既に発話された場合（ステップＳ１３０にてＹＥＳである場合）、ＣＰＵ１１０は、当該関連する事象からの経過時間の設定がされているか否かを判断する（ステップＳ１３２）。ＣＰＵ１１０は、経過時間の設定がされていない場合（ステップＳ１３２においてＮＯである場合）、ステップＳ１４８からの処理を実行する。これによって、起床時のメッセージと遅めの起床時のメッセージセージとが両方出力されてしまうことを防止することができる。

ＣＰＵ１１０は、経過時間の設定がされている場合（ステップＳ１３２においてＹＥＳである場合）、発話開始時刻すなわち発話可能期間の開始時刻を算出し、発話終了時刻すなわち発話可能期間の終了時刻を算出する（ステップＳ１３４Ｄ）。
＜第６の実施の形態＞

第１〜第５の実施の形態においては、メッセージの有効期限内に冷蔵庫３００が操作されると、当該メッセージがすぐに音声出力されるものであった。しかしながら、本実施の形態においては、事象毎に、冷蔵庫３００が操作されてからメッセージが出力させるまでの間隔が異なるものである。

たとえば、ユーザの起床時には扉が開くとすぐにメッセージが出力される。たとえば、朝食などの料理中には、扉が開いてから数秒してからメッセージが出力される。

本実施の形態においては、図２７に示すように、発話データ１２２Ｆは、予期される標準的な事象毎に、事象ＩＤと、事象名と、発話内容の種別と、発話内容本体と、冷蔵庫へのユーザ操作から音声出力までの時間との対応関係を含む。これによって、たとえば、図１３を参照して、ＣＰＵ１１０は、ステップＳ１３８において、ユーザ情報データ１２５を参照して、通信インターフェイス１６０を介して、発話開始時刻と終了時刻と発話内容の音声データとユーザ操作から音声出力までの時間とを対象となる冷蔵庫３００に送信する。そして、図１４を参照して、ＣＰＵ３１０は、ステップＳ１７２において、当該時間待機してからスピーカ３７０に音声を出力させる。

あるいは、事象毎に、扉が開いた際にメッセージを出力するか、扉が閉じた際にメッセージを出力するか、が指定されていてもよい。たとえば、料理に関係した情報やニュースや挨拶など、忘れてもユーザが困る可能性が低い情報は扉を開けた際に出力し、持ち物やスケジュールなど、忘れるとユーザが困る可能性が高い情報は扉を閉める際に出力する。

本実施の形態においては、図２８に示すように、発話データ１２２Ｇは、予期される標準的な事象毎に、事象ＩＤと、事象名と、発話内容の種別と、発話内容本体と、音声出力すべきユーザ操作の種類との対応関係を含む。これによって、たとえば、図１３を参照して、ＣＰＵ１１０は、ステップＳ１３８において、ユーザ情報データ１２５を参照して、通信インターフェイス１６０を介して、発話開始時刻と終了時刻と発話内容の音声データとユーザ操作の種類とを対象となる冷蔵庫３００に送信する。そして、図１４を参照して、ＣＰＵ３１０は、ステップＳ１７２において、当該ユーザ操作の種類の操作を検知したときにスピーカ３７０に音声を出力させる。
＜第７の実施の形態＞

各種のデータベースの構成は、第１〜第６の実施の形態のものには限られない。たとえば、図１６のような第２の実施の形態のタイミング予測データ１２４Ｃの代わりに、図２９に示すように、タイミング予測データ１２４Ｈは、１番目以外の全ての事象に関連事象が対応付けられ、１番目以外の全ての事象に関連事象からの経過時間が対応付けられてもよい。

あるいは、図５のような第１の実施の形態のような事象の発動条件データ１２１の代わりに、図３０に示すように、事象の発動条件データ１２１Ｈが、事象毎の時間帯の幅、すなわちユーザ操作の待ち受け期間を含んでもよい。これによって、学習部１１２は、事象毎の予測タイミングの期間を決める際に、事象毎の平均の時刻を中心にして、発動条件データ１２１Ｈの待ち受け時間に基づいて、開始時間と終了時間とを決定することができる。
＜第８の実施の形態＞

上記の実施の形態の冷蔵庫３００の役割の一部や全部を、サーバ１００やスマートフォンなどの通信端末やリモートコントローラなどが担ってもよい。あるいは、サーバ１００の役割の一部や全部を、複数のサーバや冷蔵庫３００やスマートフォンなどの通信端末やリモートコントローラなどが担ってもよい。

たとえば、上記の第１〜第７の実施の形態ではサーバ１００が１つのメッセージ毎に、メッセージの音声データと有効期限とを冷蔵庫３００に提供するものであったが、サーバ１００が１時間分のメッセージや有効期限をまとめて冷蔵庫３００に提供するものであってもよいし、サーバ１００が１日分のメッセージや有効期限をまとめて冷蔵庫３００に提供するものであってもよいし、サーバ１００が１週間分のメッセージや有効期限をまとめて冷蔵庫３００に提供するものであってもよいし、サーバ１００が１か月分のメッセージや有効期限をまとめて冷蔵庫３００に提供するものであってもよいし、サーバ１００が全ての期間のメッセージや有効期限をまとめて冷蔵庫３００に提供するものであってもよい。

あるいは、サーバ１００のほとんどの機能を冷蔵庫３００が有してもよい。図３１は、本実施の形態にかかるネットワークシステム１を構成する冷蔵庫３００の動作概要を示す図面である。図３１（Ａ）を参照して、ユーザが起床後すぐに冷蔵庫３００の扉を開けると、冷蔵庫３００が起床時に適したメッセージを出力する。図３１（Ｂ）を参照して、ユーザが朝食の準備時に冷蔵庫３００の扉を開けると、冷蔵庫３００が朝食の準備時に適したメッセージを出力する。図３１（Ｃ）を参照して、ユーザが出勤前に冷蔵庫３００の扉を開けると、冷蔵庫３００が出勤時に適したメッセージを出力する。

本実施の形態においては、冷蔵庫３００のＣＰＵ３１０が、ログ記録部１１１と学習部１１２と発話制御部１１３とを実現する。また、メモリ３２０が、操作・対話ログデータベース１２３と事象の発動条件データ１２１と事象のタイミング予測データ１２４と発話データ１２２とを格納する。

図３２を参照して、冷蔵庫３００のＣＰＵ３１０は、ログ記録部１１１としてユーザ操作やユーザの音声に基づいて、操作ログや対話ログを操作・対話ログデータベース１２３に蓄積する（ステップＳ２０４）。学習部１１２としてのＣＰＵ３１０は、最新の操作・対話ログデータベース１２３に基づいて、発動条件データ１２１を参照することによって、タイミング予測データ１２４を作成したり更新したりする（ステップＳ２０６）。

図３３を参照して、ＣＰＵ３１０は、タイミング予測データ１２４を読み出す（ステップＳ２１２）。ＣＰＵ３１０は、未だ処理が完了していない事象のうちで、開始時刻が最も早い事象を特定する（ステップＳ２１４）。

ＣＰＵ３１０は、当該事象の発話内容を読み出す（ステップＳ２２２）。ＣＰＵ３１０は、音声データの有効期限の開始時刻まで待機する（ステップＳ２５４）。

ＣＰＵ３１０は、音声データをスタンバイさせてユーザの操作を待ち受ける（ステップＳ２５６）。ＣＰＵ３１０は、ユーザの操作を受け付けか否かを判断する（ステップＳ２６０）。ＣＰＵ３１０は、ユーザの操作を受け付けた場合（ステップＳ２６０においてＹＥＳである場合）、スピーカ３７０に音声を出力させる（ステップＳ２７２）。ＣＰＵ３１０は、ステップＳ２８８からの処理を実行する。

ＣＰＵ３１０は、ユーザの操作を受け付けていない場合（ステップＳ２６０においてＮＯである場合）、音声データの有効期限が終了したか否かを判断する（ステップＳ２８０）。音声データの有効期限が終了していない場合（ステップＳ２８０においてＮＯである場合）、ＣＰＵ３１０は、ステップＳ２５６からの処理を繰り返す。

音声データの有効期限が終了した場合（ステップＳ２８０においてＹＥＳである場合）、ＣＰＵ１１０は、タイミング予測データ１２４を参照して、まだ処理が完了していない事象があるか否かを判断する（ステップＳ２８８）。ＣＰＵ１１０は、対象となる事象が見つかった場合（ステップＳ２８８においてＹＥＳである場合）、ステップＳ２１４からの処理を繰り返す。ＣＰＵ１１０は、対象となる事象が見つからなかった場合（ステップＳ２８８においてＹＥＳである場合）、一連の処理を終了する。
＜その他の応用例＞

本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体（あるいはメモリ）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わる他の記憶媒体に書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ ：ネットワークシステム
１００ ：サーバ
１１０ ：ＣＰＵ
１１１ ：ログ記録部
１１２ ：学習部
１１３ ：発話制御部
１２０ ：メモリ
１２１ ：発動条件データ
１２２ ：発話データ
１２３ ：対話ログデータベース
１２４ ：タイミング予測データ
１２５ ：ユーザ情報データ
１２６ ：事象関連データ
１２７ ：応答データ
１２８ ：集計データ
１４０ ：操作部
１６０ ：通信インターフェイス
２００ ：ルータ
３００ ：冷蔵庫
３１０ ：ＣＰＵ
３２０ ：メモリ
３３０ ：ディスプレイ
３４０ ：操作部
３６０ ：通信インターフェイス
３７０ ：スピーカ
３８０ ：マイク
３９０ ：機器駆動部
３９１ ：扉センサ

Claims (9)

1. 複数の冷蔵庫と、
   複数種類のメッセージと、当該メッセージを音声出力する時間帯条件および前記冷蔵庫の扉の一日における累積開閉回数条件と、前記複数の冷蔵庫それぞれの扉の開閉動作を記録するログデータベースとを格納するメモリと、前記ログデータベースの情報に基づいて、前記複数の冷蔵庫それぞれの前記時間帯条件内で前記累積開閉回数条件を満たした時刻から前記複数種類のメッセージを音声出力するタイミングデータを作成する学習部と、前記タイミングデータおよび前記メッセージを前記複数の冷蔵庫それぞれに送信する発話制御部と、を含むサーバと、を備えるネットワークシステム。
2. 前記メッセージ毎のタイミングデータは、前記冷蔵庫の扉が開けられた際に当該メッセージを音声出力させるべき期間を含み、前記発話制御部は、前記期間内、且つ、未処理の前記メッセージおよび前記タイミングデータを前記複数の冷蔵庫それぞれに送信する、請求項１に記載のネットワークシステム。
3. 前記時間帯条件には、前記複数のメッセージのうちの第１のメッセージが出力されてから次の第２のメッセージが出力されるまでの最小経過時間と最大経過時間とが設定されて、前記第２のメッセージに対応する前記タイミングデータは、前記第１のメッセージが出力されたタイミングから前記最小経過時間後かつ前記最大経過時間経過前に設定される、請求項１または２に記載のネットワークシステム。
4. 前記サーバは、前記複数の冷蔵庫から前記メッセージに対するユーザの反応を取得し、当該反応に基づいてその後に前記メッセージを音声出力するか否かを決定する、請求項１から３のいずれか１項に記載のネットワークシステム。
5. 前記サーバは、前記複数の冷蔵庫それぞれの前記ログデータベースの情報に基づいて、当該扉の開閉が行われることが少ない期間を特定し、
   当該期間に冷蔵庫が開けられた際に所定のメッセージを前記冷蔵庫に出力させる、請求項１から４のいずれか１項に記載のネットワークシステム。
6. 前記複数のメッセージ毎に、前記扉を開けてから音声出力が始まるまでの間隔、または音声出力を始めるタイミングとなるユーザ操作の種類、が設定されている、請求項１から５のいずれか１項に記載のネットワークシステム。
7. 複数の冷蔵庫と通信するための通信インターフェイスと、
   前記通信インターフェイスを介して前記複数の冷蔵庫それぞれから取得した前記扉の開閉動作の一日における累積開閉回数および時刻データに基づいて複数事象の発生タイミングを予測し、前記予測した複数事象の発生タイミングと前記複数事象のそれぞれに対応した複数種類のメッセージのそれぞれとを、前記通信インターフェイスを介して前記複数の冷蔵庫それぞれに送信するためのプロセッサと、を備えるサーバ。
8. サーバにおける情報処理方法であって、
   プロセッサが、通信インターフェイスを介して、複数の冷蔵庫それぞれの扉の開閉動作を取得するステップと、
   前記プロセッサが、取得した前記扉の開閉動作の一日における累積開閉回数および時刻データに基づいて複数事象の発生タイミングを予測するステップと、
   前記プロセッサが、前記予測した複数事象の発生タイミングと、前記複数事象のそれぞれに対応した複数種類のメッセージのそれぞれとを、前記通信インターフェイスを介して前記複数の冷蔵庫それぞれに送信するステップと、を備える情報処理方法。
9. 扉と、
   スピーカと、
   複数種類のメッセージと、当該メッセージを音声出力する時間帯条件および前記扉の一日における累積開閉回数条件と、前記扉の開閉動作を記録するログデータベースとを格納するメモリと、
   前記ログデータベースの情報に基づいて、前記時間帯条件内で前記累積開閉回数条件を満たした時刻から前記複数種類のメッセージを前記スピーカから音声出力するタイミングデータを作成する学習部と、前記タイミングデータに基づく音声出力有効期間内にユーザ操作を受け付けた場合に当該タイミングデータに対応するメッセージを音声出力する発話制御部と、を備える冷蔵庫。

Images