JP6559079B2 - 対話型家電システム、および発話者との対話に基づいてメッセージを出力するためにコンピュータが実行する方法 - Google Patents

Description

本開示は、音声認識可能な家電機器に関し、より特定的には、対話可能な家電機器に関する。

ストレスや精神的疲労の軽減、またうつ病など精神疾患の改善手法の一つとして、認知行動療法が知られている。認知行動療法は、「認知に働きかけて気持ちを楽にする精神療法(心理療法)の一種」と定義されている（例えば、非特許文献１参照）。この認知行動療法は、物理的・化学的な手段によらず、主として言語をベースとした教示や対話を通して症状を改善するアプローチである。

英国では、英国国立医療技術評価機構（National Institute for Health and Clinical Excellence）にて、抑うつ・不安のためのコンピュータ化された認知行動療法セラピー（Computerised cognitive behaviour therapy for depression and anxiety:http://publications.nice.org.uk/computerised-cognitive-behaviour-therapy-for-depression-and-anxiety-ta97/guidance）というタイトルで、コンピューターを用いた認知行動療法のガイダンスが示されており、この中でその効果も記載されている。

また、英国のBeating the Blues 社（http://www.beatingtheblues.co.uk/）では、実際にコンピューターを用いたオンラインの認知行動療法を実現しており、この効果は先のガイドラインにも記載されている。

一方、国内で軽度のうつ病の簡易スクリーニングとして、単純なアンケートに回答するだけのものとして、例えばSRQ−D東邦大式のチェックが自治体や病院などで活用されている（例えば、特許文献２参照）。これは、例えば、質問１：身体がだるく疲れやすいですか？、質問２：騒音が気になりますか？、等の１８の質問に「いいえ」、「時々」、「しばしば」、「常に」、の４種類の回答から選択することで、うつ病の疑いを簡易的に診断するものである。

このように、簡単な言語的なアンケートにより簡易的な診断が行われ、また、コンピューターを用いたオンラインでの対話によりその症状が緩和することが知られている。

これに対して、特開２００３−１０８６７４号公報（特許文献１）は、パーソナル・コンピュータを用いたカウンセリングを行うシステムを開示している。また、特開２０１３−１０９６５６号公報（特許文献２）は、利用者が意識的に検査を受けなくても、利用者が通常に利用するコンピュータへの文章入力からストレスを抱える状態であると判断する装置を開示している。

一方、ストレスや疲労軽減とは別に、例えば 音声でやり取りを行う家電が存在する。例えば、シャープ社から販売されているロボット掃除機（ＲＸ−Ｖ２００）は音声認識と音声合成を行い、使用者との間で会話を行う機能を搭載している（非特許文献３）。

特開２００３−１０８６７４号公報 特開２０１３−１０９６５６号公報

独立行政法人 国立精神・神経医療研究センター 認知行動療法センターホームページ（http://www.ncnp.go.jp/cbt/about.html） 成増厚生病院ホームページ http://narimasukosei-hospital.jp/check/utsu/index.php） シャープ株式会社ホームページ（http://www.sharp.co.jp/cocorobo/product/v200/ ）

ロボット掃除機に、音声認識により機器制御（掃除の開始、停止等）と会話（天気予報、メニュー提案、あいさつなど）を行う機能を搭載した実験が行なわれた。具体的には、被験者１２名が当該ロボット掃除機を２か月間使用する実験が行なわれた。その事件結果によると、当該ロボット掃除機との発話全体に対して、掃除機能の制御を行うための会話（ユーザである被験者の発話）は、２０％以下に留まり、発話の大半は、被験者が感情や状態を打ち明ける発話、天気その他の情報を尋ねるための発話、地理や動植物の名称等の知識を得るための発話、ソーシャルネットワークサービスに掲載されたコンテンツに対する共感を示す所謂「いいね」のようなフィードバックを当該コンテンツに与えるための発話、ロボット掃除機への挨拶、なぞなぞその他のゲームのための発話等であることが分かった。

つまり、日常生活における活動（以降、家事と呼ぶ）をサポートする機能を持つ装置（所謂家電機器）において、言語情報を用いて機能の実施の指示を行なう場合、当該指示だけでなく、それ以外の挨拶、天気予報その他の情報取得、感情的な対話（疲れた、楽しかったなど）などを自然と行わせることができるということが分かる。

一方、社会環境の変化等により、メンタルなサポートを必要とする人が増加しているが、サポートを提供できる人の供給が追いついていない。したがって、メンタルなサポートを提供するための技術が必要とされている。

本開示は、上述のような問題点を解決するためになされたものであって、ある局面における目的は、家事をサポートする機能を持つ装置において、言語情報にて指示ができる機能を持つと共に、言語情報を通じて、使用者の疲労やストレスその他の精神的な負担を軽減するサポートを行なう対話型家電システムまたは対話型家電機器を提供することである。他の局面における目的は、言語情報を通じて、使用者の疲労やストレスその他の精神的な負担を軽減するサポートを行なうためのサーバ装置を提供することである。

他の局面における目的は、家事をサポートする機能を持つ装置が、言語情報にて指示を受け付けつつ、言語情報を通じて、使用者の疲労やストレスその他の精神的な負担を軽減するサポートを行なうための方法を提供することである。さらに他の局面における目的は、当該方法をコンピュータに実行させるためのプログラムを提供することである。

一実施の形態に従う対話型家電システムは、音声を出力するための音声出力部と、音声の入力を受け付けるように構成された音声入力部と、発話者との会話に基づいてストレスまたは疲労を判定するための判定基準を格納するように構成された判定基準記憶部と、ストレスまたは疲労を軽減する音声を出力するためのデータを格納するように構成された対話データ記憶部と、判定基準と発話者の応答とに基づいて、当該発話者のストレスまたは疲労を判断するように構成された判断部とを備える。音声出力部は、判断の結果とデータとに基づく発話を出力するように構成されている。

ある局面に従う一実施例において、ユーザが家電機器と対話することにより、当該ユーザの疲労やストレスが軽減され得る。

この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

本実施の形態に係る対話型の家電システム２０の構成を表わす図である。 対話型の家電システム２０が使用される局面を表わす図である。 家電システム２０を構成するサーバと家電機器との詳細な構成を表わすブロック図である。 家電システム２０における処理の一部を表わすフローチャートである。 家電システム２０を構成する家電機器３５０とサーバ３１０とが実行する処理の一部を表わすフローチャートである。 家電システム２０において家電機器３５０に対する発話の意味を理解するためにサーバ３１０が実行する処理の一部を表わすフローチャートである。 情報処理通信装置を実現するためのコンピュータ７００のハードウェアを表わすブロック図である。 掃除ロボット２１１，２２１のハードウェア構成を表わすブロック図である。 サーバ３１０として機能するコンピュータ７００が実行する音声認識処理の一例を表わすフローチャートである。 サーバ３１０におけるデータベースの構造の一態様を表わす図である。 サーバ３１０が診断モード時に実行する処理の一例を表わすフローチャートである。 ハードディスク５における診断のためのデータの格納の一態様を概念的に表わす図である。 ＣＰＵ１が実行する診断モード処理の一例を表わすフローチャートである。 ハードディスク５におけるデータの格納の一態様を概念的に表わす図である。 ハードディスク５におけるデータの格納の一態様を概念的に表わす図である。 テレビ２１５がユーザと対話する局面を表わす図である。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

［技術思想］
図１を参照して、本実施の形態に係る技術思想について説明する。図１は、本実施の形態に係る対話型の家電システム２０の構成を表わす図である。家電システム２０は、発話部２１と、音声入力部２２と、記憶部２４と、駆動機構２５と、通信部２６とを備える。制御部２７は、判断部２３を含む。制御部家電システム２０は、一人以上のユーザ１０，１１，１２などと対話可能である。

以下の説明において、家電システム２０は、日常のサポートを行なう機器によって実現され得る。ある局面において、当該機器は、所謂「家電機器」と称される私的に使用可能な家庭用電気機械器具と、業務上使用されるオフィス機器とを含み得る。家電機器は、例えば、掃除機、冷蔵庫、エアコンディショナ（以下「エアコン」ともいう。）、テレビ、照明、血圧計、炊飯器、電磁調理器、洗面台、体重計、ホームプラネタリウムその他の器具を含み得る。

また、本実施の形態における機器は、屋内で使用されるものに限られず、自動車、自転車、自動二輪車、電動いす等のように屋外で使用されるものも含み得る。オフィス機器は、例えば、コピー機、ファクシミリ装置、シュレッダー、電話会議システム、テレビ会議のように事業者によって使用され得る器具を含み得る。

例えば、ある局面において、家電システム２０は、発話部２１を介して音声を出力する（第１発話）。ユーザ１１は、その音声に応答して回答する。音声入力部２２は、ユーザ１１による回答の入力を受け付ける。

音声入力部２２は、その回答を音声信号に変換する。通信部２６は、インターネット３０に接続して、情報通信端末４０と通信可能である。通信の態様は特に限定されない。制御部２７は、家電システム２０の動作を制御する。制御部２７において、判断部２３は、その信号と記憶部２４に格納されているデータとに基づいて、ユーザ１１の心理状態を判断する。この判断は、例えば、記憶部２４に予め格納されているデータに基づいて行なわれる。他の局面において、判断部２３は、通信部２６を介してインターネット３０に接続して情報通信端末４０と通信し、情報通信端末４０が当該判断を行なってもよい。

判断部２３は、その判断の結果に基づく信号を発話部２１に送信する。発話部２１は、その信号に基づいて音声を出力する（第２発話）。ユーザ１１は、家電システム２０によって出力された音声（第２発話）を聞くと、その内容に応じて心理状態が落ち着く場合もあり得る。

ある局面において、家電システム２０は、１つ以上の家電機器として実現され得る。他の局面において、家電システム２０は、家電機器と、当該家電機器と通信可能なサーバとによって実現され得る。

ユーザ１０，１１，１２の同定は、例えば、各ユーザ毎に割り当てられた専用スイッチの操作や、顔画像や、指紋または声紋その他の生体情報を用いて行なわれる。なお、同定の精度は、１００％である必要はなく、例えば、４人家族において、ユーザが誰であるかが分かる程度でよい。他方、別の局面において、１００％の精度が求められる認証技術が用いられてもよい。たとえば、多数の入院患者がいる病院その他の医療施設において、あるいは、多数の入居者がいる福祉施設において、１００％の認証技術が用いられてもよい。あるいは、さらに別の局面において、同定の精度が可変であってもよい。

ユーザの精神状態を判断するために用いられるデータとして、例えば、家電機器との会話の内容（音声認識結果）、音声（音声の周波数分析結果）、撮影されたユーザの顔画像、ユーザの発汗量、ユーザの体温、ユーザの呼吸等が用いられ得る。会話については、回答内容によって精神状態が推定され得る。顔画像については、例えば、ユーザの顔が赤くなったら、そのユーザは、興奮している状態であると推定され得る。発汗量については、その量が予め規定された量を超えると、そのユーザは興奮状態にあると推定され得る。呼吸については、ユーザの呼吸が通常の呼吸回数よりも早くなったら、そのユーザは興奮状態にあると推定され得る。

あるいは、さらに別の実施態様として、ユーザの声のトーンの高低によって、ユーザの精神状態が推定されてもよい。たとえば、声のトーンが通常よりも低い場合には、そのユーザは平常状態よりも疲れた状態にあると推定され得る。逆に、声のトーンが通常よりも高い場合には、そのユーザは興奮状態にあると推定され得る。

［家電システムの使用態様］
図２を参照して、本実施の形態に係る技術思想についてさらに説明する。図２は、対話型の家電システム２０が使用される局面を表わす図である。ある局面において、家電システム２０は、家電機器の一態様である掃除ロボット２１１，２２１として実現される。

本人の家２１０において、掃除ロボット２１１は、ルータ２１２を介して、冷蔵庫２１３と照明２１４とテレビ２１５とエアコン２１６とにそれぞれ通信可能に接続される。冷蔵庫２１３と照明２１４とテレビ２１５とエアコン２１６とは、それぞれネットワーク機能を備えており、掃除ロボット２１１から送られる信号に基づいて固有の動作を実行する。当該固有の動作は、例えば冷蔵庫２１３の中身を表示する処理、照明２１４の明るさを調節する処理、テレビ２１５のチャンネルまたは音量を調節する処理、エアコン２１６の温度の調節などを含み得る。

家２１０は、インターネット３０に接続されている。インターネット３０には、さらに他人の家２２０と、医療機関サーバ２３０と、自治体サーバ２４０と、事業者サーバ２５０と、スマートフォン２６０，２７０と、自動車２８０とがそれぞれ通信可能に接続されている。

他人の家２２０は、例えば家２１０の住人の親戚の家である。家２２０には、掃除ロボット２２１が存在する。掃除ロボット２２１は、ルータ２２２を介して、冷蔵庫２２３と照明２２４とテレビ２２５とエアコン２２６とにそれぞれ通信可能に接続されている。冷蔵庫２２３と照明２２４とテレビ２２５とエアコン２２６は、それぞれ冷蔵庫２１３と照明２１４とテレビ２１５とエアコン２１６と同様の機能を有する。したがって、それらの詳細な説明は繰り返さない。

医療機関サーバ２３０は、例えば、本人あるいは親戚が通院する病院その他医療機関によって使用される。自治体サーバ２４０は、本人あるいは親戚が居住する自治体によって使用される。事業者サーバ２５０は、掃除ロボット２１１，２２１にそれぞれ情報を送信するための情報提供事業者によって運営され使用される。医療機関サーバ２３０と自治体サーバ２４０と事業者サーバ２５０は、それぞれ、例えば周知の構成を有するコンピュータ装置によって実現される。

スマートフォン２６０，２７０は、情報処理通信端末として、本人の家族あるいは本人に医療サービスを提供する事象者のメンバーによって使用される。なお、情報処理通信端末はスマートフォンに限られず、タブレット端末、ＰＤＡ（Personal Digital Assistant）その他の端末が家族あるいは事業者のメンバーによって使用されてもよい。スマートフォン２６０，２７０の構成は当業者が容易に理解できるものである。したがって、当該構成の説明は繰り返さない。

自動車２８０は、ネットワーク通信機能を備えており、掃除ロボット２１１，２２１その他の通信機能を有する機器によって制御され得る。

（シナリオの例示）
以下、本実施の形態において想定され得るシナリオについて説明する。以下の各シナリオでは、家電機器の一例として掃除ロボット２１１が用いられるが、本実施の形態に係る技術思想の適用対象は、掃除ロボット２１１に限られない。当該技術思想は、例えば、冷蔵庫２１３、照明２１４、テレビ２１５、エアコン２１６、自動車２８０その他の機器であって、少なくとも、音声認識機能と情報処理機能とを備える機器に適用可能である。

（シナリオ１） ＜第１の実施の形態＞
第１の実施の形態として、対話機能を有する家電機器がユーザからの会話に基づいて、当該ユーザを気遣う発話を行ない得る。例えば、ユーザは、家２１０に帰宅する。ユーザが「ただいま」と発話する。掃除ロボット２１１は、その発話を認識すると、予め登録されていた音声情報に基づいて、当該ユーザが掃除ロボット２１１において既に登録されているユーザであることを検知する。掃除ロボット２１１は、予め準備された情報として保持している回答「お帰りなさい」を発する。その後、ユーザが「掃除して」と発すると、掃除ロボット２１１は「了解」と回答して、掃除機能の実行を開始する。掃除ロボット２１１は、予め規定されたプログラムに従って走行し、リビングループその他の居室を掃除する。

予め定められた条件が成立すると、掃除ロボット２１１は、「最近、疲れてるんじゃない？」と問いかける。ここで、予め定められた条件は、例えば、ユーザの最後の発話から予め規定された時間が経過したこと、掃除ロボット２１１と対話したユーザが予め登録されたユーザであることが検知されたこと等を含み得る。他の局面において、掃除ロボット２１１において発生される乱数に基づいて、ランダムに問いかけの発話が行なわれてもよい。

ユーザが、その問いかけに応答して、掃除ロボット２１１に対して、「そうだね。仕事で忙しいからね。」と回答する。掃除ロボット２１１は、その回答を認識すると、掃除ロボット２１１の内部で当該ユーザの診断を行ない診断結果を取得する。あるいは、別の局面において、掃除ロボット２１１は、インターネット３０に接続される事業者サーバ２５０に当該回答の音声信号を送信する。事業者サーバ２５０が当該音声信号に基づいて診断を行ない、診断結果を掃除ロボット２１１に返す。

掃除ロボット２１１は、診断結果を取得すると、「無理したらダメだよ」と発話する。ユーザが、その発話に応答して「はいはい。有り難う。」と回答する。掃除ロボット２１１は、その回答を認識すると、「どういたしまして」と回答する。

このような対話により、ユーザは、掃除ロボット２１１によって気遣われていることを認識すると、ユーザのストレスや疲労が緩和される場合がある。

（シナリオ２） ＜第２の実施の形態＞
第２の実施の形態として、掃除ロボット２１１は、ユーザとの対話履歴を参照して、当該ユーザを気遣う発話を行ない得る。

掃除ロボット２１１は、音声認識したユーザとの対話履歴を参照して、ユーザが忙しい生活を送っていることを認識する。当該対話履歴は、例えば、発話が行なわれた時間帯、発話の内容等を含み得る。掃除ロボット２１１が、「最近疲れるんじゃない？」と発話する。ユーザがその発話を認識して「そうだね。仕事で忙しいからね。」と回答する。掃除ロボット２１１は、その回答を認識すると、ユーザの診断を行なう。上述の通り、この診断は、掃除ロボット２１１の内部において、あるいは、掃除ロボット２１１から音声信号を受信可能な外部のサーバ装置（例えば、事業者サーバ２５０）において行なわれ得る。

掃除ロボット２１１は、当該ユーザが、最近の二週間において、当該ユーザがそれ以前よりも激しく疲労していることを検知すると、「２，３日くらい休んで旅行でもしたら？」と発話する。ユーザは、その発話に応答して、「はいはい、有り難う。」と回答する。ユーザが掃除ロボット２１１から旅行を勧められたことに対して、当該ユーザの疲労やストレスが緩和され得る。

（シナリオ３） ＜第３の実施の形態＞
第３の実施の形態として、掃除ロボット２１１とユーザとの対話は、医療機関との連携にも用いられ得る。一実施例において、シナリオ２の場合と同様に、掃除ロボット２１１が、「最近疲れるんじゃない？」と発話する。ユーザが、その発話を認識して「そうだね。仕事で忙しいからね。」と回答する。掃除ロボット２１１は、その回答を認識すると、「無理したらダメだよ。」と発話する。ユーザが、その発話に対して「はいはい。有り難う。」と回答する。

掃除ロボット２１１が当該回答を認識すると、当該ユーザの最近二週間の疲労に関する対話情報を医療機関サーバ２３０に送信する。医療機関サーバ２３０は、当該ユーザの家２１０が存在する自治体あるいはその近傍にある病院その他の診療／治療施設である。なお、掃除ロボット２１１が対話情報を医療機関サーバ２３０に送信する態様に代えて、掃除ロボット２１１からの要求に応答して、対話情報を蓄積する事業者サーバ２５０が当該ユーザの対話情報を医療機関サーバ２３０に送信してもよい。また、当該対話情報の送信要求は、掃除ロボット２１１ではなく、掃除ロボット２１１からの許可を受信した医療機関サーバ２３０によって送信されてもよい。

医療機関サーバ２３０が、当該対話情報に基づいて、当該ユーザを診断する。医療機関サーバ２３０は、当該ユーザが医師による診断を必要とすると判断すると、そのような判断結果を掃除ロボット２１１に送信する。判断結果は、例えば、予め規定された一つ以上のテンプレートに対して当該ユーザの主治医の名称、診察の曜日等を追加することにより医療機関サーバ２３０によって作成される。掃除ロボット２１１は、そのような判断結果に基づいて、「心療内科の山田先生が、一度、検診に来たら、と言っているよ。」と発話する。ユーザは、その発話に対して「そうだね。」と応答する。

掃除ロボット２１１が、その応答を認識すると、当該主治医の診察の曜日として予め保持しているデータを参照して、「来週の水曜６時に予約する？」と発話する。ユーザは、その発話に応答して、「お願い。」と回答する。掃除ロボット２１１は、その回答に応答して、医療機関サーバ２３０と通信を行ない、当該主治医による診療として、来週の水曜日（例えば２月１２日）の午後６時の予約を申請する。当該予約が医療機関サーバ２３０によって受け付けられると、掃除ロボット２１１は、ユーザに対して、「２月１２日水曜日、午後６時に予約したよ。」と発話する。ユーザは、その発話を認識すると、「有り難う。」と回答する。

このように、一実施例において、掃除ロボット２１１は、ユーザの必要に応じて、ユーザに代わって、医療機関との予約も手配する。ユーザは、上記のような対話によって気持ちがリラックスすることに加えて、掃除ロボット２１１がユーザのために診察を予約してくれたことに対して謝意を感じ得る。なお、別の局面において、掃除ロボット２１１が提案した日時で予約を得られない場合もあり得る。この場合、掃除ロボット２１１は、医療機関サーバ２３０に対して予約可能な日時の候補を問い合わせて、問い合わせの結果を代替案としてユーザに通知してもよい。

（シナリオ４） ＜第４の実施の形態＞
第４の実施の形態として、家電機器に代えて、対話機能を有する自動車２８０が、ユーザであるドライバと対話してもよい。一つの局面として、エアコンの制御装置が対話機能と診断機能とを備える場合について説明する。

当該制御装置は、エアコンのスイッチが入れられたことを検知すると、自動車２８０に内蔵されたマイク（図示しない）を用いて、「今日は花粉が多いから空気清浄機も一緒に動かすね。」と発話する。花粉が多いことは、例えば、自動車２８０の制御装置が、インターネット３０を経由して受信する天気情報から取得され得る。ドライバが、その発話に応答して、「有り難う。」と回答する。エアコンは、その回答を認識すると、制御装置の内蔵メモリに保持されているドライバの属性を参照して、「今日は花粉症大丈夫でしたか？」と発話する。ドライバは、その発話に応答して、「今日はひどかったよ。」と回答する。エアコンは、その回答の意味内容を認識すると、「お大事にしてくださいね。」と発話する。ドライバは、その発話を認識すると、「有り難う。」と回答する。

このようにして、エアコンからドライバに対する話しかけにより、ドライバのストレスや疲労は緩和され得る。また、会話の内容に応じて、空気清浄機が作動することも、ストレスや疲労の緩和に貢献し得る。なお、ドライバの回答の認識は、エアコンが認識する態様に限られない。例えば、自動車２８０がインターネット３０に接続して、事業者サーバ２５０その他の外部の情報処理装置が回答を認識する態様であってもよい。自動車２８０と、ドライバが所有するスマートフォン２６０とが、ＷｉＦｉ（Wireless Fidelity）、Bluetooth（登録商標）その他の通信手段によって通信セッションを構成して、スマートフォン２６０がドライバの会話を認識してもよい。

なお、他の態様として、自動車２８０に搭載されるセンサの出力が用いられてもよい。たとえば、車速センサによって得られる車速から、ユーザの精神状態が高揚していると推定され得る。あるいは、アクセルの踏みこみ速度が通常の速度を上回る場合、あるいは、急ブレーキや急ハンドルの操作が行なわれた場合に、ユーザの精神状態が通常ではないと推定され得る。このような場合、自動車２８０は、ユーザの精神を落ち着かせるような発話を行なってもよい。あるいは、別の局面において、自動車２８０は、そのための音楽の再生や芳香剤の送出を行ない得る。

（シナリオ５） ＜第５の実施の形態＞
第５の実施の形態として、自動車２８０は、ユーザとの会話に基づいて、ユーザに動作を促すように作動してもよい。

一実施例として、自動車２８０のコントローラは、運転席のシートベルトが装着されたことを検知すると、「今日は花粉症がひどかったみたいですね。」と発話する。ドライバは、その発話を認識すると、「そうだね。」と回答する。コントローラは、内部の音声認識及び解析処理により、あるいは、インターネット３０に接続されている外部の情報処理装置による認識処理から、その回答の意味内容を取得すると、スピーカ（図示しない）を介して、「窓を閉めておいて下さいね。空気清浄機を作動させます。」と発話する。ドライバは、その発話を認識すると、「有り難う。」と回答する。もしくは、スピーカは、「窓を閉めて、空気清浄機を作動させます。」と発話し、コントローラが窓を自動で閉め、空気清浄機を作動させてもよい。

このようにして自動車２８０はドライバに発話を開始することにより、ドライバは、自動車２８０の心遣いを感じ得るので、ドライバの疲労やストレスが軽減され得る。

（シナリオ６） ＜第６の実施の形態＞
第６の実施の形態として、家２１０に設けられている各家電機器は、インターネット３０を介して、別の家２２０の家電機器あるいは他のスマートフォン２７０と通信してもよい。以下、家２１０の住人（お婆ちゃん）と家２２０の住人（お母さん）とが家族である場合について説明する。

ある局面において、家２１０に住むお婆ちゃんが、掃除ロボット２１１に対して、スイッチ操作あるいは発話を行なう。掃除ロボット２１１は、お婆ちゃんのそのような動作に応答して、自走しながら掃除を始める。

掃除ロボット２１１は、動作音を小さくするために、掃除の最中に一時停止し、「いつも使ってくれて有り難う。」と発話する。お婆ちゃんは、その発話に応答して、「こちらこそ有り難う。」と回答する。掃除ロボット２１１は、発話者がお婆ちゃんであることを同定し、その回答の意味内容の認識結果に応答してお婆ちゃんとの対話の履歴を参照する。掃除ロボット２１１は、その履歴から、お婆ちゃんのこれまでの発話において「疲れ」という言葉が頻繁に使用されていることを検知する。そこで、掃除ロボット２１１は、「お婆ちゃん。この頃、疲れたってよく言ってるね。」と発話する。お婆ちゃんは、その発話を認識すると、「そうだね。何もないのに疲れちゃうんだよ。」と回答する。掃除ロボット２１１は、その回答の意味内容の認識結果を取得し、回答から「疲れ」というキーワードを抽出する。ある局面において、そのようなキーワードは、掃除ロボット２１１その他の家電システム自身が記憶し得る。別の局面において、キーワードは、所謂「見守りサービス」を提供する事業者や自治体に登録され得る。

掃除ロボット２１１は、キーワード「疲れ」の検知に応答して、内蔵メモリに保持されているデータベースを参照して、キーワード「疲れ」が使用された頻度を計算する。掃除ロボット２１１は、「疲れ」という言葉の使用回数が予め規定された期間（例えば、二週間）内に一定数（例えば、３０回）を超えたことを検知する。掃除ロボット２１１は、そのような検知結果に応答して、家２２０の対話型家電システムの中央制御部と通信する。ある局面において、中央制御部は、家２２０に設けられるホームサーバ装置において、あるいは、掃除ロボット２２１その他の家電機器の制御装置によって実現され得る。別の局面において、中央制御部は、自治体サーバ２４０に設けられてもよい。

例えば、掃除ロボット２２１が、中央制御部として、その検知結果を受け取ると、家２２０の住人の一人である「お母さん」のスマートフォン２６０と通信を開始する。掃除ロボット２２１は、メッセージをスマートフォン２６０に送信する。スマートフォン２６０は、インターネット３０を介してそのメッセージを受信すると、掃除ロボット２１１の代わりに、「お婆ちゃんちの掃除機ですが、お婆ちゃんがこの二週間の間に、３０回も『疲れた』って言っていますよ。」、および、「お婆ちゃん、今、家にいるみたいだから、お婆ちゃんと話をしてみる？」と発話する。お母さんが、その発話を認識して「お願い。」と回答すると、スマートフォン２６０は、インターネット電話が可能に構成されている掃除ロボット２１１に、例えば、ＶｏＩＰ（Voice over Internet Protocol）を用いて電話をかける。お婆ちゃんが、その電話に応答すると、お母さんは、お婆ちゃんと対話できる。

このようにして、掃除ロボット２１１の動作をトリガとして、掃除ロボット２１１のユーザ（お婆ちゃん）と、遠隔地に住む家族（お母さん）との対話が行なわれるので、お婆ちゃんの寂しさや疲労等が緩和され得る。

＜第７の実施の形態＞
なお、別の局面において、第７の実施の形態として、所謂見守りサービスを提供する自治体によって使用される自治体サーバ２４０が中央制御部として機能してもよい。この場合、掃除ロボット２１１は、キーワード「疲れ」と発話者（家２１０に住むお婆ちゃん）の識別子とを含むメッセージを自治体サーバ２４０に送信する。

自治体サーバ２４０のプロセッサは、そのメッセージを受信すると、住人のデータベースにアクセスして、家２１０に住むお婆ちゃんの記録に、メッセージの内容を追加する。プロセッサは、「疲れ」その他のキーワードの受信回数をカウントし、「疲れ」という言葉の使用回数が予め規定された期間（例えば、二週間）内に一定数（例えば、３０回）を超えたことを検知する。プロセッサは、そのような検知結果に応答して、見守りサービスの申込者として自治体サーバ２４０に登録されているお母さんのスマートフォン２６０に、発話用のメッセージを送信する。スマートフォン２６０は、そのメッセージを受信すると、上記のように、「お婆ちゃんちの掃除機ですが、お婆ちゃんがこの二週間の間に、３０回も『疲れた』って言っていますよ。」、および、「お婆ちゃん、今、家にいるみたいだから、お婆ちゃんと話をしてみる？」と発話する。このようにしても、お婆ちゃんの寂しさ、疲労感等は緩和され得る。

なお、上述の通り、ユーザが発した音声の認識および意味内容の抽出その他の情報処理は、掃除ロボット２１１のような個別の家電機器の内部において行なわれ得る。あるいは、別の局面において、当該情報処理は、医療機関サーバ２３０、自治体サーバ２４０、事業者サーバ２５０その他の外部のサーバ装置において行なわれてもよい。

［家電システムの構成］
図３を参照して、本実施の形態に係る対話型の家電システム２０の構成について説明する。図３は、家電システム２０を構成するサーバと家電機器との詳細な構成を表わすブロック図である。ある局面において、家電システム２０は、サーバ３１０と、家電機器３５０とを備える。

一実施の形態において、サーバ３１０は、通信部３１１と、機器制御信号送信部３１２と、機器制御部３１３と、機器状態・制御指示受信部３１４と、全体制御部３１５と、音声認識部３１６と、対話制御部３１７と、音声合成部３１８と、個人同定部３１９と、機器状態発話生成部３２０と、情報発話生成部３２１と、疲労判定発話生成部３２２と、疲労判定部３２３と、判定通知部３２４と、個人情報記憶部３２５とを備える。

ある局面において、サーバ３１０は、例えば周知の構成を有するコンピュータによって実現される。サーバ３１０において、通信部３１１は、例えば家電機器３５０と通信するためのインターフェイスを含む。機器制御信号送信部３１２は、家電機器３５０を制御するための信号を生成し、その信号を通信部３１１を介して家電機器３５０に送信する。

機器制御部３１３は、予め設定された条件が成立した場合に、あるいは、命令を受信した場合に、家電機器３５０を制御するように構成されている。当該条件は、例えば、ユーザの発話内容の中に予め登録されたキーワード（例えば、「疲れ」）が一定期間内に一定回数使われたこと等である。当該命令は、サーバ３１０と通信可能な他の情報通信端末（例えば、掃除ロボット２１１，２２１、スマートフォン２６０等）によって送信され得る。

機器状態・制御指示受信部３１４は、外部サービスから家電機器３５０を制御するための指示を受信する。例えば、機器状態・制御指示受信部３１４は、掃除ロボット２１１に発話させるための音声信号を受信する。他の局面において、機器状態・制御指示受信部３１４は、家電機器３５０によって送信された機器の状態を示す信号を受信する。

全体制御部３１５は、サーバ３１０の動作を制御する。別の局面において、全体制御部３１５は、サーバ３１０に与えられる信号に基づいて、家電機器３５０その他サーバと通信可能な家電機器の動作を制御する。

音声認識部３１６は、家電機器３５０から受信した音声信号を解析し、解析結果に基づいて、意味内容を認識する。当該音声信号は、例えば、掃除ロボット２１１や自動車２８０に対するユーザやドライバの会話を示す信号を含む。

対話制御部３１７は、家電機器３５０に対して行なわれる発話と発話者との対話を制御する。より具体的には、対話制御部３１７は、音声認識部３１６による認識の結果に基づいて、次に家電機器３５０が出力するべき発話の内容を、予め準備されたデータベースから選択し、選択した発話を実現するためのデータ（音声信号、発話の識別番号等）を家電機器３５０に送信する。

音声合成部３１８は、家電機器３５０に発話させるための音声を対話制御部３１７から送られる信号に基づいて生成する。生成された信号は、通信部３１１を介して家電機器３５０に送られる。

個人同定部３１９は、家電機器３５０から受信した信号に基づいて、あるいは外部サービスから与えられるデータに基づいて、家電機器３５０のユーザがサーバ３１０において予め登録されたユーザであるか否かを判断する。判断の結果は、対話制御部３１７に送られる。対話制御部３１７は、その判断の結果に基づいて、家電機器３５０を介したユーザとの対話を制御する。

機器状態発話生成部３２０は、家電機器３５０の状態に応じて家電機器３５０に発話させるための内容を生成する。当該状態は、家電機器３５０に与えられる命令に基づいて特定される。

情報発話生成部３２１は、外部サービスから送られるデータに基づいて家電機器３５０に発話させるための内容を生成する。例えば、情報発話生成部３２１は、家電機器３５０の体調を問う発話、体調に関連する情報（例えば、花粉症の症状）を得るための発話等を含む。

疲労判定発話生成部３２２は、サーバ３１０に予め保持されているデータに基づいて、家電機器３５０のユーザが疲労しているか否かを判定するための発話（例えば、「最近疲れるんじゃない？」等）を生成する。

疲労判定部３２３は、疲労判定発話生成部３２２によって発話された内容に対する回答（例えば、「そうだね。仕事が忙しいからね。」）と、サーバ３１０に保持されている対話履歴データとに基づいて、当該回答の発話者が疲労しているか否かを判定する。疲労判定部３２３は、判定の結果と当該ユーザとを関連付けて、個人情報記憶部３２５に格納する。

個人情報記憶部３２５は、家電機器３５０その他のユーザの情報を格納する。当該情報は、例えば、疲労判定部３２３による判定の結果と、各ユーザの声紋、指紋、画像情報その他のデータと、ユーザ毎の対話履歴とを含む。対話履歴は、家電機器３５０が発話した内容の識別情報と、当該発話に対するユーザの回答と、当該対話が行なわれた日時データとを含む。

判定通知部３２４は、個人情報記憶部３２５に保持されている判定結果を外部サービスに送信する。

サーバ３１０を実現する各構成は、一つ以上のプロセッサと、各構成を実現するための命令と、通信インターフェイスとによって実現される。別の局面において、サーバ３１０は、各構成を実現するための回路素子によって実現されてもよい。

［家電機器の構成］
図３を再び参照して、家電機器３５０は、通信部３５１と、全体制御部３５２と、制御指示受信部３５３と、状態取得部３５４と、個人情報取得部３５５と、機器制御部３５６と、音声取得制御部３５７と、発話制御部３５８と、状態表示部３５９とを備える。

通信部３５１は、サーバ３１０の通信部３１１と通信可能に構成されている。全体制御部３５２は、家電機器３５０の動作を制御する。制御指示受信部３５３は、家電機器３５０のユーザによる操作の入力を受け付ける。別の局面において、制御指示受信部３５３は、サーバ３１０から送られた制御信号を受信する。

状態取得部３５４は、家電機器３５０の動作の状態を取得する。取得された情報は、全体制御部３５２によって通信部３５１からサーバ３１０に送信され得る。

個人情報取得部３５５は、家電機器３５０に対する操作あるいは入力に基づいて、家電機器３５０のユーザの個人情報を取得する。個人情報は、ユーザの声紋、顔画像、指紋その他の当該ユーザに固有の生体情報と、ユーザの名前その他の文字情報とを含み得る。ある局面において、個人情報取得部３５５は、ユーザの声紋を取得するために、マイクと音声認識処理プログラムとによって実現され得る。別の局面において、個人情報取得部３５５は、カメラと顔認識プログラムとによって実現され得る。さらに別の局面において、個人情報取得部３５５は、指紋センサによって実現され得る。

機器制御部３５６は、サーバ３１０から送られる信号に基づいて作動する全体制御部３５２の制御に従って、家電機器３５０の動作を制御する。他の局面において、機器制御部３５６は、家電機器３５０のユーザによる操作あるいは発話の内容に応答して、当該操作あるいは内容ごとに予め規定された動作を実行する。

音声取得制御部３５７は、家電機器３５０に対するユーザの発話を取得し、その発話を音声処理して音声信号を取得する。音声取得制御部３５７は、取得した信号を全体制御部３５２に送信する。全体制御部３５２は、通信部３５１を介して、家電機器３５０に対して行なわれた発話の内容をサーバ３１０に送信し得る。

発話制御部３５８は、通信部３５１によって受信された信号に基づいて、サーバ３１０の命令に応答して発話を実行する。他の局面において、発話制御部３５８は、上述のシナリオ１〜シナリオ６に示されるように、掃除ロボット２１１その他の家電機器３５０による最初の問いかけを実現する。

状態表示部３５９は、全体制御部３５２の命令に基づいて家電機器３５０の動作を示す表示を実行する。当該表示は、例えばＬＥＤ（Light Emitting Diode）による表示、あるいは液晶モニタにおける表示などを含み得る。表示の内容は、家電機器３５０が通常の家電機能を実現していることを示す表示、ユーザと対話していることを示す表示、家電機器３５０がユーザへの対話を開始して、動作モードがストレスや疲労の状態を診断するモードであることを示す表示等を含み得る。

［家電システムの制御構造］
図４を参照して、本実施の形態に係る家電システム２０の制御構造について説明する。図４は、家電システム２０における処理の一部を表わすフローチャートである。

ステップＳ４１０にて、家電システム２０は、クラウド側において、例えば、サーバ３１０において、機器（例えば掃除ロボット２１１、冷蔵庫２１３その他の家電機器３５０）の登録を受け付ける。

ステップＳ４２０にて、家電システム２０は、クラウド側（サーバ３１０）において、あるいは、家電機器３５０において、外部機器の登録を受け付ける。外部機器は、例えば、スマートフォン２６０，２７０、自動車２８０その他の家電機器や、医療機関サーバ２３０、自治体サーバ２４０、事業者サーバ２５０その他の情報処理通信装置等を含み得る。

ステップＳ４３０にて、家電システム２０は、イベントの発生を待機する。ある実施例において、当該イベントは、家電システム２０の内部で生じるイベントと、家電機器３５０を制御するためのイベントと、家電システム２０において入力される音声入力との少なくともいずれかを含み得る。家電システム２０の内部で生じるイベントは、家電機器３５０で生じるイベント（例えば、対話履歴の参照結果として掃除ロボット２１１がユーザに話しかけないといけないという条件が成立したこと等）を含み得る。家電機器３５０を制御するためのイベントは、医療機関サーバ２３０、自治体サーバ２４０、事業者サーバ２５０等から送られた制御信号を検出したこと、自動車２８０のドライバが運転を開始したこと等を含み得る。音声入力は、例えば、ユーザが掃除ロボット２１１に話しかけたこと等を含み得る。

（内部イベントの発生）
ステップＳ４４０にて、家電システム２０は、内部イベントの発生に応答して、対応処理を判断する。例えば、家電機器３５０としての掃除ロボット２１１が、ユーザに話しかけてから一定日数が経過したことを検知すると、掃除ロボット２１１は、ユーザの状態を確認するための発話を行なう。例えば、掃除ロボット２１１は、ユーザに対して、「最近疲れるんじゃない？」等の問いかけを行なう（シナリオ３参照）。家電システム２０は、その問いかけに対するユーザの回答に基づいて、過去の対話履歴を参照し、次の対応を決定する。

ステップＳ４４２にて、家電システム２０は、対応発話を選択する。この選択は、例えば予め準備された対話発話の中から選択することにより行なわれる。例えば、シナリオ２に示されるように、家電システム２０は、「心療内科の山田先生が、一度、検診に来たら、と言っているよ。」というメッセージを選択する。

ステップＳ４４４にて、家電システム２０は、発話を実行する。例えば、掃除ロボット２１１は、上記メッセージの内容を音声で出力する。

ステップＳ４４６にて、家電システム２０は、当該発話に応答して規定された処理を実行する。例えば、家電システム２０は、医療機関サーバ２３０と通信して、ユーザのための診察の予約を取得する。

（機器制御）
ステップＳ４５０にて、家電システム２０は、機器制御の信号に応答して、対応処理を判断する。例えば、シナリオ４に示されるように、家電システム２０は、ユーザが自動車２８０のエアコンスイッチをオンにしたことを検出する。家電システム２０は、その信号に応答して、エアコンの動作を開始する。

ステップＳ４５２にて、家電システム２０は、予め規定された対応発話の中から機器制御に応じた対応発話を選択する。例えば、シナリオ４の場合、エアコンの動作中に行なわれ得る発話として、「今日は花粉多いから空気清浄機も一緒に動かすね。」と発話することを選択する。

ステップＳ４５４にて、家電システム２０は、選択された発話に基づいて発話を実行する。さらに、家電システム２０は、その発話に対して返信されたユーザの回答（「有り難う」）を検出する。

ステップＳ４５６にて、家電システム２０は、当該発話に応じて規定された処理（例えば、空気清浄機のスイッチを入れること）を実行する。さらに、家電システム２０は、次の発話として、「今日は花粉症大丈夫でした？」と発話する。

（音声入力）
ステップＳ４６０にて、家電システム２０は、家電機器３５０に対して入力された音声（シナリオ１の場合「ただいま」）を認識する。

ステップＳ４６２にて、家電システム２０は、発話の内容意味を理解する。家電システム２０は、発話内容がデータベースに予め登録されている発話であるか否かを判断する。

ステップＳ４６４にて、家電システム２０は、判断の結果に基づいて、対応処理を判断する。例えば、データベースに登録されている発話が行なわれた場合、当該ユーザとの対話履歴に基づいて、診断を行なうか否かをさらに判断する。

ステップＳ４６６にて、家電システム２０は、対応発話を選択する。例えば、家電システム２０は、「最近疲れるんじゃない？」との発話を選択する。

ステップＳ４６８にて、家電システム２０は、選択された発話に基づいて発話を実行する。例えば、掃除ロボット２１１が「最近疲れるんじゃない？」と発話する。

ステップＳ４７０にて、家電システム２０は、当該発話に応じて規定された処理を実行する。例えば、ユーザが「そうだね。仕事で忙しいからね。」と回答すると、家電システム２０は、音声認識処理と意味内容の解析処理とを実行して、「忙しい」というキーワードを抽出したことを検知する。当該キーワードの予め定められた一定期間内における使用回数が、予め定められた階数を上回る場合、家電システム２０は、「無理したらダメだよ。」と発話する。

図５を参照して、家電システム２０の制御構造についてさらに説明する。図５は、家電システム２０を構成する家電機器３５０とサーバ３１０とが実行する処理の一部を表わすフローチャートである。

（機器側）
ステップＳ５１０にて、家電機器３５０の全体制御部３５２は、機器の登録を受け付ける。登録の対象となる機器は、家電機器３５０自身も含む。より具体的には、一実施例において、全体制御部３５２は、例えば、家２１０に設置される冷蔵庫２１３、照明２１４、テレビ２１５、エアコン２１６その他の家電機器と、家２１０の住人によって使用され得る自動車２８０との登録を受け付ける。全体制御部３５２は、各家電機器の識別番号を家電機器３５０の内蔵メモリに保存する。

ステップＳ５１２にて、全体制御部３５２は、外部機器の登録を受け付ける。外部機器は、例えば、医療機関サーバ２３０、自治体サーバ２４０、事業者サーバ２５０、サーバ３１０のように、家電機器３５０と通信可能な機器を含む。

ステップＳ５１４にて、全体制御部３５２は、家電機器３５０におけるイベントの発生を待機する。当該イベントの発生は、内部イベント、機器制御、音声入力のいずれかを含み得る。

ステップＳ５１６にて、全体制御部３５２は、内部イベントの発生を検知する。家電機器３５０は、内部イベントが発生したことを通知する信号をサーバ３１０に送信する。サーバ３１０は、そのような信号を受信すると、家電機器３５０で内部イベントが発生したことを検知する。その後、家電機器３５０は、サーバ３１０から、当該内部イベントに応じた発話情報を受信する。

ステップＳ５１８にて、全体制御部３５２は、機器制御に基づいてイベントの発生を検知する。家電機器３５０は、当該機器の制御に基づくイベントが発生したことを通知する信号をサーバ３１０に送信する。サーバ３１０は、そのような信号を受信すると、家電機器３５０で家電機器３５０の制御に基づくイベントが発生したことを検知する。その後、家電機器３５０は、サーバ３１０から家電機器３５０の制御に基づくイベントに応じた発話情報を受信する。

ステップＳ５２０にて、全体制御部３５２は、音声入力に基づいてイベントの発生を検知する。家電機器３５０は、音声入力に基づくイベントが発生したことを通知する信号をサーバ３１０に送信する。サーバ３１０は、そのような信号を受信すると、家電機器３５０に対する音声入力に基づくイベントが発生したことを検知する。その後、家電機器３５０は、サーバ３１０から当該音声入力に基づくイベントに応じた発話情報を受信する。

ステップＳ５２２にて、家電機器３５０は、サーバ３１０から受信した発話情報に基づいて、発話制御部３５８を介して発話する。例えば、発話の内容は、前述のシナリオに示されるように、例えば、「最近疲れるんじゃない？」、「今日は花粉が多いから、空気清浄機も一緒に動かすね。」等である。

ステップＳ５２４にて、家電機器３５０は、サーバ３１０から受信する処理情報の内容に基づいて、機器制御部３５６を介して、処理情報に応じて家電機器３５０の動作を実行する。

（クラウド側）
ステップＳ５４０にて、サーバ３１０の全体制御部３１５は、家電機器３５０の登録を受け付ける。サーバ３１０は、家電機器３５０の識別情報、名称等の入力を受けて、内蔵メモリに格納する。

ステップＳ５４２にて、全体制御部３１５は、外部機器の登録を受け付ける。外部機器は、医療機関サーバ２３０や自治体サーバ２４０その他の情報処理通信装置であって、サーバ３１０と通信可能な装置である。

ステップＳ５４４にて、全体制御部３１５は、通信部３１１を介して、家電機器３５０によって送られたイベントの発生を通知する信号（ステップＳ５１６，Ｓ５１８，Ｓ５２０）を受信する。

ステップＳ５４６にて、全体制御部３１５は、家電機器３５０において発生したイベントを示す信号に応じた対応を実行する。

（内部イベントまたは機器制御）
例えば、ステップＳ５５０にて、全体制御部３１５は、家電機器３５０における内部イベントまたは機器制御の信号を受信したことを検知する。その後、制御はステップＳ５７０に移される。

（家電機器３５０への音声入力）
一方、ステップＳ５６０にて、全体制御部３１５は、通信部３１１と音声認識部３１６とを介して、家電機器３５０に対して行なわれた発話に対応する音声を受信する。

ステップＳ５６２にて、全体制御部３１５は、音声認識部３１６を介して、受信された音声を認識する。

ステップＳ５６４にて、全体制御部３１５は、当該音声の意味内容の解析結果に基づいて、発話の意味を理解する。制御はステップＳ５７０に移される。

ステップＳ５７０にて、全体制御部３１５は、家電機器３５０から受信した信号の解析結果に基づいて、対応処理を判断する。例えば、全体制御部３１５は、家電機器３５０に実行させる発話の種類を決定する。発話の種類は、ユーザの体調などを問う発話、気候を問う発話、旅行を促す発話等を含み得る。

ステップＳ５７２にて、全体制御部３１５は、対話制御部３１７を介して、当該イベントに対応する発話を選択する。

ステップＳ５７４にて、全体制御部３１５は、通信部３１１を介して、選択された発話に応じた発話情報を家電機器３５０に送信する。家電機器３５０の通信部３５１は、当該発話情報を受信する（ステップＳ５２２）。

ステップＳ５７６にて、全体制御部３１５は、通信部３１１を介して、家電機器３５０に動作を実行させるための処理情報を家電機器３５０に送信する。家電機器３５０の通信部３５１は、その処理情報を受信する（ステップＳ５２４）。

［制御構造］
図６を参照して、家電システム２０の制御構造についてさらに説明する。図６は、家電システム２０において家電機器３５０に対する発話の意味を理解するためにサーバ３１０が実行する処理の一部を表わすフローチャートである。ある局面において、家電機器３５０とサーバ３１０とは、インターネット３０を介して常時接続されている。

ステップＳ６１０にて、全体制御部３１５は、サーバ３１０の動作モードを選択する。動作モードは、一般発話のモードと、疲労ストレスを診断するための発話モードとを含み得る。

ステップＳ６２０にて、全体制御部３１５は、疲労ストレス診断発話モードを選択する。例えば、全体制御部３１５は、一般発話のモードが予め規定された一定時間継続してたことを検知すると、疲労ストレス診断発話モードを選択する。

ステップＳ６２２にて、全体制御部３１５は、通信部３１１を介して、疲労ストレス診断発話を家電機器３５０に送信する（例えば、シナリオ３参照）。疲労判定発話生成部３２２は、疲労ストレスを診断するための発話を生成する。この生成は、例えば個人情報記憶部３２５に保持されている対話履歴等を参照して行なわれる。

ステップＳ６２４にて、全体制御部３１５は、対話処理を選択する。例えば、全体制御部３１５は、家電機器３５０のユーザのワークライフから医師の診断を受けることを促すための対話を選択し得る（シナリオ３参照）。

ステップＳ６２６にて、全体制御部３１５は、選択された処理に対応する情報を家電機器３５０に送信する。

ステップＳ６２８にて、全体制御部３１５は、通信部３１１を介して、家電機器３５０に対するユーザの発話を含む音声信号を、家電機器３５０から受信する。

ステップＳ６３０にて、全体制御部３１５は、音声認識部３１６を介して、家電機器３５０から送られた信号を認識する。

ステップＳ６３２にて、全体制御部３１５は、音声認識部３１６による認識の結果に基づいて意味を理解する。例えば、全体制御部３１５は、ユーザの発話がキーワード「疲れ」を含むことを検知する。

ステップＳ６３４にて、疲労判定部３２３は、疲労ストレス度合を判定する。この判定は、個人情報記憶部３２５に格納されているデータと、全体制御部３１５から送られるデータとに基づいて行なわれる。ある局面において、疲労判定部３２３は、予め規定された一定期間内において最近のユーザの発話から検出されたキーワード「疲れ」が使用された回数が、予め規定された回数を超えたことを検知すると、ユーザのストレス度が医師による診察を必要とする程度であると判断し得る。

ステップＳ６３６にて、疲労判定部３２３は、疲労ストレス対話情報を個人情報記憶部３２５に記憶する。例えば、キーワード「疲れ」の使用が検知された日時情報が個人情報記憶部３２５に保持される。

ステップＳ６３８にて、疲労判定部３２３は、家電機器３５０から送られてきた発話と、個人情報記憶部３２５に格納されているデータとに基づいて、家電機器３５０への発話者の疲労ストレスの度合いを総合的に判断する。例えば、キーワード「疲れ」の使用頻度と、キーワード「疲れ」が検出された間隔が短くなってきた場合、疲労判定部３２３は、疲労ストレスの度合いが高くなってきていると判断する。その間隔が長くなってきている場合、疲労判定部３２３は、疲労ストレスの度合いが低くなってきていると判断する。

ステップＳ６４０にて、全体制御部３１５は、サーバ３１０の動作モードを改めて選択する。例えば、全体制御部３１５は、サーバ３１０の動作モードとして、疲労ストレス診断発話モードを継続して選択し得る。

ステップＳ６４２にて、全体制御部３１５は、家電機器３５０のユーザが行なった回答への対応発話を選択する。

ステップＳ６４４にて、全体制御部３１５は、対応発話の選択結果に応じて、発話情報を通信部３１１を介して家電機器３５０に送信する。

ステップＳ６４６にて、全体制御部３１５は、選択された対応発話に基づいて家電機器３５０を動作させるための処理情報を家電機器３５０に送信する。

他方、ステップＳ６６０にて、全体制御部３１５は、一般発話のモードを選択する。ユーザが家電機器３５０に対して発話すると、家電機器３５０は、その発話を認識し、発話に対応する信号をサーバ３１０に送信する。サーバ３１０は、その発話の意味内容を解析し、解析の結果に応じた信号を家電機器３５０に送信する。家電機器３５０は、その信号を受信すると、その信号に応じた音声を出力する。ユーザが音声を認識することにより、家電機器３５０とユーザとの通常の対話が実現され得る。

［ハードウェア構成］
図７を参照して、本実施の形態に係る情報処理通信装置の構成について説明する。図７は、情報処理通信装置を実現するためのコンピュータ７００のハードウェアを表わすブロック図である。本実施の形態において、情報処理通信装置は、例えば、医療機関サーバ２３０と、自治体サーバ２４０と、事業者サーバ２５０と、サーバ３１０とに相当する。

コンピュータ７００は、主たる構成要素として、プログラムを実行するＣＰＵ（Central Processing Unit）１と、コンピュータ７００のユーザによる指示の入力を受けるマウス２およびキーボード３と、ＣＰＵ１によるプログラムの実行により生成されたデータ、又はマウス２若しくはキーボード３を介して入力されたデータを揮発的に格納するＲＡＭ４と、データを不揮発的に格納するハードディスク５と、光ディスク駆動装置６と、モニタ８と、通信ＩＦ（Interface）７とを備える。各構成要素は、相互にバスによって接続されている。光ディスク駆動装置６には、ＣＤ−ＲＯＭ９その他の光ディスクが装着される。通信インターフェイス７は、ＵＳＢ（Universal Serial Bus）インターフェイス、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、Bluetooth（登録商標）インターフェイス等を含むが、これらに限られない。

コンピュータ７００における処理は、各ハードウェアおよびＣＰＵ１により実行されるソフトウェアによって実現される。このようなソフトウェアは、ハードディスク５に予め格納されている場合がある。また、ソフトウェアは、ＣＤ−ＲＯＭ９その他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置６その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信インターフェイス７を介してダウンロードされた後、ハードディスク５に一旦格納される。そのソフトウェアは、ＣＰＵ１によってハードディスク５から読み出され、ＲＡＭ４に実行可能なプログラムの形式で格納される。ＣＰＵ１は、そのプログラムを実行する。

図７に示されるコンピュータ７００を構成する各構成要素は、一般的なものである。したがって、本実施の形態に係る技術思想を実現する本質的な部分は、コンピュータ７００に格納されたプログラムであるともいえる。コンピュータ７００の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

なお、データ記録媒体としては、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Electronically Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。

ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。

［掃除ロボットの構成］
図８を参照して、本実施の形態に係る掃除ロボット２１１，２２１の構成について説明する。図８は、掃除ロボット２１１，２２１のハードウェア構成を表わすブロック図である。以下、掃除ロボット２１１の構成を説明するが、掃除ロボット２２１の構成も同様である。

掃除ロボット２１１は、通信部８０１と、制御部８０２と、マイク８０３と、スピーカ８０４と、掃除部８０５と、駆動部８０６と、表示部８０８と、記憶部８０９とを備える。制御部８０２は、音声認識部８１１と、応答処理実行部８１２と、動作モード切換部８１３と、音声入力受付部８１４とを含む。記憶部８０９は、発話内容データベース８２０を含む。

制御部８０２は、掃除ロボット２１１の動作を制御する。ある局面において、制御部８０２は、プロセッサその他の演算処理装置によって実現される。

表示部８０８は、掃除ロボット２１１の状態を表示する。表示部８０８は、液晶モニタ、有機ＥＬ（Electro Luminescence）モニタその他の表示装置を含む。

記憶部８０９は、予め規定された動作を掃除ロボット２１１に実行させるためのプログラム、掃除ロボット２１１に対するユーザの発話の履歴等を保持する。ある局面において、記憶部８０９は、フラッシュメモリ、ハードディスクその他の不揮発性のデータ記録媒体によって、あるいは、ＲＡＭその他の揮発性のデータ記録媒体によって実現され得る。

一実施例において、通信部８０１は、無線によりインターネット３０に接続して、ネットワーク家電その他の通信可能な家電機器と通信可能である。マイク８０３は、掃除ロボット２１１に対する発話を受け付ける。スピーカ８０４は、制御部８０２の制御に基づいて音声を出力する。

掃除部８０５は、ブラシ、コンプレッサその他の掃除機能を実現するための機構を含む。駆動部８０６は、掃除ロボット２１１の走行のための車輪その他の機構を含む。

制御部８０２において、音声認識部８１１は、マイク８０３から出力される信号に基づいて、掃除ロボット２１１に対する発話を認識する。応答処理実行部８１２は、音声認識部８１１の結果に基づいて掃除ロボット２１１の動作を決定する。別の局面において、応答処理実行部８１２は、通信部８０１を介して受信された信号に基づいて応答処理を決定し得る。

動作モード切換部８１３は、マイク８０３から出力される信号に基づいて、あるいは通信部８０１を介して受信される信号に基づいて、掃除ロボット２１１，２２１の動作モードを切り換える。一実施例において、動作モードは、例えば、通常の掃除モードと、対話モードとを含み得る。

音声入力受付部８１４は、マイク８０３に対して行なわれた発話音声の入力を受け付ける。他の局面において、音声入力受付部８１４は、通信部８０１を介して受信された音声信号の入力を受け付ける。

記憶部８０９において、発話内容データベース８２０は、掃除ロボット２１１，２２１に発話させるための内容を予め保持している。別の局面において、発話内容データベース８２０は、掃除ロボット２１１，２２１のユーザに応じた固有の発話内容を保持していてもよい。

図８を再び参照して、掃除ロボット２１１は、インターネット３０に接続され得る。インターネット３０には、事業者サーバ２５０が接続されている。したがって、掃除ロボット２１１は、クラウド側にある事業者サーバ２５０と通信可能である。事業者サーバ２５０は、例えば図７に示されるような周知の構成を有するコンピュータによって実現される。事業者サーバ２５０は、通信部２５１と、制御部２５２と、記憶部２５６とを含む。

通信部２５１は、通信インターフェイス７を含む。通信部２５１は、掃除ロボット２１１と通信する。通信の態様やプロトコルは特に限定されない。

制御部２５２は、音声入力受信部２５３と、音声認識部２５４と、応答処理実行指示部２５５とを含む。制御部２５２は、ＣＰＵ１を含む。ＣＰＵ１が命令を実行することにより、ＣＰＵ１は、音声入力受信部２５３として、音声認識部２５４として、あるいは、応答処理実行指示部２５５として機能し得る。他の局面において、音声入力受信部２５３と、音声認識部２５４と、応答処理実行指示部２５５とのいずれかが、専用の処理回路その他の回路として構成されてもよい。

音声入力受信部２５３は、通信部２５１を介して、掃除ロボット２１１において入力が受け付けられた音声信号を受信する。音声認識部２５４は、掃除ロボット２１１から送られた音声信号の内容を認識する。応答処理実行指示部２５５は、掃除ロボット２１１から送られた信号の認識結果に基づいて、掃除ロボット２１１に応答するための処理を生成し、その処理信号を通信部２５１を介して掃除ロボット２１１に送信する。掃除ロボット２１１は、その処理信号を受信すると、当該処理信号に応じた音声を発話する。

記憶部２５６は、例えば、ハードディスク５によって実現される。記憶部２５６は、発話内容データベース２５８と、状態記憶部２５９とを含む。発話内容データベース２５８は、掃除ロボット２１１，２２１のスピーカ８０４を介して発話するための内容を予め保持している。状態記憶部２５９は、掃除ロボット２１１，２２１の状態および掃除ロボット２１１，２２１の各ユーザの各々の状態を保持している。

［サーバの制御構造］
（サーバ側基本フロー）
図９〜図１０を参照して、一局面に従うサーバ３１０の制御構造について説明する。図９は、発話の意味の理解および対話のためのメッセージを選択するためにサーバ３１０が実行する音声認識処理の一例を表わすフローチャートである。サーバ３１０は、例えばコンピュータ７００のような構成を備える。図１０は、サーバ３１０におけるデータベースの構造の一態様を表わす図である。

ステップＳ９１０にて、コンピュータ７００のＣＰＵ１は、通信インターフェイス７を介して、家電機器３５０から送られた音声を受信する。

ステップＳ９２０にて、ＣＰＵ１は、音声認識部３１６として、家電機器３５０から受信した音声を認識して、その認識した内容を示す文字列（「入力フレーズ」ともいう。）を取得する。音声認識の処理の態様は限定されない。さらに、ＣＰＵ１は、サーバ３１０において登録されているユーザ情報に基づいて、家電機器３５０への発話者（ユーザ）を特定する。

ステップＳ９３０にて、ＣＰＵ１は、その文字列（入力フレーズ）を解析し、家電機器３５０のユーザの意図を解釈する。

ステップＳ９４０にて、ＣＰＵ１は、ＲＡＭ４またはハードディスク５から、家電機器３５０のユーザ毎（例えば、サーバ３１０によるサービスの提供を受けるユーザとして登録済みの家２１０の住人全て）の現在の動作モードを取得する。

ステップＳ９５０にて、ＣＰＵ１は、動作モードを選択する。選択の対象となる動作モードは、通常対話モードと診断モードとを含み得る。一局面において、診断モードに移行するための条件が成立しているか否かに基づいて、ＣＰＵ１は、動作モードを選択する。例えば、ステップＳ９２０で特定されたユーザとの対話の履歴を参照して、診断モードへの移行が必要か否かを判断する。例えば、ＣＰＵ１は、診断モードへの移行の必要性を決定するために、前回の診断モードが実行された時期から経過した時間、これまでの対話において検出されたキーワードであって診断に関係し得るキーワードが今回の発話において検出されたか否か等を判断する。ＣＰＵ１は、通常対話モードを選択すると、制御をステップＳ９６０に切り替え、診断モードを選択すると、制御をステップＳ１１００に切り替える。

ステップＳ９６０にて、ＣＰＵ１は、応答内容を決定する。通常対話モードでは、サーバ３１０は、入力フレーズを基に応答を生成し、音声発話を行う。まず、ＣＰＵ１は、応答の内容を決定する。応答は、音声に限られず、別の局面においては、家電機器３５０の動きや家電機器３５０のライト（図示しない）の点滅等も含まれ得る。

より詳細には、図１０を参照して、ＣＰＵ１は、ハードディスク５に保存されている応答内容テーブル１０００および入力フレーズテーブル１０１０を参照する。応答内容テーブル１０００は、入力フレーズを特定するための入力フレーズＩＤと、具体的な入力フレーズ１００２とを含む。入力フレーズテーブル１０１０は、家電機器３５０による応答を識別する応答ＩＤ１０１１と、当該応答に関係する入力フレーズを示す入力フレーズＩＤ１０１２と、家電機器３５０による具体的な発話の内容を示す発話メッセージ１０１３と、家電機器３５０の動作を識別する動作パターン１０１４とを含む。動作パターンＡ〜Ｃは、例えば、通常の動作、回転動作その他の動作を含み得る。

ＣＰＵ１は、入力フレーズに対応する発話メッセージ１０１３を選択する。例えば、同一の入力フレーズに対して複数の発話メッセージが選択候補として存在している場合には、ＣＰＵ１は、その複数の発話メッセージの中から、例えば、ランダムに一つの発話メッセージを選択する。例えば、ユーザが家電機器３５０に対して「おはよう」という挨拶を行なった場合、ＣＰＵ１は、その挨拶に対する応答として、応答ＩＤ＝１〜３の３通りの中から一つの発話メッセージをランダムに選択する。

図９を再び参照して、ステップＳ９６２にて、ＣＰＵ１は、診断モードを開始するか否かを判定する。診断モードを開始する条件として、例えば、以下のような場合が考えられる。
・当該ユーザと家電機器３５０との間の当日の最初の会話の内容
・入力フレーズの評価（図１２参照）がネガティブである場合
これにより、ユーザが家電機器３５０と毎日普通に会話している中で、サーバ３１０は、自然に当該ユーザのストレスまたは疲労の状態の診断を開始することが可能になる。なお、ＣＰＵ１は、診断モードを開始すると判定すると、後述の診断モード処理（ステップＳ１１００）を開始し得る。

ステップＳ９８０にて、ＣＰＵ１は、決定した発話メッセージの文字列を用いて音声を合成し、家電機器３５０に発話させるための音声データを生成する。

ステップＳ９９０にて、ＣＰＵ１は、音声データと選択された発話メッセージに対応する動作パターン１０１４を含む応答情報を家電機器３５０に送信する。家電機器３５０は、当該応答情報を受信すると、当該音声データに基づいて発話し、動作パターン１０１４に従った動作を行なう。これにより、ユーザと家電機器３５０との対話が実現されると共に、家電機器３５０の発話内容に応じて、ユーザのストレスや疲労は軽減され得る。

ＣＰＵ１が診断モードを選択すると判断した場合、ステップＳ１１００にて、ＣＰＵ１は、後述する診断モードの処理を実行する。

その後、処理は、ステップＳ９１０に戻される。
［サーバの制御構造およびデータ構造］
（診断モード開始処理フロー）
図１１および図１２を参照して、一局面におけるサーバ３１０の制御構造についてさらに説明する。図１１は、サーバ３１０が診断モード時に実行する処理の一例を表わすフローチャートである。一実施の形態として、サーバ３１０が診断モードを開始する際には、通常対話とは異なり、家電機器３５０がユーザに対する問いかけを開始することになるので、本処理は、メイン処理（図９）とは独立して実行される。メイン処理において、ＣＰＵ１が診断モードを開始する、と判定した場合に、メイン処理とは非同期で実行され得る。

図１２は、ハードディスク５における診断のためのデータの格納の一態様を概念的に表わす図である。ハードディスク５は、診断メッセージテーブル１２１０と、診断履歴テーブル１２２０とを格納している。診断メッセージテーブル１２１０は、診断の内容を識別するための診断ＩＤ１２１１と、ユーザへの問いかけを表わす文字列を有する診断メッセージ１２１２と、当該診断メッセージの有効期間１２１３とを含む。例えば、診断ＩＤ＝４の診断メッセージ「食欲はある？」が一度選択されると、７日が経過するまで、当該診断メッセージは選択できなくなる。診断履歴テーブル１２２０は、家電機器３５０のユーザを同定するためのユーザＩＤ１２２１と、当該ユーザからの発話が受信された入力日時１２２２と、使用された診断メッセージを識別する診断ＩＤ１２２３と、当該診断メッセージの内容を示す発話メッセージ１２２４と、ユーザからの発話の文字列を示す入力フレーズ１２２５と、当該発話の評価１２２６とを含む。

図１１を再び参照して、ステップＳ１１１０にて、ＣＰＵ１は、診断モードを開始するとの判定結果（図９におけるステップＳ９５０からステップＳ１１００への流れ）を待機している。

ステップＳ１１２０にて、ＣＰＵ１は、内部クロック（図示しない）からの時刻情報と、入力日時１２２２のデータとを用いて、直前の発話から経過した時間を取得する。

ステップＳ１１３０にて、経過した時間が一定時間（例えば１分）以上である場合、ＣＰＵ１は、家電機器３５０のユーザからの発話がなくなったと判断し（ステップＳ１１３０にてＹＥＳ）、ＣＰＵ当該ユーザに対する問いかけを開始する。

ステップＳ１１３０にて、ＣＰＵ１は、予め規定された一定時間が経過したか否かを判断する。例えば、直前の発話から経過した時間が予め設定された一定時間（例えば１分）以上である場合、ＣＰＵ１は、家電機器３５０のユーザからの発話がなくなったと判断する。ＣＰＵ１は、直前の発話からの時間を取得してから一定時間が経過したと判断すると（ステップＳ１１３０にてＹＥＳ）、制御をステップＳ１１４０に切り換える。そうでない場合には（ステップＳ１１３０にてＮＯ）、ＣＰＵ１は、制御をステップＳ１１２０に戻す。例えば、家電機器３５０とユーザとの通常の対話が続いている場合、当該経過した時間は一定時間内に収まるはずなので、結果として、ＣＰＵ１は、その対話が終了するまで、次の処理を待機することになる。

ステップＳ１１４０にて、ＣＰＵ１は、診断内容を決定する。例えば、ＣＰＵ１は、診断メッセージテーブル１２１０（図１２）から、診断メッセージ１２１２をランダムに選択する。なお、同じ診断メッセージを用いて同じ問いかけを繰り返しても意味がないので、ＣＰＵ１は、診断履歴テーブル１２２０も参照して、直近の問いかけに用いられた診断メッセージ（すなわち、発話メッセージ１２２４）を除いた残りの候補から診断メッセージ１２１２を選択し得る。

ステップＳ１１５０にて、ＣＰＵ１は、メイン処理と同様に、選択した診断メッセージの文字列を用いて音声を合成し、家電機器３５０に発話させるための音声データを生成する。

ステップＳ１１６０にて、ＣＰＵ１は、音声データを含む応答情報を家電機器３５０に送信する。

ステップＳ１１７０にて、ＣＰＵ１は、選択した診断メッセージとユーザＩＤとを含む診断内容を診断履歴テーブル１２２０に記録して、診断履歴テーブル１２２０を更新する。入力フレーズ１２２５および評価１２２６については、ＣＰＵ１は、ユーザからの応答を受信した後にデータを格納するので、この時点ではブランク（ＮＵＬＬ）としておくことが望ましい。

ステップＳ１１８０にて、ＣＰＵ１は、動作モードを更新する。より具体的には、ＣＰＵ１は、当該ユーザについてのサーバ３１０の動作モードを「診断モード」に設定する。したがって、その後、サーバ３１０が家電機器３５０のユーザの音声を受信した場合には、ＣＰＵ１は、診断モードの処理を実行し得る。

その後、制御は、ステップＳ１１１０に戻される。
なお、サーバ３１０は、図１２に示される履歴を用いて、一定期間内の合計、あるいは、特定のユーザについての履歴等を集約する構成を有していてもよい。このような構成により、必要に応じて、サーバ３１０は、家電機器３５０のユーザ、医療機関、自治体等にレポートを送信することができる。

（診断モード処理フロー）
図１３〜図１５を参照して、家電システム２０の制御構造についてさらに説明する。図１３は、ＣＰＵ１が実行する診断モード処理の一例を表わすフローチャートである。診断モードでは、サーバ３１０は、家電機器３５０を介してユーザに対していくつかの問いかけを行ない、問いかけに対するユーザからの応答に基づいて、ユーザのストレスや疲労その他のメンタルな状態を診断する。

図１４および図１５は、それぞれ、ハードディスク５におけるデータの格納の一態様を概念的に表わす図である。一実施例において、図１４に示されるように、ハードディスク５は、回答評価テーブル１４００を保持している。回答評価テーブル１４００は、ユーザからの回答を識別する回答ＩＤ１４０１と、問いかけに用いられた診断メッセージ１２１２を識別する診断ＩＤ１４０２と、回答から得られた文字列を示す入力フレーズ１４０３と、診断の結果を示す評価１４０４とを含む。診断ＩＤ１４０２は、診断ＩＤ１２１１に対応する。

図１５に示されるように、ハードディスク５は、通常メッセージテーブル１５１０と、癒しメッセージテーブル１５２０とを含む。通常メッセージテーブル１５１０は、メッセージＩＤ１５０１とメッセージ１５０２とを含む。癒しメッセージテーブル１５２０は、メッセージＩＤ１５２１と、メッセージ１５２２とを含む。

癒しメッセージテーブル１５２０には、通常メッセージテーブル１５１０に含まれるメッセージ１５０２よりも、癒しを感じさせるメッセージ１５２２が格納され得る。癒しを感じさせるメッセージ１５２２とは、例えば、ユーザを気遣うフレーズ、体調の改善またはストレスを軽減するための行動を促すフレーズ、ユーザに笑いをもたらすフレーズ、ユーザを感動させるフレーズ等である。ユーザを気遣うフレーズは、例えば、「頑張ってるね」、「頑張り過ぎないで」、「心配してるよ」等であるが、その他のフレーズも含み得る。体調の改善またはストレスを軽減するための行動を促すフレーズは、例えば、「たまには早く寝たら」、「明日は休んだら」、「明日は自治会の野球大会あるよ」等であるが、その他のフレーズも含まれ得る。ユーザに笑いをもたらすフレーズは、例えば、「布団がふっとんだ」のような駄洒落、ジョーク等を含み得る。

別の局面において、癒しを感じさせるメッセージに代えて、ストレスを軽減させるための音声コンテンツ１５３０がサーバ３１０に格納されていてもよい。音声コンテンツ１５３０は、例えば、犬、猫、鳥のような動物の声や、詩の朗読、音楽等を出力するためのデータを含み得る。

さらに別の局面において、通常メッセージテーブル１５１０に含まれるメッセージ１５０２に基づいて出力される音声と、癒しメッセージテーブル１５２０に含まれるメッセージ１５２２に基づいて出力される音声との間で、声質を変えることにより、癒し度合いに差がつけられてもよい。声質の変更の一態様は、例えば、通常メッセージは男性の音声で出力し、癒しメッセージは女性の音声で出力する等である。また、通常メッセージと癒しメッセージとがいずれも女性の声で発せられる場合において、各メッセージの声色を変えることで、癒しが一層感じられるようにしてもよい。

別の局面において、出力される音声のピッチ（高低）を変えることにより、癒し度合いに差がつけられてもよい。音声のピッチの変更の一態様として、例えば、癒しとして元気を出して欲しいときに、音声のピッチを標準よりも高くしてもよいし、逆に、癒しとして声に優しさを含ませるために、音声のピッチを標準よりも低くしてもよい。

別の局面において、出力される音声の発話スピードを変えることにより、癒し度合いに差がつけられてもよい。例えば、癒し度合いを増やしたいときは、発話スピードを標準速度より遅くすることで、ユーザに優しさを感じさせるようにしてもよい。逆に、発話スピードを標準より早くすることで、ユーザに励みを感じさせるようにしてもよい。

別の局面において、出力される音声のボリュームを変えることにより、癒し度合いに差がつけられてもよい。例えば、癒し度合いを増やしたいときは、音声を標準より小さくすることで、ユーザに優しさを感じさせるようにしてもよい。逆に、音声を標準より大きくすることで、ユーザに励みを感じさせるようにしてもよい。

別の局面において、出力される音声のイントネーションを変えることにより、癒し度合いに差がつけられてもよい。例えば、癒し度合いを増やしたいときは、「こんにちは」というフレーズにつき、イントネーションを変えることで例えば関西弁のように出力させ、ユーザに親しみやすさや笑いを感じさせるようなフレーズにしてもよい。さらに別の局面において、癒し度合いに差をつけるための上記の各態様は、適宜選択されて組み合わされてもよい。

また、別の実施例において、個々のユーザに応じた癒しメッセージテーブルが構成されてもよい。このような癒しメッセージテーブルは、たとえば、男性ユーザに対して女性の声を出力するためのテーブル、おじいちゃんやおばあちゃんのような老人に対して子供の声を出力するためのテーブル等を含み得る。さらに別の局面において、サーバ３１０が他の情報通信装置から最新情報を入手できるように構成されている場合には、サッカーに興味のあるユーザに対して、サーバ３１０は、昨日のサッカーの試合結果および選手のプレイ情報等を当該他の情報通信装置から入手して、例えば「昨日の○○選手のゴールはすごかったね」と発話するための音声データを合成してもよい。音声合成は周知の技術で実現できるので詳細な説明は繰り返さない。また、家電機器３５０のターゲットとするユーザに応じて癒しメッセージテーブルが構成されてもよい。

図１３を再び参照して、ステップＳ１３１０にて、ＣＰＵ１は、診断履歴テーブル１２２０を参照して、直前に家電機器３５０から発せられた発話の内容（診断ＩＤ１２２３）を取得する。

ステップＳ１３２０にて、ＣＰＵ１は、回答評価テーブル１４００を参照して、当該発話から得られた入力フレーズ１４０３を評価する。一例として、ＣＰＵ１は、直前に家電機器３５０から発話した診断メッセージ１２２４の診断ＩＤ１２２３と一致している診断ＩＤのうち、ユーザからの入力フレーズ１２２５と一致する入力フレーズ１４０３があるかどうかを調べるために、回答評価テーブル１４００を検索する。一致の程度は、例えば、所謂編集距離が用いられる。入力フレーズ１２２５と一致する入力フレーズ１４０３があれば、ＣＰＵ１は、当該入力フレーズ１４０３に関連付けられる評価１４０４の値を入力フレーズ１４０３に対する評価とする。他方、一致する入力フレーズ１４０３がなければ、ＣＰＵ１は、当該回答の評価を「０」とする。

例えば、直前の問いかけ（発話メッセージ１２２４）が「今日の調子はどう？」（診断ＩＤ１２１１の値「１」）であり、その問いかけに対するユーザの応答が「調子いいよ」であった場合、回答ＩＤ１４０１＝１が該当するので、この入力フレーズに対する評価は「＋１」となる。一方、ユーザの回答が「うん」という肯定の回答であっても、問いかけした内容によって評価は変わり得る（例えば、回答ＩＤ１４０１＝７、１１の場合を参照）。そのため、ユーザの回答「うん」が家電機器３５０の問いかけ「昨晩は良く眠れた？」（診断ＩＤ１２１１＝２に対応する診断メッセージ１２１２）に対する回答（回答ＩＤ１４０１＝７）であれば、評価１４０４の値は「＋１」となる。一方、当該回答「うん」が家電機器３５０の問いかけ「最近、眠りが浅い、と感じる？」（診断ＩＤ１２１１＝３に対応する診断メッセージ１２１２）に対する回答（回答ＩＤ＝１１）であれば、評価１４０４の値は「−１」となる。

ステップＳ１３３０にて、ＣＰＵ１は、評価を行なった入力フレーズおよびその評価結果を、入力フレーズ１２２５および評価１２２６として診断履歴テーブル１２２０に記録する。

ステップＳ１３４０にて、ＣＰＵ１は、診断モードを継続するか否かを判断する。この判断は、例えば、サーバ３１０に与えられる信号、家電機器３５０に対する回答の結果などに基づいて行なわれる。一具体例として、ＣＰＵ１は、現在の診断モード中の問いかけ数をカウントし、予め設定された回数の問いかけを行った時点で診断モードを終了する。この回数が多すぎると、問いかけが頻繁に行なわれることになるため、ユーザにも負担となる。そのため、例えば、回数は例えば３回程度が好ましいが、回数は３回に限られず、１回でもよい。ＣＰＵ１は、診断モードを継続すると判断すると（ステップＳ１３４０にてＹＥＳ）、制御をステップＳ１３５０に切り換える。そうでない場合には（ステップＳ１３４０にてＮＯ）、ＣＰＵ１は、制御をステップＳ１３７０に切り換える。

（診断モードを継続する場合）
ステップＳ１３５０にて、ＣＰＵ１は、家電機器３５０がユーザに対して次に問いかけるための診断内容を決定する。

ステップＳ１３６０にて、ＣＰＵ１は、診断内容を診断履歴テーブル１２２０に記録する。

（診断モードを終了する場合）
ステップＳ１３７０にて、ＣＰＵ１は、診断結果に基づいて家電機器３５０のユーザのメンタル状態を評価する。より具体的には、例えば、現在の診断モードにおいて、診断履歴テーブル１２２０に記録されている評価１２２６の値が負の場合、ＣＰＵ１は、当該ユーザのメンタル状態が悪い、すなわち、ユーザは何らかのストレスや疲労を抱えていると判断する。家電機器３５０が複数回の問いかけを行なった場合には、ＣＰＵ１は、各問いかけに対する回答それぞれの評価１２２６の合計値を用いてユーザのメンタル状態を判断する。

ステップＳ１３８０にて、ＣＰＵ１は、評価結果に応じて家電機器３５０による応答内容を決定する。例えば、ＣＰＵ１は、通常メッセージテーブル１５１０および癒しメッセージテーブル１５２０を参照して、応答内容を決定する。ＣＰＵ１は、ユーザのメンタル状態が悪いと判断した場合には、癒しメッセージテーブル１５２０から応答のためのメッセージ１５２２をランダムに選択する。そのようなメッセージ１５２２が家電機器３５０によって発話されると、ユーザのメンタル状態を改善させる効果が期待され得る。一方、ＣＰＵ１は、ユーザのメンタル状態が悪くないと判断した場合には、通常メッセージテーブル１５１０から応答のためのメッセージ１５０２をランダムに選択する。

ステップＳ１３９０にて、ＣＰＵ１は、サーバ３１０の動作モードを診断モードから通常モードに変更する。

（履歴を基にした診断）
なお、ユーザのメンタル状態の診断は、現在の診断モードにおける評価に限られず、例えば、当該ユーザの過去の履歴に基づいて診断を行なってもよく、より効果的な診断を行うことが可能となる。
例えば、以下のような診断方法が考えられる。
・当日の全ての診断結果を用いる診断（１日分の評価値の合計値）
・予め定められた期間内の全ての診断結果を用いる診断（直近３日間の評価値の合計値）・１日ごとに評価値を算出し、評価値が負となる日が予め定められた日数（例えば３日）連続した場合に、ユーザのメンタル状態が悪いと判断するような診断
・１日ごとに評価値を算出すると共に、１週間ごとの評価値の平均値も算出する。直近１週間の評価値が負であり、かつ、直近１週間の評価値とその直前の1週間の評価値との差が予め規定された閾値以上である場合、メンタル状態が悪化傾向にあると判断し、メンタル状態が悪い、と判断する。

なお、上記の説明では、例えば、図１０、図１２、図１５に示されるように、発話のためのデータとして各メッセージに対応する音声データが予めハードディスク５のような記憶装置に格納されている態様が例示されている。しかしながら、音声出力のためのデータの保持の態様は、上記の例に限られない。例えば、文字列と、音声合成のためのデータとが記憶装置に保持されており、発話の内容に対応する文字列を用いて音声合成を行なうことにより、癒しメッセージが音声として発話されてもよい。音声合成の態様は特に限られず、波形接続型音声合成その他の周知の手法が用いられ得る。

癒しのメッセージは、一回の対話で会話が終わるようなものに限られず、会話が続くような発話であってもよい。例えば、家電システム２０は、発話者の回答を認識すると、次の回答を促すような問いかけを含む発話を癒しのメッセージとして発話してもよい。より具体的には、一般に、人の疲れやストレスを軽減するための手段にはいろいろなものがあり、また、軽減される程度も人によって異なる。そこで、家電システム２０は、疲れやストレスの軽減に寄与し得る動作を促すメッセージを、順次発するようにしてもよい。一例として、家電システム２０は、「少し休んだら？」、「それでは、散歩したら？」、「旅行はどう？」、「美味しいケーキを食べるのはどう？」のように、発話者の回答に対して、次の回答を引き出すような発話を順次行ってもよい。

また、上記の例の多くは、癒しのメッセージ１５２２が予めサーバ３１０に準備されている場合が示されていた。別の局面において、メッセージ１５２２は、別の情報通信端末からサーバ３１０または家電機器３５０に登録可能なものであってもよい。たとえば、図２を参照して、家２１０の家人が遠隔地にある家２２０に滞在している時、家２１０の家族は、スマートフォンその他の情報通信端末を介して事業者サーバ２５０その他のサーバ３１０あるいは家２２０に設けられている掃除ロボット２２１その他の機器にメッセージを吹き込むようにしてもよい。家２２０にいる滞在者は、掃除ロボット２２１その他のから、その家族の音声を聞くことにより、疲れやストレスが軽減され得る。

＜第８の実施の形態＞
［映像が用いられる場合］
上記の各実施の形態では、家電機器３５０によるユーザへの問いかけとして音声が用いられる場合が例示された。ユーザに対する問いかけは、音声に限られず、例えば、文字その他の画像あるいは映像であってもよい。

そこで、図１６を参照して、当該技術思想の他の適用例について説明する。図１６は、第８の実施の形態に従う家電機器３５０であるテレビ２１５がユーザと対話する局面を表わす図である。

例えば、ある局面Ａにおいて、テレビ２１５は、電源が入っていないが待機状態である。その後、サーバ３１０が診断モードを開始すると判断した場合、あるいは、予め定められたタイミングが到来した場合、テレビ２１５は、ユーザの状態を問いかけるような画像やメッセージを表示する。さらに、テレビ２１５は、リモコン（図示しない）の操作を促すようなメッセージを表示してもよい。

ユーザがリモコンを操作することによりテレビ２１５の表示に応答すると、その応答結果はサーバ３１０に送信され、ユーザの状態が診断される。サーバ３１０がユーザのメンタル状態が良好でないと判断すると、サーバ３１０は、ユーザの笑いを誘うような映像、画像あるいは文字情報を表示するための命令をテレビ２１５に送信する。テレビ２１５は、その命令の受信に応答して、そのような映像、画像あるいは文字情報を表示する。ユーザは、このような表示を視認すると、思わず笑う場合もあり得るので、ストレスや疲労が軽減され得る。

以上のようにして、本実施の形態に係る技術思想によれば、家電システム２０を構成する家電機器３５０はユーザに音声や映像で問いかけを行ない、その問いかけに対するユーザの回答を取得し、ユーザのメンタル状態を診断する。家電システム２０は、その診断結果に基づく音声や映像をユーザに出力するので、その音声や映像を認識したユーザのストレスや疲労が緩和され得る。

なお、上述の説明からも明らかなように、本実施の形態において、家事（＝日常生活における活動）の定義としては、掃除、洗濯、炊事に留まるわけではない。したがって、本実施の形態における家電機器は、掃除ロボット、洗濯機、炊飯器、エアコン、テレビのような狭義の家庭用電子機械に限られない。家電機器は、たとえば、移動に関して、言語的なコミュニケーションで運転をサポートするナビゲーションシステムを搭載する自動車や、歩行困難者をアシストする電動車いす、力仕事をサポートするパワースーツ等も含み得る。換言すれば、本実施の形態に係る技術思想は、音声、文字、画像その他の言語的なインタフェースによって、日常生活を補助する機能を実行可能な装置であればよい。

＜第９の実施の形態＞
また、上述の例では、疲れまたはストレスの軽減のために、音声や映像が用いられる場合が示されたが、疲れやストレスの軽減は、音声や映像によってのみ軽減されるものではない。例えば、芳香剤の放出（すなわち、匂い）、映像の投影（すなわち、色）、家電機器のダンス（すなわち、動き）等によっても実現され得る。より具体的には、別の局面において、家電機器３５０は、発話に対するユーザの回答を受けて、ユーザがストレスまたは疲労を感じていると判断すると、予め充填されていた芳香剤を放出する。別の局面において、家電機器３５０がプロジェクタ機能を備えている場合もあり得る。この場合、家電機器３５０は、発話に対するユーザの回答を受けて、ユーザがストレスまたは疲労を感じていると判断すると、家電機器３５０は、設置されている部屋の天井に向けて、あるいは、側面に向けて、映像を表示する。当該映像は、たとえば、ヒーリング効果が高いとされる映像、外国の風景の映像等を含み得る。

さらに別の局面において、家電機器３５０としての掃除ロボット２２１は、発話に対するユーザの回答を受けて、ユーザがストレスまたは疲労を感じていると判断すると、歌いながら動いてもよい。音声と動きによって、ユーザのストレスや疲労が軽減され得る。

要約すると、本実施の形態に係る技術思想は、たとえば、以下のような構成によって実現される。

［構成１］
一局面に従う対話型家電システムは、
音声を出力するための音声出力部と、
音声の入力を受け付けるように構成された音声入力部と、
発話者との会話に基づいてストレスまたは疲労を判定するための判定基準を格納するように構成された判定基準記憶部と、
ストレスまたは疲労を軽減する音声を出力するためのデータを格納するように構成された対話データ記憶部と、
上記判定基準と発話者の応答とに基づいて、当該発話者のストレスまたは疲労を判断するように構成された判断部とを備え、
上記音声出力部は、上記判断の結果と上記データとに基づく発話を出力するように構成されている。

［構成２］
上記対話型家電システムに対する入力に基づいて、発話者を特定するように構成された特定部をさらに備える、構成１に記載の対話型家電システム。

［構成３］
上記対話型家電システムに対する一人以上の発話者の履歴を格納するように構成された履歴記憶部をさらに備え、
上記判断部は、上記履歴に基づいて、当該発話者のストレスまたは疲労を判断するように構成されている、構成２に記載の対話型家電システム。

［構成４］
上記判断部による判断結果または上記対話型家電システムによる対話状況を、上記対話型家電システムと通信可能な情報処理端末に送信するように構成された送信部をさらに備える、構成１〜３のいずれかに記載の対話型家電システム。

［構成５］
発話者との対話状況に関する情報を受信するように構成された受信部をさらに備える、構成１〜４のいずれかに記載の対話型家電システム。

［構成６］
上記判断部による判断結果または発話者との対話状況を集計するように構成された集計部をさらに備える、構成１〜５のいずれかに記載の対話型家電システム。

［構成７］
他の局面に従うサーバ装置は、
対話型家電機器から信号を受信するための受信部と、
音声を出力するための音声出力部と、
音声の入力を受け付けるように構成された音声入力部と、
発話者との会話に基づいてストレスまたは疲労を判定するための判定基準を格納するように構成された判定基準記憶部と、
ストレスまたは疲労を軽減する音声を出力するためのデータを格納するように構成された対話データ記憶部と、
上記判定基準と上記対話型家電機器からの音声信号とに基づいて、上記対話型家電機器に対する発話者のストレスまたは疲労を判断するように構成された判断部と、
上記判断の結果と上記データとに基づく発話を出力するための信号を上記対話型家電機器に送信するための送信部とを備える。

［構成８］
他の局面に従う対話型家電機器は、
音声を出力するための音声出力部と、
音声の入力を受け付けるように構成された音声入力部と、
上記家電機器に対する発話に応答して発話者の生活を支援するための動作を行なう駆動機構とを備え、
上記音声出力部は、発話者との会話に基づいてストレスまたは疲労を判定するための判定基準および上記回答を用いて行なわれるストレスまたは疲労の判断の結果と、ストレスまたは疲労を軽減するための音声データとに基づいて、上記ストレスまたは疲労を軽減するための発話を出力するように構成されている、対話型家電機器。

［構成９］
他の情報通信装置に上記発話者の応答内容を表わす信号を送信するように構成された送信部と、
上記情報通信装置から、上記応答内容を用いて行なわれた上記判断の結果と上記データとに基づく発話を受信するように構成された受信部とをさらに備える、構成９に記載の対話型家電機器。

［構成１０］
家電機器が対話を行なうための方法であって、
音声を出力するステップと、
音声の入力を受け付けるステップと、
発話者との会話に基づいてストレスまたは疲労を判定するための判定基準にアクセスするステップと、
ストレスまたは疲労を軽減する音声を出力するためのデータにアクセスするステップと、
上記判定基準と発話者の応答とに基づいて、当該発話者のストレスまたは疲労を判断するステップと、
上記判断の結果と上記データとに基づく発話を出力するステップとを含む、方法。

［構成１１］
構成１０に記載の方法をコンピュータに実現させるためのプログラム。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ ＣＰＵ、２ マウス、３ キーボード、４ ＲＡＭ、５ ハードディスク、６ 光ディスク駆動装置、７ 通信インターフェイス、８ モニタ、９ ＣＤ−ＲＯＭ、２０ 家電システム、２１ 発話部、２２ 音声入力部、２３ 判断部、２４，２５６，８０９ 記憶部、２５ 駆動機構、３０ インターネット、４０ 情報通信端末、２１０，２２０ 家、２１１，２２１ 掃除ロボット、２１２ ルータ、２１３，２２３ 冷蔵庫、２１４，２２４ 照明、２１５，２２５ テレビ、２１６，２２６ エアコン、２３０ 医療機関サーバ、２４０ 自治体サーバ、２５０ 事業者サーバ、２５１，３１１，３５１，８０１ 通信部、２５２，８０２ 制御部、２５３ 音声入力受信部、２５４，３１６，８１１ 音声認識部、２５５ 応答処理実行指示部、２５８，８２０ 発話内容データベース、２５９ 状態記憶部、２６０，２７０ スマートフォン、２８０ 自動車、３１０ サーバ、３１２ 機器制御信号送信部、３１３，３５６ 機器制御部、３１４，３５３ 制御指示受信部、３１５，３５２ 全体制御部、３１７ 対話制御部、３１８ 音声合成部、３１９ 個人同定部、３２０ 機器状態発話生成部、３２１ 情報発話生成部、３２２ 疲労判定発話生成部、３２３ 疲労判定部、３２４ 判定通知部、３２５ 個人情報記憶部、３５０ 家電機器、３５４ 状態取得部、３５５ 個人情報取得部、３５７ 音声取得制御部、３５８ 発話制御部、３５９ 状態表示部、７００ コンピュータ、８０３ マイク、８０４ スピーカ、８０５ 掃除部、８０６ 駆動部、８０８ 表示部、８１２ 応答処理実行部、８１３ 動作モード切換部、８１４ 音声入力受付部。

Claims (4)

1. 対話型家電システムであって、
   発話者による音声の入力を受け付けるための音声入力部と、
   発話者との会話に基づいてストレスまたは疲労を判定するために予め定められた判定基準を格納するための記憶部と、
   前記対話型家電システムを制御するための制御部と、
   音声を出力するための音声出力部とを備え、
   前記音声出力部は、ストレスまたは疲労を診断するための診断メッセージを自発的に出力し、
   前記音声入力部は、前記診断メッセージに応答するフレーズを前記発話者から受け付け、
   前記制御部は、前記判定基準と前記フレーズとに基づいて、前記発話者の疲労またはストレスの程度を評価し、
   前記音声出力部は、前記評価の結果に基づいて、疲労またはストレスを低減させるための癒しメッセージを出力し、
   複数の発話者の各々により発話された各前記フレーズと、各前記フレーズに対する評価値とが関連付けられている、対話型家電システム。
2. 対話型家電システムであって、
   発話者による音声の入力を受け付けるための音声入力部と、
   発話者との会話に基づいてストレスまたは疲労を判定するために予め定められた判定基準を格納するための記憶部と、
   前記対話型家電システムを制御するための制御部と、
   音声を出力するための音声出力部とを備え、
   前記音声出力部は、ストレスまたは疲労を診断するための診断メッセージを自発的に出力し、
   前記音声入力部は、前記診断メッセージに応答するフレーズを前記発話者から受け付け、
   前記制御部は、前記判定基準と前記フレーズとに基づいて、前記発話者の疲労またはストレスの程度を評価し、
   前記音声出力部は、前記評価の結果に基づいて、疲労またはストレスを低減させるための癒しメッセージを出力し、前記評価の結果に基づく発話者の疲労またはストレスの程度が予め定められた基準よりも高い場合に、前記癒しメッセージを出力する、対話型家電システム。
3. 前記判定基準は、発話者による発話から得られるフレーズと、前記フレーズに関連付けられた評価値とを含む、請求項１または２に記載の対話型家電システム。
4. 発話者との対話に基づいてメッセージを出力するためにコンピュータが実行する方法であって、
   ストレスまたは疲労を診断するための診断メッセージを自発的に出力するステップと、
   前記診断メッセージに応答するフレーズを発話者から受け付けるステップと、
   発話者との会話に基づいてストレスまたは疲労を判定するために予め定められた判定基準にアクセスするステップと、
   前記判定基準と前記フレーズとに基づいて、前記発話者の疲労またはストレスの程度を評価するステップと、
   前記評価の結果に基づいて、疲労またはストレスを低減させるための癒しメッセージを出力するステップとを含み、
   前記出力するステップは、前記評価の結果に基づく発話者の疲労またはストレスの程度が予め定められた基準よりも高い場合に、前記癒しメッセージを出力することを含む、方法。

Images