以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
[技術思想]
図1を参照して、本実施の形態に係る技術思想について説明する。図1は、本実施の形態に係る対話型の家電システム20の構成を表わす図である。家電システム20は、発話部21と、音声入力部22と、記憶部24と、駆動機構25と、通信部26とを備える。制御部27は、判断部23を含む。制御部家電システム20は、一人以上のユーザ10,11,12などと対話可能である。
以下の説明において、家電システム20は、日常のサポートを行なう機器によって実現され得る。ある局面において、当該機器は、所謂「家電機器」と称される私的に使用可能な家庭用電気機械器具と、業務上使用されるオフィス機器とを含み得る。家電機器は、例えば、掃除機、冷蔵庫、エアコンディショナ(以下「エアコン」ともいう。)、テレビ、照明、血圧計、炊飯器、電磁調理器、洗面台、体重計、ホームプラネタリウムその他の器具を含み得る。
また、本実施の形態における機器は、屋内で使用されるものに限られず、自動車、自転車、自動二輪車、電動いす等のように屋外で使用されるものも含み得る。オフィス機器は、例えば、コピー機、ファクシミリ装置、シュレッダー、電話会議システム、テレビ会議のように事業者によって使用され得る器具を含み得る。
例えば、ある局面において、家電システム20は、発話部21を介して音声を出力する(第1発話)。ユーザ11は、その音声に応答して回答する。音声入力部22は、ユーザ11による回答の入力を受け付ける。
音声入力部22は、その回答を音声信号に変換する。通信部26は、インターネット30に接続して、情報通信端末40と通信可能である。通信の態様は特に限定されない。制御部27は、家電システム20の動作を制御する。制御部27において、判断部23は、その信号と記憶部24に格納されているデータとに基づいて、ユーザ11の心理状態を判断する。この判断は、例えば、記憶部24に予め格納されているデータに基づいて行なわれる。他の局面において、判断部23は、通信部26を介してインターネット30に接続して情報通信端末40と通信し、情報通信端末40が当該判断を行なってもよい。
判断部23は、その判断の結果に基づく信号を発話部21に送信する。発話部21は、その信号に基づいて音声を出力する(第2発話)。ユーザ11は、家電システム20によって出力された音声(第2発話)を聞くと、その内容に応じて心理状態が落ち着く場合もあり得る。
ある局面において、家電システム20は、1つ以上の家電機器として実現され得る。他の局面において、家電システム20は、家電機器と、当該家電機器と通信可能なサーバとによって実現され得る。
ユーザ10,11,12の同定は、例えば、各ユーザ毎に割り当てられた専用スイッチの操作や、顔画像や、指紋または声紋その他の生体情報を用いて行なわれる。なお、同定の精度は、100%である必要はなく、例えば、4人家族において、ユーザが誰であるかが分かる程度でよい。他方、別の局面において、100%の精度が求められる認証技術が用いられてもよい。たとえば、多数の入院患者がいる病院その他の医療施設において、あるいは、多数の入居者がいる福祉施設において、100%の認証技術が用いられてもよい。あるいは、さらに別の局面において、同定の精度が可変であってもよい。
ユーザの精神状態を判断するために用いられるデータとして、例えば、家電機器との会話の内容(音声認識結果)、音声(音声の周波数分析結果)、撮影されたユーザの顔画像、ユーザの発汗量、ユーザの体温、ユーザの呼吸等が用いられ得る。会話については、回答内容によって精神状態が推定され得る。顔画像については、例えば、ユーザの顔が赤くなったら、そのユーザは、興奮している状態であると推定され得る。発汗量については、その量が予め規定された量を超えると、そのユーザは興奮状態にあると推定され得る。呼吸については、ユーザの呼吸が通常の呼吸回数よりも早くなったら、そのユーザは興奮状態にあると推定され得る。
あるいは、さらに別の実施態様として、ユーザの声のトーンの高低によって、ユーザの精神状態が推定されてもよい。たとえば、声のトーンが通常よりも低い場合には、そのユーザは平常状態よりも疲れた状態にあると推定され得る。逆に、声のトーンが通常よりも高い場合には、そのユーザは興奮状態にあると推定され得る。
[家電システムの使用態様]
図2を参照して、本実施の形態に係る技術思想についてさらに説明する。図2は、対話型の家電システム20が使用される局面を表わす図である。ある局面において、家電システム20は、家電機器の一態様である掃除ロボット211,221として実現される。
本人の家210において、掃除ロボット211は、ルータ212を介して、冷蔵庫213と照明214とテレビ215とエアコン216とにそれぞれ通信可能に接続される。冷蔵庫213と照明214とテレビ215とエアコン216とは、それぞれネットワーク機能を備えており、掃除ロボット211から送られる信号に基づいて固有の動作を実行する。当該固有の動作は、例えば冷蔵庫213の中身を表示する処理、照明214の明るさを調節する処理、テレビ215のチャンネルまたは音量を調節する処理、エアコン216の温度の調節などを含み得る。
家210は、インターネット30に接続されている。インターネット30には、さらに他人の家220と、医療機関サーバ230と、自治体サーバ240と、事業者サーバ250と、スマートフォン260,270と、自動車280とがそれぞれ通信可能に接続されている。
他人の家220は、例えば家210の住人の親戚の家である。家220には、掃除ロボット221が存在する。掃除ロボット221は、ルータ222を介して、冷蔵庫223と照明224とテレビ225とエアコン226とにそれぞれ通信可能に接続されている。冷蔵庫223と照明224とテレビ225とエアコン226は、それぞれ冷蔵庫213と照明214とテレビ215とエアコン216と同様の機能を有する。したがって、それらの詳細な説明は繰り返さない。
医療機関サーバ230は、例えば、本人あるいは親戚が通院する病院その他医療機関によって使用される。自治体サーバ240は、本人あるいは親戚が居住する自治体によって使用される。事業者サーバ250は、掃除ロボット211,221にそれぞれ情報を送信するための情報提供事業者によって運営され使用される。医療機関サーバ230と自治体サーバ240と事業者サーバ250は、それぞれ、例えば周知の構成を有するコンピュータ装置によって実現される。
スマートフォン260,270は、情報処理通信端末として、本人の家族あるいは本人に医療サービスを提供する事象者のメンバーによって使用される。なお、情報処理通信端末はスマートフォンに限られず、タブレット端末、PDA(Personal Digital Assistant)その他の端末が家族あるいは事業者のメンバーによって使用されてもよい。スマートフォン260,270の構成は当業者が容易に理解できるものである。したがって、当該構成の説明は繰り返さない。
自動車280は、ネットワーク通信機能を備えており、掃除ロボット211,221その他の通信機能を有する機器によって制御され得る。
(シナリオの例示)
以下、本実施の形態において想定され得るシナリオについて説明する。以下の各シナリオでは、家電機器の一例として掃除ロボット211が用いられるが、本実施の形態に係る技術思想の適用対象は、掃除ロボット211に限られない。当該技術思想は、例えば、冷蔵庫213、照明214、テレビ215、エアコン216、自動車280その他の機器であって、少なくとも、音声認識機能と情報処理機能とを備える機器に適用可能である。
(シナリオ1) <第1の実施の形態>
第1の実施の形態として、対話機能を有する家電機器がユーザからの会話に基づいて、当該ユーザを気遣う発話を行ない得る。例えば、ユーザは、家210に帰宅する。ユーザが「ただいま」と発話する。掃除ロボット211は、その発話を認識すると、予め登録されていた音声情報に基づいて、当該ユーザが掃除ロボット211において既に登録されているユーザであることを検知する。掃除ロボット211は、予め準備された情報として保持している回答「お帰りなさい」を発する。その後、ユーザが「掃除して」と発すると、掃除ロボット211は「了解」と回答して、掃除機能の実行を開始する。掃除ロボット211は、予め規定されたプログラムに従って走行し、リビングループその他の居室を掃除する。
予め定められた条件が成立すると、掃除ロボット211は、「最近、疲れてるんじゃない?」と問いかける。ここで、予め定められた条件は、例えば、ユーザの最後の発話から予め規定された時間が経過したこと、掃除ロボット211と対話したユーザが予め登録されたユーザであることが検知されたこと等を含み得る。他の局面において、掃除ロボット211において発生される乱数に基づいて、ランダムに問いかけの発話が行なわれてもよい。
ユーザが、その問いかけに応答して、掃除ロボット211に対して、「そうだね。仕事で忙しいからね。」と回答する。掃除ロボット211は、その回答を認識すると、掃除ロボット211の内部で当該ユーザの診断を行ない診断結果を取得する。あるいは、別の局面において、掃除ロボット211は、インターネット30に接続される事業者サーバ250に当該回答の音声信号を送信する。事業者サーバ250が当該音声信号に基づいて診断を行ない、診断結果を掃除ロボット211に返す。
掃除ロボット211は、診断結果を取得すると、「無理したらダメだよ」と発話する。ユーザが、その発話に応答して「はいはい。有り難う。」と回答する。掃除ロボット211は、その回答を認識すると、「どういたしまして」と回答する。
このような対話により、ユーザは、掃除ロボット211によって気遣われていることを認識すると、ユーザのストレスや疲労が緩和される場合がある。
(シナリオ2) <第2の実施の形態>
第2の実施の形態として、掃除ロボット211は、ユーザとの対話履歴を参照して、当該ユーザを気遣う発話を行ない得る。
掃除ロボット211は、音声認識したユーザとの対話履歴を参照して、ユーザが忙しい生活を送っていることを認識する。当該対話履歴は、例えば、発話が行なわれた時間帯、発話の内容等を含み得る。掃除ロボット211が、「最近疲れるんじゃない?」と発話する。ユーザがその発話を認識して「そうだね。仕事で忙しいからね。」と回答する。掃除ロボット211は、その回答を認識すると、ユーザの診断を行なう。上述の通り、この診断は、掃除ロボット211の内部において、あるいは、掃除ロボット211から音声信号を受信可能な外部のサーバ装置(例えば、事業者サーバ250)において行なわれ得る。
掃除ロボット211は、当該ユーザが、最近の二週間において、当該ユーザがそれ以前よりも激しく疲労していることを検知すると、「2,3日くらい休んで旅行でもしたら?」と発話する。ユーザは、その発話に応答して、「はいはい、有り難う。」と回答する。ユーザが掃除ロボット211から旅行を勧められたことに対して、当該ユーザの疲労やストレスが緩和され得る。
(シナリオ3) <第3の実施の形態>
第3の実施の形態として、掃除ロボット211とユーザとの対話は、医療機関との連携にも用いられ得る。一実施例において、シナリオ2の場合と同様に、掃除ロボット211が、「最近疲れるんじゃない?」と発話する。ユーザが、その発話を認識して「そうだね。仕事で忙しいからね。」と回答する。掃除ロボット211は、その回答を認識すると、「無理したらダメだよ。」と発話する。ユーザが、その発話に対して「はいはい。有り難う。」と回答する。
掃除ロボット211が当該回答を認識すると、当該ユーザの最近二週間の疲労に関する対話情報を医療機関サーバ230に送信する。医療機関サーバ230は、当該ユーザの家210が存在する自治体あるいはその近傍にある病院その他の診療/治療施設である。なお、掃除ロボット211が対話情報を医療機関サーバ230に送信する態様に代えて、掃除ロボット211からの要求に応答して、対話情報を蓄積する事業者サーバ250が当該ユーザの対話情報を医療機関サーバ230に送信してもよい。また、当該対話情報の送信要求は、掃除ロボット211ではなく、掃除ロボット211からの許可を受信した医療機関サーバ230によって送信されてもよい。
医療機関サーバ230が、当該対話情報に基づいて、当該ユーザを診断する。医療機関サーバ230は、当該ユーザが医師による診断を必要とすると判断すると、そのような判断結果を掃除ロボット211に送信する。判断結果は、例えば、予め規定された一つ以上のテンプレートに対して当該ユーザの主治医の名称、診察の曜日等を追加することにより医療機関サーバ230によって作成される。掃除ロボット211は、そのような判断結果に基づいて、「心療内科の山田先生が、一度、検診に来たら、と言っているよ。」と発話する。ユーザは、その発話に対して「そうだね。」と応答する。
掃除ロボット211が、その応答を認識すると、当該主治医の診察の曜日として予め保持しているデータを参照して、「来週の水曜6時に予約する?」と発話する。ユーザは、その発話に応答して、「お願い。」と回答する。掃除ロボット211は、その回答に応答して、医療機関サーバ230と通信を行ない、当該主治医による診療として、来週の水曜日(例えば2月12日)の午後6時の予約を申請する。当該予約が医療機関サーバ230によって受け付けられると、掃除ロボット211は、ユーザに対して、「2月12日水曜日、午後6時に予約したよ。」と発話する。ユーザは、その発話を認識すると、「有り難う。」と回答する。
このように、一実施例において、掃除ロボット211は、ユーザの必要に応じて、ユーザに代わって、医療機関との予約も手配する。ユーザは、上記のような対話によって気持ちがリラックスすることに加えて、掃除ロボット211がユーザのために診察を予約してくれたことに対して謝意を感じ得る。なお、別の局面において、掃除ロボット211が提案した日時で予約を得られない場合もあり得る。この場合、掃除ロボット211は、医療機関サーバ230に対して予約可能な日時の候補を問い合わせて、問い合わせの結果を代替案としてユーザに通知してもよい。
(シナリオ4) <第4の実施の形態>
第4の実施の形態として、家電機器に代えて、対話機能を有する自動車280が、ユーザであるドライバと対話してもよい。一つの局面として、エアコンの制御装置が対話機能と診断機能とを備える場合について説明する。
当該制御装置は、エアコンのスイッチが入れられたことを検知すると、自動車280に内蔵されたマイク(図示しない)を用いて、「今日は花粉が多いから空気清浄機も一緒に動かすね。」と発話する。花粉が多いことは、例えば、自動車280の制御装置が、インターネット30を経由して受信する天気情報から取得され得る。ドライバが、その発話に応答して、「有り難う。」と回答する。エアコンは、その回答を認識すると、制御装置の内蔵メモリに保持されているドライバの属性を参照して、「今日は花粉症大丈夫でしたか?」と発話する。ドライバは、その発話に応答して、「今日はひどかったよ。」と回答する。エアコンは、その回答の意味内容を認識すると、「お大事にしてくださいね。」と発話する。ドライバは、その発話を認識すると、「有り難う。」と回答する。
このようにして、エアコンからドライバに対する話しかけにより、ドライバのストレスや疲労は緩和され得る。また、会話の内容に応じて、空気清浄機が作動することも、ストレスや疲労の緩和に貢献し得る。なお、ドライバの回答の認識は、エアコンが認識する態様に限られない。例えば、自動車280がインターネット30に接続して、事業者サーバ250その他の外部の情報処理装置が回答を認識する態様であってもよい。自動車280と、ドライバが所有するスマートフォン260とが、WiFi(Wireless Fidelity)、Bluetooth(登録商標)その他の通信手段によって通信セッションを構成して、スマートフォン260がドライバの会話を認識してもよい。
なお、他の態様として、自動車280に搭載されるセンサの出力が用いられてもよい。たとえば、車速センサによって得られる車速から、ユーザの精神状態が高揚していると推定され得る。あるいは、アクセルの踏みこみ速度が通常の速度を上回る場合、あるいは、急ブレーキや急ハンドルの操作が行なわれた場合に、ユーザの精神状態が通常ではないと推定され得る。このような場合、自動車280は、ユーザの精神を落ち着かせるような発話を行なってもよい。あるいは、別の局面において、自動車280は、そのための音楽の再生や芳香剤の送出を行ない得る。
(シナリオ5) <第5の実施の形態>
第5の実施の形態として、自動車280は、ユーザとの会話に基づいて、ユーザに動作を促すように作動してもよい。
一実施例として、自動車280のコントローラは、運転席のシートベルトが装着されたことを検知すると、「今日は花粉症がひどかったみたいですね。」と発話する。ドライバは、その発話を認識すると、「そうだね。」と回答する。コントローラは、内部の音声認識及び解析処理により、あるいは、インターネット30に接続されている外部の情報処理装置による認識処理から、その回答の意味内容を取得すると、スピーカ(図示しない)を介して、「窓を閉めておいて下さいね。空気清浄機を作動させます。」と発話する。ドライバは、その発話を認識すると、「有り難う。」と回答する。もしくは、スピーカは、「窓を閉めて、空気清浄機を作動させます。」と発話し、コントローラが窓を自動で閉め、空気清浄機を作動させてもよい。
このようにして自動車280はドライバに発話を開始することにより、ドライバは、自動車280の心遣いを感じ得るので、ドライバの疲労やストレスが軽減され得る。
(シナリオ6) <第6の実施の形態>
第6の実施の形態として、家210に設けられている各家電機器は、インターネット30を介して、別の家220の家電機器あるいは他のスマートフォン270と通信してもよい。以下、家210の住人(お婆ちゃん)と家220の住人(お母さん)とが家族である場合について説明する。
ある局面において、家210に住むお婆ちゃんが、掃除ロボット211に対して、スイッチ操作あるいは発話を行なう。掃除ロボット211は、お婆ちゃんのそのような動作に応答して、自走しながら掃除を始める。
掃除ロボット211は、動作音を小さくするために、掃除の最中に一時停止し、「いつも使ってくれて有り難う。」と発話する。お婆ちゃんは、その発話に応答して、「こちらこそ有り難う。」と回答する。掃除ロボット211は、発話者がお婆ちゃんであることを同定し、その回答の意味内容の認識結果に応答してお婆ちゃんとの対話の履歴を参照する。掃除ロボット211は、その履歴から、お婆ちゃんのこれまでの発話において「疲れ」という言葉が頻繁に使用されていることを検知する。そこで、掃除ロボット211は、「お婆ちゃん。この頃、疲れたってよく言ってるね。」と発話する。お婆ちゃんは、その発話を認識すると、「そうだね。何もないのに疲れちゃうんだよ。」と回答する。掃除ロボット211は、その回答の意味内容の認識結果を取得し、回答から「疲れ」というキーワードを抽出する。ある局面において、そのようなキーワードは、掃除ロボット211その他の家電システム自身が記憶し得る。別の局面において、キーワードは、所謂「見守りサービス」を提供する事業者や自治体に登録され得る。
掃除ロボット211は、キーワード「疲れ」の検知に応答して、内蔵メモリに保持されているデータベースを参照して、キーワード「疲れ」が使用された頻度を計算する。掃除ロボット211は、「疲れ」という言葉の使用回数が予め規定された期間(例えば、二週間)内に一定数(例えば、30回)を超えたことを検知する。掃除ロボット211は、そのような検知結果に応答して、家220の対話型家電システムの中央制御部と通信する。ある局面において、中央制御部は、家220に設けられるホームサーバ装置において、あるいは、掃除ロボット221その他の家電機器の制御装置によって実現され得る。別の局面において、中央制御部は、自治体サーバ240に設けられてもよい。
例えば、掃除ロボット221が、中央制御部として、その検知結果を受け取ると、家220の住人の一人である「お母さん」のスマートフォン260と通信を開始する。掃除ロボット221は、メッセージをスマートフォン260に送信する。スマートフォン260は、インターネット30を介してそのメッセージを受信すると、掃除ロボット211の代わりに、「お婆ちゃんちの掃除機ですが、お婆ちゃんがこの二週間の間に、30回も『疲れた』って言っていますよ。」、および、「お婆ちゃん、今、家にいるみたいだから、お婆ちゃんと話をしてみる?」と発話する。お母さんが、その発話を認識して「お願い。」と回答すると、スマートフォン260は、インターネット電話が可能に構成されている掃除ロボット211に、例えば、VoIP(Voice over Internet Protocol)を用いて電話をかける。お婆ちゃんが、その電話に応答すると、お母さんは、お婆ちゃんと対話できる。
このようにして、掃除ロボット211の動作をトリガとして、掃除ロボット211のユーザ(お婆ちゃん)と、遠隔地に住む家族(お母さん)との対話が行なわれるので、お婆ちゃんの寂しさや疲労等が緩和され得る。
<第7の実施の形態>
なお、別の局面において、第7の実施の形態として、所謂見守りサービスを提供する自治体によって使用される自治体サーバ240が中央制御部として機能してもよい。この場合、掃除ロボット211は、キーワード「疲れ」と発話者(家210に住むお婆ちゃん)の識別子とを含むメッセージを自治体サーバ240に送信する。
自治体サーバ240のプロセッサは、そのメッセージを受信すると、住人のデータベースにアクセスして、家210に住むお婆ちゃんの記録に、メッセージの内容を追加する。プロセッサは、「疲れ」その他のキーワードの受信回数をカウントし、「疲れ」という言葉の使用回数が予め規定された期間(例えば、二週間)内に一定数(例えば、30回)を超えたことを検知する。プロセッサは、そのような検知結果に応答して、見守りサービスの申込者として自治体サーバ240に登録されているお母さんのスマートフォン260に、発話用のメッセージを送信する。スマートフォン260は、そのメッセージを受信すると、上記のように、「お婆ちゃんちの掃除機ですが、お婆ちゃんがこの二週間の間に、30回も『疲れた』って言っていますよ。」、および、「お婆ちゃん、今、家にいるみたいだから、お婆ちゃんと話をしてみる?」と発話する。このようにしても、お婆ちゃんの寂しさ、疲労感等は緩和され得る。
なお、上述の通り、ユーザが発した音声の認識および意味内容の抽出その他の情報処理は、掃除ロボット211のような個別の家電機器の内部において行なわれ得る。あるいは、別の局面において、当該情報処理は、医療機関サーバ230、自治体サーバ240、事業者サーバ250その他の外部のサーバ装置において行なわれてもよい。
[家電システムの構成]
図3を参照して、本実施の形態に係る対話型の家電システム20の構成について説明する。図3は、家電システム20を構成するサーバと家電機器との詳細な構成を表わすブロック図である。ある局面において、家電システム20は、サーバ310と、家電機器350とを備える。
一実施の形態において、サーバ310は、通信部311と、機器制御信号送信部312と、機器制御部313と、機器状態・制御指示受信部314と、全体制御部315と、音声認識部316と、対話制御部317と、音声合成部318と、個人同定部319と、機器状態発話生成部320と、情報発話生成部321と、疲労判定発話生成部322と、疲労判定部323と、判定通知部324と、個人情報記憶部325とを備える。
ある局面において、サーバ310は、例えば周知の構成を有するコンピュータによって実現される。サーバ310において、通信部311は、例えば家電機器350と通信するためのインターフェイスを含む。機器制御信号送信部312は、家電機器350を制御するための信号を生成し、その信号を通信部311を介して家電機器350に送信する。
機器制御部313は、予め設定された条件が成立した場合に、あるいは、命令を受信した場合に、家電機器350を制御するように構成されている。当該条件は、例えば、ユーザの発話内容の中に予め登録されたキーワード(例えば、「疲れ」)が一定期間内に一定回数使われたこと等である。当該命令は、サーバ310と通信可能な他の情報通信端末(例えば、掃除ロボット211,221、スマートフォン260等)によって送信され得る。
機器状態・制御指示受信部314は、外部サービスから家電機器350を制御するための指示を受信する。例えば、機器状態・制御指示受信部314は、掃除ロボット211に発話させるための音声信号を受信する。他の局面において、機器状態・制御指示受信部314は、家電機器350によって送信された機器の状態を示す信号を受信する。
全体制御部315は、サーバ310の動作を制御する。別の局面において、全体制御部315は、サーバ310に与えられる信号に基づいて、家電機器350その他サーバと通信可能な家電機器の動作を制御する。
音声認識部316は、家電機器350から受信した音声信号を解析し、解析結果に基づいて、意味内容を認識する。当該音声信号は、例えば、掃除ロボット211や自動車280に対するユーザやドライバの会話を示す信号を含む。
対話制御部317は、家電機器350に対して行なわれる発話と発話者との対話を制御する。より具体的には、対話制御部317は、音声認識部316による認識の結果に基づいて、次に家電機器350が出力するべき発話の内容を、予め準備されたデータベースから選択し、選択した発話を実現するためのデータ(音声信号、発話の識別番号等)を家電機器350に送信する。
音声合成部318は、家電機器350に発話させるための音声を対話制御部317から送られる信号に基づいて生成する。生成された信号は、通信部311を介して家電機器350に送られる。
個人同定部319は、家電機器350から受信した信号に基づいて、あるいは外部サービスから与えられるデータに基づいて、家電機器350のユーザがサーバ310において予め登録されたユーザであるか否かを判断する。判断の結果は、対話制御部317に送られる。対話制御部317は、その判断の結果に基づいて、家電機器350を介したユーザとの対話を制御する。
機器状態発話生成部320は、家電機器350の状態に応じて家電機器350に発話させるための内容を生成する。当該状態は、家電機器350に与えられる命令に基づいて特定される。
情報発話生成部321は、外部サービスから送られるデータに基づいて家電機器350に発話させるための内容を生成する。例えば、情報発話生成部321は、家電機器350の体調を問う発話、体調に関連する情報(例えば、花粉症の症状)を得るための発話等を含む。
疲労判定発話生成部322は、サーバ310に予め保持されているデータに基づいて、家電機器350のユーザが疲労しているか否かを判定するための発話(例えば、「最近疲れるんじゃない?」等)を生成する。
疲労判定部323は、疲労判定発話生成部322によって発話された内容に対する回答(例えば、「そうだね。仕事が忙しいからね。」)と、サーバ310に保持されている対話履歴データとに基づいて、当該回答の発話者が疲労しているか否かを判定する。疲労判定部323は、判定の結果と当該ユーザとを関連付けて、個人情報記憶部325に格納する。
個人情報記憶部325は、家電機器350その他のユーザの情報を格納する。当該情報は、例えば、疲労判定部323による判定の結果と、各ユーザの声紋、指紋、画像情報その他のデータと、ユーザ毎の対話履歴とを含む。対話履歴は、家電機器350が発話した内容の識別情報と、当該発話に対するユーザの回答と、当該対話が行なわれた日時データとを含む。
判定通知部324は、個人情報記憶部325に保持されている判定結果を外部サービスに送信する。
サーバ310を実現する各構成は、一つ以上のプロセッサと、各構成を実現するための命令と、通信インターフェイスとによって実現される。別の局面において、サーバ310は、各構成を実現するための回路素子によって実現されてもよい。
[家電機器の構成]
図3を再び参照して、家電機器350は、通信部351と、全体制御部352と、制御指示受信部353と、状態取得部354と、個人情報取得部355と、機器制御部356と、音声取得制御部357と、発話制御部358と、状態表示部359とを備える。
通信部351は、サーバ310の通信部311と通信可能に構成されている。全体制御部352は、家電機器350の動作を制御する。制御指示受信部353は、家電機器350のユーザによる操作の入力を受け付ける。別の局面において、制御指示受信部353は、サーバ310から送られた制御信号を受信する。
状態取得部354は、家電機器350の動作の状態を取得する。取得された情報は、全体制御部352によって通信部351からサーバ310に送信され得る。
個人情報取得部355は、家電機器350に対する操作あるいは入力に基づいて、家電機器350のユーザの個人情報を取得する。個人情報は、ユーザの声紋、顔画像、指紋その他の当該ユーザに固有の生体情報と、ユーザの名前その他の文字情報とを含み得る。ある局面において、個人情報取得部355は、ユーザの声紋を取得するために、マイクと音声認識処理プログラムとによって実現され得る。別の局面において、個人情報取得部355は、カメラと顔認識プログラムとによって実現され得る。さらに別の局面において、個人情報取得部355は、指紋センサによって実現され得る。
機器制御部356は、サーバ310から送られる信号に基づいて作動する全体制御部352の制御に従って、家電機器350の動作を制御する。他の局面において、機器制御部356は、家電機器350のユーザによる操作あるいは発話の内容に応答して、当該操作あるいは内容ごとに予め規定された動作を実行する。
音声取得制御部357は、家電機器350に対するユーザの発話を取得し、その発話を音声処理して音声信号を取得する。音声取得制御部357は、取得した信号を全体制御部352に送信する。全体制御部352は、通信部351を介して、家電機器350に対して行なわれた発話の内容をサーバ310に送信し得る。
発話制御部358は、通信部351によって受信された信号に基づいて、サーバ310の命令に応答して発話を実行する。他の局面において、発話制御部358は、上述のシナリオ1〜シナリオ6に示されるように、掃除ロボット211その他の家電機器350による最初の問いかけを実現する。
状態表示部359は、全体制御部352の命令に基づいて家電機器350の動作を示す表示を実行する。当該表示は、例えばLED(Light Emitting Diode)による表示、あるいは液晶モニタにおける表示などを含み得る。表示の内容は、家電機器350が通常の家電機能を実現していることを示す表示、ユーザと対話していることを示す表示、家電機器350がユーザへの対話を開始して、動作モードがストレスや疲労の状態を診断するモードであることを示す表示等を含み得る。
[家電システムの制御構造]
図4を参照して、本実施の形態に係る家電システム20の制御構造について説明する。図4は、家電システム20における処理の一部を表わすフローチャートである。
ステップS410にて、家電システム20は、クラウド側において、例えば、サーバ310において、機器(例えば掃除ロボット211、冷蔵庫213その他の家電機器350)の登録を受け付ける。
ステップS420にて、家電システム20は、クラウド側(サーバ310)において、あるいは、家電機器350において、外部機器の登録を受け付ける。外部機器は、例えば、スマートフォン260,270、自動車280その他の家電機器や、医療機関サーバ230、自治体サーバ240、事業者サーバ250その他の情報処理通信装置等を含み得る。
ステップS430にて、家電システム20は、イベントの発生を待機する。ある実施例において、当該イベントは、家電システム20の内部で生じるイベントと、家電機器350を制御するためのイベントと、家電システム20において入力される音声入力との少なくともいずれかを含み得る。家電システム20の内部で生じるイベントは、家電機器350で生じるイベント(例えば、対話履歴の参照結果として掃除ロボット211がユーザに話しかけないといけないという条件が成立したこと等)を含み得る。家電機器350を制御するためのイベントは、医療機関サーバ230、自治体サーバ240、事業者サーバ250等から送られた制御信号を検出したこと、自動車280のドライバが運転を開始したこと等を含み得る。音声入力は、例えば、ユーザが掃除ロボット211に話しかけたこと等を含み得る。
(内部イベントの発生)
ステップS440にて、家電システム20は、内部イベントの発生に応答して、対応処理を判断する。例えば、家電機器350としての掃除ロボット211が、ユーザに話しかけてから一定日数が経過したことを検知すると、掃除ロボット211は、ユーザの状態を確認するための発話を行なう。例えば、掃除ロボット211は、ユーザに対して、「最近疲れるんじゃない?」等の問いかけを行なう(シナリオ3参照)。家電システム20は、その問いかけに対するユーザの回答に基づいて、過去の対話履歴を参照し、次の対応を決定する。
ステップS442にて、家電システム20は、対応発話を選択する。この選択は、例えば予め準備された対話発話の中から選択することにより行なわれる。例えば、シナリオ2に示されるように、家電システム20は、「心療内科の山田先生が、一度、検診に来たら、と言っているよ。」というメッセージを選択する。
ステップS444にて、家電システム20は、発話を実行する。例えば、掃除ロボット211は、上記メッセージの内容を音声で出力する。
ステップS446にて、家電システム20は、当該発話に応答して規定された処理を実行する。例えば、家電システム20は、医療機関サーバ230と通信して、ユーザのための診察の予約を取得する。
(機器制御)
ステップS450にて、家電システム20は、機器制御の信号に応答して、対応処理を判断する。例えば、シナリオ4に示されるように、家電システム20は、ユーザが自動車280のエアコンスイッチをオンにしたことを検出する。家電システム20は、その信号に応答して、エアコンの動作を開始する。
ステップS452にて、家電システム20は、予め規定された対応発話の中から機器制御に応じた対応発話を選択する。例えば、シナリオ4の場合、エアコンの動作中に行なわれ得る発話として、「今日は花粉多いから空気清浄機も一緒に動かすね。」と発話することを選択する。
ステップS454にて、家電システム20は、選択された発話に基づいて発話を実行する。さらに、家電システム20は、その発話に対して返信されたユーザの回答(「有り難う」)を検出する。
ステップS456にて、家電システム20は、当該発話に応じて規定された処理(例えば、空気清浄機のスイッチを入れること)を実行する。さらに、家電システム20は、次の発話として、「今日は花粉症大丈夫でした?」と発話する。
(音声入力)
ステップS460にて、家電システム20は、家電機器350に対して入力された音声(シナリオ1の場合「ただいま」)を認識する。
ステップS462にて、家電システム20は、発話の内容意味を理解する。家電システム20は、発話内容がデータベースに予め登録されている発話であるか否かを判断する。
ステップS464にて、家電システム20は、判断の結果に基づいて、対応処理を判断する。例えば、データベースに登録されている発話が行なわれた場合、当該ユーザとの対話履歴に基づいて、診断を行なうか否かをさらに判断する。
ステップS466にて、家電システム20は、対応発話を選択する。例えば、家電システム20は、「最近疲れるんじゃない?」との発話を選択する。
ステップS468にて、家電システム20は、選択された発話に基づいて発話を実行する。例えば、掃除ロボット211が「最近疲れるんじゃない?」と発話する。
ステップS470にて、家電システム20は、当該発話に応じて規定された処理を実行する。例えば、ユーザが「そうだね。仕事で忙しいからね。」と回答すると、家電システム20は、音声認識処理と意味内容の解析処理とを実行して、「忙しい」というキーワードを抽出したことを検知する。当該キーワードの予め定められた一定期間内における使用回数が、予め定められた階数を上回る場合、家電システム20は、「無理したらダメだよ。」と発話する。
図5を参照して、家電システム20の制御構造についてさらに説明する。図5は、家電システム20を構成する家電機器350とサーバ310とが実行する処理の一部を表わすフローチャートである。
(機器側)
ステップS510にて、家電機器350の全体制御部352は、機器の登録を受け付ける。登録の対象となる機器は、家電機器350自身も含む。より具体的には、一実施例において、全体制御部352は、例えば、家210に設置される冷蔵庫213、照明214、テレビ215、エアコン216その他の家電機器と、家210の住人によって使用され得る自動車280との登録を受け付ける。全体制御部352は、各家電機器の識別番号を家電機器350の内蔵メモリに保存する。
ステップS512にて、全体制御部352は、外部機器の登録を受け付ける。外部機器は、例えば、医療機関サーバ230、自治体サーバ240、事業者サーバ250、サーバ310のように、家電機器350と通信可能な機器を含む。
ステップS514にて、全体制御部352は、家電機器350におけるイベントの発生を待機する。当該イベントの発生は、内部イベント、機器制御、音声入力のいずれかを含み得る。
ステップS516にて、全体制御部352は、内部イベントの発生を検知する。家電機器350は、内部イベントが発生したことを通知する信号をサーバ310に送信する。サーバ310は、そのような信号を受信すると、家電機器350で内部イベントが発生したことを検知する。その後、家電機器350は、サーバ310から、当該内部イベントに応じた発話情報を受信する。
ステップS518にて、全体制御部352は、機器制御に基づいてイベントの発生を検知する。家電機器350は、当該機器の制御に基づくイベントが発生したことを通知する信号をサーバ310に送信する。サーバ310は、そのような信号を受信すると、家電機器350で家電機器350の制御に基づくイベントが発生したことを検知する。その後、家電機器350は、サーバ310から家電機器350の制御に基づくイベントに応じた発話情報を受信する。
ステップS520にて、全体制御部352は、音声入力に基づいてイベントの発生を検知する。家電機器350は、音声入力に基づくイベントが発生したことを通知する信号をサーバ310に送信する。サーバ310は、そのような信号を受信すると、家電機器350に対する音声入力に基づくイベントが発生したことを検知する。その後、家電機器350は、サーバ310から当該音声入力に基づくイベントに応じた発話情報を受信する。
ステップS522にて、家電機器350は、サーバ310から受信した発話情報に基づいて、発話制御部358を介して発話する。例えば、発話の内容は、前述のシナリオに示されるように、例えば、「最近疲れるんじゃない?」、「今日は花粉が多いから、空気清浄機も一緒に動かすね。」等である。
ステップS524にて、家電機器350は、サーバ310から受信する処理情報の内容に基づいて、機器制御部356を介して、処理情報に応じて家電機器350の動作を実行する。
(クラウド側)
ステップS540にて、サーバ310の全体制御部315は、家電機器350の登録を受け付ける。サーバ310は、家電機器350の識別情報、名称等の入力を受けて、内蔵メモリに格納する。
ステップS542にて、全体制御部315は、外部機器の登録を受け付ける。外部機器は、医療機関サーバ230や自治体サーバ240その他の情報処理通信装置であって、サーバ310と通信可能な装置である。
ステップS544にて、全体制御部315は、通信部311を介して、家電機器350によって送られたイベントの発生を通知する信号(ステップS516,S518,S520)を受信する。
ステップS546にて、全体制御部315は、家電機器350において発生したイベントを示す信号に応じた対応を実行する。
(内部イベントまたは機器制御)
例えば、ステップS550にて、全体制御部315は、家電機器350における内部イベントまたは機器制御の信号を受信したことを検知する。その後、制御はステップS570に移される。
(家電機器350への音声入力)
一方、ステップS560にて、全体制御部315は、通信部311と音声認識部316とを介して、家電機器350に対して行なわれた発話に対応する音声を受信する。
ステップS562にて、全体制御部315は、音声認識部316を介して、受信された音声を認識する。
ステップS564にて、全体制御部315は、当該音声の意味内容の解析結果に基づいて、発話の意味を理解する。制御はステップS570に移される。
ステップS570にて、全体制御部315は、家電機器350から受信した信号の解析結果に基づいて、対応処理を判断する。例えば、全体制御部315は、家電機器350に実行させる発話の種類を決定する。発話の種類は、ユーザの体調などを問う発話、気候を問う発話、旅行を促す発話等を含み得る。
ステップS572にて、全体制御部315は、対話制御部317を介して、当該イベントに対応する発話を選択する。
ステップS574にて、全体制御部315は、通信部311を介して、選択された発話に応じた発話情報を家電機器350に送信する。家電機器350の通信部351は、当該発話情報を受信する(ステップS522)。
ステップS576にて、全体制御部315は、通信部311を介して、家電機器350に動作を実行させるための処理情報を家電機器350に送信する。家電機器350の通信部351は、その処理情報を受信する(ステップS524)。
[制御構造]
図6を参照して、家電システム20の制御構造についてさらに説明する。図6は、家電システム20において家電機器350に対する発話の意味を理解するためにサーバ310が実行する処理の一部を表わすフローチャートである。ある局面において、家電機器350とサーバ310とは、インターネット30を介して常時接続されている。
ステップS610にて、全体制御部315は、サーバ310の動作モードを選択する。動作モードは、一般発話のモードと、疲労ストレスを診断するための発話モードとを含み得る。
ステップS620にて、全体制御部315は、疲労ストレス診断発話モードを選択する。例えば、全体制御部315は、一般発話のモードが予め規定された一定時間継続してたことを検知すると、疲労ストレス診断発話モードを選択する。
ステップS622にて、全体制御部315は、通信部311を介して、疲労ストレス診断発話を家電機器350に送信する(例えば、シナリオ3参照)。疲労判定発話生成部322は、疲労ストレスを診断するための発話を生成する。この生成は、例えば個人情報記憶部325に保持されている対話履歴等を参照して行なわれる。
ステップS624にて、全体制御部315は、対話処理を選択する。例えば、全体制御部315は、家電機器350のユーザのワークライフから医師の診断を受けることを促すための対話を選択し得る(シナリオ3参照)。
ステップS626にて、全体制御部315は、選択された処理に対応する情報を家電機器350に送信する。
ステップS628にて、全体制御部315は、通信部311を介して、家電機器350に対するユーザの発話を含む音声信号を、家電機器350から受信する。
ステップS630にて、全体制御部315は、音声認識部316を介して、家電機器350から送られた信号を認識する。
ステップS632にて、全体制御部315は、音声認識部316による認識の結果に基づいて意味を理解する。例えば、全体制御部315は、ユーザの発話がキーワード「疲れ」を含むことを検知する。
ステップS634にて、疲労判定部323は、疲労ストレス度合を判定する。この判定は、個人情報記憶部325に格納されているデータと、全体制御部315から送られるデータとに基づいて行なわれる。ある局面において、疲労判定部323は、予め規定された一定期間内において最近のユーザの発話から検出されたキーワード「疲れ」が使用された回数が、予め規定された回数を超えたことを検知すると、ユーザのストレス度が医師による診察を必要とする程度であると判断し得る。
ステップS636にて、疲労判定部323は、疲労ストレス対話情報を個人情報記憶部325に記憶する。例えば、キーワード「疲れ」の使用が検知された日時情報が個人情報記憶部325に保持される。
ステップS638にて、疲労判定部323は、家電機器350から送られてきた発話と、個人情報記憶部325に格納されているデータとに基づいて、家電機器350への発話者の疲労ストレスの度合いを総合的に判断する。例えば、キーワード「疲れ」の使用頻度と、キーワード「疲れ」が検出された間隔が短くなってきた場合、疲労判定部323は、疲労ストレスの度合いが高くなってきていると判断する。その間隔が長くなってきている場合、疲労判定部323は、疲労ストレスの度合いが低くなってきていると判断する。
ステップS640にて、全体制御部315は、サーバ310の動作モードを改めて選択する。例えば、全体制御部315は、サーバ310の動作モードとして、疲労ストレス診断発話モードを継続して選択し得る。
ステップS642にて、全体制御部315は、家電機器350のユーザが行なった回答への対応発話を選択する。
ステップS644にて、全体制御部315は、対応発話の選択結果に応じて、発話情報を通信部311を介して家電機器350に送信する。
ステップS646にて、全体制御部315は、選択された対応発話に基づいて家電機器350を動作させるための処理情報を家電機器350に送信する。
他方、ステップS660にて、全体制御部315は、一般発話のモードを選択する。ユーザが家電機器350に対して発話すると、家電機器350は、その発話を認識し、発話に対応する信号をサーバ310に送信する。サーバ310は、その発話の意味内容を解析し、解析の結果に応じた信号を家電機器350に送信する。家電機器350は、その信号を受信すると、その信号に応じた音声を出力する。ユーザが音声を認識することにより、家電機器350とユーザとの通常の対話が実現され得る。
[ハードウェア構成]
図7を参照して、本実施の形態に係る情報処理通信装置の構成について説明する。図7は、情報処理通信装置を実現するためのコンピュータ700のハードウェアを表わすブロック図である。本実施の形態において、情報処理通信装置は、例えば、医療機関サーバ230と、自治体サーバ240と、事業者サーバ250と、サーバ310とに相当する。
コンピュータ700は、主たる構成要素として、プログラムを実行するCPU(Central Processing Unit)1と、コンピュータ700のユーザによる指示の入力を受けるマウス2およびキーボード3と、CPU1によるプログラムの実行により生成されたデータ、又はマウス2若しくはキーボード3を介して入力されたデータを揮発的に格納するRAM4と、データを不揮発的に格納するハードディスク5と、光ディスク駆動装置6と、モニタ8と、通信IF(Interface)7とを備える。各構成要素は、相互にバスによって接続されている。光ディスク駆動装置6には、CD−ROM9その他の光ディスクが装着される。通信インターフェイス7は、USB(Universal Serial Bus)インターフェイス、有線LAN(Local Area Network)、無線LAN、Bluetooth(登録商標)インターフェイス等を含むが、これらに限られない。
コンピュータ700における処理は、各ハードウェアおよびCPU1により実行されるソフトウェアによって実現される。このようなソフトウェアは、ハードディスク5に予め格納されている場合がある。また、ソフトウェアは、CD−ROM9その他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置6その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信インターフェイス7を介してダウンロードされた後、ハードディスク5に一旦格納される。そのソフトウェアは、CPU1によってハードディスク5から読み出され、RAM4に実行可能なプログラムの形式で格納される。CPU1は、そのプログラムを実行する。
図7に示されるコンピュータ700を構成する各構成要素は、一般的なものである。したがって、本実施の形態に係る技術思想を実現する本質的な部分は、コンピュータ700に格納されたプログラムであるともいえる。コンピュータ700の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。
[掃除ロボットの構成]
図8を参照して、本実施の形態に係る掃除ロボット211,221の構成について説明する。図8は、掃除ロボット211,221のハードウェア構成を表わすブロック図である。以下、掃除ロボット211の構成を説明するが、掃除ロボット221の構成も同様である。
掃除ロボット211は、通信部801と、制御部802と、マイク803と、スピーカ804と、掃除部805と、駆動部806と、表示部808と、記憶部809とを備える。制御部802は、音声認識部811と、応答処理実行部812と、動作モード切換部813と、音声入力受付部814とを含む。記憶部809は、発話内容データベース820を含む。
制御部802は、掃除ロボット211の動作を制御する。ある局面において、制御部802は、プロセッサその他の演算処理装置によって実現される。
表示部808は、掃除ロボット211の状態を表示する。表示部808は、液晶モニタ、有機EL(Electro Luminescence)モニタその他の表示装置を含む。
記憶部809は、予め規定された動作を掃除ロボット211に実行させるためのプログラム、掃除ロボット211に対するユーザの発話の履歴等を保持する。ある局面において、記憶部809は、フラッシュメモリ、ハードディスクその他の不揮発性のデータ記録媒体によって、あるいは、RAMその他の揮発性のデータ記録媒体によって実現され得る。
一実施例において、通信部801は、無線によりインターネット30に接続して、ネットワーク家電その他の通信可能な家電機器と通信可能である。マイク803は、掃除ロボット211に対する発話を受け付ける。スピーカ804は、制御部802の制御に基づいて音声を出力する。
掃除部805は、ブラシ、コンプレッサその他の掃除機能を実現するための機構を含む。駆動部806は、掃除ロボット211の走行のための車輪その他の機構を含む。
制御部802において、音声認識部811は、マイク803から出力される信号に基づいて、掃除ロボット211に対する発話を認識する。応答処理実行部812は、音声認識部811の結果に基づいて掃除ロボット211の動作を決定する。別の局面において、応答処理実行部812は、通信部801を介して受信された信号に基づいて応答処理を決定し得る。
動作モード切換部813は、マイク803から出力される信号に基づいて、あるいは通信部801を介して受信される信号に基づいて、掃除ロボット211,221の動作モードを切り換える。一実施例において、動作モードは、例えば、通常の掃除モードと、対話モードとを含み得る。
音声入力受付部814は、マイク803に対して行なわれた発話音声の入力を受け付ける。他の局面において、音声入力受付部814は、通信部801を介して受信された音声信号の入力を受け付ける。
記憶部809において、発話内容データベース820は、掃除ロボット211,221に発話させるための内容を予め保持している。別の局面において、発話内容データベース820は、掃除ロボット211,221のユーザに応じた固有の発話内容を保持していてもよい。
図8を再び参照して、掃除ロボット211は、インターネット30に接続され得る。インターネット30には、事業者サーバ250が接続されている。したがって、掃除ロボット211は、クラウド側にある事業者サーバ250と通信可能である。事業者サーバ250は、例えば図7に示されるような周知の構成を有するコンピュータによって実現される。事業者サーバ250は、通信部251と、制御部252と、記憶部256とを含む。
通信部251は、通信インターフェイス7を含む。通信部251は、掃除ロボット211と通信する。通信の態様やプロトコルは特に限定されない。
制御部252は、音声入力受信部253と、音声認識部254と、応答処理実行指示部255とを含む。制御部252は、CPU1を含む。CPU1が命令を実行することにより、CPU1は、音声入力受信部253として、音声認識部254として、あるいは、応答処理実行指示部255として機能し得る。他の局面において、音声入力受信部253と、音声認識部254と、応答処理実行指示部255とのいずれかが、専用の処理回路その他の回路として構成されてもよい。
音声入力受信部253は、通信部251を介して、掃除ロボット211において入力が受け付けられた音声信号を受信する。音声認識部254は、掃除ロボット211から送られた音声信号の内容を認識する。応答処理実行指示部255は、掃除ロボット211から送られた信号の認識結果に基づいて、掃除ロボット211に応答するための処理を生成し、その処理信号を通信部251を介して掃除ロボット211に送信する。掃除ロボット211は、その処理信号を受信すると、当該処理信号に応じた音声を発話する。
記憶部256は、例えば、ハードディスク5によって実現される。記憶部256は、発話内容データベース258と、状態記憶部259とを含む。発話内容データベース258は、掃除ロボット211,221のスピーカ804を介して発話するための内容を予め保持している。状態記憶部259は、掃除ロボット211,221の状態および掃除ロボット211,221の各ユーザの各々の状態を保持している。
[サーバの制御構造]
(サーバ側基本フロー)
図9〜図10を参照して、一局面に従うサーバ310の制御構造について説明する。図9は、発話の意味の理解および対話のためのメッセージを選択するためにサーバ310が実行する音声認識処理の一例を表わすフローチャートである。サーバ310は、例えばコンピュータ700のような構成を備える。図10は、サーバ310におけるデータベースの構造の一態様を表わす図である。
ステップS910にて、コンピュータ700のCPU1は、通信インターフェイス7を介して、家電機器350から送られた音声を受信する。
ステップS920にて、CPU1は、音声認識部316として、家電機器350から受信した音声を認識して、その認識した内容を示す文字列(「入力フレーズ」ともいう。)を取得する。音声認識の処理の態様は限定されない。さらに、CPU1は、サーバ310において登録されているユーザ情報に基づいて、家電機器350への発話者(ユーザ)を特定する。
ステップS930にて、CPU1は、その文字列(入力フレーズ)を解析し、家電機器350のユーザの意図を解釈する。
ステップS940にて、CPU1は、RAM4またはハードディスク5から、家電機器350のユーザ毎(例えば、サーバ310によるサービスの提供を受けるユーザとして登録済みの家210の住人全て)の現在の動作モードを取得する。
ステップS950にて、CPU1は、動作モードを選択する。選択の対象となる動作モードは、通常対話モードと診断モードとを含み得る。一局面において、診断モードに移行するための条件が成立しているか否かに基づいて、CPU1は、動作モードを選択する。例えば、ステップS920で特定されたユーザとの対話の履歴を参照して、診断モードへの移行が必要か否かを判断する。例えば、CPU1は、診断モードへの移行の必要性を決定するために、前回の診断モードが実行された時期から経過した時間、これまでの対話において検出されたキーワードであって診断に関係し得るキーワードが今回の発話において検出されたか否か等を判断する。CPU1は、通常対話モードを選択すると、制御をステップS960に切り替え、診断モードを選択すると、制御をステップS1100に切り替える。
ステップS960にて、CPU1は、応答内容を決定する。通常対話モードでは、サーバ310は、入力フレーズを基に応答を生成し、音声発話を行う。まず、CPU1は、応答の内容を決定する。応答は、音声に限られず、別の局面においては、家電機器350の動きや家電機器350のライト(図示しない)の点滅等も含まれ得る。
より詳細には、図10を参照して、CPU1は、ハードディスク5に保存されている応答内容テーブル1000および入力フレーズテーブル1010を参照する。応答内容テーブル1000は、入力フレーズを特定するための入力フレーズIDと、具体的な入力フレーズ1002とを含む。入力フレーズテーブル1010は、家電機器350による応答を識別する応答ID1011と、当該応答に関係する入力フレーズを示す入力フレーズID1012と、家電機器350による具体的な発話の内容を示す発話メッセージ1013と、家電機器350の動作を識別する動作パターン1014とを含む。動作パターンA〜Cは、例えば、通常の動作、回転動作その他の動作を含み得る。
CPU1は、入力フレーズに対応する発話メッセージ1013を選択する。例えば、同一の入力フレーズに対して複数の発話メッセージが選択候補として存在している場合には、CPU1は、その複数の発話メッセージの中から、例えば、ランダムに一つの発話メッセージを選択する。例えば、ユーザが家電機器350に対して「おはよう」という挨拶を行なった場合、CPU1は、その挨拶に対する応答として、応答ID=1〜3の3通りの中から一つの発話メッセージをランダムに選択する。
図9を再び参照して、ステップS962にて、CPU1は、診断モードを開始するか否かを判定する。診断モードを開始する条件として、例えば、以下のような場合が考えられる。
・当該ユーザと家電機器350との間の当日の最初の会話の内容
・入力フレーズの評価(図12参照)がネガティブである場合
これにより、ユーザが家電機器350と毎日普通に会話している中で、サーバ310は、自然に当該ユーザのストレスまたは疲労の状態の診断を開始することが可能になる。なお、CPU1は、診断モードを開始すると判定すると、後述の診断モード処理(ステップS1100)を開始し得る。
ステップS980にて、CPU1は、決定した発話メッセージの文字列を用いて音声を合成し、家電機器350に発話させるための音声データを生成する。
ステップS990にて、CPU1は、音声データと選択された発話メッセージに対応する動作パターン1014を含む応答情報を家電機器350に送信する。家電機器350は、当該応答情報を受信すると、当該音声データに基づいて発話し、動作パターン1014に従った動作を行なう。これにより、ユーザと家電機器350との対話が実現されると共に、家電機器350の発話内容に応じて、ユーザのストレスや疲労は軽減され得る。
CPU1が診断モードを選択すると判断した場合、ステップS1100にて、CPU1は、後述する診断モードの処理を実行する。
その後、処理は、ステップS910に戻される。
[サーバの制御構造およびデータ構造]
(診断モード開始処理フロー)
図11および図12を参照して、一局面におけるサーバ310の制御構造についてさらに説明する。図11は、サーバ310が診断モード時に実行する処理の一例を表わすフローチャートである。一実施の形態として、サーバ310が診断モードを開始する際には、通常対話とは異なり、家電機器350がユーザに対する問いかけを開始することになるので、本処理は、メイン処理(図9)とは独立して実行される。メイン処理において、CPU1が診断モードを開始する、と判定した場合に、メイン処理とは非同期で実行され得る。
図12は、ハードディスク5における診断のためのデータの格納の一態様を概念的に表わす図である。ハードディスク5は、診断メッセージテーブル1210と、診断履歴テーブル1220とを格納している。診断メッセージテーブル1210は、診断の内容を識別するための診断ID1211と、ユーザへの問いかけを表わす文字列を有する診断メッセージ1212と、当該診断メッセージの有効期間1213とを含む。例えば、診断ID=4の診断メッセージ「食欲はある?」が一度選択されると、7日が経過するまで、当該診断メッセージは選択できなくなる。診断履歴テーブル1220は、家電機器350のユーザを同定するためのユーザID1221と、当該ユーザからの発話が受信された入力日時1222と、使用された診断メッセージを識別する診断ID1223と、当該診断メッセージの内容を示す発話メッセージ1224と、ユーザからの発話の文字列を示す入力フレーズ1225と、当該発話の評価1226とを含む。
図11を再び参照して、ステップS1110にて、CPU1は、診断モードを開始するとの判定結果(図9におけるステップS950からステップS1100への流れ)を待機している。
ステップS1120にて、CPU1は、内部クロック(図示しない)からの時刻情報と、入力日時1222のデータとを用いて、直前の発話から経過した時間を取得する。
ステップS1130にて、経過した時間が一定時間(例えば1分)以上である場合、CPU1は、家電機器350のユーザからの発話がなくなったと判断し(ステップS1130にてYES)、CPU当該ユーザに対する問いかけを開始する。
ステップS1130にて、CPU1は、予め規定された一定時間が経過したか否かを判断する。例えば、直前の発話から経過した時間が予め設定された一定時間(例えば1分)以上である場合、CPU1は、家電機器350のユーザからの発話がなくなったと判断する。CPU1は、直前の発話からの時間を取得してから一定時間が経過したと判断すると(ステップS1130にてYES)、制御をステップS1140に切り換える。そうでない場合には(ステップS1130にてNO)、CPU1は、制御をステップS1120に戻す。例えば、家電機器350とユーザとの通常の対話が続いている場合、当該経過した時間は一定時間内に収まるはずなので、結果として、CPU1は、その対話が終了するまで、次の処理を待機することになる。
ステップS1140にて、CPU1は、診断内容を決定する。例えば、CPU1は、診断メッセージテーブル1210(図12)から、診断メッセージ1212をランダムに選択する。なお、同じ診断メッセージを用いて同じ問いかけを繰り返しても意味がないので、CPU1は、診断履歴テーブル1220も参照して、直近の問いかけに用いられた診断メッセージ(すなわち、発話メッセージ1224)を除いた残りの候補から診断メッセージ1212を選択し得る。
ステップS1150にて、CPU1は、メイン処理と同様に、選択した診断メッセージの文字列を用いて音声を合成し、家電機器350に発話させるための音声データを生成する。
ステップS1160にて、CPU1は、音声データを含む応答情報を家電機器350に送信する。
ステップS1170にて、CPU1は、選択した診断メッセージとユーザIDとを含む診断内容を診断履歴テーブル1220に記録して、診断履歴テーブル1220を更新する。入力フレーズ1225および評価1226については、CPU1は、ユーザからの応答を受信した後にデータを格納するので、この時点ではブランク(NULL)としておくことが望ましい。
ステップS1180にて、CPU1は、動作モードを更新する。より具体的には、CPU1は、当該ユーザについてのサーバ310の動作モードを「診断モード」に設定する。したがって、その後、サーバ310が家電機器350のユーザの音声を受信した場合には、CPU1は、診断モードの処理を実行し得る。
その後、制御は、ステップS1110に戻される。
なお、サーバ310は、図12に示される履歴を用いて、一定期間内の合計、あるいは、特定のユーザについての履歴等を集約する構成を有していてもよい。このような構成により、必要に応じて、サーバ310は、家電機器350のユーザ、医療機関、自治体等にレポートを送信することができる。
(診断モード処理フロー)
図13〜図15を参照して、家電システム20の制御構造についてさらに説明する。図13は、CPU1が実行する診断モード処理の一例を表わすフローチャートである。診断モードでは、サーバ310は、家電機器350を介してユーザに対していくつかの問いかけを行ない、問いかけに対するユーザからの応答に基づいて、ユーザのストレスや疲労その他のメンタルな状態を診断する。
図14および図15は、それぞれ、ハードディスク5におけるデータの格納の一態様を概念的に表わす図である。一実施例において、図14に示されるように、ハードディスク5は、回答評価テーブル1400を保持している。回答評価テーブル1400は、ユーザからの回答を識別する回答ID1401と、問いかけに用いられた診断メッセージ1212を識別する診断ID1402と、回答から得られた文字列を示す入力フレーズ1403と、診断の結果を示す評価1404とを含む。診断ID1402は、診断ID1211に対応する。
図15に示されるように、ハードディスク5は、通常メッセージテーブル1510と、癒しメッセージテーブル1520とを含む。通常メッセージテーブル1510は、メッセージID1501とメッセージ1502とを含む。癒しメッセージテーブル1520は、メッセージID1521と、メッセージ1522とを含む。
癒しメッセージテーブル1520には、通常メッセージテーブル1510に含まれるメッセージ1502よりも、癒しを感じさせるメッセージ1522が格納され得る。癒しを感じさせるメッセージ1522とは、例えば、ユーザを気遣うフレーズ、体調の改善またはストレスを軽減するための行動を促すフレーズ、ユーザに笑いをもたらすフレーズ、ユーザを感動させるフレーズ等である。ユーザを気遣うフレーズは、例えば、「頑張ってるね」、「頑張り過ぎないで」、「心配してるよ」等であるが、その他のフレーズも含み得る。体調の改善またはストレスを軽減するための行動を促すフレーズは、例えば、「たまには早く寝たら」、「明日は休んだら」、「明日は自治会の野球大会あるよ」等であるが、その他のフレーズも含まれ得る。ユーザに笑いをもたらすフレーズは、例えば、「布団がふっとんだ」のような駄洒落、ジョーク等を含み得る。
別の局面において、癒しを感じさせるメッセージに代えて、ストレスを軽減させるための音声コンテンツ1530がサーバ310に格納されていてもよい。音声コンテンツ1530は、例えば、犬、猫、鳥のような動物の声や、詩の朗読、音楽等を出力するためのデータを含み得る。
さらに別の局面において、通常メッセージテーブル1510に含まれるメッセージ1502に基づいて出力される音声と、癒しメッセージテーブル1520に含まれるメッセージ1522に基づいて出力される音声との間で、声質を変えることにより、癒し度合いに差がつけられてもよい。声質の変更の一態様は、例えば、通常メッセージは男性の音声で出力し、癒しメッセージは女性の音声で出力する等である。また、通常メッセージと癒しメッセージとがいずれも女性の声で発せられる場合において、各メッセージの声色を変えることで、癒しが一層感じられるようにしてもよい。
別の局面において、出力される音声のピッチ(高低)を変えることにより、癒し度合いに差がつけられてもよい。音声のピッチの変更の一態様として、例えば、癒しとして元気を出して欲しいときに、音声のピッチを標準よりも高くしてもよいし、逆に、癒しとして声に優しさを含ませるために、音声のピッチを標準よりも低くしてもよい。
別の局面において、出力される音声の発話スピードを変えることにより、癒し度合いに差がつけられてもよい。例えば、癒し度合いを増やしたいときは、発話スピードを標準速度より遅くすることで、ユーザに優しさを感じさせるようにしてもよい。逆に、発話スピードを標準より早くすることで、ユーザに励みを感じさせるようにしてもよい。
別の局面において、出力される音声のボリュームを変えることにより、癒し度合いに差がつけられてもよい。例えば、癒し度合いを増やしたいときは、音声を標準より小さくすることで、ユーザに優しさを感じさせるようにしてもよい。逆に、音声を標準より大きくすることで、ユーザに励みを感じさせるようにしてもよい。
別の局面において、出力される音声のイントネーションを変えることにより、癒し度合いに差がつけられてもよい。例えば、癒し度合いを増やしたいときは、「こんにちは」というフレーズにつき、イントネーションを変えることで例えば関西弁のように出力させ、ユーザに親しみやすさや笑いを感じさせるようなフレーズにしてもよい。さらに別の局面において、癒し度合いに差をつけるための上記の各態様は、適宜選択されて組み合わされてもよい。
また、別の実施例において、個々のユーザに応じた癒しメッセージテーブルが構成されてもよい。このような癒しメッセージテーブルは、たとえば、男性ユーザに対して女性の声を出力するためのテーブル、おじいちゃんやおばあちゃんのような老人に対して子供の声を出力するためのテーブル等を含み得る。さらに別の局面において、サーバ310が他の情報通信装置から最新情報を入手できるように構成されている場合には、サッカーに興味のあるユーザに対して、サーバ310は、昨日のサッカーの試合結果および選手のプレイ情報等を当該他の情報通信装置から入手して、例えば「昨日の○○選手のゴールはすごかったね」と発話するための音声データを合成してもよい。音声合成は周知の技術で実現できるので詳細な説明は繰り返さない。また、家電機器350のターゲットとするユーザに応じて癒しメッセージテーブルが構成されてもよい。
図13を再び参照して、ステップS1310にて、CPU1は、診断履歴テーブル1220を参照して、直前に家電機器350から発せられた発話の内容(診断ID1223)を取得する。
ステップS1320にて、CPU1は、回答評価テーブル1400を参照して、当該発話から得られた入力フレーズ1403を評価する。一例として、CPU1は、直前に家電機器350から発話した診断メッセージ1224の診断ID1223と一致している診断IDのうち、ユーザからの入力フレーズ1225と一致する入力フレーズ1403があるかどうかを調べるために、回答評価テーブル1400を検索する。一致の程度は、例えば、所謂編集距離が用いられる。入力フレーズ1225と一致する入力フレーズ1403があれば、CPU1は、当該入力フレーズ1403に関連付けられる評価1404の値を入力フレーズ1403に対する評価とする。他方、一致する入力フレーズ1403がなければ、CPU1は、当該回答の評価を「0」とする。
例えば、直前の問いかけ(発話メッセージ1224)が「今日の調子はどう?」(診断ID1211の値「1」)であり、その問いかけに対するユーザの応答が「調子いいよ」であった場合、回答ID1401=1が該当するので、この入力フレーズに対する評価は「+1」となる。一方、ユーザの回答が「うん」という肯定の回答であっても、問いかけした内容によって評価は変わり得る(例えば、回答ID1401=7、11の場合を参照)。そのため、ユーザの回答「うん」が家電機器350の問いかけ「昨晩は良く眠れた?」(診断ID1211=2に対応する診断メッセージ1212)に対する回答(回答ID1401=7)であれば、評価1404の値は「+1」となる。一方、当該回答「うん」が家電機器350の問いかけ「最近、眠りが浅い、と感じる?」(診断ID1211=3に対応する診断メッセージ1212)に対する回答(回答ID=11)であれば、評価1404の値は「−1」となる。
ステップS1330にて、CPU1は、評価を行なった入力フレーズおよびその評価結果を、入力フレーズ1225および評価1226として診断履歴テーブル1220に記録する。
ステップS1340にて、CPU1は、診断モードを継続するか否かを判断する。この判断は、例えば、サーバ310に与えられる信号、家電機器350に対する回答の結果などに基づいて行なわれる。一具体例として、CPU1は、現在の診断モード中の問いかけ数をカウントし、予め設定された回数の問いかけを行った時点で診断モードを終了する。この回数が多すぎると、問いかけが頻繁に行なわれることになるため、ユーザにも負担となる。そのため、例えば、回数は例えば3回程度が好ましいが、回数は3回に限られず、1回でもよい。CPU1は、診断モードを継続すると判断すると(ステップS1340にてYES)、制御をステップS1350に切り換える。そうでない場合には(ステップS1340にてNO)、CPU1は、制御をステップS1370に切り換える。
(診断モードを継続する場合)
ステップS1350にて、CPU1は、家電機器350がユーザに対して次に問いかけるための診断内容を決定する。
ステップS1360にて、CPU1は、診断内容を診断履歴テーブル1220に記録する。
(診断モードを終了する場合)
ステップS1370にて、CPU1は、診断結果に基づいて家電機器350のユーザのメンタル状態を評価する。より具体的には、例えば、現在の診断モードにおいて、診断履歴テーブル1220に記録されている評価1226の値が負の場合、CPU1は、当該ユーザのメンタル状態が悪い、すなわち、ユーザは何らかのストレスや疲労を抱えていると判断する。家電機器350が複数回の問いかけを行なった場合には、CPU1は、各問いかけに対する回答それぞれの評価1226の合計値を用いてユーザのメンタル状態を判断する。
ステップS1380にて、CPU1は、評価結果に応じて家電機器350による応答内容を決定する。例えば、CPU1は、通常メッセージテーブル1510および癒しメッセージテーブル1520を参照して、応答内容を決定する。CPU1は、ユーザのメンタル状態が悪いと判断した場合には、癒しメッセージテーブル1520から応答のためのメッセージ1522をランダムに選択する。そのようなメッセージ1522が家電機器350によって発話されると、ユーザのメンタル状態を改善させる効果が期待され得る。一方、CPU1は、ユーザのメンタル状態が悪くないと判断した場合には、通常メッセージテーブル1510から応答のためのメッセージ1502をランダムに選択する。
ステップS1390にて、CPU1は、サーバ310の動作モードを診断モードから通常モードに変更する。
(履歴を基にした診断)
なお、ユーザのメンタル状態の診断は、現在の診断モードにおける評価に限られず、例えば、当該ユーザの過去の履歴に基づいて診断を行なってもよく、より効果的な診断を行うことが可能となる。
例えば、以下のような診断方法が考えられる。
・当日の全ての診断結果を用いる診断(1日分の評価値の合計値)
・予め定められた期間内の全ての診断結果を用いる診断(直近3日間の評価値の合計値)・1日ごとに評価値を算出し、評価値が負となる日が予め定められた日数(例えば3日)連続した場合に、ユーザのメンタル状態が悪いと判断するような診断
・1日ごとに評価値を算出すると共に、1週間ごとの評価値の平均値も算出する。直近1週間の評価値が負であり、かつ、直近1週間の評価値とその直前の1週間の評価値との差が予め規定された閾値以上である場合、メンタル状態が悪化傾向にあると判断し、メンタル状態が悪い、と判断する。
なお、上記の説明では、例えば、図10、図12、図15に示されるように、発話のためのデータとして各メッセージに対応する音声データが予めハードディスク5のような記憶装置に格納されている態様が例示されている。しかしながら、音声出力のためのデータの保持の態様は、上記の例に限られない。例えば、文字列と、音声合成のためのデータとが記憶装置に保持されており、発話の内容に対応する文字列を用いて音声合成を行なうことにより、癒しメッセージが音声として発話されてもよい。音声合成の態様は特に限られず、波形接続型音声合成その他の周知の手法が用いられ得る。
癒しのメッセージは、一回の対話で会話が終わるようなものに限られず、会話が続くような発話であってもよい。例えば、家電システム20は、発話者の回答を認識すると、次の回答を促すような問いかけを含む発話を癒しのメッセージとして発話してもよい。より具体的には、一般に、人の疲れやストレスを軽減するための手段にはいろいろなものがあり、また、軽減される程度も人によって異なる。そこで、家電システム20は、疲れやストレスの軽減に寄与し得る動作を促すメッセージを、順次発するようにしてもよい。一例として、家電システム20は、「少し休んだら?」、「それでは、散歩したら?」、「旅行はどう?」、「美味しいケーキを食べるのはどう?」のように、発話者の回答に対して、次の回答を引き出すような発話を順次行ってもよい。
また、上記の例の多くは、癒しのメッセージ1522が予めサーバ310に準備されている場合が示されていた。別の局面において、メッセージ1522は、別の情報通信端末からサーバ310または家電機器350に登録可能なものであってもよい。たとえば、図2を参照して、家210の家人が遠隔地にある家220に滞在している時、家210の家族は、スマートフォンその他の情報通信端末を介して事業者サーバ250その他のサーバ310あるいは家220に設けられている掃除ロボット221その他の機器にメッセージを吹き込むようにしてもよい。家220にいる滞在者は、掃除ロボット221その他のから、その家族の音声を聞くことにより、疲れやストレスが軽減され得る。
<第8の実施の形態>
[映像が用いられる場合]
上記の各実施の形態では、家電機器350によるユーザへの問いかけとして音声が用いられる場合が例示された。ユーザに対する問いかけは、音声に限られず、例えば、文字その他の画像あるいは映像であってもよい。
そこで、図16を参照して、当該技術思想の他の適用例について説明する。図16は、第8の実施の形態に従う家電機器350であるテレビ215がユーザと対話する局面を表わす図である。
例えば、ある局面Aにおいて、テレビ215は、電源が入っていないが待機状態である。その後、サーバ310が診断モードを開始すると判断した場合、あるいは、予め定められたタイミングが到来した場合、テレビ215は、ユーザの状態を問いかけるような画像やメッセージを表示する。さらに、テレビ215は、リモコン(図示しない)の操作を促すようなメッセージを表示してもよい。
ユーザがリモコンを操作することによりテレビ215の表示に応答すると、その応答結果はサーバ310に送信され、ユーザの状態が診断される。サーバ310がユーザのメンタル状態が良好でないと判断すると、サーバ310は、ユーザの笑いを誘うような映像、画像あるいは文字情報を表示するための命令をテレビ215に送信する。テレビ215は、その命令の受信に応答して、そのような映像、画像あるいは文字情報を表示する。ユーザは、このような表示を視認すると、思わず笑う場合もあり得るので、ストレスや疲労が軽減され得る。
以上のようにして、本実施の形態に係る技術思想によれば、家電システム20を構成する家電機器350はユーザに音声や映像で問いかけを行ない、その問いかけに対するユーザの回答を取得し、ユーザのメンタル状態を診断する。家電システム20は、その診断結果に基づく音声や映像をユーザに出力するので、その音声や映像を認識したユーザのストレスや疲労が緩和され得る。
なお、上述の説明からも明らかなように、本実施の形態において、家事(=日常生活における活動)の定義としては、掃除、洗濯、炊事に留まるわけではない。したがって、本実施の形態における家電機器は、掃除ロボット、洗濯機、炊飯器、エアコン、テレビのような狭義の家庭用電子機械に限られない。家電機器は、たとえば、移動に関して、言語的なコミュニケーションで運転をサポートするナビゲーションシステムを搭載する自動車や、歩行困難者をアシストする電動車いす、力仕事をサポートするパワースーツ等も含み得る。換言すれば、本実施の形態に係る技術思想は、音声、文字、画像その他の言語的なインタフェースによって、日常生活を補助する機能を実行可能な装置であればよい。
<第9の実施の形態>
また、上述の例では、疲れまたはストレスの軽減のために、音声や映像が用いられる場合が示されたが、疲れやストレスの軽減は、音声や映像によってのみ軽減されるものではない。例えば、芳香剤の放出(すなわち、匂い)、映像の投影(すなわち、色)、家電機器のダンス(すなわち、動き)等によっても実現され得る。より具体的には、別の局面において、家電機器350は、発話に対するユーザの回答を受けて、ユーザがストレスまたは疲労を感じていると判断すると、予め充填されていた芳香剤を放出する。別の局面において、家電機器350がプロジェクタ機能を備えている場合もあり得る。この場合、家電機器350は、発話に対するユーザの回答を受けて、ユーザがストレスまたは疲労を感じていると判断すると、家電機器350は、設置されている部屋の天井に向けて、あるいは、側面に向けて、映像を表示する。当該映像は、たとえば、ヒーリング効果が高いとされる映像、外国の風景の映像等を含み得る。
さらに別の局面において、家電機器350としての掃除ロボット221は、発話に対するユーザの回答を受けて、ユーザがストレスまたは疲労を感じていると判断すると、歌いながら動いてもよい。音声と動きによって、ユーザのストレスや疲労が軽減され得る。
要約すると、本実施の形態に係る技術思想は、たとえば、以下のような構成によって実現される。
[構成1]
一局面に従う対話型家電システムは、
音声を出力するための音声出力部と、
音声の入力を受け付けるように構成された音声入力部と、
発話者との会話に基づいてストレスまたは疲労を判定するための判定基準を格納するように構成された判定基準記憶部と、
ストレスまたは疲労を軽減する音声を出力するためのデータを格納するように構成された対話データ記憶部と、
上記判定基準と発話者の応答とに基づいて、当該発話者のストレスまたは疲労を判断するように構成された判断部とを備え、
上記音声出力部は、上記判断の結果と上記データとに基づく発話を出力するように構成されている。
[構成2]
上記対話型家電システムに対する入力に基づいて、発話者を特定するように構成された特定部をさらに備える、構成1に記載の対話型家電システム。
[構成3]
上記対話型家電システムに対する一人以上の発話者の履歴を格納するように構成された履歴記憶部をさらに備え、
上記判断部は、上記履歴に基づいて、当該発話者のストレスまたは疲労を判断するように構成されている、構成2に記載の対話型家電システム。
[構成4]
上記判断部による判断結果または上記対話型家電システムによる対話状況を、上記対話型家電システムと通信可能な情報処理端末に送信するように構成された送信部をさらに備える、構成1〜3のいずれかに記載の対話型家電システム。
[構成5]
発話者との対話状況に関する情報を受信するように構成された受信部をさらに備える、構成1〜4のいずれかに記載の対話型家電システム。
[構成6]
上記判断部による判断結果または発話者との対話状況を集計するように構成された集計部をさらに備える、構成1〜5のいずれかに記載の対話型家電システム。
[構成7]
他の局面に従うサーバ装置は、
対話型家電機器から信号を受信するための受信部と、
音声を出力するための音声出力部と、
音声の入力を受け付けるように構成された音声入力部と、
発話者との会話に基づいてストレスまたは疲労を判定するための判定基準を格納するように構成された判定基準記憶部と、
ストレスまたは疲労を軽減する音声を出力するためのデータを格納するように構成された対話データ記憶部と、
上記判定基準と上記対話型家電機器からの音声信号とに基づいて、上記対話型家電機器に対する発話者のストレスまたは疲労を判断するように構成された判断部と、
上記判断の結果と上記データとに基づく発話を出力するための信号を上記対話型家電機器に送信するための送信部とを備える。
[構成8]
他の局面に従う対話型家電機器は、
音声を出力するための音声出力部と、
音声の入力を受け付けるように構成された音声入力部と、
上記家電機器に対する発話に応答して発話者の生活を支援するための動作を行なう駆動機構とを備え、
上記音声出力部は、発話者との会話に基づいてストレスまたは疲労を判定するための判定基準および上記回答を用いて行なわれるストレスまたは疲労の判断の結果と、ストレスまたは疲労を軽減するための音声データとに基づいて、上記ストレスまたは疲労を軽減するための発話を出力するように構成されている、対話型家電機器。
[構成9]
他の情報通信装置に上記発話者の応答内容を表わす信号を送信するように構成された送信部と、
上記情報通信装置から、上記応答内容を用いて行なわれた上記判断の結果と上記データとに基づく発話を受信するように構成された受信部とをさらに備える、構成9に記載の対話型家電機器。
[構成10]
家電機器が対話を行なうための方法であって、
音声を出力するステップと、
音声の入力を受け付けるステップと、
発話者との会話に基づいてストレスまたは疲労を判定するための判定基準にアクセスするステップと、
ストレスまたは疲労を軽減する音声を出力するためのデータにアクセスするステップと、
上記判定基準と発話者の応答とに基づいて、当該発話者のストレスまたは疲労を判断するステップと、
上記判断の結果と上記データとに基づく発話を出力するステップとを含む、方法。
[構成11]
構成10に記載の方法をコンピュータに実現させるためのプログラム。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。