〔実施形態1〕
以下、本発明の実施形態について、図1〜図5に基づいて詳細に説明する。
(発話システムの概要)
図2は、本実施形態に係る発話システムの概略構成を示す図である。本実施形態において、本発明の音声システムは、一具体例として、電子機器がユーザに対して発話を実行する発話システム100(音声システム)に適用される。発話システム100は、本発明の音声出力制御装置としてのクラウドサーバ1と、本発明の電子機器としての家庭用電子機器(以下、家電)2とを含む。家電2(電子機器)は、ユーザ宅に、少なくとも1台、より好ましくは複数台設置されている。
発話システム100は、必要に応じて、さらに、発話を実行する携帯型の音声出力装置として、通信端末3を含んでいてもよい。通信端末3(携帯型電子機器)は、例えば、スマートフォン、タブレット端末、携帯電話などであり、ユーザによって携帯されている。クラウドサーバ1(音声出力制御装置)、通信端末3、および、家電2は、広域通信ネットワーク5を介して接続するよう構成されている。なお、家電2および通信端末3について、数や種類は限定されず、個別に説明する必要のない場合は、総称として家電2と通信端末3とを用いる。また、クラウドサーバ1によって管理されるユーザ宅の数も限定されない。
なお、家電2のそれぞれには、図示しない家電アダプタが接続されており、家電アダプタは、通信部の一部を構成し、家電2を広域通信ネットワーク5に接続させる。これによって、家電2を、いわゆるネットワーク家電にすることができ、クラウドサーバ1などの外部装置が家電2を、広域通信ネットワーク5を介して制御できるようになる。
ユーザ宅には、狭域通信ネットワークである無線LAN(Wireless Local Area Network)が整備されており、無線LANの中継局4は、インターネットを含む広域通信ネットワーク5と接続されている。中継局4は、例えばWi−Fi(登録商標)ルータやWi−Fi(登録商標)アクセスポイントなどの通信機器である。ここでは、広域通信ネットワーク5としてインターネットを含む構成を例示しているが、電話回線網、移動体通信網、CATV(CAble TeleVision)通信網、衛星通信網などを利用することもできる。
広域通信ネットワーク5及び無線LANの中継局4を介して、クラウドサーバ1とユーザ宅に設置された家電2とが通信可能となっている。また、広域通信ネットワーク5を介して、クラウドサーバ1と通信端末3とが通信可能になっている。通信端末3と広域通信ネットワーク5におけるインターネットとの間は、3G(3rd Generation)、LTE(Long Term Evolution)や、宅内あるいは公衆のWi−Fi(登録商標)アクセスポイントなどを利用して接続される。
発話システム100において、ユーザに対する発話は、発話を制御するクラウドサーバ1と、その制御にしたがって発話を実行する家電2との間でいくつかの情報が送受信されることによって実現される。より詳細には、まず、ユーザが居る場所の状況は、家電2からクラウドサーバ1に対してほぼリアルタイムで随時報告される状況レポート(状況情報)を分析することによって、クラウドサーバ1にて把握される。状況レポートは、具体的には、家電2の自機の稼働状況を示す稼働ログ(稼働状況情報)であってもよいし、家電2に備えられた各種センサが測定または検知したセンサ値または該センサ値を分析した分析結果を含むセンシング情報であってもよい。家電2は、状況に変化が生じたタイミングで、状況レポートを送信してもよいし、所定の周期で定期的に送信してもよいし、その両方のタイミングで送信してもよい。
次に、家電2に発話をさせるべき何らかのイベント(発話イベント)がユーザ宅において発生すると、クラウドサーバ1は、家電2から供給された状況レポートを分析してユーザがおかれている状況を判断し、発話内容をユーザに伝達するために、該状況に応じて家電2を制御する。具体的には、クラウドサーバ1は、発話を実行させる家電2(以下、発話主体機器)に対しては、発話の実行を指示するとともに、その発話内容を供給する。なお、発話内容には、発話音声をデータ化した出力音声データが含まれていてもよい。
クラウドサーバ1は、これに加えて、制御情報を、制御対象の家電2にそれぞれ送信して、各家電2を制御する。この制御は、発話内容をユーザにより確実に伝達するために、ユーザがおかれている状況(つまり、家電2の状況および家電2の周囲の状況)に応じて行われる。制御情報には、例えば、これには限定されないが、発話指示、静音運転指示、環境音取得指示、残響音取得指示、移動指示などが含まれる。
なお、本実施形態では、発話システム100は、ユーザの発話(マイクなどを介して入力された音声)を取得して音声認識を行い、その内容に応答する発話を家電2に実行させることにより、ユーザとの対応を実現する対話システムとしても機能する。この場合、家電2は、自機のマイクで拾ったユーザの音声をクラウドサーバ1に送信する。クラウドサーバ1は、家電2から受信した入力音声データに対して音声認識処理を実行し、実行結果として特定された出力音声データを家電2に返す。
入力音声データは、マイクをセンサの一種と捉えると、センサが検知した情報という意味で広義にはセンシング情報に含まれる。マイクが検知したセンシング情報を、他のセンサによって検知されたセンシング情報と区別したい場合には、入力音声データと称する。入力音声データは、クラウドサーバ1によって、その内容に応じて、ユーザ発話データ、環境音データ、残響音データに分類される。ユーザ発話データは、マイクを介して入力されたユーザの発話の音声である。環境音データおよび残響音データについては後述のそれぞれの実施形態において詳細に説明する。
なお、本実施形態では、クラウドサーバ1は、クライアント(ユーザ宅)ごとに、家電2および通信端末3を個々に登録して管理している。したがって、クラウドサーバ1は、データを受信するときは、どの家電2または通信端末3から送信されたデータであるのかを把握することが可能であり、データを送信するときは、どの家電2または通信端末3宛てであるかを指定して送信することが可能である。
(家電の構成)
図1は、発話システム100における家電2の要部構成を示すブロック図である。家電2は、図1に示すように、制御部40、通信部41、操作部42、センサ43、マイク44、スピーカ45および機能実行部46を備えている。なお、家電2は、例えば、空気調和機(以下、エアコン)、空気清浄機、冷蔵庫、洗濯機、電子レンジまたは炊飯器などの調理器具、照明装置、給湯機器、撮影機器、テレビまたは録画再生装置などの各種AV(Audio-Visual)機器、各種家庭用ロボット(例えば、自走式掃除機、家事支援ロボット、動物型または人型ロボット等)等である。
制御部40は、家電2の各部の動作を統括的に制御する。制御部40は、例えば、CPUや専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置から成る。制御部40は、機能ブロックとして、レポート生成部50、音声制御部51および機能制御部52を備えている。
レポート生成部50(状況通知部)は、上述の状況レポート(状況情報)を生成するものである。例えば、家電2(エアコン)がある機能(冷房などの強運転)を実行しているとき、当該家電2が稼働中であり、ある機能を実行中であることを示す稼働ログ(電源ON/強)を状況レポートとして生成する。あるいは、家電2のセンサ43によって、家電2または家電2を取り巻く環境についてある状態が検知されると、その検知結果を示すセンシング情報を状況レポートとして生成する。該状況レポートがクラウドサーバ1に供給されることにより、クラウドサーバ1にて、ユーザがおかれている状況が随時把握される。
音声制御部51は、マイク44およびスピーカ45(音声出力部)を介して、家電2における音声の入出力を制御する。具体的には、マイク44が取得した音声を録音し、これを、入力音声データとして、通信部41を介してクラウドサーバ1に供給する。さらに、クラウドサーバ1によって供給された出力音声データを通信部41を介して取得し、これをユーザが聴取可能な音声として、スピーカ45を制御して出力する。これにより、ユーザによって発話された音声がユーザ発話データとしてクラウドサーバ1に供給され、該ユーザの発話内容に応じて機器に発話させる出力音声データがクラウドサーバ1によって作成される。該出力音声データは、家電2に供給され、上記ユーザの発話に対する応答として、家電2から発話される。こうして、発話システム100において、ユーザと家電2との対話が実現される。
機能制御部52は、家電2のそれぞれが有している本来の機能である。機能制御部52は、当該機能を実現するために標準的に家電2に備えられている各種部品または機構(機能実行部46)を駆動させることにより、家電2本来の機能を実現する。この機能の具体例としては、洗濯機の洗濯機能、冷蔵庫の冷却機能、電子レンジの加熱機能、エアコンの冷暖房機能、自走式掃除ロボットの掃除機能などである。機能制御部52は、通信部41を介してクラウドサーバ1から供給された制御情報を取得し、この制御情報の内容にしたがって、機能実行部46の運転を制御する。これにより、クラウドサーバ1によって、各家電2の稼働/非稼働、および、稼働時の運転内容が制御される。
通信部41は、上述の家電アダプタを含み、広域通信ネットワーク5を介してクラウドサーバ1と相互通信を行う。なお、図示しないが、家電2は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)などの記憶部を含み、家電2にて用いられる各種データを、該記憶部に記憶することができる。
操作部42は、ユーザによる入力操作を受け付ける。操作部42は例えば物理ボタン、タッチパネルなどであり、入力操作を受け付けたことを示す入力信号を、レポート生成部50および機能制御部52に出力する。レポート生成部50および機能制御部52は、入力信号にしたがって、状況レポートを作成したり、機能実行部46による運転を制御したりする。操作部42は、テレビやエアコンなどを操作するリモコンであってもよいし、冷蔵庫、洗濯機、電子レンジまたは炊飯器などにおいて開閉されるドアやフタであってもよい。
センサ43は、家電2の状態または家電2を取り巻く周囲の環境の状態を検知する。センサ43によって検知された結果は、センシング情報として、レポート生成部50によって処理される。センサ43は、例えば、人感センサ、温度センサ、照度センサ、ドアまたはフタなどの開閉センサ、変位センサなどが含まれる。なお、操作部42は、ユーザ操作の有無を検知するという意味で、広義にはセンサ43に含まれる。また、マイク44は、家電2周囲で発生した音を検知するという意味で、広義にはセンサ43に含まれる。
マイク44は、ユーザが制御部40に対して入力する音声を取得する。マイク44によって取得された音声は、音声制御部51によって入力音声データとして処理される。スピーカ45は、制御部40の音声制御部51によって処理された出力音声データを、ユーザが聴取する音声として出力する。
(クラウドサーバの構成)
図1においては、発話システム100におけるクラウドサーバ1の要部構成も併せて示す。クラウドサーバ1は、ユーザ宅ごとに、各家電2を管理および制御するサーバであり、図1に示すように、制御部10、通信部11および記憶部12を備えている。制御部10は、例えば、CPU(Central Processing Unit)や専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置から成り、クラウドサーバ1の各部の動作を統括的に制御する。制御部10は、機能ブロックとして、情報管理部20、音声解析部21、発話制御部22、および、運転制御部23を備えている。通信部11は、広域通信ネットワーク5を介して、家電2および通信端末3と相互通信を行う。記憶部12は、クラウドサーバ1で用いられる各種データを記憶する。記憶部12は、例えば、機器情報30および発話データ31を記憶する。さらに、記憶部12は、必要に応じて、音環境情報32および機器配置マップ33を記憶していてもよい。発話データ31は、家電2に発話させる内容をテキストデータまたは音声データの形式にて複数格納するものであり、これらの発話データを1つ以上組み合わせて、発話制御部22が、出力音声データを作成する。つまり、発話データ31は、出力音声データの素材である。各発話データ31には、重要度(緊急度も含む)、発話条件などの付属情報が関連付けられていてもよい。上述の各機能ブロックの詳細な機能、および、機器情報30および機器配置マップ33の具体例について、以下詳細に説明していく。
情報管理部20は、家電2から供給された状況レポートの内容を分析して、その家電2の機器情報を管理し、把握するものである。情報管理部20は、状況レポートの分析結果に応じて、記憶部12に記憶されている機器情報30を更新し、機器情報30が家電2の最新の状態を反映しているように維持する。これにより、制御部10は、それぞれのユーザ宅における各家電2の最新の状態を参照して、ユーザがおかれている状況を把握することが可能となる。
音声解析部21は、家電2から供給された入力音声データを解析して、解析結果を制御部10の下流の機能ブロックに通知する。例えば、入力音声データが、ユーザ発話データである場合、このユーザの発話に対して応答するように発話制御部22に通知する。あるいは、入力音声データが、環境音データおよび残響音データである場合には、それらの解析結果を音環境情報32として記憶部12に記憶したり、該解析結果を運転制御部23に通知したりする。
発話制御部22(出力機器決定部)は、家電2が発話すべきイベントが発生した場合に、家電2に発話させるべき内容を含む出力音声データを作成する。例えば、発話制御部22は、音声解析部21によってテキストデータ化されたユーザ発話データを参照し、家電2に発話させる出力音声データを作成する。ユーザとの対話を実現するためには、出力音声データは、ユーザの発話に対する応答としてふさわしい内容を含んでいなければならない。そこで、発話制御部22は、出力音声データの素材として記憶部12に格納されている、1以上の発話データ31、および、ユーザによって発話されたキーワードを組み合わせて、ユーザとの対話が成立するような内容を含む出力音声データを生成する。対話を実現するための発話内容の決定に係る技術に関しては、既存の技術が利用できる。
さらに、発話制御部22は、上記のように作成した出力音声データを出力する、すなわち、発話を実行する主体となる家電2(以下、発話主体機器)を、機器情報30の内容に基づいて決定する機能を有する。つまり、発話制御部22は、ユーザがおかれている状況に応じて好ましい発話主体機器(音声出力機器)を決定することより、ユーザに発話内容がより確実に伝達されるようにする。発話主体機器の決定方法については後に詳述する。
運転制御部23は、発話制御部22によって決定された発話主体機器、および、それ以外の家電2のそれぞれに対して、ユーザに発話内容がより確実に伝達されるようにするための運転制御を行う。一例として、運転制御部23は、発話主体機器と同じ部屋にある発話主体機器以外の家電2に対して静音制御を実行する。静音制御とは、現在稼働中の家電2に対して、稼働音がより小さくなるように、現在実行中の機能の程度を弱めたり、別の機能を実行したり、あるいは、機能の実行を中止したりすることを指示する、すなわち静音運転の実行を指示する制御情報を、各家電2に送信することである。この制御情報にしたがえば、発話主体機器以外の家電2(以下、非発話機器)は、自機が発生させている稼働音をこれまでよりも小さくすることができる。これにより、発話主体機器から出力される音声をユーザが聞き取りやすくなり、ユーザに発話内容がより確実に伝達される。
(機器情報)
図3に、記憶部12に記憶されている機器情報30の一具体例を示す。なお、図3において、機器情報をテーブル形式のデータ構造にて示したことは一例であって、機器情報のデータ構造を、テーブル形式に限定する意図はない。以降、データ構造を説明するためのその他の図においても同様である。
機器情報30は、当該ユーザ宅に設置されている家電2に関する1以上の情報の集合である。なお、クラウドサーバ1が、複数のユーザ宅を管理している場合には、図3に示す機器情報30のテーブルは、ユーザ宅ごとに作成され、クライアントIDなどによってどのユーザ宅の機器情報30であるのかをクラウドサーバ1において特定できるようになっている。機器情報30は、性質上、(1)基本情報、(2)状態情報、および、(3)センシング情報の3つに大別される。
基本情報は、家電2に関する基本的な情報からなる。例えば、図3に示すとおり、機器ID、機器種別、スピーカ位置(実施形態1では不要)、および、配置場所などの各項目が基本情報に該当する。これらの基本情報は、まず、ユーザ操作によって(例えば、通信端末3を用いて)、クラウドサーバ1に対して初期登録される。これらの基本情報は、ユーザが必要に応じて更新作業を行わない限りは、自動的には更新されない。
機器IDは、ユーザ宅内で、その家電2を一意に識別するために用いられる家電2の識別情報である。機器種別は、機器IDと同様の目的で用いられるが、ユーザにとって理解しやすい単語で構成されている。機器IDおよび機器種別の少なくともいずれか1つが基本情報に含まれていればよい。スピーカ位置は、家電2のスピーカ45が、家電2の本体底面から何cmの高さに設けられているのかを示す。スピーカ位置は、実施形態1では、基本情報に含まれていなくてもよい。配置場所は、家電2がユーザ宅のどの部屋に設置されているのかを示す。ユーザ宅を構成する部屋の数、および、各部屋の識別情報は、事前にクラウドサーバ1の記憶部12に登録されているものとし、部屋の識別情報は、図示の「リビング」、「キッチン」などのようにユーザに理解され得る単語で構成されていてもよいし、機器IDと同様に、単なる、数字、文字および記号などの羅列であっても構わない。例えば、本実施形態において、ユーザ宅を構成する部屋の数、および、各部屋の識別情報は、図4に示すような、機器配置マップ33として、記憶部12に格納されていてもよい。
状態情報は、家電2の状態を表す情報からなる。例えば、図3に示すとおり、発話有無、および、稼働状況(稼働状況情報)などの各項目が状態情報に該当する。これらの状態情報は、家電2から供給された状況レポートに含まれる稼働ログの内容に応じて、情報管理部20によって随時更新される。
発話有無は、その家電2の状態に対応して発話すべき内容が存在するか否かを示す。稼働状況は、家電2が稼働しているか否かを示すとともに、稼働している場合に、どのような運転を実行中であるのかを示す。例えば、洗濯機から供給された稼働ログが、「ON/洗い」→「ON/すすぎ」→「ON/脱水」→「OFF/−」のように遷移した場合、それに合わせて情報管理部20が、洗濯器の稼働状況のセルを変更していく。また、稼働(ON)から非稼働(OFF)に稼働ログが変化した場合、発話制御部22は、発話データ31から素材を読み出して、出力音声データ「洗濯終わった〜。」を生成する。情報管理部20は、洗濯機に関して、上記発話すべき内容が作成されたと判断し、洗濯機の発話有無の項目を、「0(発話内容なし)」から「1(発話内容あり)」に更新する。情報管理部20は、発話を行った家電2から、上記出力音声データについて出力完了の通知を受信したときには、洗濯機の発話有無の項目を、「1」から「0」に戻す。
センシング情報は、家電2のセンサ43(広義に、操作部42およびマイク44を含む)によって検知された検知結果、または、該検知結果から判明する家電2の状態を表す情報からなる。例えば、図3に示すとおり、人感センサ、温度センサ、照度センサ、ドアセンサ、キー入力、変位センサ(実施形態1では不要)、および、音声入力などの各項目がセンシング情報に該当する。これらのセンシング情報は、家電2から供給された状況レポートに含まれるセンシング情報の内容に応じて、情報管理部20によって随時更新される。
項目「人感センサ」は、家電2が備える人感センサとしてのセンサ43が、人の存在を検知しているか否かを示す。「1」は、「人(ユーザ)が居る」を意味し、「0」は、「人が居ない」を意味する。なお、「−」は、その家電2が、その項目に係るセンサ43を備えていないことを意味する。以降の項目においても同様である。項目「温度センサ」は、家電2が備える温度センサとしてのセンサ43が検知している、家電2周囲の気温を示す。項目「照度センサ」は、家電2が備える照度センサとしてのセンサ43が検知した周囲の明るさが、所定値以上であるか否かを示す。この所定値は、部屋の照明がついている場合の明るさと、部屋の照明がついていない場合の明るさとを、明確に区別できるような値に設定することが好ましい。「1」は、「所定値以上明るい(=照明がついている)」を意味し、「0」は、「所定値未満で暗い(=照明がついていない)」を意味する。項目「開閉センサ」は、家電2が備える開閉センサとしてのセンサ43が、自機のドア(またはフタ)が開いている状態を検知しているのか閉まっている状態を検知しているのかを示す。「1」は、「ドアが開いている」を意味し、「0」は、「ドアが閉まっている」を意味する。項目「キー入力」は、家電2が備える操作部42が何らかのユーザ操作を受け付けているのか否か、すなわち、ユーザが操作中であるのか否かを示す。「1」は、「ユーザ操作あり(ユーザ操作中)」を意味し、「0」は、「ユーザ操作なし(ユーザは操作中でない)」を意味する。項目「変位センサ」は、家電2が備える変位センサとしてのセンサ43が検知している、家電2の本体底面における、部屋の床面からの高さを示す。項目「音声入力」は、家電2が備えるマイク44を介して、入力音声データ、特に、ユーザ発話データが取得されたか否かを示す。「1」は、「ユーザ発話あり」を示し、「0」は、「ユーザ発話なし」を示す。本実施形態では、情報管理部20は、ユーザ発話データが家電2によって取得された時点から所定時間(例えば、30秒)経過までの期間、その家電2の「音声入力」の項目を「1」に設定する。ユーザは、家電2に話しかけた直後から、しばらくの間(少なくとも30秒くらい)は、その部屋に居ると思われ、その期間は、当該家電2の近くにいると推定できる。このようなユーザの実情に即したルールで「音声入力」の項目を設定することにより、センシング情報に基づいて、より正確にユーザがおかれている状況(ユーザがいる場所の環境)を把握することができる。
以上のとおり、情報管理部20は、家電2から状況レポートを受信すると、該状況レポートの内容に応じて機器情報30を更新し、その家電2および家電2の周囲について、最新の状態を反映するように機器情報30を維持する。これにより、発話制御部22および運転制御部23は、発話が必要となった時に、その時のユーザがおかれている状況を把握して、当該状況に応じた発話を実行するように各家電2を制御することができる。
(機器配置マップ)
図4に、記憶部12に記憶されている機器配置マップ33の一具体例を示す。例えば、図2に示すユーザ宅には、部屋1〜3、洗面所、キッチン、リビングの6つの部屋があり、洗面所に洗濯機、キッチンに電子レンジおよび冷蔵庫、リビングに自走式掃除機、エアコンおよびテレビが配置されている。なお、機器配置マップ33には、家電2の状態をより詳しく判断するために、家電2の付属品(自走式掃除機の充電台)または遮音物体(ソファなどの家具)の位置があらかじめ登録されていてもよい。
クラウドサーバ1は、ユーザ宅に関して、図4に示すようなマップ情報を管理することにより、ユーザ宅を構成する部屋の種別、広さおよび数、ならびに、各家電2の現在位置および家電2同士の位置関係などを把握してもよい。しかし、記憶部12は、機器配置マップ33を記憶することを必須の構成とはしない。
(発話制御処理の流れ)
図3および図4に示す具体例に即して、図5を参照しながら、クラウドサーバ1が実行する発話制御処理の流れを説明する。
まず、ユーザ宅において何らかの発話イベントが発生したことをクラウドサーバ1の制御部10が検知する(S101)。具体的には、家電2としての洗濯機が、脱水を完了させて一連の洗濯を終えたとき、洗濯機のレポート生成部50は、稼働ログ「ON/脱水」に代えて「OFF/−」を含む状況レポートをクラウドサーバ1に送信する。情報管理部20は、機器情報30のうち、洗濯機の稼働状況の項目を、「OFF/−」に更新する。発話制御部22は、洗濯機の稼働状況が「ON/脱水」から「OFF/−」に更新されたことを発話イベントとして検知し、このイベントに対応する発話「洗濯終わった〜。」の出力音声データを、発話データ31の素材を利用して作成する。こうして発話の準備が整うと、次に、発話制御部22は、この発話を実行する発話主体機器を決定するために、S102以降の処理を実行する。
発話制御部22は、まず、ユーザ宅に対応付けて記憶されている機器情報30から各家電2のセンシング情報を取得する(S102)。そして、取得したセンシング情報を用いてユーザがどの部屋にいるのかを推定する(S103)。ユーザの居場所を推定する方法は特に限定されないが、本実施形態では、例えば、図3に示すセンシング情報を参照して、以下のようにユーザの居場所を推定することができる。「音声入力」の項目が「1」である家電2の配置場所を、ユーザの居場所と推定する。「キー入力」の項目が「1」である家電2の配置場所を、ユーザの居場所と推定する。「人感センサ」の項目が「1」である家電2の配置場所が、1つの部屋(例えば、リビング)に特定される場合には、その部屋を、ユーザの居場所と推定する。ユーザの居場所の候補が上記では1つに絞れない場合に、「照度センサ」、「開閉センサ」、「温度センサ」などの項目を適宜組み合わせて、ユーザの居場所を推定してもよい。例えば、明るく、気温も適温であり、家電2のドア(フタ)が開けられている部屋が1つに絞れる場合には、その部屋にユーザが居る可能性が高い。
以上のように、センシング情報を用いてユーザの居場所を推定すると、次に、発話制御部22は、推定した居場所に配置されている家電2を発話主体機器の候補とし、候補の家電2それぞれの稼働状況の項目を機器情報30から取得する(S104)。そして、各家電2の稼働状況をみて、非稼働の家電2(以下、非稼働機器)がある場合、すなわち、稼働状況の項目が「OFF」を示している家電2がある場合(S105でYES)、その家電2を発話主体機器として決定する(S106)。例えば、ユーザの居場所が「リビング」と推定された場合、発話制御部22は、テレビの稼働状況「ON/音量30」、自走式掃除機の稼働状況「OFF/充電中」、エアコンの稼働状況「ON/強」を取得する。そして、非稼働機器である自走式掃除機を発話主体機器に決定する。
なお、ユーザが居る部屋のすべての家電2が稼働中である(稼働機器しかない)場合(S105でNO)、それらの稼働機器のうち、稼働音が最も小さい機器を特定し、これを発話主体機器として決定することができる(S107)。クラウドサーバ1の記憶部12には、家電2ごとに、実行できる運転の種類と、その運転によって発生する稼働音のだいたいの音量とが記憶されている(例えば、エアコン:強運転−50db、通常運転−42db、弱運転−30db、・・・など)。発話制御部22は、上記稼働音の情報と、各家電2の稼働状況とに基づいて、現在の稼働音が最も小さい機器を特定することができる。なお、稼働音は現在の状態に限らず、静音制御後の稼働音から判断してもよい。この場合は後述のように発話主体機器に対して静音制御を行うことが望ましい。あるいは、発話制御部22は、各家電2の稼働状況および上記稼働音の情報とに基づいて、各家電2の稼働音の音量を推定し、稼働音の音量が所定値より小さい稼働状況である家電2の中から、発話主体機器を決定してもよい。所定値の一例としては、一般的に「静か」と感じることができる45dBあるいはそれより小さい値とすることができる。
以上のようにして、発話主体機器が決定されると、次に、運転制御部23は、発話主体機器と同じ部屋に配置されている稼働機器の各々に対して、静音制御を行う(S108)。上記の例では、テレビとエアコンとに対して、静音制御を行う。例えば、運転制御部23は、テレビに対して、音量を30から15に下げることを指示する制御情報を送信したり、エアコンに対して、強運転から通常運転に切り替えることを指示する制御情報を送信したりすることが考えられる。
続いて、発話制御部22は、S101の発話イベントに応じて作成した、出力音声データを、発話主体機器として決定し家電2(ここでは、自走式掃除機)に供給して、該家電2に対して発話を指示する(S109)。
上記出力音声データを受信した家電2が、当該出力音声データを出力することにより、「洗濯終わった〜。」と発話し終えると、該家電2のレポート生成部50は、発話完了を知らせるための発話完了通知を作成し、クラウドサーバ1に返信する。運転制御部23は、情報管理部20が発話完了通知を受信した場合(S110でYES)、静音運転を指示した各稼働機器に対して、静音運転前の運転に復帰するように指示する制御情報を送信する。これにより、静音制御が解除される(S111)。
上記の方法によれば、クラウドサーバ1が何らかの発話をユーザに対して出力すると判断した場合、まず、クラウドサーバ1の発話制御部22は、上記発話を実行する発話主体機器を、推定されたユーザの居場所と、家電2の稼働状況とに基づいて決定する。次に、運転制御部23は、発話主体機器と同じ部屋(すなわち、ユーザの居場所)に配置されている稼働機器に対して、静音制御を実行する。その後、発話制御部22は、発話主体機器に対して発話の実行を指示する。
これにより、ユーザの居場所に配置されている家電2であり、かつ、稼働音を出していない、もしくは稼働音の小さい家電2に発話を実行させることができ、しかも、該家電2が発話を実行するときには、同じ部屋に配置されているその他の家電2の稼働音を小さくすることができる。したがって、ユーザは、自分が居る部屋にある家電2の稼働音が抑えられてこれまでよりも静かになった状況下で、同じ部屋にある、しかも、それ自体が稼働音を出していない家電2から発話を聞くことができる。
以上のことから、家電2が発話してもユーザが不在であるために聞き取れない、または、家電2が発話してもその周囲で発話以外の音が鳴っているために、ユーザが発話を聞き取り難いといった不都合を解消することができる。結果として、発話内容をより確実にユーザに伝達することが可能な発話システムを実現することができる。
なお、発話制御部22は、発話主体機器に対しても静音制御を行ってもよい。この場合は、発話主体機器が発話を実行するときに自身の稼働音をも小さくすることで、発話内容をさらに確実にユーザに伝達することができる。
また、家電2ごとに、静音運転を許可するか禁止するかを指定できるようにしてもよい。例えば、電子レンジが稼働しているときは調理中であることが考えられ、調理中に静音運転としてしまうと調理が失敗するおそれがある。また、テレビを視聴中に勝手に音量を増減されることをユーザが不快に感じるおそれもある。したがって、家電2ごとに発話時の静音制御を許可するかどうかを設定できれば、発話によって家電2の機能が損なわれることを防止できる。
〔実施形態2〕
本発明の他の実施形態について、図6〜図7に基づいて説明すれば、以下のとおりである。なお説明の便宜上、既出の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。以降の実施形態についても同様である。
本実施形態では、発話主体機器が配置されている部屋の環境音の音量が大きい場合に、さらに、当該発話主体機器によって出力される音声の音量または音質を変更して、当該音声をユーザにより聞き取り易くする。
(クラウドサーバの構成)
実施形態2では、必須の構成として、クラウドサーバ1の記憶部12には音環境情報32が記憶されている。図6に、音環境情報32の一具体例を示す。なお、音環境情報32は、図3に示す機器情報30と別のテーブルにて記載しているが、音環境情報32における「環境音レベル」および「残響音」のカラムを、機器情報30に追加することにより、機器情報30および音環境情報32を1つのテーブルにて管理してもよい。実施形態2では、音環境情報32は、「環境音レベル」の項目を少なくとも含む。「残響音」の項目は、実施形態2では必須ではない。
音声解析部21は、入力音声データを家電2から受信すると、入力音声データを解析して、入力音声データが、ユーザ発話データからなるのか、環境音データからなるのか、あるいは、両方含まれるのかを解析する。入力音声データにユーザ発話データが含まれる場合には、音声解析部21は、該ユーザ発話データに対して音声認識処理を実行し、その実行結果を発話制御部22に供給する。一方、入力音声データに環境音データが含まれる場合には、音声解析部21は、該環境音データの音量を特定し、該音量を、音環境情報32における、送信元の家電2の「環境音レベル」の項目に格納する。すでに、音量が格納されている場合には、最新の音量に更新する。
なお、家電2のマイク44は、環境音として、人の発話が含まれるテレビの出力音声を拾い得る。この場合でも、音声解析部21は、ユーザ発話データか、環境音データ(テレビの音)かを区別することが可能である。例えば、音声解析部21は、家電2から受信した入力音声データがユーザ発話データであると解析した場合であっても、その家電2のセンサ43(人感センサやカメラなど)が人の存在の検知しない場合には、ユーザ発話データであると思われていた音声は、テレビやラジオなどによって出力された環境音であると解析結果を訂正することができる。
運転制御部23は、発話制御部22によって発話主体機器が決定されると、該発話主体機器と同じ部屋に配置されている家電2について、音環境情報32から、環境音の音量を取得する。そして、運転制御部23は、取得した環境音の音量のうちの1つでも所定の閾値以上であれば(すなわち、その部屋の環境音がうるさければ)、上記発話主体機器に対して、発話をするときの出力音量または音質、あるいは、その両方を、ユーザにより聞き取り易いように変更することを指示する。ユーザにより聞き取り易いように変更することには、例えば、運転制御部23は、家電2のスピーカ45の出力音量を上げるように指示すること、出力音声データのうちの、特定の音域の音のレベルを上げて出力音声データの音質を変更するように指示したりすることなどが含まれる。
(発話制御処理の流れ)
図7を参照しながら、実施形態2のクラウドサーバ1が実行する発話制御処理の流れを説明する。まず、クラウドサーバ1が、ユーザ宅における発話イベントの発生を検知すると(S101)、音声解析部21は、この発話イベントの発生時以降、音声入力を待ち受ける(S201)。ここで、運転制御部23は、家電2に対して環境音を取得するように指示してもよい。家電2の音声制御部51から、入力音声データが供給された場合(S201でYES)、音声解析部21は、該入力音声データの中に、ユーザ発話データが含まれるか否か、環境音データが含まれているか否かを判定する(S202)。ここで、発話イベント発生以降、入力音声データが供給されない、または、供給された入力音声データに環境音データが含まれていない場合(S201でNO、または、S202でNO)、発話制御部22および運転制御部23は、実施形態1と同様に、図5に示す発話制御処理のS102〜S111を実行する。なお、S202で、音声解析部21は、入力音声データにユーザ発話データが含まれていると判定した場合、ユーザ発話データに対して、音声認識処理を実行する(S203)。この場合、発話制御部22は、音声認識処理の結果に応じて家電2に発話させる内容を作成する。
一方、音声解析部21が、上記入力音声データに環境音データが含まれていると判断した場合には、音声解析部21は、上記環境音データにおける環境音の音量を特定し、該環境音データの供給元である家電2に関連付けて、当該音量を記憶する(S204)。そして、制御部10は、実施形態1と同様に発話制御処理のS102〜S108を実行する。
その後、本実施形態では、運転制御部23は、S106またはS107にて決定された発話主体機器と同じ部屋にある家電2の環境音の音量を参照する。その部屋の環境音の音量が1つでも閾値以上であれば(S205でYES)、運転制御部23は、上記発話主体機器に対して、音量または音質、あるいは、その両方を、ユーザにより聞き取り易いように変更することを指示する(S206)。そして、制御部10は、残りの発話制御処理(S109〜S111)を実行する。なお、上記環境音の音量が閾値未満であれば(S205でNO)その部屋の環境音はうるさくないということを意味するので、制御部10は、S206を実行することなく、実施形態1と同様に残りの発話制御処理(S109〜S111)を実行すればよい。
なお、S202にて、上記入力音声データにユーザ発話データおよび環境音データの両方が含まれる場合には、ユーザ発話データに関して、S203の処理が実行された上で、環境音データに関して、S204〜S206の処理が実行される。
上記の方法によれば、ユーザの居場所が推定され、発話主体機器が決定されると、その発話主体機器が配置されている(ユーザが居る)部屋の環境音の音量が計測される。該環境音の音量が所定値以上である場合、すなわち、その部屋がうるさい場合は、運転制御部23は、上記発話主体機器に対して、ユーザが発話をより聞き取り易くするために、自機の音声出力レベルを上げたり、音質を変えたり(高域音のレベルを上げたり)することを指示する。家電2は、運転制御部23からの指示にしたがって、音声または音質を変更した上で、発話制御部22から指示された発話を実行する。
これにより、部屋の環境音に起因する音声の聞き取り難さが解消され、発話内容をユーザが聞き取り易くなる。結果として、発話内容をより確実にユーザに伝達することが可能な発話システムを実現することができる。
〔実施形態3〕
本発明の他の実施形態について、図8に基づいて説明すれば、以下のとおりである。本実施形態では、発話内容の重要度に応じて、静音制御の程度を変更する。つまり、重要度が高い発話であるほど、それが出力されるときの各家電2の稼働音がより小さくなるように静音制御がなされる。
(クラウドサーバの構成)
本実施形態では、記憶部12に記憶されている発話データ31には、その内容の重要性に応じて重要度の付属情報が関連付けられている。重要な発話には、例えば、危険に対する警告、緊急性の高い通知などが想定されている。重要度の値は、任意に設定されればよく、本実施形態では、一例として、重要度が高い順に、重要度「高」、「中」、「低」が設定される。
発話制御部22は、発生した発話イベントに応じて、発話データ31を用いて、家電2に発話させる出力音声データを作成する。発話制御部22は、用いた発話データ31に関連付けられている重要度を、作成した出力音声データの重要度として、運転制御部23に通知する。
運転制御部23は、出力音声データの重要度に応じて、各稼働機器に対する静音制御の度合いを決定する。例えば、重要度「高」の場合には、自走式掃除機が掃除中であっても掃除を停止させ、「中」以下の場合には、停止させないことが考えられる。あるいは、重要度「高」の場合には、エアコンの運転を停止させ、「中」の場合には、強運転、通常運転を弱運転に切り替えさせ、「低」の場合には、強運転を通常運転に切り替えさせることが考えられる。
(発話制御処理の流れ)
図8を参照しながら、実施形態3のクラウドサーバ1が実行する発話制御処理の流れを説明する。まず、クラウドサーバ1は、実施形態1と同様に、発話制御処理のうちS101〜S107を実行する。こうして、発話制御部22によって、出力音声データが作成され、発話主体機器が決定される。
続いて、運転制御部23は、発話制御部22から通知された上記出力音声データの重要度に応じて、上述のとおり、稼働機器ごとに静音制御の度合いを決定する(S301)。そして、運転制御部23は、決定した静音制御の度合いに基づいて、残りの発話制御処理(S108〜S111)を実行する。なお、稼働機器につき、決定された度合いに基づいて静音制御するよりも、現在の運転のままの方が稼働音が小さい、あるいは、同等である場合には、運転制御部23は、その稼働機器に対して制御情報を送信することを省略してもよい。
上記の方法によれば、出力音声データが作成され、発話主体機器が決定されると、運転制御部23が、該出力音声データの重要度に応じて、発話主体機器と同じ部屋に配置されている稼働機器ごとに、静音制御の度合いをまず決定する。具体的には、重要度が高い発話がなされるほど、静音制御の度合いが大きくなるように(稼働音がより小さくなるように)静音制御の内容が決定される。
これにより、発話主体機器が発話を実行するとき、その発話内容が重要であるほど、周囲の家電2は、より小さい稼働音で運転したり、あるいは、運転を停止したりする。したがって、ユーザは、発話内容の重要度(緊急度)が高いほど、その発話をより聞き取り易くなる。結果として、重要度の高い発話をユーザが聞き漏らすことを防ぐことが可能な発話システムを実現することができる。
〔実施形態4〕
本発明の他の実施形態について、図9に基づいて説明すれば、以下のとおりである。本実施形態では、人の耳がたいてい位置する高さ近くにスピーカ45が設置されている家電2を優先して発話主体機器を決定する。つまり、人の耳にできるだけ近い位置に設置されているスピーカ45から発話が出力されるように制御して、発話をより聞き取り易くする。
(クラウドサーバおよび家電の構成)
本実施形態では、記憶部12に記憶されている機器情報30において、基本情報としての「スピーカ位置」の項目と、センシング情報としての「変位センサ」の項目とは必須で含まれている。
したがって、本実施形態の家電2は、センサ43として変位センサを備え、自機の本体が部屋の床面からどの高さに位置しているのかを状況レポートとしてクラウドサーバ1に報告する構成である。
発話制御部22は、非稼働機器であれ、稼働機器であれ、発話主体機器の候補が複数ある場合には、スピーカ45の部屋の床面からの高さ(以下、設置高度)が、人の耳にできるだけ近い高さ(例えば、100〜170cm)である家電2を優先的に発話主体機器として決定する。本実施形態では、一例として、発話制御部22は、まず実施形態1と同様に、非稼働機器を稼働機器よりも優先し、候補が複数である場合には、スピーカ45の設置高度が100〜170cmの範囲にある家電2を優先して発話主体機器を決定する。スピーカ45の設置高度は、センシング情報の「変位センサ」の項目に示される、家電2の本体底面の床からの高さに、基本情報の「スピーカ位置」の項目に示される、家電2の本体底面からのスピーカ45の高さを加算することで求められる。
なお、優先させる設置高度の範囲を、100〜170cmとしたが、上記の範囲の例は、成人の平均的な身長と、この部屋でユーザが、主に座位、立位で過ごすこことを考慮したものである。設置高度の範囲は、上記には限定されず、部屋の住人の身長や生活スタイルなどに合わせて、任意の数値を設定することができる。
(発話制御処理の流れ)
図9を参照しながら、実施形態4のクラウドサーバ1が実行する発話制御処理の流れを説明する。まず、クラウドサーバ1は、実施形態1と同様に、発話制御処理のうちS101〜S104を実行する。続いて、発話制御部22は、S104にて機器情報30から取得した稼働状況を参照し、ユーザが居ると推定される部屋に非稼働機器があれば(S105でYES)、その非稼働機器を発話主体機器として決定する。ここで、非稼働機器が複数ある場合、複数の非稼働機器のうち、スピーカ45の設置高度が100〜170cmの範囲である非稼働機器を発話主体機器として決定する(S401)。なお、非稼働機器が1台しかない場合には、発話制御部22は、S401を省略して、実施形態1と同様に、その1台を発話主体機器として決定する(S106)。一方、上記部屋に非稼働機器がなければ(S105でNO)、上記部屋の稼働機器のうち、スピーカ45の設置高度が100〜170cmの範囲である稼働機器を発話主体機器として決定する(S402)。
図示しないが、S401またはS402にて発話主体機器を1台に絞れない場合(スピーカ45の設置高度が100〜170cmの範囲にある家電2がない、または、複数ある場合)も想定される。この場合、発話制御部22は、スピーカ45の設置高度が135cmに最も近い家電2を発話主体機器として決定してもよい。
以上のようにして発話制御部22によって発話主体機器が決定されると、発話制御部22および運転制御部23は、実施形態1と同様に残りの発話制御処理(S108〜S111)を実行する。
上記の方法によれば、天井または床面近くなど、ユーザが聞き取り難い高さに設置されているスピーカ45を持つ家電2の優先度が下がり、ユーザの耳の高さあたりにスピーカ45が設定されている家電2が優先的に発話主体機器として決定される。これにより、ユーザは、発話内容をより聞き取り易くなり、結果として、ユーザに発話内容をより確実に伝達することが可能な発話システムを実現することができる。
なお、上述の実施形態では、発話制御部22は、稼働機器よりも非稼働機器を優先することを重視する構成であるが、発話制御部22は、稼働機器か非稼働機器かを問わずに、まず、スピーカ45の設置高度が100〜170cmの範囲にある家電2を優先させる、あるいは、スピーカ45の設置高度が135cmに最も近い家電2を発話主体機器として決定する構成であってもよい。
〔実施形態5〕
本発明の他の実施形態について、図10に基づいて説明すれば、以下のとおりである。本実施形態では、遮音物に囲まれていない、開けた空間に位置する家電2の優先度を上げる。これにより、遮音物に囲まれた場所にある家電2が発話主体機器として決定され、発話したが、音がこもってユーザの耳に届きにくいという不都合を解消する。
(クラウドサーバおよび家電の構成)
本実施形態では、クラウドサーバ1の記憶部12に記憶されている音環境情報32(図6)において、「環境音レベル」の項目は必須ではないが、「残響音」の項目は必須である。「残響音」の項目には、残響音が、テスト音声出力時点から所定時間経過までに所定の割合まで減衰したか否かを示す情報が格納される。
本実施形態では、運転制御部23は、ユーザ宅の各家電2に対して、定期的に(例えば、1日1回、あるいは、自走式掃除機など位置が頻繁に変化する家電2に対しては、1時間に1回)、残響音を出力することを指示する制御情報を送信する。
家電2は、上記制御情報にしたがって、スピーカ45からテスト音声を出力し、マイク44から所定の期間、そのときの残響音を取得する。レポート生成部50は、マイク44から取得した残響音を録音しその残響音データを状況レポートとしてクラウドサーバ1に返信する。
クラウドサーバ1の音声解析部21は、上記残響音データを家電2から取得すると、テスト音声出力時点から所定時間経過までに所定の割合で上記テスト音声の残響音を含む音量が減衰したか否かを判定する。残響音が、テスト音声出力時点から所定時間経過までに所定の割合まで減衰しなかった場合(すなわち、家電2が広い空間にある場合)、音声解析部21は、そのことを示す「1」の値を、上記残響音データの送信元である家電2に関連付けて、「残響音」の項目に格納する。一方、上記残響音が、テスト音声出力時点から所定時間経過までに所定の割合まで減衰した場合(すなわち、家電2が遮音物に囲まれている場合)、音声解析部21は、そのことを示す「0」の値を「残響音」の項目に格納する。
発話制御部22は、発話主体機器を決定するときに、「残響音」の項目が「0」の値である家電2の優先度を下げる。「残響音」の項目が「0」であるということは、その家電2から出力された音声の残響音がすぐ小さくなって消えたということであり、該家電2が狭い空間にある(遮音物に囲まれている)ことを意味する。したがって、このような人が聞き取り難い場所にある家電2が、発話主体機器として選ばれないように、これらの家電2の優先度を下げる。
(発話制御処理の流れ)
図10を参照しながら、実施形態5のクラウドサーバ1が実行する発話制御処理の流れを説明する。まず、クラウドサーバ1は、実施形態1と同様に、発話制御処理のうちS101〜S104を実行する。続いて、発話制御部22は、S104にて機器情報30から取得した稼働状況を参照し、ユーザが居ると推定される部屋に非稼働機器があれば(S105でYES)、その非稼働機器を発話主体機器として決定する。ここで、非稼働機器が複数ある場合、複数の非稼働機器のうち、音環境情報32の「残響音」の項目が、「1(=残響音レベルが低くなく、広い空間にある)」である非稼働機器を発話主体機器として決定する(S501)。なお、非稼働機器が1台しかない場合には、発話制御部22は、S501を省略して、実施形態1と同様に、その1台を発話主体機器として決定する(S106)。一方、上記部屋に非稼働機器がなければ(S105でNO)、上記部屋の稼働機器のうち、「残響音」の項目が「1」である稼働機器を発話主体機器として決定する(S502)。
図示しないが、S501またはS502にて発話主体機器を1台に絞れない場合(「残響音」の項目が「1」である家電2がない、または、複数ある場合)も想定される。この場合、発話制御部22は、音声解析部21に解析結果と問い合わせて、残響音の減衰の割合が最も小さい(残響音が最も長く残った)家電2を特定し、これを発話主体機器として決定してもよい。
以上のようにして発話制御部22によって発話主体機器が決定されると、発話制御部22および運転制御部23は、実施形態1と同様に残りの発話制御処理(S108〜S111)を実行する。
上記の方法によれば、ソファの下に設置されていたり、家具や壁などに囲まれているなど、ユーザが聞き取り難い場所に配置されている家電2の優先度が下がり、近くい遮音物がなく広い空間に配置されている家電2が優先的に発話主体機器として決定される。これにより、ユーザは、発話内容をより聞き取り易くなり、結果として、ユーザに発話内容をより確実に伝達することが可能な発話システムを実現することができる。
なお、上述の実施形態では、発話制御部22は、稼働機器よりも非稼働機器を優先することを重視する構成であるが、発話制御部22は、稼働機器か非稼働機器かを問わずに、まず、「残響音」の項目が「1」である家電2を優先させる、あるいは、残響音が最も長く残った家電2を発話主体機器として決定する構成であってもよい。
あるいは、家電2は、センサ43として赤外線センサを備え、自機が遮音物に囲まれていることを検知し、その旨を状況レポートとしてクラウドサーバ1に送信する構成であってもよい。この場合、情報管理部20が、上記状況レポートを受信し、音声解析部21に代わって、音環境情報32の「残響音」の項目を「0」に更新する。
〔実施形態6〕
本発明の他の実施形態について、図11に基づいて説明すれば、以下のとおりである。本実施形態では、発話主体機器が自機の位置を移動させることが可能な自走式機器である場合に、該発話主体機器を、ユーザがより聞き取り易い位置に移動するように制御する。
本実施形態では、運転制御部23は、発話制御部22によって決定された発話主体機器が自走式機器(例えば、自走式掃除機)である場合に、該自走式機器の位置が、聞き手にとって音声を聞き取り難い位置であるか否かを確認する。自走式機器の現在位置が、聞き手にとって音声を聞き取り難い位置である場合に、運転制御部23は、聞き取り易い位置まで移動するように、該自走式機器を制御する。自走式機器が、聞き手にとって音声を聞き取り難い位置にある状態とは、すなわち、自走式機器が、所定面積以上の物体(音を遮る可能性がある物体)に、所定距離未満まで近づいている状態を指す。運転制御部23は、所定面積以上の物体(壁、家具、カーテンなど)が、自走式機器の所定距離未満に存在する場合に、その物体から所定距離以上離れてから発話を実行するように、該自走式機器に対して指示を送る。
運転制御部23は、家電2が自走式機器であるか否かを、機器情報30の基本情報に基づいて判断する。運転制御部23は、上記の判断を、機器種別の項目に基づいて行ってもよいし、自走式機器であるか否かを示すフラグを格納する項目をさらに機器情報30に設けて、該フラグに基づいて行ってもよい。
運転制御部23は、実施形態5に説明した構成に基づいて、自走式掃除機が音声を聞き取り難い位置にあるか否かを判断してもよい。すなわち、自走式掃除機の「残響音」の項目が「0」である場合に、自走式掃除機が音声を聞き取り難い位置にあると判断する。あるいは、運転制御部23は、機器情報30の「稼働状況」の項目と、図4に示す機器配置マップ33とに基づいて、自走式掃除機が音声を聞き取り難い位置にあるか否かを判断してもよい。すなわち、自走式掃除機の稼働状況が「充電中」であることと、機器配置マップ33において自走式掃除機の充電台の位置がソファの下にあることとに基づいて、運転制御部23は、自走式掃除機が現在ソファの下にあって、音声を聞き取り難い位置にあると判断してもよい。あるいは、運転制御部23は、同じ部屋の他の家電2の「照度センサ」の項目が「1(明るい)」であるにも関わらず、自走式掃除機の「照度センサ」の項目が「0(暗い)」である場合に、自走式掃除機が遮蔽物に囲まれていて、音声を聞き取り難い位置にあると判断してもよい。
(発話制御処理の流れ)
図11を参照しながら、実施形態6のクラウドサーバ1が実行する発話制御処理の流れを説明する。まず、クラウドサーバ1は、実施形態1と同様に、発話制御処理のうちS101〜S107を実行する。こうして、発話制御部22によって、出力音声データが作成され、発話主体機器が決定される。例えば、ユーザがリビングにいると推定され、リングに配置されているテレビ(ON/音量30)、エアコン(ON/強)および自走式掃除機(OFF/充電中)のうち、自走式掃除機が発話主体機器として決定されたとする。
運転制御部23は、決定された発話主体機器が、自走式の家電2であるか否かを判定する(S601)。発話主体機器が自走式機器である場合(S601でYES)、次に、運転制御部23は、該自走式機器が、音声を聞き取り難い位置にあるか否かを判定する(S602)。
運転制御部23は、自走式機器が、聞き取り難い位置にあると判定した場合(S602でYES)、上記自走式機器が、聞き取り易い位置まで移動するように、該自走式機器を制御する(S603)。例えば、運転制御部23は、上記自走式掃除機がソファの下にあって、音声を聞き取り難い位置にあると判定した場合には、自走式掃除機に対して、ソファの下から出るように指示する制御情報を送信する。
その後、発話制御部22および運転制御部23は、残りの発話制御処理(S108〜S111)を実行する。なお、発話主体機器が自走式機器ではない(S601でNO)、または、発話主体機器である自走式機器が、音声を聞き取り難い位置にはいない(S602でNO)と判定した場合には、運転制御部23によるS603の実行は省略される。
上記の方法によれば、出力音声データが作成され、発話主体機器が決定されると、運転制御部23は、発話主体機器を以下のように制御する。すなわち、上記発話主体機器が自走式機器であって、該自走式機器が、音声を聞き取り難いに位置にある場合に、運転制御部23は、該自走式機器を、音声を聞き取り易い位置に移動させてから発話させる。
これにより、発話主体機器が発話を実行するときには、該発話主体機器は、音声を聞き取り難い位置から聞き取り易い位置へと移動を完了している。したがって、ユーザは、聞き取り易い位置から音声出力された発話内容を聞き取ることができる。結果として、音声の聞き取り難さを解消し、ユーザに発話内容をより確実に伝達することが可能な発話システムを実現することができる。
〔実施形態7〕
本発明の他の実施形態について、図12〜図14に基づいて説明すれば、以下のとおりである。本実施形態では、ユーザ宅の部屋に配置されている家電2に代えて、あるいは、加えて、ユーザによって携帯される、どの部屋にも属さない携帯型電子機器を発話主体機器として決定する。
(通信端末およびクラウドサーバの構成)
本実施形態では、携帯型機器は、例えば、スマートフォンなどで実現される通信端末3である。通信端末3は、通信端末としての基本的な機能に加えて、上述の各実施形態における家電2と同様の機能的構成(図1に示す)を有し、稼働ログまたはセンシング情報を少なくとも含む状況レポートを、クラウドサーバ1に送信する。また、クラウドサーバ1から送信された制御情報にしたがって発話を実行する機能を有する。
本実施形態では、クラウドサーバ1の記憶部12には、さらに、通信端末3の機器情報30が記憶されている。通信端末3の機器情報30は、ユーザ宅に配置されている他の家電2と同じテーブルで管理されてもよいし、図12に示すとおり、他の家電2とは別のテーブルで管理されてもよい。同テーブルにて管理される場合には、通信端末3が、他の家電2とは異なり、どの部屋にも属さない携帯型機器であるということを、制御部10の各部が判断できる情報が付加されていることが好ましい。例えば、制御部10は、「スピーカ位置」および「配置場所」の項目が「なし」である機器を、携帯型機器であると判断してもよいし、機器種別が「スマートフォン」、「携帯電話」、「タブレット端末」などである機器を、携帯型機器であると判断してもよい。
本実施形態では、図12に示すとおり、通信端末3の機器情報30は、他の家電2の機器情報30と同様に、基本情報、状態情報およびセンシング情報とを含む。通信端末3の機器情報30において、他の家電2と異なる点は、配置場所がユーザ宅のどの部屋とも関連付けられていない点である。
発話制御部22は、状況に応じて、機器情報30にて管理されている上記携帯型機器を発話主体機器として決定することができる。本実施形態では、第1の例として、発話制御部22は、ユーザがどの部屋にもいないと推定された場合に、携帯型機器を発話主体機器として決定する。また、第2の例として、発話制御部22は、まず、上述の各実施形態と同様に、部屋に配置されたいずれかの家電2を発話主体機器として決定し、これに加えて、上記携帯型機器を発話主体機器として決定する。
(発話制御処理の流れ−(1))
図13を参照しながら、実施形態7のクラウドサーバ1が実行する、上記第1の例に係る発話制御処理の流れを説明する。まず、クラウドサーバ1は、実施形態1と同様に、発話制御処理のうちS101〜S103を実行する。続いて、S103にて、発話制御部22がユーザの居場所がいずれかの部屋であると推定できた場合(S701でYES)、実施形態1と同様に、制御部10は、残りの発話制御処理を実行する(S104〜S111)。一方、発話制御部22が、S103にて、ユーザの居場所を特定できなった場合、すなわち、家電2が配置されているどの部屋にもユーザはいないと推定された場合(S701でNO)、発話制御部22は、機器情報30を参照して、携帯型機器(通信端末3)を発話主体機器として決定する(S702)。運転制御部23は、決定された通信端末3に対して、出力音声データおよび該データに基づく発話を行うように指示する制御情報を送信する(S703)。上記出力音声データおよび制御情報を受信した通信端末3は、運転制御部23の指示通りに発話を実行する。
上記の方法によれば、ユーザがどの部屋にもいないと推定された場合に、発話制御部22は、通信端末3を発話主体機器として決定する。これにより、ユーザが不在であっても、ユーザが携帯している通信端末3から発話される。したがって、部屋に配置されている家電2が発話しても、ユーザがいないために発話内容がユーザに伝達されないという不都合が解消される。
なお、ユーザがどの部屋にもいないと推定されるケースとしては、ユーザが外出しているケース(ユーザ宅のどこにもいない)、ユーザはユーザ宅のどこかには居るが、クラウドサーバ1が管理している家電2が1台も配置されていない部屋、または、センサ43によって検知できない場所(例えば、図4のベランダ、部屋1〜3、廊下など)にいるケースが考えられる。このようなケースにおいて、ユーザが携帯する通信端末3に発話させることで、発話内容をより確実にユーザに伝達することが可能となる。
(発話制御処理の流れ−(2))
図14を参照しながら、実施形態7のクラウドサーバ1が実行する、上記第2の例に係る発話制御処理の流れを説明する。まず、クラウドサーバ1は、実施形態1と同様に、発話制御処理のうちS101〜S103を実行する。続いて、発話制御部22が、S103にて、ユーザの居場所がいずれかの部屋であると推定できた場合(S701でYES)、実施形態1と同様に、制御部10は、まず、S104〜S110の発話制御処理を実行し、次に、S111に先行して、S711およびS712の処理を実行する。すなわち、S110にて部屋の家電2による発話が完了した後、S108にてなされた静音制御が解除される前に、発話制御部22が、通信端末3を発話主体機器として決定し(S711)、運転制御部23が通信端末3に同じ内容の発話を実行させる(S712)。一方、発話制御部22は、S103にて、ユーザの居場所を特定できなった場合(S701でNO)、第1の例と同様に、S702およびS703の処理を実行する。
上記の方法によれば、ユーザがいずれかの部屋にいると推定された場合にも、その部屋の家電2が、静音制御中に発話を実行した後、当該静音制御が解除される前に、通信端末3からも同じ発話が実行される。これにより、ユーザが不在時に、ユーザが携帯している通信端末3から発話されることに加えて、ユーザが部屋にいる場合、部屋の家電2と通信端末3との両方から同じ内容が続けて発話される。したがって、ユーザは、部屋に配置されている家電2による発話を万一聞き取れなかったとしても、もう一度、通信端末3から同じ発話を聞き取ることができる。したがって、発話内容をより確実にユーザに伝達することが可能な発話システムを実現することができる。
なお、上述の各例において、通信端末3を不携帯の状態でユーザが不在にしているケースも想定される(例えば、ユーザが通信端末3をリビングに置きっぱなしで、ベランダで洗濯物を干しているなど)。このようなケースにおいても、発話内容をユーザに確実に伝達するために、通信端末3およびクラウドサーバ1は以下のように構成されてもよい。
通信端末3は、一定期間以上センサ43(加速度センサ)が動きを検知しない、操作部42がユーザ操作を検知しない、マイク44がユーザの音声入力を検知しない、または、充電中であるときに、クラウドサーバ1の運転制御部23から発話の実行を指示する制御情報を受信した場合には、発話を実行することに加えて、その発話に係る出力音声データを消去せずに保存しておく。そして、操作部42、センサ43またはマイク44などの各種センサが、ユーザが通信端末3を使用している状態を検知したときに、通信端末3の音声制御部51が、保存しておいた出力音声データをスピーカ45から出力して再度同じ発話を実行する。上記の構成によれば、通信端末3不携帯でユーザが不在にしている間に発話がなされた場合でも、ユーザが通信端末3を使用するタイミングで再び発話が実行されるので、発話内容をより確実にユーザに伝達することができる。
〔実施形態8〕
本発明の他の実施形態について、図15に基づいて説明すれば、以下のとおりである。本実施形態では、ユーザの発話を音声認識するときに、ユーザ発話データを取得する家電2と同じ部屋に配置されている稼働機器を静音制御して、音声認識精度の向上を図る。
(家電およびクラウドサーバの構成)
本実施形態では、家電2において、マイク44がユーザの発話に係る音声を検知した場合、レポート生成部50が、音声入力が開始された旨を示す状況レポートを生成してクラウドサーバ1に送信する。音声制御部51は、ユーザの音声入力が終わると、該音声を録音した入力音声データをクラウドサーバ1に送信する。その後、レポート生成部50は、音声入力が完了した旨を示す状況レポートを生成する。
クラウドサーバ1の情報管理部20は、送信元の家電2(すなわち、ユーザが音声を入力した家電2、以下、音声入力機器)の機器情報30を、上記状況レポートの内容にしたがって更新する。具体的には、センシング情報の「音声入力」の項目を「0」から「1」に更新する。
運転制御部23は、上述のように「音声入力」の項目が「1(=音声入力あり)」に更新された音声入力機器の配置場所と同じ配置場所にある他の家電2のうち、機器情報30の稼働状況を参照して、稼働中の家電2を特定する。そして、特定した各稼働機器に対して、静音制御を実行する。運転制御部23は、上記音声入力機器が音声を入力している間、各稼働機器が静音運転を継続するように、各稼働機器を制御する。なお、運転制御部23は、上記音声入力機器が稼働中であれば、当該音声入力機器に対しても静音制御を実施することができる。
さらに、運転制御部23は、上記音声入力機器が音声入力を完了させたとしても、当該音声入力をトリガとして、すぐさま(例えば、30秒以内に)発話イベントが発生する場合には、当該発話イベントに応じていずれかの家電2が発話を完了させるまで、各家電2の静音制御を継続することが好ましい。これにより、家電2とユーザとの間で対話が継続している間、その部屋の各家電2の静音運転が維持される。したがって、発話システム100において、ユーザの発話を受け付ける工程においては、ノイズ(家電2の稼働音)が少ないユーザ発話データが取得されるので、音声認識精度が向上する一方、ユーザに対して家電2が発話する工程においては、部屋の稼働音が小さい環境下で、家電2による発話が実行されるので、ユーザが家電2の発話を聞き取り易くなる。
(対話制御処理の流れ)
図15を参照しながら、実施形態8のクラウドサーバ1が実行する、対話制御処理の流れを説明する。まず、クラウドサーバ1は、家電2から、ユーザの音声入力を開始した旨の状況レポートを受信する(S801)。こうして、クラウドサーバ1がユーザ宅の家電2が音声入力を開始したことを認識すると(S801でYES)、運転制御部23は、機器情報30を参照し、その家電2(音声入力機器)と同じ部屋の稼働機器を特定する(S802)。そして、運転制御部23は、特定した各稼働機器に対して静音制御する。すなわち、静音運転するように指示する制御情報を各稼働機器に送信する。
クラウドサーバ1が、上記音声入力機器から、音声入力が完了した旨の状況レポートを受信すると(S804でYES)、音声解析部21が、該音声入力機器から取得された入力音声データを解析する。そして、発話制御部22は、入力音声データの解析結果に応じて、ユーザに対して家電2が発話すべきことがあれば(S805でYES)、その内容を含む出力音声データを作成する。続いて、発話制御部22が、上記出力音声データを出力する発話主体機器を、上述の各実施形態に示す方法に基づき決定し、運転制御部23が決定された発話主体機器に対して、発話を実行するように制御する(S806)。
S805において発話イベントが発生しない場合(S805でNO)、または、S806における発話が完了した場合(S807でYES)、運転制御部23は、S803で実行した静音制御を解除する。すなわち、運転制御部23は、静音運転前の運転に復帰するように、静音運転解除指示を含む制御情報を、各稼働機器に対して送信する。
上記の方法によれば、ある部屋である家電2がユーザの発話音声を取得している間、その部屋に配置されている家電2が稼働していれば、クラウドサーバ1は、それらの稼働音がより小さくなるように運転を変更するように、各稼働機器を制御する。したがって、発話システム100において、ユーザの発話を受け付ける間、その部屋のノイズ(家電2の稼働音)が少ないユーザ発話データが取得されるので、音声解析部21における音声認識精度が向上する。
〔変形例〕
上述の各実施形態では、本発明の音声システムを、発話システム、すなわち、発話イベントの発生に応じて家電2が発話に係る出力音声データを出力するシステムに適用した例を示した。しかし、本発明の音声システムの適用例は、発話システムに限定されない。
本発明の音声システムは、発話メッセージのみならず、音楽、BGM、効果音、警報、アラーム、歌声など、音声全般を音声出力機器に出力させるシステムに広く適用可能である。
上述の各実施形態では、クラウドサーバ1は、ユーザの所在を、図3に示す機器情報30の、各種センシング情報に基づいて推定した。しかし、これらの例に限定されない。例えば、クラウドサーバ1は、家電2に備えられたサーモグラフィによって、人形状の36.5℃前後の温度分布が得られた場合に、ユーザが居ると推定してもよい。あるいは、家電2に備えらえた赤外線受光部が、操作されたリモコンの出力赤外線を検知した場合に、ユーザが居ると推定してもよい。あるいは、クラウドサーバ1は、通信端末3としてのスマートフォンの、Wi−Fi(登録商標)のペアリング情報に基づいて、ユーザの所在を推定してもよい。
上述の各実施形態において、発話主体機器の候補が1台に絞れない場合(例えば、実施形態1において、非稼働機器が複数ある場合など)には、発話制御部22は、以下の条件にしたがって、発話主体機器を決定してもよい。
発話の実行を優先する家電2を、予めユーザに選択させて、その情報を機器情報30に記憶しておく。発話制御部22は、発話主体機器の候補のうち、ユーザが選択してあった優先機器を発話主体機器として決定する。
各家電2のスピーカ45の最大出力音量の値を、機器情報30に記憶しておく。発話制御部22は、発話主体機器の候補のうち、スピーカ45の最大出力音量の値が最大のものを発話主体機器として決定する。
家電2のレポート生成部50は、人感センサが、人を検知したか否か2値の情報に加えて、該人感センサが取得したセンサ値を状況レポートとしてクラウドサーバ1に供給する。発話制御部22は、発話主体機器の候補のうち、各家電2の人感センサが取得したセンサ値が最も高い(すなわち、家電2と人との距離が最も近い)家電2を発話主体機器として決定する。
クラウドサーバ1の情報管理部20は、ユーザがいる部屋のすべての家電2から、マイク44が取得する環境音の音量値を取得する。そして、発話制御部22は、マイク44によって拾われた環境音の音量値が最小の家電2を発話主体機器として決定する。
各実施形態において、発話主体機器も含めてユーザが居る部屋のすべての家電2が稼働機器である場合が考えられる。そこで、運転制御部23は、発話主体機器である稼働機器に対しては、静音制御の度合いを最も強くし、非発話機器であるその他の稼働機器に対しては、静音制御の度合いを比較的弱くしてもよい。
実施形態1〜7において、家電2が発話完了後、この発話に対してユーザが応答するなどして対話が継続することが想定される。そこで、家電2の発話が完了した後、所定時間(例えば、1分)静音制御を継続し、所定時間経過するまで、発話イベントが何も発生しない(ユーザがしゃべらない)場合に、静音制御を解除する、という構成が望ましい。これにより、家電2の発話をきっかけにしてユーザとの対話が継続している間、その部屋の各家電の静音運転が維持される。結果として、良好な音環境下でユーザは家電2との対話を行うことができる。
実施形態3では、クラウドサーバ1は、家電2に出力させる発話の重要度に応じて、稼働機器に対する静音制御の度合いを変化させる構成である。ここで、クラウドサーバ1は、稼働音の音量が閾値以上の稼働機器に対して静音制御を実施してもよい。さらに、上記閾値は、発話の重要度が高くなるにつれて、低くなる(条件が厳しくなる)ように設定されることが好ましい。これにより、発話の重要度が高いほど、部屋で鳴る稼働音が小さくなるように、クラウドサーバ1によって各家電2が制御される。なお、クラウドサーバ1は、各稼働機器の稼働音の音量値を、各稼働機器から状況レポートとして受信してもよい。あるいは、クラウドサーバ1は、各家電2の運転の種類と、そのときの稼働音の音量値との対応表をあらかじめ記憶しておき、稼働機器の稼働状況に応じて上記対応表から、各稼働機器の稼働音の音量値を推定してもよい。
実施形態7では、発話システム100において、通信端末3を発話主体機器として機能させる例について説明した。これに対し、通信端末3を実施形態8の音声入力機器として機能させることも可能である。例えば、図4に示すユーザ宅において、ユーザが、ソファに座っているときに、テレビの横に立てかけてある人型ロボットに対して話しかけたいとする。しかし、ユーザが座っているソファのところから人型ロボットが立っているテレビのところまでは少し距離があり、テレビもエアコンも稼働音が大きい。このような場合、本変形例においては、ユーザは、人型ロボットに対する発話を、そのまま、手元の通信端末3に対して行えばよい。通信端末3は、実施形態8の家電2と同様に、音声入力を開始した旨の状況レポートをクラウドサーバ1に送信する。この場合、クラウドサーバ1の運転制御部23は、ユーザ宅の各家電2のセンシング情報に基づいてユーザの居場所を推定し、ユーザが居る部屋に配置されている家電2のうちの稼働機器に対して静音制御を実行することができる。
〔ソフトウェアによる実現例〕
クラウドサーバ1の制御ブロック(特に、情報管理部20、音声解析部21、発話制御部22および運転制御部23)、ならびに、家電2の制御ブロック(特に、レポート生成部50、音声制御部51および機能制御部52)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、クラウドサーバ1および家電2は、それぞれ、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る音声出力制御装置(クラウドサーバ1)は、音声出力機能を有する複数の電子機器(家電2)を制御する音声出力制御装置であって、上記電子機器から通知される、該電子機器の状況を示す状況情報(状況レポート)に基づいて、音声(発話)を出力する音声出力機器(発話主体機器)を上記複数の電子機器の中から決定する出力機器決定部(発話制御部22)と、少なくとも決定された上記音声出力機器が音声を出力する間、稼働音が抑制された静音運転を実行するように、各電子機器に対して指示する運転制御部(23)とを備えている。
上記の構成によれば、出力機器決定部は、複数の電子機器のそれぞれから通知された状況情報に基づいて、各電子機器の状況を把握する。そして、各電子機器の状況に基づいて、これらの電子機器の中から、音声出力機器を決定する。そして、運転制御部は、各電子機器に対して稼働音が抑制された静音運転を実行するように指示する。この指示にしたがって、各電子機器は、上記音声出力機器が音声を出力する間、静音運転を実行する。よって、少なくとも、音声が出力されている間の各電子機器の稼働音は、上記音声出力機器が音声を出力する前よりも小さくなる。
これにより、ユーザは、電子機器の稼働音が抑えられてこれまでよりも静かになった状況下で、電子機器から出力される音声を聞くことができる。したがって、電子機器が音声を出力してもその周囲でそれ以外の音が鳴っているために、ユーザが当該音声を聞き取り難いといった不都合を解消することができる。結果として、音声をより確実にユーザに伝達することが可能となる。
本発明の態様2に係る音声出力制御装置では、上記態様1において、上記状況情報には、通知元の電子機器が稼働しているか否かを示す稼働状況情報(稼働ログ、項目「稼働状況」)が含まれており、上記出力機器決定部は、上記稼働状況情報において非稼働または稼働音が小さい稼働状況であることが示されている電子機器を音声出力機器として決定してもよい。
上記の構成によれば、出力機器決定部は、各電子機器から通知された稼働状況情報が、当該電子機器が非稼働であるまたは稼働音が小さい稼働状況であることを示している場合に、そのような電子機器を、音声出力機器として決定する。この決定にしたがって、非稼働(または稼働音が小さい稼働状況)の電子機器、すなわち、稼働音を出していないかまたは出していたとしても稼働音がごく小さい電子機器が音声を出力し、その間、稼働中の電子機器には、静音運転を実行させる。
これにより、ユーザは、稼働中の電子機器の稼働音が抑えられてこれまでよりも静かになった状況下で、出力音声以外の音を出していない非稼働の電子機器または出していたとしても稼働音がごく小さい電子機器から、より聞き取り易い状況で、音声を聞くことができる。したがって、電子機器が音声を出力してもその場で、または、その周囲でそれ以外の音が鳴っているために、ユーザが当該音声を聞き取り難いといった不都合を解消することができる。結果として、音声をより一層確実にユーザに伝達することが可能となる。
なお、電子機器の、稼働音が小さい稼働状況の一例として、これには限定されないが、例えば、電子機器が所定値よりも小さい稼働音で稼働している状況、電子機器が発話主体機器の候補の中で最も小さい稼働音で稼働している状況、または、電子機器が静音制御の対象となっており、現状よりも稼働音をさらに小さくし得る状況などが挙げられる。
本発明の態様3に係る音声出力制御装置では、上記態様1または2において、上記運転制御部は、上記音声出力機器と同じ場所(部屋)に配置されている電子機器に対して、上記静音運転の実行を指示してもよい。
上記の構成によれば、音声出力機器が音声を出力するとき、該音声出力機器と同じ場所(例えば、配置場所が同じ部屋である)その他の電子機器に静音運転をさせて、それらの稼働音を小さくすることができる。これにより、ユーザが音声を聞き取り難いといった不都合を解消するとともに、音声出力機器とは離れた場所にある電子機器(つまり、音声の聞き取り難さに影響を与えない電子機器)について、不要な静音運転を回避することができる。
本発明の態様4に係る音声出力制御装置では、上記態様1から3において、上記運転制御部は、出力対象の音声に関連付けられている重要度が高い程、上記静音運転を実行するように、各電子機器に対して指示してもよい。
上記の構成によれば、音声出力機器が出力する音声が重要であればあるほど、その音声出力の間、その他の電子機器に実行させる静音運転によって、稼働音がより一層抑えられる。これにより、ユーザは、重要な音声ほど、より静かな状況下で聞き取ることが可能となり、結果として、重要な音声をより確実にユーザに伝達することが可能となる。
本発明の態様5に係る音声出力制御装置では、上記態様1から4において、上記出力機器決定部は、電子機器が備える音声出力部(スピーカ45)の設置位置の床面からの高さ(設置高度)が、音声の聞き手の耳の高さに応じて予め設定された範囲にある電子機器を、音声出力機器として決定してもよい。
上記の構成によれば、電子機器が備える音声出力部が設置されている位置(部屋の床面からの高さ)が、聞き手の耳がたいていある高さ(例えば、100cm〜170cmくらい)に近い電子機器が、音声出力機器として決定される。これにより、聞き手の耳の位置に近いスピーカから音声が出力されるので、ユーザが当該音声をより聞き取り易くなる。結果として、音声をより確実にユーザに伝達することが可能となる。
本発明の態様6に係る音声出力制御装置では、上記態様1から5において、上記出力機器決定部は、電子機器がテスト音声を出力した時点から所定時間経過までに、該テスト音声の残響が所定の割合まで減衰しない電子機器を音声出力機器として決定してもよい。
上記の構成によれば、電子機器がテスト音声を出力した時点から所定時間経過までに、該テスト音声の残響が所定の割合まで減衰しない電子機器、つまり、遮音物に囲まれていない電子機器が、音声出力機器として決定される。これにより、該電子機器から出力された音声は、こもらず、広い空間に伝播するので、ユーザが当該音声をより聞き取り易くなる。結果として、音声をより確実にユーザに伝達することが可能となる。
本発明の態様7に係る音声出力制御装置では、上記態様1から6において、上記電子機器は、自走式の電子機器であり、上記運転制御部は、所定面積以上の物体が上記音声出力機器の所定距離未満にある場合に、当該物体から所定距離以上離れた位置まで移動してから音声を出力するように、該音声出力機器を制御してもよい。
上記の構成によれば、運転制御部は、自走機能を有する音声出力機器を、所定面積以上の物体から離れた、音声が聞き取り易い位置に移動させた後、該音声出力機器から音声を出力させることができる。したがって、電子機器が音声を出力してもその近くに所定面積以上の物体があるために、ユーザが当該音声を聞き取り難いといった不都合を解消することができる。結果として、音声をより確実にユーザに伝達することが可能となる。
本発明の態様8に係る音声出力制御装置では、上記態様1から7において、上記運転制御部は、上記音声出力機器が配置されている場所の環境音の音量が所定閾値以上である場合に、上記音声出力機器が音声を出力するときの音量を上げるように、該音声出力機器に対して指示してもよい。
上記の構成によれば、運転制御部は、音声出力機器が配置されている場所の環境音の音量が所定閾値以上である場合に、音声出力機器に対して、音量を、上げて音声を出力するように指示する。したがって、音声は、より聞き取り易いように音量を上げた状態で、該音声出力機器から出力される。これにより、ユーザは、電子機器から出力された音声をより聞き取り易くなり、結果として、環境音が大きくても、音声をより確実にユーザに伝達することが可能となる。
本発明の態様9に係る音声出力制御装置では、上記態様1から8において、上記出力機器決定部は、特定の場所に配置されている電子機器に代えて、または、加えて、携帯型電子機器(通信端末3)を音声出力機器として決定してもよい。
上記の構成によれば、ある場所に配置されている上述のような電子機器に代わって、あるいはそれに加えて、ユーザが携帯している携帯型電子機器からも、同じ音声が出力される。したがって、ユーザは、音声出力機器が配置されている場所におらず、該音声出力機器が出力した音声を聞き逃したとしても、携帯している携帯型電子機器から出力された音声を聞くことができる。これにより、電子機器が音声を出力するタイミングで、ユーザが不在であるために、該音声を聞き取ることができないという不都合が解消され、結果として、音声をより確実にユーザに伝達することが可能となる。
本発明の態様10に係る音声出力制御装置では、上記態様1から9において、上記状況情報には、電子機器が備えるセンサが取得したセンサ値または該センサ値の分析結果を示すセンシング情報が含まれており、上記出力機器決定部は、上記センシング情報に基づいて聞き手がいる場所を推定し、推定した場所に配置されている電子機器の中から音声出力機器を決定してもよい。
上記の構成によれば、出力機器決定部は、複数の電子機器のそれぞれから通知されたセンシング情報に基づいて、各電子機器の情報および電子機器の周囲の状況を把握する。そして、これらの状況に基づいて、どの電子機器が配置されている場所にユーザがいるのかを推定する。そして、出力機器決定部は、ユーザがいると推定された場所に配置されている電子機器を音声出力機器として決定する。
これにより、ユーザの居場所に配置されている電子機器に音声を出力させることができ、しかも、該電子機器が音声を出力するときには、稼働中の電子機器の稼働音をより小さくすることができる。したがって、ユーザは、電子機器の稼働音が抑えられてこれまでよりも静かになった状況下で、自分の居場所に近い電子機器から出力された音声を聞くことができる。
以上のことから、電子機器が音声を出力してもユーザが不在であるために聞き取れない、または、電子機器が音声を出力してもその周囲でその音声以外の音が鳴っているために、ユーザが当該音声を聞き取り難いといった不都合を解消することができる。結果として、音声をより確実にユーザに伝達することが可能となる。
本発明の態様11に係る音声出力制御装置では、上記態様1から10において、上記運転制御部は、上記複数の電子機器のいずれかが音声を入力する間、各電子機器に対して、上記静音運転を実行するように指示してもよい。
上記の構成によれば、音声出力機器としての電子機器が音声を出力する間に加えて、電子機器が音声(例えば、ユーザの発話音声)を入力する間も、各電子機器の静音運転が実行される。したがって、ユーザの音声がノイズ音(稼働音)によってかき消されることなくクリアな状態で、電子機器に入力される。これにより、音声をより確実にユーザに伝達することに加えて、ユーザからの音声について認識精度を向上させることが可能となる。
本発明の態様12に係る電子機器は、自機の状況を示す状況情報を、自機を制御する音声出力制御装置に通知する状況通知部(レポート生成部50)と、上記音声出力制御装置の指示にしたがって、該音声出力制御装置から供給された音声を出力する音声制御部(51)と、上記音声出力制御装置の指示にしたがって、稼働音が抑制された静音運転を所定期間実行する機能制御部(52)とを備えている。上記の構成によれば、上記音声出力制御装置とともに、音声をより確実にユーザに伝達することが可能な音声システムを構築することが可能となる。
本発明の態様13に係る音声システム(発話システム100)は、上記態様1から11に係る音声出力制御装置と、上記態様12に係る電子機器とを含む。上記の構成によれば、上記態様1と同様の効果を奏する。
本発明の態様14に係る音声出力制御装置の制御方法は、音声出力機能を有する複数の電子機器を制御する音声出力制御装置の制御方法であって、上記電子機器から通知される、該電子機器の状況を示す状況情報に基づいて、音声を出力する音声出力機器を上記複数の電子機器の中から決定する出力機器決定ステップ(S104〜S107)と、少なくとも決定された上記音声出力機器が音声を出力する間、稼働音が抑制された静音運転を実行するように、各電子機器に対して指示する運転制御ステップ(S108)とを含む。上記の方法によれば、上記態様1と同様の効果を奏する。
本発明の各態様に係る音声出力制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記音声出力制御装置が備える各部(ソフトウェア要素)として動作させることにより上記音声出力制御装置をコンピュータにて実現させる音声出力制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。