WO2021111555A1

WO2021111555A1 - 機器制御システム、操作受付装置、サーバおよび機器制御方法

Info

Publication number: WO2021111555A1
Application number: PCT/JP2019/047488
Authority: WO
Inventors: 山田　貴光; 矢部　正明
Original assignee: 三菱電機株式会社
Priority date: 2019-12-04
Filing date: 2019-12-04
Publication date: 2021-06-10
Also published as: JP7191252B2; JPWO2021111555A1

Abstract

制御対象機器（４０）を操作する機器制御システム（１）であって、制御対象機器（４０）に対するユーザからの音声による第１の操作指示を受け付ける操作受付装置（１０）と、操作受付装置（１０）から第１の操作指示を受信し、第１の操作指示を第２の操作指示に変換して送信する第１のサーバ（２０）と、第１のサーバ（２０）から第２の操作指示を受信して制御対象機器（４０）に転送する第２のサーバ（３０）と、第２のサーバ（３０）から第２の操作指示を受信し、第２の操作指示に基づく動作を行う制御対象機器（４０）と、を備え、第１のサーバ（２０）は、第１の操作指示を受信すると操作受付装置（１０）に対して制御対象機器（４０）の動作の変化を監視するよう指示し、操作受付装置（１０）は、制御対象機器（４０）の動作の変化が第１の操作指示に基づくものであった場合、第１の操作指示に対する応答を出力する。

Description

機器制御システム、操作受付装置、サーバおよび機器制御方法

　本発明は、ユーザからの指示を受け付けて制御対象機器を操作する機器制御システム、操作受付装置、サーバおよび機器制御方法に関する。

　従来、ユーザから音声などによる操作を受け付けて、インターネットなどを介して機器を遠隔操作するシステムがある。特許文献１には、操作システムにおいて、操作ユニットが、ユーザの音声による指示を受け付けて、ネットワークを介して指示を送信し、空調機などの機器の動作を制御する技術が開示されている。また、特許文献１には、操作ユニットが、機器の動作音、機器が動作を実行するときの報知音などを検出し、ユーザの指示に対する機器の動作状態を判定し、ユーザに対してスピーカなどから判定結果を報知する技術が開示されている。

国際公開第２０１９／０１３３０９号

　しかしながら、特許文献１に記載の操作システムは、ユーザの指示に対する機器の動作が適切に実行されたか否かを、機器が発する音に基づいて判定している。そのため、特許文献１に記載の操作システムは、騒音が発生する環境では機器が発する音を正しく検知できず、ユーザの指示に対して機器が正常に動作したか否かを判定する精度が低下する、という問題があった。

　また、特許文献１には、照度センサなどを利用した環境情報検知機器で検知された環境情報を用いて機器が正常に動作したか否かを判定することが記載されている。しかしながら、環境情報検知機器で検知された環境情報は情報処理装置に送信され、情報処理装置が、機器が正常に動作したか否かを判定している。そのため、特許文献１に記載の操作システムは、環境情報検知機器と情報処理装置との間の通信が途絶えた場合、機器の遠隔操作は実行できても、機器が正常に動作したか否かを判定できない、という問題があった。

　本発明は、上記に鑑みてなされたものであって、ユーザからの指示を受け付けて制御対象機器を動作させる場合に、制御対象機器においてユーザからの指示による動作が行われたか否かを判定する精度の低下を抑制可能な機器制御システムを得ることを目的とする。

　上述した課題を解決し、目的を達成するために、本発明は、ユーザからの指示を受け付けて制御対象機器を操作する機器制御システムである。機器制御システムは、制御対象機器に対するユーザからの音声による第１の操作指示を受け付けて転送する操作受付装置と、操作受付装置から第１の操作指示を受信し、第１の操作指示を制御対象機器で受け付け可能な第２の操作指示に変換して送信する第１のサーバと、制御対象機器の管理を行い、かつ、第１のサーバから第２の操作指示を受信して制御対象機器に転送する第２のサーバと、第２のサーバから第２の操作指示を受信し、第２の操作指示に基づく動作を行う制御対象機器と、を備える。第１のサーバは、操作受付装置から第１の操作指示を受信すると、操作受付装置に対して制御対象機器の動作の変化を監視するよう指示する。操作受付装置は、制御対象機器の動作の変化を検出し、制御対象機器の動作の変化が第１の操作指示に基づくものであった場合、第１の操作指示に対する応答を出力する。

　本発明に係る機器制御システムは、ユーザからの指示を受け付けて制御対象機器を動作させる場合に、制御対象機器においてユーザからの指示による動作が行われたか否かを判定する精度の低下を抑制できる、という効果を奏する。

実施の形態１に係る機器制御システムの構成例を示す図実施の形態１に係る操作受付装置の構成例を示すブロック図実施の形態１に係る第１のサーバの構成例を示すブロック図実施の形態１に係る機器制御システムの動作を示すシーケンス図実施の形態１に係る操作受付装置が備える処理回路の例を示す図実施の形態２に係る機器制御システムの動作を示すシーケンス図

　以下に、本発明の実施の形態に係る機器制御システム、操作受付装置、サーバおよび機器制御方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
　図１は、本発明の実施の形態１に係る機器制御システム１の構成例を示す図である。機器制御システム１は、操作受付装置１０と、第１のサーバ２０と、第２のサーバ３０と、制御対象機器４０と、を備える。機器制御システム１は、ユーザからの指示を受け付けて制御対象機器４０を操作するシステムである。

　操作受付装置１０は、制御対象機器４０に対するユーザからの音声による第１の操作指示を受け付ける。操作受付装置１０は、第１の操作指示を第１のサーバ２０に転送する。また、操作受付装置１０は、制御対象機器４０の動作の変化を検出し、制御対象機器４０の動作の変化が第１の操作指示に基づくものであった場合、第１の操作指示に対する応答をユーザに向けて出力する。本実施の形態において、操作受付装置１０は、ユーザからの音声による指示を受け付け、ユーザに対して音声による応答を出力可能なスマートスピーカを想定している。

　第１のサーバ２０は、操作受付装置１０から第１の操作指示を受信し、第１の操作指示を制御対象機器４０で受け付け可能な第２の操作指示に変換する。第１のサーバ２０は、第２の操作指示を、第２のサーバ３０に送信する。また、第１のサーバ２０は、操作受付装置１０から第１の操作指示を受信すると、操作受付装置１０に対して、制御対象機器４０の動作の変化を監視するよう指示する。第１のサーバ２０は、操作受付装置１０で受け付けたユーザからの音声による指示を認識し、操作受付装置１０を介してユーザにサービスを提供する事業者などが運営するサーバである。第１のサーバ２０の形態については特に限定されない。第１のサーバ２０は、物理サーバによる形態であってもよいし、クラウドサーバによる形態であってもよい。第１のサーバ２０は、フロントエンドクラウドなどとも称される。

　第２のサーバ３０は、第１のサーバ２０から第２の操作指示を受信すると、第２の操作指示を制御対象機器４０に転送する。第２のサーバ３０は、制御対象機器４０の管理を行う。第２のサーバ３０は、制御対象機器４０の製造メーカなどが運営するサーバである。第２のサーバ３０の形態についても特に限定されない。第２のサーバ３０は、物理サーバによる形態であってもよいし、クラウドサーバによる形態であってもよい。

　制御対象機器４０は、第２のサーバ３０から第２の操作指示を受信し、第２の操作指示に基づく動作を行う。制御対象機器４０は、通信アダプタ４１と、機器４２と、を備える。通信アダプタ４１は、機器４２に接続され、第２のサーバ３０と通信を行う。機器４２は、第２の操作指示に基づいて、ユーザに所望のサービスを提供する。本実施の形態において、通信アダプタ４１は、例えば、ＩｏＴ（Internet　of　Things）アダプタである。また、機器４２は、例えば、空気調和機である。なお、制御対象機器４０の形態については、図１の例に限定されない。通信アダプタ４１は、第２のサーバ３０と通信を行う機能を有しない機器４２に対して、第２のサーバ３０と通信を行う機能を提供するものである。そのため、機器４２が第２のサーバ３０と通信を行う機能を有する場合、制御対象機器４０は、通信アダプタ４１を備えない形態であってもよい。すなわち、制御対象機器４０は、第２のサーバ３０と通信を行う機能を有する機器４２を備えていてもよい。第２の操作指示に基づく動作については、前述のように機器４２が空気調和機の場合、空気調和機の電源のオンオフ、暖房、冷房などの運転モードの変更、設定温度の変更などである。

　操作受付装置１０の構成について詳細に説明する。図２は、実施の形態１に係る操作受付装置１０の構成例を示すブロック図である。操作受付装置１０は、マイク１１と、スピーカ１２と、通信部１３と、制御部１４と、センサ１５と、を備える。マイク１１は、制御対象機器４０に対するユーザからの音声による第１の操作指示を受け付ける。スピーカ１２は、第１の操作指示に対する応答を出力する。通信部１３は、マイク１１で受け付けられた第１の操作指示を第１のサーバ２０に送信する。制御部１４は、センサ１５の検出結果に基づいて、制御対象機器４０の動作の変化を監視する。制御部１４は、第１の操作指示に対するスピーカ１２からの応答の出力を制御する。

　センサ１５は、制御対象機器４０の動作の変化を検出する。センサ１５は、カメラセンサ１５１と、光センサ１５２と、風量センサ１５３と、ＷｉＦｉ（登録商標）モジュール１５４と、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール１５５と、を備える。カメラセンサ１５１および光センサ１５２は、制御対象機器４０が発する光を検出する光センサである。センサ１５は、制御対象機器４０の種別によって、カメラセンサ１５１および光センサ１５２のうち一方のみを備えるようにしてもよいし、カメラセンサ１５１および光センサ１５２の両方を備えるようにしてもよい。風量センサ１５３は、前述の機器４２が空気調和機である場合、すなわち制御対象機器４０が空気調和機を備える場合に、空気調和機から出力される風の量である風量を検出する。ＷｉＦｉモジュール１５４およびＢｌｕｅｔｏｏｔｈモジュール１５５は、制御対象機器４０から送信される通信信号を受信する通信モジュールである。センサ１５は、制御対象機器４０の種別によって、ＷｉＦｉモジュール１５４およびＢｌｕｅｔｏｏｔｈモジュール１５５のうち一方のみを備えるようにしてもよいし、ＷｉＦｉモジュール１５４およびＢｌｕｅｔｏｏｔｈモジュール１５５の両方を備えるようにしてもよい。センサ１５は、制御対象機器４０の種別に応じて、カメラセンサ１５１、光センサ１５２、風量センサ１５３、ＷｉＦｉモジュール１５４、およびＢｌｕｅｔｏｏｔｈモジュール１５５のうち、１つ以上を備えるようにしてもよい。

　第１のサーバ２０の構成について詳細に説明する。図３は、実施の形態１に係る第１のサーバ２０の構成例を示すブロック図である。第１のサーバ２０は、通信部２１と、制御部２２と、を備える。通信部２１は、操作受付装置１０から、制御対象機器４０に対するユーザからの音声による第１の操作指示を受信する。通信部２１は、後述する制御部２２によって第１の操作指示から変換された第２の操作指示を、第２のサーバ３０に送信する。制御部２２は、第１の操作指示を制御対象機器４０で受け付け可能な第２の操作指示に変換する。制御部２２は、通信部２１を介して、第２の操作指示を、制御対象機器４０の管理を行う第２のサーバ３０を介して制御対象機器４０に送信するとともに、操作受付装置１０に対して制御対象機器４０の動作の変化を監視するよう指示する。

　つづいて、機器制御システム１の動作について説明する。図４は、実施の形態１に係る機器制御システム１の動作を示すシーケンス図である。ここでは、前述のように、操作受付装置１０がスマートスピーカであり、制御対象機器４０の通信アダプタ４１がＩｏＴアダプタであり、機器４２が空気調和機である場合について説明する。まず、ユーザが、スマートスピーカである操作受付装置１０に対して、空気調和機である機器４２の動作開始を指示する。操作受付装置１０は、ユーザからの、空気調和機である機器４２に対する動作開始の指示である第１の操作指示を受け付ける（ステップＳ１０１）。操作受付装置１０は、第１の操作指示を第１のサーバ２０に転送する（ステップＳ１０２）。

　第１のサーバ２０は、操作受付装置１０から第１の操作指示を受信すると、第１の操作指示を制御対象機器４０で受け付け可能な第２の操作指示に変換する（ステップＳ１０３）。第１のサーバ２０は、第２の操作指示を第２のサーバ３０に送信する（ステップＳ１０４）。第１のサーバ２０は、操作受付装置１０に対して、制御対象機器４０の動作の変化を監視するよう指示する（ステップＳ１０５）。なお、第１のサーバ２０は、ステップＳ１０５の動作を、ステップＳ１０３，Ｓ１０４の動作より先に行ってもよいし、ステップＳ１０３，Ｓ１０４の動作と並行して行ってもよい。

　操作受付装置１０は、第１のサーバ２０からの指示に基づいて、制御対象機器４０の動作の変化の監視を開始する（ステップＳ１０６）。

　第２のサーバ３０は、第１のサーバ２０から第２の操作指示を受信すると、第２の操作指示を制御対象機器４０に転送する（ステップＳ１０７）。

　制御対象機器４０は、第２のサーバ３０から第２の操作指示を受信すると、第２の操作指示に基づく動作を行う（ステップＳ１０８）。ここでは、制御対象機器４０が備える機器４２である空気調和機が動作を開始する。

　操作受付装置１０は、制御対象機器４０の動作の変化を検出すると、制御対象機器４０の動作の変化が規定された動作パターンに合致するか否か確認する。操作受付装置１０は、制御対象機器４０の動作の変化が規定された動作パターンに合致する場合、制御対象機器４０の動作の変化が第１の操作指示に基づくものであると判定する（ステップＳ１０９）。操作受付装置１０は、ユーザに対して、第１の操作指示に対する応答を出力する（ステップＳ１１０）。これにより、ユーザは、空気調和機である機器４２の動作開始の指示が実行されたことを認識することができる。

　このように、実施の形態１では、操作受付装置１０は、制御対象機器４０の動作の変化が規定された動作パターンに合致する場合、制御対象機器４０の動作の変化が第１の操作指示に基づくものであると判定する。詳細には、操作受付装置１０の制御部１４は、センサ１５で検出された制御対象機器４０の動作の変化が規定された動作パターンに合致し、制御対象機器４０の動作の変化が第１の操作指示に基づくものであると判定した場合、スピーカ１２から第１の操作指示に対する応答を出力させる。

　操作受付装置１０は、例えば、前述の規定された動作パターンとして、風量の閾値を記憶しておく。制御部１４は、風量センサ１５３において規定された風量の閾値以上の風が検出された場合、制御対象機器４０の動作の変化が第１の操作指示に基づくもの、すなわち制御対象機器４０の動作が開始したと判定する。操作受付装置１０は、規定された動作パターンについて、制御部１４で記憶していてもよいし、図示しない記憶部に記憶していてもよい。以降で説明する規定された動作パターンについても同様である。

　または、操作受付装置１０は、例えば、前述の規定された動作パターンとして、制御対象機器４０の通信アダプタ４１または機器４２での発光パターンを記憶しておく。発光パターンとは、通信アダプタ４１または機器４２が備える表示部に表示される表示内容、通信アダプタ４１または機器４２が複数のＬＥＤ（Light　Emitting　Diode）を備える場合の特定の位置のＬＥＤの発光、特定の位置のＬＥＤの発光色、特定の位置のＬＥＤの点滅パターンなどである。制御部１４は、カメラセンサ１５１および光センサ１５２の一方または両方において規定された発光パターンが検出された場合、制御対象機器４０の動作の変化が第１の操作指示に基づくもの、すなわち制御対象機器４０の動作が開始したと判定する。操作受付装置１０は、制御対象機器４０の動作の変化として、制御対象機器４０が発する光、および制御対象機器４０が空気調和機を備える場合に空気調和機から出力される風の量である風量の少なくとも１つを検出するようにしてもよい。この場合、操作受付装置１０のセンサ１５は、制御対象機器４０が発する光を検出するカメラセンサ１５１および光センサ１５２、および制御対象機器４０が空気調和機を備える場合に空気調和機から出力される風の量である風量を検出する風量センサ１５３の少なくとも１つを備える。

　また、操作受付装置１０は、例えば、前述の規定された動作パターンとして、通信アダプタ４１から送信される信号の内容を記憶しておく。信号の内容とは、信号に含まれる特定の位置のビットパターンである。制御部１４は、ＷｉＦｉモジュール１５４およびＢｌｕｅｔｏｏｔｈモジュール１５５の一方または両方において規定された内容の信号が受信された場合、制御対象機器４０の動作の変化が第１の操作指示に基づくもの、すなわち制御対象機器４０の動作が開始したと判定する。すなわち、操作受付装置１０は、制御対象機器４０の動作の変化として、制御対象機器４０から送信される通信信号を検出する。この場合、操作受付装置１０のセンサ１５は、制御対象機器４０から送信される通信信号を受信するＷｉＦｉモジュール１５４およびＢｌｕｅｔｏｏｔｈモジュール１５５の少なくとも１つである。

　操作受付装置１０が前述の規定された動作パターンとして、風量の閾値、発光パターンなどを記憶しておく場合、機器４２である空気調和機は、一般的な手順によって動作を開始すればよい。そのため、制御対象機器４０は、特別な動作を行う必要は無い。

　一方、操作受付装置１０が前述の規定された動作パターンとして、信号の内容を記憶しておく場合、機器４２である空気調和機は、動作を開始した旨を通信アダプタ４１であるＩｏＴアダプタに通知する。そして、通信アダプタ４１が、規定された動作パターンの内容を含む信号を送信する。そのため、機器４２と通信アダプタ４１との間で通信を行う必要がある。しかしながら、機器４２と通信アダプタ４１とは直結されていることが一般的であるから、無線通信による通信状態の悪化によって機器４２と通信アダプタ４１との間の通信が途絶えることはない。また、機器４２である空気調和機が動作を介する段階で、機器４２と通信アダプタ４１とは通信を行っている。そのため、機器４２である空気調和機の動作開始直後に、何らかの原因によって通信アダプタ４１との間の通信が途絶える可能性は低いと考えられる。

　つづいて、操作受付装置１０のハードウェア構成について説明する。図５は、実施の形態１に係る操作受付装置１０が備える処理回路の例を示す図である。操作受付装置１０において、マイク１１は音声を電気信号に変換する機器である。スピーカ１２は電気信号を音声に変換する機器である。通信部１３は第１のサーバ２０との間で通信を行うインターフェイスである。センサ１５は前述のような各種の計測器などである。制御部１４は処理回路により実現される。処理回路は、例えば、メモリ９２に格納されるプログラムを実行するプロセッサ９１、およびメモリ９２である。

　処理回路がプロセッサ９１およびメモリ９２で構成される場合、処理回路の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ９２に格納される。処理回路では、メモリ９２に記憶されたプログラムをプロセッサ９１が読み出して実行することにより、各機能を実現する。また、これらのプログラムは、操作受付装置１０の手順および方法をコンピュータに実行させるものであるともいえる。

　ここで、プロセッサ９１は、ＣＰＵ（Central　Processing　Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital　Signal　Processor）などであってもよい。また、メモリ９２には、例えば、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（登録商標）（Electrically　ＥＰＲＯＭ）などの、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Digital　Versatile　Disc）などが該当する。

　処理回路については、専用のハードウェアであってもよい。処理回路が専用のハードウェアで構成される場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＦＰＧＡ（Field　Programmable　Gate　Array）、またはこれらを組み合わせたものが該当する。操作受付装置１０の各機能を機能別に処理回路で実現してもよいし、各機能をまとめて処理回路で実現してもよい。

　なお、操作受付装置１０の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、処理回路は、専用のハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

　第１のサーバ２０のハードウェア構成についても同様である。第１のサーバ２０において、通信部２１は操作受付装置１０および第２のサーバ３０との間で通信を行うインターフェイスである。制御部２２は処理回路により実現される。処理回路は、プロセッサ９１およびメモリ９２で構成されてもよいし、専用のハードウェアであってもよい。

　以上説明したように、本実施の形態によれば、機器制御システム１において、操作受付装置１０は、制御対象機器４０の動作の変化が規定された動作パターンに合致する場合、制御対象機器４０の動作の変化が第１の操作指示に基づくものであると判定する。操作受付装置１０は、第１の操作指示に対する応答をユーザに対して出力する。これにより、ユーザは、機器４２すなわち制御対象機器４０の動作開始の指示が実行されたことを認識することができる。機器制御システム１は、ユーザからの指示を受け付けて制御対象機器４０を動作させる場合に、制御対象機器４０においてユーザからの指示による動作が行われたか否かを判定する精度の低下を抑制することができる。

実施の形態２．
　実施の形態１では、操作受付装置１０が、制御対象機器４０の動作の変化が規定された動作パターンに合致するか否か確認していた。実施の形態２では、第１のサーバ２０が、制御対象機器４０の動作の変化が規定された動作パターンに合致するか否か確認する場合について説明する。

　実施の形態２において、機器制御システム１、操作受付装置１０、および第１のサーバ２０の構成は、図１から図３に示す実施の形態１のときの構成と同様である。実施の形態２の機器制御システム１の動作について説明する。図６は、実施の形態２に係る機器制御システム１の動作を示すシーケンス図である。図６のシーケンス図において、ステップＳ１０１からステップＳ１０８までの動作は図４に示す実施の形態１のときと同様である。制御対象機器４０が第２の操作指示に基づく動作を行うと（ステップＳ１０８）、操作受付装置１０は、制御対象機器４０の動作の変化を検出する（ステップＳ２０１）。操作受付装置１０は、制御対象機器４０の動作の変化の情報を第１のサーバ２０に送信する（ステップＳ２０２）。

　第１のサーバ２０は、操作受付装置１０から、制御対象機器４０の動作の変化の情報を受信する。第１のサーバ２０は、制御対象機器４０の動作の変化が規定された動作パターンに合致するか否か確認する。第１のサーバ２０は、制御対象機器４０の動作の変化が規定された動作パターンに合致する場合、制御対象機器４０の動作の変化が第１の操作指示に基づくものであると判定する（ステップＳ２０３）。第１のサーバ２０は、制御対象機器４０の動作の変化が第１の操作指示に基づくものであるという判定結果を操作受付装置１０に送信する（ステップＳ２０４）。

　操作受付装置１０は、第１のサーバ２０から、制御対象機器４０の動作の変化が第１の操作指示に基づくものであるという判定結果を受信する。以降は、実施の形態１のときと同様である。操作受付装置１０は、ユーザに対して、第１の操作指示に対する応答を出力する（ステップＳ１１０）。これにより、ユーザは、空気調和機である機器４２の動作開始の指示が実行されたことを認識することができる。

　このように、実施の形態２では、操作受付装置１０は、検出した制御対象機器４０の動作の変化の情報を第１のサーバ２０に送信する。第１のサーバ２０は、制御対象機器４０の動作の変化が規定された動作パターンに合致する場合、制御対象機器４０の動作の変化が第１の操作指示に基づくものであると判定し、判定結果を操作受付装置１０に送信する。

　詳細には、操作受付装置１０の制御部１４は、通信部１３を介して、センサ１５で検出された制御対象機器４０の動作の変化の情報を第１のサーバ２０に送信する。第１のサーバ２０の制御部２２は、通信部２１を介して、操作受付装置１０で検出された制御対象機器４０の動作の変化の情報を受信し、制御対象機器４０の動作の変化が規定された動作パターンに合致する場合、制御対象機器４０の動作の変化が第１の操作指示に基づくものであると判定する。第１のサーバ２０の制御部２２は、通信部２１を介して、判定結果を操作受付装置１０に送信する。操作受付装置１０の制御部１４は、通信部１３を介して、第１のサーバ２０から、制御対象機器４０の動作の変化が規定された動作パターンに合致し、制御対象機器４０の動作の変化が第１の操作指示に基づくものであると判定した旨の判定結果を受信した場合、スピーカ１２から第１の操作指示に対する応答を出力させる。

　実施の形態２では、操作受付装置１０は、制御対象機器４０の動作の変化を検出すると、制御対象機器４０の動作の変化の情報を第１のサーバ２０に送信する。そのため、実施の形態１と異なり、操作受付装置１０と第１のサーバ２０との間で通信が行われる。しかしながら、操作受付装置１０は、ステップＳ１０２の段階で既に第１の操作指示を第１のサーバ２０に送信している。すなわち、ステップＳ２０２からステップＳ２０４の前に、操作受付装置１０と第１のサーバ２０とは通信を行っている。そのため、ステップＳ２０２からステップＳ２０４の段階で、操作受付装置１０と第１のサーバ２０との間の通信が途絶える可能性は低いと考えられる。

　以上説明したように、本実施の形態によれば、機器制御システム１において、操作受付装置１０は、検出した制御対象機器４０の動作の変化の情報を第１のサーバ２０に送信する。第１のサーバ２０は、制御対象機器４０の動作の変化が規定された動作パターンに合致する場合、制御対象機器４０の動作の変化が第１の操作指示に基づくものであると判定し、判定結果を操作受付装置１０に送信する。操作受付装置１０は、第１の操作指示に対する応答をユーザに対して出力する。この場合においても、機器制御システム１は、実施の形態１のときと同様の効果を得ることができる。

　以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

　１　機器制御システム、１０　操作受付装置、１１　マイク、１２　スピーカ、１３，２１　通信部、１４，２２　制御部、１５　センサ、２０　第１のサーバ、３０　第２のサーバ、４０　制御対象機器、４１　通信アダプタ、４２　機器、１５１　カメラセンサ、１５２　光センサ、１５３　風量センサ、１５４　ＷｉＦｉモジュール、１５５　Ｂｌｕｅｔｏｏｔｈモジュール。

Claims

　ユーザからの指示を受け付けて制御対象機器を操作する機器制御システムであって、
　前記制御対象機器に対する前記ユーザからの音声による第１の操作指示を受け付けて転送する操作受付装置と、
　前記操作受付装置から前記第１の操作指示を受信し、前記第１の操作指示を前記制御対象機器で受け付け可能な第２の操作指示に変換して送信する第１のサーバと、
　前記制御対象機器の管理を行い、かつ、前記第１のサーバから前記第２の操作指示を受信して前記制御対象機器に転送する第２のサーバと、
　前記第２のサーバから前記第２の操作指示を受信し、前記第２の操作指示に基づく動作を行う前記制御対象機器と、
　を備え、
　前記第１のサーバは、前記操作受付装置から前記第１の操作指示を受信すると、前記操作受付装置に対して前記制御対象機器の動作の変化を監視するよう指示し、
　前記操作受付装置は、前記制御対象機器の動作の変化を検出し、前記制御対象機器の動作の変化が前記第１の操作指示に基づくものであった場合、前記第１の操作指示に対する応答を出力する、
　機器制御システム。
　前記操作受付装置は、前記制御対象機器の動作の変化が規定された動作パターンに合致する場合、前記制御対象機器の動作の変化が前記第１の操作指示に基づくものであると判定する、
　請求項１に記載の機器制御システム。
　前記操作受付装置は、検出した前記制御対象機器の動作の変化の情報を前記第１のサーバに送信し、
　前記第１のサーバは、前記制御対象機器の動作の変化が規定された動作パターンに合致する場合、前記制御対象機器の動作の変化が前記第１の操作指示に基づくものであると判定し、判定結果を前記操作受付装置に送信する、
　請求項１に記載の機器制御システム。
　前記制御対象機器の動作の変化は、前記制御対象機器が発する光、および前記制御対象機器が空気調和機を備える場合に前記空気調和機から出力される風の量である風量の少なくとも１つである、
　請求項１から３のいずれか１つに記載の機器制御システム。
　前記制御対象機器の動作の変化は、前記制御対象機器から送信される通信信号である、
　請求項１から３のいずれか１つに記載の機器制御システム。
　第１のサーバ、第２のサーバ、および制御対象機器とともに機器制御システムを構成する操作受付装置であって、
　前記制御対象機器に対するユーザからの音声による第１の操作指示を受け付けるマイクと、
　前記第１の操作指示を前記制御対象機器で受け付け可能な第２の操作指示に変換して前記第２の操作指示を前記制御対象機器の管理を行う前記第２のサーバを介して前記制御対象機器に送信する前記第１のサーバに、前記第１の操作指示を送信する通信部と、
　前記制御対象機器の動作の変化を検出するセンサと、
　前記第１の操作指示に対する応答を出力するスピーカと、
　前記センサの検出結果に基づいて前記制御対象機器の動作の変化を監視し、前記第１の操作指示に対する前記スピーカからの応答の出力を制御する制御部と、
　を備える操作受付装置。
　前記制御部は、前記センサで検出された前記制御対象機器の動作の変化が規定された動作パターンに合致し、前記制御対象機器の動作の変化が前記第１の操作指示に基づくものであると判定した場合、前記スピーカから前記第１の操作指示に対する応答を出力させる、
　請求項６に記載の操作受付装置。
　前記制御部は、前記通信部を介して、前記センサで検出された前記制御対象機器の動作の変化の情報を前記第１のサーバに送信し、前記通信部を介して、第１のサーバから、前記制御対象機器の動作の変化が規定された動作パターンに合致し、前記制御対象機器の動作の変化が前記第１の操作指示に基づくものであると判定した旨の判定結果を受信した場合、前記スピーカから前記第１の操作指示に対する応答を出力させる、
　請求項６に記載の操作受付装置。
　前記センサは、前記制御対象機器が発する光を検出する光センサ、および前記制御対象機器が空気調和機を備える場合に前記空気調和機から出力される風の量である風量を検出する風量センサの少なくとも１つである、
　請求項６から８のいずれか１つに記載の操作受付装置。
　前記センサは、前記制御対象機器から送信される通信信号を受信する通信モジュールである、
　請求項６から８のいずれか１つに記載の操作受付装置。
　操作受付装置、第１のサーバ、第２のサーバ、および制御対象機器で機器制御システムを構成する前記第１のサーバであるサーバであって、
　前記操作受付装置から、前記制御対象機器に対するユーザからの音声による第１の操作指示を受信する通信部と、
　前記第１の操作指示を前記制御対象機器で受け付け可能な第２の操作指示に変換する制御部と、
　を備え、
　前記制御部は、前記通信部を介して、前記第２の操作指示を、前記制御対象機器の管理を行う前記第２のサーバを介して前記制御対象機器に送信するとともに、前記操作受付装置に対して前記制御対象機器の動作の変化を監視するよう指示する、
　サーバ。
　前記制御部は、前記通信部を介して、前記操作受付装置で検出された前記制御対象機器の動作の変化の情報を受信し、前記制御対象機器の動作の変化が規定された動作パターンに合致する場合、前記制御対象機器の動作の変化が前記第１の操作指示に基づくものであると判定し、前記通信部を介して、判定結果を前記操作受付装置に送信する、
　請求項１１に記載のサーバ。
　ユーザからの指示を受け付けて制御対象機器を操作する機器制御システムの機器制御方法であって、
　操作受付装置が、前記制御対象機器に対する前記ユーザからの音声による第１の操作指示を受け付けて転送する第１のステップと、
　第１のサーバが、前記操作受付装置から前記第１の操作指示を受信し、前記第１の操作指示を前記制御対象機器で受け付け可能な第２の操作指示に変換して前記制御対象機器の管理を行う第２のサーバに送信するとともに、前記操作受付装置に対して前記制御対象機器の動作の変化を監視するよう指示する第２のステップと、
　前記第２のサーバが、前記第１のサーバから前記第２の操作指示を受信して前記制御対象機器に転送する第３のステップと、
　前記制御対象機器が、前記第２のサーバから前記第２の操作指示を受信し、前記第２の操作指示に基づく動作を行う第４のステップと、
　前記操作受付装置が、前記制御対象機器の動作の変化を検出し、前記制御対象機器の動作の変化が前記第１の操作指示に基づくものであった場合、前記第１の操作指示に対する応答を出力する第５のステップと、
　を含む機器制御方法。
　前記第５のステップにおいて、前記操作受付装置は、前記制御対象機器の動作の変化が規定された動作パターンに合致する場合、前記制御対象機器の動作の変化が前記第１の操作指示に基づくものであると判定する、
　請求項１３に記載の機器制御方法。
　前記第５のステップにおいて、前記操作受付装置は、検出した前記制御対象機器の動作の変化の情報を前記第１のサーバに送信し、
　さらに、
　前記第１のサーバが、前記制御対象機器の動作の変化が規定された動作パターンに合致する場合、前記制御対象機器の動作の変化が前記第１の操作指示に基づくものであると判定し、判定結果を前記操作受付装置に送信する第６のステップ、
　を含む請求項１３に記載の機器制御方法。